CN111507161B - 利用合并网络进行异质传感器融合的方法和装置 - Google Patents

利用合并网络进行异质传感器融合的方法和装置 Download PDF

Info

Publication number
CN111507161B
CN111507161B CN202010070994.XA CN202010070994A CN111507161B CN 111507161 B CN111507161 B CN 111507161B CN 202010070994 A CN202010070994 A CN 202010070994A CN 111507161 B CN111507161 B CN 111507161B
Authority
CN
China
Prior art keywords
test
specific
learning
interest
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010070994.XA
Other languages
English (en)
Other versions
CN111507161A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507161A publication Critical patent/CN111507161A/zh
Application granted granted Critical
Publication of CN111507161B publication Critical patent/CN111507161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供通过整合第一对象检测信息及第二对象检测信息来生成与整合图像有关的整合对象检测信息的学习方法。其特征在于，包括：步骤(a)，学习装置若获得上述第一对象检测信息及上述第二对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与第一原始感兴趣区域和第二原始感兴趣区域的对有关的信息的对特征向量；步骤(b)，上述学习装置使得在上述深度神经网络中所包括的辨别网络将全连接运算适用于上述对特征向量，从而生成(i)辨别向量以及(ii)边框回归向量；以及步骤(c)，上述学习装置使得损失单元生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分。

Description

利用合并网络进行异质传感器融合的方法和装置
技术领域
本发明涉及利用于自主行驶车辆的学习方法及装置，更详细地，涉及用于利用合并网络的异质传感器融合的上述方法和上述装置及利用其的测试方法及测试装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks，Deep CNNs)为在深度学习领域中取得的辉煌发展的核心。CNNs为了解决文字识别问题而曾在90年代中使用过，但是，像现在广泛应用应归功于近年的研究结果。这种CNN在2012年ImageNet图像分类比赛中打败其他竞争对手获得了冠军。之后，CNN在机器学习领域中用作非常有用的工具。
在自主行驶领域中也广泛使用这种CNN。CNN在自主行驶车辆主要负责语义(semantic)分割、对象检测及悠闲空间检测等图像处理。
最近，为了更加提高自主行驶车辆的行驶稳定性，使用多个摄像头。此时，为了减少运算的重复性并更好地掌握周围空间，以调解的方式利用通过多个摄像头获得的图像是很重要的。尤其，在调整上述图像的期间，作为预测到对象位于各图像的区域的感兴趣区域中的一部分在多数情况下与其他图像中的又一个其他图像重复，此时，整合与这种感兴趣区域有关的信息是很重要的。
相关现有技术为非极大值抑制。即，对包括相同等级的对象的边界框之间的重复比率进行计算，若上述比率为阈值以上，则上述边界框相整合。在现有技术中存在的问题为，若上述阈值过低，则互不相关的上述边界框会相整合，若上述阈值过高，则需要整合的边界框不会相整合，难以确定阈值，因此，根据情况每次的阈值应不同。
发明内容
技术问题
本发明的目的在于，解决如上所述的问题。
本发明的另一目的在于，当通过整合特定空间的各原始图像来生成与特定空间有关的整合图像时，通过整合与各原始图像有关的各对象检测信息来生成与上述整合图像有关的整合对象检测信息，从而减少检测在整合图像中所包括的对象的运算的重复性，能够对周围空间以更详细且准确的信息生成上述整合图像。
解决问题的手段
用于达成如上所述的本发明的目的且实现后述的本发明的特征性效果的本发明的特征性结构如下所示。
根据本发明的一实施方式，公开一种学习方法，对利用于生成至少一个整合图像的分别对应于与特定空间有关的第一原始图像及第二原始图像的第一对象检测信息及第二对象检测信息进行整合，从而不追加运算上述整合图像而生成上述整合图像的整合对象检测信息，其特征在于，包括：步骤(a)学习装置若获得上述第一原始图像及上述第二原始图像被处理而生成的上述第一对象检测信息及上述第二对象检测信息，则使得在深度神经网络(DNN，Deep Neural Network)中所包括的级联(concatenating)网络生成包括与在上述第一原始图像中所包括的第一原始感兴趣区域(ROI，region of interest)及在上述第二原始图像中所包括的第二原始感兴趣区域的一个以上对有关的信息的一个以上对特征向量；步骤(b)，上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接(FC，fully connected)运算适用于上述对特征向量，从而生成(i)包括与适合整合各个上述对中所包括的上述第一原始感兴趣区域及上述第二原始感兴趣区域的概率有关的信息的一个以上辨别向量，以及(ii)包括在上述整合图像上与上述对中的至少一部分的各要素的各现有位置相比较的与对应于上述对中的至少一部分的整合感兴趣区域的各相对位置有关的信息的一个以上边框回归(regression)向量；以及步骤(c)，上述学习装置使得损失单元参照上述辨别向量和上述边框回归向量以及与此相对应的真值(GT，GroundTruth)来生成整合损失，并利用上述整合损失执行反向传播(backpropagation)，从而学习在上述深度神经网络中所包括的参数中的至少一部分。
在一实施例中，特征在于，在上述步骤(a)中，上述对特征向量之一的特定对特征向量包括：(i)在上述第一原始图像中所包括的第一特定对象的第一等级信息；(ii)包括上述第一特定对象的第一特定原始感兴趣区域的特征值；(iii)与上述第一特定原始感兴趣区域相对应的第一特定原始边界框的坐标值；(iv)上述第一特定原始感兴趣区域的坐标值；(v)在上述第二原始图像中所包括的第二特定对象的第二等级信息；(vi)包括上述第二特定对象的第二特定原始感兴趣区域的特征值；(vii)与上述第二特定原始感兴趣区域相对应的第二特定原始边界框的坐标值；以及(viii)上述第二特定原始感兴趣区域的坐标值。
在一实施例中，特征在于，在上述步骤(b)中，与上述特定对特征向量相对应的上述辨别向量之一的特定辨别向量包括与上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域整合在上述整合图像中的概率有关的信息，与上述特定对特征向量相对应的上述边框回归向量之一的特定边框回归向量包括与对在上述整合图像上的上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域进行整合而生成的特定整合边界框的坐标有关的信息。
在一实施例中，特征在于，在上述步骤(c)中，上述学习装置使得上述损失单元(i)通过交叉熵(cross entropy)方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失。
在一实施例中，特征在于，在上述步骤(c)中，
根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，表示第i边框回归向量，而且，/>表示与上述第i边框回归向量有关的第i边框回归真值向量。
在一实施例中，特征在于，上述学习装置使得在上述深度神经网络的一个以上层中所包括的深度学习神经反复执行使用其至少一个参数来将一个以上卷积运算适用于上述各深度学习神经的输入并将上述各深度学习神经的输出传递至下一个深度学习神经的过程，从而生成上述对特征向量、上述辨别向量及上述边框回归向量。
在一实施例中，特征在于，在上述步骤(b)中，上述学习装置使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算中的至少一部分适用于上述对特征向量来生成上述辨别向量后，将上述全连接运算中的剩余部分适用于上述对特征向量中表示特定对被整合的特定概率的特定辨别向量的值为预设的阈值以上的一个以上特定对特征向量来生成与上述特定对特征向量相对应的上述边框回归向量。
根据本发明的再一实施方式，公开一种测试方法，对利用于生成至少一个测试用整合图像的分别对应于与测试用特定空间有关的第一测试用原始图像及第二测试用原始图像的第一测试用对象检测信息及第二测试用对象检测信息进行整合，从而不追加运算上述测试用整合图像而生成上述测试用整合图像的测试用整合对象检测信息，其特征在于，包括：步骤(a)，(1)学习装置若获得第一学习用原始图像及第二学习用原始图像被处理而生成的第一学习用对象检测信息及第二学习用对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一学习用原始图像中所包括的第一学习用原始感兴趣区域及在上述第二学习用原始图像中所包括的第二学习用原始感兴趣区域的一个以上学习用对有关的信息的一个以上学习用对特征向量，(2)上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述学习用对特征向量，从而生成(i)包括与适合整合各个上述学习用对中所包括的上述第一学习用原始感兴趣区域及上述第二学习用原始感兴趣区域的概率有关的信息的一个以上学习用辨别向量，以及(ii)包括在上述学习用整合图像上与上述学习用对中的至少一部分的各要素的各现有位置相比较的与对应于上述学习用对中的至少一部分的学习用整合感兴趣区域的各相对位置有关的信息的一个以上学习用边框回归向量，(3)上述学习装置使得损失单元参照上述学习用辨别向量和上述学习用边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分，在此状态下，测试装置若获得上述第一测试用原始图像及上述第二测试用原始图像被处理而生成的上述第一测试用对象检测信息及上述第二测试用对象检测信息，则使得在上述深度神经网络中所包括的上述级联网络生成包括与在上述第一测试用原始图像中所包括的第一测试用原始感兴趣区域及在上述第二测试用原始图像中所包括的第二测试用原始感兴趣区域的一个以上测试用对有关的信息的一个以上测试用对特征向量；步骤(b)，上述测试装置使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算适用于上述测试用对特征向量，从而生成(i)包括与适合整合各个上述测试用对中所包括的上述第一测试用原始感兴趣区域及上述第二测试用原始感兴趣区域的概率有关的信息的一个以上测试用辨别向量，以及(ii)包括在上述测试用整合图像上与上述测试用对中的至少一部分的各要素的各现有位置相比较的与对应于上述测试用对中的至少一部分的测试用整合感兴趣区域的各相对位置有关的信息的一个以上测试用边框回归向量；以及步骤(c)，上述测试装置使得合并单元参照上述测试用辨别向量及上述测试用边框回归向量来合并由第一测试用原始边界框及第二测试用原始边界框组成的上述测试用对中的至少一部分，从而生成上述测试用整合对象检测信息。
在一实施例中，特征在于，从通过设置于安装有上述测试装置的车辆的负责第一方向的第一摄像头及负责第二方向的第二摄像头获得的上述第一测试用原始图像及上述第二测试用原始图像获得上述第一测试用对象检测信息及上述第二测试用对象检测信息。
在一实施例中，特征在于，在上述步骤(a)中，上述测试用对特征向量之一的测试用特定对特征向量包括：(i)在上述第一测试用原始图像中所包括的第一测试用特定对象的第一测试用等级信息；(ii)包括上述第一测试用特定对象的第一测试用特定原始感兴趣区域的测试用特征值；(iii)与上述第一测试用特定原始感兴趣区域相对应的第一测试用特定原始边界框的坐标值；(iv)上述第一测试用特定原始感兴趣区域的坐标值；(v)在上述第二测试用原始图像中所包括的第二测试用特定对象的第二测试用等级信息；(vi)包括上述第二测试用特定对象的第二测试用特定原始感兴趣区域的测试用特征值；(vii)与上述第二测试用特定原始感兴趣区域相对应的第二测试用特定原始边界框的坐标值；以及(viii)上述第二测试用特定原始感兴趣区域的坐标值。
在一实施例中，特征在于，在上述步骤(b)中，与上述测试用特定对特征向量相对应的上述测试用辨别向量之一的测试用特定辨别向量包括与上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域整合在上述测试用整合图像中的概率有关的信息，与上述测试用特定对特征向量相对应的上述测试用边框回归向量之一的测试用特定边框回归向量包括与对在上述测试用整合图像上的上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域进行整合而生成的测试用特定整合边界框的坐标有关的信息。
根据本发明的另一实施方式，公开一种学习装置，对利用于生成至少一个整合图像的分别对应于与特定空间有关的第一原始图像及第二原始图像的第一对象检测信息及第二对象检测信息进行整合，从而不追加运算上述整合图像而生成上述整合图像的整合对象检测信息，其特征在于，包括：一个以上存储器，用于存储多个指令；以及至少一个处理器，配置为执行用于执行流程(I)、流程(II)以及流程(III)的上述多个指令，在上述流程(I)中，若获得上述第一原始图像及上述第二原始图像被处理而生成的上述第一对象检测信息及上述第二对象检测信息，则使得在深度神经网络(DNN，Deep Neural Network)中所包括的级联(concatenating)网络生成包括与在上述第一原始图像中所包括的第一原始感兴趣区域(ROI，region of interest)及在上述第二原始图像中所包括的第二原始感兴趣区域的一个以上对有关的信息的一个以上对特征向量，在上述流程(II)中，使得在上述深度神经网络中所包括的辨别网络将一个以上全连接(FC，fully connected)运算适用于上述对特征向量，从而生成(i)包括与适合整合各个上述对中所包括的上述第一原始感兴趣区域及上述第二原始感兴趣区域的概率有关的信息的一个以上辨别向量，以及(ii)包括在上述整合图像上与上述对中的至少一部分的各要素的各现有位置相比较的与对应于上述对中的至少一部分的整合感兴趣区域的各相对位置有关的信息的一个以上边框回归(regression)向量，在上述流程(III)中，使得损失单元参照上述辨别向量和上述边框回归向量以及与此相对应的真值(GT，Ground Truth)来生成整合损失，并利用上述整合损失执行反向传播(backpropagation)，从而学习在上述深度神经网络中所包括的参数中的至少一部分。
在一实施例中，特征在于，在上述流程(I)中，上述对特征向量之一的特定对特征向量包括：(i)在上述第一原始图像中所包括的第一特定对象的第一等级信息；(ii)包括上述第一特定对象的第一特定原始感兴趣区域的特征值；(iii)与上述第一特定原始感兴趣区域相对应的第一特定原始边界框的坐标值；(iv)上述第一特定原始感兴趣区域的坐标值；(v)在上述第二原始图像中所包括的第二特定对象的第二等级信息；(vi)包括上述第二特定对象的第二特定原始感兴趣区域的特征值；(vii)与上述第二特定原始感兴趣区域相对应的第二特定原始边界框的坐标值；以及(viii)上述第二特定原始感兴趣区域的坐标值。
在一实施例中，特征在于，在上述流程(II)中，与上述特定对特征向量相对应的上述辨别向量之一的特定辨别向量包括与上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域整合在上述整合图像中的概率有关的信息，与上述特定对特征向量相对应的上述边框回归向量之一的特定边框回归向量包括与对在上述整合图像上的上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域进行整合而生成的特定整合边界框的坐标有关的信息。
在一实施例中，特征在于，在上述流程(III)中，上述处理器使得上述损失单元(i)通过交叉熵方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失。
在一实施例中，特征在于，在上述流程(III)中，
根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，表示第i边框回归向量，而且，/>表示与上述第i边框回归向量有关的第i边框回归真值向量。
在一实施例中，特征在于，上述处理器使得在上述深度神经网络的一个以上层中所包括的深度学习神经反复执行使用其至少一个参数来将一个以上卷积运算适用于上述各深度学习神经的输入并将上述各深度学习神经的输出传递至下一个深度学习神经的过程，从而生成上述对特征向量、上述辨别向量及上述边框回归向量。
在一实施例中，特征在于，在上述流程(II)中，上述处理器使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算中的至少一部分适用于上述对特征向量来生成上述辨别向量后，将上述全连接运算中的剩余部分适用于上述对特征向量中表示特定对被整合的特定概率的特定辨别向量的值为预设的阈值以上的一个以上特定对特征向量来生成与上述特定对特征向量相对应的上述边框回归向量。
根据本发明的还有一实施方式，公开一种测试装置，对利用于生成至少一个测试用整合图像的分别对应于与测试用特定空间有关的第一测试用原始图像及第二测试用原始图像的第一测试用对象检测信息及第二测试用对象检测信息进行整合，从而不追加运算上述测试用整合图像而生成上述测试用整合图像的测试用整合对象检测信息，其特征在于，包括：至少一个存储器，用于存储多个指令；以及至少一个处理器，配置为执行用于执行流程(I)、流程(II)以及流程(III)的上述多个指令，在上述流程(I)中，(1)学习装置若获得第一学习用原始图像及第二学习用原始图像被处理而生成的第一学习用对象检测信息及第二学习用对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一学习用原始图像中所包括的第一学习用原始感兴趣区域及在上述第二学习用原始图像中所包括的第二学习用原始感兴趣区域的一个以上学习用对有关的信息的一个以上学习用对特征向量，(2)上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述学习用对特征向量，从而生成(i)包括与适合整合各个上述学习用对中所包括的上述第一学习用原始感兴趣区域及上述第二学习用原始感兴趣区域的概率有关的信息的一个以上学习用辨别向量，以及(ii)包括在上述学习用整合图像上与上述学习用对中的至少一部分的各要素的各现有位置相比较的与对应于上述学习用对中的至少一部分的学习用整合感兴趣区域的各相对位置有关的信息的一个以上学习用边框回归向量，(3)上述学习装置使得损失单元参照上述学习用辨别向量和上述学习用边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分，在此状态下，若获得上述第一测试用原始图像及上述第二测试用原始图像被处理而生成的上述第一测试用对象检测信息及上述第二测试用对象检测信息，则使得在上述深度神经网络中所包括的上述级联网络生成包括与在上述第一测试用原始图像中所包括的第一测试用原始感兴趣区域及在上述第二测试用原始图像中所包括的第二测试用原始感兴趣区域的一个以上测试用对有关的信息的一个以上测试用对特征向量，在上述流程(II)中，使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算适用于上述测试用对特征向量，从而生成(i)包括与适合整合各个上述测试用对中所包括的上述第一测试用原始感兴趣区域及上述第二测试用原始感兴趣区域的概率有关的信息的一个以上测试用辨别向量，以及(ii)包括在上述测试用整合图像上与上述测试用对中的至少一部分的各要素的各现有位置相比较的与对应于上述测试用对中的至少一部分的测试用整合感兴趣区域的各相对位置有关的信息的一个以上测试用边框回归向量，在上述流程(III)中，使得损失单元参照上述测试用辨别向量及上述测试用边框回归向量来合并由第一测试用原始边界框及第二测试用原始边界框组成的上述测试用对中的至少一部分，从而生成上述测试用整合对象检测信息。
在一实施例中，特征在于，从通过设置于安装有上述测试装置的车辆的负责第一方向的第一摄像头及负责第二方向的第二摄像头获得的上述第一测试用原始图像及上述第二测试用原始图像获得上述第一测试用对象检测信息及上述第二测试用对象检测信息。
在一实施例中，特征在于，在上述流程(I)中，上述测试用对特征向量之一的测试用特定对特征向量包括：(i)在上述第一测试用原始图像中所包括的第一测试用特定对象的第一测试用等级信息；(ii)包括上述第一测试用特定对象的第一测试用特定原始感兴趣区域的测试用特征值；(iii)与上述第一测试用特定原始感兴趣区域相对应的第一测试用特定原始边界框的坐标值；(iv)上述第一测试用特定原始感兴趣区域的坐标值；(v)在上述第二测试用原始图像中所包括的第二测试用特定对象的第二测试用等级信息；(vi)包括上述第二测试用特定对象的第二测试用特定原始感兴趣区域的测试用特征值；(vii)与上述第二测试用特定原始感兴趣区域相对应的第二测试用特定原始边界框的坐标值；以及(viii)上述第二测试用特定原始感兴趣区域的坐标值。
在一实施例中，特征在于，在上述流程(II)中，与上述测试用特定对特征向量相对应的上述测试用辨别向量之一的测试用特定辨别向量包括与上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域整合在上述测试用整合图像中的概率有关的信息，与上述测试用特定对特征向量相对应的上述测试用边框回归向量之一的测试用特定边框回归向量包括与对在上述测试用整合图像上的上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域进行整合而生成的测试用特定整合边界框的坐标有关的信息。
此外，还提供用于记录执行本发明的方法的计算机程序的计算机可读记录介质。
发明的效果
本发明具有如下的效果，即，当通过整合特定空间的各原始图像来生成与特定空间有关的整合图像时，通过整合与各原始图像有关的各对象检测信息来生成与上述整合图像有关的整合对象检测信息，从而减少检测在整合图像中所包括的对象的运算的重复性，能够对周围空间以更详细且准确的信息生成上述整合图像。
附图说明
为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获得其他附图。
图1根据本发明实施例简要示出当通过整合与特定空间有关的各原始图像来生成与上述特定空间有关的整合图像时，执行通过整合与各原始图像有关的各对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的整合对象检测信息的学习方法的学习装置。
图2根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，执行通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法的上述学习装置的具体运行方式。
图3根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，根据通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法整合第一特定原始感兴趣区域及第二特定原始感兴趣区域的一例。
图4根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，作为执行完通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法的状态的测试装置的具体运行方式。
具体实施方式
为了使本发明的目的、技术手段及优点更加明确，将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。
并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的过程中得知一部分。以下例及附图仅作为实例来提供，而本发明并不限定于此。
尤其，应理解，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。
本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。
以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1根据本发明实施例简要示出当通过整合与特定空间有关的各原始图像来生成与上述特定空间有关的整合图像时，执行通过整合与各原始图像有关的各对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的整合对象检测信息的学习方法的学习装置100。
参照图1，上述学习装置100可包括作为随后要详细说明的结构要素的深度神经网络200。上述深度神经网络200的输入/输出及运算过程可分别通过通信部110及处理器120来实现。此时，存储器115可处于储存后述的各种指令的状态，上述处理器120配置为执行储存在上述存储器115的多个指令，可通过执行随后要说明的上述多个指令来执行本发明的流程。即使以如上所述的方式说明了上述学习装置100，但是，上述学习装置100不排除包括处理器、存储器、介质或其他运算要素的整合装置。
以上，根据本发明实施例对当通过整合与特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，执行通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法的上述学习装置100的结构进行了说明，以下，参照图2对上述深度神经网络200的具体结构及学习流程进行说明。
图2根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，执行通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法的上述学习装置的具体运行方式。
参照图2，上述深度神经网络200可包括级联(concatenating)网络210及辨别网络220，上述学习装置100可包括与上述深度神经网络200相对应的损失单元230。具体而言，上述学习装置100若获得与上述特定空间有关的每个上述原始图像相关的每个上述对象检测信息，则可将上述每个对象检测信息传递至在上述深度神经网络200中所包括的上述级联网络210。此时，上述每个对象检测信息可包括在每个上述原始图像中所包括的各感兴趣区域、在每个上述感兴趣区域中所包括的各对象及与对应其的原始边界框有关的信息。并且，与上述特定空间有关的每个上述原始图像可以为在相同时点从多种角度提取的上述特定空间的各图像。因此，每个上述原始图像的各内容可相同或相似，与每个上述原始图像有关的各原始感兴趣区域也可包括相同或类似的区域。
如上所述，若获得上述对象检测信息，则上述级联网络210通过使在上述原始感兴趣区域中所包括的每个上述原始边界框中的至少一部分进行成对来生成一个以上所谓的对特征向量。作为一例，上述级联网络210可通过整合各个第一原始感兴趣区域及第二原始感兴趣区域中所包括的第一特定原始边界框及第二特定原始边界框来生成(i)上述第一原始边界框的特征值、(ii)上述第一原始边界框的坐标信息、(iii)与在上述第一原始边界框中所包括的对象有关的第一等级信息、(iv)上述第二原始边界框的特征值、(v)上述第二原始边界框的坐标信息、(vi)与在上述第二原始边界框中所包括的对象有关的第二等级信息、(vii)上述第一特定原始感兴趣区域的坐标、以及(viii)包括上述第二特定原始感兴趣区域的坐标的上述对特征向量中的特定对特征向量。此时，与第一原始图像有关的第一对象检测信息可包括(i、ii、iii及vii)，第二对象检测信息可包括(iv、v、vi及viii)。上述第一特定原始感兴趣区域可包括一个以上第一原始边界框，上述第二特定原始感兴趣区域可包括一个以上第二原始边界框，可通过使在上述第一特定原始感兴趣区域中所包括的每个上述第一原始边界框及在上述第二特定原始感兴趣区域中所包括的每个上述第二原始边界框成对一次来生成每个上述对特征向量。
包括上述第一特定原始边界框的这种第一原始感兴趣区域可包括在上述原始图像之一的第一原始图像。同样，包括上述第二特定原始边界框的上述第二原始感兴趣区域可包括在第二原始图像。
参照图3，上述特定对特征向量的具体例可如下所示。
图3根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，根据通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法整合第一特定原始感兴趣区域及第二特定原始感兴趣区域的一例。
上述第一特定原始感兴趣区域可包括包含男性的上述第一边界框中的一个及包含女性的上半身的上述第一边界框中的另一个，上述第二特定原始感兴趣区域可包括包含上述女性的上述第二边界框中的一个及包含车辆的上述第二边界框中的另一个。此时，可生成共四个边界框对，其中包括(i)与包含上述女性的上述第二边界框中的一个一起包含上述女性的上半身的上述第一边界框中的一个、(ii)与包含上述车辆的上述第二边界框中的另一个一起包含上述女性的上半身的上述第一边界框中的一个、(iii)与包含上述女性的上述第二边界框中的一个一起包含上述男性的上述第一边界框中的另一个、以及(iv)与包含上述车辆的上述第二边界框中的另一个一起包含上述男性的上述第一边界框中的另一个。作为一例，使用与包含上述女性的上述第二边界框中的一个一起包含上述女性的上半身的上述第一边界框中的上述一个上述对来生成的上述特定对特征向量关于这种边界框可包括前述的信息。
如上所述，若生成上述对特征向量，则上述学习装置100使得在上述深度神经网络200中所包括的上述辨别网络220通过至少一个全连接运算生成，一个以上辨别向量vC及一个以上边框回归向量vr。此时，上述辨别向量vC中的一个可表示在两个原始感兴趣区域中作为对包括的上述两个原始边界框是否可被整合。作为一例，其第一结构要素可以为上述两个原始边界框可被整合的概率，其第二结构要素可以为上述两个原始边界框不被整合的概率。此时，上述辨别网络220可计算个结构要素的各概率。继续参照图2，可确认，计算出与上述特定对特征向量相对应的上述对被整合的概率为0.9。随着上述两个原始边界框被整合，上述边框回归向量vr中的一个可以为将与顶点坐标变更相对应的变更值作为其结构要素的向量。具体而言，在上述边框回归向量中的一个所包括的上述变更值可与上述两个原始边界框的交集中心的(i)横长、(ii)竖长以及(iii)x坐标及y坐标；以及(II)上述两个原始边界框被整合的整合边界框的中心的(i)横长、(ii)竖长以及(iii)x坐标及y坐标之间各差异信息。即，上述边框回归向量可包括在上述整合图像上与上述对中的至少一部分相关的各结构要素的现有位置信息相比较而与上述对中的至少一部分相对应的整合感兴趣区域的各相对位置信息。
在一实施例中，上述边框回归向量不可能与上述所有对特征向量相对应。即，可通过选择上述对特征向量中的一部分并将上述全连接运算中的至少一部分适用于上述所选择的对特征向量来生成上述边框回归向量。随后详细说明这种例。
如上所述，若生成上述辨别向量及上述边框回归向量，上述学习装置100使得上述损失单元230参照上述辨别向量、上述边框回归向量及与此相对应的真值来生成一个以上损失。上述损失可由Lc和Lr两个结构要素组成，上述Lc作为与上述辨别向量相关的辨别损失，可以为通过交叉熵(cross entropy)方式生成的，上述Lr作为与上述边框回归向量相关的边框回归损失，可以为通过smooth-L1方式生成的。
具体而言，根据下述公式生成上述辨别损失：
此时，n可表示上述辨别向量的数量，可表示第i辨别向量，/>可表示与上述第i辨别向量有关的第i辨别真值向量。
并且，根据下述公式生成上述边框回归损失：
此时，n表示上述边框回归向量的数量，表示第i边框回归向量，而且，/>表示与上述第i边框回归向量有关的第i边框回归真值向量。
在生成上述损失之后，这种损失被反向传播来使用于在上述深度神经网络200中所包括的上述辨别网络220的一个以上参数中的至少一部分的学习。由此，上述辨别网络220判断是否比其输入的边界框更加准确地整合，并可更加准确地预测到整合后的上述顶点信息。
作为本发明的其他实施例，上述学习装置100使得在上述深度神经网络200中所包括的上述辨别网络220将上述全连接运算中的至少一部分使用于上述对特征向量来生成上述辨别向量后，可将上述全连接运算中的剩余部分适用于上述对特征向量中表示特定对被整合的特定概率的特定辨别向量的值为预设的阈值以上的一个以上特定对特征向量来生成与上述特定对特征向量相对应的上述边框回归向量。上述其他例不计算整合的概率为上述阈值以下的对的坐标值，因此更有效。
此时，对上述深度神经网络200的运行原理的说明为如下。上述学习装置100可使得在上述深度神经网络200的一个以上层中所包括的各深度学习神经反复执行使用其至少一个参数来将一个以上卷积运算适用于上述各深度学习神经的输入并将上述各深度学习神经的输出传递至下一个深度学习神经的过程，从而生成上述对特征向量、上述辨别向量及上述边框回归向量。
结束上述学习流程之后，参照图4说明上述学习装置100起测试装置功能的过程。
作为参照，在以下的说明中为了避免混淆，在学习流程相关的术语中添加“学习用”或“训练”等文句，在测试流程相关的术语中添加“测试用”或“测试”等文句。
图4根据本发明实施例简要示出当通过整合与上述特定空间有关的每个上述原始图像来生成与上述特定空间有关的上述整合图像时，作为执行完通过整合与每个上述原始图像有关的每个上述对象检测信息来在不追加运算上述整合图像的情况下也生成与上述整合图像有关的上述整合对象检测信息的上述学习方法的状态的测试装置的具体运行方式。
参照图4，上述测试装置可包括合并单元来代替上述损失单元230。当在至少一个测试用辨别向量中包括的两个测试用原始边界框需要被整合的概率为特定阈值以上时，上述两个测试用原始边界框可利用在至少一个测试用边框回归向量中所包括的测试用变更值来计算测试用整合边界框的顶点坐标。各个上述原始感兴趣区域的上述对将上述原始感兴趣区域的上述对的测试用对特征向量反复适用这种运算来整合各个上述原始感兴趣区域的上述对，然后，将上述运算适用于各原始感兴趣区域来整合上述原始图像，之后，在不追加运算上述整合图像的情况下也可以生成与上述整合图像有关的对象检测结果。上述级联网络210和与上述辨别网络220相同的结构要素的功能与在上述学习装置100中执行时的功能类似，因此省略。
具体而言，(a)(1)上述学习装置若获得第一学习用原始图像及第二学习用原始图像被处理而生成的第一学习用对象检测信息及第二学习用对象检测信息，则使得在深度神经网络200中所包括的级联网络210生成包括与在上述第一学习用原始图像中所包括的第一学习用原始感兴趣区域及在上述第二学习用原始图像中所包括的第二学习用原始感兴趣区域的一个以上学习用对有关的信息的一个以上学习用对特征向量，(2)上述学习装置100使得在上述深度神经网络200中所包括的辨别网络220将一个以上全连接运算适用于上述学习用对特征向量，从而生成(i)包括与适合整合各个上述学习用对中所包括的上述第一学习用原始感兴趣区域及上述第二学习用原始感兴趣区域的概率有关的信息的一个以上学习用辨别向量，以及(ii)包括在上述学习用整合图像上与上述学习用对中的至少一部分的各要素的各现有位置相比较的与对应于上述学习用对中的至少一部分的学习用整合感兴趣区域的各相对位置有关的信息的一个以上学习用边框回归向量，(3)上述学习装置使得损失单元230参照上述学习用辨别向量和上述学习用边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络200中所包括的参数中的至少一部分，在此状态下，测试装置若获得上述第一测试用原始图像及上述第二测试用原始图像被处理而生成的上述第一测试用对象检测信息及上述第二测试用对象检测信息，则可使得在上述深度神经网络200中所包括的上述级联网络210生成包括与在上述第一测试用原始图像中所包括的第一测试用原始感兴趣区域及在上述第二测试用原始图像中所包括的第二测试用原始感兴趣区域的一个以上测试用对有关的信息的一个以上测试用对特征向量。
然后，上述测试装置可使得在上述深度神经网络200中所包括的上述辨别网络将上述全连接运算适用于上述测试用对特征向量，从而生成(i)包括与适合整合各个上述测试用对中所包括的上述第一测试用原始感兴趣区域及上述第二测试用原始感兴趣区域的概率有关的信息的一个以上测试用辨别向量，以及(ii)包括在上述测试用整合图像上与上述测试用对中的至少一部分的各要素的各现有位置相比较的与对应于上述测试用对中的至少一部分的测试用整合感兴趣区域的各相对位置有关的信息的一个以上测试用边框回归向量。
最后，上述测试装置可使得上述合并单元240参照上述测试用辨别向量及上述测试用边框回归向量来合并由第一测试用原始边界框及第二测试用原始边界框组成的上述测试用对中的至少一部分，从而生成上述测试用整合对象检测信息。
此时，从通过设置于安装有上述测试装置的车辆的负责第一方向的第一摄像头及负责第二方向的第二摄像头获得的上述第一测试用原始图像及上述第二测试用原始图像获得上述第一测试用对象检测信息及上述第二测试用对象检测信息。
本发明的上述深度神经网络200可称为合并网络，这是因为其可合并对象检测信息。
本发明涉及与异质传感器融合相关的方法，具体而言，提供对参照通过关于整合感兴趣区域空间的各种摄像头获得的信息生成的感兴趣区域进行整合的方法。通过执行本发明，对象检测结果整合为一个数据组，从而有助于减少运算力消耗。
本发明技术领域的普通技术人员可理解，如上所述的图像，例如，上述原始图像、原始标签及追加标签等图像数据的收发可由上述学习装置100及上述测试装置的通信部执行，用于执行特征地图运算的数据可由上述学习装置100及上述测试装置的处理器(和/或存储器)持有/维持，卷积运算、反卷积运算、损失值运算过程能够主要由上述学习装置100及上述测试装置的处理器执行，但本发明并不限定于此。
以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。作为计算机可读记录介质的例，包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光记录介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。作为程序命令的例，不仅包括由编译器制作的机器语言代码，而且还包括利用解析器等能够由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。
因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。

Claims (18)

1.一种学习方法，对利用于生成至少一个整合图像的分别对应于与特定空间有关的第一原始图像及第二原始图像的第一对象检测信息及第二对象检测信息进行整合，从而不追加运算上述整合图像而生成上述整合图像的整合对象检测信息，其特征在于，包括：
步骤(a)，学习装置若获得上述第一原始图像及上述第二原始图像被处理而生成的上述第一对象检测信息及上述第二对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一原始图像中所包括的第一原始感兴趣区域及在上述第二原始图像中所包括的第二原始感兴趣区域的一个以上对有关的信息的一个以上对特征向量；
步骤(b)，上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述对特征向量，从而生成(i)包括与适合整合各个上述对中所包括的上述第一原始感兴趣区域及上述第二原始感兴趣区域的概率有关的信息的一个以上辨别向量，以及(ii)包括在上述整合图像上与上述对中的至少一部分的各要素的各现有位置相比较的与对应于上述对中的至少一部分的整合感兴趣区域的各相对位置有关的信息的一个以上边框回归向量；以及
步骤(c)，上述学习装置使得损失单元参照上述辨别向量和上述边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分；
在上述步骤(c)中，上述学习装置使得上述损失单元(i)通过交叉熵方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失；
在上述步骤(c)中，
根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，表示第i边框回归向量，而且，vR i -GT表示与上述第i边框回归向量有关的第i边框回归真值向量。
2.根据权利要求1所述的学习方法，其特征在于，在上述步骤(a)中，上述对特征向量之一的特定对特征向量包括：(i)在上述第一原始图像中所包括的第一特定对象的第一等级信息；(ii)包括上述第一特定对象的第一特定原始感兴趣区域的特征值；(iii)与上述第一特定原始感兴趣区域相对应的第一特定原始边界框的坐标值；(iv)上述第一特定原始感兴趣区域的坐标值；(v)在上述第二原始图像中所包括的第二特定对象的第二等级信息；(vi)包括上述第二特定对象的第二特定原始感兴趣区域的特征值；(vii)与上述第二特定原始感兴趣区域相对应的第二特定原始边界框的坐标值；以及(viii)上述第二特定原始感兴趣区域的坐标值。
3.根据权利要求2所述的学习方法，其特征在于，在上述步骤(b)中，与上述特定对特征向量相对应的上述辨别向量之一的特定辨别向量包括与上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域整合在上述整合图像中的概率有关的信息，与上述特定对特征向量相对应的上述边框回归向量之一的特定边框回归向量包括与对在上述整合图像上的上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域进行整合而生成的特定整合边界框的坐标有关的信息。
4.根据权利要求1所述的学习方法，其特征在于，上述学习装置使得在上述深度神经网络的一个以上层中所包括的深度学习神经反复执行使用其至少一个参数来将一个以上卷积运算适用于上述各深度学习神经的输入并将上述各深度学习神经的输出传递至下一个深度学习神经的过程，从而生成上述对特征向量、上述辨别向量及上述边框回归向量。
5.根据权利要求1所述的学习方法，其特征在于，在上述步骤(b)中，上述学习装置使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算中的至少一部分适用于上述对特征向量来生成上述辨别向量后，将上述全连接运算中的剩余部分适用于上述对特征向量中表示特定对被整合的特定概率的特定辨别向量的值为预设的阈值以上的一个以上特定对特征向量，来生成与上述特定对特征向量相对应的上述边框回归向量。
6.一种测试方法，对利用于生成至少一个测试用整合图像的分别对应于与测试用特定空间有关的第一测试用原始图像及第二测试用原始图像的第一测试用对象检测信息及第二测试用对象检测信息进行整合，从而不追加运算上述测试用整合图像而生成上述测试用整合图像的测试用整合对象检测信息，其特征在于，包括：
步骤(a)，(1)学习装置若获得第一学习用原始图像及第二学习用原始图像被处理而生成的第一学习用对象检测信息及第二学习用对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一学习用原始图像中所包括的第一学习用原始感兴趣区域及在上述第二学习用原始图像中所包括的第二学习用原始感兴趣区域的一个以上学习用对有关的信息的一个以上学习用对特征向量，(2)上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述学习用对特征向量，从而生成(i)包括与适合整合各个上述学习用对中所包括的上述第一学习用原始感兴趣区域及上述第二学习用原始感兴趣区域的概率有关的信息的一个以上学习用辨别向量，以及(ii)包括在上述学习用整合图像上与上述学习用对中的至少一部分的各要素的各现有位置相比较的、与对应于上述学习用对中的至少一部分的学习用整合感兴趣区域的各相对位置有关的信息的一个以上学习用边框回归向量，(3)上述学习装置使得损失单元参照上述学习用辨别向量和上述学习用边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分，上述学习装置使得上述损失单元(i)通过交叉熵方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失，根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，表示第i边框回归向量，而且，/>表示与上述第i边框回归向量有关的第i边框回归真值向量，在此状态下，测试装置若获得上述第一测试用原始图像及上述第二测试用原始图像被处理而生成的上述第一测试用对象检测信息及上述第二测试用对象检测信息，则使得在上述深度神经网络中所包括的上述级联网络生成包括与在上述第一测试用原始图像中所包括的第一测试用原始感兴趣区域及在上述第二测试用原始图像中所包括的第二测试用原始感兴趣区域的一个以上测试用对有关的信息的一个以上测试用对特征向量；
步骤(b)，上述测试装置使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算适用于上述测试用对特征向量，从而生成(i)包括与适合整合各个上述测试用对中所包括的上述第一测试用原始感兴趣区域及上述第二测试用原始感兴趣区域的概率有关的信息的一个以上测试用辨别向量，以及(ii)包括在上述测试用整合图像上与上述测试用对中的至少一部分的各要素的各现有位置相比较的与对应于上述测试用对中的至少一部分的测试用整合感兴趣区域的各相对位置有关的信息的一个以上测试用边框回归向量；以及
步骤(c)，上述测试装置使得合并单元参照上述测试用辨别向量及上述测试用边框回归向量来合并由第一测试用原始边界框及第二测试用原始边界框组成的上述测试用对中的至少一部分，从而生成上述测试用整合对象检测信息。
7.根据权利要求6所述的测试方法，其特征在于，从通过设置于安装有上述测试装置的车辆的负责第一方向的第一摄像头及负责第二方向的第二摄像头获得的上述第一测试用原始图像及上述第二测试用原始图像获得上述第一测试用对象检测信息及上述第二测试用对象检测信息。
8.根据权利要求6所述的测试方法，其特征在于，在上述步骤(a)中，上述测试用对特征向量之一的测试用特定对特征向量包括：(i)在上述第一测试用原始图像中所包括的第一测试用特定对象的第一测试用等级信息；(ii)包括上述第一测试用特定对象的第一测试用特定原始感兴趣区域的测试用特征值；(iii)与上述第一测试用特定原始感兴趣区域相对应的第一测试用特定原始边界框的坐标值；(iv)上述第一测试用特定原始感兴趣区域的坐标值；(v)在上述第二测试用原始图像中所包括的第二测试用特定对象的第二测试用等级信息；(vi)包括上述第二测试用特定对象的第二测试用特定原始感兴趣区域的测试用特征值；(vii)与上述第二测试用特定原始感兴趣区域相对应的第二测试用特定原始边界框的坐标值；以及(viii)上述第二测试用特定原始感兴趣区域的坐标值。
9.根据权利要求8所述的测试方法，其特征在于，在上述步骤(b)中，与上述测试用特定对特征向量相对应的上述测试用辨别向量之一的测试用特定辨别向量包括与上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域整合在上述测试用整合图像中的概率有关的信息，与上述测试用特定对特征向量相对应的上述测试用边框回归向量之一的测试用特定边框回归向量包括与对在上述测试用整合图像上的上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域进行整合而生成的测试用特定整合边界框的坐标有关的信息。
10.一种学习装置，对利用于生成至少一个整合图像的分别对应于与特定空间有关的第一原始图像及第二原始图像的第一对象检测信息及第二对象检测信息进行整合，从而不追加运算上述整合图像而生成上述整合图像的整合对象检测信息，其特征在于，
包括：
一个以上存储器，用于存储多个指令；以及
至少一个处理器，配置为执行用于执行流程(I)、流程(II)以及流程(III)的上述多个指令，
在上述流程(I)中，若获得上述第一原始图像及上述第二原始图像被处理而生成的上述第一对象检测信息及上述第二对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一原始图像中所包括的第一原始感兴趣区域及在上述第二原始图像中所包括的第二原始感兴趣区域的一个以上对有关的信息的一个以上对特征向量，
在上述流程(II)中，使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述对特征向量，从而生成(i)包括与适合整合各个上述对中所包括的上述第一原始感兴趣区域及上述第二原始感兴趣区域的概率有关的信息的一个以上辨别向量，以及(ii)包括在上述整合图像上与上述对中的至少一部分的各要素的各现有位置相比较的与对应于上述对中的至少一部分的整合感兴趣区域的各相对位置有关的信息的一个以上边框回归向量，
在上述流程(III)中，使得损失单元参照上述辨别向量和上述边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分；
在上述流程(III)中，上述处理器使得上述损失单元(i)通过交叉熵方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失；
在上述流程(III)中，
根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，vr i表示第i边框回归向量，而且，表示与上述第i边框回归向量有关的第i边框回归真值向量。
11.根据权利要求10所述的学习装置，其特征在于，在上述流程(I)中，上述对特征向量之一的特定对特征向量包括：(i)在上述第一原始图像中所包括的第一特定对象的第一等级信息；(ii)包括上述第一特定对象的第一特定原始感兴趣区域的特征值；(iii)与上述第一特定原始感兴趣区域相对应的第一特定原始边界框的坐标值；(iv)上述第一特定原始感兴趣区域的坐标值；(v)在上述第二原始图像中所包括的第二特定对象的第二等级信息；(vi)包括上述第二特定对象的第二特定原始感兴趣区域的特征值；(vii)与上述第二特定原始感兴趣区域相对应的第二特定原始边界框的坐标值；以及(viii)上述第二特定原始感兴趣区域的坐标值。
12.根据权利要求11所述的学习装置，其特征在于，在上述流程(II)中，与上述特定对特征向量相对应的上述辨别向量之一的特定辨别向量包括与上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域整合在上述整合图像中的概率有关的信息，与上述特定对特征向量相对应的上述边框回归向量之一的特定边框回归向量包括与对在上述整合图像上的上述第一特定原始感兴趣区域及上述第二特定原始感兴趣区域进行整合而生成的特定整合边界框的坐标有关的信息。
13.根据权利要求10所述的学习装置，其特征在于，上述处理器使得在上述深度神经网络的一个以上层中所包括的深度学习神经反复执行使用其至少一个参数来将一个以上卷积运算适用于上述各深度学习神经的输入并将上述各深度学习神经的输出传递至下一个深度学习神经的过程，从而生成上述对特征向量、上述辨别向量及上述边框回归向量。
14.根据权利要求10所述的学习装置，其特征在于，在上述流程(II)中，上述处理器使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算中的至少一部分适用于上述对特征向量来生成上述辨别向量后，将上述全连接运算中的剩余部分适用于上述对特征向量中表示特定对被整合的特定概率的特定辨别向量的值为预设的阈值以上的一个以上特定对特征向量来生成与上述特定对特征向量相对应的上述边框回归向量。
15.一种测试装置，对利用于生成至少一个测试用整合图像的分别对应于与测试用特定空间有关的第一测试用原始图像及第二测试用原始图像的第一测试用对象检测信息及第二测试用对象检测信息进行整合，从而不追加运算上述测试用整合图像而生成上述测试用整合图像的测试用整合对象检测信息，其特征在于，
包括：
至少一个存储器，用于存储多个指令；以及
至少一个处理器，配置为执行用于执行流程(I)、流程(II)以及流程(III)的上述多个指令，
在上述流程(I)中，(1)学习装置若获得第一学习用原始图像及第二学习用原始图像被处理而生成的第一学习用对象检测信息及第二学习用对象检测信息，则使得在深度神经网络中所包括的级联网络生成包括与在上述第一学习用原始图像中所包括的第一学习用原始感兴趣区域及在上述第二学习用原始图像中所包括的第二学习用原始感兴趣区域的一个以上学习用对有关的信息的一个以上学习用对特征向量，(2)上述学习装置使得在上述深度神经网络中所包括的辨别网络将一个以上全连接运算适用于上述学习用对特征向量，从而生成(i)包括与适合整合各个上述学习用对中所包括的上述第一学习用原始感兴趣区域及上述第二学习用原始感兴趣区域的概率有关的信息的一个以上学习用辨别向量，以及(ii)包括在上述学习用整合图像上与上述学习用对中的至少一部分的各要素的各现有位置相比较的与对应于上述学习用对中的至少一部分的学习用整合感兴趣区域的各相对位置有关的信息的一个以上学习用边框回归向量，(3)上述学习装置使得损失单元参照上述学习用辨别向量和上述学习用边框回归向量以及与此相对应的真值来生成整合损失，并利用上述整合损失执行反向传播，从而学习在上述深度神经网络中所包括的参数中的至少一部分，上述学习装置使得上述损失单元(i)通过交叉熵方式并使用上述辨别向量中的至少一部分来生成辨别损失，(ii)通过smooth-L1方式并使用上述边框回归向量中的至少一部分来生成边框回归损失后，(iii)参照上述辨别损失及上述边框回归损失来生成上述整合损失，根据下述公式生成上述辨别损失：
n表示上述辨别向量的数量，表示第i辨别向量，而且，/>表示与上述第i辨别向量有关的第i辨别真值向量，
根据下述公式生成上述边框回归损失：
n表示上述边框回归向量的数量，表示第i边框回归向量，而且，/>表示与上述第i边框回归向量有关的第i边框回归真值向量，在此状态下，若获得上述第一测试用原始图像及上述第二测试用原始图像被处理而生成的上述第一测试用对象检测信息及上述第二测试用对象检测信息，则使得在上述深度神经网络中所包括的上述级联网络生成包括与在上述第一测试用原始图像中所包括的第一测试用原始感兴趣区域及在上述第二测试用原始图像中所包括的第二测试用原始感兴趣区域的一个以上测试用对有关的信息的一个以上测试用对特征向量，
在上述流程(II)中，使得在上述深度神经网络中所包括的上述辨别网络将上述全连接运算适用于上述测试用对特征向量，从而生成(i)包括与适合整合各个上述测试用对中所包括的上述第一测试用原始感兴趣区域及上述第二测试用原始感兴趣区域的概率有关的信息的一个以上测试用辨别向量，以及(ii)包括在上述测试用整合图像上与上述测试用对中的至少一部分的各要素的各现有位置相比较的与对应于上述测试用对中的至少一部分的测试用整合感兴趣区域的各相对位置有关的信息的一个以上测试用边框回归向量，
在上述流程(III)中，使得损失单元参照上述测试用辨别向量及上述测试用边框回归向量来合并由第一测试用原始边界框及第二测试用原始边界框组成的上述测试用对中的至少一部分，从而生成上述测试用整合对象检测信息。
16.根据权利要求15所述的测试装置，其特征在于，从通过设置于安装有上述测试装置的车辆的负责第一方向的第一摄像头及负责第二方向的第二摄像头获得的上述第一测试用原始图像及上述第二测试用原始图像获得上述第一测试用对象检测信息及上述第二测试用对象检测信息。
17.根据权利要求15所述的测试装置，其特征在于，在上述流程(I)中，上述测试用对特征向量之一的测试用特定对特征向量包括：(i)在上述第一测试用原始图像中所包括的第一测试用特定对象的第一测试用等级信息；(ii)包括上述第一测试用特定对象的第一测试用特定原始感兴趣区域的测试用特征值；(iii)与上述第一测试用特定原始感兴趣区域相对应的第一测试用特定原始边界框的坐标值；(iv)上述第一测试用特定原始感兴趣区域的坐标值；(v)在上述第二测试用原始图像中所包括的第二测试用特定对象的第二测试用等级信息；(vi)包括上述第二测试用特定对象的第二测试用特定原始感兴趣区域的测试用特征值；(vii)与上述第二测试用特定原始感兴趣区域相对应的第二测试用特定原始边界框的坐标值；以及(viii)上述第二测试用特定原始感兴趣区域的坐标值。
18.根据权利要求17所述的测试装置，其特征在于，在上述流程(II)中，与上述测试用特定对特征向量相对应的上述测试用辨别向量之一的测试用特定辨别向量包括与上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域整合在上述测试用整合图像中的概率有关的信息，与上述测试用特定对特征向量相对应的上述测试用边框回归向量之一的测试用特定边框回归向量包括与对在上述测试用整合图像上的上述第一测试用特定原始感兴趣区域及上述第二测试用特定原始感兴趣区域进行整合而生成的测试用特定整合边界框的坐标有关的信息。
CN202010070994.XA 2019-01-31 2020-01-21 利用合并网络进行异质传感器融合的方法和装置 Active CN111507161B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799097P 2019-01-31 2019-01-31
US62/799,097 2019-01-31
US16/724,301 2019-12-22
US16/724,301 US10650279B1 (en) 2019-01-31 2019-12-22 Learning method and learning device for heterogeneous sensor fusion by using merging network which learns non-maximum suppression

Publications (2)

Publication Number Publication Date
CN111507161A CN111507161A (zh) 2020-08-07
CN111507161B true CN111507161B (zh) 2023-08-04

Family

ID=70612711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070994.XA Active CN111507161B (zh) 2019-01-31 2020-01-21 利用合并网络进行异质传感器融合的方法和装置

Country Status (5)

Country Link
US (1) US10650279B1 (zh)
EP (1) EP3690723A1 (zh)
JP (1) JP6903352B2 (zh)
KR (1) KR102372687B1 (zh)
CN (1) CN111507161B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
CN113505661A (zh) * 2021-06-22 2021-10-15 中国农业大学 产地鉴别的方法、装置、电子设备及存储介质
CN113673487A (zh) * 2021-10-21 2021-11-19 杭州觅睿科技股份有限公司 一种宠物识别方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115981A (ja) * 1997-06-19 1999-01-22 Matsushita Electric Ind Co Ltd 広域監視装置及び広域監視システム
CN106780536A (zh) * 2017-01-13 2017-05-31 深圳市唯特视科技有限公司 一种基于对象掩码网络的形状感知实例分割方法
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
CN109145743A (zh) * 2018-07-19 2019-01-04 叶涵 一种基于深度学习的图像识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001223A (ko) 2015-06-26 2017-01-04 삼성전자주식회사 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10262237B2 (en) * 2016-12-08 2019-04-16 Intel Corporation Technologies for improved object detection accuracy with multi-scale representation and training
US10747224B2 (en) * 2018-06-19 2020-08-18 Toyota Research Institute, Inc. Debugging an autonomous driving machine learning model
US11391819B2 (en) * 2018-07-18 2022-07-19 Qualcomm Incorporate Object verification using radar images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115981A (ja) * 1997-06-19 1999-01-22 Matsushita Electric Ind Co Ltd 広域監視装置及び広域監視システム
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
CN106780536A (zh) * 2017-01-13 2017-05-31 深圳市唯特视科技有限公司 一种基于对象掩码网络的形状感知实例分割方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN109145743A (zh) * 2018-07-19 2019-01-04 叶涵 一种基于深度学习的图像识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cong Tang et al..Multi-View Object Detection Based on Deep Learning.applied sciences.2018,第8卷(第9期),第1-15页. *

Also Published As

Publication number Publication date
KR102372687B1 (ko) 2022-03-10
US10650279B1 (en) 2020-05-12
EP3690723A1 (en) 2020-08-05
KR20200095357A (ko) 2020-08-10
JP6903352B2 (ja) 2021-07-14
JP2020126622A (ja) 2020-08-20
CN111507161A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
US10628688B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
CN111507166A (zh) 通过一起使用照相机和雷达来学习cnn的方法及装置
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
KR102372703B1 (ko) V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3687152B1 (en) Learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
US20230121534A1 (en) Method and electronic device for 3d object detection using neural networks
KR102309712B1 (ko) 객체의 조건에 따라 모드를 전환할 수 있는 CNN 기반으로 군사 목적, 스마트폰 또는 가상 주행에 사용되는 수도(Pseudo)-3D 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
CN112654998B (zh) 一种车道线检测方法和装置
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
US10339424B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10460210B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
CN117746418A (zh) 目标检测模型构建方法、目标检测方法及相关装置
CN113033568A (zh) 一种基于AMVNet的LIDAR语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant