CN111507166A - 通过一起使用照相机和雷达来学习cnn的方法及装置 - Google Patents

通过一起使用照相机和雷达来学习cnn的方法及装置 Download PDF

Info

Publication number
CN111507166A
CN111507166A CN202010073576.6A CN202010073576A CN111507166A CN 111507166 A CN111507166 A CN 111507166A CN 202010073576 A CN202010073576 A CN 202010073576A CN 111507166 A CN111507166 A CN 111507166A
Authority
CN
China
Prior art keywords
test
image
learning
information
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010073576.6A
Other languages
English (en)
Other versions
CN111507166B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申東洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507166A publication Critical patent/CN111507166A/zh
Application granted granted Critical
Publication of CN111507166B publication Critical patent/CN111507166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请公开了一种通过一起使用照相机和雷达来学习CNN的方法及装置，即使由于不良的拍摄环境，通过照相机获取的拍摄图像的对象描绘率低时，也可以使CNN正常运行，所述方法包括以下步骤：(a)学习装置指示卷积层对多通道集成图像进行卷积运算，从而生成特征图；(b)学习装置指示输出层对特征图进行输出运算，从而生成预测对象信息；以及(c)学习装置使损失层通过使用预测对象信息及与其对应的GT对象信息来生成损失，并通过使用损失进行反向传播，从而学习CNN中至少一部分参数。

Description

通过一起使用照相机和雷达来学习CNN的方法及装置
技术领域
本申请涉及一种用于自动驾驶车辆的学习方法及学习装置，更详细地，涉及一种通过将可进行距离预测的雷达所获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善用于支持自动驾驶的神经网络的学习方法及学习装置、以及对应的测试方法及测试装置。
背景技术
近来，在自动驾驶领域中，通常使用三种类型的传感器来检测自动驾驶车辆周围的对象。三种类型的传感器分别为激光雷达(LiDAR)、雷达(Radar)及照相机。每个这样的传感器都具有缺点。例如，激光雷达的缺点是太昂贵而不能广泛使用、雷达的缺点是单独使用时的性能低下、照相机的缺点是因受天气等周围环境的影响而不稳定。
单独使用每个传感器都会有如上缺点，因此需要一种传感器融合(SensorFusion)方法来一起使用这些传感器。
但是，到目前为止，在传感器融合方法上，仅有结合两个结果的浅显的研究，並沒有太多深入的研究。
发明内容
本申请的目的是解决上述问题。
本申请的另一个目的是提供一种学习方法，通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善用于支持自动驾驶的神经网络。
本申请的又一个目的是提供一种使神经网络使用整合信息来支持自动驾驶的方法，该整合信息是通过将雷达获取的信息和通过照相机获取的信息按通道(Channel-wise)进行连接(Concatenating)而生成的。
本申请的又一个目的是通过使用雷达获取的包括关于特定对象信息的附加信息，在没有关于特定对象的额外信息的情况下，也能对通过照相机获取的不完整信息进行补充。
为了达到本申请的上述目的，并实现本申请的下述技术效果，本申请的特征结构如下。
根据本申请的一实施例，提供一种通过一起使用照相机和雷达(Radar)来学习卷积神经网络(Convolutional Neural Network，CNN)的方法，所述方法即使在拍摄图像(Photographed Image)的对象描绘率(Object Depiction Ratio)低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括以下步骤：(a)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像(Depth Image)来生成的多通道集成图像(MultichannelIntegrated Image)时，则所述学习装置指示所述CNN中的至少一个卷积层(ConvolutionalLayer)对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图(Feature Map)上反映所述拍摄图像的信息和所述深度图像的信息；(b)所述学习装置指示所述CNN中的至少一个输出层(Output Layer)对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息(Estimated ObjectInformation)；以及(c)所述学习装置指示所述CNN中的至少一个损失层通过使用所述预测对象信息及与其对应的确实(Ground Truth，GT)对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述CNN中至少一部分参数。
在一实施例中，在所述步骤(a)中，所述学习装置(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布生成的值设定为包括于引导通道图像(Guide Channel Image)中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道(Channel-wise)进行连接(Concatenating)，从而生成所述多通道集成图像。
在一实施例中，在所述步骤(a)中，所述学习装置参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure BDA0002377894670000031
在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，
Figure BDA0002377894670000032
及
Figure BDA0002377894670000033
分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，
Figure BDA0002377894670000034
及
Figure BDA0002377894670000035
分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
在一实施例中，在所述步骤(b)中，所述学习装置指示与所述CNN连动操作的区域建议网络(Region Proposal Network，RPN)参照所述特征图来生成至少一个预测注意区域(Region-Of-Interest，ROI)的信息，所述预测ROI的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为全连接(Fully-Connected，FC)网络形态的所述输出层参照所述预测ROI来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果(Estimated Object Detection Result)。
在一实施例中，在所述步骤(a)中，所述学习装置指示包括于所述卷积层的每个卷积神经元(Convolutional Neuron)，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。
在一实施例中，在所述步骤(b)中，所述学习装置指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。
在一实施例中，所述学习裝置指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。
根据本申请再一实施例，还提供一种通过一起使用照相机和雷达来测试CNN的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括以下步骤：(a)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述CNN中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述CNN中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而生成所述学习用多通道集成图像中的所述学习用对象的学习用预测对象信息；(3)所述学习装置指示所述CNN中的至少一个损失层(LossLayer)通过使用所述学习用预测对象信息及与其对应的GT对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而在学习所述CNN中至少一部分参数的状态下，测试装置指示所述CNN中的所述卷积层(i)通过与所述测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用所述测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行至少一次所述卷积运算，从而生成至少一个测试用特征图，在所述特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息；以及(b)所述测试装置指示所述CNN中的所述输出层对所述测试用特征图进行所述输出运算，从而生成所述测试用多通道集成图像中的所述测试用对象的测试用预测对象信息。
在一实施例中，在所述步骤(a)中，所述测试装置(i)通过参照所述测试用深度图像来获取所述测试用目标车辆的所述测试用对象的至少一个测试用距离及至少一个测试用角度的测试用信息后，(ii)通过参照所述测试用距离及所述测试用角度的所述测试用信息来得出与所述测试用拍摄图像上的所述测试用对象中的至少一部分相对应的至少一个测试用对象坐标，并(iii)将通过参照所述测试用对象坐标和测试用概率分布来将生成的值设定为包括于测试用引导通道图像中的与其对应的测试用像素值，从而生成至少一个所述测试用引导通道图像后，(iv)通过将所述测试用引导通道图像与所述测试用拍摄图像按通道进行连接，从而生成所述测试用多通道集成图像。
在一实施例中，在所述步骤(a)中，所述测试装置参照所述测试用对象坐标中的测试用第1对象坐标至测试用第N对象坐标和所述测试用概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure BDA0002377894670000051
在所述公式中，Pk表示包括于所述测试用引导通道图像的像素中的第k像素，
Figure BDA0002377894670000052
及
Figure BDA0002377894670000053
分别表示所述测试用引导通道图像上所述第k像素的x坐标及y坐标，
Figure BDA0002377894670000054
及
Figure BDA0002377894670000055
分别表示测试用第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
在一实施例中，所述测试裝置指示所述卷积层生成所述测试用特征图，在所述测试用特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息，从而使所述测试用对象中所述对象描绘率小于阈值的每个特定测试用对象的信息还包括于所述测试用预测对象信息中；还包括以下步骤：(c)所述测试装置将所述测试用预测对象信息传递到所述测试用目标车辆上的至少一个自动驾驶模块，从而支持所述测试用目标车辆的自动驾驶。
根据本申请的另一实施例，还提供一种通过一起使用照相机和雷达来学习CNN的学习装置，所述装置即使在拍摄图像的对象描绘率低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下流程：(I)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像来生成的多通道集成图像时，则指示所述CNN中的至少一个卷积层对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息；(II)指示所述CNN中的至少一个输出层对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息；以及(III)指示所述CNN中的至少一个损失层通过使用所述预测对象信息及与其对应的GT对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述CNN中至少一部分参数。
在一实施例中，在所述流程(I)中，所述处理器(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布来将生成的值设定为包括于引导通道图像中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道进行连接，从而生成所述多通道集成图像。
在一实施例中，在所述流程(I)中，所述处理器参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure BDA0002377894670000061
在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，
Figure BDA0002377894670000062
及
Figure BDA0002377894670000063
分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，
Figure BDA0002377894670000064
及
Figure BDA0002377894670000065
分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
在一实施例中，在所述流程(II)中，所述处理器指示与所述CNN连动操作的RPN参照所述特征图来生成至少一个预测ROI的信息，所述预测ROI的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为FC网络形态的所述输出层参照所述预测ROI来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果。
在一实施例中，在所述流程(I)中，所述处理器指示包括于所述卷积层的每个卷积神经元，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。
在一实施例中，在所述流程(II)中，所述处理器指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。
在一实施例中，所述处理器指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。
根据本申请的又一实施例，还提供一种通过一起使用所述照相机和雷达来测试CNN的测试装置，所述装置即使在拍摄图像的对象描绘率低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下流程：(I)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述CNN中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述CNN中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而生成所述学习用多通道集成图像中的所述学习用对象的学习用预测对象信息；(3)所述学习装置指示所述CNN中的至少一个损失层通过使用所述学习用预测对象信息及与其对应的GT对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而在学习所述CNN中至少一部分参数的状态下，指示所述CNN中的所述卷积层(i)通过与所述测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用所述测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行至少一次所述卷积运算，从而生成至少一个测试用特征图，在所述特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息；以及(II)指示所述CNN中的所述输出层对所述测试用特征图进行所述输出运算，从而生成所述测试用多通道集成图像中的所述测试用对象的测试用预测对象信息。
在一实施例中，在所述流程(I)中，所述处理器(i)通过参照所述测试用深度图像来获取所述测试用目标车辆的所述测试用对象的至少一个测试用距离及至少一个测试用角度的测试用信息后，(ii)通过参照所述测试用距离及所述测试用角度的所述测试用信息来得出与所述测试用拍摄图像上的所述测试用对象中的至少一部分相对应的至少一个测试用对象坐标，并(iii)将通过参照所述测试用对象坐标和测试用概率分布来将生成的值设定为包括于测试用引导通道图像中的与其对应的测试用像素值，从而生成至少一个所述测试用引导通道图像后，(iv)通过将所述测试用引导通道图像与所述测试用拍摄图像按通道进行连接，从而生成所述测试用多通道集成图像。
在一实施例中，在所述流程(I)中，所述处理器参照所述测试用对象坐标中的测试用第1对象坐标至测试用第N对象坐标和所述测试用概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure BDA0002377894670000081
在所述公式中，Pk表示包括于所述测试用引导通道图像的像素中的第k像素，
Figure BDA0002377894670000082
及
Figure BDA0002377894670000083
分别表示所述测试用引导通道图像上所述第k像素的x坐标及y坐标，
Figure BDA0002377894670000084
及
Figure BDA0002377894670000085
分别表示测试用第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
在一实施例中，所述处理器指示所述卷积层生成所述测试用特征图，在所述测试用特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息，从而使所述测试用对象中所述对象描绘率小于阈值的每个特定测试用对象的信息还包括于所述测试用预测对象信息中；还执行以下流程：(III)所述处理器将所述测试用预测对象信息传递到所述测试用目标车辆上的至少一个自动驾驶模块，从而支持所述测试用目标车辆的自动驾驶。
此外，为了执行本申请的方法，还提供了计算机可读的记录介质，用以存储计算机程序。
本申请的效果在于，提供一种学习方法，通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善用于支持自动驾驶的神经网络。
本申请的另一效果在于，提供一种使神经网络使用整合信息来支持自动驾驶的方法，该整合信息是通过将雷达获取的信息和通过照相机获取的信息按通道(Channel-wise)进行连接(Concatenating)而生成的。
本申请的又一效果在于，通过使用雷达获取的包括关于特定对象信息的附加信息，在没有关于特定对象的额外信息的情况下，也能对通过照相机获取的不完整信息进行补充。
附图说明
以下用于解释本申请的示例性实施例的附图仅是本申请的示例性实施例的一部分，并且本申请所属领域普通技术人员无需进行创造性劳动即可基于这些附图获得其他附图。
图1为本申请一实施例的学习装置的结构简易示意图，所述学习装置用于执行通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法；
图2为本申请一实施例的CNN的结构简易示意图，所述CNN用于执行通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法；
图3为本申请一实施例的学习方法的流程图，所述方法通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶；
图4A和图4B为本申请一实施例的多通道集成图像的示例图，所述示例图用于通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法的执行。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请的多个实施例虽然相互不同，但相互之间也不存在相斥的情况。例如，所记载的特征形状、结构及特性在一实施例中只要不超过本申请的精神以及保护范围时，也可以以其他实施例来体现。而且，各实施例中公开的个别结构要素的位置或配置，在不脱离本申请的精神以及保护范围的情况下，可作变更。因此，凡是本申请的权利要求所主张的内容及等同于该内容的所有内容均属于本申请的保护范围，而下面所描述的实施例并不是为了限定本申请的保护范围。附图中类似的参考符号是相同或具备的功能类似的部件名称。
此外，在本申请的描述中，需要理解的是，术语“包括”及其变化形式的其他术语等仅是为了添加其他技术特征、附加物、组件或步骤，本申请的其他目的、有益效果、特征等内容将通过说明书和本申请的实施方式向本领域技术人员揭示。以下通过一些实施例和附图具体说明本申请的保护内容，当然，它们仅仅为示例，并且目的不在于限制本申请。
本申请内容中提及的任何图像都可以包括与任何已铺设或未铺设的道路有关的图像，在这种情况下，道路上或道路附近的物体可能包括车辆、人员、动物、植物、物件、建筑物或可能出现在与道路有关的场景中的任何其他障碍物，但是本申请的范围不限于此。作为另一示例，本申请中提及的所述任何图像可以包括与任何道路都不相关的图像，诸如与巷道，土地或任何室内空间有关的图像，在这种情况下，上述任何图像中的物体可能包括车辆、人员、动物、植物、物件、建筑物或任何室内空间，但是本申请的范围不限于此。
为了使本申请的本领域技术人员能够容易地实施，将通过参考附图来详细说明本申请的优选实施例，如下所示。
图1为本申请一实施例的学习装置的结构简易示意图，所述学习装置用于执行通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法。
参照图1，学习装置100可以包括后面将要进行详细说明的CNN 130。CNN 130的输入/输出及运算过程可以分别由通信部110及处理器120执行。然而，图1省略了通信部110及处理器120的具体连接关系。此时，存储器115可以为已经存储了稍后将要描述的各种指令(Instruction)的状态，处理器120可以执行存储在存储器115中的指令，并且可以执行稍后将要说明的本申请的流程。学习装置100的这种描述不排除包括处理器、存储器、介质或其他计算装置的组合的集成装置。
这样的学习装置100可以与目标车辆连动操作，并且可以通过目标车辆上的至少一个照相机和至少一个雷达来分别获取训练数据的至少一部分，即，稍后将说明的拍摄图像(Photographed Image)和深度图像(Depth Image)。此外，学习装置100可以获取与训练数据相对应的注释数据(Annotation Data)，即，稍后将要说明的GT对象信息(GroundTruth Object Information)。其中，可以将被标记了拍摄图像中包括的至少一个对象信息的GT对象信息由管理者输入到学习装置100，但是并不限于此。
如上，根据本申请的实施例，对学习装置100的结构进行了说明，该学习装置用于执行将通过可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法。以下，将对包括在其中的CNN 130的结构进行说明。
图2为本申请一实施例的CNN的结构简易示意图，所述CNN用于执行通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法。
参照图2，CNN 130可以包括至少一个卷积层131、至少一个输出层132及至少一个损失层133。其中，卷积层131可以对输入于自身的图像进行至少一次的卷积运算。更具体地，学习装置100可以指示包括于卷积层131的每个卷积神经元，使用自身的至少一个参数来对输入于自身的值进行运算并将输出值传递至自身下一个卷积神经元，通过重复上述流程将卷积运算应用于所述输入于自身的图像。
而且，可以根据期望的输出，来不同地构建输出层132。例如，若管理者希望作为CNN 130的输出的预测对象信息(Estimated Object Information)包括于与输入图像相对应的预测分割图像中，则可以将输出层132构建为与卷积层131对应的至少一个反卷积层，并可以作为输出运算执行至少一次卷积运算。与此不同，若管理者希望输入图像中的对象的预测对象检测结果包括于预测对象信息中，则管理者可以设置与CNN 130连动操作的区域建议网络(Region Proposal Network，RPN)，并用全连接层(Fully-Connected Layer，FCLayer)构建输出层132。其中，RPN可以通过参照由卷积层131生成的特征图，来生成与特征图相对应的图像上的至少一部分对象的至少一个位置对应的至少一个预测注意区域(Region-Of-Interest，ROI)，以FC层构建的输出层132参照预测ROI的信息来对特征图进行作为输出运算的FC运算，从而生成包括预测对象检测结果的预测对象信息。
并且，稍后将描述的损失层133可以产生损失并通过使用损失来执行反向传播，从而学习CNN 130的参数中的至少一部分。
如上所述，已经对将用于执行本申请的学习方法的CNN 130进行了说明。以下，将参照图3对本申请的学习方法本身进行说明。
图3为本申请一实施例的学习方法的流程图，所述方法通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶。
参照图3，在步骤S01中，当获取到通过使用从目标车辆上的照相机和雷达分别获取的拍摄图像及深度图像而生成的多通道集成图像时，则学习装置100指示CNN 130中的卷积层131对多通道集成图像进行卷积运算，从而生成反映了拍摄图像信息及深度图像信息的特征图。并且，在步骤S02中，学习装置100可以指示CNN 130中的输出层132对特征图进行输出运算，从而生成多通道集成图像上的对象的预测对象信息。最后，在步骤S03中，学习装置100可以指示CNN 130中的损失层133通过参照预测对象信息及与其对应的GT对象信息来生成损失，并通过参照该损失来执行反向传播，从而学习CNN 130的至少一部分参数。以下，将进行更具体地说明。
首先，对多通道集成图像的获取流程进行说明。其中，拍摄图像可以具有三个通道，即，R、G、B或H、S、V，因为这是通过普通照相机拍摄的图像。深度图像可以具有两个通道，因为包括两种信息，即，目标车辆的至少一个距离和至少一个角度。由于拍摄图像与深度图像的大小不同，因此无法直接连接在一起。故，学习装置100可以通过参照距离和角度的信息来得出与拍摄图像上的对象中的至少一部分相对应的至少一个对象坐标。具体地，学习装置100可以(i)通过使用参数信息来获取照相机的视野(Field-Of-View，FOV)信息之后，(ii)通过参照FOV信息来将拍摄图像中的每个像素映射到虚拟3维空间中，并(iii)将距离和角度的信息与虚拟3维空间中的像素位置进行比较，从而计算多通道集成图像上的对象坐标。
其中，可以根据每个对象的至少一个中心坐标，或者根据包括形态等特性的每个对象的多个坐标来决定每个对象坐标，但并不限于此。
在获取对象坐标之后，学习装置100可以将通过参照对象坐标和概率分布而生成的值设置为包括在引导通道图像中的与其对应的像素值，从而生成至少一个引导通道图像。通过执行该流程，深度图像可以以引导通道图像的形态与拍摄图像连接。
其中，可以根据以下公式进行运算来获取像素值。为了方便起见，假设所述对象坐标包括第1对象坐标至第N对象坐标，N是与拍摄图像中的对象数量相对应的整数。
Figure BDA0002377894670000131
在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，
Figure BDA0002377894670000132
及
Figure BDA0002377894670000133
分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，
Figure BDA0002377894670000134
及
Figure BDA0002377894670000135
分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。根据所述公式，可以将位置相对更靠近某一对象坐标的第1示例像素值生成地相对较大，可以将位置相对更远离某一对象坐标的第二示例像素值生成地相对较小。为了了解这种像素值的示例，将参照图4A和4B。
图4A和图4B为本申请一实施例的多通道集成图像的示例图，所述示例图用于通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善神经网络来支持自动驾驶的学习方法的执行。
参照图4A和图4B，可以看出多通道集成图像200具有至少四个通道，因为具有三个通道的拍摄图像和具有一个通道的引导通道图像用于多通道集成图像的生成，所述一个通道为使用对象坐标决定的像素值的通道。因此，前面的三个通道210、220、230可以代表从摄像机获取的一般图像的通道，即，R、G、B或H、S、V。最后一个通道240可以对应于前述的引导通道图像，在最后通道240中可以看到如上生成的像素值，即，相对于第m对象坐标241，与其最接近像素241-1的像素值为0.7，中间距离的像素241-2的像素值为0.4，而最远像素241-3的像素值为0.2。并且，由于第m对象坐标241之外的其他对象坐标242，导致另一其他像素241-4因受到其他对象坐标242和第m对象坐标241的影响，其像素值可以是更大的0.9。
如上所述地生成多通道集成图像之后，学习装置100可以执行上述步骤S01、步骤S02及步骤S03，从而学习CNN 130的参数中的至少一部分。这样的流程类似于通用前馈神经网络(Feed-Forward Neural Network)的学习流程，因此以上说明对本领域技术人员而言将足够用来理解本申请。
通过执行上述学习流程，即使在拍摄图像的对象描绘率低时，也可以通过一起使用照相机和雷达来使CNN 130正常运行，所述对象描绘率为由于不良的拍摄环境，所述拍摄图像上有至少一个对象被正确显示的概率。更具体地，即使当目标车辆周围太暗或目标车辆周围的天气太恶劣以致在拍摄的图像上不能正确地显示对象时，所述CNN 130也可以适当地执行对象识别流程或图像分割流程。其中，指示对输入图像的任一对象的信息进行检测的方式学习的深度神经网络(Deep Neural Network，DNN)使用示例图像来检测类别和位置后，通过计算DNN正确检测类别和位置的概率来生成示例图像的对象描绘率。例如，若对象中的过半数以上的特定对象位于建筑物的阴影区域而显暗的场面包括于拍摄图像中，则拍摄图像的对象描绘率可能小于阈值。
有许多现有技术将从雷达获取的信息线性地(Linearly)添加到从照相机获取的信息中，但是在本申请并没有对这两者进行线性整合。即，更深入地讲，从雷达获取的信息与从照相机获取的信息从一开始，即从学习流程开始，就进行整合。为了将两个信息更紧密地整合起来，学习装置100可以指示卷积层131生成特征图，所述特征图反映了拍摄图像的信息和深度图像的信息，并且可以指示输出层132和损失层133对其进行输出以学习参数。据此，所述两个信息可以反映在参数上。
以上对本申请的学习流程进行了说明，以下将对CNN 130的测试方法进行说明。
即，(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则学习装置100指示CNN 130中的卷积层131对学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在学习用特征图上反映学习用拍摄图像的信息和学习用深度图像的信息；(2)学习装置100指示CNN 130中的输出层132对学习用特征图进行至少一次输出运算，从而生成学习用多通道集成图像中的学习用对象的学习用预测对象信息；(3)学习装置100指示CNN 130中的损失层133通过使用学习用预测对象信息及与其对应的GT对象信息来生成至少一个损失，并通过使用所失进行反向传播，从而在学习CNN 130中至少一部分参数的状态下，测试装置指示CNN 130中的卷积层131(i)通过与测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行卷积运算，从而生成至少一个测试用特征图，在特征图上反映测试用拍摄图像的信息和测试用深度图像的信息。
然后，测试装置可以指示包括于CNN 130中的输出层132将输出运算应用于测试用特征图，从而生成测试用多通道集成图像上的测试用对象的预测对象信息。
除了由损失层133执行的流程之外，上述流程与学习流程相似，因此可以在上述学习流程说明的基础上进行理解。然而，当测试目标车辆实际进行自动驾驶时会执行测试方法，所以还会执行附加的流程。
即，在生成包括对象描绘率小于阈值的测试用特定对象信息的测试用预测对象信息之后，测试装置将其传递到至少一个自动驾驶模块，从而支持测试用目标车辆的自动驾驶。
通过执行这些方法，即使由于摄影环境的不良状况而使得通过照相机获取的图像质量低下时，也可以实现安全的自动驾驶。
本申请的技术方案的目的或对现有技术做出贡献的部分可以通过各种计算机手段以可执行程序命令的形式来实现，并且可以被记录到计算机可读记录介质中。计算机可读介质可以单独地或组合地包括程序命令，数据文件和数据结构。记录到介质的程序命令可以是为本申请内容专门设计的组件，或者可以是计算机软件领域的技术人员可以使用的。计算机可读记录介质包括磁性介质(例如硬盘，软盘和磁带)，光学介质(例如CD-ROM和DVD)，磁光介质(例如软盘)和硬件设备(例如ROM，RAM和闪存)设计用于存储和执行程序。程序命令不仅包括由编译器进行的机器语言代码，而且包括可由计算机执行的解释器等可以使用的高级代码。前述硬件设备可以起软件模块的作用，以执行本申请的动作，并且它们可以在相反的情况下进行相同的操作。硬件设备可以与诸如ROM和RAM之类的存储器组合以存储程序命令，并且可以包括诸如CPU或GPU之类的处理器，以执行存储在存储器中的命令，并且还包括用于与外部设备发送和接收信号的通信部分。
如上所述，已经通过诸如详细的部件，受限的实施例和附图的特定事项解释了本申请。尽管已经通过优选实施例描述了本申请，但是，本领域技术人员将理解，本申请的保护范围可以在不脱离本申请的精神和范围的情况下进行各种改变和修改。
因此，本申请的思想一定不限于所解释的实施例，并且以下专利权利要求以及包括与专利权利要求等同或等同的变型在内的所有内容都属于本申请的思想的范畴。

Claims (22)

1.一种通过一起使用照相机和雷达来学习卷积神经网络的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括以下步骤：
(a)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像来生成的多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息；
(b)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息；以及
(c)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述卷积神经网络中至少一部分参数。
2.如权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述学习装置(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布生成的值设定为包括于引导通道图像中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道进行连接，从而生成所述多通道集成图像。
3.如权利要求2所述的方法，其特征在于，在所述步骤(a)中，
所述学习装置参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure FDA0002377894660000021
在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，
Figure FDA0002377894660000022
及
Figure FDA0002377894660000023
分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，
Figure FDA0002377894660000024
及
Figure FDA0002377894660000025
分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
4.如权利要求1所述的方法，其特征在于，在所述步骤(b)中，所述学习装置指示与所述卷积神经网络连动操作的区域建议网络参照所述特征图来生成至少一个预测注意区域的信息，所述预测注意区域的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为全连接网络形态的所述输出层参照所述预测注意区域来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果。
5.如权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述学习装置指示包括于所述卷积层的每个卷积神经元，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。
6.如权利要求1所述的方法，其特征在于，在所述步骤(b)中，所述学习装置指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。
7.如权利要求1所述的方法，其特征在于，所述学习裝置指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。
8.一种通过一起使用照相机和雷达来测试卷积神经网络的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括以下步骤：
(a)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而生成所述学习用多通道集成图像中的所述学习用对象的学习用预测对象信息；(3)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述学习用预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而在学习所述卷积神经网络中至少一部分参数的状态下，测试装置指示所述卷积神经网络中的所述卷积层(i)通过与所述测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用所述测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行至少一次所述卷积运算，从而生成至少一个测试用特征图，在所述特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息；以及
(b)所述测试装置指示所述卷积神经网络中的所述输出层对所述测试用特征图进行所述输出运算，从而生成所述测试用多通道集成图像中的所述测试用对象的测试用预测对象信息。
9.如权利要求8所述的方法，其特征在于，在所述步骤(a)中，所述测试装置(i)通过参照所述测试用深度图像来获取所述测试用目标车辆的所述测试用对象的至少一个测试用距离及至少一个测试用角度的测试用信息后，(ii)通过参照所述测试用距离及所述测试用角度的所述测试用信息来得出与所述测试用拍摄图像上的所述测试用对象中的至少一部分相对应的至少一个测试用对象坐标，并(iii)将通过参照所述测试用对象坐标和测试用概率分布来将生成的值设定为包括于测试用引导通道图像中的与其对应的测试用像素值，从而生成至少一个所述测试用引导通道图像后，(iv)通过将所述测试用引导通道图像与所述测试用拍摄图像按通道进行连接，从而生成所述测试用多通道集成图像。
10.如权利要求9所述的电子装置，其特征在于，在所述步骤(a)中，
所述测试装置参照所述测试用对象坐标中的测试用第1对象坐标至测试用第N对象坐标和所述测试用概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure FDA0002377894660000041
在所述公式中，Pk表示包括于所述测试用引导通道图像的像素中的第k像素，
Figure FDA0002377894660000042
及
Figure FDA0002377894660000043
分别表示所述测试用引导通道图像上所述第k像素的x坐标及y坐标，
Figure FDA0002377894660000044
及
Figure FDA0002377894660000045
分别表示测试用第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
11.如权利要求8所述的方法，其特征在于，所述测试裝置指示所述卷积层生成所述测试用特征图，在所述测试用特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息，从而使所述测试用对象中所述对象描绘率小于阈值的每个特定测试用对象的信息还包括于所述测试用预测对象信息中；
还包括以下步骤：
(c)所述测试装置将所述测试用预测对象信息传递到所述测试用目标车辆上的至少一个自动驾驶模块，从而支持所述测试用目标车辆的自动驾驶。
12.一种通过一起使用照相机和雷达来学习卷积神经网络的学习装置，所述装置即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于执行所述指令，所述处理器执行以下流程：
(I)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像来生成的多通道集成图像时，则指示所述卷积神经网络中的至少一个卷积层对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息；
(II)指示所述卷积神经网络中的至少一个输出层对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息；以及
(III)指示所述卷积神经网络中的至少一个损失层通过使用所述预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述卷积神经网络中至少一部分参数。
13.如权利要求12所述的装置，其特征在于，在所述流程(I)中，所述处理器(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布来将生成的值设定为包括于引导通道图像中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道进行连接，从而生成所述多通道集成图像。
14.如权利要求13所述的装置，其特征在于，在所述流程(I)中，所述处理器参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure FDA0002377894660000051
在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，
Figure FDA0002377894660000052
及
Figure FDA0002377894660000053
分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，
Figure FDA0002377894660000054
及
Figure FDA0002377894660000055
分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
15.如权利要求12所述的装置，其特征在于，在所述流程(II)中，所述处理器指示与所述卷积神经网络连动操作的区域建议网络参照所述特征图来生成至少一个预测注意区域的信息，所述预测注意区域的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为全连接网络形态的所述输出层参照所述预测注意区域来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果。
16.如权利要求12所述的装置，其特征在于，在所述流程(I)中，所述处理器指示包括于所述卷积层的每个卷积神经元，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。
17.如权利要求12所述的装置，其特征在于，在所述流程(II)中，所述处理器指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。
18.如权利要求12所述的装置，其特征在于，所述处理器指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。
19.一种通过一起使用所述照相机和雷达来测试卷积神经网络的测试装置，所述装置即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于执行所述指令，所述处理器执行以下流程：
(I)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而生成所述学习用多通道集成图像中的所述学习用对象的学习用预测对象信息；(3)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述学习用预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而在学习所述卷积神经网络中至少一部分参数的状态下，指示所述卷积神经网络中的所述卷积层(i)通过与所述测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用所述测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行至少一次所述卷积运算，从而生成至少一个测试用特征图，在所述特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息；以及
(II)指示所述卷积神经网络中的所述输出层对所述测试用特征图进行所述输出运算，从而生成所述测试用多通道集成图像中的所述测试用对象的测试用预测对象信息。
20.如权利要求19所述的装置，其特征在于，在所述流程(I)中，所述处理器(i)通过参照所述测试用深度图像来获取所述测试用目标车辆的所述测试用对象的至少一个测试用距离及至少一个测试用角度的测试用信息后，(ii)通过参照所述测试用距离及所述测试用角度的所述测试用信息来得出与所述测试用拍摄图像上的所述测试用对象中的至少一部分相对应的至少一个测试用对象坐标，并(iii)将通过参照所述测试用对象坐标和测试用概率分布来将生成的值设定为包括于测试用引导通道图像中的与其对应的测试用像素值，从而生成至少一个所述测试用引导通道图像后，(iv)通过将所述测试用引导通道图像与所述测试用拍摄图像按通道进行连接，从而生成所述测试用多通道集成图像。
21.如权利要求20所述的装置，其特征在于，在所述流程(I)中，
所述处理器参照所述测试用对象坐标中的测试用第1对象坐标至测试用第N对象坐标和所述测试用概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，
Figure FDA0002377894660000071
在所述公式中，Pk表示包括于所述测试用引导通道图像的像素中的第k像素，
Figure FDA0002377894660000072
及
Figure FDA0002377894660000073
分别表示所述测试用引导通道图像上所述第k像素的x坐标及y坐标，
Figure FDA0002377894660000081
及
Figure FDA0002377894660000082
分别表示测试用第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。
22.如权利要求19所述的装置，其特征在于，所述处理器指示所述卷积层生成所述测试用特征图，在所述测试用特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息，从而使所述测试用对象中所述对象描绘率小于阈值的每个特定测试用对象的信息还包括于所述测试用预测对象信息中；
还执行以下流程：
(III)所述处理器将所述测试用预测对象信息传递到所述测试用目标车辆上的至少一个自动驾驶模块，从而支持所述测试用目标车辆的自动驾驶。
CN202010073576.6A 2019-01-31 2020-01-22 通过一起使用照相机和雷达来学习cnn的方法及装置 Active CN111507166B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799216P 2019-01-31 2019-01-31
US62/799,216 2019-01-31
US16/731,990 2019-12-31
US16/731,990 US10776673B2 (en) 2019-01-31 2019-12-31 Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111507166A true CN111507166A (zh) 2020-08-07
CN111507166B CN111507166B (zh) 2023-08-29

Family

ID=69187627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010073576.6A Active CN111507166B (zh) 2019-01-31 2020-01-22 通过一起使用照相机和雷达来学习cnn的方法及装置

Country Status (5)

Country Link
US (1) US10776673B2 (zh)
EP (1) EP3690727B1 (zh)
JP (1) JP6908946B2 (zh)
KR (1) KR102373466B1 (zh)
CN (1) CN111507166B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7446903B2 (ja) * 2020-04-23 2024-03-11 株式会社日立製作所 画像処理装置、画像処理方法及び画像処理システム
CN112116644B (zh) * 2020-08-28 2023-05-23 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
JP7447042B2 (ja) 2021-03-17 2024-03-11 株式会社東芝 画像処理装置、方法及びプログラム
CN115128566A (zh) * 2021-03-24 2022-09-30 索尼集团公司 雷达数据确定电路及雷达数据确定方法
DE102021002011A1 (de) 2021-04-16 2021-08-12 Daimler Ag Verfahren zur Annotation von Daten einer Umgebungserfassung
US20220358328A1 (en) * 2021-05-05 2022-11-10 Motional Ad Llc End-to-end system training using fused images
DE102023003086A1 (de) 2022-09-15 2024-03-21 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Trainieren eines neuronalen Netzes zur Detektion eines Objekts und Verfahren zur Detektion eines Objekts mittels eines neuronalen Netzes
CN115861938B (zh) * 2023-02-06 2023-05-26 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统
CN116012376B (zh) * 2023-03-23 2023-07-04 深圳佑驾创新科技有限公司 目标检测方法、装置以及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104051A1 (en) * 2002-05-20 2014-04-17 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN108764142A (zh) * 2018-05-25 2018-11-06 北京工业大学 基于3dcnn的无人机影像森林烟雾检测和分类方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405006B2 (en) * 2012-09-03 2016-08-02 Toyota Jidosha Kabushiki Kaisha Collision determination device and collision determination method
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
KR102615196B1 (ko) * 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US10496899B1 (en) * 2019-01-25 2019-12-03 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104051A1 (en) * 2002-05-20 2014-04-17 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
CN108764142A (zh) * 2018-05-25 2018-11-06 北京工业大学 基于3dcnn的无人机影像森林烟雾检测和分类方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIMON CHADWIK等: "Distant Vehicle Detection Using Radar and Vision" *

Also Published As

Publication number Publication date
JP2020126630A (ja) 2020-08-20
CN111507166B (zh) 2023-08-29
US20200250468A1 (en) 2020-08-06
EP3690727B1 (en) 2023-03-29
EP3690727A1 (en) 2020-08-05
JP6908946B2 (ja) 2021-07-28
KR20200095367A (ko) 2020-08-10
KR102373466B1 (ko) 2022-03-14
US10776673B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111507166B (zh) 通过一起使用照相机和雷达来学习cnn的方法及装置
KR102396272B1 (ko) Avm 및 강화 학습을 이용하여 자율 주행의 안전성을 달성하기 위한 어텐션-드리븐 알고리즘을 이용한 리소스 할당을 위한 방법 및 장치
US10503174B1 (en) Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
EP3690482A1 (en) Learning method and learning device for integrating an image acquired by a camera and a point-cloud map acquired by radar or lidar in a neural network and testing method and testing device using the same
KR102661954B1 (ko) 이미지 처리 방법 및 이를 수행하는 장치들
KR20220143617A (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US20200239029A1 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10325179B1 (en) Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10817777B2 (en) Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
EP4307219A1 (en) Three-dimensional target detection method and apparatus
US10728461B1 (en) Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
Sales et al. Vision-based autonomous navigation system using ann and fsm control
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
CN111507169B (zh) 以avm实现注意力驱动资源分配的方法及装置
CN114830177A (zh) 电子设备和用于控制该电子设备的方法
CN114217303A (zh) 目标定位跟踪方法及装置、水下机器人和存储介质
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
KR102454878B1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
CN113379591B (zh) 速度确定方法、速度确定装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant