CN115631483A - 一种基于深度学习的毫米波雷达和相机融合方法 - Google Patents

一种基于深度学习的毫米波雷达和相机融合方法 Download PDF

Info

Publication number
CN115631483A
CN115631483A CN202211568243.6A CN202211568243A CN115631483A CN 115631483 A CN115631483 A CN 115631483A CN 202211568243 A CN202211568243 A CN 202211568243A CN 115631483 A CN115631483 A CN 115631483A
Authority
CN
China
Prior art keywords
camera
millimeter wave
wave radar
information
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211568243.6A
Other languages
English (en)
Other versions
CN115631483B (zh
Inventor
靳泽宇
杜垚琼
张雅妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autobrain Tianjin Technology Co ltd
Original Assignee
Autobrain Tianjin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autobrain Tianjin Technology Co ltd filed Critical Autobrain Tianjin Technology Co ltd
Priority to CN202211568243.6A priority Critical patent/CN115631483B/zh
Publication of CN115631483A publication Critical patent/CN115631483A/zh
Application granted granted Critical
Publication of CN115631483B publication Critical patent/CN115631483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种基于深度学习的毫米波雷达和相机融合方法，包括：根据毫米波雷达实时检测计算先验位置集合，它对应可能存在物体的区域，并且进一步实时动态地根据先验位置集合筛选相机深度学习神经网络head部分的有效计算单元，进行推理计算；先验位置集合的计算方法，包括对毫米波雷达检测的坐标信息，建立基于3d柱坐标系和正态分布的数据模型；将此数据模型投影映射至相机像素检测空间；基于置信椭圆和坐标系归一化，得到先验位置集合。本发明所述的融合方法，全面地考虑了毫米波雷达的检测信息和概率特点；相机神经网络在运行时，只对可能存在目标的激活像素位置推理，提升了相机神经网络的运算效率。

Description

一种基于深度学习的毫米波雷达和相机融合方法
技术领域
本发明属于无人驾驶感知，以及多传感器融合技术领域，尤其是涉及一种基于深度学习的毫米波雷达和相机融合方法。
背景技术
基于多种传感器信息融合的目标感知方案在无人车系统中越来越受到重视和广泛应用，因为，各个传感器能够互相补充，互相印证。在传感器方面，相机和毫米波雷达由于其高性价比成为常规的选择。在算法上，基于深度学习的方法成为重要方向。
现有技术缺点：
a.深度学习神经网络占用运算资源大，实时性差。
b.毫米波雷达在相机检测空间的投影缺乏对障碍物高度和不确定度的信息。
c.缺乏通用性，融合方法往往针对某种特定的神经网络。
为了综合解决上述缺点，本方案的基本思路是：观察到当前常用的基于视觉的目标检测神经网络，如Faster-RCNN，YOLO，SSD等的head部分可以拆解为围绕不同先验位置进行计算的单位，先验位置即障碍物可能出现的位置信息。所以，本专利提出的方案基于这个共性对神经网络进行优化，即基于毫米波雷达提供的检测信息计算有效先验位置，head部分只对对应这些有效位置的部分进行计算。特别地，在计算先验位置时，将毫米波雷达的“距离-角度”检测信息和场景障碍物经验高度这个信息以及它们的不确定度融合，然后将融合后的信息投影到相机像素空间，这样一个物体将对应一个椭圆形的先验位置集合。
值得注意的是，区别于常提到的网络裁剪，本专利对于网络的“裁剪”发生在运行时，是计算范围的动态选择。
另外，基于深度学习的毫米波信息和相机信息融合的大量现有方案都需要对神经网络的重新训练，而本专利毫米波雷达信息被用作网络动态裁剪信息参与神经网络推理，也就是说，本专利不关注已经训练好的网络中的具体参数，所以，本专利给出了一种免除重新训练的信息融合方式。
发明内容
有鉴于此，本发明旨在提出一种基于深度学习的毫米波雷达和相机融合方法，以解决背景技术中所存在问题之一。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于深度学习的毫米波雷达和相机融合方法，包括：
根据毫米波雷达实时检测计算物体先验位置集合，所述先验位置对应物体在像素检测空间可能存在的区域；
根据所述先验位置集合，实时动态地筛选相机神经网络head部分的有效计算单元；
根据相机实时检测，神经网络进行网络推理，其中head部分只有有效计算单元参与运算。
进一步的，先验位置集合的计算的方法，包括如下步骤：
S11、对毫米波雷达检测的“角度-距离”极坐标信息，增加高度信息，并估计“角度-距离-高度”的正态分布，得到增强检测信息；
S12、将所述增强检测信息投影映射至相机像素检测空间；
S13、基于置信椭圆限定范围并归一化，得到先验位置集合。
进一步的，筛选相机深度学习神经网络head部分的有效计算单元；神经网络根据相机检测进行网络推理，其中head部分只有有效计算单元参与运算，包括如下步骤：
S21、计算每一个计算单元对应的归一化先验位置；
S22、根据所述每一个计算单元对应的归一化先验位置，筛选head部分的有效计算单元。
S23、神经网络根据相机检测进行网络推理，其中head部分只有有效计算单元参与运算。
进一步的，步骤S11中，对毫米波雷达检测的物体的“角度-距离”极坐标信息，增加高度信息，其过程如下：
基于毫米雷达检测的2d极坐标检测信息
Figure 313682DEST_PATH_IMAGE001
，为物体几何中心的距离和角度，加 入物体几何中心高度信息
Figure 876119DEST_PATH_IMAGE002
，得到3d柱坐标系信息；高度信息根据目标类别的高度的统计 均值确定。比如，目标类别是乘用车，货车，其高度基本是类似的，并且这些物体在地面上运 动，可以根据统计获得这类物体的平均高度。值得注意的是，本专利的适用场景是无人驾驶 常见的检测物体，尤其是对于路面车辆，行人等障碍物适用，对于其他场景或者物体需要另 外的考虑或者转化。
步骤S11中，估计“角度-距离-高度”的正态分布，得到增强检测信息，包括：在3d柱坐标系信息“角度-距离-高度”的基础上，拓展协方差，建立正态分布模型，具体过程如下：
增强检测信息
Figure 654719DEST_PATH_IMAGE003
服从正态分布，记其均值，协方差为
Figure 866389DEST_PATH_IMAGE004
。
其中：
Figure 108013DEST_PATH_IMAGE005
，
Figure 88738DEST_PATH_IMAGE006
，
将所述3d柱坐标系信息角度、距离、高度，作为增强检测信息的均值，对应符号
Figure 412141DEST_PATH_IMAGE007
。
Figure 907845DEST_PATH_IMAGE008
取角度、距离的标准差。
Figure 374729DEST_PATH_IMAGE009
取高度信息的标准差。
进一步的，步骤S12中将所述增强检测信息投影映射至相机像素检测空间过程如下：
增强检测信息
Figure 36392DEST_PATH_IMAGE003
在相机像素平面投影
Figure 32161DEST_PATH_IMAGE010
服从正态分布，其均值和协方差是
Figure 749582DEST_PATH_IMAGE011
：
其中：
Figure 112168DEST_PATH_IMAGE012
Figure 270748DEST_PATH_IMAGE013
其中：
Figure 827631DEST_PATH_IMAGE004
为增强检测信息
Figure 943266DEST_PATH_IMAGE003
服从的正态分布的均值，协方差；
Figure 611008DEST_PATH_IMAGE014
为所述毫米波雷达检测从柱坐标系向直角坐标系转化函数；
Figure 591471DEST_PATH_IMAGE015
为毫米波雷达相对于相机坐标系的外参的旋转和平移对应矩阵；
Figure 584835DEST_PATH_IMAGE016
为相机内参；
Figure 683372DEST_PATH_IMAGE017
为第一截取函数，其中第一截取函数的输入是大于等于二的向量，输出向量 是基于输入向量的前两个元素组成的新向量；
Figure 387761DEST_PATH_IMAGE018
为函数
Figure 255354DEST_PATH_IMAGE014
在
Figure 357302DEST_PATH_IMAGE019
位置的梯度；
Figure 300725DEST_PATH_IMAGE020
为第二截取函数，其中，第二截取函数的输入是维度大于等于二的方阵，输 出是基于方阵的左上角二维子方阵组成的新矩阵；
进一步的，步骤S13中基于置信椭圆限定范围并归一化，得到先验位置集合，其过程如下：
基于所述增强检测信息投影映射至相机像素检测空间内的信息，取投影后的增强检测信息设定概率的置信椭圆；将置信椭圆归一化，所述置信椭圆归一化包括：所述椭圆上的每一个点的位置都进行归一化；归一化后置信椭圆内的范围即为先验位置集合；所述椭圆上的每一个点的位置坐标(u,v)的归一化坐标是(u/U,v/V)，其中U，V分别对应了u，v所在维度的取值范围；U，V为相机像素平面的长宽尺寸。
每一个障碍物的增强检测信息在相机像素平面的投影都是一个是正态分布，取其一定概率的置信椭圆。置信椭圆常用的概率要根据实际场景确定，常用的取值在95%附近。进一步，将置信椭圆归一化，即椭圆上的每一个点的位置都进行归一化。归一化后置信椭圆内的范围即为先验位置集合。
进一步的，步骤S21中计算每一个计算单元对应的归一化先验位置，包括：每一个计算单元包含输入矩阵和输出向量，所述计算单元的先验位置采用输入矩阵或输出向量中任意一种，对先验位置采用坐标归一化方式得到归一化先验位置。具体地，位置坐标(u,v)的归一化坐标是(u/U,v/V)，其中U，V分别对应了u，v所在维度的取值范围。
进一步的，步骤S22根据每一个计算单元对应的归一化先验位置，筛选head部分的有效计算单元，其过程如下：
遍历head部分的所有计算单元，如果某一个计算单元对应的归一化先验位置属于所述先验位置集合，那么，它是有效计算单元，否则不是。神经网络推理时只对有效计算单元计算。
进一步的，步骤S23神经网络根据相机检测进行网络推理，其中head部分只有有效计算单元参与运算。
相对于现有技术，本发明所述的一种基于深度学习的毫米波雷达和相机融合方法具有以下优势：
（1）本发明所述的一种基于深度学习的毫米波雷达和相机融合方法；
相机深度学习神经网络在运行时，只有部分网络进行推理，这部分网络对应物体可能存在的像素位置，提升了相机深度学习神经网络的运算效率。
（2）本发明所述的一种基于深度学习的毫米波雷达和相机融合方法；本发明基于常用目标检测网络的某种通用特性进行优化，即head部分可以拆分为围绕先验位置计算的计算单元；基于此本专利提供了筛选有效计算单元的方法。对于各种神经网络通用性好。
（3）本发明所述的一种基于深度学习的毫米波雷达和相机融合方法；
对各种信息的考虑充分完备，融合了毫米波雷达“距离-角度”这种常规检测，场景物体经验高度这个知识，以及这些信息中的不确定度；这些信息体现在先验位置集合中；每一个障碍物的对应一个椭圆形的先验位置集合。
（4）本发明所述的一种基于深度学习的毫米波雷达和相机融合方法；
区别于常提到的网络裁剪，本方法对于网络的“裁剪”发生在运行时，是计算范围的动态选择。
（5）本发明所述的一种基于深度学习的毫米波雷达和相机融合方法；基于深度学习的毫米波信息和相机信息融合的大量现有方案都需要对神经网络的重新训练，而本专利毫米波雷达信息被用作网络动态裁剪信息参与神经网络推理，也就是说，本专利不关注已经训练好的网络中的具体参数，所以，本专利给出了一种免除重新训练的信息融合方式。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的深度学习模型head部分示意图；
图2为本发明实施例所述的一种基于深度学习的毫米波雷达和相机融合方法的流程图；
图3为本发明实施例所述的3d柱坐标系示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
图1所示为本专利主要关注的深度学习模型head模型，它也是当前常用的基于视觉的目标检测网络，如Faster-RCNN，YOLO，SSD等中广泛使用的head模型形式。其核型特征是它可以拆解为围绕不同先验位置进行计算的单位，先验位置即障碍物可能出现的位置信息。所以，本专利提出的方案基于这个通用特性对网络进行优化。下面，为了方便本专利阐述，结合图1，对其基本特性给出一些提法，这些提法包括计算单元，有效计算单元，输入矩阵，输出向量，归一化先验位置等。
用于目标检测的深度学习模型一般包含backbone和head部分。backbone作用是特征提取。head的作用是基于前者计算目标的类型，位置，大小等信息。
这里描述的head部分包含一个特征层，和一个输出层。特征层包含多个通道。输出层也包含多个通道，分别对应目标的类型，位置，大小等信息。head的核心特征是：
1.从特征层到输出层的计算可以拆分成独立的计算单元。如图1所示，高维矩阵A，B，C分别通过卷积等计算得到向量a，b，c。其中的每一个对应计算关系被称为一个计算单元。每一个计算单元包含一个输入矩阵，输出向量。
2.每一个计算单元输入矩阵的中心的归一化像素位置和输出向量的归一化像素位置能够和物体在相机检测图像中的像素归一化位置对应。其含义是这三个位置对应了物体可能存在的位置。常见的提法是“先验位置”。归一化先验位置即像素二维位置和像素所在空间的长宽的比例。常见的对应关系是这三个归一化位置相同。本专利按照这种对应关系处理，实际中存在的其他可能的对应关系往往可以转化成这种对应关系处理。可能存在物体的位置对应的计算单元是有效计算单元。本专利旨在剔除无效冗余的计算。
本申请重点保护内容：
1.基于毫米波检测计算先验位置信息的流程是：对毫米波雷达检测进行3d柱坐标概率建模，然后将概率分布投射到相机坐标系，圈定投影概率分布的一定范围并归一化，得到先验位置集合或范围，即可能存在物体的位置。步骤的详细描述是：第一、一般毫米波提供2d检测，但是对于很多实用场景，物体的高度存在一个范围，并且毫米波雷达检测还有概率信息可用，因此，本专利考虑将这些信息在柱坐标系建模并基于正态分布考虑其概率特性。其效益是这种建模更加全面准确，最终提供的先验位置集合可信度更高。第二、提供了基于这种柱坐标概率分布形式的信息从毫米波雷达检测空间到相机像素检测空间的投影方法。第三、提供了基于投影的正态分布确定物体可能存在的像素位置的方法。
2.基于毫米波雷达提供的先验信息，对相机深度学习神经网络head部分的动态裁剪或者筛选。head部分的特征是：可以拆解为独立的计算单元，每一个计算单元围绕物体可能存在的先验位置进行计算。具体的筛选原则是：对于每一个计算单元，如果其对应先验位置在毫米波雷达提供的先验位置集合内，那么，它是有效计算单元，也就是不会被裁剪，会发生推理计算。否则，不会参与推理计算。
其效益是：第一、提高了相机深度学习神经网络的计算效率，不需要对网络重新训练即可在深度学习神经网络中融合毫米波雷达信息。第二、这个方案对于常见针对目标检测的深度学习神经网络有通用性。比如，FasterRCNN，YOLO，SSD等。
具体内容如下：
如图2所示，一种基于深度学习的毫米波雷达和相机融合方法，包括：
基于系统输入的毫米波雷达对物体位置的极坐标实时检测，包括距离、角度两个信息，以及相机对于物体的实时图像检测。
根据毫米波雷达实时检测计算物体先验位置集合，所述先验位置对应物体在像素检测空间可能存在的区域；
根据所述先验位置集合，实时动态地筛选相机神经网络head部分的有效计算单元；
根据相机实时检测，神经网络进行网络推理，其中head部分只有有效计算单元参与运算。
先验位置集合的计算方法，包括如下步骤：
S11、对毫米波雷达检测的“角度-距离”极坐标信息，增加高度信息，并估计“角度-距离-高度”的正态分布，得到增强检测信息；
S12、将所述增强检测信息投影映射至相机像素检测空间；
S13、基于置信椭圆限定范围并归一化，得到先验位置集合。
步骤S11中，建立3d柱坐标系过程如下：
对毫米波雷达检测建立3d柱坐标系模型，其过程如下：
基于毫米雷达检测的2d极坐标检测信息
Figure 185636DEST_PATH_IMAGE001
为物体的距离和角度，加入物体几 何中心高度信息
Figure 297948DEST_PATH_IMAGE002
，建立3d柱坐标系；高度信息根据物体高度的经验值确定；高度信息根 据物体高度的经验值确定。比如取物体平均高度的一半。柱坐标信息对应物体几何中心。
步骤S11中，建立基于3d柱坐标系和正态分布的数据模型，得到增强检测信息，包括：在3d柱坐标系模型基础上，拓展协方差，建立正态分布模型，即增强检测信息，细节如下：
增强检测信息
Figure 469998DEST_PATH_IMAGE003
服从正态分布，其均值，协方差为
Figure 667761DEST_PATH_IMAGE004
。
其中：
Figure 589319DEST_PATH_IMAGE005
，
Figure 556138DEST_PATH_IMAGE006
，
其中：
Figure 406413DEST_PATH_IMAGE007
分别表示检测目标的距离，角度，高度的均值；
Figure 590007DEST_PATH_IMAGE008
，
Figure 816720DEST_PATH_IMAGE009
分别表示对应 方向的不确定度。
确定参数具体值的方法：
Figure 638046DEST_PATH_IMAGE007
即上述3d柱坐标系模型信息。
Figure 423337DEST_PATH_IMAGE008
从毫米波雷达器件手册或者实际使用中测量或者估计得到；
Figure 330113DEST_PATH_IMAGE009
如果不能 直接得到，可以取障碍物高度的一半，比如，对于乘用车，认为其高度是2m，那么，
Figure 599333DEST_PATH_IMAGE009
=1。
步骤S12中将增强检测信息投影映射至相机像素检测空间过程如下：
增强检测信息
Figure 540744DEST_PATH_IMAGE003
在相机像素平面投影
Figure 732822DEST_PATH_IMAGE010
服从正态分布：
Figure 625429DEST_PATH_IMAGE021
；
其中：
Figure 380896DEST_PATH_IMAGE012
Figure 347452DEST_PATH_IMAGE013
其中：
Figure 303907DEST_PATH_IMAGE004
为增强检测信息
Figure 373493DEST_PATH_IMAGE003
服从的正态分布的均值，协方差；
Figure 808016DEST_PATH_IMAGE014
为所述毫米波雷达检测从柱坐标系向直角坐标系转化函数；
Figure 458440DEST_PATH_IMAGE015
为毫米波雷达相对于相机坐标系的外参的旋转和平移对应矩阵；
Figure 756435DEST_PATH_IMAGE016
为相机内参；
Figure 797204DEST_PATH_IMAGE017
为第一截取函数，其中，第一截取函数输入是维度大于等于二的向量，输出 向量是基于输入向量的前两个元素组成的新向量；
Figure 35418DEST_PATH_IMAGE018
为函数
Figure 710988DEST_PATH_IMAGE014
在
Figure 805983DEST_PATH_IMAGE019
位置的梯度；
Figure 35845DEST_PATH_IMAGE020
为第二截取函数，其中，第二截取函数输入是维度大于等于二的方正，输出 是基于输入方阵的左上角二维子方阵组成的新矩阵；
如图3所示，本专利给出了一种常用的毫米波雷达检测柱坐标和直角坐标转化关 系，即
Figure 608908DEST_PATH_IMAGE014
的一种实现：
Figure 109291DEST_PATH_IMAGE022
，具体为：
Figure 879582DEST_PATH_IMAGE023
。
其中，为毫米波雷达检测点直角坐标系下坐标，为毫米波雷达检测点的柱坐标系下坐标。
可选的，步骤S13中基于置信椭圆限定范围并归一化，得到先验位置集合，其过程如下：
每一个障碍物的增强检测信息在相机像素平面的投影都是一个是正态分布，取其一定概率的置信椭圆。置信椭圆常用的概率要根据实际场景确定，常用的取值在95%附近。进一步，将置信椭圆归一化，即椭圆上的每一个点的位置都进行归一化。坐标(u,v)的归一化坐标是(u/U,v/V)，其中U，V分别对应了u，v所在维度的取值范围；U，V为相机像素平面的长宽尺寸。归一化后置信椭圆内的范围即为先验位置集合。
可选的，步骤S21中计算head部的每一个计算单元对应的归一化先验位置，其过程如下：
找到head的每一个计算单元的先验位置，并采用坐标归一化方式对先验位置进行归一化，得到每一个计算单元对应的归一化先验位置。详细地，每一个计算单元包含输入矩阵和输出向量，计算单元的先验位置可以采用两者任何一个的先验位置。坐标归一化方式：坐标(u,v)的归一化坐标是(u/U,v/V)。其中U，V分别对应了u，v所在维度的取值范围，也就是说，要根据计算单元的尺度确定。
可选的，步骤S22根据每一个计算单元对应的归一化先验位置，筛选head部分的有效计算单元，其过程如下：
遍历计算单元，如果某一个计算单元对应的归一化先验位置属于步骤S13先验位置集合，那么，它是有效计算单元，否则不是。神经网络推理时只对有效计算单元计算。
图2中，作为例子给出了两个筛选出来的有效计算单元。但是，实际上，每一个毫米波检测物体对应的投影区域是一个椭圆，那么，有效计算单元组成的形状也是一个椭圆。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的毫米波雷达和相机融合方法，其特征在于，包括：
根据毫米波雷达实时检测计算物体先验位置集合，所述先验位置对应物体在像素检测空间可能存在的区域；
根据所述先验位置集合，实时动态地筛选相机神经网络head部分的有效计算单元；
根据相机实时检测，神经网络进行网络推理，其中head部分只有有效计算单元参与运算。
2.根据权利要求1所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：先验位置集合的计算的方法，包括如下步骤：
S11、对毫米波雷达检测的物体的角度、距离极坐标信息，增加高度信息，并估计角度、距离、高度的联合正态分布，得到增强检测信息；
S12、将所述增强检测信息投影映射至相机像素检测空间；
S13、基于置信椭圆限定范围并归一化，得到先验位置集合。
3.根据权利要求2所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：筛选相机神经网络head部分的有效计算单元，包括如下步骤：
S21、计算每一个计算单元对应的归一化先验位置；
S22、根据所述每一个计算单元对应的归一化先验位置，筛选head部分的有效计算单元。
4.根据权利要求2所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S11中，对毫米波雷达检测的物体的角度、距离极坐标信息，增加高度信息，其过程如下：
基于毫米雷达检测的2d极坐标检测信息
Figure 210827DEST_PATH_IMAGE001
，为物体几何中心的距离和角度，加入物 体几何中心高度信息
Figure 659126DEST_PATH_IMAGE002
，得到3d柱坐标系信息；高度信息根据目标类别的高度的统计均值 确定。
5.根据权利要求2所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S11中估计角度、距离、高度的联合正态分布，得到增强检测信息，包括：在3d柱坐标系信息的角度、距离以及高度的基础上，拓展协方差，建立正态分布模型，具体过程如下：
增强检测信息
Figure 970022DEST_PATH_IMAGE003
服从正态分布，记其均值，协方差为
Figure 145657DEST_PATH_IMAGE004
；
其中：
Figure 491188DEST_PATH_IMAGE005
，
Figure 844808DEST_PATH_IMAGE006
，
将所述3d柱坐标系信息角度、距离、高度，作为增强检测信息的均值，对应符号
Figure 643000DEST_PATH_IMAGE007
；
Figure 123791DEST_PATH_IMAGE008
取角度、距离的标准差；
Figure 58249DEST_PATH_IMAGE009
取高度信息的标准差。
6.根据权利要求2所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S12中将所述增强检测信息投影映射至相机像素检测空间过程如下：
增强检测信息
Figure 582771DEST_PATH_IMAGE003
在相机像素平面投影
Figure 868259DEST_PATH_IMAGE010
服从正态分布，其均值和协方差是
Figure 136430DEST_PATH_IMAGE011
：
其中：
Figure 446100DEST_PATH_IMAGE012
Figure 407103DEST_PATH_IMAGE013
其中：
Figure 179887DEST_PATH_IMAGE004
为增强检测信息
Figure 986169DEST_PATH_IMAGE003
服从的正态分布的均值，协方差；
Figure 911531DEST_PATH_IMAGE014
为所述毫米波雷达检测从柱坐标系向直角坐标系转化函数；
Figure 777856DEST_PATH_IMAGE015
为毫米波雷达相对于相机坐标系的外参的旋转和平移对应矩阵；
Figure 37936DEST_PATH_IMAGE016
为相机内参；
Figure 647908DEST_PATH_IMAGE017
为第一截取函数；
Figure 926312DEST_PATH_IMAGE018
为函数
Figure 229117DEST_PATH_IMAGE014
在
Figure 710914DEST_PATH_IMAGE019
位置的梯度；
Figure 124578DEST_PATH_IMAGE020
为第二截取函数。
7.根据权利要求2所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S13中基于置信椭圆限定范围并归一化，得到先验位置集合，其过程如下：
基于所述增强检测信息在相机像素检测空间内投影对应的正态概率分布，取正态概率分布设定概率的置信椭圆，将置信椭圆归一化；所述设定概率根据实际场景确定；所述置信椭圆归一化包括：所述椭圆上的每一个点的位置都进行归一化；归一化后置信椭圆内的范围即为先验位置集合；所述椭圆上的每一个点的位置坐标(u,v)的归一化坐标是(u/U,v/V)，其中U，V分别对应了u，v所在维度的取值范围；即，U，V为相机像素平面的长宽尺寸。
8.根据权利要求3所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S21中计算每一个计算单元对应的归一化先验位置，包括：每一个计算单元包含输入矩阵和输出向量，所述计算单元的先验位置采用输入矩阵或输出向量中任意一种，对先验位置采用坐标归一化方式得到归一化先验位置；坐标归一化方式包括：位置坐标(u,v)的归一化坐标是(u/U,v/V)，其中U，V分别对应了u，v所在维度的取值范围。
9.根据权利要求3所述的一种基于深度学习的毫米波雷达和相机融合方法，其特征在于：步骤S22根据每一个计算单元对应的归一化先验位置，筛选head部分的有效计算单元，其过程如下：
遍历head部分的所有计算单元，如果某一个计算单元对应的归一化先验位置属于所述先验位置集合，那么，它是有效计算单元，否则不是。
CN202211568243.6A 2022-12-08 2022-12-08 一种基于深度学习的毫米波雷达和相机融合方法 Active CN115631483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211568243.6A CN115631483B (zh) 2022-12-08 2022-12-08 一种基于深度学习的毫米波雷达和相机融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211568243.6A CN115631483B (zh) 2022-12-08 2022-12-08 一种基于深度学习的毫米波雷达和相机融合方法

Publications (2)

Publication Number Publication Date
CN115631483A true CN115631483A (zh) 2023-01-20
CN115631483B CN115631483B (zh) 2023-05-05

Family

ID=84909941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211568243.6A Active CN115631483B (zh) 2022-12-08 2022-12-08 一种基于深度学习的毫米波雷达和相机融合方法

Country Status (1)

Country Link
CN (1) CN115631483B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113408616A (zh) * 2021-06-18 2021-09-17 北京航空航天大学 基于pca-uve-elm的光谱分类方法
CN114627286A (zh) * 2021-12-13 2022-06-14 南京理工大学 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法
CN114821492A (zh) * 2022-04-10 2022-07-29 华东交通大学 一种基于YOLOv4的道路车辆检测系统及方法
CN115308732A (zh) * 2022-08-11 2022-11-08 吉林大学 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN115372958A (zh) * 2022-08-17 2022-11-22 苏州广目汽车科技有限公司 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113408616A (zh) * 2021-06-18 2021-09-17 北京航空航天大学 基于pca-uve-elm的光谱分类方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN114627286A (zh) * 2021-12-13 2022-06-14 南京理工大学 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法
CN114821492A (zh) * 2022-04-10 2022-07-29 华东交通大学 一种基于YOLOv4的道路车辆检测系统及方法
CN115308732A (zh) * 2022-08-11 2022-11-08 吉林大学 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN115372958A (zh) * 2022-08-17 2022-11-22 苏州广目汽车科技有限公司 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEONGHUN LEE 等: "Experimental Demonstration Millimeter-Wave Radio-Over-Fiber System with Convolutional Neural Network（CNN） and Binary Convolutional Neural Network（BCNN）" *
杜垚琼: "智能驾驶量产方案" *
王战古;高松;邵金菊;谭德荣;孙亮;于杰;: "基于深度置信网络的多源信息前方车辆检测" *

Also Published As

Publication number Publication date
CN115631483B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN112101066B (zh) 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN110244322B (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
WO2022156175A1 (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
US10859684B1 (en) Method and system for camera-lidar calibration
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
WO2020215172A1 (zh) 一种障碍物检测方法、设备、可移动平台及存储介质
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
Labayrade et al. In-vehicle obstacles detection and characterization by stereovision
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
WO2020146983A1 (zh) 一种车道检测方法、装置及车道检测设备、移动平台
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
CN110794406B (zh) 多源传感器数据融合系统和方法
EP2960858B1 (en) Sensor system for determining distance information based on stereoscopic images
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN114022830A (zh) 一种目标确定方法以及目标确定装置
WO2020237516A1 (zh) 点云的处理方法、设备和计算机可读存储介质
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN112446227A (zh) 物体检测方法、装置及设备
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN115147333A (zh) 一种目标检测方法及装置
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant