CN114724120A - 基于雷视语义分割自适应融合的车辆目标检测方法及系统 - Google Patents

基于雷视语义分割自适应融合的车辆目标检测方法及系统 Download PDF

Info

Publication number
CN114724120A
CN114724120A CN202210649696.5A CN202210649696A CN114724120A CN 114724120 A CN114724120 A CN 114724120A CN 202210649696 A CN202210649696 A CN 202210649696A CN 114724120 A CN114724120 A CN 114724120A
Authority
CN
China
Prior art keywords
point cloud
point
depth
vehicle
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210649696.5A
Other languages
English (en)
Other versions
CN114724120B (zh
Inventor
李松明
彭丽娟
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donglan Nanjing Intelligent Technology Co ltd
Original Assignee
Donglan Nanjing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donglan Nanjing Intelligent Technology Co ltd filed Critical Donglan Nanjing Intelligent Technology Co ltd
Priority to CN202210649696.5A priority Critical patent/CN114724120B/zh
Publication of CN114724120A publication Critical patent/CN114724120A/zh
Application granted granted Critical
Publication of CN114724120B publication Critical patent/CN114724120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种基于雷视语义分割自适应融合的车辆目标检测方法及系统，采用语义分割方法对摄像机深度图和雷达点云数据进行分割，提出基于反射点和置信度的自适应雷视信息融合方法PC‑ARVF基于每点的分类集合和置信度，将深度分割图与点云分割结果融合，重建融合点云，保证多源数据的补充和融合。提出一种基于中心点、距离、角度的单阶段目标检测模型CDA‑SSD，借助圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，降低了车辆检测模型的复杂度。相比于之前的车辆目标检测方法，本发明的准确率更高、复杂度更低，对雷达和视频图像的融合和车辆目标检测具有重要意义。

Description

基于雷视语义分割自适应融合的车辆目标检测方法及系统
技术领域
本发明涉及一般的图像数据处理或产生领域；尤其涉及交通和计算机视觉技术领域，具体涉及基于雷视语义分割自适应融合的车辆目标检测方法及系统。
背景技术
高分辨率的视频图像为当前车辆目标检测提供了至关重要的数据信息。广泛应用于智能检测、自动驾驶、行车安全等领域。
然而，视频图像所包含的信息有限，且随着机器学习和硬件设备的深入研究，很多基于图像的目标检测不能满足人们对于目标检测算法鲁棒性的要求。其中视频图像信息容易受到光照和天气等环境因素的影响，导致其检测的准确性受到影响。而毫米波雷达除了响应时间短、不易受环境影响外，还有传输的数据质量高等优点。
近年来，基于多源数据融合的检测方法可以实现雷达和视频检测的优势互补，大大提高了目标检测的效率。然而，由于雷达点云数据的特征，将二维视频图像转化为伪点云与原始点云数据融合的检测方法虽保存了大量数据，但无论是点云数据的处理还是三维目标检测都将产生庞大的计算量，复杂度较高。还有一些研究人员考虑提取雷达点云的鸟瞰图、前视图等各个方向的视图，在将雷达点云量化为二维图像的基础上实现目标检测，但是，由于点云数据的稀疏特性和量化过程会造成点云信息的丢失，会对检测的准确率造成影响，失去了多源数据融合的意义。这些难点是以前的目标检测方法难以解决的，所以如何提高雷视融合目标检测算法的准确率和简化复杂度是一项新颖具有挑战性的工作。
发明内容
发明目的：提出一种基于雷视语义分割自适应融合的车辆目标检测方法，并进一步提出一种用于实现上述方法的系统，以解决现有技术存在的上述问题。
第一方面，提出一种基于雷视语义分割自适应融合的车辆目标检测方法及系统，该方法步骤如下：
S1：使用RGB-D相机获取场景深度图，使用毫米波雷达扫描场景原始点云数据；
S2：执行相机深度图语义分割步骤，利用Mobile-PSPNet网络实现深度图语义分割，将深度图转化为深度分割图，获取标签矩阵，矩阵包括各图像点的分类集合与置信度；
S3：执行雷达原始点云语义分割步骤，利用PointNet网络实现原始点云语义分割，获取点云分割图，获取标签矩阵，矩阵包括各反射点的分类集合与置信度；
S4：获取相机深度分割图与雷达点云分割结果的坐标匹配关系，通过坐标系变换将深度分割图转化为点云，统一深度分割图和点云分割的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割坐标的一一匹配关系，作为融合基础；
S5：执行雷视信息融合步骤，基于坐标匹配结果，提出基于反射点和置信度的自适应雷视信息融合方法PC-ARVF，结合深度分割图与点云分割结果各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成“融合点云分割图”；
S6：执行融合点云分割图的去噪与特征提取步骤，根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化LVQ聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；
S7：执行融合点云分割图的车辆目标检测步骤，基于检测点云，提出一种基于中心点、距离、角度的单阶段目标检测模型CDA-SSD，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
在第一方面的一些可实现方式中，步骤S2的深度图分割方法利用Mobile-PSPNet网络实现深度图的实时分割，将像素点位置(u,v)为低层信息，保留深度信息，获取深度分割图，获取标签矩阵。利用MobileV2网络替换传统PSPNet的残差网络对输入的深度图进行特征提取，先通过卷积层进行下采样，然后利用bottleneck通过金字塔池化获取语义特征并实现不同尺度语义信息的融合，融合得到全局特征，最后将全局特征和原始特征融合通过一层卷积网络生成最终深度分割图。深度分割图中每个像素点被赋予了一个类别标签，并用不同的颜色进行标注，用平均交并比衡量预测标签和真实标签之间的重合程度，即置信度，从而可以提取出点云分割图的标签矩阵，标签矩阵包括每个像素点的分类集合与置信度。
在第一方面的一些可实现方式中，步骤S3的深度图分割方法利用PointNet网络实现点云的分割，获得可视化点云分割图像，获取标签矩阵。将原始特征输入独立特征学习模块提取独立特征，利用邻域特征学习模块通过采样、分组、池化等提取邻域特征信息，利用特征融合模块将邻域特征信息映射到每个反射点上并与每个反射点的独立特征融合得到融合特征。融合后的特征送入频道注意模块进行语义增强，最后利用MLP对每个点进行分类，输出点云分割图的标签矩阵包括各反射点的分类集合与置信度。
在第一方面的一些可实现方式中，步骤S4的坐标转化和修正通过坐标系的变换，将图像坐标系转化为世界坐标系，即将深度图坐标转为点云坐标，实现坐标的统一，对统一后的坐标进行修正。
在第一方面的一些可实现方式中，坐标修正方法如下：
Figure 100002_DEST_PATH_IMAGE002
表示深度图分割结果经过坐标变换的点集，
Figure 100002_DEST_PATH_IMAGE004
表示点云分割结果坐标的点集，坐标修正方法如下：
Figure 100002_DEST_PATH_IMAGE006
其中，
Figure 100002_DEST_PATH_IMAGE008
Figure 100002_DEST_PATH_IMAGE010
Figure 100002_DEST_PATH_IMAGE012
其中
Figure 100002_DEST_PATH_IMAGE014
表示
Figure 100002_DEST_PATH_IMAGE016
之间的欧式距离。
Figure 100002_DEST_PATH_IMAGE018
，
Figure 100002_DEST_PATH_IMAGE020
，
Figure 100002_DEST_PATH_IMAGE022
表示深度分割结果经坐标变换后各点的三维坐标，
Figure 100002_DEST_PATH_IMAGE024
，
Figure 100002_DEST_PATH_IMAGE026
，
Figure 100002_DEST_PATH_IMAGE028
表示点云分割结果各点的三维坐标，
Figure 100002_DEST_PATH_IMAGE030
表示点云分割结果坐标点集中包括的各个反射点，
Figure 100002_DEST_PATH_IMAGE032
表示深度分割结果经坐标变换后点集中包括的各点。
在第一方面的一些可实现方式中，步骤S5提出的基于反射点和置信度的自适应雷视信息融合方法PC-ARVF，根据修正后的点坐标，结合逐点语义信息、深度信息计算自适应权重，重建融合点云。
在第一方面的一些可实现方式中，步骤S5具体包括：
S501：获取分类得分矩阵，D为n×k的深度图分割图的标签矩阵，P为n×k的点云分割的标签矩阵，矩阵形式如下：
Figure 100002_DEST_PATH_IMAGE034
其中n表示点的数目，k表示分类数目。
S502：比较雷达点云与深度图的特征，根据雷达点云数据能够更好地反映深度信息的特点，深度越深，雷达点云数据的权重越大，同时图像的熵能够反应图像包含的信息量，包含信息量大的图像赋予更大的权重，权重计算如下：
Figure 100002_DEST_PATH_IMAGE036
Figure 100002_DEST_PATH_IMAGE038
Figure 100002_DEST_PATH_IMAGE040
其中
Figure 100002_DEST_PATH_IMAGE042
表示点云分割图权重，
Figure 100002_DEST_PATH_IMAGE044
为点在z轴方向的坐标值，
Figure 100002_DEST_PATH_IMAGE046
表示深度分割图权重，
Figure 100002_DEST_PATH_IMAGE048
表示图像的熵，
Figure 100002_DEST_PATH_IMAGE050
表示深度分割图和点云分割结果的平均值，
Figure 100002_DEST_PATH_IMAGE052
为每一灰度值出现的概率。
Figure 100002_DEST_PATH_IMAGE054
表示深度分割图的熵，
Figure 100002_DEST_PATH_IMAGE056
表示点云分割图的熵，
Figure 100002_DEST_PATH_IMAGE058
表示对点在z轴方向的坐标值取负并求指数。
S503：得分矩阵融合：
Figure 100002_DEST_PATH_IMAGE060
。
在第一方面的一些可实现方式中，步骤S6根据深度阈值提取车辆点云的方法依据各点的分类集合与置信度可以判断各点的类别，计算同一类别欧式距离最远的两点的深度差值
Figure 100002_DEST_PATH_IMAGE062
，车辆宽度1.8m设定为最小检测深度
Figure 100002_DEST_PATH_IMAGE064
，车辆长度6m作为最大检测深度
Figure 100002_DEST_PATH_IMAGE066
，以
Figure 61474DEST_PATH_IMAGE064
、
Figure 527091DEST_PATH_IMAGE066
为阈值去除非目标的点云。
在第一方面的一些可实现方式中，步骤S6利用学习向量量化LVQ聚合车辆点云方法首先获取检测点云样本集
Figure 100002_DEST_PATH_IMAGE068
，原型向量个数q，各原型向量预设的类别标记
Figure 100002_DEST_PATH_IMAGE070
，学习率
Figure 100002_DEST_PATH_IMAGE072
。初始化一组原型向量
Figure 100002_DEST_PATH_IMAGE074
，从样本集中随机选取样本
Figure 100002_DEST_PATH_IMAGE076
；
计算样本
Figure 100002_DEST_PATH_IMAGE078
与原型向量中某一预定元素
Figure 100002_DEST_PATH_IMAGE080
的距离：
Figure 100002_DEST_PATH_IMAGE082
；
找出与
Figure 477379DEST_PATH_IMAGE078
距离最近的原型向量
Figure 100002_DEST_PATH_IMAGE084
，
Figure 100002_DEST_PATH_IMAGE086
，如果
Figure 100002_DEST_PATH_IMAGE088
，则
Figure 100002_DEST_PATH_IMAGE090
，否则
Figure 100002_DEST_PATH_IMAGE092
，将原型向量
Figure 920124DEST_PATH_IMAGE084
更新为
Figure 100002_DEST_PATH_IMAGE094
，输出原型向量
Figure 985032DEST_PATH_IMAGE074
。
在第一方面的一些可实现方式中，步骤S7中基于中心点、距离、角度的单阶段目标检测模型CDA-SSD，利用聚类的中心点坐标(
Figure 100002_DEST_PATH_IMAGE096
、车辆中心点与车辆表面点最大距离
Figure 100002_DEST_PATH_IMAGE098
、车辆中心点与车辆表面点最小距离
Figure 100002_DEST_PATH_IMAGE100
、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三维坐标下Z轴所成角度
Figure 100002_DEST_PATH_IMAGE102
，绘制圆柱目标区域，基于目标区域内接长方体即为车辆的包围框；
所预测的目标区域包含六个参数(
Figure 100002_DEST_PATH_IMAGE104
) ，真实目标区域包含如下六个参数
Figure 100002_DEST_PATH_IMAGE106
；
位置损失函数如下：
Figure 100002_DEST_PATH_IMAGE108
；
其中：
Figure 100002_DEST_PATH_IMAGE110
Figure 100002_DEST_PATH_IMAGE112
其中，
Figure 100002_DEST_PATH_IMAGE114
Figure 100002_DEST_PATH_IMAGE116
式中，
Figure 100002_DEST_PATH_IMAGE118
为位置损失函数，
Figure 100002_DEST_PATH_IMAGE120
为中心点损失函数，
Figure 100002_DEST_PATH_IMAGE122
为半径损失函数，
Figure 100002_DEST_PATH_IMAGE124
为角度损失函数，N表示预测中心点的个数，
Figure 100002_DEST_PATH_IMAGE126
分别表示
Figure 100002_DEST_PATH_IMAGE128
的权重。
步骤S701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：
Figure 100002_DEST_PATH_IMAGE130
Figure 100002_DEST_PATH_IMAGE132
Figure 100002_DEST_PATH_IMAGE134
其中，
Figure 100002_DEST_PATH_IMAGE136
分别表示包围框的高、宽、长，
Figure 382120DEST_PATH_IMAGE098
表示车辆中心点与车辆表面点最大距离，
Figure 608702DEST_PATH_IMAGE100
表示车辆中心点与车辆表面点最小距离。
第二方面，提出一种车辆目标检测系统，该系统驱动并执行第一方面所述的车辆目标检测方法，车辆目标检测系统包括RGB-D相机、毫米波雷达、相机深度图语义分割模块、雷达原始点云语义分割模块、坐标系变换修正模块、雷视信息融合模块、去噪及特征提取模块、以及车辆目标检测模块。
其中，RGB-D相机用于获取场景深度图；毫米波雷达用于扫描场景原始点云数据；相机深度图语义分割模块用于将深度图转化为深度分割图，获取标签矩阵，矩阵包括各图像点的分类集合与置信度；雷达原始点云语义分割模块用于获取点云分割图和标签矩阵，矩阵包括各反射点的分类集合与置信度；坐标系变换修正模块用于获取相机深度分割图与雷达点云分割结果的坐标匹配关系，通过坐标系变换将深度分割图转化为点云，统一深度分割图和点云分割的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割坐标的一一匹配关系，作为融合基础；雷视信息融合模块基于所述坐标系变换修正模块的坐标匹配结果，结合深度分割图与点云分割结果各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成融合点云分割图；去噪及特征提取模块用于根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；车辆目标检测模块基于所述去噪及特征提取模块生成的检测点云，构建基于中心点、距离、角度的单阶段目标检测模型，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
有益效果：
①、本发明采用语义分割方法对摄像机深度图和雷达点云数据进行分割，提出基于反射点和置信度的自适应雷视信息融合方法PC-ARVF基于每点的分类集合和置信度，将深度分割图与点云分割结果融合，重建融合点云，保证多源数据的补充和融合。
②、本发明提出一种基于中心点、距离、角度的单阶段目标检测模型CDA-SSD，借助圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，降低了车辆检测模型的复杂度。
③、相比于之前的车辆目标检测方法，本发明的准确率更高、复杂度更低，对雷达和视频图像的融合和车辆目标检测具有重要意义。
附图说明
图1为本发明的流程图。
图2为摄像机获取的检测场景图。
图3为RGB-D获取的深度图。
图4为毫米雷达扫描获取的场景原始点云图。
图5为深度分割图。
图6为点云分割结果。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例：
申请人研究发现，随着机器学习和硬件设备的深入研究，很多基于图像的目标检测不能满足人们对于目标检测算法鲁棒性的要求。其中视频图像信息容易受到光照和天气等环境因素的影响，导致其检测的准确性受到影响。图2所示即为传统摄像机获取的检测场景图。而毫米波雷达除了响应时间短、不易受环境影响外，还有传输的数据质量高等优点。本实施例的基于雷视语义分割自适应融合的车辆目标检测方法，流程见图1，具体包括雷视融合模块和车辆检测模块。
步骤1：深度图和雷达点云的分割，具体包括以下三个步骤：
使用RGB-D相机获取深度图，获取毫米波雷达点云数据。见图3所示，为RGB-D获取的深度图，每个
Figure DEST_PATH_IMAGE138
坐标不仅包含
Figure DEST_PATH_IMAGE140
三种颜色属性还包含深度信息，能够反映车辆与地面等前后距离的关系并通过颜色差异直观显示出来。
我们使用的RGB-D相机的具体信息如下表1：
表1：RGB-D相机规格
深度分辨率 1280×720
深度帧率 30fps
RGB传感器分辨率 2MP
RGB帧率和分辨率 30fps下为1920×1080
我们使用的毫米波雷达的具体信息如下表2：
表2：毫米波雷达规格
测距测量分辨率 0.39m
水平角度分辨率 1.6°
测距范围 0.25-250m
雷达发射频率 77GHz
见图4所示，为毫米雷达扫描获取的场景原始点云图，包括三维坐标
Figure DEST_PATH_IMAGE142
、颜色信息
Figure DEST_PATH_IMAGE144
以及强度信息。
利用Mobile-PSPNet网络获取深度分割图：Mobile-PSPNet网络基于PSPNet的基本结果，用轻量化MobileV2代替ResNet，减少卷积层数，以满足实时语义分割的要求。Mobile-PSPNet网络模型包括特征提取模块、金字塔池化模块、反卷积模块，金字塔池化模块分为多个层级，对不同尺度的信息进行融合。本实验将深度图的像素点位置(u,v)作为低层信息，保留深度信息，进行图像的分割，获取深度图的分割图和标签矩阵。见图5所示，为深度分割图，基于各图像点的分类集合和置信度，将属于同一类别的物体分割成一个整体，可以反映车辆和背景信息的分割结果。
采用PointNet网络实现点云的分割，获得可视化点云分割图像：考虑到直接把点云数据的点作为输入的计算量很大，故采用PointNet网络实现点云的分割。PointNet网络包括 Classification Network、Segmentation Network、T-Net三部分，本例将雷达点云数据作为输入，获取雷达点云的分割结果和标签矩阵。见图6所示，为点云分割结果，基于每反射点的分类集合和置信度将车辆与背景分割开来。
步骤2：深度分割图和雷达点云分割结果的融合，具体包括以下两个步骤：
坐标的转化和修正：由于深度图的坐标和雷达点云坐标的坐标系不同，故采用将像素坐标系转化为世界坐标系的方法完成坐标转化，由于转化后的坐标存在一定误差，故需进行坐标的修正。
Figure 460115DEST_PATH_IMAGE002
表示深度图分割结果经过坐标变换的点集，
Figure 282708DEST_PATH_IMAGE004
表示点云分割结果坐标的点集，修正思想是以
Figure DEST_PATH_IMAGE146
为基准，考察
Figure DEST_PATH_IMAGE148
的欧式距离，距离较近的点视为同一坐标点，修正
Figure DEST_PATH_IMAGE150
中坐标信息，坐标修正方法如下：
Figure DEST_PATH_IMAGE152
Figure DEST_PATH_IMAGE010A
Figure DEST_PATH_IMAGE012A
其中
Figure 267457DEST_PATH_IMAGE014
表示
Figure 884514DEST_PATH_IMAGE016
之间的欧式距离。
重建融合点云：考虑到不同分类集合置信度的量纲不一致，将各点置信度进行标准化。D为n×k的深度图分割图的标签矩阵，P为n×k的点云分割的标签矩阵，矩阵形式如下：
Figure DEST_PATH_IMAGE034A
其中n表示点的数目，k表示分类数目。
标准化公式如下：
Figure DEST_PATH_IMAGE154
考虑到已知深度图分割图的得分矩阵和点云分割结果的标签矩阵，基于点的坐标采用自适应融合的方式重建检测图像。对比毫米波雷达点云和RGD-D相机深度图的特征，点云数据可以获取更为准确的距离信息，故考虑在较高的深度下赋予雷达数据较大的权重。另外图像的熵可以反映图像包含的信息量，结合深度图分割图和点云分割结果的熵，调节各自的权重。权重计算方法如下：
Figure DEST_PATH_IMAGE036A
Figure DEST_PATH_IMAGE038A
Figure DEST_PATH_IMAGE040A
其中
Figure 163836DEST_PATH_IMAGE042
表示点云分割融合权重，
Figure 773809DEST_PATH_IMAGE044
为点在z轴方向的坐标值，
Figure 819256DEST_PATH_IMAGE046
表示深度图分割融合权重，
Figure 122062DEST_PATH_IMAGE048
表示图像的熵，
Figure 603859DEST_PATH_IMAGE050
表示深度分割图和点云分割结果熵的平均值，
Figure 220785DEST_PATH_IMAGE052
为每一灰度值出现的概率。
标签矩阵融合方法如下：
Figure 370006DEST_PATH_IMAGE060
步骤3：车辆目标检测，具体包括以下三个步骤：
目标点的提取：根据融合点云的语义信息中的分类得分，将分类得分较大的点视为该类目标的点，计算同一类别欧式距离最远的两点的深度差值
Figure 594445DEST_PATH_IMAGE062
，车辆宽度1.8m设定为最小检测深度
Figure 766801DEST_PATH_IMAGE064
，车辆长度6m作为最大检测深度
Figure 718576DEST_PATH_IMAGE066
，以
Figure 987884DEST_PATH_IMAGE064
、
Figure 632491DEST_PATH_IMAGE066
为阈值提取深度差值大于
Figure 292143DEST_PATH_IMAGE064
且小于
Figure 798342DEST_PATH_IMAGE066
的点视为目标点。
聚类获取中心点：利用学习向量量化LVQ聚合车辆点云方法聚合车辆表面点得到车辆中心点。
首先获取检测点云样本集
Figure 656576DEST_PATH_IMAGE068
，原型向量个数q，各原型向量预设的类别标记
Figure 472086DEST_PATH_IMAGE070
，学习率
Figure 415771DEST_PATH_IMAGE072
。初始化一组原型向量
Figure 178190DEST_PATH_IMAGE074
，从样本集中随机选取样本
Figure 638734DEST_PATH_IMAGE076
；
计算样本
Figure 359566DEST_PATH_IMAGE078
与
Figure 56126DEST_PATH_IMAGE080
的距离：
Figure 153395DEST_PATH_IMAGE082
；
找出与
Figure 189484DEST_PATH_IMAGE078
距离最近的原型向量
Figure 831949DEST_PATH_IMAGE084
，
Figure 15806DEST_PATH_IMAGE086
，如果
Figure 916766DEST_PATH_IMAGE088
，则
Figure 541782DEST_PATH_IMAGE090
，否则
Figure 869995DEST_PATH_IMAGE092
，将原型向量
Figure 760722DEST_PATH_IMAGE084
更新为
Figure 730952DEST_PATH_IMAGE094
，输出原型向量
Figure 272792DEST_PATH_IMAGE074
。
车辆检测：于中心点、距离、角度的单阶段目标检测模型CDA-SSD，利用聚类的中心点坐标(
Figure 975169DEST_PATH_IMAGE096
、车辆中心点与车辆表面点最大距离
Figure 602459DEST_PATH_IMAGE098
、车辆中心点与车辆表面点最小距离
Figure 861533DEST_PATH_IMAGE100
、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三维坐标下Z轴所成角度
Figure 257880DEST_PATH_IMAGE102
，绘制圆柱目标区域，基于目标区域内接长方体即为车辆的包围框；
所预测的目标区域包含六个参数(
Figure 131158DEST_PATH_IMAGE104
) ，真实目标区域包含如下六个参数
Figure 245744DEST_PATH_IMAGE106
；
位置损失函数如下：
Figure 26618DEST_PATH_IMAGE108
；
其中：
Figure DEST_PATH_IMAGE110A
Figure DEST_PATH_IMAGE112A
其中，
Figure 160360DEST_PATH_IMAGE114
Figure DEST_PATH_IMAGE116A
式中，
Figure 63594DEST_PATH_IMAGE118
为位置损失函数，
Figure 681788DEST_PATH_IMAGE120
为中心点损失函数，
Figure 266353DEST_PATH_IMAGE122
为半径损失函数，
Figure 840554DEST_PATH_IMAGE124
为角度损失函数，N表示预测中心点的个数，
Figure 852373DEST_PATH_IMAGE126
分别表示
Figure 675972DEST_PATH_IMAGE128
的权重。
步骤S701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：
Figure DEST_PATH_IMAGE130A
Figure DEST_PATH_IMAGE132A
Figure DEST_PATH_IMAGE134A
其中，
Figure 218555DEST_PATH_IMAGE136
分别表示包围框的高、宽、长。
最终得到车辆目标检测的结果。
对比不同算法在KITTI训练集上的检测效果，如下表3：
表3：不同算法在KITTI训练集上的检测效果
算法 AP(%) 时间(ms)
MV3D 74.32 360
AVOD 76.58 180
3DSSD 78.21 80
DC-SSD 80.01 70
综上可得，本发明采用语义分割方法对摄像机深度图和雷达点云数据进行分割，提出基于反射点和置信度的自适应雷视信息融合方法PC-ARVF基于每点的分类集合和置信度，将深度分割图与点云分割结果融合，重建融合点云，保证多源数据的补充和融合。提出一种基于中心点、距离、角度的单阶段目标检测模型CDA-SSD，借助圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，降低了车辆检测模型的复杂度。相比于之前的车辆目标检测方法，本发明的准确率更高、复杂度更低，对雷达和视频图像的融合和车辆目标检测具有重要意义。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.基于雷视语义分割自适应融合的车辆目标检测方法，其特征在于，包括如下步骤：
S1、获取场景深度图，使用毫米波雷达扫描场景原始点云数据；
S2、执行相机深度图语义分割流程，将获取得到的所述场景深度图转化为深度分割图，并获取深度分割图的标签矩阵，深度分割图的标签矩阵包括各图像点的分类集合与置信度；
S3、执行雷达原始点云语义分割流程，获取点云分割图，并获取点云分割图的标签矩阵，点云分割图的标签矩阵包括各反射点的分类集合与置信度；
S4、获取步骤S2中所述深度分割图和步骤S3中所述点云分割图的坐标匹配关系，通过坐标系变换将所述深度分割图转化为点云；
统一深度分割图和点云分割图的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割图坐标的一一匹配关系，作为融合基础；
S5、执行雷视信息融合流程，基于坐标匹配结果，结合深度分割图与点云分割图各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成融合点云分割图；
S6、执行融合点云分割图的去噪与特征提取流程，根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；
S7、执行融合点云分割图的车辆目标检测流程，基于检测点云，构建基于中心点、距离、角度的单阶段目标检测模型，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
2.根据权利要求1所述的车辆目标检测方法，其特征在于，步骤S2执行相机深度图语义分割流程进一步包括：
S201、提取输入的深度图特征，通过卷积层进行下采样，通过金字塔池化获取语义特征并实现不同尺度语义信息的融合，融合得到全局特征，将全局特征和原始特征融合通过一层卷积网络生成最终深度分割图；
S202、步骤S201中生成的所述深度分割图中每个像素点被赋予一个类别标签，并用不同的颜色进行标注，用平均交并比衡量预测标签和真实标签之间的重合程度，即置信度，从而可以提取出点云分割图的标签矩阵，标签矩阵包括每个像素点的分类集合与置信度；
步骤S3执行雷达原始点云语义分割流程进一步包括：
S301、将原始特征输入独立特征学习模块提取独立特征，利用邻域特征学习模块通过采样、分组、池化等提取邻域特征信息，利用特征融合模块将邻域特征信息映射到每个反射点上并与每个反射点的独立特征融合得到融合特征；
S302、融合后的特征送入频道注意模块进行语义增强，最后利用MLP对每个点进行分类，输出点云分割图的标签矩阵包括各反射点的分类集合与置信度。
3.根据权利要求1所述的车辆目标检测方法，其特征在于，步骤S4进一步包括：
S401、将图像坐标系转化为世界坐标系，将深度图坐标转为点云坐标，实现坐标统一；
S402、对统一后的坐标进行修正。
4.根据权利要求3所述的车辆目标检测方法，其特征在于，采用
Figure DEST_PATH_IMAGE002
表示深度图分割结果经过坐标变换的点集，
Figure DEST_PATH_IMAGE004
表示点云分割结果坐标的点集，步骤S402中采用下式修正坐标：
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE008
式中，
Figure DEST_PATH_IMAGE010
表示
Figure DEST_PATH_IMAGE012
之间的欧式距离；且
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE016
式中
Figure DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
表示深度分割结果经坐标变换后各点的三维坐标，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
表示点云分割结果各点的三维坐标，
Figure DEST_PATH_IMAGE030
表示点云分割结果坐标点集中包括的各个反射点，
Figure DEST_PATH_IMAGE032
表示深度分割结果经坐标变换后点集中包括的各点。
5.根据权利要求1所述的车辆目标检测方法，其特征在于，步骤S5进一步包括：
S501、获取分类得分矩阵，矩阵形式如下：
Figure DEST_PATH_IMAGE034
其中n表示点的数目，k表示分类数目；
S502、比较雷达点云与深度图的特征，根据雷达点云数据能够更好地反映深度信息的特点，深度越深，雷达点云数据的权重越大，同时图像的熵能够反应图像包含的信息量，包含信息量大的图像赋予更大的权重，权重计算如下：
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE040
其中
Figure DEST_PATH_IMAGE042
表示点云分割图权重，
Figure DEST_PATH_IMAGE044
为点在z轴方向的坐标值，
Figure DEST_PATH_IMAGE046
表示深度分割图权重，
Figure DEST_PATH_IMAGE048
表示图像的熵，
Figure DEST_PATH_IMAGE050
表示深度分割图和点云分割结果的平均值，
Figure DEST_PATH_IMAGE052
为每一灰度值出现的概率，
Figure DEST_PATH_IMAGE054
表示深度分割图的熵，
Figure DEST_PATH_IMAGE056
表示点云分割图的熵，D为n×k的深度分割图的标签矩阵，P为n×k的点云分割图的标签矩阵，
Figure DEST_PATH_IMAGE058
表示对点在z轴方向的坐标值取负并求指数；
S503、得分矩阵融合：
Figure DEST_PATH_IMAGE060
。
6.根据权利要求1所述的车辆目标检测方法，其特征在于，步骤S6进一步包括：
依据各点的分类集合与置信度可以判断各点的类别，计算同一类别欧式距离最远的两点的深度差值
Figure DEST_PATH_IMAGE062
，车辆宽度1.8m设定为最小检测深度
Figure DEST_PATH_IMAGE064
，车辆长度6m作为最大检测深度
Figure DEST_PATH_IMAGE066
，以
Figure 758389DEST_PATH_IMAGE064
、
Figure 206688DEST_PATH_IMAGE066
为阈值去除非目标的点云。
7.根据权利要求6所述的车辆目标检测方法，其特征在于，步骤S6进一步包括：
S601、利用学习向量量化LVQ聚合车辆点云方法首先获取检测点云样本集
Figure DEST_PATH_IMAGE068
，原型向量个数q，各原型向量预设的类别标记
Figure DEST_PATH_IMAGE070
，学习率
Figure DEST_PATH_IMAGE072
；
S602、初始化一组原型向量
Figure DEST_PATH_IMAGE074
，从样本集中随机选取样本
Figure DEST_PATH_IMAGE076
；
S603、计算样本
Figure DEST_PATH_IMAGE078
与所述原型向量中某一预定元素
Figure DEST_PATH_IMAGE080
的距离：
Figure DEST_PATH_IMAGE082
；
S604、找出与
Figure 78435DEST_PATH_IMAGE078
距离最近的原型向量
Figure DEST_PATH_IMAGE084
，
Figure DEST_PATH_IMAGE086
，如果
Figure DEST_PATH_IMAGE088
，则
Figure DEST_PATH_IMAGE090
，否则
Figure DEST_PATH_IMAGE092
，将原型向量
Figure 693218DEST_PATH_IMAGE084
更新为
Figure DEST_PATH_IMAGE094
，输出原型向量
Figure 569908DEST_PATH_IMAGE074
。
8.根据权利要求1所述的车辆目标检测方法，其特征在于，步骤S7进一步包括：
S701、利用聚类的中心点坐标(
Figure DEST_PATH_IMAGE096
、车辆中心点与车辆表面点最大距离
Figure DEST_PATH_IMAGE098
、车辆中心点与车辆表面点最小距离
Figure DEST_PATH_IMAGE100
、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三维坐标下Z轴所成角度
Figure DEST_PATH_IMAGE102
，绘制圆柱目标区域，基于目标区域内接长方体即为车辆的包围框；
S702、所预测的目标区域包含六个参数(
Figure DEST_PATH_IMAGE104
) ，真实目标区域包含如下六个参数
Figure DEST_PATH_IMAGE106
；
位置损失函数如下：
Figure DEST_PATH_IMAGE108
；
其中：
Figure DEST_PATH_IMAGE110
Figure DEST_PATH_IMAGE112
其中，
Figure DEST_PATH_IMAGE114
Figure DEST_PATH_IMAGE116
式中，
Figure DEST_PATH_IMAGE118
为位置损失函数，
Figure DEST_PATH_IMAGE120
为中心点损失函数，
Figure DEST_PATH_IMAGE122
为半径损失函数，
Figure DEST_PATH_IMAGE124
为角度损失函数，N表示预测中心点的个数，
Figure DEST_PATH_IMAGE126
分别表示
Figure DEST_PATH_IMAGE128
的权重。
9.根据权利要求8所述的车辆目标检测方法，其特征在于，步骤S701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：
Figure DEST_PATH_IMAGE130
Figure DEST_PATH_IMAGE132
Figure DEST_PATH_IMAGE134
其中，
Figure DEST_PATH_IMAGE136
分别表示包围框的高、宽、长，
Figure 660879DEST_PATH_IMAGE098
表示车辆中心点与车辆表面点最大距离，
Figure 209803DEST_PATH_IMAGE100
表示车辆中心点与车辆表面点最小距离。
10.车辆目标检测系统，用于驱动并执行如权利要求1至9中任一项所述的车辆目标检测方法，其特征在于，包括：
RGB-D相机，用于获取场景深度图；
毫米波雷达，用于扫描场景原始点云数据；
相机深度图语义分割模块，用于将深度图转化为深度分割图，获取标签矩阵，矩阵包括各图像点的分类集合与置信度；
雷达原始点云语义分割模块，用于获取点云分割图和标签矩阵，矩阵包括各反射点的分类集合与置信度；
坐标系变换修正模块，用于获取相机深度分割图与雷达点云分割结果的坐标匹配关系，通过坐标系变换将深度分割图转化为点云，统一深度分割图和点云分割的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割坐标的一一匹配关系，作为融合基础；
雷视信息融合模块，基于所述坐标系变换修正模块的坐标匹配结果，结合深度分割图与点云分割结果各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成融合点云分割图；
去噪及特征提取模块，用于根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；
车辆目标检测模块，基于所述去噪及特征提取模块生成的检测点云，构建基于中心点、距离、角度的单阶段目标检测模型，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
CN202210649696.5A 2022-06-10 2022-06-10 基于雷视语义分割自适应融合的车辆目标检测方法及系统 Active CN114724120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210649696.5A CN114724120B (zh) 2022-06-10 2022-06-10 基于雷视语义分割自适应融合的车辆目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210649696.5A CN114724120B (zh) 2022-06-10 2022-06-10 基于雷视语义分割自适应融合的车辆目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN114724120A true CN114724120A (zh) 2022-07-08
CN114724120B CN114724120B (zh) 2022-09-02

Family

ID=82232621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210649696.5A Active CN114724120B (zh) 2022-06-10 2022-06-10 基于雷视语义分割自适应融合的车辆目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN114724120B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937081A (zh) * 2022-07-20 2022-08-23 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115294294A (zh) * 2022-10-10 2022-11-04 中国电建集团山东电力建设第一工程有限公司 基于深度图像和点云的管线bim模型重建方法及系统
CN115861957A (zh) * 2023-01-19 2023-03-28 中国科学技术大学 一种基于传感器融合的新型动态物体分割方法
CN116862922A (zh) * 2023-06-20 2023-10-10 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质
WO2024015891A1 (en) * 2022-07-15 2024-01-18 The Regents Of The University Of California Image and depth sensor fusion methods and systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN110879401A (zh) * 2019-12-06 2020-03-13 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN113052109A (zh) * 2021-04-01 2021-06-29 西安建筑科技大学 一种3d目标检测系统及其3d目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN110879401A (zh) * 2019-12-06 2020-03-13 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN113052109A (zh) * 2021-04-01 2021-06-29 西安建筑科技大学 一种3d目标检测系统及其3d目标检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024015891A1 (en) * 2022-07-15 2024-01-18 The Regents Of The University Of California Image and depth sensor fusion methods and systems
CN114937081A (zh) * 2022-07-20 2022-08-23 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
WO2024016524A1 (zh) * 2022-07-20 2024-01-25 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115294294A (zh) * 2022-10-10 2022-11-04 中国电建集团山东电力建设第一工程有限公司 基于深度图像和点云的管线bim模型重建方法及系统
CN115861957A (zh) * 2023-01-19 2023-03-28 中国科学技术大学 一种基于传感器融合的新型动态物体分割方法
CN115861957B (zh) * 2023-01-19 2023-06-16 中国科学技术大学 一种基于传感器融合的新型动态物体分割方法
CN116862922A (zh) * 2023-06-20 2023-10-10 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质
CN116862922B (zh) * 2023-06-20 2024-03-19 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质

Also Published As

Publication number Publication date
CN114724120B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114724120B (zh) 基于雷视语义分割自适应融合的车辆目标检测方法及系统
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN110264416B (zh) 稀疏点云分割方法及装置
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN102708370B (zh) 一种多视角图像前景目标提取方法及装置
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN114092780A (zh) 基于点云与图像数据融合的三维目标检测方法
CN111815665B (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN110852182A (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN115049945B (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析系统
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN114299339A (zh) 一种基于区域相关性建模的三维点云模型分类方法及系统
CN112801928B (zh) 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN113850195A (zh) 一种基于3d视觉的ai智能物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant