CN115810115B - 基于图像特征的图像和多帧毫米波雷达目标的融合方法 - Google Patents

基于图像特征的图像和多帧毫米波雷达目标的融合方法 Download PDF

Info

Publication number
CN115810115B
CN115810115B CN202310077584.1A CN202310077584A CN115810115B CN 115810115 B CN115810115 B CN 115810115B CN 202310077584 A CN202310077584 A CN 202310077584A CN 115810115 B CN115810115 B CN 115810115B
Authority
CN
China
Prior art keywords
image
loss
millimeter wave
wave radar
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310077584.1A
Other languages
English (en)
Other versions
CN115810115A (zh
Inventor
杨超
刘国清
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310077584.1A priority Critical patent/CN115810115B/zh
Publication of CN115810115A publication Critical patent/CN115810115A/zh
Application granted granted Critical
Publication of CN115810115B publication Critical patent/CN115810115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及基于图像特征的图像和多帧毫米波雷达目标的融合方法，包括标注图像的目标区域；将当前时刻下的毫米波雷达目标信息与历史时刻的毫米波雷达目标信息融合，并标注出当前时刻下毫米波雷达目标与图像的目标区域一一对应的匹配关系；提取目标区域的中心点特征和毫米波雷达目标的雷达目标点特征；构建检测模型，基于第一训练标签训练检测模型；利用匹配模型对中心点特征和雷达目标点特征进行特征匹配，结合第二训练标签对匹配模型进行监督；构建损失函数，采用优化器优化得到融合模型；将图像和多帧毫米波雷达信息输入融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。本申请具有提升匹配准确率的效果。

Description

基于图像特征的图像和多帧毫米波雷达目标的融合方法
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及基于图像特征的图像和多帧毫米波雷达目标的融合方法。
背景技术
自动驾驶车辆面临的挑战之一是复杂场景中精确的目标检测和跟踪。与视觉算法中的视觉传感器相比，毫米波雷达的检测性能受极端天气的影响较小，此外，毫米波雷达不仅可以测量距离，还可以利用运动物体反射信号的多普勒效应测量速度矢量，并且具有穿透性，受遮挡的影响小，在遮挡情况下更具备跟踪条件。
但是，单帧毫米波雷达的信息量较少，导致基于图像特征的图像和毫米波雷达目标的匹配精度较低。
发明内容
为了改善图像和毫米波雷达目标的匹配精度，提升匹配准确率，本申请提供了基于图像特征的图像和多帧毫米波雷达目标的匹配方法。
第一方面，本申请提供一种基于图像特征的图像和多帧毫米波雷达目标的融合方法。
本申请是通过以下技术方案得以实现的：
一种基于图像特征的图像和多帧毫米波雷达目标的融合方法，包括以下步骤，
基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
标注所述图像的目标区域，作为目标检测的第一训练标签；
将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型；
将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
本申请在一较佳示例中可以进一步配置为：所述构建损失函数的步骤包括，
将检测损失和匹配损失相加，其中，所述检测损失包括分类损失、坐标误差损失和预测框IOU损失，则
Figure SMS_1
Figure SMS_2
α+β=1
其中，
Figure SMS_5
表示总损失，/>
Figure SMS_6
表示检测损失，/>
Figure SMS_8
表示检测损失平衡参数，/>
Figure SMS_3
表示匹配损失，/>
Figure SMS_7
表示匹配损失平衡参数，/>
Figure SMS_9
表示分类损失，/>
Figure SMS_10
表示坐标误差损失，/>
Figure SMS_4
表示预测框IOU损失。
本申请在一较佳示例中可以进一步配置为：所述分类损失采用交叉熵损失，则
Figure SMS_11
式中，
Figure SMS_12
为样本总数，/>
Figure SMS_13
为预测输出，/>
Figure SMS_14
为真实标签类别。
本申请在一较佳示例中可以进一步配置为：所述坐标误差损失采用均方误差损失，则
Figure SMS_15
式中，
Figure SMS_16
为样本总数，/>
Figure SMS_17
)和/>
Figure SMS_18
)分别表示预测框的坐标点位置和标注框的坐标点位置。
本申请在一较佳示例中可以进一步配置为：所述预测框IOU损失采用C-IOU损失，则
Figure SMS_19
Figure SMS_20
Figure SMS_21
Figure SMS_22
式中，
Figure SMS_24
表示交并比，A为预测框，B为标注框，/>
Figure SMS_29
表示预测框和标注框中心点之间的欧氏距离,/>
Figure SMS_31
为预测框和标注框之间最小外接矩形对角线的长度，/>
Figure SMS_25
表示权重系数，
Figure SMS_27
用于衡量预测框和标注框相对比例的一致性，/>
Figure SMS_28
为标注框的宽，/>
Figure SMS_30
为标注框的高，/>
Figure SMS_23
为预测框的宽，/>
Figure SMS_26
为预测框的高。
本申请在一较佳示例中可以进一步配置为：所述匹配损失为经过Sinkhorn算法迭代之后的匹配矩阵的负对数似然函数；
所述匹配损失的表达式为，
Figure SMS_32
其中，（M，N）表示标注的图像和雷达点的匹配集合，N+1和M+1分别表示扩充矩阵
Figure SMS_33
的第N+1行和M+1列。/>
Figure SMS_34
表示第M+1列的毫米波雷达目标中图像目标的集合，/>
Figure SMS_35
表示第N+1行的图像目标中毫米波雷达目标的集合。
本申请在一较佳示例中可以进一步配置为：所述YOLOV5目标检测模型包含CSPdarknet53层、Neck层和Prediction层组成的网络结构；
所述CSPdarknet53层由多个卷积层、BN层、激活层和残差组件堆叠而成。
第二方面，本申请提供一种基于图像特征的图像和多帧毫米波雷达目标的匹配装置。
本申请是通过以下技术方案得以实现的：
一种基于图像特征的图像和多帧毫米波雷达目标的融合装置，包括，
投影模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
第一训练标签模块，用于标注所述图像的目标区域，作为目标检测的第一训练标签；
第二训练标签模块，用于将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
特征提取模块，用于基于所述图像，分别提取所述图像的目标区域中心点特征和所述毫米波雷达目标的雷达目标点特征；
检测损失模块，用于构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
匹配损失模块，用于利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
训练模块，用于构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型融合收敛，得到融合模型；
匹配模块，用于将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
第三方面，本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于图像特征的图像和多帧毫米波雷达目标的匹配方法的步骤。
第四方面，本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种基于图像特征的图像和多帧毫米波雷达目标的匹配方法的步骤。
综上所述，与现有技术相比，本申请提供的技术方案带来的有益效果至少包括：
将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，针对多帧雷达数据进行融合，使得训练数据更丰富；同时，构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，将检测模型和匹配模型融合在一起进行训练，训练数据更丰富，融合模型的泛化性能更强，在检测图像目标的同时，还可以实现图像目标和毫米波雷达目标之间的匹配，改善了图像和毫米波雷达目标的匹配精度，提升了匹配准确率。
附图说明
图1为本申请一个示例性实施例提供的一种基于图像特征的图像和多帧毫米波雷达目标的融合方法的流程示意图。
图2为本申请又一个示例性实施例提供的一种基于图像特征的图像和多帧毫米波雷达目标的融合方法构建的目标检测模型的结构框图。
图3为本申请另一个示例性实施例提供的一种基于图像特征的图像和多帧毫米波雷达目标的融合装置的结构框图。
具体实施方式
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
参照图1，本申请实施例提供一种基于图像特征的图像和多帧毫米波雷达目标的融合方法，所述方法的主要步骤描述如下。
S1:基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
S2:标注所述图像的目标区域，作为目标检测的第一训练标签；
S3:将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
S4:基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
S5:构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
S6:利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
S7:构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型；
S8: 将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
具体地，获取时间同步下的图像和当前时间下的毫米波雷达目标信息，并借助坐标系转换，将毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标。
人工标注所述图像的目标区域，作为目标检测的第一训练标签。目标区域为关键目标区域，关键目标区域包括行人、车辆、动物等具有移动属性的物体。本实施例中，目标区域为车辆。
将当前时间下的毫米波雷达目标信息，即当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，针对多帧雷达数据进行融合，并人工标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签。
基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征。本实施例中，可以在原始目标检测模型的基础上分别获取目标中心点的特征和雷达点的图像特征，实现特征共享。
参照图2，构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失。
具体地，YOLOV5目标检测模型包含CSPdarknet53层、Neck层和Prediction层组成的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Prediction层的输入端；CSPdarknet53层作为检测模型的核心backnone,由多个卷积层、BN层、激活层和残差组件堆叠而成。Neck层主要对特征金字塔的特征进行卷积、上采样和拼接Concatate，以及卷积、下采样和拼接Concatate。Prediction层是对输入的3层特征金字塔进行维度变换，得到3×(1+4+c)的维度，分别对应各个回归量，继而使用标签监督的方式得到检测损失。
通过在YOLOV5目标检测模型的输入层输入一张H×W的RGB图像；经过由卷积层、BN层、激活层和残差组件堆叠而成的CSPdarknet53层,输出3层多尺度的特征金字塔,大小分别为H/8×W/8×256、H/16×W/16×512、H/32×W/32×1024；经过Neck层时对3层特征金字塔进行卷积、上采样以及连接Concatate，得到一张大小为H/8×W/8×256的融合特征featuremap；再经过Neck层对融合特征featuremap进行卷积和下采样以及连接Concatate，再次得到大小为H/8×W/8×256、H/16×W/16×512、H/32×W/32×1024的3层特征金字塔，使得网络具有不同得到的感受野，进而可以观察到图像中不同大小的目标，使得YOLOV5目标检测模型很好地具备检测大、中、小的目标的能力，最后，将3层特征金字塔输入Prediction层，通过二维卷积在每个尺度下都输出一个3维的预测张量，每个尺度下的张量的大小分别为H/8×W/8×[3×(1+4+c)]、H/16×W/16×[3×(1+4+c)]、H/32×W/32×[3×(1+4+c)],分别对应预测3个尺度下3种长宽比的目标。
预测张量的编码信息有：预测框的4维位置信息、预测框中包含待检测目标的1维置信度、预测框中包含目标的c维类别信息。注意的是类别信息分别对应小车、小巴士、巴士、卡车、特种车辆、未知类型车辆以及不是车辆7种类别。
在标注信息中，已经知道图像目标点和雷达目标点的坐标，通过对x、y坐标缩小4倍，即可获得坐标（x，y）的点在（x/8，y/8）处的特征向量，向量维度为512。
在获得图像目标点和雷达目标点的特征向量之后，再在雷达目标点特征上加入雷达目标的信息，如目标距离、速度、角度，并且再对加入雷达信息后的雷达特征进行一次卷积，以便将雷达特征向量维度恢复至512维。
利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失。其中，匹配模型采用如sinkhorn匹配算法等。
构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型。在模型训练过程中，当损失函数的loss不再继续下降或下降很小，并且验证集的准确率不再上升，即可认为模型收敛。本实施例中，设置学习率lr=0.0001,优化器采用adam，训练50轮，通过训练过程中在验证集上验证准确率且不再上升，即可保存在验证集上训练完毕的模型，得到融合模型。
将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
在一实施例中，所述构建损失函数的步骤包括，
将检测损失和匹配损失相加，其中，所述检测损失包括分类损失、坐标误差损失和预测框IOU损失，则
Figure SMS_36
Figure SMS_37
α+β=1
其中，
Figure SMS_39
表示总损失，/>
Figure SMS_41
表示检测损失，/>
Figure SMS_43
表示检测损失平衡参数，/>
Figure SMS_38
表示匹配损失，/>
Figure SMS_42
表示匹配损失平衡参数，/>
Figure SMS_44
表示分类损失，/>
Figure SMS_45
表示坐标误差损失，/>
Figure SMS_40
表示预测框IOU损失。
在一实施例中，所述分类损失采用交叉熵损失，则
Figure SMS_46
式中，
Figure SMS_47
为样本总数，/>
Figure SMS_48
为预测输出，/>
Figure SMS_49
为真实标签类别。
在一实施例中，所述坐标误差损失采用均方误差损失，则
Figure SMS_50
式中，
Figure SMS_51
为样本总数，/>
Figure SMS_52
)和/>
Figure SMS_53
)分别表示预测框的坐标点位置和标注框的坐标点位置。
在一实施例中，所述预测框IOU损失采用C-IOU损失，则
Figure SMS_54
Figure SMS_55
Figure SMS_56
Figure SMS_57
式中，
Figure SMS_59
表示交并比，A为预测框，B为标注框，/>
Figure SMS_62
表示预测框和标注框中心点之间的欧氏距离,/>
Figure SMS_64
为预测框和标注框之间最小外接矩形对角线的长度，/>
Figure SMS_58
表示权重系数，
Figure SMS_61
用于衡量预测框和标注框相对比例的一致性，/>
Figure SMS_65
为标注框的宽，/>
Figure SMS_66
为标注框的高，/>
Figure SMS_60
为预测框的宽，/>
Figure SMS_63
为预测框的高。
在一实施例中，所述匹配损失为经过Sinkhorn算法迭代之后的匹配矩阵的负对数似然函数；
所述匹配损失的表达式为，
Figure SMS_67
其中，（M，N）表示标注的图像和雷达点的匹配集合，N+1和M+1分别表示扩充矩阵
Figure SMS_68
的第N+1行和M+1列。/>
Figure SMS_69
表示第N+1列的毫米波雷达目标中图像目标的集合，/>
Figure SMS_70
表示第M+1行的图像目标中毫米波雷达目标的集合。
在一实施例中，还包括以下步骤，
随机在历史时刻的雷达目标信息中将目标信息设置为0，进行数据增强；
采用增强的数据训练所述YOLOV5目标检测模型，使得YOLOV5目标检测模型的训练数据更丰富，模型的泛化能力更强，目标的检测准确率更高。
综上所述，一种基于图像特征的图像和多帧毫米波雷达目标的融合方法通过将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，针对多帧雷达数据进行融合，使得雷达目标信息数据更丰富；同时，构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，将检测器和匹配算法融合在一起进行训练，训练数据更丰富，融合模型的泛化性能更强，改善了图像和毫米波雷达目标的匹配精度，提升了匹配准确。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参照图3，本申请实施例还提供一种基于图像特征的图像和多帧毫米波雷达目标的融合装置，该一种基于图像特征的图像和多帧毫米波雷达目标的融合装置与上述实施例中一种基于图像特征的图像和多帧毫米波雷达目标的匹配方法一一对应。该一种基于图像特征的图像和多帧毫米波雷达目标的融合装置包括，
投影模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
第一训练标签模块，用于标注所述图像的目标区域，作为目标检测的第一训练标签；
第二训练标签模块，用于将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
特征提取模块，用于基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
检测损失模块，用于构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
匹配损失模块，用于利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
训练模块，用于构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型；
匹配模块，用于将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
关于一种基于图像特征的图像和多帧毫米波雷达目标的匹配装置的具体限定可以参见上文中对于一种基于图像特征的图像和多帧毫米波雷达目标的匹配方法的限定，在此不再赘述。上述一种基于图像特征的图像和多帧毫米波雷达目标的匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种基于图像特征的图像和多帧毫米波雷达目标的匹配方法。
在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
S1:基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
S2:标注所述图像的目标区域，作为目标检测的第一训练标签；
S3:将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
S4:基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
S5:构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
S6:利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
S7:构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型融合收敛，得到融合模型；
S8: 将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

Claims (8)

1.一种基于图像特征的图像和多帧毫米波雷达目标的融合方法，其特征在于，包括以下步骤，
基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
标注所述图像的目标区域，作为目标检测的第一训练标签；
将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失；
利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型；所述构建损失函数的步骤包括，
将检测损失和匹配损失相加，其中，所述检测损失包括分类损失、坐标误差损失和预测框IOU损失，则
Figure QLYQS_1
Figure QLYQS_2
α+β=1
其中，
Figure QLYQS_5
表示总损失，/>
Figure QLYQS_7
表示检测损失，/>
Figure QLYQS_9
表示检测损失平衡参数，/>
Figure QLYQS_4
表示匹配损失，/>
Figure QLYQS_6
表示匹配损失平衡参数，/>
Figure QLYQS_8
表示分类损失，/>
Figure QLYQS_10
表示坐标误差损失，/>
Figure QLYQS_3
表示预测框IOU损失；
将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果；
其中，所述YOLOV5目标检测模型包含CSPdarknet53层、Neck层和Prediction层组成的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Prediction层的输入端；
所述CSPdarknet53层由多个卷积层、BN层、激活层和残差组件堆叠而成，并输出3层多尺度的特征金字塔；
所述Neck层用于对特征金字塔进行卷积、上采样以及连接，得到融合特征，再经过Neck层对融合特征进行卷积和下采样以及连接，再次得到特征金字塔；
所述Prediction层通过二维卷积在每个尺度下输出一个3维的预测张量。
2. 根据权利要求1所述的基于图像特征的图像和多帧毫米波雷达目标的融合方法，其特征在于，所述分类损失采用交叉熵损失。
3.根据权利要求1所述的基于图像特征的图像和多帧毫米波雷达目标的融合方法，其特征在于，所述坐标误差损失采用均方误差损失，则
Figure QLYQS_11
式中，
Figure QLYQS_12
为样本总数，/>
Figure QLYQS_13
)和/>
Figure QLYQS_14
)分别表示预测框的坐标点位置和标注框的坐标点位置。
4.根据权利要求1所述的基于图像特征的图像和多帧毫米波雷达目标的融合方法，其特征在于，所述预测框IOU损失采用C-IOU损失，则
Figure QLYQS_15
Figure QLYQS_16
Figure QLYQS_17
Figure QLYQS_18
式中，
Figure QLYQS_20
表示交并比，A为预测框，B为标注框，/>
Figure QLYQS_24
表示预测框和标注框中心点之间的欧氏距离,/>
Figure QLYQS_26
为预测框和标注框之间最小外接矩形对角线的长度，/>
Figure QLYQS_21
表示权重系数，/>
Figure QLYQS_23
用于衡量预测框和标注框相对比例的一致性，/>
Figure QLYQS_25
为标注框的宽，/>
Figure QLYQS_27
为标注框的高，/>
Figure QLYQS_19
为预测框的宽，/>
Figure QLYQS_22
为预测框的高。
5.根据权利要求1所述的基于图像特征的图像和多帧毫米波雷达目标的融合方法，其特征在于，所述匹配损失为经过Sinkhorn算法迭代之后的匹配矩阵的负对数似然函数；
所述匹配损失的表达式为，
Figure QLYQS_28
其中，（M，N）表示标注的图像和雷达点的匹配集合，N+1和M+1分别表示扩充矩阵
Figure QLYQS_29
的第N+1行和M+1列，/>
Figure QLYQS_30
表示第M+1列的毫米波雷达目标中图像目标的集合，/>
Figure QLYQS_31
表示第N+1行的图像目标中毫米波雷达目标的集合，/>
Figure QLYQS_32
表示图像的目标区域，/>
Figure QLYQS_33
表示毫米波雷达目标。
6.一种基于图像特征的图像和多帧毫米波雷达目标的融合装置，其特征在于，包括，
投影模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标信息，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
第一训练标签模块，用于标注所述图像的目标区域，作为目标检测的第一训练标签；
第二训练标签模块，用于将当前时刻下的毫米波雷达目标信息与该时刻之前T个时刻下的毫米波雷达目标信息融合在一起，并标注出当前时刻下毫米波雷达目标与所述图像的目标区域一一对应的匹配关系，作为特征匹配的第二训练标签；
特征提取模块，用于基于所述图像，分别提取所述图像的目标区域的中心点特征和所述毫米波雷达目标的雷达目标点特征；
检测损失模块，用于构建YOLOV5目标检测模型，基于所述YOLOV5目标检测模型检测图像中的目标区域，并结合所述第一训练标签训练所述YOLOV5目标检测模型，计算检测损失，其中，所述YOLOV5目标检测模型包含CSPdarknet53层、Neck层和Prediction层组成的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Prediction层的输入端；所述CSPdarknet53层由多个卷积层、BN层、激活层和残差组件堆叠而成，并输出3层多尺度的特征金字塔；所述Neck层用于对特征金字塔进行卷积、上采样以及连接，得到融合特征，再经过Neck层对融合特征进行卷积和下采样以及连接，再次得到特征金字塔；所述Prediction层通过二维卷积在每个尺度下输出一个3维的预测张量；
匹配损失模块，用于利用匹配模型对所述中心点特征和所述雷达目标点特征进行特征匹配，得到匹配矩阵，并结合所述第二训练标签对所述匹配模型进行监督，计算匹配损失；
训练模块，用于构建损失函数，并采用优化器优化YOLOV5目标检测模型和匹配模型，直至模型收敛，得到融合模型；所述构建损失函数的步骤包括，
将检测损失和匹配损失相加，其中，所述检测损失包括分类损失、坐标误差损失和预测框IOU损失，则
Figure QLYQS_34
Figure QLYQS_35
α+β=1
其中，
Figure QLYQS_38
表示总损失，/>
Figure QLYQS_39
表示检测损失，/>
Figure QLYQS_42
表示检测损失平衡参数，/>
Figure QLYQS_37
表示匹配损失，/>
Figure QLYQS_40
表示匹配损失平衡参数，/>
Figure QLYQS_41
表示分类损失，/>
Figure QLYQS_43
表示坐标误差损失，/>
Figure QLYQS_36
表示预测框IOU损失；
匹配模块，用于将图像和多帧毫米波雷达目标信息输入所述融合模型中，得到图像的目标检测结果和与毫米波雷达目标的匹配结果。
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至5任意一项所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任意一项所述方法的步骤。
CN202310077584.1A 2023-02-08 2023-02-08 基于图像特征的图像和多帧毫米波雷达目标的融合方法 Active CN115810115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310077584.1A CN115810115B (zh) 2023-02-08 2023-02-08 基于图像特征的图像和多帧毫米波雷达目标的融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310077584.1A CN115810115B (zh) 2023-02-08 2023-02-08 基于图像特征的图像和多帧毫米波雷达目标的融合方法

Publications (2)

Publication Number Publication Date
CN115810115A CN115810115A (zh) 2023-03-17
CN115810115B true CN115810115B (zh) 2023-06-02

Family

ID=85487568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310077584.1A Active CN115810115B (zh) 2023-02-08 2023-02-08 基于图像特征的图像和多帧毫米波雷达目标的融合方法

Country Status (1)

Country Link
CN (1) CN115810115B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801B (zh) * 2023-04-18 2023-07-14 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652097B (zh) * 2020-05-25 2023-04-18 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN115546519B (zh) * 2022-12-05 2023-03-24 深圳佑驾创新科技有限公司 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于毫米波雷达与图像融合的车辆检测;胡彬;赵春霞;刘家银;;华中科技大学学报(自然科学版);第39卷(增刊II);第147-149页 *

Also Published As

Publication number Publication date
CN115810115A (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN115546519B (zh) 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN115810115B (zh) 基于图像特征的图像和多帧毫米波雷达目标的融合方法
US20220245924A1 (en) Training method for multi-object tracking model and multi-object tracking method
CN111208818B (zh) 基于视觉时空特征的智能车预测控制方法
CN113469088A (zh) 一种无源干扰场景下的sar图像舰船目标检测方法及系统
CN113888748A (zh) 一种点云数据处理方法及装置
CN114782787A (zh) 一种对点云与图像数据进行特征融合的处理方法和装置
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN115294355A (zh) 一种空间感知增强的单阶段无锚框三维目标检测方法及系统
CN114998856B (zh) 一种多相机图像的3d目标检测方法、装置、设备及介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114926722A (zh) 基于YOLOv5的尺度自适应目标检测的方法及存储介质
CN115294539A (zh) 多任务检测方法及装置、存储介质、终端
CN115797665B (zh) 基于图像特征的图像和单帧毫米波雷达目标的匹配方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN115205681A (zh) 基于空间上下文的车道线分割方法、设备及存储介质
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
CN113487374A (zh) 一种基于5g网络的区块电商平台交易系统
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置
Ye et al. FANet: Flexibility and Adaptivity Net for 3D Point Cloud Detection
CN117011685B (zh) 场景识别方法、装置和电子装置
CN117253044B (zh) 一种基于半监督交互学习的农田遥感图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.