CN115797665B - 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 - Google Patents
基于图像特征的图像和单帧毫米波雷达目标的匹配方法 Download PDFInfo
- Publication number
- CN115797665B CN115797665B CN202310051136.4A CN202310051136A CN115797665B CN 115797665 B CN115797665 B CN 115797665B CN 202310051136 A CN202310051136 A CN 202310051136A CN 115797665 B CN115797665 B CN 115797665B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- matching
- millimeter wave
- radar target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 161
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims description 35
- 238000012958 reprocessing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 3
- 229920001651 Cyanoacrylate Polymers 0.000 description 2
- 239000004830 Super Glue Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请涉及基于图像特征的图像和单帧毫米波雷达目标的匹配方法，包括基于时间同步下的图像和该时间下的毫米波雷达目标，将毫米波雷达目标投影到图像上；将图像输入预设的目标检测器中，得到图像的融合特征和目标区域；在图像的融合特征中提取出图像目标区域的中心点特征以及毫米波雷达目标的初始雷达目标特征；将中心点特征和初始雷达目标特征输入预设的匹配模型中，在初始雷达目标特征中额外加入雷达目标信息并进行特征提取得到第一雷达目标特征，根据中心点特征和第一雷达目标特征得到匹配矩阵；基于匹配矩阵，解析得到图像和毫米波雷达目标之间匹配结果。本申请具有提升毫米波雷达目标匹配的实时性能的效果。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
背景技术
目前，自动驾驶车辆面临的挑战之一是复杂场景中精确的目标检测和跟踪，因毫米波雷达使用的是毫米波信号，其波长比形成雾、雨和雪的微小粒子大，穿透能力强，并且具有全天候全天时的特点，适用于复杂场景中精确的目标检测和跟踪。
但是，现有的图像和毫米波雷达目标的匹配方法采用了伪图，因伪图是稀疏图，冗余了大量的伪信息（元素值为0），导致构造时耗费的计算机资源较多，运算速度慢，在车载芯片上的运行难度大，实时性难以满足自动驾驶的要求。
针对上述中的相关技术，发明人发现现有的图像和毫米波雷达目标的匹配方法存在有在车载芯片上的运行难度大，实时性差的问题。
发明内容
为了提升图像和毫米波雷达目标匹配时的实时性能，本申请提供了基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
第一方面，本申请提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
本申请是通过以下技术方案得以实现的：
一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，包括以下步骤，
基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；
根据加工后的目标区域的中心点特征与加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
本申请在一较佳示例中可以进一步配置为：所述将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征的步骤包括，
所述目标检测器包括CSPdarknet53层、Neck层、Head层和NMS层的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Head层的输入端，Head层的输出端连接NMS层的输入端；
将所述图像输入所述目标检测器的CSPdarknet53层，得到图像的特征金字塔，并将所述特征金字塔进行特征融合，得到图像的融合特征；
所述特征金字塔经过所述目标检测器的Neck层、Head层和NMS层，得到所述目标区域的中心点位置、宽度和高度；
基于所述目标区域的中心点位置，结合所述融合特征，得到所述目标区域的中心点特征；
基于所述毫米波雷达目标在所述图像上的投影点坐标，结合所述融合特征，得到所述毫米波雷达目标的初始雷达目标特征。
本申请在一较佳示例中可以进一步配置为：所述匹配模型的训练过程包括，
将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；
以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；
其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；
在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；
所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；
所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；
在训练完毕后生成所述匹配模型。
本申请在一较佳示例中可以进一步配置为：还包括以下步骤，
每次监督训练时，基于负对数似然函数，计算匹配模型的匹配损失；
根据所述匹配损失，利用优化器优化所述匹配模型；
重复上述步骤，直至匹配模型收敛，得到图像和单帧毫米波雷达目标的匹配模型；
其中，所述匹配损失的函数表达式包括，
其中，
表示匹配损失，（N，M）表示标注的图像的目标区域i和毫米波雷达目标j的匹配集合，N+1表示匹配矩阵的第N+1行，M+1表示匹配矩阵的第M+1列，/>
表示第M+1列的毫米波雷达目标中图像目标的集合，/>
表示第N+1行的图像目标中毫米波雷达目标的集合。
本申请在一较佳示例中可以进一步配置为：还包括以下步骤，
对加工后的目标区域的中心点特征和加工后的第二雷达目标特征进行内积计算，得到得分矩阵；
所述匹配模型还包括sinkhorn优化匹配层，基于所述匹配模型，初始化回归参数，将所述回归参数放入所述得分矩阵，并经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵，并通过监督训练更新回归参数；
将所述目标扩充矩阵作为匹配矩阵。
本申请在一较佳示例中可以进一步配置为：所述经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，
初始化最优匹配后的每行之和及每列之和的目标常数；
对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；
开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；
对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；
计算所述第二扩充矩阵的每列之和，对应得到第二常数；
对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；
按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
本申请在一较佳示例中可以进一步配置为：还包括以下步骤，
求解所述匹配矩阵的每一行的最大分数值所在的列数h，并判断所述最大分数值是否大于预设阈值；
若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前行数的所述图像和所述毫米波雷达目标中的第h个雷达目标匹配；
若所述匹配矩阵的最大分数值小于预设阈值时，则位于当前行数的所述图像没有与之匹配的雷达目标。
第二方面，本申请提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置。
本申请是通过以下技术方案得以实现的：
一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置，包括，
映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
特征提取模块，用于将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
预处理模块，用于将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息；
雷达特征融合模块，用于进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
匹配矩阵生成模块，用于根据加工后的目标区域中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
解析模块，用于基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
第三方面，本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的步骤。
第四方面，本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的步骤。
综上所述，与现有技术相比，本申请提供的技术方案带来的有益效果至少包括：
仅需输入图像至目标检测器，获得图像的融合特征和目标区域，并根据目标区域的中心点位置和毫米波雷达目标在图像上的投影点坐标，在融合特征上分别提取出目标区域中心点特征以及毫米波雷达目标的初始雷达目标特征，无需构造伪图像，减少了冗余信息，节约了计算资源；再在初始雷达目标特征中额外加入雷达点信息后再输入匹配模型的雷达特征融合网络中，得到与目标区域的中心点特征维度一致的第一雷达目标特征，以实现毫米波雷达目标的初始雷达目标特征和雷达点信息的融合，同时，共用目标检测器的图像特征，避免了图像特征的二次提取，进一步节约计算资源；最后再根据匹配关系监督训练得到图像目标和单帧毫米波雷达目标的匹配模型，将目标区域中心点特征和第一雷达目标特征输入所述匹配模型中的特征在加工网络和匹配矩阵生成网络，得到匹配矩阵；基于匹配矩阵，解析得到图像目标和单帧毫米波雷达目标的匹配结果；提升了基于毫米波雷达的目标检测的实时性能，降低了基于毫米波雷达的目标检测在车载芯片上的运行难度。
附图说明
图1为本申请一个示例性实施例提供的一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的主要流程图。
图2为本申请又一个示例性实施例提供的一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的目标检测器的网络结构示意图。
图3为本申请另一个示例性实施例提供的一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的目标检测器的检测流程图。
图4为本申请一个示例性实施例提供的一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的采用匹配模型进行优化匹配的流程图。
图5为本申请一个示例性实施例提供的一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置的结构框图。
具体实施方式
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
参照图1，本申请实施例提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，所述方法的主要步骤描述如下。
S1:基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
S2:将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
S3:将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
S4:将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；
S5:根据加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
S6:基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
参照图2和图3，在一实施例中，S2:所述将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征的步骤包括，
S31:所述目标检测器包括CSPdarknet53层、Neck层、Head层和NMS层的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Head层的输入端，Head层的输出端连接NMS层的输入端；
S32:将所述图像输入所述目标检测器的CSPdarknet53层，得到图像的特征金字塔，并将所述特征金字塔进行特征融合，得到融合特征；
S33:所述特征金字塔经过所述目标检测器的Neck层、Head层和NMS层，得到所述目标区域的中心点位置、宽度和高度；
S34:基于所述目标区域的中心点位置，结合所述融合特征，得到所述目标区域的中心点特征；
S35:基于所述毫米波雷达目标在所述图像上的投影点坐标，结合所述融合特征，得到所述毫米波雷达目标的初始雷达目标特征
本实施例中，目标检测器可以采用包括CSPdarknet53层、Neck层、Head层和NMS层四个部分的YOLOV5。基于以CSPdarknet53为backbone、PAFPN为Neck的YOLOV5目标检测器，检测图像中的车辆目标，以获得车辆目标的中心点位置、宽度和高度。
标注后的图像输入目标检测器YOLOV5中的CSPdarknet53层后可得到特征图featureMap，特征图featureMap为3层特征金字塔，特征图featureMap再经过Neck层、Head层和NMS后得到目标区域的检测框，检测框内包含有目标区域的中心点坐标、宽度和高度信息。
基于目标检测器YOLOV5，提取目标检测器YOLOV5中的PAFPN的3层特征金字塔，再将特征金字塔进行融合，得到融合特征，以通过目标区域的中心点坐标获取目标区域在融合特征中的点特征，即为目标区域的中心点特征，以避免图像特征的二次提取，节省了计算资源。
在一实施例中，所述匹配模型的训练过程包括，
将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；
以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；
其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；
在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；
所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；
所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；
在训练完毕后生成所述匹配模型具体地，通过安装在车辆不同位置的摄像头和毫米波雷达进行信息感知，分别获取时间同步下的RGB图像和该时间下的毫米波雷达目标。
再通过坐标系转换，将毫米波雷达目标投影到图像上，获得投影点在图像上的坐标。
借助目标检测器标注出图像中的目标区域。本实施例中，目标区域为关键目标区域，关键目标区域包括行人、车辆、动物等具有移动属性的物体，并通过人工标注将属于真实世界的同一个目标物体的关键目标区域与毫米波雷达目标一一对应，以获取匹配关系作为监督训练深度学习模型的标签。
本实施例中，目标检测器可以为YOLOV5/YOLOV6/YOLOV7中的任意一种。
将标注后的图像输入预设的目标检测器中，获得图像的融合特征，并根据目标区域的中心点位置和毫米波雷达目标在图像上的投影点坐标，即可在融合特征上分别提取出目标区域的中心点特征以及毫米波雷达目标的初始雷达目标特征。
在初始雷达目标特征中额外加入雷达点信息，包括距离信息、速度信息、角度信息，得到预处理特征，形成完整的雷达目标特征，以保证雷达目标特征的完整度，有利于提高后续的识别精度；也避免了前期检测过程中受冗余信息影响；同时，能够共用目标检测器的图像特征，避免了图像特征的二次提取，进一步节约计算资源。
再将预处理特征输入匹配模型中的雷达特征融合网络中，得到与目标区域的中心点特征维度一致的第一雷达目标特征。
最后，根据匹配关系监督训练得到图像和单帧毫米波雷达目标的匹配模型，确定所述图像与所述毫米波雷达目标之间的匹配矩阵。
基于匹配矩阵，解析得到图像和单帧毫米波雷达目标的匹配结果。其中，匹配算法采用如sinkhorn匹配算法等。
本实施例中，匹配模型中的特征再加工网络采用SuperGlue结构。SuperGlue结构可以采用由9层自注意力机制层和9层交叉注意力机制层依次层叠的网络结构组成。相互层叠的自注意力机制层和交叉注意力机制层，即为一层自注意力机制层叠加一层交叉注意力机制层。自注意力机制层和交叉注意力机制层使得输入的点特征之间的相似特征更相似，不相似特征更具有区分度，能够更好地匹配目标区域的中心点特征和第二雷达目标特征。当然，自注意力机制层的层数和交叉注意力机制层的层数可根据实际情况进行调整。
在一实施例中，所述自注意力机制层和所述交叉注意力机制层均为多头注意力机制。例如，本实施例中，每一层自注意力机制层中和每一层交叉注意力机制层中均包含4个头的3层感知机，4个头的3层感知机即为多头注意力机制。采用多头注意力机制可以更好地提取图像的目标区域的中心点特征和第二雷达目标特征，进而有利于图像和单帧毫米波雷达目标的匹配。
在一实施例中，还包括以下步骤，
每次监督训练时，基于负对数似然函数，计算匹配模型的匹配损失；
根据所述匹配损失，利用优化器优化所述匹配模型；
重复上述步骤，直至匹配模型收敛，得到图像和单帧毫米波雷达目标的匹配模型。
进一步地，所述匹配损失的函数表达式包括，
其中，
表示匹配损失，（N，M）表示标注的图像的目标区域i和毫米波雷达目标j的匹配集合，N+1表示匹配矩阵的第N+1行，M+1表示匹配矩阵的第M+1列，/>
表示第M+1列的毫米波雷达目标中图像目标的集合，/>
表示第N+1行的图像目标中毫米波雷达目标的集合。
因此，本申请在已有的目标检测器的前提下，共用目标检测器的部分网络输出作为图像目标和雷达目标的特征信息，并根据目标区域的中心点和毫米波雷达目标的投影点在融合特征上分别提取出目标区域的中心点特征和初始雷达目标特征，再将中心点特征和初始雷达目标特征输入到匹配模型中，并利用匹配关系监督训练得到匹配模型；无需构造伪图，避免了冗余信息，提升了匹配时的实时性能，且共用目标检测器的部分输出特征，避免了特征信息的二次提取，进一步节约了计算资源。
本申请的匹配过程分为训练和推理两个部分。
训练部分：
数据预处理：首先将图像帧和雷达帧按照时间戳一一对齐。再利用预设的目标检测器检测出目标区域，并人工标注出图像目标和与该图像对应的雷达帧的毫米波雷达目标之间的匹配关系。
训练匹配模型：将图像输入预设的目标检测器中，输出该图像的融合特征；并根据目标区域的中心点和毫米波雷达目标的投影点在融合特征上分别提取出目标区域的中心点特征和初始雷达目标特征。以目标区域的中心点特征以及毫米波雷达目标的初始雷达目标特征为输入，以所述图像目标和所述单帧毫米波雷达目标之间的匹配矩阵为输出，并以人工标注出图像目标和与该图像对应的雷达帧的毫米波雷达目标之间的匹配关系为标签，对预设的初始网络模型进行监督训练。具体的，在初始雷达目标特征中额外加入雷达点信息，再输入雷达特征融合网络中，得到与图像目标区域的中心点特征维度一致的第二雷达目标特征；再将目标区域的中心点特征和第二雷达目标特征输入至特征再加工网络，得到加工后的目标区域的中心点特征和第二雷达目标特征，最后将加工后的图像目标区域的中心点特征和加工后的第二雷达目标特征输入到匹配矩阵生成网络，得到匹配矩阵，并根据匹配关系对匹配模型进行监督训练，最终得到图像目标和单帧毫米波雷达目标的匹配模型。
推理部分：
数据预处理：首先利用预设的目标检测器检测出目标区域，同时输出该图像的融合特征；并根据目标区域的中心点和毫米波雷达目标的投影点在融合特征上分别提取出图像目标区域的中心点特征和初始雷达目标特征。并在初始雷达目标特征中额外加入雷达点信息，再输入雷达特征融合网络中，得到与目标区域的中心点特征维度一致的第一雷达目标特征；再将目标区域的中心点特征和第一雷达目标特征分别输入至匹配模型中的特征再加工网络和匹配矩阵生成网络中，得到匹配矩阵，解析匹配矩阵即可获得图像目标和毫米波雷达目标的匹配结果。
参照图4，在一实施例中，还包括以下步骤，
S61:对加工后的目标区域的中心点特征和加工后的第二雷达目标特征进行内积计算，得到得分矩阵；
所述匹配模型还包括sinkhorn优化匹配层，基于所述匹配模型，初始化回归参数，将所述回归参数放入所述得分矩阵，并经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵，并通过监督训练更新回归参数；
将所述目标扩充矩阵作为匹配矩阵。
具体地，匹配模型的雷达特征融合网络的输出端连接特征再加工网络的输入端，特征再加工网络的输出端连接sinkhorn优化匹配层的输入端，sinkhorn优化匹配层的输出端连接匹配矩阵生成网络的输入端。
对加工后的目标区域的中心点特征和加工后的第二雷达目标特征进行内积计算，得到得分矩阵，经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵。在一实施例中，所述经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，
S62:初始化最优匹配后的每行之和及每列之和的目标常数；
S63:对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；
S64:开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；
S65:对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；
S66:计算所述第二扩充矩阵的每列之和，对应得到第二常数；
S67:对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；
S68:按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵；
S69: 判断所述目标扩充矩阵是否满足预设条件；
S70:若所述目标扩充矩阵满足预设条件，则根据判断结果得到匹配矩阵。
具体地，对n个图像目标和m个雷达点的点特征经过内积计算，形成的n×m的矩阵，即得分矩阵S，初始化最优匹配后的每行之和及每列之和的目标常数，如a和b，默认都设置为1。
对得分矩阵进行拓展，使得待匹配特征矩阵增加1行和1列，编码生成一个（n+1）×（m+1）的扩充矩阵S’，即第一扩充矩阵,拓展矩阵是因为有些图像目标点与雷达点没有匹配关系，通过增加1行或1列与之匹配。即当没有雷达点与某个图像目标匹配时，该图像目标应与新增1行的雷达目标匹配。
接着对扩充矩阵S’进行以下处理，开始第一次迭代：
S1’:计算扩充矩阵S’的每行之和；
S2’:对于扩充矩阵S’的每一行，分别除以扩充矩阵S’的每行之和，并乘以目标行之和a，即第一常数，得到新的扩充矩阵S’’，即第二扩充矩阵；
S3’:计算第二扩充矩阵S’’的列之和；
S4’:对于第二扩充矩阵S’’的每一列，分别除以扩充矩阵S’’的列之和，并乘目标列之和b，即第二常数，得到新的扩充矩阵，即第三扩充矩阵，结束第一次迭代；
S5’:按照第一次迭代的方式，对第三扩充矩阵的每行和每列重复执行S1’- S4’步，经过预设次数k次迭代后，新的扩充矩阵的行之和与目标行之和a一致，新的扩充矩阵的列之和与目标列之和b一致，新的扩充矩阵即目标扩充矩阵。本实施例中，a=1,b=1, k=100。
判断得到的目标扩充矩阵是否满足预设条件，即目标扩充矩阵是否迭代预设次数k。
若目标扩充矩阵满足预设条件，即目标扩充矩阵迭代预设次数k，则根据该目标扩充矩阵得到匹配矩阵；根据匹配矩阵得到匹配结果。
匹配矩阵是目标扩充矩阵的前n行前m列部分。如目标扩充矩阵的大小为（n+1）×（m+1），则匹配矩阵为目标扩充矩阵的前n行前m列部分，大小为n×m。
本实施例中，采用通过Sinkhorn算法对得分矩阵S进行迭代优化，默认迭代100次，得到优化后的增广的匹配矩阵S’。
在一实施例中，还包括以下步骤，
求解所述匹配矩阵的每一行的最大分数值所在的列数h，并判断所述最大分数值是否大于预设阈值；
若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前行数的所述图像和所述毫米波雷达目标中的第h个雷达目标匹配；
若所述匹配矩阵的最大分数值小于预设阈值时，则位于当前行数的所述图像没有与之匹配的雷达目标。
具体地，经过优化匹配层优化后得到大小为（n+1）×（m+1）的目标扩充矩阵。
提取目标扩充矩阵的前n行前m列部分，得到大小为n×m的匹配矩阵。
对匹配矩阵的每一行求最大分数值所在的第h列，且该最大分数值大于某个预设阈值时，则当前行数的图像目标与毫米波雷达目标中的第h个雷达目标匹配；若当前行数的第h列的最大分数值小于某个预设阈值时，则位于当前行数的图像目标没有与之匹配的雷达目标。
预设阈值的范围在0-1之间，本实施例中，预设阈值可以为0.2。例如，目标扩充矩阵的第1行的最大分数值0.8在第10列，且大于阈值0.2，则第1行所对应的图像目标与第10个雷达目标匹配。又例如，矩阵的某i行的最大分数值在第h列，且小于阈值0.2，则该第i行的所对应的图像目标没有与之匹配的雷达目标。
综上所述，一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，在训练时仅需输入图像至目标检测器，标注图像目标区域和获得匹配关系；将标注后的图像再次输入目标检测器中，获得图像的融合特征，并根据目标区域的中心点位置和毫米波雷达目标在图像上的投影点坐标，在融合特征上分别提取出目标区域的中心点特征以及毫米波雷达目标的初始雷达目标特征，无需构造伪图像，减少了冗余信息，节约了计算资源；再在初始雷达目标特征中额外加入雷达点信息后再输入雷达特征融合网络中，得到与图像的目标区域的中心点特征维度一致的第二雷达目标特征，以避免前期检测过程中受冗余信息影响，同时，共用目标检测器的图像特征，避免了图像特征的二次提取，进一步节约计算资源；最后再根据匹配关系监督训练得到图像目标和单帧毫米波雷达目标的匹配模型。在推理时，需输入图像至目标检测器，得到该图像的融合特征和目标区域，并进一步得到目标区域的中心点特征和初始雷达目标特征，再将目标区域的中心点特征和初始雷达目标特征输入所述匹配模型中，得到匹配矩阵；基于匹配矩阵，解析得到图像目标和单帧毫米波雷达目标的匹配结果；提升了基于毫米波雷达的目标检测的实时性能，降低了基于毫米波雷达的目标检测在车载芯片上的运行难度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参照图5，本申请实施例还提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置，该一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置与上述实施例中一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法一一对应。该一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置包括，
映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
特征提取模块，用于将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
预处理模块，用于将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息；
雷达特征融合模块，用于进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
匹配矩阵生成模块，用于根据加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；
解析模块，用于基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置还包括，
标注模块，用于将属于真实世界的同一个目标物体的所述图像目标与所述毫米波雷达目标一一对应，获得匹配关系；
特征再加工模块，用于以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工。
关于一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置的具体限定可以参见上文中对于一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法的限定，在此不再赘述。上述一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
S1:基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
S2:将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
S3:将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
S4:将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；
S5:根据加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
S6:基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
Claims (9)
1.一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，包括以下步骤，
基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；
根据加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果；
所述匹配模型的训练过程包括，
将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；
以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；
其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；
在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；
所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；
所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；
在训练完毕后生成所述匹配模型。
2.根据权利要求1所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，所述将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征的步骤包括，
所述目标检测器包括CSPdarknet53层、Neck层、Head层和NMS层的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Head层的输入端，Head层的输出端连接NMS层的输入端；
将所述图像输入所述目标检测器的CSPdarknet53层，得到图像的特征金字塔，并将所述特征金字塔进行特征融合，得到融合特征；
所述特征金字塔经过所述目标检测器的Neck层、Head层和NMS层，得到所述目标区域的中心点位置、宽度和高度；
基于所述目标区域的中心点位置，结合所述融合特征，得到所述目标区域的中心点特征；
基于所述毫米波雷达目标在所述图像上的投影点坐标，结合所述融合特征，得到所述毫米波雷达目标的初始雷达目标特征。
3.根据权利要求1所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，
每次监督训练时，基于负对数似然函数，计算匹配模型的匹配损失；
根据所述匹配损失，利用优化器优化所述匹配模型；
重复上述步骤，直至匹配模型收敛，得到图像和单帧毫米波雷达目标的匹配模型；
其中，所述匹配损失的函数表达式包括，
其中，
表示匹配损失，（N，M）表示标注的图像的目标区域i和毫米波雷达目标j的匹配集合，/>
表示第M+1列的毫米波雷达目标中图像目标的集合，/>
表示第N+1行的图像目标中毫米波雷达目标的集合，S’表示增广的匹配矩阵，/>
表示图像的目标区域i和毫米波雷达目标/>
的特征相似度得分，/>
表示图像的目标区域i和扩充的第M+1列的毫米波雷达目标/>
的特征相似度得分，/>
表示扩充的第N+1行中的图像的目标区域i和毫米波雷达目标/>
的特征相似度得分。
4.根据权利要求3所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，
对加工后的目标区域的中心点特征和加工后的第二雷达目标特征进行内积计算，得到得分矩阵；
所述匹配模型还包括sinkhorn优化匹配层，基于所述匹配模型，初始化回归参数，将所述回归参数放入所述得分矩阵，并经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵，并通过监督训练更新回归参数；
将所述目标扩充矩阵作为匹配矩阵。
5.根据权利要求4所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，所述经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，
初始化最优匹配后的每行之和及每列之和的目标常数；
对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；
开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；
对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；
计算所述第二扩充矩阵的每列之和，对应得到第二常数；
对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；
按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
6.根据权利要求5所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，
求解所述匹配矩阵的每一行的最大分数值所在的列数h，并判断所述最大分数值是否大于预设阈值；
若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前行数的所述图像目标和所述毫米波雷达目标中的第h个雷达目标匹配；
若所述匹配矩阵的最大分数值小于预设阈值时，则位于当前行数的所述图像目标没有与之匹配的雷达目标。
7.一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置，其特征在于，包括，
映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；
特征提取模块，用于将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；
预处理模块，用于将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息；所述匹配模型的训练过程包括，将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；在训练完毕后生成所述匹配模型；
雷达特征融合模块，用于进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；
匹配矩阵生成模块，用于根据所述加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；
解析模块，用于基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至6任意一项所述方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310051136.4A CN115797665B (zh) | 2023-02-02 | 2023-02-02 | 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310051136.4A CN115797665B (zh) | 2023-02-02 | 2023-02-02 | 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797665A CN115797665A (zh) | 2023-03-14 |
| CN115797665B true CN115797665B (zh) | 2023-06-02 |
Family
ID=85429490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310051136.4A Active CN115797665B (zh) | 2023-02-02 | 2023-02-02 | 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797665B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883998B (zh) * | 2023-06-20 | 2024-04-05 | 珠海微度芯创科技有限责任公司 | 基于毫米波图像的物品标注方法、装置、电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11391819B2 (en) * | 2018-07-18 | 2022-07-19 | Qualcomm Incorporate | Object verification using radar images |
| CN112560972B (zh) * | 2020-12-21 | 2021-10-08 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| CN115546519B (zh) * | 2022-12-05 | 2023-03-24 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115657012B (zh) * | 2022-12-23 | 2023-04-18 | 深圳佑驾创新科技有限公司 | 图像目标与雷达目标的匹配方法、装置、设备及存储介质 |
-
2023
- 2023-02-02 CN CN202310051136.4A patent/CN115797665B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797665A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| US11651302B2 (en) | Method and device for generating synthetic training data for an artificial-intelligence machine for assisting with landing an aircraft | |
| Li et al. | A method of cross-layer fusion multi-object detection and recognition based on improved faster R-CNN model in complex traffic environment | |
| CN113706480B (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
| CN111144304A (zh) | 车辆目标检测模型的生成方法、车辆目标检测方法及装置 | |
| US20220245924A1 (en) | Training method for multi-object tracking model and multi-object tracking method | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN115546519B (zh) | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 | |
| CN115797665B (zh) | 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 | |
| CN114926722B (zh) | 基于YOLOv5的尺度自适应目标检测的方法及存储介质 | |
| Li et al. | MVF-CNN: Fusion of multilevel features for large-scale point cloud classification | |
| CN117152414A (zh) | 一种基于尺度注意力辅助学习方法的目标检测方法及系统 | |
| CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
| CN118279566B (zh) | 一种针对小型物体的自动驾驶目标检测系统 | |
| Zhang et al. | A graph-voxel joint convolution neural network for ALS point cloud segmentation | |
| CN113436239A (zh) | 一种基于深度信息估计的单目图像三维目标检测方法 | |
| CN115810115B (zh) | 基于图像特征的图像和多帧毫米波雷达目标的融合方法 | |
| KR20220073444A (ko) | 오브젝트 추적 방법, 장치 및 그 방법을 수행하는 단말기 | |
| CN116597267A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN114882490B (zh) | 一种基于点引导定位的无受限场景车牌检测分类方法 | |
| CN116258960A (zh) | 基于结构化电磁散射特征的sar目标识别方法及装置 | |
| CN113836251B (zh) | 一种认知地图构建方法、装置、设备及介质 | |
| WO2022017129A1 (zh) | 目标对象检测方法、装置、电子设备及存储介质 | |
| Chen et al. | Vehicle detection based on yolov3 in adverse weather conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd. Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd. |