CN115657012B - 图像目标与雷达目标的匹配方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像目标与雷达目标的匹配方法、装置、设备及存储介质，所述方法包括：获取一连续时段内的若干帧图像以及每一帧下雷达目标的雷达信息，并将最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；提取各图像中图像目标的位置坐标，并按时序先后进行排列获得位置坐标数据集；将各帧下的雷达信息按时序先后进行排列获得雷达信息数据集；将位置坐标数据集以及雷达信息数据集输入至预设的目标匹配模型中，以使目标匹配模型生成待匹配图像中图像目标的轨迹特征及待匹配雷达信息的雷达目标的轨迹特征，根据两轨迹特征生成第一关系匹配矩阵；根据第一关系匹配矩阵将图像目标与雷达目标进行匹配。

Description

图像目标与雷达目标的匹配方法、装置、设备及存储介质

技术领域

本发明涉及辅助驾驶技术领域，尤其涉及一种图像目标与雷达目标的匹配方法、装置、设备及存储介质。

背景技术

随着新能源汽车的兴起，给辅助驾驶功能带来了更多的机遇与挑战。单一传感器的在感知上的短板是先天的，而利用多传感器融合方可为驾驶安全提供有力保障。

针对图像目标和毫米波雷达目标点的融合算法问题，一个基本策略是将雷达点通过坐标系转换投影点图像内，在提取雷达点特征时，加入投影后的雷达点图像特征和雷达目标点的测量信息，再提取图像目标特征并将其与雷达点特征进行直接匹配。但是通过仔细分析可以发现，目标的图像特征是外观、形状、尺寸等特征，属于静态特征，而雷达测量出的距离、速度、角度等都是位置信息，属于动态特征。将动态特征和静态特征进行相互匹配是十分困难，精度不高的，因为两种特征所在的域不同，很难泛化。甚至，在匹配时起决定性作用的是图像特征，加入的雷达点信息特征可能起不到关键作用，因此现有的图像目标与雷达目标匹配方法准确性较低。

发明内容

本发明实施例提供一种图像目标与雷达目标的匹配方法、装置、设备及存储介质，所述方法能够提高图像目标与雷达目标之间匹配的准确性。

本发明一实施例提供一种图像目标与雷达目标的匹配方法，包括：获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；

提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下同一个雷达目标的雷达信息按时序先后进行排列，获得雷达信息数据集；

将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵；

根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

进一步的，所述目标匹配模型的生成包括：

提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下同一个雷达目标的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征，所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

进一步的，所述根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵，包括：

对所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征进行矩阵内积运算生成得分矩阵；

通过Sinkhorn算法对所述得分矩阵进行迭代优化待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵。

进一步的，在对预设的初始网络模型进行训练时，初始网络模型所对应的损失函数为：

；

其中，（N, M）为人工标注下的待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的匹配集合，N表示待匹配图像样本中的图像目标的总数，M表示待匹配雷达信息样本所对应的雷达目标的总数，i为待匹配图像样本中第i个图像目标，j为待匹配雷达信息样本所对应的第j个雷达目标,N+1和M+1分别表示关系匹配矩阵S’的第N +1行和M+1列,I表示关系匹配矩阵S’中第M+1列中待匹配图像样本的图像目标集合，J表示关系匹配矩阵S’中第N +1行中所有待匹配雷达信息样本所对应的雷达目标集合。

在上述方法项实施例的基础上本发明对应提供了装置项实施例；

本发明一实施例提供了一种图像目标与雷达目标的匹配装置，包括：数据提取模块、数据集生成模块、模型识别模块以及匹配解析模块；

所述数据提取模块，用于获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；

所述数据集生成模块，用于提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下同一个雷达目标的雷达信息按时序先后进行排列，获得雷达信息数据集；

所述模型识别模块，用于将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵；

所述匹配解析模块，用于根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

进一步的，还包括模型构建模块；

所述模型构建模块，用于提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下同一个雷达目标的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征；所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

在上述方法项实施例的基础上，本发明对应提供了设备项实施例；

本发明一实施例提供了一种图像目标与雷达目标的匹配设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明任意一项所述的图像目标与雷达目标的匹配方法。

在上述方法项实施例的基础上，本发明对应提供了一存储介质项实施例；

本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的图像目标与雷达目标的匹配方法。

通过实施本发明具有如下有益效果：

本发明一实施例提供了一种图像目标与雷达目标的匹配方法、装置、设备及存储介质，所述方法在进行图像目标和雷达目标匹配时，根据多帧的图像和雷达信息，生成图像目标的轨迹特征和雷达目标的轨迹特征，然后基于图像目标的轨迹特征和雷达目标的轨迹特征来进行图像目标和雷达目标的匹配，图像目标的轨迹特征和雷达目标的轨迹特征均属于动态特征，特征所属的域相同，特征匹配度高能够提高图像目标与雷达目标匹配的准确性。

附图说明

图1是本发明一实施例提供的一种图像目标与雷达目标的匹配方法的流程示意图。

图2是本发明一实施例提供的一种图像目标与雷达目标的匹配装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种图像目标与雷达目标的匹配方法，至少包括如下步骤：

步骤S101：获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息。

步骤S102：提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下同一个雷达目标的雷达信息按时序先后进行排列，获得雷达信息数据集。

步骤S103：将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵。

步骤S104：根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

对于步骤S101、具体的，截取一连续时段内的一段视频和雷达信息，通过图像帧和雷达帧的时间戳对齐的方式，将图像帧和雷达帧一一对应。因为摄像头和雷达的帧率不同，以摄像头的时间戳为准，雷达信息按照历史最近邻原则与图像帧一一对齐，获得上述若干帧图像以及对应的雷达信息，然后将最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息。

对于步骤S102、通过目标检测（例如：YOLOv5）检测出各图像中图像目标的位置得到对应的位置坐标，一图像目标的位置坐标可以表示为：（，，，)，（，）为目标框的左上角的点坐标，（，）为右下角的点坐标。与此同时，由步骤101中的数据对齐操作可以获取各个时刻下图像中目标对象的位置坐标，以及该时刻下对应的雷达信息；雷达信息可表示为：（X，Y，prob，depth，，），（X，Y)表示雷达目标在雷达坐标系下的横坐标和纵坐标，prob，depth，，依次分别表示为雷达目标存在概率、目标深度、目标在雷达坐标系下x方向速度和y方向速度。

将上述连续时段内各图像中图像目标的位置坐标按时间先后顺序进行排列，得到上述位置坐标数据集，将连续时段内各帧同一个雷达目标的雷达信息按时间先后顺序进行排列得到上述雷达信息数据集。

对于步骤S103、在一个优选的实施例中，所述目标匹配模型的生成包括：

所述目标匹配模型的生成包括：

提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下同一个雷达目标的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征；所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

在一个优选的实施例中，所述根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵，包括：

对所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征进行矩阵内积运算生成得分矩阵；

通过Sinkhorn算法对所述得分矩阵进行迭代优化待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵。

具体的，对本发明中目标匹配模型进行详细的说明：

1、数据处理：截取一连续历史时段内的一段视频和雷达信息，通过图像帧和雷达帧的时间戳对齐的方式，将图像帧和雷达帧一一对应，获得上述若干图像样本以及雷达信息样本。并且通过人工打标的方式标注出所有一一对应下的图像样本中图像目标和雷达信息样本中雷达目标的匹配关系。

2、制作数据：假设该连续历史时段内有K帧，第K帧图像样本为上述待匹配图像样本、第K帧下的雷达信息样本为上述待匹配雷达信息样本。通过目标检测（例如：YOLOv5）检测出连续K帧图像样本中的图像目标的位置坐标，其中一图像目标位置坐标可记为（，，，)，获取连续K帧下的雷达信息，其中，一雷达信息包含有（X，Y，prob，depth，，），（X，Y)表示目标在雷达坐标系下的横坐标和纵坐标，prob，depth，，依次分别表示为目标存在概率、目标深度、目标在雷达坐标系下x方向速度和y方向速度。然后将连续K帧的图像样本的图像目标坐标和对应的雷达样本的雷达信息按照时序（1，2，...，K-1，K）的顺序排列。需要注意的是，在进行目标匹配时是以第K帧为标准，在第K帧下的图像目标若在其余的某个历史时刻下（例如在第K-1帧）未出现，则该图像目标在该历史时刻下（例如在第K-1帧）对应的位置坐标设置为：（0，0，0，0），若其余历史时刻出现了第K帧不存在的图像目标，则表明该图像目标在第K帧消失了，不需要匹配，则该目标不会出现在图像目标位置坐标训练数据集中。同理，在第K帧下的雷达目标点若在其余的某个历史时刻下（例如在第K-1帧）未出现，则该雷达目标在该历史时刻下（例如在第K-1帧）的雷达信息为：（0，0，0，0，0，0），若其余历史时刻下出现了第K帧不存在的雷达目标，则表明该雷达目标在第K帧消失了，不需要匹配，则该历史时刻下的雷达目标被踢除，不会出现在雷达信息训练数据集中。可选的，默认设置K = 5。

假设第K帧时刻下图像样本内有N个图像目标，将每个图像目标的位置坐标为：（，，，)按照时间顺序排列得到[4*K，1]维特征，形如（，， ，，，，，，...，，，，），那么N个图像目标的位置坐标按照时间顺序可得到[4*K，N]维特征。在训练时batchsize设为B，则特征维度为[B，4*K，N]；该第K帧时刻下雷达目标的个数为M，每个点测量到的雷达信息为（X，Y，prob，depth，，），按照时间顺序得到排列得到[6*K，1]维特征，形如（，，，，，，，，，， ，，...，，，，，，），那么M个雷达目标点的信息按照时间顺序可得到[6*K，M]。在训练时batchsize设为B，则特征维度为[B，6*K，M]。一般设置为N=15，M= 40，在目标个数不够N或M时，需要进行补0操作，当超过15或40时，则舍弃多余的目标。

紧接着生成标签，由前述得到的待匹配图像样本中各图像目标与待匹配雷达信息样本中各雷达目标之间的匹配关系，将人工标注的图像目标和雷达目标点之间的匹配关系制作成关系矩阵，如某个第K 帧图像样本内有N个图像目标，对应的第K帧雷达信息中雷达目标个数为M，则关系矩阵Z初始化为N×M的全零矩阵，当第i个图像目标和第j个雷达目标具有匹配关系，为同一个目标，则矩阵Z的第i行第j列元素Z[i, j] = 1。在训练时batchsize设为B，则关系矩阵Z的维度为[B，N，M]。

将上述数据输入至初始网络模型中，初始网络模型包括三个子网络，分别为图像目标轨迹特征提取网络（Conv1）、雷达目标点轨迹特征提取网络（Conv2）以及匹配矩阵生成网络；

图像目标轨迹特征提取网络由5个基础模块组成，每个基础模块由一维卷积（conv1d）、BatchNorm1d、ReLU激活组成一个conv1d_base。

图像目标轨迹特征提取网络的第1个基础模块的输入特征维度为[B，4*K，N], 经过conv1d_base中的256个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，256，N]；

图像目标轨迹特征提取网络的第2个基础模块的输入特征维度为[B，256，N], 经过conv1d_base中的256个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，256，N]；

图像目标轨迹特征提取网络的第3个基础模块的输入特征维度为[B，256，N], 经过conv1d_base中的512个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，512，N]；

图像目标轨迹特征提取网络的第4个基础模块的输入特征维度为[B，512，N], 经过conv1d_base中的512个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，512，N]；

图像目标轨迹特征提取网络的第5个基础模块的输入特征维度为[B，512，N], 经过conv1d_base中的1024个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，1024，N]；

同样的，雷达目标点轨迹特征提取网络由5个基础模块组成，每个基础模块由conv1d、BatchNorm1d、ReLU激活组成一个conv1d_base。

雷达目标点轨迹特征提取网络的第1个基础模块的输入特征维度为[B，6*K，M],经过conv1d_base中的256个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，256，M]；

雷达目标点轨迹特征提取网络的第2个基础模块的输入特征维度为[B，256，M],经过conv1d_base中的256个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，256，M]；

雷达目标点轨迹特征提取网络的第3个基础模块的输入特征维度为[B，256，M],经过conv1d_base中的512个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，512，M]；

雷达目标点轨迹特征提取网络的第4个基础模块的输入特征维度为[B，512，M],经过conv1d_base中的512个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，512，M]；

雷达目标点轨迹特征提取网络的第5个基础模块的输入特征维度为[B，512，M],经过conv1d_base中的1024个kernel_size=1，stride=1，padding=0的卷积核的卷积，输出特征维度为[B，1024，M]；

由上可知，网络结构的图像目标轨迹特征提取网络和雷达目标点轨迹特征提取网络分别输出维度为[B，1024，N]的图像目标的轨迹特征，和[B，1024，M]的雷达目标的轨迹特征。

匹配矩阵生成网络将二者通过矩阵内积运算得到维度为[B，N，M]的得分矩阵S，通过Sinkhorn算法对得分矩阵S进行迭代优化，可选的，默认迭代100次，得到优化后的增广匹配矩阵S’，其维度为[B，N+1，M+1]；在推理时，默认B=1，进而得到的关系匹配矩阵为增广匹配矩阵S’的前m行前n列部分，得到大小为N×M的关系匹配矩阵。

在训练初始网络模型时，匹配损失为Sinkhorn算法迭代之后的增广匹配矩阵S’的负对数似然函数，

其中，（N, M）为人工标注下的待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的匹配集合，N表示待匹配图像样本中的图像目标的总数，M表示待匹配雷达信息样本所对应的雷达目标的总数，i为待匹配图像样本中第i个图像目标，j为待匹配雷达信息样本所对应的第j个雷达目标,N+1和M+1分别表示增广匹配矩阵S’的第N +1行和M+1列,I表示增广匹配矩阵S’中第M+1列中待匹配图像样本的图像目标集合，J表示增广匹配矩阵S’中第N +1行中所有待匹配雷达信息样本所对应的雷达目标集合，设置训练参数，初始学习率lr=0.001， 使用adam优化器，训练轮数epochs = 20，每5轮降低一次学习率，降低比例为0.1，并使用关系矩阵Z对S’进行监督训练。通过训练过程中在验证集上验证准确率，并保存在验证集上最好的模型，得到本发明的目标匹配模型。

模型训练完毕后，将上述位置坐标数据集以及雷达信息数据集输入至目标匹配模型中，即可得生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵。

对于步骤S104，具体的，对上述生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵进行解析，即可获得待匹配图像中图像目标与待匹配雷达信息所对应的匹配关系，将各图像目标与雷达目标进行匹配。在推理时的解析操作与训练时制作关系矩阵Z的过程相反，对大小为N×M的第一关系匹配矩阵的每一行记为i，求第i行最大值所在的第j列，若该最大值大于某个预设阈值时，该阈值默认设置0.2，则待匹配图像中的第i个图像目标与待匹配雷达信息中第j个雷达目标相互匹配；若该最大值小于某个预设阈值时，则待匹配图像中的第i个图像目标没有与之匹配的雷达目标。

通过实施本发明能够使用连续多帧图像目标的轨迹与连续多帧雷达目标点的轨迹之间的匹配融合，并首次使用深度学习提取出目标的运动轨迹特征和雷达目标点的轨迹特征，并使用监督学习的方式训练模型，来实现图像目标与雷达目标之间的匹配，使用运动轨迹的一维的特征，使得模型在训练和推理时速度快，占用资源少。不使用图像的二维特征，使用将二者的运动轨迹进行融合匹配可减少因目标被局部遮挡而影响匹配准确率的问题，串联在目标检测器后不影响目标检测器的实时性，并且可获得超过0.97的匹配准确率。

如图2所示，在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例提供了一种图像目标与雷达目标的匹配装置，包括：数据提取模块、数据集生成模块、模型识别模块以及匹配解析模块；

所述数据提取模块，用于获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；

所述数据集生成模块，用于提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下的雷达信息按时序先后进行排列，获得雷达信息数据集；

所述模型识别模块，用于将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵；

所述匹配解析模块，用于根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

在一个优选的实施例中，还包括：模型构建模块；

所述模型构建模块，用于提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征，所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

所述领域的技术人员可以清楚地了解到，为的方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。

在上述方法项实施例的基础上，本发明对应提供了设备项实施例；

本发明一实施例提供了一种图像目标与雷达目标的匹配设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明任意一项所述的图像目标与雷达目标的匹配方法。

上述设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述设备可包括，但不仅限于，处理器、存储器。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在上述方法项实施例的基础上本发明对应提供了存储介质项实施例；

本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的图像目标与雷达目标的匹配方法。

所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种图像目标与雷达目标的匹配方法，其特征在于，包括：

获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；

提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下同一个雷达目标的雷达信息按时序先后进行排列，获得雷达信息数据集；

将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像目标轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵；

根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

2.如权利要求1所述的图像目标与雷达目标的匹配方法，其特征在于，所述目标匹配模型的生成包括：

提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下同一个雷达目标的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征，所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

3.如权利要求2所述的图像目标与雷达目标的匹配方法，其特征在于，所述根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵，包括：

对所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征进行矩阵内积运算生成得分矩阵；

通过Sinkhorn算法对所述得分矩阵进行迭代优化待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵。

4.如权利要求2所述的图像目标与雷达目标的匹配方法，其特征在于，在对预设的初始网络模型进行训练时，初始网络模型所对应的损失函数为：

；

其中，（N,M）为人工标注下的待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的匹配集合，N表示待匹配图像样本中的图像目标的总数，M表示待匹配雷达信息样本所对应的雷达目标的总数，i为待匹配图像样本中第i个图像目标，j为待匹配雷达信息样本所对应的第j个雷达目标,N+1和M+1分别表示关系匹配矩阵S’的第N +1行的行数和第M+1列的列数,I表示关系匹配矩阵S’中第M+1列中待匹配图像样本的图像目标集合，J表示关系匹配矩阵S’中第N +1行中所有待匹配雷达信息样本所对应的雷达目标集合。

5.一种图像目标与雷达目标的匹配装置，其特征在于，包括：数据提取模块、数据集生成模块、模型识别模块以及匹配解析模块；

所述数据提取模块，用于获取一连续时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，并将所述连续时段内的最后一帧图像作为待匹配图像，将待匹配图像所对应的雷达信息作为待匹配雷达信息；

所述数据集生成模块，用于提取各图像中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标数据集；将各帧下同一个雷达目标的雷达信息按时序先后进行排列，获得雷达信息数据集；

所述模型识别模块，用于将所述位置坐标数据集以及所述雷达信息数据集输入至预设的目标匹配模型中，以使所述目标匹配模型根据所述位置坐标数据集提取所述待匹配图像中图像目标的轨迹特征，获得第一图像目标轨迹特征，根据所述雷达信息数据集提取所述待匹配雷达信息所对应的雷达目标的轨迹特征，获得第一雷达目标轨迹特征，根据所述第一图像目标轨迹特征以及所述第一雷达目标轨迹特征，生成所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的第一关系匹配矩阵；

所述匹配解析模块，用于根据所述第一关系匹配矩阵进行解析，得到所述待匹配图像中图像目标与待匹配雷达信息所对应的雷达目标之间的匹配结果。

6.如权利要求5所述的图像目标与雷达目标的匹配装置，其特征在于，还包括模型构建模块；

所述模型构建模块，用于提取一连续历史时段内的若干帧图像以及每一帧下雷达所检测到的雷达目标的雷达信息，得到若干图像样本以及雷达信息样本；将所述连续历史时段内的最后一帧图像作为待匹配图像样本，将待匹配图像样本所对应的雷达信息作为待匹配雷达信息样本；

提取各图像样本中图像目标的位置坐标，并将所提取得到的同一个图像目标的位置坐标按时序先后进行排列，获得位置坐标训练数据集；将各帧下同一个雷达目标的雷达信息样本按时序先后进行排列，获得雷达信息训练数据集；

以位置坐标训练数据集和雷达信息训练数据集为输入，以待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵为输出，对预设的初始网络模型进行训练；其中，所述初始网络模型包括：图像目标轨迹特征提取网络、雷达目标点轨迹特征提取网络以及匹配矩阵生成网络，且在训练时，所述图像目标轨迹特征提取网络根据位置坐标训练数据集，提取所述待匹配图像样本中图像目标的轨迹特征，获得第二图像目标轨迹特征，所述雷达目标点轨迹特征提取网络根据雷达信息训练数据集，提取所述待匹配雷达信息样本所对应的雷达目标的轨迹特征，获得第二雷达目标轨迹特征;所述匹配矩阵生成网络，用于根据所述第二图像目标轨迹特征以及所述第二雷达目标轨迹特征，生成所述待匹配图像样本中图像目标与待匹配雷达信息样本所对应的雷达目标之间的关系匹配矩阵；

在训练完毕后生成所述目标匹配模型。

7.一种图像目标与雷达目标的匹配设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的图像目标与雷达目标的匹配方法。

8.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至4中任意一项所述的图像目标与雷达目标的匹配方法。

Images