CN114266859B - 数据处理方法、装置、设备和存储介质 - Google Patents
数据处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114266859B CN114266859B CN202111461079.4A CN202111461079A CN114266859B CN 114266859 B CN114266859 B CN 114266859B CN 202111461079 A CN202111461079 A CN 202111461079A CN 114266859 B CN114266859 B CN 114266859B
- Authority
- CN
- China
- Prior art keywords
- target
- determining
- data
- grounding point
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供的数据处理方法、装置、设备和存储介质，该方法通过接收相机和/或毫米波雷达发送的目标数据；当相邻两次接收的均为相机对应的数据时，计算每一检测目标和每一跟踪目标之间的多个关联特征，根据多个关联特征确定与每一检测目标对应的跟踪目标；当相邻两次接收的为相机对应的数据和毫米波雷达对应的数据时，将毫米波雷达的接地点坐标数据进行透视变换并得到二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维接地点坐标差得分，进而确定两种数据中目标的对应关系，从而实现基于多个关联特征进行融合，基于相机的接地点坐标将不同类型的目标数据进行关联，提高了目标融合的准确度。
Description
技术领域
本发明涉及车辆技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。
背景技术
目前，具有自动驾驶系统的车辆已经开始逐步推向市场，极大的促进了智能交通的发展。具有自动驾驶系统的车辆通过设置在车辆上的传感器实时感知周围环境。
为了保证安全驾驶，通常需要在车辆上部署多个不同种类的传感器，以充分采集车辆周围的环境信息，以达到冗余观测的效果。例如，需要在车辆中设置相机和毫米波雷达。需要对相机获取的数据和毫米波雷达获取的数据进行融合，成为相同维度里相同坐标系下对同一目标的唯一性解释。目前，相机多采用智能相机，可以直接获取目标的三维坐标，可以较快的实现相同两帧图像中目标的关联，以及，相机中的目标与雷达检测的目标的关联。
然而，当基于降低车辆成本采用普通相机感知车辆周围环境时，基于普通相机无法直接获取目标的三维数据，无法直接将相机获取目标数据和毫米波雷达获取的目标数据进行融合，或者，无法将不同时刻相机获取的目标数据进行融合，使得融合的准确度较低。
发明内容
本发明提供一种数据处理方法、装置、设备和存储介质，用以解决现有技术中无法将普通相机的目标数据与和毫米波雷达获取的目标数据进行融合，或者无法将不同时刻相机获取的目标数据进行融合，存在融合准确度较低的问题。
第一方面，本发明提供一种数据处理方法，包括：
接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据；
当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分；和/或，
当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
可选的，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，包括：
针对每一跟踪目标，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分。
可选的，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分，包括：
针对每一跟踪目标，根据所述检测目标的锚点坐标和所述跟踪目标的锚点坐标确定所述检测目标在第一方向的移动距离和第二方向的移动距离，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度；
和/或，针对每一跟踪目标，计算所述检测目标的包围框与跟踪目标的包围框的相交部分面积和总面积，将所述相交部分面积与所述总面积相除，得到包围框的交并比；
和/或，针对每一跟踪目标，计算所述检测目标的包围框长度与所述跟踪目标的包围框长度差，以及所述检测目标的包围框长度与所述跟踪目标的包围框宽度差，将所述长度差与所述宽度差相乘得到第一相乘结果，将所述跟踪目标的包围框的长度和宽度相乘得到第二相乘结果，将所述第一相乘结果与所述第二相乘结果相除，得到包围框的形变距离；
和/或，针对每一跟踪目标，计算所述检测目标的特征向量与所述跟踪目标的特征向量的内积，将所述内积确定为特征向量的相似性得分。
可选的，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度，包括：
将所述第一方向的移动距离与检测目标的包围框长度相除得到第一相除结果，将所述第二方向的移动距离与检测目标的包围框宽度相除得到第二相除结果；
根据标准正态分布概率密度函数对所述第一相除结果和第二相除结果分别进行归一化处理，得到两个归一化处理的结果；
根据两个归一化处理的结果确定所述锚点坐标相似度。
可选的，根据两个归一化处理的结果确定所述锚点坐标相似度，包括：
将两个归一化处理的结果相乘，得到第三相乘结果；将两个归一化处理的结果相加，得到第一相加结果；
将所述第三相乘结果与第一预设系数相乘，得到第四相乘结果，将所述第四相乘结果与第二预设系数相加，得到第二相加结果，再将第二相加结果与第一相加结果相减，得到相减结果；
将所述第三相乘结果与所述相减结果相除，将相除结果确定为锚点坐标相似度。
可选的，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系，包括：
根据所述多个关联特征确定检测目标与跟踪目标之间的关联距离，根据所述关联距离确定关联矩阵；所述关联矩阵中包括M个检测目标和N个跟踪目标中任一检测目标和任一跟踪目标之间的关联距离；
按照检测目标的索引确定检测目标的关联顺序；
按照所述关联顺序，根据所述关联矩阵确定每一检测目标对应的跟踪目标。
可选的，根据所述关联矩阵确定每一检测目标对应的跟踪目标，包括：
确定所述关联矩阵中每一检测目标对应的多个关联距离，若数值最小的关联距离小于预设距离，则将数值最小的关联距离对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
可选的，所述方法还包括：
若数值最小的关联距离大于等于预设距离，则将所述检测目标确定为未匹配的检测目标，并将所述检测目标匹配为新的跟踪目标。
可选的，所述方法还包括：
当确定每一检测目标对应的跟踪目标后，若存在未匹配的跟踪目标，则确定所述未匹配的跟踪目标的消失时间；
当所述消失时间大于预设时间阈值，则确定所述跟踪目标消失。
可选的，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分，包括：
针对每一毫米波雷达对应的接地点坐标数据，将所述接地点坐标数据投影至世界坐标系下，再根据相机内参矩阵和相机外参矩阵将世界坐标系下的坐标投影至相机的像素坐标系下，得到投影后的二维坐标；
根据相机对应的目标数据的包围框尺寸和锚点坐标确定接地点坐标，根据投影后的二维坐标和所述接地点坐标确定接点地x坐标差和接地点y坐标差；
将所述接点地x坐标差与相机的包围框长度相除，将所述接地点y坐标差与相机的包围框宽度相除；根据两个相除结果确定二维接地点坐标差得分。
可选的，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，包括：
针对每一相机对应的目标数据，根据目标数据的包围框尺寸和锚点坐标确定接地点坐标，将所述接地点坐标进行逆透视变换以投影到地面，得到逆透视变换后的三维坐标；
根据逆透视变换后的三维坐标与毫米波雷达对应的三维坐标确定接地点x坐标差、接地点y坐标差和接地点z坐标差；
将接地点x坐标差、接地点y坐标差和接地点z坐标差分别与毫米波雷达对应的三维坐标相除，根据三个相除结果确定三维接地点坐标差得分。
可选的，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系，包括：
将所述二维接地点坐标差得分与所述三维接地点坐标差得分进行加权求和，得到加权求和后的接地点坐标差得分；
将当前接收到的目标数据对应的目标确定为检测目标，将上一次获取的目标数据对应的目标确定为跟踪目标，针对每一检测目标，将接地点坐标差得分最小的数值对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
可选的，所述方法还包括：
基于卡尔曼滤波的方法对匹配后的跟踪目标进行状态估计，确定位于自车前方的跟踪目标的位置信息；
获取当前道路中多个车道线的定位数据，根据所述定位数据确定自车左侧的车道线位置和自车右侧的车道线位置；
针对每一前方的跟踪目标，根据所述跟踪目标的位置信息、自车左侧的车道线位置和自车右侧的车道线位置确定所述跟踪目标是否为前导车。
可选的，所述方法还包括：
在确定所述前导车后，获取所述前导车的行驶速度；
控制所述车辆以所述前导车的行驶速度进行行驶。
第二方面，本发明提供一种数据处理装置，包括：
接收模块，用于接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据；
第一确定模块，用于当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分；和/或，
第二确定模块，用于当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
第三方面，本发明提供一种数据处理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行上述的数据处理方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述的数据处理方法。
本发明提供的一种数据处理方法、装置、设备和存储介质，通过接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据，当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系，从而实现基于多个关联特征将不同时刻相机获取的目标数据进行融合，基于相机的接地点坐标实现相机的目标数据和毫米波雷达的目标数据进行关联，从而将毫米波雷达的目标数据和相机的目标数据进行融合，提高目标融合的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例提供的一种数据处理方法的应用场景图；
图2为本发明实施例提供的一种数据处理方法的流程示意图；
图3为本发明实施例提供的一种相机数据对应的检测目标与跟踪目标的示意图；
图4为本发明实施例提供的一种车辆处于遮蔽状态和实际消失状态的示意图；
图5为本发明实施例提供的一种确定前导车的示意图；
图6为本发明实施例提供的一种数据处理装置的结构示意图；
图7为本发明实施例提供的一种数据处理设备的硬件结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。
图1为本发明实施例提供的一种数据处理方法的应用场景图，如图1所示，感知融合模块是自动驾驶操作系统的上层应用软件之一，基于感知融合模块可以实现对自车附近的目标进行融合，是决策规划的前处理模块。其中，感知融合模块获取可以获取毫米波雷达对应的目标数据和/或相机对应的目标数据。其中，感知融合模块获取的目标数据不是毫米波雷达和相机感知到的原始数据，而是毫米波雷达和摄像机会将感知到的原始数据发送给各自的AI感知模块，经过AI感知模块的处理可以输出自己独立的感知目标，目标数据表示每一目标的相关信息。
感知融合模块在接收到目标数据后，可以将目标数据进行融合，其中，此处的融合为异步融合的方式，即对从传感器(相机或毫米波雷达)获取的目标数据依次进行处理，无需进行时间戳同步。其中，在异步融合的过程中，可能存在两种相机对应的数据的融合，以及相机对应的数据和毫米波雷达对应的数据的融合，以及两种毫米波雷达对应的数据的融合。其中，此处的毫米波雷达为智能雷达，自身可以实现目标融合的功能。在进行融合后可以确定跟踪目标，进而对跟踪目标的状态进行估计以及确定前导车，最终基于前导车的相关信息通过决策规划模块对自车进行决规划。
其中，现有技术中在对不同传感器获取的目标数据进行融合时，通常基于智能相机来实现，智能相机可以获取目标的三维坐标，可以很好的进行两种相机对应的数据的融合，以及相机对应的数据和毫米波雷达对应的数据的融合。但是，为了降低成本，若采用普通相机感知目标，则相机获取的目标数据为二维数据，无法确定目标的真实位置，在进行数据融合时无法直接将相机对应的目标数据进行融合，以及相机对应的目标数据和雷达对应的目标数据进行融合，存在融合的准确率较低的问题。
基于上述问题，本发明提供一种数据处理方法，针对相机对应的目标数据的融合过程，通过获取检测目标与跟踪目标之间的多个关联特征，基于多个关联特征确定检测目标与跟踪目标之间的对应关系；针对相机对应的目标数据与毫米波雷达对应的目标数据的融合过程，利用相机感知的目标的包围框底边接地的特性，将毫米波雷达数据进行透视变换得到二维数据，或者，将相机数据进行逆透视变换(IPM，Inverse Perspective Mapping)获得其三维坐标，进而使得二者产生关联，从而准确的实现目标融合，提高目标融合的准确率。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的一种数据处理方法的流程示意图，本实施例的方法可以由车辆的感知融合模块执行。如图2所示，本实施例的方法可以同时实现对相机对应的数据和雷达对应的数据进行融合，以及两个相机对应的数据进行融合，该方法可以包括：
步骤S201、接收相机和毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据。
其中，感知融合模块接收的数据包括相机处理后的目标数据和毫米波雷达处理后的数据。其中，相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量。图3为本发明实施例提供的一种相机数据对应的检测目标与跟踪目标的示意图，示出了锚点坐标，接地点坐标等。其中，相机对应的目标数据可能会存在多个目标，针对每一目标会形成一个包围框，锚点坐标是指包围框的中心点坐标；包围框尺寸是指包围框的长度和宽度；特征向量是指包围框对应的特征信息，例如对于车辆和行人来说，特征向量存在很大的不同，特征向量可以通过相机内部的深度学习算法确定。其中，毫米波雷达获取的数据为一个三维坐标数据，该三维坐标数据通常为目标的接地点坐标。
步骤S202、当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分。
其中，当融合感知模块前后两次接收的目标数据均为相机对应的数据时，将当前获取的目标数据对应的多个目标设置为检测目标，将上一次获取的目标数据对应的多个目标确定为跟踪目标。在确定多个检测目标与多个跟踪目标之间的对应关系时，针对每一检测目标，计算该检测目标与每一跟踪目标之间的多个关联特征，再基于计算的多个关联特征确定与该检测目标存在对应关系的跟踪目标。
其中，关联特征为衡量检测目标与跟踪目标之间的相似性的特征，此处的关联特征包括：锚点坐标相似度、包围框交并比、包围框的形变距离和特征向量的相似性得分。其中，锚点坐标相似度用于评估目标是否存在运动一致性；包围框交并比用于评估目标运动和外观是否存在一致性；包围框的形变距离和特征向量的相似性得分均是用于评估目标的外观是否存在一致性。综合根据上述多个关联特征可以提高融合结果的准确性。
步骤S203、当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
其中，当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，则需要将相机对应的数据和毫米波雷达对应的数据进行融合，由于相机对应的数据为二维坐标，毫米波雷达对应的数据为三维坐标，因此无法直接将二维坐标和三维坐标进行融合。其中，将当前获取的目标数据中对应的目标确定为检测目标，将上一次获取的目标数据对应的目标确定为跟踪目标。其中，为了实现三维坐标和二维坐标的融合，可以将三维坐标进行降维处理，具体的，可以通过透视变换将三维坐标转换为二维坐标，再将转换后的二维坐标与相机的二维坐标进行比较得到二维接地点坐标差得分。其中，相机对应的目标数据中存在多个坐标点，由于毫米波雷达对应的数据进行透视变换时采用的是接地点坐标，因此需要确定相机数据中目标的接地点坐标，从而使二者之间建立联系。
此外，还可以将相机的接地点的目标数据进行逆透视变换得到三维坐标，其中选取的相机的目标数据为接地点对应的目标数据，由于相机的包围框接地的特性，可以确定目标的接地点坐标，在进行逆透视变换后得到的三维坐标为接地点对应的三维坐标。进而可以根据计算的三维坐标和毫米波雷达的接地点坐标进行比较，确定三维接地点坐标差得分。
最后基于二维接地点坐标差得分和/或三维接地点坐标差得分确定检测目标与跟踪目标之间的对应关系。
此外，还存在另一实施例，在车辆中仅设置有相机，则感知融合模块获取的数据仅为相机发送的目标数据，可以采用上述步骤S202的方法对两次获取的相机对应的数据进行融合。
此外，还存在又一实施例，在车辆中设置有相机和毫米波雷达，可以仅采用上述步骤S203的方法将相机对应的数据和毫米波雷达对应的数据进行融合。
本发明实施例通过获取相机和/或毫米波雷达发送的目标数据，当需要对相机对应的数据进行融合时，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；以及，当需要对相机对应的数据和毫米波雷达对应的数据进行融合时，可以基于接地点坐标进行数据变换，将毫米波雷达对应的三维坐标转化为二维坐标，或者，将相机对应的二维接地点坐标进行逆投影变换得到三维坐标，再进一步计算二维接地点坐标差得分或三维接地点坐标差得分，最终确定毫米波雷达中目标与相机中目标之间的对应关系，通过基于接地点坐标将雷达对应的三维数据与相机对应的二维数据建立联系，从而将不同时刻相机获取的目标数据进行融合，或相机获取目标数据和毫米波雷达获取的目标数据进行融合，使得融合的准确度提高。
下面对当相邻两次接收的目标数据均为相机对应的数据时的数据融合过程进行详细说明。
可选的，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，包括：
针对每一跟踪目标，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分。
其中，检测目标的个数为多个，跟踪目标的个数也为多个，针对每一检测目标，在计算与每一跟踪目标之间的多个关联特征时，需要与每一跟踪目标对应的数据进行计算。其中，当计算锚点坐标相似度时，可以根据检测目标的锚点坐标和跟踪目标的锚点坐标进行计算；在计算包围框交并比时，可以根据检测目标的包围框尺寸与跟踪目标的包围框尺寸进行计算；在计算包围框的形变距离时，可以根据检测目标的包围框尺寸和跟踪目标的包围框尺寸进行计算；在计算特征向量的相似性得分时，可以根据检测目标的特征向量和跟踪目标的特征向量进行计算。其中，检测目标的特征向量的维度与跟踪目标的特征向量的维度相同。在进行上述计算后，可以得到任一检测目标与任一跟踪目标之间的多个关联特征。
下面对每一关联特征的具体计算方法进行详细说明。
可选的，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分，包括：
针对每一跟踪目标，根据所述检测目标的锚点坐标和所述跟踪目标的锚点坐标确定所述检测目标在第一方向的移动距离和第二方向的移动距离，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度。
其中，在计算检测目标与跟踪目标之间的锚点坐标相似度时，锚点坐标包括第一方向的数值和第二方向的数值，将检测目标对应的第一方向的数值和跟踪目标对应的第一方向的数值作差，将检测目标对应的第二方向的数值和跟踪目标对应的第二方向的数值作差，得到检测目标相对于跟踪目标分别在第一方向和第二方向的移动距离，在计算出移动距离后，还可以根据移动距离确定锚点坐标相似度。
可选的，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度，包括：将所述第一方向的移动距离与检测目标的包围框长度相除得到第一相除结果，将所述第二方向的移动距离与检测目标的包围框宽度相除得到第二相除结果；根据标准正态分布概率密度函数对所述第一相除结果和第二相除结果分别进行归一化处理，得到两个归一化处理的结果；根据两个归一化处理的结果确定所述锚点坐标相似度。
其中，在确定第一方向的移动距离和第二方向的移动距离后，将第一方向认为是水平方向，可以将第一方向的移动距离与包围框长度相除，将第二方向的移动距离与包围框的宽度相除，此时使用的包围框的长度和宽度为对应的跟踪目标的包围框长度和宽度。通过将移动距离与包围框长度或宽度相除，可以减少计算结果受不同类型的检测目标的影响。进一步的，还可以将计算后的第一相除结果和第二相除结果进行归一化处理。具体的，可以将第一相除结果和第二相除结果分别代入标准正态分布概率密度函数，得到两个归一化处理的结果。为了减少后续的计算量，还可以将两个归一化处理后的结果进行融合，即根据两个归一化处理的结果确定所述锚点坐标相似度。
可选的，根据两个归一化处理的结果确定所述锚点坐标相似度，包括：
将两个归一化处理的结果相乘，得到第三相乘结果；将两个归一化处理的结果相加，得到第一相加结果；将所述第三相乘结果与第一预设系数相乘，得到第四相乘结果，将所述第四相乘结果与第二预设系数相加，得到第二相加结果，再将第二相加结果与第一相加结果相减，得到相减结果；将所述第三相乘结果与所述相减结果相除，将相除结果确定为锚点坐标相似度。
具体的，上述的第一预设系数可以设置为2，第二预设系数可以设置为1，将第一归一化处理的结果用p1表示，将第二归一化处理的结果用p2表示，则上述确定锚点坐标相似度P的过程可采用公式1来确定。
P＝(p1*p2)/(2*p1*p2+1-p1-p2) 公式1
通过将两个归一化处理后的结果进行融合，能够使得当两个归一化处理后的结果之和大于1时，融合后的结果大于0.5，反之则小于0.5；当两个归一化处理后的结果均接近于0时，则融合后的结果接近于0；当两个归一化处理后的结果均接近于1时，则融合后的结果接近于1。在减少计算的同时，使得融合后的结果更接近真实结果。
其中，计算的关联特征还包括包围框的交并比。
针对每一跟踪目标，计算所述检测目标的包围框与跟踪目标的包围框的相交部分面积和总面积，将所述相交部分面积与所述总面积相除，得到包围框的交并比。
其中，在计算包围框的交并比时，可以计算检测目标对应的包围框和跟踪目标对应的包围框的相交部分的面积，以及检测目标对应的包围框和跟踪目标对应的包围框的总面积，相交部分的面积与总面积相除，即可得到包围框的交并比。当计算的交并比越大时，则表示检测目标与跟踪目标为同一目标的可能性较大。
其中，计算的关联特征还包括包围框的形变距离。
针对每一跟踪目标，计算所述检测目标的包围框长度与所述跟踪目标的包围框长度差，以及所述检测目标的包围框长度与所述跟踪目标的包围框宽度差，将所述长度差与所述宽度差相乘得到第一相乘结果，将所述跟踪目标的包围框的长度和宽度相乘得到第二相乘结果，将所述第一相乘结果与所述第二相乘结果相除，得到包围框的形变距离。
其中，包围框的形变距离可以采用如下公式来计算。跟踪目标的包围框长度用h1表示，检测目标的包围框长度用h2表示，跟踪目标的包围框宽度用w1表示，检测目标的包围框宽度用w2表示，则形变距离s表示为：s＝(h1-h2)*(w1-w2)/h1*w1。
其中，计算的关联特征还包括特征向量的相似性得分。
针对每一跟踪目标，计算所述检测目标的特征向量与所述跟踪目标的特征向量的内积，将所述内积确定为特征向量的相似性得分。
其中，检测目标的特征向量用
表示，跟踪目标的特征向量用
表示，则特征向量的相似性得分可以表示为
与
的内积。当两个特征向量越相似时，则内积越趋近于1。
通过计算上述多个关联特征可以在进行目标融合时，能够基于更多的信息得到融合结果，可以提高目标融合的准确度。
可选的，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系，包括：
根据所述多个关联特征确定检测目标与跟踪目标之间的关联距离，根据所述关联距离确定关联矩阵；所述关联矩阵中包括M个检测目标和N个跟踪目标中任一检测目标和任一跟踪目标之间的关联距离；按照检测目标的索引确定检测目标的关联顺序；按照所述关联顺序，根据所述关联矩阵确定每一检测目标对应的跟踪目标。
其中，当检测目标的个数为M，跟踪目标的个数为N时，在确定任一检测目标与任一跟踪目标之间的关联特征后，可以根据多个关联特征确定任一检测目标与任一跟踪目标之间的关联距离。例如，可以采用加权求和的方式来计算，具体的可以为每一关联特征设置合适的权重值，使得当检测目标与跟踪目标为同一目标时，计算出的关联距离越小；当检测目标与跟踪目标不为同一目标时，计算出的关联距离越大。
在得到任一检测目标与任一跟踪目标之间的关联距离后，可以得到关联矩阵，关联矩阵为M*N的矩阵。在得到关联矩阵后，可以确定检测目标与跟踪目标之间的对应关系。其中，当关联距离越小表示检测目标与跟踪目标越相似，有较大的可能为同一目标。
在确定对应关系时，先获取检测目标的索引，将索引确定检测目标的关联顺序，表1为检测目标与跟踪目标的关联矩阵，如表1所示，当检测目标包含检测目标1、检测目标2和检测目标3时，按照检测目标1、检测目标2和检测目标3的顺序进行关联。例如，在确定检测目标1对应的跟踪目标时，可以根据检测目标1与每一跟踪目标的关联矩阵来确定。
表1检测目标与跟踪目标的关联矩阵
| 跟踪目标1 | 跟踪目标2 | 跟踪目标3 | |
| 检测目标1 | 0.10 | 0.99 | 0.67 |
| 检测目标2 | 0.90 | 0.3 | 0.55 |
| 检测目标3 | 0.13 | 0.99 | 0.15 |
可选的，根据所述关联矩阵确定每一检测目标对应的跟踪目标，包括：
确定所述关联矩阵中每一检测目标对应的多个关联距离，若数值最小的关联距离小于预设距离，则将数值最小的关联距离对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
其中，在确定检测目标对应的跟踪目标时，可以从多个关联距离中选出关联距离最小的数值，并判断数值最小的关联距离是否小于预设距离，当小于预设距离时，则将该数值最小的关联距离对应的跟踪目标确定为检测目标对应的跟踪目标。其中，预设距离可以根据实际情况进行设置。例如，将预设距离设置为0.2，当在判断检测目标1对应的跟踪目标时，可以选出其分别与跟踪目标1、跟踪目标2和跟踪目标3之间的关联距离的最小值，其中，最小值为0.10，小于预设距离，则确定跟踪目标1与检测目标1为同一目标。在确定完检测目标1后，可以继续依次确定与检测目标2检测目标3对应的跟踪目标。其中，在确定检测目标3对应的跟踪目标时，关联距离的最小值为0.13，但是该数值对应的是跟踪目标1，而跟踪目标1已经与检测目标1相匹配，因此，从其余关联距离中寻找最小的数值，最终确定跟踪目标3与检测目标3匹配。
通过设置预设距离，可以避免当检测目标为新进入视野的目标时，将其错误匹配为现有的跟踪目标的情况。
可选的，所述方法还包括：
若数值最小的关联距离大于等于预设距离，则将所述检测目标确定为未匹配的检测目标，并将所述检测目标匹配为新的跟踪目标。
其中，当数值最小的关联距离大于等于预设距离时，如检测目标2对应的数值最小的关联距离为0.3，大于预设距离0.2，则表示没有与该检测目标匹配的跟踪目标，该检测目标刚刚出现在车体周围，此时可以将该检测目标匹配为新的跟踪目标，如将其确定为跟踪目标4。
可选的，所述方法还包括：当确定每一检测目标对应的跟踪目标后，若存在未匹配的跟踪目标，则确定所述未匹配的跟踪目标的消失时间；当所述消失时间大于预设时间阈值，则确定所述跟踪目标消失。
图4为本发明实施例提供的一种车辆处于遮蔽状态和实际消失状态的示意图。其中，当确定与所有的检测目标对应的跟踪目标后，若还存在未匹配的跟踪目标，则该跟踪目标处于短暂遮蔽状态或处于实际消失状态。在判断时可以确定所述跟踪目标消失，并开始计时，从而确定未匹配的跟踪目标的消失时间。此处还可以设置预设时间阈值，当消失时间大于预设时间阈值时，则表示跟踪目标消失；当跟踪目标在预设时间阈值内再次出现时，可以进行再次匹配，此种情况表示跟踪目标暂时被遮蔽。
下面对当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据的融合过程进行详细说明。
可选的，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分，包括：
针对每一毫米波雷达对应的接地点坐标数据，将所述接地点坐标数据投影至世界坐标系下，再根据相机内参矩阵和相机外参矩阵将世界坐标系下的坐标投影至相机的像素坐标系下，得到投影后的二维坐标；根据相机对应的目标数据的包围框尺寸和锚点坐标确定接地点坐标，根据投影后的二维坐标和所述接地点坐标确定接点地x坐标差和接地点y坐标差；将所述接点地x坐标差与相机的包围框长度相除，将所述接地点y坐标差与相机的包围框宽度相除；根据两个相除结果确定二维接地点坐标差得分。
其中，在将毫米波雷达的接地点坐标数据进行透视变换时，可以先将接地点坐标与雷达外参相乘，实现将接地点坐标数据投影至世界坐标系(车体坐标系)下，再将投影后的坐标数据与相机内参和相机外参相乘，实现将接地点坐标数据投影到相机的像素坐标系下，得到投影后的二维坐标。
对于相机对应的目标数据来说，可以根据包围框的长度和宽度以及锚点坐标确定接地点坐标，即接地点坐标(x，y)。即接地点坐标的x值等于锚点坐标的x值，接地坐标的y值等于锚点坐标的y值减去0.5与包围框宽度的乘积。在确定相机的接地点坐标后，将投影后的二维坐标与相机的接地点坐标对应相减，得到接点地x坐标差和接地点y坐标差。最后，为了避免接地点坐标差受不同包围框的影响，可以进行归一化处理，即将所述接点地x坐标差与相机的包围框长度相除，将所述接地点y坐标差与相机的包围框宽度相除。在得到两个相除结果后，可以基于上述实施例给出的公式1得到二维接地点坐标差得分。
上述实施例利用相机包围框底边接地的特性，在确定接地点后，将雷达数据中接地点与相机对应接地点进行关联。
可选的，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，包括：
针对每一相机对应的目标数据，根据目标数据的包围框尺寸和锚点坐标确定接地点坐标，将所述接地点坐标进行逆透视变换以投影到地面，得到逆透视变换后的三维坐标；根据逆透视变换后的三维坐标与毫米波雷达对应的三维坐标确定接地点x坐标差、接地点y坐标差和接地点z坐标差；将接地点x坐标差、接地点y坐标差和接地点z坐标差分别与毫米波雷达对应的三维坐标相除，根据三个相除结果确定三维接地点坐标差得分。
其中，相机坐标系坐标用(Xc，Yc，Zc)来表示，世界坐标系的坐标用(Xw，Yw，Zw)来表示，d11至d44为相机外参矩阵对应的系数。
其中，将相机坐标系下的坐标转换为世界坐标系下的坐标时，可以采用下述公式来实现：
当将相机的接地点转换为世界坐标系下时，该接地点的高度为0，即Zw＝0，则可以基于下述公式计算出Zc。
相应的，可以进一步计算出Xw和Yw，具体计算公式如下：
根据上述公式可以计算出相机的接地点对应的逆透视变换后的三维坐标(Xw，Yw，0)，再将毫米波雷达对应的三维坐标转换为世界坐标系下三维坐标，将逆透视变换后的三维坐标与毫米波雷达对应的世界坐标系下的三维坐标对应作差，得到接地点x坐标差、接地点y坐标差和接地点z坐标差，最后将三个坐标差分别与毫米波雷达对应的三维坐标相除。实际上虽然称为三维坐标差，由于选取的点为接地点，因此，三维坐标差的第三维度为0。在得到三个相除结果后，可以采用公式1得到三维接地点坐标差得分。
上述实施例同样利用相机包围框底边接地的特性，将相机的接地点进行逆透视变换，从而与毫米波雷达的三维数据进行关联。
可选的，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系，包括：
将所述二维接地点坐标差得分与所述三维接地点坐标差得分进行加权求和，得到加权求和后的接地点坐标差得分；将当前接收到的目标数据对应的目标确定为检测目标，将上一次获取的目标数据对应的目标确定为跟踪目标，针对每一检测目标，将接地点坐标差得分最小的数值对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
其中，在确定二维接地点坐标差得分和三维接地点坐标差得分后，可以通过加权求和的方式确定接地点坐标差得分。最终根据接地点坐标差得分确定与检测目标对应的跟踪目标。具体的计算过程与上述基于关联距离进行关联匹配的方式相同，此处不再赘述。
在将相邻两次接收的目标数据进行融合后，可以进行后续的跟踪目标的状态估计，确定前导车以及对车辆进行决策规划。
可选的，所述方法还包括：基于卡尔曼滤波的方法对匹配后的跟踪目标进行状态估计，确定位于自车前方的跟踪目标的位置信息；获取当前道路中多个车道线的定位数据，根据所述定位数据确定自车左侧的车道线位置和自车右侧的车道线位置；针对每一前方的跟踪目标，根据所述跟踪目标的位置信息、自车左侧的车道线位置和自车右侧的车道线位置确定所述跟踪目标是否为前导车。
其中，在确定跟踪目标后，可以对每一跟踪目标进行状态估计，其中在进行状态估计时，可以采用卡尔曼滤波的方法来实现。在进行卡尔曼滤波后可以得到每一跟踪目标的位置信息、行驶速度信息。在多个跟踪目标中筛选出位于自车前方的多个跟踪目标，该跟踪目标与自车之间不存在其他车辆。进一步的，还可以判断位于自车前方的多个跟踪目标是否为前导车。具体的，可以先确定自车所处车道的车道线，可以基于车道线检测算法来实现，从而确定自车左侧的车道线位置和自车右侧的车道线位置，最后根据自车前方的多个跟踪目标的位置信息确定是否为前导车。即当根据自车前方的某一跟踪目标的位置信息确定跟踪目标处于自车左侧的车道线位置和自车右侧的车道线位置之间时，则确定所述跟踪目标为前导车。图5为本发明实施例提供的一种确定前导车的示意图。第三时刻的车辆B为车辆A的前导车。
可选的，所述方法还包括：在确定所述前导车后，获取所述前导车的行驶速度；控制所述车辆以所述前导车的行驶速度进行行驶。
其中，在确定前导车后，可以基于前导车的行驶信息来对自车的行驶进行控制。通常在自动驾驶中，对车辆行驶状态影响较大的通常为前导车，当前导车在减速行驶时，则自车若继续在该车道上行驶，则需要进行减速；或者，还可以根据周围其他车辆的行驶情况将自车进行变道。例如，当自车采用自适应巡航方法时，当前导车行驶速度降低时，可以将降低自车的行驶速度，以与前导车保持一定的间距。当前导车行驶速度提高时，可以将降低自车的行驶速度调整为预先设置的行驶速度。此外，还可以将自车的行驶速度设置为与前导车的行驶速度相同。
图6为本发明实施例提供的一种数据处理装置的结构示意图，如图6所示，所述数据处理装置60包括：
接收模块601，用于接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据；
第一确定模块602，用于当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分；和/或，
第二确定模块603，用于当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
可选的，所述第一确定模块602具体用于针对每一跟踪目标，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分。
可选的，所述第一确定模块602具体用于：针对每一跟踪目标，根据所述检测目标的锚点坐标和所述跟踪目标的锚点坐标确定所述检测目标在第一方向的移动距离和第二方向的移动距离，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度；
和/或，针对每一跟踪目标，计算所述检测目标的包围框与跟踪目标的包围框的相交部分面积和总面积，将所述相交部分面积与所述总面积相除，得到包围框的交并比；
和/或，针对每一跟踪目标，计算所述检测目标的包围框长度与所述跟踪目标的包围框长度差，以及所述检测目标的包围框长度与所述跟踪目标的包围框宽度差，将所述长度差与所述宽度差相乘得到第一相乘结果，将所述跟踪目标的包围框的长度和宽度相乘得到第二相乘结果，将所述第一相乘结果与所述第二相乘结果相除，得到包围框的形变距离；
和/或，针对每一跟踪目标，计算所述检测目标的特征向量与所述跟踪目标的特征向量的内积，将所述内积确定为特征向量的相似性得分。
可选的，所述第一确定模块602具体用于：将所述第一方向的移动距离与检测目标的包围框长度相除得到第一相除结果，将所述第二方向的移动距离与检测目标的包围框宽度相除得到第二相除结果；
根据标准正态分布概率密度函数对所述第一相除结果和第二相除结果分别进行归一化处理，得到两个归一化处理的结果；
根据两个归一化处理的结果确定所述锚点坐标相似度。
可选的，所述第一确定模块602具体用于：将两个归一化处理的结果相乘，得到第三相乘结果；将两个归一化处理的结果相加，得到第一相加结果；
将所述第三相乘结果与第一预设系数相乘，得到第四相乘结果，将所述第四相乘结果与第二预设系数相加，得到第二相加结果，再将第二相加结果与第一相加结果相减，得到相减结果；
将所述第三相乘结果与所述相减结果相除，将相除结果确定为锚点坐标相似度。
可选的，第一确定模块602具体用于：根据所述多个关联特征确定检测目标与跟踪目标之间的关联距离，根据所述关联距离确定关联矩阵；所述关联矩阵中包括M个检测目标和N个跟踪目标中任一检测目标和任一跟踪目标之间的关联距离；
按照检测目标的索引确定检测目标的关联顺序；
按照所述关联顺序，根据所述关联矩阵确定每一检测目标对应的跟踪目标。
可选的，第一确定模块602具体用于：确定所述关联矩阵中每一检测目标对应的多个关联距离，若数值最小的关联距离小于预设距离，则将数值最小的关联距离对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
可选的，第一确定模块602还用于：若数值最小的关联距离大于等于预设距离，则将所述检测目标确定为未匹配的检测目标，并将所述检测目标匹配为新的跟踪目标。
可选的，第一确定模块602还用于：当确定每一检测目标对应的跟踪目标后，若存在未匹配的跟踪目标，则确定所述未匹配的跟踪目标的消失时间；
当所述消失时间大于预设时间阈值，则确定所述跟踪目标消失。
可选的，第二确定模块603具体用于：针对每一毫米波雷达对应的接地点坐标数据，将所述接地点坐标数据投影至世界坐标系下，再根据相机内参矩阵和相机外参矩阵将世界坐标系下的坐标投影至相机的像素坐标系下，得到投影后的二维坐标；
根据相机对应的目标数据的包围框尺寸和锚点坐标确定接地点坐标，根据投影后的二维坐标和所述接地点坐标确定接点地x坐标差和接地点y坐标差；
将所述接点地x坐标差与相机的包围框长度相除，将所述接地点y坐标差与相机的包围框宽度相除；根据两个相除结果确定二维接地点坐标差得分。
可选的，第二确定模块603具体用于：针对每一相机对应的目标数据，根据目标数据的包围框尺寸和锚点坐标确定接地点坐标，将所述接地点坐标进行逆透视变换以投影到地面，得到逆透视变换后的三维坐标；
根据逆透视变换后的三维坐标与毫米波雷达对应的三维坐标确定接地点x坐标差、接地点y坐标差和接地点z坐标差；
将接地点x坐标差、接地点y坐标差和接地点z坐标差分别与毫米波雷达对应的三维坐标相除，根据三个相除结果确定三维接地点坐标差得分。
可选的，第二确定模块603具体用于：
将所述二维接地点坐标差得分与所述三维接地点坐标差得分进行加权求和，得到加权求和后的接地点坐标差得分；
将当前接收到的目标数据对应的目标确定为检测目标，将上一次获取的目标数据对应的目标确定为跟踪目标，针对每一检测目标，将接地点坐标差得分最小的数值对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
可选的，所述装置还包括：前导车确定模块，具体用于：
基于卡尔曼滤波的方法对匹配后的跟踪目标进行状态估计，确定位于自车前方的跟踪目标的位置信息；获取当前道路中多个车道线的定位数据，根据所述定位数据确定自车左侧的车道线位置和自车右侧的车道线位置；针对每一前方的跟踪目标，根据所述跟踪目标的位置信息、自车左侧的车道线位置和自车右侧的车道线位置确定所述跟踪目标是否为前导车。
可选的，所述装置还包括：控制模块，具体用于：
在确定所述前导车后，获取所述前导车的行驶速度；控制所述车辆以所述前导车的行驶速度进行行驶。
本发明实施例提供的数据处理装置，可以实现上述如图2至图5所示的实施例的数据处理方法，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的一种数据处理设备的硬件结构示意图。如图7所示，本实施例提供的电子设备包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述方法实施例中的数据处理方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的数据处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (17)
1.一种数据处理方法，其特征在于，包括：
接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据；
当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分；和/或，
当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
2.根据权利要求1所述的方法，其特征在于，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，包括：
针对每一跟踪目标，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分。
3.根据权利要求2所述的方法，其特征在于，根据所述检测目标的下述至少一项目标数据：锚点坐标、包围框尺寸、特征向量，以及所述跟踪目标的相应的目标数据，确定所述检测目标与所述跟踪目标之间的下述至少一项关联特征：锚点坐标相似度和/或包围框的交并比和/或包围框的形变距离和/或特征向量的相似性得分，包括：
针对每一跟踪目标，根据所述检测目标的锚点坐标和所述跟踪目标的锚点坐标确定所述检测目标在第一方向的移动距离和第二方向的移动距离，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度；
和/或，针对每一跟踪目标，计算所述检测目标的包围框与跟踪目标的包围框的相交部分面积和总面积，将所述相交部分面积与所述总面积相除，得到包围框的交并比；
和/或，针对每一跟踪目标，计算所述检测目标的包围框长度与所述跟踪目标的包围框长度差，以及所述检测目标的包围框长度与所述跟踪目标的包围框宽度差，将所述长度差与所述宽度差相乘得到第一相乘结果，将所述跟踪目标的包围框的长度和宽度相乘得到第二相乘结果，将所述第一相乘结果与所述第二相乘结果相除，得到包围框的形变距离；
和/或，针对每一跟踪目标，计算所述检测目标的特征向量与所述跟踪目标的特征向量的内积，将所述内积确定为特征向量的相似性得分。
4.根据权利要求3所述的方法，其特征在于，根据所述第一方向的移动距离和第二方向的移动距离确定所述锚点坐标相似度，包括：
将所述第一方向的移动距离与检测目标的包围框长度相除得到第一相除结果，将所述第二方向的移动距离与检测目标的包围框宽度相除得到第二相除结果；
根据标准正态分布概率密度函数对所述第一相除结果和第二相除结果分别进行归一化处理，得到两个归一化处理的结果；
根据两个归一化处理的结果确定所述锚点坐标相似度。
5.根据权利要求4所述的方法，其特征在于，根据两个归一化处理的结果确定所述锚点坐标相似度，包括：
将两个归一化处理的结果相乘，得到第三相乘结果；将两个归一化处理的结果相加，得到第一相加结果；
将所述第三相乘结果与第一预设系数相乘，得到第四相乘结果，将所述第四相乘结果与第二预设系数相加，得到第二相加结果，再将第二相加结果与第一相加结果相减，得到相减结果；
将所述第三相乘结果与所述相减结果相除，将相除结果确定为锚点坐标相似度。
6.根据权利要求1所述的方法，其特征在于，根据所述多个关联特征确定多个检测目标与所述多个跟踪目标之间的对应关系，包括：
根据所述多个关联特征确定检测目标与跟踪目标之间的关联距离，根据所述关联距离确定关联矩阵；所述关联矩阵中包括M个检测目标和N个跟踪目标中任一检测目标和任一跟踪目标之间的关联距离；
按照检测目标的索引确定检测目标的关联顺序；
按照所述关联顺序，根据所述关联矩阵确定每一检测目标对应的跟踪目标。
7.根据权利要求6所述的方法，其特征在于，根据所述关联矩阵确定每一检测目标对应的跟踪目标，包括：
确定所述关联矩阵中每一检测目标对应的多个关联距离，若数值最小的关联距离小于预设距离，则将数值最小的关联距离对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若数值最小的关联距离大于等于预设距离，则将所述检测目标确定为未匹配的检测目标，并将所述检测目标匹配为新的跟踪目标。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当确定每一检测目标对应的跟踪目标后，若存在未匹配的跟踪目标，则确定所述未匹配的跟踪目标的消失时间；
当所述消失时间大于预设时间阈值，则确定所述跟踪目标消失。
10.根据权利要求1所述的方法，其特征在于，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分，包括：
针对每一毫米波雷达对应的接地点坐标数据，将所述接地点坐标数据投影至世界坐标系下，再根据相机内参矩阵和相机外参矩阵将世界坐标系下的坐标投影至相机的像素坐标系下，得到投影后的二维坐标；
根据相机对应的目标数据的包围框尺寸和锚点坐标确定接地点坐标，根据投影后的二维坐标和所述接地点坐标确定接点地x坐标差和接地点y坐标差；
将所述接点地x坐标差与相机的包围框长度相除，将所述接地点y坐标差与相机的包围框宽度相除；根据两个相除结果确定二维接地点坐标差得分。
11.根据权利要求1所述的方法，其特征在于，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，包括：
针对每一相机对应的目标数据，根据目标数据的包围框尺寸和锚点坐标确定接地点坐标，将所述接地点坐标进行逆透视变换以投影到地面，得到逆透视变换后的三维坐标；
根据逆透视变换后的三维坐标与毫米波雷达对应的三维坐标确定接地点x坐标差、接地点y坐标差和接地点z坐标差；
将接地点x坐标差、接地点y坐标差和接地点z坐标差分别与毫米波雷达对应的三维坐标相除，根据三个相除结果确定三维接地点坐标差得分。
12.根据权利要求1所述的方法，其特征在于，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系，包括：
将所述二维接地点坐标差得分与所述三维接地点坐标差得分进行加权求和，得到加权求和后的接地点坐标差得分；
将当前接收到的目标数据对应的目标确定为检测目标，将上一次获取的目标数据对应的目标确定为跟踪目标，针对每一检测目标，将接地点坐标差得分最小的数值对应的跟踪目标匹配为所述检测目标对应的跟踪目标。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述方法还包括：
基于卡尔曼滤波的方法对匹配后的跟踪目标进行状态估计，确定位于自车前方的跟踪目标的位置信息；
获取当前道路中多个车道线的定位数据，根据所述定位数据确定自车左侧的车道线位置和自车右侧的车道线位置；
针对每一前方的跟踪目标，根据所述跟踪目标的位置信息、自车左侧的车道线位置和自车右侧的车道线位置确定所述跟踪目标是否为前导车。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
在确定所述前导车后，获取所述前导车的行驶速度；
控制车辆以所述前导车的行驶速度行驶。
15.一种数据处理装置，其特征在于，包括：
接收模块，用于接收相机和/或毫米波雷达发送的目标数据；所述相机对应的目标数据包括锚点坐标、包围框尺寸和特征向量；所述毫米波雷达对应的目标数据包括接地点坐标数据；
第一确定模块，用于当相邻两次接收的目标数据均为相机对应的数据时，针对当前获取的目标数据对应的每一检测目标，计算所述检测目标和上一次获取的目标数据对应每一跟踪目标之间的多个关联特征，根据所述多个关联特征确定多个检测目标与多个跟踪目标之间的对应关系；所述多个关联特征包括下述至少一项：锚点坐标相似度、包围框的交并比、包围框的形变距离以及特征向量的相似性得分；和/或，
第二确定模块，用于当相邻两次接收的目标数据为相机对应的数据和毫米波雷达对应的数据时，针对每一目标，将毫米波雷达的接地点坐标数据进行透视变换得到二维坐标，根据所述二维坐标确定二维接地点坐标差得分；或者，将相机的接地点的目标数据进行逆透视变换得到三维坐标，根据所述三维坐标确定三维接地点坐标差得分，根据所述二维接地点坐标差得分和/或三维接地点坐标差得分确定毫米波雷达中目标与相机中目标之间的对应关系。
16.一种数据处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至14任一项所述的数据处理方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至14任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111461079.4A CN114266859B (zh) | 2021-12-02 | 2021-12-02 | 数据处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111461079.4A CN114266859B (zh) | 2021-12-02 | 2021-12-02 | 数据处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114266859A CN114266859A (zh) | 2022-04-01 |
| CN114266859B true CN114266859B (zh) | 2022-09-06 |
Family
ID=80826105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111461079.4A Active CN114266859B (zh) | 2021-12-02 | 2021-12-02 | 数据处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266859B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN111797741A (zh) * | 2020-06-24 | 2020-10-20 | 中国第一汽车股份有限公司 | 车辆检测方法、装置、车辆和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706978B2 (en) * | 2005-09-02 | 2010-04-27 | Delphi Technologies, Inc. | Method for estimating unknown parameters for a vehicle object detection system |
| JP6885721B2 (ja) * | 2016-12-27 | 2021-06-16 | 株式会社デンソー | 物体検出装置、物体検出方法 |
| CN109087359B (zh) * | 2018-08-30 | 2020-12-08 | 杭州易现先进科技有限公司 | 位姿确定方法、位姿确定装置、介质和计算设备 |
| US11630197B2 (en) * | 2019-01-04 | 2023-04-18 | Qualcomm Incorporated | Determining a motion state of a target object |
| CN111862157B (zh) * | 2020-07-20 | 2023-10-10 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
| CN112363167A (zh) * | 2020-11-02 | 2021-02-12 | 重庆邮电大学 | 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 |
| CN112560972B (zh) * | 2020-12-21 | 2021-10-08 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| CN112733778B (zh) * | 2021-01-18 | 2021-08-10 | 国汽智控(北京)科技有限公司 | 一种车辆前导车确定方法、装置及计算机设备 |
| CN112419385B (zh) * | 2021-01-25 | 2021-04-09 | 国汽智控(北京)科技有限公司 | 一种3d深度信息估计方法、装置及计算机设备 |
-
2021
- 2021-12-02 CN CN202111461079.4A patent/CN114266859B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN111797741A (zh) * | 2020-06-24 | 2020-10-20 | 中国第一汽车股份有限公司 | 车辆检测方法、装置、车辆和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114266859A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Simon et al. | Complexer-yolo: Real-time 3d object detection and tracking on semantic point clouds | |
| CN111712731B (zh) | 目标检测方法、系统及可移动平台 | |
| US10366310B2 (en) | Enhanced camera object detection for automated vehicles | |
| JP5539680B2 (ja) | 線形特徴を用いた対象追跡 | |
| WO2021072696A1 (zh) | 目标检测与跟踪方法、系统、可移动平台、相机及介质 | |
| US8379928B2 (en) | Obstacle detection procedure for motor vehicle | |
| US8406472B2 (en) | Method and system for processing image data | |
| CN110927742A (zh) | 障碍物跟踪方法、装置、设备及存储介质 | |
| JP2016081525A (ja) | 車両用画像認識システム、及び対応法 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| EP1721287A1 (en) | Method and apparatus for detecting a presence | |
| CN107103275A (zh) | 使用雷达和视觉基于车轮进行的车辆检测和追踪 | |
| CN112528781B (zh) | 一种障碍物检测方法、装置、设备和计算机可读存储介质 | |
| CN114663526A (zh) | 障碍物检测方法、装置、机器人及计算机可读存储介质 | |
| CN112683228A (zh) | 单目相机测距方法及装置 | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| Karthika et al. | Distance estimation of preceding vehicle based on Mono Vision Camera and Artificial Neural Networks | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| Sakic et al. | Camera-LIDAR object detection and distance estimation with application in collision avoidance system | |
| Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation | |
| CN114972427A (zh) | 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 | |
| CN114266859B (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN113536867B (zh) | 物体识别的方法、装置及系统 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |