CN115685102A - 一种基于目标跟踪的雷视自动标定方法 - Google Patents

Abstract

本发明公开了一种基于目标跟踪的雷视自动标定方法，包括：采集雷达目标检测点状态信息；采集视频图像，进行目标检测，获取检测目标状态信息；进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；依据当前帧雷视动态跟踪目标数目、均值映射率和目标点对数，判断是否结束标定过程。本发明方法依据目标跟踪，去掉静态目标和虚假目标的干扰，利用相对位置选点实现了自动坐标点关联，并依据透视变换矩阵的不断回代来确定选点的准确性，改善了手动标定选点的耗时长、效率低、标定点对数目少等缺点，也避免了过于复杂的图像处理带来的误差，实现了快速、高效的自动标定。

Description

一种基于目标跟踪的雷视自动标定方法

技术领域

本发明属于智能交通检测领域，特别是多视角区域校正领域，尤其涉及一种基于目标跟踪的雷视自动标定方法。

背景技术

近年来，随着“智慧城市”的发展，传统的交通监控手段，例如地感线圈、地磁、断面微波等已经不能满足交通管理者的需求，现有交通需要实时大区域检测、及时报警、全天候工作以及高精度检测。视频交通检测传感器是面检测，但是受到天气影响较大，无法实现全天候检测。毫米波雷达检测器检测精度很高，但是不便检测静态目标，雷视一体检测器可以实现优势互补，实现全天候、全方位的精确检测。而雷达和视频两种传感器优势互补的前提是精准融合，因此两个坐标系需要密切关联。

现有的关联方式基本为：人工肉眼手动选取目标点，然后进行透视变换矩阵的计算，此方法存在以下弊端：少量目标进行选点较为准确，涉及多个目标时，由于检测视角的不同，并且雷达对静止目标检测不准，造成二者目标点数无法匹配，无法准确的进行点对对应；人工点击选点时，容易出现点对的偏移，造成坐标平面的求解出现误差；透视变换矩阵的求解凭借多组点对拟合求得，并且点对要求不共线，人工无法做到全面覆盖，使得标定效果不理想，造成重复标定，浪费时间且结果不准确。除此之外，还有的方法采用神经网络进行模型训练，然后实现自动标定，这种方法在场景切换后就需要重新训练模型，并且模型训练需要很大的数据量支撑，不满足实时行，也无法做到精准关联。

为此，提出一种高效的自动标定方法是十分有必要的，此过程的核心在于，如何应对选取目标点时出现的虚假点检测、不同传感器器针对性的目标检测、目标遮挡、目标拆分等情况。

发明内容

本发明的目的在于针对上述雷视标定缺陷，提供一种基于目标跟踪的雷视自动标定方法，采用基于深度学习的检测方法进行视频目标检测，对雷达目标和视频目标分别进行跟踪处理，并依据状态进行目标筛选，进而进行变换矩阵的求解，并不断的进行矩阵回代，实现矩阵迭代优化。该发明从目标状态出发，不局限于当前帧的目标数据，利用跟踪信息避免了虚假点的干扰，利用速度阈值剔除静态目标的影响，利用迭代映射率防止了选点错误，总之该方法为雷视目标精准融合提供了一种可靠性思路。

实现本发明目的的技术解决方案为：一种基于目标跟踪的雷视自动标定方法，所述方法包括以下步骤：

步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；

步骤2，采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

步骤3，进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

步骤4，进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

步骤5，判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回步骤1，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回步骤1。

进一步地，步骤1中所述雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据，包括位置、速度，状态，表示目标点至雷达感测器实际的相对位置。

进一步地，步骤2中目标的检测框架为darknet，目标检测模型为利用coco训练集训练后的yolov3模型，并在推理过程中使用TensorRT加速推理框架加速推理。

进一步地，步骤3中所述视频目标跟踪具体包括：

步骤3-1，建立一个视频目标跟踪器；

步骤3-2，利用步骤2得到的检测目标状态信息进行不同时刻目标的前后关联，关联方法为：

步骤3-2-1，计算视频目标跟踪器中目标与当前帧目标检测框的交并比：

其中，A_i为视频目标跟踪器中第i个目标的检测框，B_j为当前帧第j个目标的检测框，i的取值为1到m，m为视频目标跟踪器中目标总数，j的取值为1到n，n为当前帧检测的目标总数；

步骤3-2-2，通过匈牙利匹配方法和步骤3-2-1计算得到的交并比计算最佳目标匹配者，具体为：将1-I_OU(i，j)作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；

步骤3-2-3，关联前后帧视频目标，即关联视频目标跟踪器中的目标与最佳目标匹配者。

进一步地，步骤3中通过跟踪状态筛选出动态跟踪目标，具体包括：设定交并比阈值th0，当交并比大于th0时，表示检测目标近乎静止状态，雷达目标无法检测出，剔除此类目标；当交并比在0-th0之间时，表示检测目标为动态，将其加入视频目标跟踪器中，更新视频跟踪目标信息，包括运动状态、匹配帧数、位置、尺寸和类型。

进一步地，步骤4中进行雷达目标跟踪具体包括：

步骤4-1，建立雷达目标跟踪器；

步骤4-2，利用步骤1得到的目标检测点状态信息进行不同时刻目标的前后关联，方法如下：

步骤4-2-1，计算雷达目标跟踪器中目标与当前帧目标的欧式距离：

其中，(A_i'x，A_i'y)为雷达目标跟踪器中第i个目标的坐标，(B'_jx，B'_jy)为当前帧第j个目标的坐标；

步骤4-2-2，通过匈牙利匹配方法和步骤4-2-1计算得到的欧式距离计算最佳目标匹配者，具体为：将Dis_i,j作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；

步骤4-2-3，关联前后帧雷达目标，即关联雷达目标跟踪器中的目标与最佳目标匹配者。

进一步地，步骤4中通过速度阈值筛选雷达动态跟踪目标，具体为：设置速度阈值和匹配帧数阈值，当目标速度大于速度阈值时，表示检测目标为动态目标，否则为静态目标，将静态目标剔除；之后根据匹配帧数，剔除假点目标，具体地：当匹配帧数小于匹配帧数阈值，表明为假点目标。

进一步地，步骤5中关联对应位置目标具体为：在雷视两坐标系当前帧筛选目标数相等的情况下，依据相对位置，先对目标进行纵向排序，然后再进行横向排序，由此求解出相对位置排序，之后将相应位置上的点对进行关联，并加入坐标点对队列，基于所有的点对数据计算透视变化矩阵。

进一步地，步骤5中均值映射率的计算具体包括：

基于透视变化矩阵将当前帧中满足要求的雷达点映射到视频坐标系；

计算均值映射率：

式中，(C_ix-D_ix)²+(C_iy-D_iy)²表示雷达映射点到对应检测框中心距离与检测框左上角到检测框下边缘中心距离的比值。

一种基于目标跟踪的雷视自动标定系统，所述系统包括顺次执行的：

第一模块，用于采集雷达目标检测点状态信息，包括位置、速度和状态；

第二模块，用于采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

第三模块，用于进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

第四模块，用于进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

第五模块，用于判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回执行第一模块，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回执行第一模块。

本发明与现有技术相比，其显著优点为：

(1)本发明通过设置迭代求解的约束、目标点坐标的精确计算、严格的点对位置排序，避免了人工肉眼手工标定带来的选点覆盖不全面、目标点坐标漂移、人主观意识因素带来的点对不匹配等问题。

(2)本发明未经过复杂的预处理，如检测区域的筛选、卷积模型的训练等，依据目标的跟踪结果进行点对序列的更新，从而进行变换矩阵的计算，节省了标定时间。

(3)本发明设置了多种阈值约束，包括速度约束，避免了静态目标的影响；匹配帧约束，消除了虚假检测点对影响；均值映射率的约束，防止了错去选点，造成整体矩阵迭代计算的崩溃。相比于现有技术，该方法可塑性强，依据两种传感器检测目标的跟踪，实现检测多平面的自动标定，为雷视融合的目标关联提供了新方法。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中基于目标跟踪的雷视自动标定方法的流程示意图。

图2为一个实施例中基于目标跟踪的雷视自动标定方法的雷达目标跟踪效果示意图。

图3为一个实施例中基于目标跟踪的雷视自动标定方法的视频目标检测示意图。

图4为一个实施例中基于目标跟踪的雷视自动标定方法的视频目标跟踪流程示意图。

图5为一个实施例中基于目标跟踪的雷视自动标定方法的雷视关联效果示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在一个实施例中，结合图1，提供了一种基于目标跟踪的雷视自动标定方法，包括以下步骤：

步骤1，采集雷达目标检测点状态信息，包括位置、速度、状态；

步骤2，采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

步骤3，进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

步骤4，进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

步骤5，在当前帧雷视目标数目不一致时，返回步骤1，否则，关联对应位置目标，并计算透视变换矩阵，将矩阵进行数据回带，当均值映射率不满足阈值时，剔除当前帧加入的目标点对，在达到目标点对数达到阈值时，结束标定过程；

在本发明的实施例中，雷达目标检测点状态信息是雷达点云聚类分析后的得到的结构化数据；视频帧进行目标检测识别所用卷积模型为Darknet，结合Yolov3方法，所识别的目标包括：car,bus,person,bike,truck，并且在目标检测中使用TensorRT加速推理；通过间隔两帧目标的交并比实现视频目标跟踪和剔除静态目标，通过匹配帧数滤掉假点检测框；雷达目标借助于间隔帧目标与目标之间的欧式距离，实现相关跟踪，通过速度阈值剔除静态目标，通过匹配帧数实现假点滤除；雷达和视频当前帧目标数目一致的条件下，进行相关位置排序和点对组合，将当前帧点对组合加入到点对序列，计算两平面之间的变换矩阵；利用变换矩阵将雷达目标回代到视频坐标系，计算映射目标和检测目标之间的相对位置差得到均值映射率，由此判断当前帧点对序列选取的正确与否；设置点对序列数目阈值作为结束迭代的标志。

本发明针对智能交通中全方位、实时、准确、高效的综合运输管理体系要求，提升交通运输的安全水平和减轻交通堵塞，尤其针对雷视一体化设备融合过程中的准确标定，提出了一种基于目标跟踪的雷视自动标定方法，该方法针对视频和雷达两个不同的坐标系，通过分别跟踪不通坐标系的动态目标，实现相对目标点对选取，从而变换矩阵的计算，精准关联两个坐标系。

雷达目标跟踪

进行雷达目标跟踪首先建立目标跟踪器，跟踪器中存放的目标信息包括：位置、速度、运动状态、匹配帧数、选取状态，计算跟踪器中选取状态为真的目标与当前帧中速度满足阈值的目标之间的欧式距离，计算公式如下：

A为跟踪器中满足要求的目标，B为当前帧中满足速度要求的目标，Dis_i,j为二者的欧式距离。

通过匈牙利匹配算法和所求欧氏距离进行跟踪器中与当前帧中目标的关联匹配，并更新跟踪器中匹配成功各种状态信息，具体为：依据当前帧中匹配目标的位置、状态，速度信息更改跟踪器中跟踪器中相应参数的信息，通过匹配帧数更改选取状态。本实施例中的速度阈值为1m/s，匈牙利匹配过程中的距离阈值为3，匹配帧数阈值为5。图2显示了雷达的跟踪效果。

视频目标跟踪

视频目标跟踪首先需要进行目标检测，目标检测的过程包括：数据集采集、数据标注、模型训练、模型验证，本实施例中的数据集为coco数据集，模型为Darknet，采用YoloV3方法进行训练，其中训练集与验证集之间的样本比例为7:3，batchsize设置为64，learning_rate设置为0.001，并通过设置旋转角度、调整饱和度、曝光量及色调生成更多训练样本，学习率调整策略选择steps，当训练达到一定次数时改变学习率的衰减。将训练好的模型文件传入TensorRT深度学习框架进行解析，生成ONNX通用模型再转化为TRT模型，进行加速推理及部署，图3为目标识别结果。

建立视频目标跟踪器，存放的目标信息包括：位置、尺寸、类别、概率、匹配帧数、选取状态、运动状态，通过跟踪器中目标与当前帧目标之间的交并比计算进行二者的关联，交并比的计算公式如下：

跟踪器中目标总数假定为m,当前帧检测目标数假定为n，计算每一个跟踪器目标与当前帧目标的检测框的交并比I_OU，i的取值为1到m，j的取值为1到n；

通过匈牙利匹配方法和前后帧目标之间的交并比计算最佳目标匹配者，具体地，将1-I_ou作为匈牙利匹配过程中的输入参数。在关联目标之后进行相应参数的修改，运动状态根据交并比阈值判断静止与否，本实施例中的交并比阈值设置为0.8，大于阈值代表静止状态，本实施例将超过阈值的目标剔除，通过匹配帧数阈值与运动状态修改选取状态，图4显示视频目标跟踪效果。

雷视目标关联

首先，目标关联需要进行点对选取，当满足选取状态的视频目标与雷达目标数目一致时，进行点对匹配选取。匹配方式依据相对位置，对目标进行位置排序，排序方式为先纵向排序，在纵向排序的基础上进行横向排序，即从左上到右下的方式，然后进行对应序号的点对选取。

其中，视频目标选取点为检测框的下边缘中心点，即下公式所示：

式中，x_img和y_img为视频检测点坐标，x_o和y_o为视频检测框左上角点，w和h分别为检测框的宽和高,以地面作为基准进行选点。

将选取的点对数加入到点对序列中，将所有的点对数据作为输入计算透视变换矩阵，计算公式如下：

式中，M为透视变换矩阵，(x_r,y_r)为在雷达点在雷达坐标系的坐标，(x_img,y_img)为视频坐标系的坐标，将多个目标点对作为输入进行逆向求解。

透视变换矩阵得到之后，将当前帧的雷达点映射到视频坐标系，并与相应目标进行位置比较，比较方法为映射率，以均值映射率评估整体的映射效果。均值映射率求解公式如下：

计算每个雷达映射点到对应检测框中心距离与检测框左上角到检测框下边缘中心距离的比值，并且进行均值处理。均值映射率阈值设为1，当满足条件时，继续下一次点对数据选取，否则，剔除本次点对数据并进行下一帧点对数据选取。

本实施例中中止点对目标选取的阈值为5000，当满足条件时，停止矩阵计算，得到最终的关联矩阵，图5显示了本实施例方法达到的雷视关联效果。

在一个实施例中，提供了一种基于目标跟踪的雷视自动标定系统，所述系统包括顺次执行的：

第一模块，用于采集雷达目标检测点状态信息，包括位置、速度和状态；

第二模块，用于采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

第三模块，用于进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

第四模块，用于进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

第五模块，用于判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回执行第一模块，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回执行第一模块。

关于基于目标跟踪的雷视自动标定系统的具体限定可以参见上文中对于基于目标跟踪的雷视自动标定方法的限定，在此不再赘述。上述基于目标跟踪的雷视自动标定系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于目标跟踪的雷视自动标定方法，其特征在于，所述方法包括以下步骤：

步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；

步骤2，采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

步骤3，进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

步骤4，进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

步骤5，判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回步骤1，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回步骤1。

2.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤1中所述雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据，包括位置、速度，状态，表示目标点至雷达感测器实际的相对位置。

3.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤2中目标的检测框架为darknet，目标检测模型为利用coco训练集训练后的yolov3模型，并在推理过程中使用TensorRT加速推理框架加速推理。

4.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤3中所述视频目标跟踪具体包括：

步骤3-1，建立一个视频目标跟踪器；

步骤3-2，利用步骤2得到的检测目标状态信息进行不同时刻目标的前后关联，关联方法为：

步骤3-2-1，计算视频目标跟踪器中目标与当前帧目标检测框的交并比：

其中，A_i为视频目标跟踪器中第i个目标的检测框，B_j为当前帧第j个目标的检测框，i的取值为1到m，m为视频目标跟踪器中目标总数，j的取值为1到n，n为当前帧检测的目标总数；

步骤3-2-2，通过匈牙利匹配方法和步骤3-2-1计算得到的交并比计算最佳目标匹配者，具体为：将1-I_OU(i，j)作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；

步骤3-2-3，关联前后帧视频目标，即关联视频目标跟踪器中的目标与最佳目标匹配者。

5.根据权利要求4所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤3中通过跟踪状态筛选出动态跟踪目标，具体包括：设定交并比阈值th0，当交并比大于th0时，表示检测目标近乎静止状态，雷达目标无法检测出，剔除此类目标；当交并比在0-th0之间时，表示检测目标为动态，将其加入视频目标跟踪器中，更新视频跟踪目标信息，包括运动状态、匹配帧数、位置、尺寸和类型。

6.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤4中进行雷达目标跟踪具体包括：

步骤4-1，建立雷达目标跟踪器；

步骤4-2，利用步骤1得到的目标检测点状态信息进行不同时刻目标的前后关联，方法如下：

步骤4-2-1，计算雷达目标跟踪器中目标与当前帧目标的欧式距离：

其中，(A′_ix，A′_iy)为雷达目标跟踪器中第i个目标的坐标，(B′_jx，B′_jy)为当前帧第j个目标的坐标；

步骤4-2-2，通过匈牙利匹配方法和步骤4-2-1计算得到的欧式距离计算最佳目标匹配者，具体为：将Dis_i,j作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；

步骤4-2-3，关联前后帧雷达目标，即关联雷达目标跟踪器中的目标与最佳目标匹配者。

7.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤4中通过速度阈值筛选雷达动态跟踪目标，具体为：设置速度阈值和匹配帧数阈值，当目标速度大于速度阈值时，表示检测目标为动态目标，否则为静态目标，将静态目标剔除；之后根据匹配帧数，剔除假点目标，具体地：当匹配帧数小于匹配帧数阈值，表明为假点目标。

8.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤5中关联对应位置目标具体为：在雷视两坐标系当前帧筛选目标数相等的情况下，依据相对位置，先对目标进行纵向排序，然后再进行横向排序，由此求解出相对位置排序，之后将相应位置上的点对进行关联，并加入坐标点对队列，基于所有的点对数据计算透视变化矩阵。

9.根据权利要求8所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤5中均值映射率的计算具体包括：

基于透视变化矩阵将当前帧中满足要求的雷达点映射到视频坐标系；

计算均值映射率：

式中，(C_ix-D_ix)²+(C_iy-D_iy)²表示雷达映射点到对应检测框中心距离与检测框左上角到检测框下边缘中心距离的比值。

10.一种基于目标跟踪的雷视自动标定系统，其特征在于，所述系统包括顺次执行的：

第一模块，用于采集雷达目标检测点状态信息，包括位置、速度和状态；

第二模块，用于采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；

第三模块，用于进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；

第四模块，用于进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；

第五模块，用于判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回执行第一模块，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回执行第一模块。

Images