CN113313182B - 一种基于雷达和视频融合的目标识别方法及终端 - Google Patents

Abstract

本发明公开了一种基于雷达和视频融合的目标识别方法，先将视频采集装置的有效识别范围划分成多个采集区域；再通过雷达判断其侦测范围内是否出现待识别目标；对于出现的待识别目标，在其进入有效识别范围之前，通过雷达获取待识别目标的当前行进数据；根据当前行进数据判断待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节视频采集装置的采集方向至预期到达区域；在判断待识别目标进入预期到达区域之后分别控制视频采集装置和雷达对待识别目标的图像数据和当前行进数据进行采集和识别待识别目标。本发明不会因采集转向需要时间而造成目标丢失或待识别目标距离太远而造成采集的图像数据模糊，提高了雷达和视频融合识别的识别效率。

Description

一种基于雷达和视频融合的目标识别方法及终端

技术领域

本发明涉及目标识别技术领域，特别涉及一种基于雷达和视频融合的目标识别方法及终端。

背景技术

现对于目标识别的产品和方法，由于不同的场合和不同的要求，其识别的精度和准确度的要求都不一样。但是，某些特殊场合需要对目标识别的精度极高，例如飞机跑道的异物监测。众所周知，飞机跑道的道面外来物对于机场安全运行来说至关重要。道面上一颗不起眼的螺丝钉或一块小小的石子，都可能导致飞行器爆胎。一块小小的塑料片在被飞行器发动机吸入后，也会引起停机。

为此，现有技术中常将雷达和摄像头视频采集结合使用，以获得一种精度和准确度都很高的目标识别方法。

毫米波雷达主要是波长为30到300GHZ的毫米波，它的穿透能力强，受到不良天气和光照条件的影响比较小。在测试的过程中，能够获得车辆目标与其本身的相对距离和速度，进而推导出相对加速度等。虽然会有能量损失，存在噪声等，但是其检测效果也是能够满足要求的。再加上毫米波雷达的体积比较小，易于安装，所以得到了广泛的应用。

摄像头可识别不同的物体，包括车辆(乘用车、商用车、卡车、公交车、摩托车等)、行人、车道线、标识牌等，在物体高度与宽度测量精度、车道线识别、行人识别准确度方面有优势，但是测距精度不如毫米波雷达。毫米波雷达受光照、天气影响较小，测距、测速精度高，但难以识别车道线、交通标志等元素。

但是，在使用雷达和摄像头视频采集结合的目标识别方法时，雷达和视频采集的检测范围并不相同，尤其是视频采集具有一定的角度限制，对于突然闯入区域的待识别目标，视频采集装置难以把握采集的时机而造成采集到的许多图像内容过于模糊，无法识别出目标甚至丢失目标，造成了资源的浪费，影响了识别效率。

发明内容

本发明所要解决的技术问题是：提供一种基于雷达和视频融合的目标识别方法及终端，能够解决视频采集存在的资源浪费的问题，提高识别效率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于雷达和视频融合的目标识别方法，包括如下步骤：

S1、将视频采集装置的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标。

为了解决上述技术问题，本发明采用的另一技术方案为：

一种基于雷达和视频融合的目标识别终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将视频采集装置的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标。

综上所述，本发明的有益效果在于：提供一种基于雷达和视频融合的目标识别方法及终端，将视频采集装置的有效采集范围划分成多个采集区域，并对进入雷达的侦测范围的待识别目标行进的预期到达区域进行数据推算预测；在预测到待识别目标有可能进入到某个采集区域时，将视频采集装置的采集方向对准相应地区域以做采集准备，从而使得视频采集装置能够对待识别目标进行及时和有效地采集，不会因采集转向需要时间而造成目标丢失或待识别目标距离太远而造成采集的图像数据模糊，节省了视频采集资源，提高了雷达和视频融合识别的识别效率。

附图说明

图1为本发明实施例的一种基于雷达和视频融合的目标识别方法的步骤示意图；

图2为本发明实施例的一种基于雷达和视频融合的目标识别方法的预期到达区域判断原理示意图；

图3为本发明实施例的一种基于雷达和视频融合的目标识别终端的系统框图。

标号说明：

1、一种基于雷达和视频融合的目标识别终端；2、存储器；3、处理器；

d1、第一垂直距离；d2、第二垂直距离；

L1、预期行进路线；L2、第一直行路线；

O、视频采集装置；

P1、第一坐标；P2、第二坐标；P3、第三坐标。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1和图2，一种基于雷达和视频融合的目标识别方法，包括如下步骤：

S1、将视频采集装置O的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置O的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置O和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标。

从上述描述可知，本发明的有益效果在于：提供一种基于雷达和视频融合的目标识别方法，将视频采集装置O的有效采集范围划分成多个采集区域，并对进入雷达的侦测范围的待识别目标行进的预期到达区域进行数据推算预测；在预测到待识别目标有可能进入到某个采集区域时，将视频采集装置O的采集方向对准相应地区域以做采集准备，从而使得视频采集装置O能够对待识别目标进行及时和有效地采集，不会因采集转向需要时间而造成目标丢失或待识别目标距离太远而造成采集的图像数据模糊，节省了视频采集资源，提高了雷达和视频融合识别的识别效率。

进一步地，所述根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一具体为：

计算预设时间前所述待识别目标所处的第一坐标P1指向所述当前行进数据中的第二坐标P2的直线方向，以得到所述待识别目标在所述直线方向上的预期行进路线L1，计算并判断所述视频采集装置O到所述预期行进路线L1的第一垂直距离d1是否小于所述有效识别范围的半径，若是，则将所述预期行进路线L1与所述有效采集范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。

从上述描述可知，本发明通过检测待识别目标在预设时间前后的两次位移的位移方向来判定其是否有进入视频采集装置O的检测范围的可能。若视频采集装置O到预期行进路线L1的第一垂直距离d1小于所述有效识别范围的半径，说明待识别目标极有可能经过有效识别范围，再根据预期行进路线L1与有效采集范围的初次交点，也就是预测目标可能进入有效识别范围的进入点，就能够对应到其所在的采集区域，从而完成对待识别目标的行动预测，以便于视频采集装置O早做准备，及时地进行捕捉录像。

进一步地，所述若是之后还包括：

获取所述待识别目标由所述第一坐标P1至所述第二坐标P2时经过的第三坐标P3，以得到沿所述第一坐标P1指向第三坐标P3的方向的第一直行路线L2，计算所述视频采集装置O到所述第一直行路线L2的第二垂直距离d2是否大于或等于所述第一垂直距离d1，若是，则将所述预期行进路线L1与所述有效采集范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。

从上述描述可知，待识别目标在预设时间内的行进过程的位置变化中选取了第三坐标P3，利用第三坐标P3来对待识别目标的行进方向的变化趋势进行把握。第一直行路线L2的第二垂直距离d2大于或等于第一垂直距离d1则说明待识别目标在从第一坐标P1移动至第三坐标P3的过程中，其远动的方向有偏离视频采集装置O所在的方向的趋势。此时，在确定有偏离的趋势时，即便第一垂直距离d1小于有效识别范围的半径，待识别目标在未来的一段时间内还是有较大可能不经过有效识别范围。故而，在此情况下，再次执行步骤S3，重新对待识别目标的行进意图进行把握，以提高对其预期到达区域的判断的准确性。

进一步地，所述步骤S5具体为：

S51、根据样本模型对所述图像数据和所述当前行进数据进行特征提取；

S52、将提取的特征数据进行融合分析，通过神经网络匹配得到识别结果；

S53、根据所述识别结果得到其对应的报警等级，并按照所述报警等级发出报警信息。

从上述描述可知，上述为对待识别目标进行识别的具体过程，通过系统中预先存储的样本模型对待识别目标进行特征提取，进而结合提取的特征在神经网络中进行匹配识别，以得到识别结果。同时，根据不同的识别结果设立了不同的报警等级，按照报警等级发出报警信息，例如，识别方法中使用者设定了鸟类进入有效识别范围时报警，则在识别结果为鸟类时，发出相应的报警信息，以提醒使用者。

进一步地，所述融合分析具体为：

将所述雷达的坐标系和所述视频采集装置O的坐标系进行统一整合，将所述当前行进数据传递至所述图像数据之中，以实现所述雷达与所述视频采集装置O的空间融合；

采用多线程处理实现所述雷达获取的当前行进数据和所述视频采集装置O获取的图像数据保持时间同步，以实现所述雷达与所述视频采集装置O的时间融合；

所述步骤S53之后还包括：

S54、将经过所述空间融合和所述时间融合后的所述特征数据与GIS数据进行关联，建立所述待识别目标的跟踪定位地图，通过所述视频采集装置O对所述待识别目标进行视频跟踪。

从上述描述可知，由于雷达显示的数据采用的坐标系与视频采集装置O的坐标系并不相同，识别方法中需要对二者进行融合，从而将雷达采集的数据和视频采集装置O采集的数据放在同一坐标系，同一张图上显示，以便于使用者更加方便、直观地了解识别情况，即实现数据的空间融合。并且，待识别目标在不同时间的移动数据和图像数据均是不同的。为了在同一时间将雷达和视频采集装置O的采集数据对应起来，识别方法中采用多线程处理，实现时间融合。并且，在发出警报之后，对于已经完成时间和空间融合的特征数据，就可以关联地理信息系统，从而建立跟踪定位地图，对待识别目标进行视频跟踪，以便于使用者了解待识别目标的实时情况。

进一步地，所述步骤S51之后以及所述步骤S52之前还包括：

建立多个训练样例，对应每个训练样例设置一个期望输出，并进行匹配训练；

所述匹配训练具体为：

将一个所述训练样例输入至所述神经网络之中，得到实际输出；

计算所述实际输出与所述期望输出的误差值；

根据所述误差值，调节所述神经网络的权值；

重复所述匹配训练，直至所述训练样例对应的误差值均小于或等于预设值。

从上述描述可知，为了提高待识别目标在神经网络中匹配的准确度，识别方法事先利用训练样本对神经网络进行深度学习的匹配训练，以提高其对不同目标的识别准确度。

进一步地，所述步骤S5还包括：

对所述当前行进数据和所述图像数据进行数据融合，以用于显示操作；

所述数据融合具体为：

在所述视频采集装置O的输出层进行边框回归，将所述边框回归的位置数据和类别数据与所述当前行进数据中所述待识别目标的位置数据进行合并，以作为对所述待识别物体进行识别的数据基础；

将图像数据作为上下文信息，滤除所述图像数据的背景图像数据，通过神经网络提炼所述图像数据中所述待识别物体及其周围存在的第一参考物的数据；

对所述当前行进数据中的轨迹数据进行检测和分类，区分所述轨迹数据中的所述待识别物体及其周围存在的第二参考物；

通过所述神经网络对所述图像数据和所述轨迹数据进行分层处理，在池化层对所述图像数据中的所述待识别物体进行采样；

将所述当前行进数据中的所述待识别物体的数据和所述图像数据中的所述待识别物体的数据进行融合，得到待识别数据；

将所述当前行进数据中的所述第一参考物的数据和所述图像数据中的所述第二参考物的数据进行融合，得到参考数据；

根据所述待识别数据和所述参考数据对所述神经网络的卷积层和池化层架构以及超参数进行修改，并修改所述待识别物体的候选框的尺寸大小，以提高所述待识别数据和所述参考数据的精度；

若所述待识别物体、所述第一参考物或所述第二参考物为群簇小目标，则通过残差网络对其进行识别。

从上述描述可知，上述为对雷达和视频采集装置O进行数据融合的过程，利用边框归回将当前行进数据和图像数据进行合并，在神经网络中进行分层处理，减少卷积特征层的参数、加快目标的提取速度，提高池化层的语义信息，减少对目标的提取周期。残差网能够对群簇小目标进行检测，如骑车的人等，解决一些待识别目标会出现两个框的问题。同时，对神经网络的卷积层和池化层架构以及超参数进行修改，以提高其检测的数据精度。

进一步地，所述步骤S3之后以及所述步骤S4之前还包括：

通过所述雷达计算所述待识别目标在正对所述视频采集装置O的方向上的速度分量大小，所述速度分量的单位为m/s；

设置预设距离值为所述速度分量的预设倍数大小，所述预设倍数为[2,5]；

判断所述待识别目标与所述有效识别范围的距离是否大于或等于所述预设距离值，若是，则返回执行步骤S3；否则，开启所述视频采集装置O。

从上述描述可知，在待识别目标进入到有效识别范围之前，通过预设距离值来确定合适结束对待识别目标的预期到达区域的判断，尤其是对于一些行动方向多变的目标，能够提高判断的准确度。并且，预设距离值非固定值，而是受待识别目标的速度的影响。对于速度快的目标，预设距离值越大，以保证留给视采集装置足够的反应时间，做好采集准备。

请参照图3，一种基于雷达和视频融合的目标识别终端1，包括存储器2、处理器3及存储在存储器2上并可在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现以下步骤：

S1、将视频采集装置O的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置O的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置O和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标。

从上述描述可知，本发明的有益效果在于：提供一种基于雷达和视频融合的目标识别终端1，将视频采集装置O的有效采集范围划分成多个采集区域，并对进入雷达的侦测范围的待识别目标行进的预期到达区域进行数据推算预测；在预测到待识别目标有可能进入到某个采集区域时，将视频采集装置O的采集方向对准相应地区域以做采集准备，从而使得视频采集装置O能够对待识别目标进行及时和有效地采集，不会因采集转向需要时间而造成目标丢失或待识别目标距离太远而造成采集的图像数据模糊，节省了视频采集资源，提高了雷达和视频融合识别的识别效率。

进一步地，所述根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一具体为：

计算预设时间前所述待识别目标所处的第一坐标P1指向所述当前行进数据中的第二坐标P2的直线方向，以得到所述待识别目标在所述直线方向上的预期行进路线L1，计算并判断所述视频采集装置O到所述预期行进路线L1的第一垂直距离d1是否小于所述有效识别范围的半径，若是，则将所述预期行进路线L1与所述有效采集范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。

从上述描述可知，本发明通过检测待识别目标在预设时间前后的两次位移的位移方向来判定其是否有进入视频采集装置O的检测范围的可能。若视频采集装置O到预期行进路线L1的第一垂直距离d1小于所述有效识别范围的半径，说明待识别目标极有可能经过有效识别范围，再根据预期行进路线L1与有效采集范围的初次交点，也就是预测目标可能进入有效识别范围的进入点，就能够对应到其所在的采集区域，从而完成对待识别目标的行动预测，以便于视频采集装置O早做准备，及时地进行捕捉录像。

请参照图1至图3，本发明的实施例一为：

一种基于雷达和视频融合的目标识别方法，如图1所示，包括如下步骤：

S1、将视频采集装置O的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入有效识别范围之前，通过雷达获取待识别目标的当前行进数据，根据当前行进数据判断待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节视频采集装置O的采集方向至预期到达区域，否则返回执行步骤S3。

在本实施例中，如图2所示，判断待识别目标的预期到达区域是否为多个采集区域之一的具体过程为：

计算预设时间前待识别目标所处的第一坐标P1指向当前行进数据中的第二坐标P2的直线方向，以得到待识别目标在直线方向上的预期行进路线L1，计算并判断视频采集装置O到预期行进路线L1的第一垂直距离d1是否小于有效识别范围的半径，若是，则获取待识别目标由第一坐标P1至第二坐标P2时经过的第三坐标P3，以得到沿第一坐标P1指向第三坐标P3的方向的第一直行路线L2，计算视频采集装置O到第一直行路线L2的第二垂直距离d2是否大于或等于第一垂直距离d1，若是，则将预期行进路线L1与有效采集范围的初次交点所落入的采集区域作为预期到达区域，否则返回执行步骤S3。结合图可见，本实施例中，利用了待识别目标由第一坐标P1至第三坐标P3，再到第二坐标P2的位移方向变化来判断其行动意图，也就是其预期到达区域是否会落入采集区域内。

S4、判断待识别目标是否进入预期到达区域，若是，则分别控制视频采集装置O和雷达对待识别目标的图像数据和当前行进数据进行采集，否则返回执行步骤S4；

S5、根据图像数据和当前行进数据识别待识别目标。

在本实施例中，通过对待识别目标的行动意图进行预判，来对视频采集装置O的采集角度进行预先调节，以在待识别目标进入有效采集范围后能够快速的对其进行图像捕捉和识别。

并且，在本实施例中，如表1的识别结果所示，雷达与视频采集装置O相结合的识别方式，能够取长补短，结合各自的优点，以达到更加全面的识别效果。

表1-识别结果

请参照图1，本发明的实施例二为：

一种基于雷达和视频融合的目标识别方法，在上述实施例一的基础上，如图1所示，步骤S5具体为：

S51、根据样本模型对图像数据和当前行进数据进行特征提取。

在本实施例中，提取完特征之后，还需要对用于匹配识别的神经网络进行如下训练：

首先，建立多个训练样例，对应每个训练样例设置一个期望输出；

其次，将一个训练样例输入至神经网络之中，得到实际输出；

再次，计算实际输出与期望输出的误差值；

最后，根据误差值，调节神经网络的权值；

重复上述训练过程，直至训练样例对应的误差值均小于或等于预设值，使得神经网络的匹配准确度更高。

S52、将提取的特征数据进行融合分析，通过神经网络匹配得到识别结果。

在本实施例中，融合分析具体包括如下内容：

将雷达的坐标系和视频采集装置O的坐标系进行统一整合，将当前行进数据传递至图像数据之中，以实现雷达与视频采集装置O的空间融合。采用多线程处理实现雷达获取的当前行进数据和视频采集装置O获取的图像数据保持时间同步，以实现雷达与视频采集装置O的时间融合。

S53、根据识别结果得到其对应的报警等级，并按照报警等级发出报警信息。

在本实施例中，具体的识别结果与报警等级的对应关系可根据实际情况和使用者的需求来设定。

S54、将经过空间融合和时间融合后的特征数据与GIS数据进行关联，建立待识别目标的跟踪定位地图，通过视频采集装置O对待识别目标进行视频跟踪。

请参照图1，本发明的实施例三为：

一种基于雷达和视频融合的目标识别方法，在上述实施例一或二的基础上，如图1所示，步骤S5还包括：

对当前行进数据和图像数据进行数据融合，以用于显示操作。

其中，数据融合包括如下内容：

在视频采集装置O的输出层进行边框回归，将边框回归的位置数据和类别数据与当前行进数据中待识别目标的位置数据进行合并，以作为对待识别物体进行识别的数据基础。

将图像数据作为上下文信息，滤除图像数据的背景图像数据，通过神经网络提炼图像数据中待识别物体及其周围存在的第一参考物的数据；

对当前行进数据中的轨迹数据进行检测和分类，区分轨迹数据中的待识别物体及其周围存在的第二参考物；

通过神经网络对图像数据和轨迹数据进行分层处理，在池化层对图像数据中的待识别物体进行采样，减少卷积特征层的参数，加快目标提取运算速度，浅层的目标物图像卷积特征感受包含的背景噪声小，提高池化层的语义信息，提高小目标检测周期。

将当前行进数据中的待识别物体的数据和图像数据中的待识别物体的数据进行融合，得到待识别数据；将当前行进数据中的第一参考物的数据和图像数据中的第二参考物的数据进行融合，得到参考数据；然后，根据待识别数据和参考数据对神经网络的卷积层和池化层架构以及超参数进行修改，并修改待识别物体的候选框的尺寸大小，以提高待识别数据和参考数据的精度。

并且，在本实施例中，若待识别物体、第一参考物或第二参考物为群簇小目标，则通过残差网络对其进行识别，以解决一些糅合的物体出现两个目标框的情况。

请参照图1，本发明的实施例四为：

一种基于雷达和视频融合的目标识别方法，在上述实施例一、二或三的基础上，如图1所示，步骤S3之后以及步骤S4之前还包括：

先通过雷达计算待识别目标在正对视频采集装置O的方向上的速度分量大小，其中，速度分量的单位为m/s；再设置预设距离值为速度分量的预设倍数大小，预设倍数为[2,5]；最后，判断待识别目标与有效识别范围的距离是否大于或等于预设距离值，若是，则返回执行步骤S3；否则，开启视频采集装置O。

在本实施例中，在有效采集范围之外还设置了预设距离值大小的一个预警范围。在待识别目标还没有进入预设距离值的范围时，即待识别目标还没有距离有效采集范围足够近，识别方法将继续对待识别目标的预期到达区域进行判断，以预防一些如鸟类等行动方向变化多端，飘忽不定的待识别目标造成预期到达区域的判断不准确的问题。通过距离的把控和多次的反复判断以提高判断结果的准确性。同时，预设距离只也将按照待识别目标的速度做灵活变化，以留给视频采集装置O足够的反应时间。

请参照图，本发明的实施例五为：

一种基于雷达和视频融合的目标识别终端11，如图3所示，包括存储器22、处理器33及存储在存储器22上并可在处理器33上运行的计算机程序，处理器33执行计算机程序时实现实施例一、二、三或四中的一种基于雷达和视频融合的目标识别方法。

综上所述，本发明公开了一种基于雷达和视频融合的目标识别方法及终端，将视频采集装置的有效采集范围划分成多个采集区域，并对在预设距离之外的待识别目标进行的预期到达区域进行数据推算预测；在预测到待识别目标有可能进入到某个采集区域时，将视频采集装置的采集方向对准相应地区域以做采集准备，从而使得视频采集装置能够对待识别目标进行及时和有效地采集，不会因采集转向需要时间而造成目标丢失或待识别目标距离太远而造成采集的图像数据模糊，节省了视频采集资源，提高了雷达和视频融合识别的识别效率；同时，利用特征提取和数据融合的处理手段，在训练完成的神经网络中进行分层处理并配合残差网络进行识别，根据识别结果触发报警和对待识别目标进行视频跟踪，已完成对待识别目标的精准识别。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围。

Claims (8)

1.一种基于雷达和视频融合的目标识别方法，其特征在于，包括如下步骤：

S1、将视频采集装置的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标；

所述根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一具体为：

计算预设时间前所述待识别目标所处的第一坐标指向所述当前行进数据中的第二坐标的直线方向，以得到所述待识别目标在所述直线方向上的预期行进路线，计算并判断所述视频采集装置到所述预期行进路线的第一垂直距离是否小于所述有效识别范围的半径，若是，则将所述预期行进路线与所述有效识别范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。

2.根据权利要求1所述的一种基于雷达和视频融合的目标识别方法，其特征在于，若所述视频采集装置到所述预期行进路线的第一垂直距离小于所述有效识别范围的半径，则：

获取所述待识别目标由所述第一坐标至所述第二坐标时经过的第三坐标，以得到沿所述第一坐标指向第三坐标的方向的第一直行路线，计算所述视频采集装置到所述第一直行路线的第二垂直距离是否大于或等于所述第一垂直距离，若是，则将所述预期行进路线与所述有效识别范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。

3.根据权利要求1所述的一种基于雷达和视频融合的目标识别方法，其特征在于，所述步骤S5具体为：

S51、根据样本模型对所述图像数据和所述当前行进数据进行特征提取；

S52、将提取的特征数据进行融合分析，通过神经网络匹配得到识别结果；

S53、根据所述识别结果得到其对应的报警等级，并按照所述报警等级发出报警信息。

4.根据权利要求3所述的一种基于雷达和视频融合的目标识别方法，其特征在于，所述融合分析具体为：

将所述雷达的坐标系和所述视频采集装置的坐标系进行统一整合，将所述当前行进数据传递至所述图像数据之中，以实现所述雷达与所述视频采集装置的空间融合；

采用多线程处理实现所述雷达获取的当前行进数据和所述视频采集装置获取的图像数据保持时间同步，以实现所述雷达与所述视频采集装置的时间融合；

所述步骤S53之后还包括：

S54、将经过所述空间融合和所述时间融合后的所述特征数据与GIS数据进行关联，建立所述待识别目标的跟踪定位地图，通过所述视频采集装置对所述待识别目标进行视频跟踪。

5.根据权利要求4所述的一种基于雷达和视频融合的目标识别方法，其特征在于，所述步骤S51之后以及所述步骤S52之前还包括：

建立多个训练样例，对应每个训练样例设置一个期望输出，并进行匹配训练；

所述匹配训练具体为：

将一个所述训练样例输入至所述神经网络之中，得到实际输出；

计算所述实际输出与所述期望输出的误差值；

根据所述误差值，调节所述神经网络的权值；

重复所述匹配训练，直至所述训练样例对应的误差值均小于或等于预设值。

6.根据权利要求3所述的一种基于雷达和视频融合的目标识别方法，其特征在于，所述步骤S5还包括：

对所述当前行进数据和所述图像数据进行数据融合，以用于显示操作；

所述数据融合具体为：

在所述视频采集装置的输出层进行边框回归，将所述边框回归的位置数据和类别数据与所述当前行进数据中所述待识别目标的位置数据进行合并，以作为对所述待识别目标进行识别的数据基础；

将图像数据作为上下文信息，滤除所述图像数据的背景图像数据，通过所述神经网络提炼所述图像数据中所述待识别目标及其周围存在的第一参考物的数据；

对所述当前行进数据中的轨迹数据进行检测和分类，区分所述轨迹数据中的所述待识别目标及其周围存在的第二参考物；

通过所述神经网络对所述图像数据和所述轨迹数据进行分层处理，在池化层对所述图像数据中的所述待识别目标进行采样；

将所述当前行进数据中的所述待识别目标的数据和所述图像数据中的所述待识别目标的数据进行融合，得到待识别数据；

将所述当前行进数据中的所述第一参考物的数据和所述图像数据中的所述第二参考物的数据进行融合，得到参考数据；

根据所述待识别数据和所述参考数据对所述神经网络的卷积层和池化层架构以及超参数进行修改，并修改所述待识别目标的候选框的尺寸大小，以提高所述待识别数据和所述参考数据的精度；

若所述待识别目标、所述第一参考物或所述第二参考物为群簇小目标，则通过残差网络对其进行识别。

7.根据权利要求1所述的一种基于雷达和视频融合的目标识别方法，其特征在于，所述步骤S3之后以及所述步骤S4之前还包括：

通过所述雷达计算所述待识别目标在正对所述视频采集装置的方向上的速度分量大小，所述速度分量的单位为m/s；

设置预设距离值为所述速度分量的预设倍数大小，所述预设倍数为大于或等于2倍且小于或等于5倍；

判断所述待识别目标与所述有效识别范围的距离是否大于或等于所述预设距离值，若是，则返回执行步骤S3；否则，开启所述视频采集装置。

8.一种基于雷达和视频融合的目标识别终端，其特征在于，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将视频采集装置的有效识别范围划分成多个采集区域；

S2、通过雷达判断其侦测范围内是否出现待识别目标，若是，则执行步骤S3，否则返回执行步骤S2；

S3、在待识别目标进入所述有效识别范围之前，通过所述雷达获取所述待识别目标的当前行进数据，根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一，若是，则调节所述视频采集装置的采集方向至所述预期到达区域，否则返回执行步骤S3；

S4、判断所述待识别目标是否进入所述预期到达区域，若是，则分别控制所述视频采集装置和所述雷达对所述待识别目标的图像数据和所述当前行进数据进行采集，否则返回执行步骤S4；

S5、根据所述图像数据和所述当前行进数据识别所述待识别目标；

所述根据所述当前行进数据判断所述待识别目标的预期到达区域是否为多个采集区域之一具体为：

计算预设时间前所述待识别目标所处的第一坐标指向所述当前行进数据中的第二坐标的直线方向，以得到所述待识别目标在所述直线方向上的预期行进路线，计算并判断所述视频采集装置到所述预期行进路线的第一垂直距离是否小于所述有效识别范围的半径，若是，则将所述预期行进路线与所述有效识别范围的初次交点所落入的所述采集区域作为所述预期到达区域，否则返回执行步骤S3。