CN106101590B - 雷达视频复合数据探测与处理系统及探测与处理方法 - Google Patents

Abstract

本发明公开一种雷达视频复合数据探测与处理系统的探测与处理方法，该探测与处理方法包含：雷达探测目标采集目标的目标数据和环境坐标；雷达实现目标跟踪后，视频采集设备采集目标的图像信息和像素坐标；雷达视频信息融合系统将目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联。本发明通过信息融合包含：坐标变换、时间配准、数据决策和数据关联实现雷达采集的目标数据与视频采集设备采集的图像信息的融合，实现雷达数据与视频数据的优势互补，稳定性高，受环境影响小，抗干扰能力强。

Description

雷达视频复合数据探测与处理系统及探测与处理方法

技术领域

本发明涉及的是雷达与视频复合探测的信息融合技术，具体涉及一种雷达视频复合数据探测与处理系统及探测与处理方法

背景技术

目前，现有的目标检测和分类技术按照工作方式可以分为超声波检测、声音检测、红外检测、磁感应检测、激光检测、视频检测以及微波雷达检测等。其中，视频检测是现在的主流检测方法，具有信息量大，信息处理方式灵活等特点，能得到探测目标更全面的信息，但是受光照，阴影，天气的影响比较大。雷达传感器通过检测目标的回波强度及回波特征来识别目标，并对目标进行分类，具有全天候、稳定性高，受环境影响小，抗干扰能力强，安装方便等特点，不足在于获取的信息较为单一。单一传感器存在其固有的不足。通过融合不同的传感器的信息可以达到优势互补的作用，雷达与视频复合的探测模式逐渐成为主流。

目前，雷达与视频复合探测系统已经应用在安全监控、汽车主动防撞领域，如在“一种基于信息融合的移动式跑道异物监测方法”专利(公布号为CN 104407346 A)，通过雷达系统对异物进行位置探测及特征提取，当该疑似可疑异物位置进入移动车辆的一定范围内时，对多次探测过程中该疑似可疑异物累积出现次数信息进行综合判别，将满足一定置信度的疑似可疑异物提请后端摄像机对异物所在区域进行拍照，获取异物的图像信息。专利(CN 105015411 A)“一种基于视频融合的汽车微波雷达防撞预警方法及系统”中，雷达模块，用于检测前方目标，并将检测到的目标数据发送到视频融合显示终端；视频采集模块，用于采集前方视频图像，并将采集到的视频数据发送到视频融合显示终端；视频融合后最终通过不同标记将目标实时标记在显示屏上所显示视频的目标图像上，同时将目标通过不同标记实时显示在显示屏上显示的模拟车道中。

现有雷达与视频融合技术中对雷达数据处理只是简单提及，并未详细说明，对数据融合过程中数据关联及决策并未提及。

发明内容

本发明提供一种雷达视频复合数据探测与处理系统及探测与处理方法，实现雷达采集的目标数据与视频采集设备采集的图像信息的融合。

为实现上述目的，本发明提供一种雷达视频复合数据探测与处理系统的探测与处理方法，该探测与处理系统包含雷达视频信息融合系统，与雷达视频信息融合系统通信连接的雷达与视频采集设备；其特点是，该探测与处理方法包含：

雷达探测目标采集目标的目标数据和环境坐标；

雷达实现目标跟踪后，视频采集设备采集目标的图像信息和像素坐标；

雷达视频信息融合系统将目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联。

上述雷达获取目标的目标数据和环境坐标的方法包含：

雷达探测目标对回波数据进行处理获得目标数据，目标数据包含目标的径向距离、径向速度及角度信息；

雷达通过数据特征变换，根据几何关系将径向距离与角度信息转换为目标的横向距离及纵向距离，该目标的横向距离及纵向距离组成目标相对视频采集设备的环境坐标。

上述雷达获取目标的目标数据后，对雷达信息进行第二数据关联和自适应滤波预测。

上述雷达对当前时刻获取的目标数据进行第二数据关联的方法包含：

若雷达探测的目标数小于预设的数目阈值，则采用航迹分叉法或最近邻方法进行数据关联；

若雷达探测的目标数大于预设的数目阈值，则采用联合概率数据关联算法进行数据关联。

上述雷达对当前时刻获取的目标数据进行自适应滤波预测采用卡尔曼滤波跟踪。

上述雷达视频信息融合系统将雷达获取的目标数据由环境坐标向视频信息对应的像素坐标进行坐标转换包含；

环境坐标系Ow-XwYwZw，其原点以视频采集设备垂直于地面的交点为原点Ow，Yw轴指向视频采集设备采集视频的水平正前方，Zw轴指向垂直于水平面向上，Xw轴位于水平面且垂直于Yw轴；

像素坐标系Oo-UV，U轴和Y轴组成成像平面，成像平面垂直于环境坐标系Yw轴，以成像平面左上角为坐标原点Oo，像素坐标系的单位是像素；

设视频采集设备离地高度H米时，环境坐标与像素坐标的关系如式(1)：

式(1)中，u为目标在像素坐标系的U轴坐标，v为目标在像素坐标系的V轴坐标，a_x、a_z为视频采集设备Xw轴和Zw轴方向的等效焦距，u₀，v₀为图像信息的像素中心的坐标，x_w，y_w，z_w分别为相机照射物理范围内的点的环境坐标值。

上述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行时间配准采用最小二乘法，包含：

设视频采集设备的采集周期为τ，雷达的采集周期为T，采集周期的比例系数为整数n；若视频采集设备最近一次目标状态估计时刻记为(k-1)τ，则当前时刻表示为kτ＝[(k-1)τ+nT]，n为视频采集设备的一个周期之内雷达对目标探测的次数；

将雷达釆集到的n次测量值融合为一虚拟测量测，并作为当前时刻雷达的测量值；

当前时刻雷达的测量值与视频采集设备的测量值采用最近邻数据关联方法进行融合。

上述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行数据决策包含：

雷达视频信息融合系统判断当前时刻视频采集设备采集的图像信息的图像质量是否大于预设的阈值，若是则采用图像信息提取的目标数目信息，若否则采用雷达采集的目标数据提取的目标数目信息。

上述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行第一数据关联采用最近邻数据关联方法，包含：

以图像信息或雷达探测得的目标位置为中心设置跟踪门以限制决策数目；

剔除残差大于跟踪门的图像信息和目标数据；

若跟踪门内雷达探测目标数大于1，则残差最小者作为目标数据或图像信息。

一种雷达视频复合数据探测与处理系统，其特点是，该探测与处理系统包含：

雷达，其探测目标采集目标的目标数据和环境坐标；

视频采集设备，其实现目标跟踪后，采集目标的图像信息和像素坐标；

雷达视频信息融合系统，其通信连接的雷达与视频采集设备，对目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联。

本发明雷达视频复合数据探测与处理系统及探测与处理方法和现有技术的雷达与视频融合技术相比，其优点在于，本发明通过信息融合包含：坐标变换、时间配准、数据决策和数据关联实现雷达采集的目标数据与视频采集设备采集的图像信息的融合，实现雷达数据与视频数据的优势互补，稳定性高，受环境影响小，抗干扰能力强。

附图说明

图1为本发明雷达视频复合数据探测与处理系统的模块图；

图2为本发明雷达视频复合数据探测与处理方法的流程图；

图3为环境坐标系与像素坐标系的坐标关系图。

具体实施方式

以下结合附图，进一步说明本发明的具体实施例。

如图1所示，公开了一种雷达视频复合数据探测与处理系统的实施例，该探测与处理系统包含：雷达110、视频采集设备120、雷达视频信息融合系统130。

雷达110用于探测目标采集目标的目标数据和环境坐标。本实施例中，雷达110采用一发双收的FMCW体制，2D-FFT数据处理技术，探测的目标数据包含目标的径向距离、径向速度及角度信息。通过数据特征变换，根据几何关系将径向距离与角度信息转换为目标的横向距离及纵向距离信息，横向距离及纵向距离信息组成目标相对视频采集设备的环境坐标。对于运动目标的检测，雷达每次探测到的目标数据都会不同，为了获得更加准确的目标信息，尽可能的剔除虚假目标，需要采用数据关联及目标跟踪技术，将雷达多次探测到的目标信息进行数据关联并进行自适应滤波预测。当雷达获得准确的目标信息，对探测到的目标建立稳定跟踪时输出视频触发信号，触发摄像机进行图像获取及目标提取，并将雷达探测到的目标转换为相对相机的环境坐标数据(即将径向距离及角度信息转换为目标横向距离、纵向距离信息)传输给雷达视频信息融合系统130进行信息融合。

视频采集设备120用于在雷达对目标实现跟踪后，采集目标的图像信息和像素坐标。视频采集设备120可采用相机或摄像机等设备，采集图形信息后通过对图像的处理获得目标特征数据，将目标的像素坐标数据等传输给雷达视频信息融合系统130。

雷达视频信息融合系统130的输入端通信连接的雷达与视频采集设备，用于对目标的目标数据与图像信息进行信息融合，具体包含将获得的雷达110采集的目标数据进行坐标转换，从环境坐标转换为图像对应的像素坐标，雷达110探测目标位置与视频采集设备120采集的图像信息或视频数据进行时间配准、第一数据关联及决策判决，并将目标融合结果在显示屏上进行显示。

如图2所示，公开了一种适用于雷达视频复合数据探测与处理系统的探测与处理方法，该探测与处理方法包含以下步骤：

S1、雷达探测目标采集目标的目标数据和环境坐标。

S1.1、雷达探测目标，对回波数据进行处理获得目标数据，目标数据包含目标的径向距离、径向速度及角度信息。

S1.2、雷达通过数据特征变换，根据几何关系将径向距离与角度信息转换为目标的横向距离及纵向距离，该目标的横向距离及纵向距离组成目标相对视频采集设备的环境坐标。

S1.3、雷达获取目标的目标数据后，对雷达信息进行第二数据关联，雷达对当前时刻获取的目标数据进行第二数据关联的方法包含：航迹分叉法、最近邻方法、联合概率数据关联算法(JPDA)。具体方式为，雷达判断雷达探测的目标数

若雷达探测的目标数小于预设的数目阈值，目标数少或稀疏，则采用航迹分叉法或最近邻方法进行数据关联，计算简单实时性好。

若雷达探测的目标数大于预设的数目阈值，目标数多且密集，则采用联合概率数据关联算法(JPDA)进行数据关联，该算法在杂波环境下有很好的跟踪性能。假设杂波环境下有多个目标存在，并且每个目标的航迹已经形成，如果回波有多个，则认为在跟踪门所有的回波都可能源于目标，只是每个回波源于目标的概率有所不同。

S1.4、雷达对当前时刻获取的目标数据进行自适应滤波预测，自适应滤波预测可采用卡尔曼(kalman)滤波跟踪进行目标跟踪预测，将目标。

S2、雷达实现目标跟踪后，视频采集设备采集目标的图像信息和像素坐标。

S2.1、视频采集设备采集目标的图像信息。

S2.2、视频采集设备对图像信息进行图像处理，获得目标特征数据，将目标特征数和像素坐标数据等传输给雷达视频信息融合系统。

S3雷达视频信息融合系统将目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联。

S3.1、雷达视频信息融合系统将雷达获取的目标数据由环境坐标向视频信息对应的像素坐标进行坐标转换，具体包含；

如图3所示，环境坐标系Ow-XwYwZw，其原点以视频采集设备垂直于地面的交点为原点Ow(也可设置在任意位置，一般是参照实际情况进行设置)，Yw轴指向视频采集设备采集视频的水平正前方，Zw轴指向垂直于水平面向上，Xw轴位于水平面且垂直于Yw轴。

像素坐标系Oo-UV，U轴和Y轴组成成像平面，成像平面垂直于环境坐标系Yw轴，以成像平面左上角为坐标原点Oo，像素坐标系的单位是像素。

设视频采集设备离地高度H米时，环境坐标与像素坐标的关系如式(1)：

式(1)中，u为目标在像素坐标系的U轴坐标，v为目标在像素坐标系的V轴坐标，a_x、a_z为视频采集设备Xw轴和Zw轴方向的等效焦距，u₀，v₀为图像信息的像素中心的坐标，x_w，y_w，z_w分别为相机照射物理范围内的点的环境坐标值。

S3.2、雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行时间配准。雷达与视频相机数据刷新频率不同，需要将雷达探测目标信息与视频目标提取信息进行时间上的融合，确保配对数据的同步性，发挥好雷达与视频优势互补的作用。一般雷达的数据刷新频率要比摄像机快，可采用基于最小二乘准则的时间配准算法，具体包含：

假设有不同种类的传感器C和R，传感器C的采样周期为τ，传感器R的釆样周期为T，采样周期的比例系数为整数n。如果距离传感器C的最近一次目标状态估计时刻记为(k-1)τ，则当前时刻可以表示为kτ＝[(k-1)τ+nT]，意味着在传感器C的一个周期之内，传感器R对目标状态估计的次数为n。最小二乘法时间配准的思路是将传感器R釆集到的n次测量值融合为一虚拟测量测，并作为当前时刻传感器R的测量值。利用该测量值与传感器C的测量值进行融合，消除时间偏差引起的目标状态测量值不同步的目的，消除时间不匹配对多传感器信息融合精确度造成的影响。

本实施例中，设视频采集设备的采集周期为τ，雷达的采集周期为T，采集周期的比例系数为整数n；若视频采集设备最近一次目标状态估计时刻记为(k-1)τ，则当前时刻表示为kτ＝[(k-1)τ+nT]，n为视频采集设备的一个周期之内雷达对目标探测的次数；

将雷达釆集到的n次测量值融合为一虚拟测量测，并作为当前时刻雷达的测量值。假设S_n＝[s₁,s₂,…,s_n]^T为(k-1)τ到kτ时刻雷达探测到的某一目标位置数据的集合，s_n与kτ时刻视频采集数据对应，若用表示s₁,s₂,…,s_n融合以后的量测值及其导数构成的列向量，则雷达探测数据的虚拟量测值s_i可以表示成：

其中v_i表示量测噪声，将上式改写成向量形式为：

S_n＝W_nU+V_n

其中，V_n＝[v₁,v₂,…,v_n]^T,其均值为零，协方差阵为：

而为融合以前的位置量测噪声方差，同时有：

根据最小二乘准则有目标函数：

使得J为最小，J两边对求导数并令其等于零得：

从而有：

相应的误差协方差阵为：

将S_n的表达式及式W_n代入以上两式，可得融合以后的量测值及量测噪声方差分别为：

其中c₁＝-2/n，c₂＝6/[n(n+1)]。

当前时刻雷达的测量值与视频采集设备的测量值采用最近邻数据关联方法进行融合。

S3.3、雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行数据决策，具体包含：

雷达视频信息融合系统判断当前时刻视频采集设备采集的图像信息的图像质量是否大于预设的阈值，若是则采用图像信息提取的目标数目信息，若否则采用雷达采集的目标数据提取的目标数目信息。

在实际操作中，由于雷达探测与视频探测传感器探测到的目标数目不一定相同，在该情况下更信任雷达数据、视频数据，还是将多余目标剔除不进行处理，对监测系统的检测概率、虚警、漏警概率有影响。在此提出融合天气及昼夜原因的数据决策方法，雷达视频信息融合系统中输入实时天气数据(如雨、雪、雾等)，在天气对视频目标提取结果影响较大时，决策结果为以雷达探测的数据为准；除此之外根据系统时间区分白天、黑夜，由于白天光照较好，视频处理能够得到较好的处理结果，可以更信任视频处理的目标提取结果，黑夜光照较暗，目标提取受影响较大，可更信任雷达探测数据。

S3.4、雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行第一数据关联，这里第一数据关联采用最近邻数据关联方法，具体包含：首先，设置跟踪门以限制潜在的决策数目，跟踪门是跟踪空间中的一块子空间，以视频处理或雷达探测目标位置为中心来设置跟踪门，其大小(若以视频数据作为主决策数据，则可以结合目标尺寸特征设置跟踪门的大小)应保证具有一定的正确匹配的概率。因此，残差较大的将首先被剔除。若跟踪门内雷达探测目标数大于1，则残差最小者被看作目标。

S3.5、雷达视频信息融合系统显示通过显示屏显示目标融合结果信息。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种雷达视频复合数据探测与处理系统的探测与处理方法，该探测与处理系统包含雷达视频信息融合系统，与雷达视频信息融合系统通信连接的雷达与视频采集设备；其特征在于，该探测与处理方法包含：

雷达探测目标采集目标的目标数据和环境坐标；

雷达实现目标跟踪后，视频采集设备采集目标的图像信息和像素坐标；

雷达视频信息融合系统将目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联；

所述雷达获取目标的目标数据后，对雷达信息进行第二数据关联和自适应滤波预测；

所述雷达对当前时刻获取的目标数据进行第二数据关联的方法包含：

若雷达探测的目标数小于预设的数目阈值，则采用航迹分叉法或最近邻方法进行数据关联；

若雷达探测的目标数大于预设的数目阈值，则采用联合概率数据关联算法进行数据关联。

2.如权利要求1所述的探测与处理方法，其特征在于，所述雷达获取目标的目标数据和环境坐标的方法包含：

雷达探测目标对回波数据进行处理获得目标数据，目标数据包含目标的径向距离、径向速度及角度信息；

雷达通过数据特征变换，根据几何关系将径向距离与角度信息转换为目标的横向距离及纵向距离，该目标的横向距离及纵向距离组成目标相对视频采集设备的环境坐标。

3.如权利要求1所述的探测与处理方法，其特征在于，所述雷达对当前时刻获取的目标数据进行自适应滤波预测采用卡尔曼滤波跟踪。

4.如权利要求1所述的探测与处理方法，其特征在于，所述雷达视频信息融合系统将雷达获取的目标数据由环境坐标向视频信息对应的像素坐标进行坐标转换包含；

环境坐标系Ow-XwYwZw，其原点以视频采集设备垂直于地面的交点为原点Ow，Yw轴指向视频采集设备采集视频的水平正前方，Zw轴指向垂直于水平面向上，Xw轴位于水平面且垂直于Yw轴；

像素坐标系Oo-UV，U轴和Y轴组成成像平面，成像平面垂直于环境坐标系Yw轴，以成像平面左上角为坐标原点Oo，像素坐标系的单位是像素；

设视频采集设备离地高度H米时，环境坐标与像素坐标的关系如式(1)：

式(1)中，u为目标在像素坐标系的U轴坐标，v为目标在像素坐标系的V轴坐标，a_x、a_z为视频采集设备Xw轴和Zw轴方向的等效焦距，u₀，v₀为图像信息的像素中心的坐标，x_w，y_w，z_w分别为相机照射物理范围内的点的环境坐标值。

5.如权利要求1所述的探测与处理方法，其特征在于，所述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行时间配准采用最小二乘法，包含：

设视频采集设备的采集周期为τ，雷达的采集周期为T，采集周期的比例系数为整数n；若视频采集设备最近一次目标状态估计时刻记为(k-1)τ，则当前时刻表示为kτ＝[(k-1)τ+nT]，n为视频采集设备的一个周期之内雷达对目标探测的次数；

将雷达釆集到的n次测量值融合为一虚拟测量测，并作为当前时刻雷达的测量值；

当前时刻雷达的测量值与视频采集设备的测量值采用最近邻数据关联方法进行融合。

6.如权利要求1所述的探测与处理方法，其特征在于，所述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行数据决策包含：

雷达视频信息融合系统判断当前时刻视频采集设备采集的图像信息的图像质量是否大于预设的阈值，若是则采用图像信息提取的目标数目信息，若否则采用雷达采集的目标数据提取的目标数目信息。

7.如权利要求1所述的探测与处理方法，其特征在于，所述雷达视频信息融合系统对雷达的目标数据和视频采集设备的图像信息进行第一数据关联采用最近邻数据关联方法，包含：

以图像信息或雷达探测得的目标位置为中心设置跟踪门以限制决策数目；

设置跟踪门的大小；

若跟踪门内雷达探测目标数大于1，则残差最小者作为目标数据或图像信息。

8.一种适用于权利要求1至7中任意一项权利要求所述雷达视频复合数据探测与处理系统的探测与处理方法的雷达视频复合数据探测与处理系统，其特征在于，该探测与处理系统包含：

雷达，其探测目标采集目标的目标数据和环境坐标；

视频采集设备，其实现目标跟踪后，采集目标的图像信息和像素坐标；

雷达视频信息融合系统，其通信连接的雷达与视频采集设备，对目标的目标数据与图像信息进行信息融合；信息融合包含：坐标变换、时间配准、数据决策和第一数据关联。