CN114137511A - 一种基于多源异构传感器的机场跑道异物融合探测方法 - Google Patents

Abstract

本发明公开了一种基于多源异构传感器的机场跑道异物融合探测方法，包括：S1，循环交替采集原始雷达数据和原始光学数据；S2，筛选出目标匹配的原始雷达数据和原始光学数据并进行关联，得到疑似目标数据；S3，融合每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文，得到每个疑似目标的融合结果；S4，根据融合结果判断对应的疑似目标是否为异物，若是，则进行异物上报；否则，进而二次确认，二次确认包括再次执行步骤S1‑S3。本发明通过多个不同传感器的数据进行信息融合，给出了雷达数据及视频数据时空融合方法，并且对未成功融合的探测数据进行异种探测体制二次确认，最后综合整体融合情况输出异物信息，提高了目标检测率，降低了系统虚警率。

Description

一种基于多源异构传感器的机场跑道异物融合探测方法

技术领域

本发明涉及异物探测领域，尤其是一种基于多源异构传感器的机场跑道异物融合探测方法。

背景技术

目前机场跑道异物(FOD，Foreign Object Debris)探测模式主要有：雷达单一探测模式、视频单一探测模式等。毫米波雷达探测技术探测精度高、分辨率高，能够对目标进行准确定位，最大的优点是不受天气状况影响，缺点是无法区分颜色，因此无法提供直观真实的视频图像。激光雷达也存在与毫米波雷达同样的问题。视频图像技术可提供FOD视频图像，并根据需要对FOD视频进行局部缩放，因此可直观了解是何种FOD，缺点是容易受到天气条件和光照的影响，在恶劣天气或低能照度的情况下，探测性能会大幅下降。采用单一的传感器技术进行FOD探测，都会由于其自身的缺点而无法满足机场的实际需求。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于多源异构传感器的机场跑道异物融合探测方法，利用融合技术及异种体制二次确认方法，提高FOD检测率、降低系统虚警率。

本发明提供了一种基于多源异构传感器的机场跑道异物融合探测方法，所述多源异构传感器包括雷达传感器和光学传感器；所述方法包括步骤：

S1，循环交替采集原始雷达数据和原始光学数据；所述原始雷达数据通过所述雷达传感器采集；所述原始光学数据通过所述光学传感器采集；所述原始雷达数据包括雷达目标数据和雷达定位数据；所述原始光学数据包括光学目标数据和光学定位数据

S2，根据所述雷达定位数据、所述光学定位数据及预先设定的雷达传感器标定数据和光学传感器标定数据，筛选出目标匹配的原始雷达数据和原始光学数据并进行关联，得到疑似目标数据；所述疑似目标数据包括多个疑似目标及每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文；

S3，融合所述每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文，得到每个疑似目标的融合结果；

S4，根据所述融合结果判断对应的疑似目标是否为异物，若是，则进行异物上报；否则，进而二次确认，所述二次确认包括再次执行步骤S1-S3。

优选地，还包括步骤S5，根据二次确认的融合结果判断对应的疑似目标是否为异物，若是，则进行异物上报；否则，判定为虚警。

优选地，在所述步骤S2之前还包括对所述原始雷达数据和原始光学数据进行空间配准。

优选地，所述对所述原始雷达数据和原始光学数据进行空间配准包括：通过转换坐标系将所述原始雷达数据和原始光学数据进行空间配准。

优选地，所述转换坐标系包括：

将雷达坐标系转换为雷达投影坐标系；

将雷达投影坐标系转换为世界坐标系；

将世界坐标系转换为相机坐标系；

将相机坐标系转换为图像坐标系；

将图像坐标系转换为像素坐标系。

优选地，所述将雷达坐标系转换为雷达投影坐标系包括计算雷达坐标与雷达投影坐标的映射关系，

其中，(d_r，α_r)为雷达坐标系下的坐标，(x_rw，y_rw，z_rw)为雷达投影坐标，H_r为雷达传感器的安装高度,θ_i为雷达传感器当前所在光学预置位角度；

所述将雷达投影坐标系转换为世界坐标系包括计算雷达投影坐标与世界坐标的映射关系，

其中，(x_w，y_w，z_w)为世界坐标，(l₁，l₂，l₃)为雷达传感器安装点；

所述将世界坐标系转换为相机坐标系包括计算世界坐标与相机坐标的映射关系，

其中，(x_c，y_c，z_c)为相机坐标；所述光学传感器包括相机，θ_c为摄像机像平面的倾斜角度；

所述将相机坐标系转换为图像坐标系包括计算相机坐标与图像坐标的映射关系，

其中，(x，y)为图像坐标，f_x和f_y为相机焦距；

所述将图像坐标系转换为像素坐标系包括计算图像坐标与像素坐标的关系，

可得，

其中，(μ，v)为像素坐标，d_x和d_y表示感光芯片上像素的实际大小，μ₀和ν₀为光心坐标。

优选地，在所述步骤S2之前还包括对所述原始雷达数据和原始光学数据进行时间同步。

优选地，所述步骤S1之前还包括初始化步骤；所述初始化步骤包括：

获取先验信息；所述先验信息包括雷达传感器部署点GPS信息、光学传感器部署点GPS信息、雷达扫描起止角度、光学预置位个数、每个光学预置位角度、雷达传感器和光学传感器安装的位置关系、相机分辨率、相机内参、畸变系数和相机视长角；

获取雷达传感器标定数据和光学传感器标定数据。

本发明的有益效果为：

1、异物检测率高：本发明是在多源异构传感器的基础上，使用雷达和光学多个传感源信息，进行融合探测，结合雷达低照度下的探测优势、光学在小目标和非金属目标的探测能力，具有较高的异物检测率；

2、虚警误报率低：传统的单一体制或者融合多体制，只经过一次融合就得出评估结果，本发明在此基础上进行二次确认，使得虚警误报率更低；

3、算法性能稳定：本发明采用雷达与光学进行融合探测，集中了各自的探测优势，避免了各自的探测劣势，使得探测算法在各种天气情况下、各种异物目标、都保持相对稳定的探测性能，并采用二次确认模式，可靠性更高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例的流程示意图；

图2为本发明实施例传感器设置的示意图；

图3为本发明实施例雷达坐标系和雷达投影坐标系的示意图；

图4为本发明实施例世界坐标系、相机坐标系、图像坐标系和像素坐标系的示意图。

附图中，1为机场跑道，2为传感器，3为第一异物，4为第二异物，5为第三异物。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一

如图1所示，本发明实施例提供了一种基于多源异构传感器的机场跑道异物融合探测方法，图1中的传感器包括雷达传感器和光学传感器，包括以下步骤：

S1，循环交替采集原始雷达数据和原始光学数据。原始雷达数据通过雷达传感器采集，原始光学数据通过光学传感器采集；原始雷达数据包括雷达目标数据和雷达定位数据；原始光学数据包括光学目标数据和光学定位数据；

S2，根据雷达定位数据、光学定位数据及预先设定的雷达传感器标定数据和光学传感器标定数据，筛选出目标匹配的原始雷达数据和原始光学数据并进行关联，得到疑似目标数据。疑似目标数据包括多个疑似目标及每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文；

S3，融合每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文，得到每个疑似目标的融合结果；

S4，若融合结果明确显示对应的疑似目标为异物，则对疑似目标进行分类，判定为异物并进行异物上报；若融合结果不能明确确定为异物，则对疑似目标的状态进行分析，并判断是否对该疑似目标进行二次确认，若是，则再次执行步骤S1-S3；

S5，若二次确认的融合结果仍然不能明确确定为异物，则不再进行确认，判定该疑似目标为虚警；若二次确认的融合结果判断为异物，则进行异物上报。

实施例二

为进一步说明本实施例的技术方案，以下以一具体应用场景进行阐述。本发明实施例提供的一种基于多源异构传感器的机场跑道异物融合探测方法，包括以下步骤：

步骤一，初始化；

a)在实际部署环境中，由于飞机跑道中线处存在拱高，因此跑道两侧传感器只能覆盖本侧靠近自己的半侧跑道。根据机场实际情况部署传感器，传感器部署情况如图2所示。其中，本发明实施例中，传感器集成有雷达传感器和光学传感器，光学传感器包括相机和摄像头。第一异物是指同时被四个传感器发现的异物，第二异物是指同时被两个传感器发现的异物，第三异物是指被一个传感器发现的异物；

b)获取先验信息，如传感器部署点GPS信息、雷达扫描起止角度、光学预置位个数、每个光学预置位角度、雷达传感器和相机安装的位置关系、相机分辨率、相机内参、畸变系数、相机视长角等；

c)获取雷达传感器及光学传感器的标定信息，用于目标定位及不同传感器中同一个疑似目标的关联。

步骤二，传感器组网并进行数据采集及分析，包括采集原始雷达数据及原始光学数据，雷达传感器采集一轮数据，光学传感器采集一轮数据，循环往复交替进行；

a)系统扫描过程中，雷达传感器持续地采集数据，原始雷达数据主要包括：目标距离、目标角度及目标信号强度；原始雷达数据还包括采集时间、传感器类型、传感器编号、轮数等相关信息。

b)系统扫描过程中，光学传感器持续采集图片数据，采集的原始光学数据主要包括：目标ROI、采集时间、检测图片、背景图片、传感器号、传感器类型、场景号、轮数等相关信息。光学传感器可通过相机采集图片数据，还可通过摄像头采集视频数据，抽帧后得到图片数据。

步骤三，对原始雷达数据和原始光学数据进行时间同步。由于雷达传感器和光学传感器交替采集数据，时间同步上相对比较简单，根据采集轮数，即可对原始雷达数据及原始光学数据进行时间同步；

步骤四，对原始雷达数据和原始光学数据进行空间配准；

a)定义坐标系，坐标系位置关系如图3、图4所示：

雷达坐标系O_r(d_r，α_r)是一个极坐标系，原点O_r为该传感器部署点，旋转角度为顺时针，原点与左手边最近传感器部署点的连线为0°，雷达反馈的目标距离为d_r，雷达反馈的角度为α_r。

雷达投影坐标系O_rw(x_rw，y_rw，z_rw)是三维直角坐标系，原点O_rw为雷达探测中心，x_rw轴指向传感器右侧，y_rw轴为竖直方向向下，z_rw轴指向传感器前方且与目标所在光学预置位角度θ_i重合。

世界坐标系O_w(x_w，y_w，z_w)是三维直角坐标系，原点O_w为雷达探测中心，x_w轴指向传感器右侧，y_w轴为竖直方向向下，z_w轴指向传感器前方且与目标所在光学预置位角度θ_i重合。

相机坐标系O_c(x_c，y_c，z_c)是三维直角坐标系，原点O_c为相机坐标系下的光心点，x_c轴指向相机右侧，y_c轴为竖直方向向下，z_c轴为相机光轴方向。

图像坐标系O(x，y)是二维坐标系，原点O是相机光轴与像平面的交点，x轴为水平向右方向，y轴为竖直向下方向。

像素坐标系(μ，v)的原点为O₀，横坐标μ和纵坐标ν分别是图像所在的行和列。

b)坐标系的转换关系：

雷达坐标转雷达投影坐标系：假设某个传感器设置n个预置位，每个预置位对应角度为θ_i；雷达探测中心的安装高度为H_r，雷达传感器当前所在光学预置位角度θ_i，则有：

雷达投影坐标转世界坐标：世界坐标系与雷达投影坐标系，完全平行，只是原点不一致，因此世界坐标系到相机坐标系，只需要做简单的平移就能满足需求。假设相机和雷达传感器安装在同一个传感器，相机安装点为世界坐标系原点，雷达传感器安装点为世界坐标系点(l₁，l₂，l₃)，则有：

世界坐标转相机坐标：世界坐标系与相机坐标系，原点一致，世界坐标系到相机坐标系，只需要绕x_w轴旋转-θ_c就能满足需求，则有：

即

相机坐标转图像坐标：根据小孔成像原理，先对像平面坐映射，再根据相似三角形可知，相机坐标系与图像坐标系的关系如下，其中f_x，f_y表示相机焦距：

图像坐标转像素坐标：图像坐标系(x，y)的原点，为像素坐标系的中点。则图像坐标系和像素坐标系的关系如下，假设物理坐标系中的单位为毫米，那么d_x的单位为毫米/像素。那么x/d_y的单位就是像素了，即和μ的单位一样。

整理可得，

其中μ₀、v₀、f_x、f_y、d_x、d_y、l₁、l₂、l₃、d_r、H_r、θ_c、α_r和θ_i都是假设出来的参数，μ₀、v₀是光轴偏移量即光心坐标；f_x和f_y为焦距；d_x和d_y表示感光芯片上像素的实际大小，假设物理坐标系中的单位为毫米，那么d_x的单位为毫米/像素；l₁和l₂分别为雷达投影坐标系和摄像头投影坐标系x轴之间的间距和y轴之间的间距；d_r是雷达传感器发现目标时，雷达传感器反馈的目标距离；H_r是雷达传感器的安装高度；θ_c是摄像机像平面的倾斜角度，α_r是雷达传感器上报目标角度，θ_i为雷达传感器当前所在预置位角度。μ₀、v₀、f_x、f_y、d_x、d_y可以通过相机标定获得；l₁、l₂、l₃、d_r、H_r、θ_c可以通过雷达传感器和相机的安装装配位置获得。

步骤五，关联；

a)跑道不同区域，冗余覆盖程度不同，有的区域只有一个传感器覆盖、有的两个、有的四个。理想情况下，一个异物最多可能产生8条报文(每个传感器包含光学传感器和雷达传感器)，最少产生2条报文。

b)根据初始化的标定信息、雷达定位数据和光学定位数据，确认来自不同传感器采集的数据是否包含同一个目标，如果是，就关联成同一个目标，得到疑似目标数据。疑似目标数据包括多个疑似目标及每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文。

步骤六，融合每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文，得到每个疑似目标的融合结果；假设有N个真实目标，经过雷达传感器和光学传感器扫描，上报了m个报文，其中真实目标n个，那么检测率为p＝n/N，虚警率为q＝(m-n)/m；假设某个目标所在区域被k个传感器覆盖，按照如下表格进行判别：

步骤七，若融合结果显示对应的疑似目标为异物，则进行异物上报；若融合结果显示为待定则进行二次确认。又收集一轮原始雷达数据和原始光学数据，重复时间同步、空间配准、关联和融合，若二次确认结果仍不能确定是否为异物即二次确认结果仍为待定，则判定该疑似目标为虚警。

重复步骤三到七。

本发明实施例提供的一种基于多源异构传感器的机场跑道异物融合探测方法，在多源异构传感器的基础上，使用雷达和光学多个传感源信息，进行融合探测，结合雷达低照度下的探测优势、光学在小目标和非金属目标的探测能力，使得本发明实施例具有具有较高的异物检测率；传统的单一体制或者融合体制，只经过一次融合就得出评估结果，本发明在这基础上进行二次确认，使得虚警误报率更低；本发明采用雷达与光学进行融合探测，集中了各自探测优势，避免了各自探测劣势，使得探测算法在各种天气情况下、各种异物目标、都保持相对稳定的探测性能，并采用二次确认模式，可靠性更高。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于多源异构传感器的机场跑道异物融合探测方法，所述多源异构传感器包括雷达传感器和光学传感器；其特征在于，所述方法包括步骤：

S1，循环交替采集原始雷达数据和原始光学数据；所述原始雷达数据通过所述雷达传感器采集；所述原始光学数据通过所述光学传感器采集；所述原始雷达数据包括雷达目标数据和雷达定位数据；所述原始光学数据包括光学目标数据和光学定位数据；

S2，根据所述雷达定位数据、所述光学定位数据及预先设定的雷达传感器标定数据和光学传感器标定数据，筛选出目标匹配的原始雷达数据和原始光学数据并进行关联，得到疑似目标数据；所述疑似目标数据包括多个疑似目标及每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文；

S3，融合所述每个疑似目标对应的雷达疑似目标报文和光学疑似目标报文，得到每个疑似目标的融合结果；

S4，根据所述融合结果判断对应的疑似目标是否为异物，若是，则进行异物上报；否则，进而二次确认，所述二次确认包括再次执行步骤S1-S3。

2.根据权利要求1所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，还包括步骤S5，根据二次确认的融合结果判断对应的疑似目标是否为异物，若是，则进行异物上报；否则，判定为虚警。

3.根据权利要求1所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，在所述步骤S2之前还包括对所述原始雷达数据和原始光学数据进行空间配准。

4.根据权利要求3所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，所述对所述原始雷达数据和原始光学数据进行空间配准包括：通过转换坐标系将所述原始雷达数据和原始光学数据进行空间配准。

5.根据权利要求4所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，所述转换坐标系包括：

将雷达坐标系转换为雷达投影坐标系；

将雷达投影坐标系转换为世界坐标系；

将世界坐标系转换为相机坐标系；

将相机坐标系转换为图像坐标系；

将图像坐标系转换为像素坐标系。

6.根据权利要求5所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，

所述将雷达坐标系转换为雷达投影坐标系包括计算雷达坐标与雷达投影坐标的映射关系，

其中，(d_r，α_r)为雷达坐标，(x_rw，y_rw，z_rw)为雷达投影坐标，H_r为雷达传感器的安装高度,θ_i为雷达传感器当前所在光学预置位角度；

所述将雷达投影坐标系转换为世界坐标系包括计算雷达投影坐标与世界坐标的映射关系，

其中，(x_w，y_w，z_w)为世界坐标，(l₁，l₂，l₃)为雷达传感器安装点；

所述将世界坐标系转换为相机坐标系包括计算世界坐标与相机坐标的映射关系，

其中，(x_c，y_c，z_c)为相机坐标；所述光学传感器包括相机，θ_c为摄像机像平面的倾斜角度；

所述将相机坐标系转换为图像坐标系包括计算相机坐标与图像坐标的映射关系，

其中，(x，y)为图像坐标，f_x和f_y为相机焦距；

所述将图像坐标系转换为像素坐标系包括计算图像坐标与像素坐标的关系，

可得，

其中，(μ，v)为像素坐标，d_x和d_y表示感光芯片上像素的实际大小；

μ₀和v₀为光心坐标。

7.根据权利要求1所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，在所述步骤S2之前还包括对所述原始雷达数据和原始光学数据进行时间同步。

8.根据权利要求1所述的一种基于多源异构传感器的机场跑道异物融合探测方法，其特征在于，在所述步骤S1之前还包括初始化步骤；所述初始化步骤包括：

获取先验信息；所述先验信息包括雷达传感器部署点GPS信息、光学传感器部署点GPS信息、雷达扫描起止角度、光学预置位个数、每个光学预置位角度、雷达传感器和光学传感器安装的位置关系、相机分辨率、相机内参、畸变系数和相机视长角；

获取雷达传感器标定数据和光学传感器标定数据。

Images