CN115222819A

CN115222819A - 一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法

Info

Publication number: CN115222819A
Application number: CN202210767906.0A
Authority: CN
Inventors: 罗晓燕; 朱衍波; 常宇; 王雅民; 卢京泽; 张磊
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2022-06-30
Filing date: 2022-06-30
Publication date: 2022-10-21

Abstract

本发明设计了一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法，属于计算机视觉技术领域。本发明通过飞机导航信息以及相机有关参数获取飞机地理坐标、实际像素坐标、理论像素坐标三级坐标，然后根据地理坐标的几何特性以及三级坐标间的对应关系，解出像素坐标与地理坐标的对应矩阵，再引入典型参考点进行外参标定，通过相机内外参解算出的典型目标点实时位置，获得检测误差，最后利用对应矩阵，结合目标检测算法，解算出非合作检测目标的实时位置，在机场大范围场景下的安全监测领域具有重大意义。

Description

一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法

技术领域

本发明涉及相机标定技术领域，提出了一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法，在机场大范围场景下的安全监测具有重大意义。

背景技术

在机器视觉领域，相机标定是采集理想视觉数据的前提与关键技术。然而，由于生产加工等技术问题会导致相机存在误差，并且在使用过程中由于各种物理或化学因素的影响，相机会不断产生新的误差，甚至会造成误差累积。因此，在实际过程当中需要对相机进行标定，并对标定结果进行不断修正以获得理想的使用效果。

按照现有相机标定技术方法，可以将其大致可分为三类：传统摄影测量学中的相机标定方法、主动视觉标定方法以及自标定方法。传统摄影测量学中的相机标定方法需要精密加工得到的标定块，通过测量相机与标定块之间的位置关系，依据已知的标定块的几何位形关系完成标定；主动视觉方法则需要控制相机做精确的特定运动，如绕光心旋转或纯平移等，然后根据在多个位置拍摄得到的图像以及相机在每个位置的姿态完成标定；而自标定技术利用相机自身的约束，通过对于同一静止物体进行多次拍摄，或多个相机同时进行拍摄，利用图像序列间的约束关系进行标定，此种方法精度以及鲁棒性差，不适用实时性较强的场合。

在机场大范围场景下，对于传统摄影测量学中的相机标定方法，标定块体积、数量以及加工精度难以满足要求，成本较高但标定精度较低；对于主动视觉标定方法，绝大部分机场现有监控设备不支持受控精准运动，若应用主动视觉标定方法，需进行改装，成本极高；对于单纯的相机自标定技术，其本身的标定精度以及鲁棒性不高，难以直接应用。

综上所述，现有研究尚没有一种适用于机场大范围场景的标定和目标跟踪方法。本发明提出一种基于飞机多级坐标间的对应关系，通过机场中存在典型几何约束的点集，进行相机外参标定并结合目标检测算法实时计算目标位置信息的方法。

发明内容

本发明的目的在于提出一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法。

本发明的特征在于提供了一种基于机场大范围场景下多模信息参照的相机自标定方法，结合机场大范围场景下飞机与相机相对运动可精确测定的特点，依托飞机导航信息以及机场典型几何约束构成的多模信息，以相机自标定方法为基础，综合传统摄影测量学中的相机标定方法以及主动视觉标定方法的特性，在机场大范围场景下解决了相机自标定精度以及时效性差的问题。

本发明提供的基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法，包括以下步骤：

1)通过GBAS系统获取飞机地理坐标；

2)图像内检测飞机像素坐标，并计算飞机在像素坐标系中的理想坐标；

3)形成图像像素级与地理空间级的飞机坐标对应矩阵；

4)寻找典型目标点作为参考点，确定典型几何约束；

5)根据参考点确定的几何约束以及飞机多级坐标构成的多模信息，进行相机外参标定；

6)通过对应矩阵解算出的典型目标点实时位置；

7)根据需求，进一步解算出非合作检测目标的实时位置；

本发明的系统具有如下特点：

1、算法简单，通用性强。

本发明的方法具有如下特点：

1、有效对标定结果进行不断修正以获得理想的使用效果；

2、结合对相机的物理参数与飞机的各级坐标进行相机标定；

3、对大范围场景中的目标位置能实时计算位置信息。

附图说明

图1基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法工作流程图

图2理想像素坐标计算流程图

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于机场大范围场景下几何约束及导航信息的相机自标定及目标追踪方法，可以有效提升标定精度与实时性，对机场大范围情景下安全监控重大的意义。

实际应用中的具体实施流程如图1所示，具体为：

1)通过GBAS系统，对大范围监控下飞机沿指示线在地面上行驶时的地理位置信息间隔合适时间取样，获取对应t_k时刻飞机地理坐标W_k(x_k,y_k,z_k)，k＝1，2，3，4,...,n；

2)确定地理信息与机身的相对位置关系，通过目标检测算法，根据飞机的几何尺寸，获取图像中对应时刻飞机的像素坐标并根据飞机实际坐标以及相机各项参数，利用小孔成像模型计算出飞机各个时刻在像素坐标系中的理想坐标；

首先，确定地理坐标V_k在机身上的详细位置；

然后，通过YOLO等目标检测算法，根据飞机的几何尺寸，获取图像中t_k时刻飞机地理坐标W_k对应的像素坐标

3，4,...,n；

最后，根据飞机地理坐标W_k(x_k,y_k,z_k)、相机位置坐标(x₀,y₀,z₀)，相机光轴与竖直方向夹角Φ、与水平参考方向夹角θ以及焦距f、像素在相机感光板上的物理长度dx、dy，利用小孔成像模型计算出t_k时刻飞机在像素坐标系中的理想坐标V_k(u_k,v_k)，k＝1，2，3，4,...,n；

具体的，在2)中计算飞机在像素坐标系中的理想坐标步骤如下：

首先，根据相机光轴与竖直方向夹角Φ、与水平参考方向夹角θ以及飞机地理坐标W_k(x_k,y_k,z_k)、相机位置坐标(x₀,y₀,z₀)，将飞机地理坐标转换为以光轴为轴的柱面坐标(ρ_k,θ_k,l_k)。

然后，以小孔成像模型，将(ρ_k,θ_k,l_k)转换为成像平面上的极坐标

再转换为理想像素坐标(u_k,v_k)，其中

其中f为相机焦距、dx、dy为像素在相机感光板上的物理长度，u₀，v₀为像素坐标系原点的偏移量。

其中飞机地理坐标W_k(x_k,y_k,z_k)、相机位置坐标(x₀,y₀,z₀)可通过定位信息直接获得，Φ、θ可通过精密测量仪器直接测得，u₀、v₀、f、dx、dy可通过光学方法在实验室中测量。

3)对飞机的各级坐标进行分类，再参照分类后的飞机三级坐标求解地理坐标级与图像像素级对应矩阵，舍弃有明显误差的坐标点，将平均值作为最终的对应矩阵；

首先，对飞机地理坐标W_k(x_k,y_k,z_k)，k＝1，2，3，4,...,n；以线性相关的坐标为同一类的分类方法进行分类，分为m组；

然后，按S12所述分类方法，以时间t_k为基准，将像素坐标

以及理想像素坐标V_k(u_k,v_k)，k＝1，2，3，4,...,n，对应到S31所述m组中；

最后，将m组理想像素坐标V_k、飞机地理坐标W_k带入W_k＝HV_k中，求解对应矩阵H，解出的m个值舍去有明显误差的，其余值求平均值作为最终的对应矩阵H。

4)寻找典型目标点作为参考点；

首先，人工选取飞机轨迹周围合适区域，使得区域内包含有成像清晰的指示线；

然后，对选取得到区域利用canny算子监测边缘方法提取边缘特征，获取边缘像素及其方向向量，使用shi-tomasi角点提取算法提取指示若干线角点像素坐标(u,v)，根据飞机相对坐标V_k以及指示线的位形数据计算出若干角点的实际坐标(x_w,y_w,z_w)。

5)将飞机理想像素坐标、实际像素坐标带入求解畸变方程，求出去畸矩阵，再根据像素坐标系与世界坐标系中坐标的对应关系求解出若干组旋转矩阵、平移矩阵，实现相机标定；

首先，分别将m组飞机理想像素坐标V_k、像素坐标

带入求解方程

其中，

得到m组k₁,k₂,k₃,p₁,p₂，将有明显误差的数据舍去，取剩余数据平均值作为畸变参数，并求出去畸矩阵D；

然后，根据

求解出若干组旋转矩阵R、平移矩阵T，取平均值作为最终的R、T，其中D为去畸矩阵，I为内参矩阵。

6)通过对应矩阵解算出的典型目标点实时位置；

首先，选取图像中可检测性好、检测误差小的若干角点使用shi-tomasi角点提取算法提取指示若干线角点像素坐标(u_n,v_n)，根据飞机理想像素坐标坐标V_k、飞机地理坐标W_k、以及已知的几何约束计算出若干角点的实际坐标(x_n,y_n,z_n)；

然后，将实际坐标(x_n,y_n,z_n)带入到公式(2)中，解出坐标

与实际坐标(x_n,y_n,z_n)逐一作差、求得平方和的平均值S，以

为误差；

最后，设第一次检测时误差为

每间隔适宜时间，重新进行检测，获取误差

若

大于某一值，则重复进行S1至S6，重新进行标定以修正相机使用过程中产生的累计误差。

7)使用目标识别算法进行目标识别，检测出图像中非合作目标的像素坐标，再使用多模信息参照下求得的对应矩阵求解出非合作目标的实际坐标，实现目标追踪；

首先进行预训练。使用ImageNet数据集训练YOLO网络，为了获取目标的抽象判别信息，采用深度卷积神经网络进行目标特征提取；

然后，使用预训练得到的模型来初始化YOLO模型的网络参数，然后用VOC数据集进行模型的训练与微调。

将训练好的YOLO模型用于飞机的检测，在检测框内提取飞机的轮廓并获取质心，利用质心与飞机的尺寸计算出与飞机地理坐标对应的像素坐标；

然后，带入W_t＝HV_t求解出非合作目标的实际坐标W_t(x_t,y_t,z_t)；

最后，在实际坐标的基础上增加误差项，以

作为带误差的坐标值。

具体的，在7)中，首先进行YOLO模型的预训练。使用包含1000个类别的ImageNet数据集训练YOLO网络所采用DarkNet53的前20个卷积层+1个average池化层+1个全连接层。

然后使用预训练模型来初始化YOLO模型前20个卷积层的网络参数，然后通过具有20个类别的VOC数据集对YOLO模型进行训练与微调。

最后，将训练好的YOLO模型用于飞机的检测，在检测框内提取飞机的轮廓并获取质心，利用质心与飞机的尺寸计算出与飞机地理坐标对应的像素坐标。

实施例

本项目的具体实施过程如图1所示。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法，其特征在于，通过GBAS系统，对大范围监控下飞机沿指示线在地面上行驶时的地理位置信息间隔合适时间取样，获取对应时刻飞机地理坐标；在确定地理信息与机身的相对位置关系之后，再通过目标检测算法，根据飞机的几何尺寸，获取图像中对应时刻飞机的像素坐标并根据飞机实际坐标以及相机各项参数，利用小孔成像模型计算出飞机各个时刻在像素坐标系中的理想坐标；对飞机的各级坐标进行分类，再参照分类后的飞机三级坐标求解地理坐标级与图像像素级对应矩阵，舍弃有明显误差的坐标点，将平均值作为最终的对应矩阵；选取飞机轨迹周围合适区域，再对选取得到区域通过边缘检测方法提取边缘特征，使用角点提取算法提取指示若干线角点像素坐标，再根据飞机相对坐标以及指示线的位形数据计算出若干角点的实际坐标，作为标定的实际参照；将飞机理想像素坐标、实际像素坐标带入求解畸变方程，求出去畸矩阵，再根据像素坐标系与世界坐标系中坐标的对应关系求解出若干组旋转矩阵、平移矩阵，实现相机标定。

2.选取图像中可检测性好、检测误差小的若干角点使用角点提取算法提取指示若干线角点像素坐标，根据飞机各级坐标以及几何约束等多模信息计算出若干角点的实际坐标，并根据多级坐标间对应关系，解出坐标的计算值，与实际坐标逐一作差，求得平方和的平均值，将其平方根作为误差，此后间隔合适时间，参照新的多模信息，重新进行标定，以修正相机使用过程中产生的累计误差产生的影响，实现对相机标定结果的校准。

3.使用目标识别算法进行目标识别，检测出图像中非合作目标的像素坐标，再使用多模信息参照下求得的对应矩阵求解出非合作目标的实际坐标，实现目标追踪。