CN112525145A - 一种飞机降落相对姿态动态视觉测量方法及系统 - Google Patents

Abstract

本申请涉及一种飞机降落相对姿态动态视觉测量方法及系统，其中，该方法包括：对飞机进行目标跟踪并采集图像；获取飞机的标定位姿；根据标定位姿将飞机的三维模型投影到二维平面，基于此初始化外观模型；以及确定后续图像对应的位姿，包括：步骤A，根据外观模型对当前帧进行目标分割得到第一分割结果；步骤B，将上一帧的位姿设置为当前帧的初始位姿；步骤C，根据初始位姿将飞机的三维模型投影到二维平面，并进行目标分割得到第二分割结果；步骤E，根据交叉熵损失函数确定目标分割损失；步骤F，以最小化目标分割损失为目标确定位姿更新值；步骤G，根据位姿更新值更新初始位姿，返回步骤C进行迭代优化直至收敛，得到当前帧的位姿。

Description

一种飞机降落相对姿态动态视觉测量方法及系统

技术领域

本申请涉及计算机领域，尤其涉及一种飞机降落相对姿态动态视觉测量方法及系统。

背景技术

降落是飞机全部飞行过程中最容易发生事故的阶段。这一过程要求飞机以最优的速度、姿态降落在全长3km左右的跑道上。对于在航空母舰上降落等特殊任务，飞机需要准确降落在300米左右长的降落甲板上，对于固定翼飞机，其需要以特定姿态着陆以便尾勾勾住阻拦索。这对飞机着陆过程中飞机相对于跑道的位姿的准确测量及控制提出了较高要求。

目前，对于飞机相对于跑道或舰艇的姿态测量通常使用机载惯性导航系统与舰艇搭载的惯性导航系统配合获得，该系统具有技术成熟，输出速度快，精度高的优点。但是惯性导航系统存在随时间累积的误差，需要GNSS系统辅助补偿修正误差。在特殊环境下的应用受到限制。利用GNSS系统，在飞机上部署多个卫星天线，也可实现飞机的定姿、定位目标。此方案无须初始对准，不存在随时间积累的误差，具有高精度、低成本、重量轻的特点，但是受卫星信号质量的限制。此外，无线电雷达及激光雷达等通过向目标发送扫描波束，结合伺服平台数据可实现飞机的定位功能，但不能获得飞机姿态。

相关技术中，提出使用机载视觉的方式辅助测量飞机相对舰艇的位姿，这些方法通常采用机载成像设备对舰艇上已知的显著特征点、标志物或者人工设置的辅助目标进行拍摄，识别出对应目标后作进一步融合计算。受飞机载荷限制，这些算法通常较为简单，难以进行复杂处理，精度难以提升，且作用距离有限。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种飞机降落相对姿态动态视觉测量方法及系统。

第一方面，本申请提供了一种飞机降落相对姿态动态视觉测量方法，包括：对飞机进行目标跟踪并采集图像，以获得飞机位于图像中预设范围内的图像；获取飞机的标定位姿，其中，标定位姿是基于采集的作为初始图像的一帧图像标定得到的；根据标定位姿将飞机的三维模型投影到二维平面，得到标定位姿对应的目标图像和目标掩膜图像；根据所述标定位姿对应的目标图像和目标掩膜图像初始化外观模型；以及按照以下方式确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿：步骤A，根据外观模型对当前帧图像进行目标分割得到第一分割结果，其中，第一分割结果包含当前帧图像中各个像素归属于飞机的概率；步骤B，将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当上一帧图像为初始图像时，初始位姿为标定位姿；步骤C，根据初始位姿将飞机的三维模型投影到二维平面，得到初始位姿对应的目标掩膜图像；步骤D，基于初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中第二分割结果包含目标掩膜图中各个像素归属于飞机的概率；步骤E，根据交叉熵损失函数确定第一分割结果与第二分割结果之间的目标分割损失；步骤F，以最小化目标分割损失为目标确定位姿更新值；步骤G，根据位姿更新值更新初始位姿，返回步骤C进行迭代优化直至收敛，将收敛时的初始位姿作为当前帧图像的位姿，并根据当前帧图像更新外观模型。

在某些实施例中，确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿中，步骤A，还包括：提取当前帧图像的稠密成像特征；步骤E，还包括：根据初始位姿和上一帧图像的位姿，确定当前帧图像中归属于飞机的像素点与上一帧图像中归属于飞机的像素点之间的对应关系；确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；步骤F，包括：确定目标分割损失与特征匹配损失的加权和，得到位姿估计损失；以最小化位姿估计损失为目标确定位姿更新值。

在某些实施例中，步骤E，包括：根据交叉熵损失函数确定第一分割结果与第二分割结果中每个像素之间的差异值；确定各个像素之间的差异值之和，将差异值之和作为目标分割损失。

在某些实施例中，确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失，包括：确定当前帧图像中归属于飞机的各个像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失；确定各个像素之间的差异损失之和，将差异损失之和作为特征匹配损失。

在某些实施例中，上述方法还包括：根据变焦成像单元的坐标系与目标坐标之间的转换关系，将当前帧图像对应的位姿转换到目标坐标系，得到目标坐标系下的位姿。

第二方面，本申请提供了一种飞机降落相对姿态动态视觉测量系统，包括：变焦成像单元；伺服单元，设置为调整所述变焦成像单元的方位和/或俯仰角；视觉处理单元，所述视觉处理单元被配置为实现飞机降落相对姿态动态视觉测量方法的步骤，包括：控制变焦成像单元和伺服单元对飞机进行目标跟踪并采集图像，以获得飞机位于图像中预设范围内的图像；获取飞机的标定位姿，其中，标定位姿是基于变焦成像单元采集的作为初始图像的一帧图像标定得到的；根据标定位姿将飞机的三维模型投影到二维平面，得到标定位姿对应的目标图像和目标掩膜图像；根据标定位姿对应的目标图像和目标掩膜图像初始化外观模型；以及按照以下方式确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿：步骤A，根据外观模型对当前帧图像进行目标分割得到第一分割结果，第一分割结果包含当前帧图像中各个像素归属于飞机的概率；步骤B，将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当上一帧图像为初始图像时，初始位姿为标定位姿；步骤C，根据初始位姿将飞机的三维模型投影到二维平面，得到初始位姿对应的目标掩膜图像；步骤D，基于初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中第二分割结果包含目标掩膜图像中各个像素归属于飞机的概率；步骤E，根据交叉熵损失函数确定第一分割结果与第二分割结果之间的目标分割损失；步骤F，以最小化目标分割损失为目标确定位姿更新值；步骤G，根据位姿更新值更新初始位姿，返回步骤C进行迭代优化直至收敛，将收敛时的初始位姿作为当前帧图像的位姿，并根据当前帧图像更新外观模型。

在某些实施例中，确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿中，步骤A，还包括：提取当前帧图像的稠密成像特征；步骤E，还包括：根据初始位姿和上一帧图像的位姿，确定当前帧图像中归属于飞机的像素点与上一帧图像中归属于飞机的像素点之间的对应关系；确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；步骤F，包括：确定目标分割损失与特征匹配损失的加权和，得到位姿估计损失；以最小化位姿估计损失为目标确定位姿更新值。

在某些实施例中，步骤E，包括：根据交叉熵损失函数确定第一分割结果与所述第二分割结果中每个像素之间的差异值；确定各个像素之间的差异值之和，将所述差异值之和作为目标分割损失。

在某些实施例中，确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失，包括：确定当前帧图像中归属于飞机的各个像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失；确定各个像素之间的差异损失之和，将差异损失之和作为特征匹配损失。

在某些实施例中，视觉处理单元被配置为实现飞机降落相对姿态动态视觉测量方法的步骤，还包括：根据变焦成像单元的坐标系与目标坐标之间的转换关系，将当前帧图像对应的位姿转换到目标坐标系，得到目标坐标系下的位姿。

本申请实施例提供的上述技术方案与相关技术相比具有如下优点：本申请实施例提供的该技术方案，其从原理上不存在累积误差，可通过计算机视觉的方式直接获得飞机的位姿。该技术方案不受体积、重量及功率的限制很小，可充分利用现有的计算能力，进行复杂处理，提升位姿数据的准确性以及系统工作的可靠性，且为不受环境复杂电磁干扰的全自主测量模式。并且，该技术方案中，根据外观模型对采集的图像进行目标分割，目标分割结果包含当前帧图像中各个像素归属于飞机的概率，相较于点、线等几何特征的提取，极大的提高了计算效率，保证了位姿估计的实时性。进一步的，根据交叉熵损失函数确定分割结果之间的目标分割损失，能够实现并行计算，进一步提高计算速度，保证位姿估计的实时性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的飞机降落相对姿态动态视觉测量方法一种实施方式的流程图；

图2为本申请实施例提供的飞机降落相对姿态动态视觉测量系统一种实施方式的硬件结构示意图；

图3为本申请实施例提供的一个优选实施例的坐标系示意图；

图4为本申请实施例提供的一个示例的测量误差示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

在本申请实施例中，飞机降落相对姿态动态视觉测量系统包括：变焦成像单元、用于调整方位和/或俯仰的伺服单元和视觉处理单元。变焦成像单元包括彩色工业相机和变焦镜头，可通过调节变焦镜头的焦距使飞机在视野中占据合理的部分，变焦镜头提前进行标定，可按需读出对应的镜头焦距。变焦成像单元挂载在伺服单元上，以对飞机进行目标跟踪，使飞机始终保持在采集到图像的预定范围内。伺服单元被固定在平台(例如，舰艇、跑道等，但不限于此)上，其方位、俯仰角可由相机的曝光信号触发而读出，由此得到每帧图像对应的方位、俯仰角。视觉处理单元由安装图像采集卡等必要通讯设备的计算机组成。视觉处理单元基于采集到的图像及其对应的相机焦距、伺服单元的方位、俯仰角对飞机相对于的姿态进行测量。并驱动伺服单元对准飞机。

本申请实施例，提供了一种飞机降落相对姿态动态视觉测量方法，该方法使用飞机的三维模型(例如，CAD模型，但不限于此)，在给定飞机在某帧图像中的标定位姿后，结合飞机的目标掩膜图像及其表面的成像特征在后续帧中持续输出飞机的姿态。

图1为本申请实施例提供的飞机降落相对姿态动态视觉测量方法一种实施方式的流程图，如图1所示，飞机降落相对姿态动态视觉测量方法，包括步骤S101至步骤S105。

步骤S101，对飞机进行目标跟踪并采集图像，以获得飞机位于图像中预设范围内的图像。

在本申请实施例中，目标跟踪方法可参见相关技术，本申请实施例对此不作赘述。

步骤S102，获取飞机的标定位姿，其中，标定位姿是基于采集的作为初始图像的一帧图像标定得到的。

在本申请实施例中，初始图像可为采集的第一帧图像，但本申请实施例并不限于此，在飞机降落阶段中第一帧图像后续的图像也是可行的，例如第二帧图像等。

步骤S103，根据标定位姿将飞机的三维模型投影到二维平面，得到标定位姿对应的目标图像和目标掩膜图像。

步骤S104，根据标定位姿对应的目标图像和目标掩膜图像初始化外观模型。

步骤S105，确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿。在本申请实施例中，步骤S105包括步骤A至步骤G。

步骤A，根据外观模型对当前帧图像进行目标分割得到第一分割结果，其中，第一分割结果包含当前帧图像中各个像素归属于飞机的概率。

在步骤A中，通过颜色直方图确定的出当前帧图像中各个像素归属于飞机的概率。概率值越高，像素点越归属于飞机在图像上的区域，概率值越低，像素点越归属于背景在图像上的区域。

步骤B，将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当上一帧图像为初始图像时，初始位姿为标定位姿。

在本申请实施例中，连续帧之间的位姿变化较小，因为以上一帧图像的位姿为当前帧图像的初始位姿，从而以该初始位姿进行迭代，得到当前帧图像对应的位姿。

步骤C，根据初始位姿将飞机的三维模型投影到二维平面，得到初始位姿对应的目标掩膜图像。

在本申请实施例中，根据初始位姿以及相机的参数，使用计算机图形学方法渲染出初始位姿下的目标掩膜图像。目标掩膜图像中对应于前景区域的位置值为逻辑1，否则为逻辑0。

步骤D，基于初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中第二分割结果包含目标掩膜图中各个像素归属于飞机的概率。

步骤E，根据交叉熵损失函数确定第一分割结果与第二分割结果之间的目标分割损失。

在某些实施例中，步骤E，包括：根据交叉熵损失函数确定第一分割结果与第二分割结果中每个像素之间的差异值；确定各个像素之间的差异值之和，将差异值之和作为目标分割损失。

步骤F，以最小化目标分割损失为目标确定位姿更新值。

步骤G，根据位姿更新值更新初始位姿，返回步骤C进行迭代优化直至收敛，将收敛时的初始位姿作为当前帧图像的位姿，并根据当前帧图像更新外观模型。

在本申请实施例中，收敛条件可为迭代次数，在实际应用中，迭代次数可设置为4次或5次，但不限于此。

在某些实施例中，上述步骤S105中，步骤A，还包括：提取当前帧图像的稠密成像特征；步骤E，还包括：根据初始位姿和上一帧图像的位姿，确定当前帧图像中归属于飞机的像素点与上一帧图像中归属于飞机的像素点之间的对应关系；确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；步骤F，包括：确定目标分割损失与特征匹配损失的加权和，得到位姿估计损失；以最小化位姿估计损失为目标确定位姿更新值。通过该实施例，结合飞机外观特征，避免了无法识别形状对称的飞机的转向，提高了位姿估计的应用范围。

在某些实施例中，上述步骤F中，确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失，包括：确定当前帧图像中归属于飞机的各个像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失；确定各个像素之间的差异损失之和，将差异损失之和作为特征匹配损失。

在某些实施例中，上述方法还包括：根据变焦成像单元的坐标系与目标坐标之间的转换关系，将当前帧图像对应的位姿转换到目标坐标系，得到目标坐标系下的位姿。在本申请实施例中，坐标系可包括相机坐标系、相对固定相机的系统的系统坐标系，以及飞机跑道等目标坐标系。在确定飞机相对于相机坐标系的位姿后，根据相机与系统之间的位置关系(例如方位和/或俯仰角)确定飞机相对于系统的位姿，进一步根据系统坐标系与目标坐标系之间的转换关系，确定得到飞机相对于目标坐标系的位姿。

图2为本申请实施例提供的飞机降落相对姿态动态视觉测量系统一种实施方式的硬件结构示意图，如图2所示，包括：变焦成像单元21；伺服单元22，设置为调整变焦成像单元21的方位和/或俯仰角；以及视觉处理单元23。视觉处理单元23被配置为实现飞机降落相对姿态动态视觉测量方法的步骤。在某些实施例中，视觉处理单元23包括存储器和中央处理器(CPU)，在另一些实施例中，视觉处理单元23包括存储器、中央处理器(CPU)和图形处理器(GPU)。存储器中存储有实现飞机降落相对姿态动态视觉测量方法的计算机程序指令。

参考图2所示，视觉处理单元23包括：存储器231、中央处理器232和图形处理器233。存储器231中存储有计算机程序指令，参考图2所示，计算机程序指令包括飞机降落相对姿态动态视觉测量装置234。

进一步参考图2所示，飞机降落相对姿态动态视觉测量装置234包括：目标跟踪模块2341，用于控制变焦成像单元21和伺服单元22对飞机进行目标跟踪并采集图像，以获得飞机位于图像中预设范围内的图像。位姿标定模块2342，与目标跟踪模块2341连接，用于获取飞机的标定位姿，其中，标定位姿是基于变焦成像单元21采集的作为初始图像的一帧图像标定得到的。外观模型初始化模块2343，与位姿标定模块2342相连，同于根据标定位姿将飞机的三维模型(例如CAD模型)投影到二维平面，得到标定位姿对应的目标图像和目标掩膜图像；根据标定位姿对应的目标图像和目标掩膜图像初始化外观模型2344。位姿确定模块2345，用于确定目标跟踪的过程中在初始图像之后采集的每帧图像对应的位姿。

进一步参考图2所示，位姿确定模块2345，包括：第一目标分割单元23441，与用于根据外观模型2344对当前帧图像进行目标分割得到第一分割结果，第一分割结果包含当前帧图像中各个像素归属于飞机的概率。位姿初始化单元23442，用于将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当上一帧图像为初始图像时，初始位姿为标定位姿。第二目标分割单元23443，用于根据初始位姿将飞机的三维模型投影到二维平面，得到初始位姿对应的目标掩膜图像；基于初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中第二分割结果包含目标掩膜图像中各个像素归属于飞机的概率。位姿更新迭代单元23444，用于根据交叉熵损失函数确定第一分割结果与第二分割结果之间的目标分割损失；以最小化目标分割损失为目标确定位姿更新值；根据位姿更新值更新位姿初始化单元23442的初始位姿，进行迭代优化直至收敛，将收敛时的初始位姿作为当前帧图像的位姿，并根据当前帧图像更新外观模型2344。

在某些实施例中，位姿确定模块2345，还包括：稠密成像特征提取单元(图中未示出)，用于提取当前帧图像的稠密成像特征。位姿更新迭代单元23444，进一步用于根据初始位姿和上一帧图像的位姿，确定当前帧图像中归属于飞机的像素点与上一帧图像中归属于飞机的像素点之间的对应关系；确定当前帧图像中归属于飞机的像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；确定目标分割损失与特征匹配损失的加权和，得到位姿估计损失；以最小化位姿估计损失为目标确定位姿更新值。

在某些实施例中，位姿更新迭代单元23444，用于根据交叉熵损失函数确定第一分割结果与所述第二分割结果中每个像素之间的差异值；确定各个像素之间的差异值之和，将所述差异值之和作为目标分割损失。

在某些实施例中，位姿更新迭代单元23444，用于确定当前帧图像中归属于飞机的各个像素点与上一帧图像上的对应点的稠密成像特征之间的差异损失；确定各个像素之间的差异损失之和，将差异损失之和作为特征匹配损失。

在某些实施例中，视觉处理单元23还用于根据变焦成像单元21的坐标系与目标坐标之间的转换关系，将当前帧图像对应的位姿转换到目标坐标系，得到目标坐标系下的位姿。

下面对本申请实施例的一个优选实施方式进行描述。

在该优选实施例中，动态视觉测量系统主要由以下三个单元构成：一个变焦成像单元、一个方位/俯仰伺服单元和一个视觉处理单元。变焦成像单元由一个彩色工业相机和一个变焦镜头构成。可通过调节变焦镜头的焦距使目标在视野中占据合理的部分。镜头提前进行标定，可按需读出对应的镜头焦距。

在该优选实施例中，将变焦成像单元挂载在方位/俯仰伺服单元上，以对飞机目标进行跟踪，使目标始终保持在采集到图像的中央。伺服单元被固定在平台(舰艇、跑道等)上，其方位、俯仰角的读出也由相机的曝光信号触发。

视觉处理单元由安装图像采集卡等必要通讯设备的计算机组成。视觉处理单元基于采集到的图像及其对应的相机焦距、伺服单元的方位俯仰角对飞机相对于平台的姿态进行测量。并驱动伺服单元对准飞机。

以此系统为基础，该优选实施例中，飞机降落相对姿态动态视觉测量方法使用飞机的三维CAD模型，在给定目标在某帧图像中的初始粗略位姿后，结合飞机的掩膜图像及其表面的成像特征在后续帧中持续输出飞机的姿态。该方法包括以下过程：

(1)系统标定，通过驱动方位/俯仰伺服单元使相机对准平台上各个已知其三维坐标的控制点，根据伺服系统的方位、俯仰角度求解伺服系统相对于平台的位姿关系，用于在后续过程中进行目标的位姿转换。

(2)系统工作中，选取某一帧图像，由外部给定其初始粗略位姿，对姿态测量算法进行初始化，包括：根据给定的目标的粗略位姿，使用计算机图形学方法对目标CAD模型进行渲染，获取目标的初始掩膜，并以此为输入结合目标图像初始化目标的外观模型，用于在后续帧中进行目标分割。目标掩膜为大小于输入图像一致的单通道图像，包含在目标区域内的像素位置对应图图像值为1，其余位置为0。提取目标图像中每一像素对应的稠密成像特征并存储。稠密成像特征指对图像中每一位置的向量化描述，典型的如颜色，光照强度等。

(3)对于后续帧，以前一帧图像中的目标姿态为初值，根据飞机的外观模型及图像中的稠密成像特征对飞机位姿进行迭代优化求解。其具体步骤包括：

a)根据飞机的外观模型及输入图像，进行目标分割，分割结果为输入图像中每一像素位置属于飞机区域的概率，相应给出该位置属于背景区域的概率。

b)以当前图像为输入，提取图像中每一像素对应的稠密成像特征。

c)根据飞机的三维CAD模型，当前估计的飞机位姿，以及相机的内部参数，使用计算机图形学方法渲染输出此位姿下的目标掩膜图像。

d)根据目标掩膜图像输出此姿态下对应的目标分割结果，即图像中每一像素位置属于飞机区域及背景区域的概率。

e)使用交叉熵逐像素计算a)中获取的目标分割结果与c)中获取的目标分割结果的差异，并将每一像素的差异值加和作为目标分割损失。

f)根据当前的位姿估计值及上一帧的位姿估计结果以及飞机的CAD模型，求解当前图像中目标上点与上一帧图像中目标上点的对应关系。

g)逐像素计算当前图像与上一帧图像对应点的稠密图像特征的差异损失，并将所有差异损失加和，作为特征匹配损失。

h)计算目标分割损失及特征匹配损失的加权和，作为此次飞机位姿估计的整体损失函数。

i)以最小化损失函数为目标，使用优化算法对位姿更新值进行求解。

j)根据位姿更新值更新当前目标位姿。

k)重复步骤c)-j)，进行迭代优化，至收敛。

(4)对于后续帧，根据优化求解后的目标位姿及输入图像对目标的外观模型进行更新，同时存储根据图像提取出的图像的稠密成像特征。

(5)重复运行步骤3、4直至最后一帧图像。

本优选实施例提供的姿态测量方法及装置能够在受限制环境下对飞机的姿态进行测量。通过合理利用飞机的CAD模型，对目标的外观形态进行在线学习，避免了线下的大量标注工作。本优选实施例提出的方法便于使用GPU等设备进行大规模并行计算，可在高清图像上实时运行。

本优选实施例中涉及多个坐标系，这些坐标系构成一个链条来完成对飞机相对于平台的相对姿态测量。坐标系布局如图3所示。

本优选实施例涉及多个坐标系，F_A，F_C，F_B，F_P和F_S，分别表示飞机坐标系、相机坐标系、伺服模块底座坐标系、平台坐标系以及屏幕坐标系(图中未示出)。F_A固定在飞机上，x轴指向飞机右侧，y轴指向前方。F_C固定在相机上，z轴与相机拍摄方向相反，原点位于伺服模块旋转轴的交点处。F_B和伺服模块保持相对固定，当伺服模块处于零位时，F_B和F_C完全重合。

下面对本优选实施例进一步说明如下。

1、系统标定

坐标系F₁和F₂之间的变换T₁₂可被表示为李群

中的元素：

with

and

其中R₁₂和t₁₂分别表示f₁和f₂之间的旋转矩阵和平移矢量。该变换通过式

将某一点在F₁中的坐标变换至该点在F₂中的坐标，式中

是X_i的齐次坐标表示。

飞机相对于平台的姿态可通过刚体变换T_ap进行求解。该变换为T_ac、T_cb以及T_bp三个变换的复合。

由于F_c与F_B具有相同的原点。它们之间的平移矢量t_cb始终为零，旋转矩阵可以通过伺服模块的方位角α和俯仰角β进行计算，此时T_cb可表示为：

T_cb(α,β)＝diag{R_cb(α,β),1}

其中

T_bp定义了伺服模块的基座到平台坐标系之间的转换关系，该转换关系可以通过将相机对准N个预定义的控制点后求解下述方程进行标定：

其中，k＝1,...,N，

其中，X_pk和

是第k个控制点在F_p中的坐标及其齐次形式。X_pc是相机在F_p中的坐标。α_k和β_k是相机在对准第k个控制点时伺服模块的方位和俯仰角度。

2、位姿迭代优化及模型更新

为了对飞机相对于相机的位姿T_ac进行求解，对基于图像的姿态跟踪算法进行介绍。通过最小化由两部分构成的损失函数来对T_ac进行优化求解，这两部分为分割损失和特征匹配损失。

基于飞机的外观模型的目标分割

图像分割算法用来计算位于位置x＝[u,v]的像素属于目标(飞机)区域或背景区域的概率(称为区域归属概率)。本实施例通过构建和更新对应于目标区域和背景区域的两个颜色直方图来对目标外观及背景进行建模。颜色直方图可直接给出目标和背景区域中颜色y出现的概率，分别记为P(y|M_f)，P(y|M_b)。基于这两个外观模型，每一像素对应的区域归属概率通过后验概率给出：

i＝{f,b}；

其中，y是位于x处的像素的颜色，P(M_f)、P(M_b)分别表示任意一个像素分别位于前景、背景区域的概率。

本实现中使用M个圆形子区域{Ω_j；j＝1,…,M}来更好的适应复杂的背景以及飞机表面的颜色变化。仅沿着飞机轮廓分布子区域，这样大大降低了对模型进行预处理的要求，并且加快了分割速度。最终的区域归属概率

是从所有包含点x的区域获得的概率的平均值，即：

其中，

和

是对应于第j个子区域的概率，

是指示函数。

基于飞机CAD模型及位姿参数的目标分割

给定相机的内部参数和外部参数，可以通过将CAD模型投影到屏幕上获得对应的区域归属概率P_proj(x)。

P_proj(x)通过以下几步计算获得，由此获得的P_proj(x)是相对于T_ac可微分的。

1)区域和轮廓投影

投影过程使用计算机图形学方法，采用与本文一致的坐标系设置对模型进行投影。通过渲染获得区域掩膜图像I_r，图像中对应于前景区域的位置值为逻辑1，否则为逻辑0。另外一个三通道图像I_a也同时被存储，该图像在x_s位置处存储三维坐标X_a，该坐标是飞机模型点的三维坐标。根据I_r提取区域轮廓C，同样以二值的形式将其存储在I_c中。

2)进行有符号的距离变换

有符号的距离变化定义为：

其中d(x,C)＝min_c∈C‖c-x‖₂是轮廓C的距离变换，表示轮廓C上点与x距离的最小值。距离值被存储在I_d中，为了计算导数，对应的轮廓C上与x最近的点的坐标也被存储下来。

3)使用平滑的阶跃函数进行归一化

使用平滑的阶跃函数h_s:

通过下式将Φ(x)映射至

其中，

系数s用于调节h_s的平滑性。

损失函数计算

使用KL差异(Kullback-Leibler divergence)来衡量两个概率分布的差异。此处将P_proj(x)看作

的近似，因为期望通过优化T_ac来最小化两者之前的差异。同时，在各像素独立的假设下，每个位置对应的KL差异可以简单相加。进一步的，由于对于每一张图像，

不会改变，此时最小化KL差异等价于最小化P_proj(x)和

的交叉熵H。

分割损失可以最终定义为逐像素计算交叉熵后求和的数值：

图像稠密特征提取

使用多尺度下目标梯度构成的向量作为图像稠密特征。具体提取步骤如下：

a)使用高斯核对原始图像进行模糊，并存储模糊后的图像；

b)在模糊后的图像的基础上使用高斯核进行进一步模糊，共生成N个尺度的图像(包含原始图像)；

c)使用中心差分法求取每一图像上沿x，y方向的梯度，表示为(dxⁱ,dyⁱ),i＝1,…,N。

d)将N张图像上同一位置处的梯度进行，作为该位置的特征，表示为：

f＝([dx¹]⁺,[dx¹]^-,[dy¹]⁺,[dy¹]^-,…,[dx^N]⁺,[dx^N]^-,[dy^N]⁺,[dy^N]^-)；

其中，

[x]^-＝[-x]⁺。

基于飞机位姿及其三维CAD的匹配求解

飞机CAD模型可以自然地在已知成像参数的图像之间给出点匹配。此处用上标

表示另一时刻采集到的数据,点x的匹配位置

可以表示为：

其中，

π^-1表示从二维图像点坐标x向其三维模型坐标

反投影的过程。该反投影过程可以通过直接渲染目标的三维CAD模型，使用合适的片段着色器将三维模型点坐标

存储在三通道图像I_a中。

匹配损失计算

在匹配位置具有相同成像特征从假设下，特征匹配损失可以被定义为匹配的图像特征的平方损失和：

将不是在两张图像上均可见的点排除在匹配损失之外，同时由于自遮挡形成的图像边缘附近的点也会从匹配损失计算中移除，因为这类边缘会向与其他点相反的方向移动。

姿态更新求解

使用李代数

中的元素

作为对姿态参数T_ac∈SE(3)的无冗余的表示。

可经指数映射T_ac＝exp(ξ^{^})转换为对应姿态参数。最终飞机姿态通过最小化上述两种损失函数的加权和

求得，其中a和b为权重系数，式中第二部分是一个标准的最小二乘问题，该问题可以使用高斯-牛顿迭代法进行求解。将第一部分写为:

其中

并在每一次迭代中认为w(x)为常数，此时可采用迭代重加权最小二乘法对该问题进行求解。

进一步的，为了缓解飞机距离较远时迭代过程的不稳定现象，采取改进的莱文贝格-马夸特(LM)算法对损失函数进行优化，即求解下述方程：

(H+λ·diag{H})·δ＝-J^Tr

式中H和J为对应最小二乘问题的海森矩阵和雅可比矩阵，r是对应最小二乘问题的残差，δ是对应的姿态更新。本应用中H及J^Tr均由两部分组成，它们分别对应于目标分割损失及特征匹配损失：

H＝a·H_S+b·H_F；

J^Tr＝a·[J^Tr]_S+b·[J^Tr]_F；

对于目标分割损失，有：

和

其中，J_seg(x)通过下式求得：

其中，x_c为在生成P_seg(x)的过程中存储的距离x最近的轮廓上点。x_c相对于姿态参数ξ的导数则根据相机成像模型及前述公式进行计算。

对于目标分割损失，为便于叙述，此处假设描述子仅有一个通道，即：

此时有：

及

式中

通过在特征图像I_f(x)进行中心差分来进行计算。

姿态更新

求解出δ后，相应根据下式更新当前姿态：

T_ac←exp(δ^{^})·T_ac。

在迭代过程中可结合多尺度方法，从小尺度到全尺度依次迭代，以加快收敛速度并减少迭代时间。

模型更新

在获取最终姿态参数后，使用该姿态参数及飞机CAD模型进行渲染，获得掩膜，并提取其轮廓，在此轮廓上重新构建圆形子区域，统计生成直方图后计算与其最近的旧有直方图的加权和。

下面对本优选实施例的一个示例进行说明。

本示例中，变焦成像单元由彩色工业相机及变焦镜头组成。相机输出图像的分辨率为1920*1080，像元尺寸为5um。变焦镜头焦距调节范围为30mm～1000mm，且焦距能够以3％的精度实时输出。镜头焦距由视觉处理单元根据目标在图像中的比例相应调节。

本示例中，中方位\俯仰伺服单元为两轴伺服转台，其方位调节范围为n*360°，俯仰调节范围为-20～+180°。其方位\俯仰位置可以0.001°的精度实时输出。转台指向由视觉处理单元根据目标在图像中的位置及当前镜头焦距调节。

本示例中，视觉处理单元为笔记本电脑，基本配置为intel i7 6核心CPU，主频为2.6GHz，16G内存，Nvidia Quadro P1000显卡。

相关试验中测试程序由C++及CUDA编写，计算机图形学相关处理过程由vulkan实现，运行于GPU中，匹配点计算、损失计算以及导数计算由CUDA实现，运行于GPU中。其余相关逻辑由C++实现，运行于CPU中。

本示例中，系统标定通过瞄准现场的20个控制点通过上述系统标定方法求解完成。目标分割中子区域沿飞机轮廓线每隔30个点取一个。平滑阶跃函数中平滑因子s取值为1。图像稠密特征中选取尺度数N＝2。目标分割损失及特征匹配损失使用相等权重。

本示例中，目标标定位姿通过人工给定，后续跟踪迭代中首先在1/2尺度上迭代3次，接下来在全尺度上迭代2次，以较好的平衡运行时间和位姿测量精度。

本示例中，被测目标为C919客机，将降落过程中机载组合导航设备给出的姿态作为姿态参考值，对本系统进行实际测试试验。相应俯仰、滚转、偏航三轴姿态角及其测量误差如下图4所示。测试中三轴误差RMS值分别为：方位0.12度，俯仰0.17度，滚转0.23度。单帧运行时间不超过25ms。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims (10)

1.一种飞机降落相对姿态动态视觉测量方法，其特征在于，包括：

对飞机进行目标跟踪并采集图像，以获得所述飞机位于图像中预设范围内的图像；

获取所述飞机的标定位姿，其中，所述标定位姿是基于采集的作为初始图像的一帧图像标定得到的；

根据所述标定位姿将所述飞机的三维模型投影到二维平面，得到所述标定位姿对应的目标图像和目标掩膜图像；

根据所述标定位姿对应的目标图像和目标掩膜图像初始化外观模型；以及

按照以下方式确定所述目标跟踪的过程中在所述初始图像之后采集的每帧图像对应的位姿：

步骤A，根据所述外观模型对当前帧图像进行目标分割得到第一分割结果，其中，所述第一分割结果包含所述当前帧图像中各个像素归属于所述飞机的概率；

步骤B，将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当所述上一帧图像为所述初始图像时，所述初始位姿为所述标定位姿；

步骤C，根据所述初始位姿将所述飞机的三维模型投影到二维平面，得到所述初始位姿对应的目标掩膜图像；

步骤D，基于所述初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中所述第二分割结果包含所述目标掩膜图中各个像素归属于所述飞机的概率；

步骤E，根据交叉熵损失函数确定所述第一分割结果与所述第二分割结果之间的目标分割损失；

步骤F，以最小化所述目标分割损失为目标确定位姿更新值；

步骤G，根据所述位姿更新值更新所述初始位姿，返回所述步骤C进行迭代优化直至收敛，将收敛时的所述初始位姿作为所述当前帧图像的位姿，并根据所述当前帧图像更新所述外观模型。

2.根据权利要求1所述的飞机降落相对姿态动态视觉测量方法，其特征在于，确定所述目标跟踪的过程中在所述初始图像之后采集的每帧图像对应的位姿中，

所述步骤A，还包括：提取所述当前帧图像的稠密成像特征；

所述步骤E，还包括：根据所述初始位姿和所述上一帧图像的位姿，确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像中归属于所述飞机的像素点之间的对应关系；确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；

所述步骤F，包括：确定所述目标分割损失与所述特征匹配损失的加权和，得到位姿估计损失；以最小化所述位姿估计损失为目标确定位姿更新值。

3.根据权利要求1或2所述的飞机降落相对姿态动态视觉测量方法，其特征在于，所述步骤E，包括：

根据交叉熵损失函数确定所述第一分割结果与所述第二分割结果中每个像素之间的差异值；

确定各个像素之间的差异值之和，将所述差异值之和作为目标分割损失。

4.根据权利要求2所述的飞机降落相对姿态动态视觉测量方法，其特征在于，确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失，包括：

确定所述当前帧图像中归属于所述飞机的各个像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失；

确定各个像素之间的差异损失之和，将所述差异损失之和作为特征匹配损失。

5.根据权利要求1或2所述的飞机降落相对姿态动态视觉测量方法，其特征在于，还包括：

根据变焦成像单元的坐标系与目标坐标之间的转换关系，将所述当前帧图像对应的位姿转换到所述目标坐标系，得到所述目标坐标系下的位姿。

6.一种飞机降落相对姿态动态视觉测量系统，其特征在于，包括：

变焦成像单元；

伺服单元，设置为调整所述变焦成像单元的方位和/或俯仰角；

视觉处理单元，所述视觉处理单元被配置为实现飞机降落相对姿态动态视觉测量方法的步骤，包括：

控制所述变焦成像单元和所述伺服单元对飞机进行目标跟踪并采集图像，以获得所述飞机位于图像中预设范围内的图像；

获取所述飞机的标定位姿，其中，所述标定位姿是基于所述变焦成像单元采集的作为初始图像的一帧图像标定得到的；

根据所述标定位姿将所述飞机的三维模型投影到二维平面，得到所述标定位姿对应的目标图像和目标掩膜图像；

根据所述标定位姿对应的目标图像和目标掩膜图像初始化外观模型；以及

按照以下方式确定所述目标跟踪的过程中在所述初始图像之后采集的每帧图像对应的位姿：

步骤A，根据所述外观模型对当前帧图像进行目标分割得到第一分割结果，其中，所述第一分割结果包含所述当前帧图像中各个像素归属于所述飞机的概率；

步骤B，将上一帧图像的位姿设置为当前帧图像的初始位姿，其中，当所述上一帧图像为所述初始图像时，所述初始位姿为所述标定位姿；

步骤C，根据所述初始位姿将所述飞机的三维模型投影到二维平面，得到所述初始位姿对应的目标掩膜图像；

步骤D，基于所述初始位姿对应的目标掩膜图像进行目标分割得到第二分割结果，其中所述第二分割结果包含所述目标掩膜图像中各个像素归属于所述飞机的概率；

步骤E，根据交叉熵损失函数确定所述第一分割结果与所述第二分割结果之间的目标分割损失；

步骤F，以最小化所述目标分割损失为目标确定位姿更新值；

步骤G，根据所述位姿更新值更新所述初始位姿，返回所述步骤C进行迭代优化直至收敛，将收敛时的所述初始位姿作为所述当前帧图像的位姿，并根据所述当前帧图像更新所述外观模型。

7.根据权利要求6所述的飞机降落相对姿态动态视觉测量系统，其特征在于，确定所述目标跟踪的过程中在所述初始图像之后采集的每帧图像对应的位姿中，

所述步骤A，还包括：提取所述当前帧图像的稠密成像特征；

所述步骤E，还包括：根据所述初始位姿和所述上一帧图像的位姿，确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像中归属于所述飞机的像素点之间的对应关系；确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失；

所述步骤F，包括：确定所述目标分割损失与所述特征匹配损失的加权和，得到位姿估计损失；以最小化所述位姿估计损失为目标确定位姿更新值。

8.根据权利要求6或7所述的飞机降落相对姿态动态视觉测量系统，其特征在于，所述步骤E，包括：

根据交叉熵损失函数确定所述第一分割结果与所述第二分割结果中每个像素之间的差异值；

确定各个像素之间的差异值之和，将所述差异值之和作为目标分割损失。

9.根据权利要求7所述的飞机降落相对姿态动态视觉测量系统，其特征在于，确定所述当前帧图像中归属于所述飞机的像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失，得到特征匹配损失，包括：

确定所述当前帧图像中归属于所述飞机的各个像素点与所述上一帧图像上的对应点的稠密成像特征之间的差异损失；

确定各个像素之间的差异损失之和，将所述差异损失之和作为特征匹配损失。

10.根据权利要求6或7所述的飞机降落相对姿态动态视觉测量系统，其特征在于，所述视觉处理单元被配置为实现飞机降落相对姿态动态视觉测量方法的步骤，还包括：

根据变焦成像单元的坐标系与目标坐标之间的转换关系，将所述当前帧图像对应的位姿转换到所述目标坐标系，得到所述目标坐标系下的位姿。

Images