CN110641721A - 一种登机桥停靠方法 - Google Patents

Abstract

本发明涉及一种登机桥停靠方法，包括停靠阶段和停靠准备阶段，所述停靠阶段通过设置在登机桥前端的双目摄像机识别和跟踪飞机舱门，依据飞机舱门左下角点、右下角点及两者连线的中点的第一本地坐标进行登机桥停靠运动的控制，实现飞机舱门底边与登机桥头端底边的中点对齐和相互贴合，在停靠准备阶段，以前向摄像机采集包含停靠区域的场景图像，在场景图像上人工指定停靠起点位置，将停靠起点位置的图像坐标系坐标转换为第二本地坐标系中的地面坐标，依据停靠起点位置的地面坐标控制登机桥运动至停靠起点位置。本发明基本上实现登机桥的自动停靠，且设备简单，显示直观，有助于提高可靠性且符合操作习惯。

Description

一种登机桥停靠方法

技术领域

本发明涉及一种登机桥停靠方法。

背景技术

登机桥又称空桥或飞机廊桥，是一种机场航站楼内的设施，从登机门延伸至飞机机舱门，方便乘客进出机舱。在任何天气条件下，使用登机桥可让旅客无需日晒雨淋而便于登机离机，同时可以提高机场运行效率。

典型登机桥头端固定在登机门处的中轴，桥身则可以左右移动，头端和尾端皆可升降和伸缩，因此可适用于各种不同的飞机。尾端处有一控制室来控制桥身的移动，另外还有一折棚可向外延伸，密合地衔接机舱门，飞机上客、下客之前，要把登机桥从等待位置移动到飞机客舱门，并让折棚与机舱门密切衔接，这个动作称为登机桥停靠或靠廊桥。上客、下客及一些其他后续流程结束后，把登机桥移动到原先的等待位置，称为登机桥撤离或撤廊桥。

目前，登机桥停靠和撤离主要是由控制室里的登机桥操作人员人工完成的，登机桥操作人员结合目视和手柄操作进行，需要高度的操作技巧，操作过程麻烦。

尽管人们已经多方面探索如何实现登机桥的自动停靠，但至今为止，尚未发现实际中的应用。然而，计算机视觉技术和自动化控制技术的不断发展，为登机桥停靠的自动化提供了可能，因此，有必要适时开发出一种实用、可靠、便捷的登机桥自动停靠技术。

一种技术路线是在登机桥底端和飞机舱门下安装红外传感器，用以测量登机桥与飞机的相对距离，控制登机桥完成停靠，但由于需要在每架需要自动停靠的飞机上安装与登机桥上对应的红外传感器，可行度不高，而且通用性较差，推广实施的难度较大；另一种技术路线是针对飞机机型收集对应机舱门图像数据，通过计算机视觉技术和机型数据对比，计算飞机与登机桥间距离，自动控制登机桥完成停靠，但由于需要针对每一个登机桥对应的各型号飞机的机舱门都进行数据采集，工作量也较大，数据难以更新，也妨碍了实际应用。

发明内容

为克服现有技术的上述缺陷，本发明提供了一种登机桥停靠方法，以基本上实现登机桥的自动停靠，且设备简单，显示直观，有助于提高可靠性且符合操作习惯。

本发明的技术方案是:一种登机桥停靠方法，包括停靠阶段，登机桥头端设有双目摄像机，所述双目摄像机的视野范围在登机桥的移动过程中能够始终涵盖飞机舱门，建构登机桥的第一本地坐标系，所述第一本地坐标系的原点为登机桥头端底边的中点，Z＝0的平面为包含登机桥头端底部与飞机舱门底部靠接的靠接面且与地面(或水平面)垂直的平面，Y＝0的平面为登机桥地面所在平面，X＝0的平面为过原点且同时垂直于Y＝0的平面和Z＝0的平面的平面，对双目摄像机的各摄像头进行外部参数标定，获得标定时刻双目摄像机的各摄像头在第一本地坐标系中的位置坐标和姿态角，由于在过程中双目摄像机的各摄像头在登机桥上的位置和姿态保持不变，这些外部参数亦不变，因此可以以此(标定时刻双目摄像机的各摄像头在第一本地坐标系中的位置坐标和姿态角)作为双目摄像机的各摄像头在第一本地坐标系中恒定的位置坐标和姿态角，用于后续的数据处理过程中，当实际中通过人为方式改变双目摄像机的各摄像头的第一本地坐标系坐标或姿态角，可以重新标定或者依据具体改变方式计算获得改变后的坐标位置和姿态角，在所述停靠阶段，通过双目摄像机的各摄像头采集(拍摄获得)包含飞机舱门的视频图像，依据视频图像进行飞机舱门的自动检测和跟踪，通过特征识别和立体匹配，实时识别飞机舱门的左下角点、右下角点和舱门底边中点(左下角点和右下角点连线的中点)这三个目标点，计算获得三个目标点在第一本地坐标系的坐标，依据三个目标点在第一本地坐标系的坐标实时确定或调整登机桥的停靠运动方式，直至飞机的舱门底边中点与登机桥头端底边的中点贴合或留有设定的靠接间隙，舱门的左下角点和右下角点与登机桥头端底边贴合或留有设定的靠接间隙，即在理想状态下，舱门底边中点的第一本地坐标系坐标为(0,0,0)或(0,0,d)，左下角点和右下角点的Y轴坐标为0，Z轴坐标为0或d，其中d为设定的靠接间隙。

所述停靠阶段的停靠运动及其控制方式包括下列任意一种或多种：

a)旋转：基于舱门的左下角点和右下角点之间的连线与登机桥头端底边(X轴)的夹角，对登机桥进行水平面内的旋转操作，使二者趋向一致；

b)垂直移动(沿Y轴移动)：基于舱门的左下角点和右下角点的连线的中点与登机桥头端底边的高度差(即舱门的左下角点和右下角点的连线的中点在第一本地坐标系的Y轴坐标y₂)，对登机桥进行垂直方向的升降操作，使二者的高度趋向一致，即当舱门的左下角点和右下角点的连线的中点的Y轴坐标y₂大于0时，登机桥执行上升操作，当y₂小于0时，登机桥执行下降操作，当y₂为0时不执行垂直移动；

c)横向移动(沿X轴移动)：基于舱门的左下角点和右下角点的连线的中点的横向位置与登机桥头端底边中点的横向位置之差(即舱门的左下角点和右下角点的连线的中点在第一本地坐标系的X轴坐标x₂)，对登机桥进行左右水平方向(横向)的移动操作，使二者趋向一致，即当舱门的左下角点和右下角点的连线的中点的X轴坐标x₂大于0时，登机桥执行左移操作，当x₂小于0时，登机桥执行右移操作，当x₂为0时不执行横向移动。

d)直进(沿Z轴方向)前进：基于舱门的左下角点和右下角点的连线的中点的纵向位置与登机桥头端底边中点的纵向位置之间的距离(即舱门的左下角点和右下角点的连线的中点在第一本地坐标系的Z轴坐标z₂，当设定有靠接间隙d时，为z₂-d)，对登机桥进行前后水平方向(纵向)的移动操作，使二者趋向一致，即当舱门的左下角点和右下角点的连线的中点的Z轴坐标z₂或z₂-d大于0时，登机桥执行向前移动操作，当z₂或z₂-d等于0时不再前进移动，其中d为设定的靠接间隙。

可以根据实际需要，将这些运动方式交替实施，还可以由粗到精反复实施多次(多个循环)实施。

依据登机桥与飞机舱门之间的距离控制停靠阶段的登机桥运动速度，特别是Z向(第一本地坐标系的Z轴方向)的移动速度，越临近飞机舱门，速度越低，例如，当分为多次(多循环)实施停靠运动时，可以开始时用较大的速度，逐渐减小，最后一次用最慢的速度。

当登机桥的等待位置远离飞机舱门，无法或不便采用双目摄像头对飞机舱门进行识别和定位，可以先将登机桥移至人工设定的停靠起点位置，再以停靠起点位置作为停靠起点进行停靠，这个过程可视为停靠准备阶段。由于登机桥的等待位置通常远离飞机舱门，因此，通常情况下会包含停靠准备阶段，但不排除无需进行停靠准备阶段的可能性，且从管理角度，也可以不将停靠准备阶段视为停靠方法中的一个阶段。

由此，本发明还可以包括或者不包括停靠准备阶段。在停靠准备阶段，将登机桥从等待位置移至停靠起点位置且使登机桥头端朝向飞机舱门，以便后续停靠阶段的实施。

可以采用任意适宜的现有技术实现停靠准备阶段的实施，例如，通过人工操作。

可以理解的是，尽管双目摄像机涉及的是或主要是停靠阶段，但由于其摄像头的标定基于第一本地坐标系，不依赖于登机桥所处的位置，因此双目摄像机的设置和标定等均可以事先实施，无需等到停靠阶段。

可以采用自动控制的方式实施登机桥在停靠准备阶段的运动。例如，一个优选的实施方式为：所述登机桥的前部(例如，驾驶室的上方)设有前向摄像机，在停靠准备阶段的起点位置(例如，等待位置或其他用于相关操作的任意位置)进行前向摄像机标定，以登机桥的控制室头端正前方为Y轴，水平面内与Y轴垂直方向为X轴，以垂直地面方向为Z轴，建立第二本地坐标系，第二本地坐标系可以以登机桥控制室下方的任一驱动轮触地点为原点或以其他便于计算或控制的方式确定原定，进行前向摄像机标定，以前向摄像机采集(拍摄)包含停靠区域的场景图像，在相应的场景图像(图像画面)上人工指定停靠起点位置，依据下列公式计算获得停靠起点位置的地面坐标(第二本地坐标系的XY平面坐标)：

其中，

为m＝[uv]^T的齐次矩阵，

为M＝[xyz]^T的齐次矩阵，

m＝[uv]^T为停靠起点位置的图像坐标矩阵，其中，(u,v)为停靠起点位置的图像坐标系坐标，

M＝[xyz]^T为停靠起点位置的第二本地坐标矩阵，其中，(x,y,z)为指定的停靠起点位置的第二本地坐标系坐标，

为前向摄像机的内部参数矩阵，α和β分别为图像坐标在水平和垂直方向的比例因子，γ为图像水平轴和垂直轴的偏离系数，(u,v)为前向摄像机光学中心的图像坐标。所述前向摄像机光学中心的图像坐标可以采用任意现有技术确定，例如，可以采用下列方式：

(u,v)＝(u₀,v₀)，(u₀,v₀)为前向摄像机标定时刻的前向摄像机光学中心图像坐标；

R＝[R_xR_yR_z]为前向摄像机的姿态角矩阵，其中，R_x、R_y、Rz分别为前向摄像机相对于第二本地坐标系X、Y、Z轴的姿态角。所述前向摄像机的姿态角矩阵可以采用任意现有技术确定，例如，可以采用下列方式：

R＝R₀＝[R_x0R_y0R_z0]，R₀为前向摄像机标定时刻的前向摄像机姿态角矩阵，R_x0、R_y0、R_zo分别为前向摄像机标定时刻前向摄像机相对于第二本地坐标系X、Y、Z轴的姿态角，由于前向摄像机固定安装在控制室的上方或其他适宜位置，其相对于第二本地坐标系的姿态角不变。

T为前向摄像机的第二本地坐标矩阵，T＝[T_xT_yT_z]，其中，(T_x,T_y,T_z)为前向摄像机的第二本地坐标系坐标(实时坐标)。所述前向摄像机的第二本地坐标矩阵可以采用任意现有技术确定，例如，可以采用下列方式：

T_x＝T_x0，T_y＝T_y0，T_z＝T_z0+(h-h₀)，其中，(T_x0,T_y0,T_z0)为前向摄像机标定时刻的前向摄像机第二本地坐标系坐标，h为登机桥或控制室的相对高度，h₀为前向摄像机标定时刻登机桥或控制室的相对高度。所述登机桥或控制室的相对高度是登机桥或控制室相对于相应基准高度的高度，可以采用任意现有技术确定，例如，通常可以由相应的高度传感器采集。

在登机桥达到停靠起点位置后，依据实际姿态与标准停靠姿态确定用于姿态调整的平面方位角，依据相应飞机舱门信息确定用于前端高度调整的高度差，依据所述的平面角和高度差调整前端角度和高度位置，达到标准停靠姿态。

停靠准备阶段的相关工作过程为：在登机桥控制室上方安装固定的前向摄像头，摄像区域覆盖登机桥停靠区域，可以事先对前向摄像机进行标定获取前向摄像机的内部参数(姿态、焦距、畸变系数等)，并在第二本地坐标系下对前向摄像机的外部参数进行标定，工作时通过登机桥内部的传感器实时获取前向摄像机高度(控制室是可以升降的，所以高度是变化的)以实时计算外部参数的变化(仅有高度或Z轴坐标变化)，基于前向摄像机内部参数和外部参数建立前向摄像机的图像坐标和三维空间位置的对应关系，操作人员通过在图像上点击希望的停靠位置，系统自动计算出登机桥在地面上的停靠位置，为自动停靠提供了条件，并可以实时跟踪和监视/计算停靠位置(相对位置)的变化，将停靠位置传递给相应的控制和驱动装置，通过控制和驱动装置完成登机桥由等待位置到停靠起点位置的移动。

本发明在停靠阶段，以登机桥的第一本地坐标系作为基础对双目摄像机的各摄像头进行标定，获得相应的外部参数，依据双目摄像机各摄像头的内部参数和外部参数，基于图像目标识别技术和双目测绘技术实时识别和跟踪飞机舱门，依据飞机舱门相关目标点在第一本地坐标系上的位置坐标进行登机桥的运动控制，无需在飞机舱门处和登机桥上安装额外的传感器或者对每种型号的飞机舱门进行标定，并允许对跟踪用的目标框进行人工干预，所需设备和数据处理过程简单，且定位准确、可靠，符合人们的操作和监视习惯，当登机桥停靠位置远离飞机舱门时，可以通过设置自动控制和实施的停靠准备阶段将登机桥移至适应于实施停靠阶段的任意停靠起点，且停靠起点位置由操作人员在相应摄像机视频图像中指定，简单便捷，只需增设一个摄像头和简单的计算单元即可，且能够采用现有的目标跟踪技术在登机桥移动过程中对停靠起点位置进行持续的跟踪，不需要采用自动化手段获得飞机的准确位置，通过采用登机桥或控制室原有的高度传感器获得前向摄像机垂直方向的移动量，且将该阶段的终点(停靠起点位置)限定在水平地面上，使得相应位置的图像坐标能够映射到三维坐标系中的唯一一点，解决了在移动场合下如何将图像的图像坐标转换成三维坐标系下的具体位置的难题。

附图说明

图1是本发明停靠阶段涉及的工作流程图；

图2是本发明停靠准备阶段涉及的定位流程图。

具体实施方式

参见图1，本发明提出一种在登机桥停靠方法，在登机桥桥头位置安装1台双目摄像机，设立第一本地坐标系，事先对双目摄像机进行标定和参数矫正，获得双目摄像机的内部参数参数和外部参数，基于图像目标识别技术和双目测绘技术识别飞机舱门，依据飞机舱门实时计算登机桥在地面(第一本地坐标系的XZ平面)上的停靠位置，以此为依据通过驱动系统带动登机桥向停靠位置移动，最终完成自动停靠，即登机桥头端与机舱门相靠接。

具体包括如下步骤：

1)双目摄像机设置

在登机桥桥头设置1台双目摄像机，其设置位置和方式应保证停靠阶段的登机桥运动全过程中都能够拍摄到完整的飞机舱门。

2)双目摄像机标定

事先使用如标定板等辅助工具对双目摄像机的左右两个摄像头内参数进行标定，获得双目摄像机的各摄像头的内部参数矩阵A₁、A₂：

其中，α₁、β₁和α₂、β₂分别为两摄像头图像坐标在水平和垂直方向的比例因子，γ₁和γ₂分别为两摄像头得图像水平轴和垂直轴得偏离系数，(u₁₀,v₁₀)和(u₂₀,v₂₀)分别为两摄像头光学中心的图像坐标。

根据实际需要，可以依据相应内部参数矩阵A₁、A₂分别进行两摄像头的图像矫正，以矫正后的图像进行后续的目标识别和图像目标定位等。

可以采用任意适宜的现有技术实现上述标定和矫正^[1]。

对现场设置好的双目摄像机各摄像头进行外部参数标定。以包含登机桥头端底部与飞机舱门底部的靠接面且与地面垂直的平面作为Z＝0的平面、以登机桥地面作为Y＝0的平面、以过登机桥头端底边的中点且同时垂直于Y＝0的平面和Z＝0的平面为X＝0的平面构建第一本地坐标系，在第一本地坐标系中对摄像机的两个摄像头进行标定，得到两摄像头在第一本地坐标系的坐标矩阵T₁₀＝[T_1x0T_1y0T_1z0]、T₂₀＝[T_2x0T_2y0T_2z0]和两摄像头在第一本地坐标系的姿态角矩阵R₁₀＝[R_1x0R_1y0R_1z0]、R₂₀＝[R_2x0R_2y0R_2z0]。其中，(T_1x0,T_1y0,T_1z0)和(T_2x0,T_2y0,T_2z0)分别为两个摄像头的第一本地坐标系坐标，R_1x0和R_1x0分别为两个摄像头相对第一本地坐标系X轴的姿态角，R_1y0和R_1y0分别为两个摄像头相对第一本地坐标系Y轴的姿态角，R_1z0和R_1z0分别为两个摄像头相对第一本地坐标系Z轴的姿态角。

3)舱门自动检测及人工确认

将双目摄像机拍摄的图像传送到监控人员的监控终端和视频分析服务器，视频分析服务器依据任意适宜的现有目标检测算法^[2-4]，基于预先训练得到的泛用舱门检测模型，得到舱门目标框及舱门目标框在图像中的位置，依据该位置将舱门目标框叠加显示在监视终端的图像画面上。

如果上述舱门目标框没有完全包含全部舱门图像，监控人员将进行人工干预，手动调节舱门目标框的大小和/或区域，使其完全包含舱门图像。

在确认舱门目标框包含了完整的舱门图像后，由监控人员确定舱门自动检测步骤完成，以进入下一步骤。

4)舱门跟踪及特征点提取

分别在双目摄像机的两摄像头的图像画面中对目标框内的舱门目标进行追踪，获得舱门跟踪框，对舱门跟踪框内的图像进行分割，进行特征点识别，识别出舱门左下角点、右下角点和舱门底边中点这三个目标点，采用EPnP算法^[5,6]对分别源自这两个摄像头图像的两组特征点进行匹配，获得三个目标点在第一本地坐标系中的位置(x_i，y_i，z_i),其中i∈[1,2,3](可视为三个特征点中各特征点的编号)。上述各种处理均可以采用任意适宜的现有技术^[7-12]。

5)登机桥移动

登机桥移动的目的是使登机桥头端底边与飞机舱门左下角点和右下角点的连线重合，且登机桥头端底边的中点与飞机舱门左下角点和右下角点的连线的中点重合。根据实际情况，可以包括下列任意一种或多种移动方式：

a)旋转：基于舱门的左下角点和右下角点之间的连线与登机桥头端底边(X轴)的夹角，对登机桥进行水平面内的旋转操作，使二者趋向一致；

b)垂直移动(沿第一本地坐标系Y轴移动)：基于舱门的左下角点和右下角点的连线的中点与登机桥头端底边的高度差(即舱门的左下角点和右下角点的连线的中点的Y轴坐标y₂)，对登机桥进行垂直方向的升降操作，使二者的高度趋向一致，即当舱门的左下角点和右下角点的连线的中点的第一本地坐标系Y轴坐标y₂大于0时，登机桥执行上升操作，当y₂小于0时，登机桥执行下降操作，当y₂为0时不执行垂直移动；

c)横向移动(沿第一本地坐标系X轴移动)：基于舱门的左下角点和右下角点的连线的中点的横向位置与登机桥头端底边中点的横向位置之差(即舱门的左下角点和右下角点的连线的中点的X轴坐标x₂)，对登机桥进行左右水平方向(横向)的移动操作，使二者趋向一致，即当舱门的左下角点和右下角点的连线的中点的第一本地坐标系X轴坐标x₂大于0时，登机桥执行左移操作，当x₂小于0时，登机桥执行右移操作，当x₂为0时不执行横向移动。

d)直进(沿第一本地坐标系Z轴前进)：基于舱门的左下角点和右下角点的连线的中点的纵向位置与登机桥头端底边中点的纵向位置之差(即舱门的左下角点和右下角点的连线的中点的第一本地坐标系Z轴坐标z₂，当设定有靠接间隙d时，为z₂-d)，对登机桥进行前后水平方向(纵向)的移动操作，使二者趋向一致，即当舱门的左下角点和右下角点的连线的中点的Z轴坐标z₂或z₂-d大于0时，登机桥执行向前移动操作，当z₂或z₂-d等于0时不再前进移动，其中d为设定的靠接间隙。

在停靠过程中，上述步骤4)和5)可以反复进行。

随着登机桥与舱门之间距离的逐渐减小，登机桥移动的速度逐渐越小，直至最后完成机舱门停靠。

由于上述停靠方式基于登机桥已经停靠在靠近对应飞机舱门的位置，该位置可称为停靠起点位置，在很多情形下，登机桥的等待位置远离飞机的停靠位置，因此，需要采用其他方式将登机桥移动到停靠起点位置，然后再实施上述方法，登机桥由停靠起点位置至停靠位置的运动和控制过程可称为停靠阶段，由等待位置至停靠起点位置的运动和控制过程可称为停靠准备阶段。

可以采用下列方法将登机桥从等待位置移动到停靠起点位置。

参见图2，采用下列步骤将登机桥从等待位置移动到停靠起点位置：

1)前向摄像机设置

前向摄像机通常可以设置在登机桥控制室外，如控制室顶部的上方，与控制室位置相对固定，前向摄像机水平视场角和俯仰角的设定应保证登机桥处在等待区域内时，前向摄像机拍摄的视频画面能够覆盖停靠起点位置(区域)，即登机桥控制室下方的驱动轮停靠时应该停止的区域。

2)前向摄像机标定

可以采用现有技术对前向摄像机进行标定，得到前向摄像机的位置、姿态等外部参数和光学中心、焦距等内部参数。

不失一般性，首先，以登机桥控制室下方驱动轮触地点为原点(当有多个驱动轮时任选一个)，以控制室头端正前方为Y轴，水平面内与Y轴垂直方向为X轴，以垂直地面方向为Z轴，建立第二本地坐标系。

将登机桥控制室下方用于确定坐标系原点的驱动轮移动到地面上一个已知的位置，并将登机桥控制室固定在某个高度，从控制室系统传感器中读取并记录登机桥此时的高度h₀(注意一般情况下，此高度是控制室某一点的相对高度值)。

在现场地面上放置标定板或选取位置可测量的标定点，手动或自动得到这些点的图像坐标，采用公知的方法进行标定^[1]，得到前向摄像机内部参数和外部参数。

内部参数矩阵A由公式(1)表示：

其中(u₀,v₀)表示前向摄像机光学中心的坐标，α和β分别表示图像坐标在水平和垂直方向的比例因子，γ表示图像水平轴和垂直轴的偏离系数。为方便起见，这里不考虑前向摄像机成像畸变，当需要对成像畸变进行校正时，可以依据相应的现有技术。

外部参数包括第二本地坐标中前向摄像机的位置T₀＝[T_x0T_y0T_z0]和姿态角R₀＝[R_x0R_y0R_z0]。

3)图像的图像坐标与地面点的位置关联

由于前向摄像机相对控制室是固定的，在登机桥移动和升降时，除了高度之外其他参数是不变的。而高度T_z可以通过读取高度传感器的数据得到，即

T_z＝T_z0+(h-h₀) (3)

其中h₀为标定时记录下来的登机桥的初始高度，T_z0是标定时前向摄像机的初始高度，h为登机桥的当前高度。

因此，登机桥移动和升降时，前向摄像机的外部参数可表示为姿态角R＝R₀和三维位置T，其中T_x0,T_y0,T_z0为标定时前向摄像机的在第二本地坐标系X、Y、Z轴上的初始坐标位置，因此，登机桥移动机及升降过程中的任意时刻，在以登机桥控制室下方驱动轮触地点为原点所构建的第二本地坐标系中，前向摄像机的内参数A、外参数姿态角R和外参数三维空间坐标T均为已知或可通过计算得到。

前向摄像机图像坐标矩阵可表示为m＝[u v]^T，第二本地坐标系下三维点坐标矩阵可表示为M＝[x y z]^T，通过添加一个新的元素可以得到

和

和

之间的关系可以用公式(4)表示：

这里所称的地面在第二本地坐标系中可以表示为z＝0的一个平面，因此，在给定数字图像上选择任意像素点，就可以由公式(4)计算出其在z＝0约束下的空间坐标[x y0]。

4)基于位置关联的登机桥停靠位置设定

前向摄像机视频的画面(场景图像)被显示在操作员面前的操作面板上，操作人员通过鼠标或方向按钮移动光标至画面中的目标像素点位置，点击选中后，系统即根据公式(4)计算出该像素点位置对应的机坪地面上的实际位置作为登机桥控制室下方相应驱动轮的目标位置，传递给控制系统，控制系统通过自身的驱动装置完成登机桥的水平移动。

另外，根据设定的停靠起点位置(或者说登机桥到达停靠起点位置时的实际方位)与相应飞机的标准停靠位置的相对关系，可以计算出登机桥正前方向与飞机垂直时登机桥所应有的水平方位角(或者说登机桥到达停靠起点位置时的实际位置与标准停靠姿态之间的水平方位角)，根据系统提供的飞机机型数据可以获得客舱门的高度。根据获得的水平方位角和客舱门高度，驱动登机桥前端转动装置和升降装置。经过以上操作，登机桥在停靠起点位置上达到标准停靠姿态，登机桥前端正对舱门、高度与舱门一致并且与舱门之间只有一个很小的安全距离，方便之后的最终停靠。

本说明书在用于区分不同摄像头/摄像机的参数时，下标1表示双目摄像机中的一个摄像头，下标2表示双目摄像机中的另一个摄像头，对前向摄像机的参数没有相应的下标。

本说明书所称双目摄像机包括任意具有两个能够用于双目定位或测距摄像头的图像采集装置，可以是通常所称的具有两个摄像头的一体化的双目摄像机，也可以是两个摄像头的组合。

本说明书所称图像坐标系是指针对图像的坐标系，包括通常所称的图像坐标系，也包括通常所称的图像坐标系。

参考文献：

[1]Zhang Z.A Flexible New Technique for Camera Calibration[M].2000.

[2]He K,Gkioxari Georgia,Dollar Piotr,et al.Mask R-CNN[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2017,PP(99):1-1.

[3]Redmon J,Farhadi A.YOLOv3:An Incremental Improvement[J].2018.

[4]Zhao Q,Sheng T,Wang Y,et al.M2Det:A Single-Shot Object Detectorbased on Multi-Level Feature Pyramid Network[J].2018.

[5]Hartley R I,Sturm P.Triangulation[J].Comput Vision ImageUnderstanding,1995,68(2):146-157.

[6]Lepetit V,Francesc Moreno-Noguer,Pascal Fua.EPnP:An AccurateO(n)Solution to the PnP Problem[J].International Journal of Computer Vision,2009,81(2):155-166.

[7]Wu Y,Lim,Jongwoo,Yang,Ming-Hsuan.Object Tracking Benchmark[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2015,37(9):1834-1848.

[8]Kristan M,et al.The Visual Object TrackingVOT2013 ChallengeResults[C]//IEEE International Conference on Computer Vision Workshops.2014.

[9]Chen L C,Papandreou G,Kokkinos I,et al.Semantic Image Segmentationwith Deep Convolutional Nets and Fully Connected CRFs[J].Computer Science,2014(4):357-361.

[10]Chen L C,Zhu Y,Papandreou G,et al.Encoder-Decoder with AtrousSeparable Convolution for Semantic Image Segmentation[J].2018.

[11]Duda R O,Hart,Peter E.Use of the Hough transformation to detectlines and curves in pictures[J].Cacm,1972,15(1):11-15.

[12]Melkman A A.On-Line Construction of the Convex Hull of a SimplePolyline[M]//On-line construction of the convex hull of a simple polyline.,1987:11-12.

Claims (10)

1.一种登机桥停靠方法，包括停靠阶段，登机桥头端设有双目摄像机，所述双目摄像机的视野范围在登机桥的移动过程中能够始终涵盖飞机舱门，建构登机桥的第一本地坐标系，所述第一本地坐标系的原点为登机桥头端底边的中点，Z＝0的平面为包含登机桥头端底部与飞机舱门底部靠接的靠接面且与地面垂直的平面，Y＝0的平面为登机桥地面所在平面，X＝0的平面为过原点且同时垂直于Y＝0的平面和Z＝0的平面的平面，对双目摄像机的各摄像头进行外部参数标定，获得标定时刻双目摄像机的各摄像头在第一本地坐标系中的位置坐标和姿态角，以此作为双目摄像机的各摄像头在第一本地坐标系中恒定的位置坐标和姿态角，在所述停靠阶段，通过双目摄像机的各摄像头采集包含飞机舱门的视频图像，依据视频图像进行飞机舱门的自动检测和跟踪，通过特征识别和立体匹配，实时识别飞机舱门的左下角点、右下角点和舱门底边中点这三个目标点，计算获得三个目标点在第一本地坐标系的坐标，依据三个目标点在第一本地坐标系的坐标实时确定或调整登机桥的停靠运动方式，直至飞机的舱门底边中点与登机桥头端底边的中点贴合或留有设定的靠接间隙，舱门的左下角点和右下角点与登机桥头端底边贴合或留有设定的靠接间隙。

2.如权利要求1所述的方法，其特征在于所述停靠阶段的停靠运动及其控制方式包括下列任意一种或多种：

a)旋转：基于舱门的左下角点和右下角点之间的连线与登机桥头端底边的夹角，对登机桥进行水平面内的旋转操作，使二者趋向一致；

b)垂直移动：基于舱门的左下角点和右下角点的连线的中点与登机桥头端底边的高度差对登机桥进行垂直方向的升降操作，使二者的高度趋向一致；

c)横向移动：基于舱门的左下角点和右下角点的连线的中点的横向位置与登机桥头端底边中点的横向位置之差，对登机桥进行左右水平方向的移动操作，使二者趋向一致。

d)直进(沿Z轴)前进：基于舱门的左下角点和右下角点的连线的中点的纵向位置与登机桥头端底边中点的纵向位置之间的距离，对登机桥进行前后水平方向的移动操作，使二者趋向一致，即当舱门的左下角点和右下角点的连线的中点的Z轴坐标z₂或z₂-d大于0时，登机桥执行向前移动操作，当z₂或z₂-d等于0时不再前进移动，其中d为设定的靠接间隙。

3.如权利要求2所述的方法，其特征在于依据登机桥与飞机舱门之间的距离控制停靠阶段的登机桥运动速度，特别是Z向的移动速度，越临近飞机舱门，速度越低。

4.如权利要求1-3任一所述的方法，其特征在于还包括或者不包括停靠准备阶段，在停靠准备阶段，将登机桥从等待位置移至停靠起点位置且使登机桥头端朝向飞机舱门。

5.如权利要求4所述的方法，其特征在于所述登机桥的前部设有前向摄像机，在停靠准备阶段的起点位置(例如，等待位置或其他用于相关操作的任意位置)进行前向摄像机标定，以登机桥的控制室头端正前方为Y轴，水平面内与Y轴垂直方向为X轴，以垂直地面方向为Z轴，建立第二本地坐标系，以前向摄像机采集包含停靠区域的场景图像，在场景图像上人工指定停靠起点位置，依据下列公式计算获得停靠起点位置的地面坐标：

其中，

为m＝[uv]^T的齐次矩阵，

为M＝[xyz]^T的齐次矩阵，

m＝[uv]^T为停靠起点位置的图像坐标矩阵，其中，(u,v)为停靠起点位置的图像坐标系坐标，

M＝[xyz]^T为停靠起点位置的第二本地坐标矩阵，其中，(x,y,z)为指定的停靠起点位置的第二本地坐标系坐标，

为前向摄像机的内部参数矩阵，α和β分别为图像坐标在水平和垂直方向的比例因子，γ为图像水平轴与垂直轴的偏离系数，(u,v)为前向摄像机光学中心的图像坐标，

R＝[R_xR_yR_z]为前向摄像机的姿态角矩阵，其中，R_x、R_y、Rz分别为前向摄像机相对于第二本地坐标系X、Y、Z轴的姿态角，

T＝[T_xT_yT_z]，为前向摄像机的第二本地坐标矩阵，其中，(T_x,T_y,T_z)为前向摄像机的第二本地坐标系坐标。

6.如权利要求5所述的方法，其特征在于以登机桥控制室下方的任一驱动轮触地点为第二本地坐标系的原点。

7.如权利要求5所述的方法，其特征在于依据下列方式确定前向摄像机光学中心的图像坐标：

(u,v)＝(u₀,v₀)

其中，(u₀,v₀)为前向摄像机标定时刻的前向摄像机光学中心图像坐标。

8.如权利要求5所述的方法，其特征在于依据下列方式确定前向摄像机姿态角矩阵：

R＝R₀＝[R_x0R_y0R_z0]

其中，R₀为前向摄像机标定时刻的前向摄像机姿态角矩阵，R_x0、R_y0、R_zo分别为前向摄像机标定时刻前向摄像机相对于第二本地坐标系X、Y、Z轴的姿态角。

9.如权利要求5所述的方法，其特征在于依据下列方式确定前向摄像机的第二本地坐标矩阵：

T_x＝T_x0，T_y＝T_y0，T_z＝T_z0+(h-h₀)

其中，(T_x0,T_y0,T_z0)为前向摄像机标定时刻的前向摄像机第二本地坐标系坐标，h为登机桥或控制室的相对高度，h₀为前向摄像机标定时刻登机桥或控制室的相对高度。

10.如权利要求9所述的方法，其特征在于所述登机桥或控制室的相对高度由相应的高度传感器采集，为登机桥或控制室相对于相应基准高度的高度。

Images