CN105335764A - 一种入坞飞机机型识别验证系统及方法 - Google Patents

一种入坞飞机机型识别验证系统及方法 Download PDF

Info

Publication number
CN105335764A
CN105335764A CN201410377395.7A CN201410377395A CN105335764A CN 105335764 A CN105335764 A CN 105335764A CN 201410377395 A CN201410377395 A CN 201410377395A CN 105335764 A CN105335764 A CN 105335764A
Authority
CN
China
Prior art keywords
aircraft
docking
coordinate
parameter
impact point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410377395.7A
Other languages
English (en)
Other versions
CN105335764B (zh
Inventor
邓览
程建
习友宝
常绍民
苏靖峰
王峰
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen CIMC Tianda Airport Support Ltd
Original Assignee
China International Marine Containers Group Co Ltd
Shenzhen CIMC Tianda Airport Support Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China International Marine Containers Group Co Ltd, Shenzhen CIMC Tianda Airport Support Ltd filed Critical China International Marine Containers Group Co Ltd
Priority to CN201410377395.7A priority Critical patent/CN105335764B/zh
Publication of CN105335764A publication Critical patent/CN105335764A/zh
Application granted granted Critical
Publication of CN105335764B publication Critical patent/CN105335764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种入坞飞机机型识别验证系统及方法,该识别验证方法包括如下步骤:场景设置,将监测场景划分为不同的信息处理功能区;机器视觉验证,基于机器视觉系统对入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的视觉身份验证信息;激光扫描验证,基于激光扫描系统对所述入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的激光身份验证信息;信息融合,将所述视觉身份验证信息与所述激光身份验证信息融合为一个验证结果并输出该验证结果;通过显示装置接收并显示所述验证结果。本发明还提供了一种用于上述入坞飞机机型识别验证方法的入坞飞机机型识别验证系统。

Description

一种入坞飞机机型识别验证系统及方法
技术领域
本发明涉及本发明涉及一种用于智能飞机泊位引导系统的图像处理、激光点云数据处理和模式识别技术,特别是用于飞机泊位引导的运动物体检测、特征识别和验证的入坞飞机机型识别验证系统及方法。
背景技术
飞机泊位引导是指将到港飞机从滑行道末端导引至机坪的停机位置并准确停泊的过程。飞机泊位引导的目的是保障入坞飞机安全准确停泊,能方便飞机与各种地勤接口的准确对接,并使登机桥能有效靠接飞机舱门,提高机场运行效率和安全。自动飞机泊位引导系统按使用传感器的类型不同主要分为:地埋线圈类、激光扫描测距类和视觉感知类。由于激光扫描测距类和视觉感知类自动引动系统能有效获取入坞飞机的可视化信息,因此该两类自动飞机泊位引导系统又称为可视化泊位引动系统。地埋感应线圈类自动引导系统通过探测是否有金属物体经过或停留来确定入坞飞机的位置。地埋感应线圈的优点是响应速度快、成本低,对天气和照度无要求,但误差较大、抗干扰能力低。同时,埋在地下的引线和电子元件容易被压坏、可靠性不高,测量精度不高,不能识别机型,可调试可维修性差。激光扫描测距类自动引导系统通过激光测距和激光扫描来确定飞机位置、速度和机型等信息,不受环境照度的影响、且受天气影响较小,精度较高,可调试可维修性好。视觉感知类自动引导系统通过光学成像方式获取飞机入坞过程的图像信息,进而通过智能化信息处理技术确定入坞飞机的位置、速度和机型等信息,系统架构简单、成本低,具有高的智能化水平,可调性可维护性较好,但对天气和照度有要求、适应性较差。
随着视觉感知成像技术、智能化信息处理技术和计算机技术的不断深入发展,可视化飞机泊位引导技术能精确、快速获取入坞飞机的入坞信息,已在机场的泊位引导系统中得到应用。美国Honeywell公司研制的可视化飞机泊位引导系统(VDGS)和德国西门子公司研制的视频泊位引导系统(VDOCKS)作为国际领先水平的视觉引导设备也在国际上一些机场得到应用,但这些系统对天气和照度要求较高、适应性较差,且缺乏智能化的信息处理能力。
发明内容
本发明所要解决的技术问题是提供一种用于飞机泊位引导的运动物体检测、特征识别和验证的入坞飞机机型识别验证系统及方法,以克服现有技术中的上述缺陷。
为了实现上述目的,本发明提供了一种入坞飞机机型识别验证方法,其中,包括如下步骤:
S1、场景设置,将监测场景划分为不同的信息处理功能区;
S2、机器视觉验证,基于机器视觉系统对入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的视觉身份验证信息;
S3、激光扫描验证,基于激光扫描系统对所述入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的激光身份验证信息;
S4、信息融合,将所述视觉身份验证信息与所述激光身份验证信息融合为一个验证结果并输出该验证结果;
S5、显示,通过显示装置接收并显示所述验证结果。
上述的入坞飞机机型识别验证方法,其中,所述机器视觉验证步骤S2进一步包括:
S21、飞机捕获,在设置好的飞机泊位场景中通过所述摄像装置捕获待停泊飞机的视频图像;
S22、飞机识别及身份验证,对步骤S21捕获到的待停泊飞机进行机型及身份验证,以进一步保证所述待停泊飞机安全准确停泊,包括:
S221、参数验证,提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对,得到机型相似度参数;
S222、模板匹配,将所述视频图像与预置于所述数据库中的机型模板进行比对,得到模板相似度参数,其中;
S223、综合判断,所述机型数据相似度参数与所述模板相似度参数大于或等于一验证阈值时,则通过所述待停泊飞机的机型与身份验证。
上述的入坞飞机机型识别验证方法,其中,所述模板匹配步骤S222进一步包括:
S2221、全局模板匹配,以整幅所述视频图像为被搜索图像,以所述数据库中的标准飞机图像为模板,计算全局模板相似度参数;
S2222、局部模板匹配,分别以S221中提取得到的所述飞机参数为被搜索图像,分别以所述数据库中的标准飞机参数为模板,分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度,去掉所述4个相似度中的最小值,计算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。
上述的入坞飞机机型识别验证方法,其中,所述综合判断步骤S223包括:
若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85,则通过身份验证,或,所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7,则通过身份验证。
上述的入坞飞机机型识别验证方法,其中,所述激光扫描验证步骤S3进一步包括:
S31、数据预处理;
S32、飞机捕获,通过所述激光扫描系统对设置好的飞机泊位场景中的捕获区分别进行水平和垂直方向连续扫描,比对当前扫描行和前帧扫描参数直至捕获到所述入坞飞机,并计算飞机的机鼻位置;
S33、飞机识别及身份验证,对步骤S32捕获到的所述入坞飞机进行机型及身份验证,包括:
S331、获取所述入坞飞机的特征参数,并将所述特征参数固化在所述激光扫描系统内以备随时调用,所述特征参数包括飞机机舱宽度、飞机机鼻高度、飞机机头俯视轮廓、飞机机头侧视轮廓和飞机引擎数据;
S332、按照预先设定的优先等级判别顺序,对所述入坞飞机的特征参数与预存的待入坞飞机的相应标准参数比对,并根据比对结果输出验证结果。
上述的入坞飞机机型识别验证方法,其中,所述步骤S332进一步包括:
S3321、机鼻高度验证:
对所述入坞飞机机头进行垂直扫描并获取目标点;
对所述目标点进行二次曲线拟合,得到所述入坞飞机机鼻高度的测量值;
如果该机鼻高度的测量值与预设机鼻高度之差在一预设范围内,视为通过机鼻高度验证;
S3322、机舱宽度验证:
对所述入坞飞机机头进行水平扫描并获取目标点;
将所述目标点转换到x-y-z坐标,取其中最大和最小的x坐标,求该最大和最小的x坐标之差得到所述入坞飞机机舱宽度的测量值;
如果该机舱宽度大于理论机舱宽度与一宽度系数的乘积,视为通过机舱宽度验证。
上述的入坞飞机机型识别验证方法,其中,所述步骤S332进一步包括:
S3323、机头俯视轮廓验证:
对所述入坞飞机机头进行水平扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的x和y坐标进行二次曲线拟合得到y=f(x);
使用所述目标点的x值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论的y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一俯视轮廓设定值,视为通过所述入坞飞机的机头俯视轮廓验证。
上述的入坞飞机机型识别验证方法,其中,所述步骤S332进一步包括:
S3324、机头侧视轮廓验证:
对所述入坞飞机机头进行垂直扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的z和y坐标进行二次曲线拟合得到y=f(z);
使用所述目标点的z值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一侧视轮廓设定值,视为通过所述入坞飞机的机头侧视轮廓验证。
上述的入坞飞机机型识别验证方法,其中,所述步骤S332进一步包括:
S3325、引擎数据验证:
根据所述入坞飞机机鼻位置预算出引擎应出现的理论位置,该理论位置至少有两个,对该理论位置进行水平方向的激光扫描并获得目标点;
将水平方向的激光扫描得到的所述目标点的回波数据转换到x-y-z三维坐标,寻找距离理论引擎中心最近的坐标点,并寻找与该最近的坐标点连续的点,得到一点集,点集中最左端和最右端的两个目标点的距离作为引擎宽度;
若该引擎宽度与标准值的差距小于或等于一设定阈值,且该理论位置外只出现个别噪声点,视为通过所述入坞飞机的引擎验证。
上述的入坞飞机机型识别验证方法,其中,所述信息融合步骤S4进一步包括:
S41、使用基于D-S理论的融合方法,建立一个非空的辨识框架:其中,h表示机型正确,表示机型错误,表示机型可能正确也可能错误,即暂时不能确定,表示不可能事件;
S42、建立各自的mass函数。m1(·)为机器视觉子系统的mass函数,m2(·)为激光扫描子系统的mass函数,且满足:
∑m1(·)=1,∑m2(·)=1
其中, m 1 ( h ) = Π i = 1 3 系数i,
m 1 ( h ‾ ) = Π i = 1 3 (1-系数i)
其中系数1为机型相似度参数、系数2为全局模板相似度参数、系数3为局部模板相似度参数;
m2(h)和根据激光扫描系统预先设定的优先等级判别顺序而变化;
S43、计算mass函数的正交和
其中,
使用上述同样的公式计算和m(H),
若有
m ( h ) - m ( h &OverBar; ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h ) > m ( H )
其中ε1、ε2为预设的门限值,则融合结果为:机型正确身份验证通过;
若有
m ( h &OverBar; ) - m ( h ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h &OverBar; ) > m ( H )
则融合结果为:机型错误身份验证失败。
为了更好地实现上述目的,本发明还提供了一种用于上述入坞飞机机型识别验证方法的入坞飞机机型识别验证系统。
本发明的技术效果在于:
本发明的入坞飞机机型识别验证系统,具有有效的智能化视觉信息处理能力,能有效实现飞机入坞过程的飞机捕获、跟踪与定位、机型识别与身份验证等功能,而且具有智能化的站坪可视化监控功能,能有效提高民航机场自动化、智能化和运营管理的水平。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明一实施例的结构示意图;
图2为本发明一实施例的激光扫描系统工作示意图;
图3为本发明的工作原理图;
图4为本发明一实施例的方法流程图;
图5为本发明视觉子系统飞机泊位引导过程流程图;
图6为飞机识别及验证流程图;
图7为分层图像结构示意图;
图8为一幅典型的极黑区域示意图;
图9为本发明一实施例相似度判定的流程图;
图10为飞机图像边缘示例图;
图11为机翼轮廓与引擎轮廓示例图;
图12为被搜索图像S、子图Sij、模板T的示意图;
图13为激光扫描子系统的飞机泊位引导过程流程图;
图14为本发明一实施例的激光扫描飞机机鼻示意图;
图15为所有目标点与空客A319的理论轮廓曲线图;
图16为波音B737-800的所有目标点与空客A319的理论轮廓曲线图;
图17为图16两种型号飞机的平均绝对误差示意图;
图18为本发明一实施例的机型识别和身份验证参数标准和等级划分示意图。
其中,附图标记
1激光扫描系统
11垂直电机
12垂直激光反射镜
13水平电机
14水平激光反射镜
2激光扫描泊位引导系统控制板卡
3激光测距装置
4飞机泊位站坪
41停止线
42引导线
5入坞飞机
51机鼻
6视觉系统
61摄像装置
62视觉中央处理设备
7信息融合模块
8显示装置
9信息处理单元
S1-S6步骤
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
参见图1,图1为本发明一实施例的结构示意图。本发明的入坞飞机机型识别验证系统,包括激光扫描系统1、视觉系统6、信息融合模块7和显示装置8,其中,机器视觉系统6包括摄像装置61和视觉中央处理设备62。摄像装置61与视觉中央处理设备62连接,视觉中央处理设备62与信息融合模块7连接,视觉中央处理设备62将处理后的泊位信息发送给信息融合模块7,信息融合模块7将机器视觉系统6和激光扫描系统1的泊位信息融合为一个信息,发送给显示装置8进行显示。
摄像装置61安装在飞机泊位站坪4的停止线41后方,正对引导线42为宜,安装高度要高于飞机机身,在5~8m左右为宜。摄像装置61将拍摄的图像发送给视觉中央处理设备62。视觉中央处理设备62可以是一台拥有接受数据、处理数据、储存数据、生成显示图像数据、发送数据能力的计算机装置。用于执行飞机泊位场景配置、视频图像预处理、飞机捕获、飞机跟踪、飞机定位、飞机识别及身份验证等功能的模块,可以全部作为软件,安装在视觉中央处理设备62中。
参见图2,图2为本发明一实施例的激光扫描系统工作示意图,图3为本发明的工作原理图。本发明的激光扫描系统1,优选采用双振镜结构,通过水平和垂直扫描电机的转动角度α,β和激光测距数据l,从而得到空间某个点的三维信息。即通过激光测距装置3实现飞机泊位过程的距离信息获取、通过高性能水平和垂直步进电机实现水平和垂直扫描角的信息获取,从而得到激光扫描三维点云数据,即每个点云数据均包含三维坐标位置信息,考虑到具体应用,点云数据信息可以不包含色彩信息、物体反射面强度信息等。激光扫描泊位引导系统控制板卡2、激光测距装置3、水平电机13(优选扫描步进电机)及水平激光反射镜14和垂直电机11(优选扫描步进电机)及垂直激光反射镜12组成本发明的激光信息采集系统。激光扫描泊位引导系统控制板卡2接受信息处理单元9的命令对激光信息采集系统分别配置和发送控制命令,且将激光信息采集系统采集到的飞机入坞数据传输至信息处理单元9。信息处理单元9将处理后信息发送给信息融合模块7。
激光扫描系统1包括激光测距装置3、水平电机13附带水平激光反射镜14、垂直电机11附带垂直激光反射镜12、激光扫描泊位引导系统控制板卡2和信息处理单元9。激光测距装置3、水平电机13及水平激光反射镜14、垂直电机11及垂直激光反射镜12分别和激光扫描泊位引导系统控制板卡2连接,激光扫描泊位引导系统控制板卡2和信息处理单元9连接。激光扫描泊位引导系统控制板卡2将激光测距装置3测得距离信息和水平步进电机及垂直步进电机的角度数据传输至信息处理单元9,信息处理单元9将处理结果信息传输至信息融合模块7。在整个系统命令执行过程中,激光扫描泊位引导系统控制板卡2充当命令的翻译者和执行者。即信息处理单元9发送不同的指令(通常包括距离测量、步进电机定位、系统进行水平或垂直方向的扫描等指令)至激光扫描泊位引导系统控制板卡2,激光扫描泊位引导系统控制板卡2通过指令信息做出相应的动作(测距、电机定位或者扫描)并将返回的数据信息传送给信息处理单元9。
参见图4,图4为本发明一实施例的方法流程图。本发明的入坞飞机机型识别验证方法,包括如下步骤:
步骤S1、场景设置,将监测场景划分为不同的信息处理功能区;
其中,针对视觉系统6的设置包括:在安装系统之后、进行泊位引导之前执行,首先需要在实际场景中进行场景定义,紧邻引导线42铺设一条黑白间隔的标尺,黑色与白色的长度间隔形同,长度间隔最大1m,可根据摄像装置61的分辨率,使用长度间隔为0.5m、0.25m等更精细的标尺,标尺的总长度不超过对飞机位置进行距离解算的范围,通常为50m,其他工作通过预先编写的软件执行,软件打开并显示摄像装置61拍摄的画面,并通过手动绘制线条、选框和点,来标记相关区域,并保存记录。
根据激光扫描系统1的场景设置包括:根据入坞飞机5的引导线42及停止线41将飞机泊位站坪4划分为捕获区、引导跟踪区和精确定位区。例如,假设引导线42直线方向的长度为100m,设定捕获区的长度为30m,紧接着引导跟踪区为50m,最后精确定位区长度为20m。激光扫描系统1距离停止线41的长度为30m。入坞飞机5高度为4.5m,激光扫描系统1安装高度为6m。
步骤S2、机器视觉验证,基于机器视觉系统6对入坞飞机5的机型进行识别验证,并与数据库预存的该入坞飞机5的机型信息比对后得到该入坞飞机5的视觉身份验证信息;
步骤S3、激光扫描验证,基于激光扫描系统1对所述入坞飞机5的机型进行识别验证,并与数据库预存的该入坞飞机5的机型信息比对后得到该入坞飞机5的激光身份验证信息;
步骤S4、信息融合,将所述视觉身份验证信息与所述激光身份验证信息融合为一个验证结果并输出该验证结果;
步骤S5、显示,通过显示装置8接收并显示所述验证结果。因该显示步骤为较成熟的现有技术,故在本发明中不再赘述。
参见图5,图5为本发明视觉子系统飞机泊位引导过程流程图。图中点横线以上的场景配置可在安装系统之后、进行泊位引导之前执行,点横线以下的视频图像预处理、飞机捕获、飞机跟踪、飞机定位、飞机识别及身份验证、信息融合和信息显示在泊位引导时执行,其中虚线框内的飞机跟踪、飞机定位、信息融合及信息显示在泊位引导过程中实时执行和更新。在所述机器视觉验证步骤S2之前可先进行图像预处理,即利用常用的图像处理方法,包括亮度校正、去噪等,改善图像的视觉效果,提高图像成分的清晰度或者使图像变得更有利于计算装置处理。该机器视觉验证步骤S2进一步包括:
步骤S21、飞机捕获,在设置好的飞机泊位场景中通过所述摄像装置61捕获待停泊飞机的视频图像;
具体可包括:
背景消除,利用基于中值滤波的背景模型、混合高斯背景模型或基于核密度概率估计的背景模型来模拟场景中背景的动态分布并进行背景建模,然后将当前帧与背景模型作差分以消除背景,以凸显前景区域;
阴影消除,统计通过背景消除提取的前景区域中的灰度值,找出最大灰度值gmax和最小灰度值gmin,然后在灰度值小于T=gmin+(gmax-gmin)*0.5的区域进行阴影消除;
区域分类,建立一个标准正面飞机区域模板,经过变化检测提取目标区域并求取该区域的垂直投影曲线,然后求取该垂直投影曲线与所述标准正面飞机区域模板的垂直投影曲线的相关系数,若该相关系数大于或等于0.9,则该目标为飞机。
步骤S22、飞机识别及身份验证,在飞机进入站坪前,机场向所述泊位系统发送机型信息,飞机识别及身份验证过程就是通过对图像的分析来验证这一机型信息。对步骤S21捕获到的待停泊飞机进行机型及身份验证,以进一步保证所述待停泊入坞飞机5安全准确停泊,参见图6及图7,图6为飞机识别及验证流程图,图7为分层图像结构示意图。优选采用由粗到精的多级视觉特征的检测方法,用于步骤S22所包含的所有飞机部件的检测。该由粗到精的多级视觉特征的检测方法用于在天气不好的情况下,比如雨雪雾天和夜晚,图像的噪声会变大,因此降低分辨率可以提高检测的效果,然后再映射会最大分辨率,进行飞机机型的识别验证。是在恶劣环境下检测飞机特征的一个方法,系统自动根据图像质量分析最佳的分辨率,以提取飞机轮廓。具体包括:S0层图像具有最高的分辨率,SL层图像的分辨率最低。分层图像结构示意图见图7。在噪声较大的环境(例如雨雪雾天气、夜晚等),采用较低分辨率的分层图像,而在天气晴朗的条件下,采用较高分辨率的分层图像以获得更高的精度。在低分辨率图像中获取飞机区域后再映射回原始图像S0之后,可以得到边缘具有马赛克效果的区域分割结果,以用于步骤S222的模板匹配。
步骤S22具体可包括:
步骤S221、参数验证,提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对,得到机型相似度参数,本实施例中,所述机型相似度参数为所述飞机引擎可信度系数、飞机机翼可信度系数、飞机机头可信度系数及所述飞机尾翼可信度系数中的最小值与最大值之比;
所述参数验证步骤S221进一步包括:
步骤S2211、提取飞机引擎参数,提取所述视频图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎参数进行比对;具体包括:
图像极黑区域提取,对所述视频图像进行灰度直方图统计,在灰度级中间1%~99%范围内(通常也就是2~253的灰度级)获得像素数不为0的最大灰度值(gmax)/最小(gmin)灰度值的比值,使用预设优选为0.05的极黑判定阈值(Blacke步骤StJudge)来提取图像中灰度值在gmin到(gmax-gmin)*Blacke步骤StJudge+gmin之间的区域,也就是图像中最黑的部分,得到一幅极黑区域图像;典型的极黑区域示意图参见图8,图中的各个图形内部是极黑区域。
类圆形检测,提取该极黑区域图像的所有外层边界,对每一个边界使用边界的矩计算边界的重心坐标,边界的第ji阶矩定义如下:
m ji = &Sigma; x , y ( f ( x , y ) x j y i )
重心坐标
重心坐标可由00、10、01阶矩计算得到:
x &OverBar; = m 10 m 00 , y &OverBar; = m 01 m 00
对于当前边界的所有像素点,计算其与该重心的距离,若计算得到的最大距离与最小距离的比值大于一圆形判定阈值(circleJudge),该圆形判定阈值例如可预设为1.5,则认为该区域非圆形,进行下一区域的判定,对于判定通过的区域,记录判定的类圆形区域的重心坐标和半径(即边界到重心的平均距离),以进行相似度判定;
相似度判定,参见图9,图9为本发明一实施例相似度判定的流程图。若检测到了M个类圆形区域,其中第i个类圆形区域和第j个类圆形区域的相似度的计算为:
Similarityij=|Heighti-Heightj|*|Radiusi-Radiusj|
其中,Height为重心高度,Radius为半径,当相似度Similarityij小于预设的相似度阈值(similarThresh)时,则认为区域i和j为待停泊飞机的飞机引擎,例如该相似度阈值预设为40;
若没有检测出飞机引擎,则进行迭代检测,将所述极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)分别增大,增加量优选分别取0.05、0.5、20,再进行图像极黑区域提取、类圆形检测和相似度判定;若仍然没有检测出飞机引擎,则对所有的极黑区域使用7*7的圆形模板进行形态学处理的开操作,再进行类圆形检测和相似度判定;
若仍然没有检测出飞机引擎,则再进行2次上述迭代检测。在对后续帧进行检测时,若其前一帧图像使用的迭代步数为n,则直接从第n-1步开始迭代。
若仍然没有检测出飞机引擎,则判定图像中无引擎存在。
步骤S2212、提取飞机机翼参数,提取所述视频图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼参数进行比对;
参见图10,图10为飞机图像边缘示例图。本实施例中,使用Canny算子提取飞机图像的边缘。所述提取飞机机翼参数步骤S2212具体包括:
提取飞机边缘像素点,提取所述视频图像的飞机边缘,沿远离所述待停泊飞机的登机桥一侧(图10中为左侧)的飞机引擎中轴向上枚举像素点,对每个像素点,各画多条斜率倾角为0-20°的直线,统计每条所述直线所经过的Canny边缘像素点数;
确定飞机机翼边缘,取经过所述边缘像素点的点数最多的两条直线作为所述待停泊飞机的飞机机翼的边缘;
确定飞机翼尖,取翼尖周围区域的边缘像素,作为翼尖特征参数记录下来;机翼轮廓与引擎轮廓参见图11。
步骤S2213、提取飞机机头参数,具体包括:
确定飞机机头边界,通过已经确定的所述待停泊飞机的飞机引擎位置,确定所述待停泊飞机的中轴位置,枚举中轴上的点作为圆心,枚举2至4倍所述待停泊飞机的飞机引擎半径的长度为半径画圆,取经过Canny边缘像素点最多的圆作为所述待停泊飞机的飞机机头的边界;
确定飞机机头窗,由于窗户在机头的上半圆周,所以采用深度优先搜索的方法,寻找所述飞机机头的边界的上半圆中与所述飞机机头边界的边缘不相粘连的最长边缘,为所述飞机机头的机头窗所在位置。
步骤S2214、提取飞机尾翼参数,具体包括:
利用深度优先搜索的方法,沿所述飞机机头的边界的上边缘寻找突起的部分为所述待停泊飞机的飞机尾翼。对提取得到的引擎、机翼、机头、尾翼,分别测量它们的半径、长度、半径、高度,以像素为单位即可,这4个数据分别与机场机型参数数据库中的数据做比,得到4个比例值,4个比例值中的最小值/最大值为机型相似度参数即系数1。
步骤S222、模板匹配,将所述视频图像与预置于所述数据库中的机型模板进行比对,得到模板相似度参数;
所述模板匹配步骤S222进一步包括:
步骤S2221、全局模板匹配,以整幅所述视频图像为被搜索图像,以所述数据库中的标准飞机图像为模板,计算全局模板相似度参数即系数2;
步骤S2222、局部模板匹配,分别以步骤S221中提取得到的所述飞机参数为被搜索图像,分别以所述数据库中的标准飞机参数为模板,分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度,去掉所述4个相似度中的最小值,计算所述4个相似度中其余3个相似度的平均数为即系数3。
参见图12,图12为被搜索图像S、子图Sij、模板T的示意图。具体地,模板匹配计算过程为:被搜索图像S6001,宽高为W*H,被搜索图像S的子图Sij6002宽高为n*m,距离图左边缘j个像素,距离图下边缘i个像素,模板T6003,宽高为n*m,与子图Sij的相似度:
R ( i , j ) = &Sigma; m = 1 M &Sigma; n = 1 N S ij ( m , n ) &times; T ( m , n ) &Sigma; m = 1 M &Sigma; n = 1 N [ S ij ( m , n ) ] 2 &Sigma; m = 1 M &Sigma; n = 1 N [ T ( m , n ) ] 2
在所有结果R(i,j)中找出R(i,j)的最大值Rmax(im,jm),其对应的子图Sij即为匹配目标,Rmax(im,jm)也就是该子图Sij的相似度。
以整幅图像为被搜索图像,以机场机型参数数据库中的标准飞机图像为模板,计算相似度R,即为全局模板相似度参数。
分别以步骤S2211-步骤S2214中提取得到的引擎、机翼、机头、尾翼为被搜索图像,以机场机型参数数据库中的标准飞机图像的引擎、机翼、机头、尾翼为模板,计算出4个相似度,去掉最小的,剩下3个的平均数作为局部模板相似度参数。
本实施例中,还可包括飞机跟踪及定位步骤S6,通过对步骤S21捕获的待停泊飞机的飞机引擎和飞机前轮的视频图像连续跟踪和实时更新,以实现对所述待停泊飞机实时定位并准确判断所述待停泊飞机相对于引导线42的偏离程度;飞机跟踪及定位步骤S6可进一步包括:
步骤S61、飞机跟踪,为实现对飞机实时定位并准确得到飞机相对引导线42的偏离程度,根据引擎外壁和内部之间亮度的巨大差异和引擎的圆形结构,提取引擎的位置和半径,然后通过空间位置关系找到飞机前轮,对飞机进行定位。通过特征验证中的方法获得上一帧引擎位置之后,当前帧的引擎位置只会进行微小的移动,因此并不需要对全图进行重新检测,只在一个较小的扩展区域进行当前帧的引擎提取,上一帧的参数(BlackestJudge,circleJudge)将可以用于当前帧的目标检测。
通过步骤S21获得上一帧引擎位置后,采用洪水填充法跟踪确定当前引擎位置,由于引擎具有浅色的外壁,其灰度值会明显高于引擎内部的黑色区域,因此以上一帧的引擎中心为种子点,使用洪水填充法,可获得整个引擎的黑色区域。
步骤S62、飞机定位,通过对摄像机标定与图像校正、飞机前轮偏离度计算和飞机前轮实际距离计算,准确实时定位待停泊飞机。
参见图13,图13为激光扫描子系统的飞机泊位引导过程流程图。图中点横线以上的飞机泊位场景配置可在安装系统之后、进行泊位引导之前执行,点横线以下的数据预处理、飞机捕获、飞机引导、飞机跟踪、飞机识别及身份验证、信息融合和信息显示可在泊位引导时执行,其中虚线框内的飞机引导、飞机跟踪、信息融合和信息显示在泊位引导过程中实时执行和更新。其中,飞机引导和飞机跟踪可采用现有技术中激光扫描测距的飞机引导和跟踪方法,在此不做赘述。所述激光扫描验证步骤S3进一步包括:
步骤S31、使用窗口大小为5的中值滤波器进行数据预处理;
步骤S32、飞机捕获,通过所述激光扫描系统1对设置好的飞机泊位场景中的捕获区分别进行水平和垂直方向连续扫描,比对当前扫描行和前帧扫描参数直至捕获到所述入坞飞机5,并计算飞机的机鼻51位置;其中,水平扫描:水平电机13转动,带动水平激光反射镜14转动,使得激光测距装置3进行测距的目标点在水平方向移动,若垂直电机11不转动,水平电机13转动,同时激光测距装置3不断地进行测距,得到水平方向上的一组测距数据,便是一次水平扫描;垂直扫描:垂直电机11转动,带动垂直激光反射镜12转动,使得激光测距装置3进行测距的目标点在垂直方向移动,若水平电机13不转动,垂直电机11转动,同时激光测距装置3不断地进行测距,得到垂直方向上的一组测距数据,便是一次垂直扫描。由于电机转动时会引起振动,所以不进行水平扫描和垂直扫描之外的扫描方式。
步骤S33、飞机识别及身份验证,对步骤S32捕获到的所述入坞飞机5进行机型及身份验证,其目的是防止飞机在错误入坞时对机场设备造成损坏。飞机的机型验证和身份识别主要对比正在入坞飞机5的特征是否符合待入坞飞机5的特征,以此判断入坞飞机5机型和身份的正确性。具体可包括:
步骤S331、获取所述入坞飞机5的特征参数,并将所述特征参数固化在所述激光扫描系统1内以备随时调用,所述特征参数包括飞机机舱宽度、飞机机鼻高度、飞机机头俯视轮廓、飞机机头侧视轮廓和飞机引擎数据;
步骤S332、按照预先设定的优先等级判别顺序,对所述入坞飞机5的特征参数与预存的待入坞飞机5的相应标准参数比对,并根据比对结果输出验证结果。验证等级越高,所需要验证的飞机特征参数越多,同时所耗费的时间也越多,反之依然。因此可以根据站坪大小和待接飞机的实际特征参数选择合适的验证等级。对于等级1,仅仅需要机舱宽度和机鼻高度的正确性。这种等级的安全层次最低,但验证速率最快,方法也最简单。对于同一站坪两种待接飞机的参数差异较大,则可以选择高的验证等级以确保安全的入坞。
所述步骤S332进一步包括:
步骤S3321、机鼻高度验证:
对所述入坞飞机机头进行垂直扫描并获取目标点;
对所述目标点进行二次曲线拟合,得到所述入坞飞机机鼻高度的测量值;
如果该机鼻高度的测量值与预设机鼻高度之差在一预设范围内,视为通过机鼻高度验证。
参见图14,图14为激光扫描飞机机鼻示意图。例如,对飞机机头进行一次垂直扫描,对目标点进行二次曲线拟合,二次曲线方程中z坐标为自变量,y坐标为因变量,取二次曲线顶点为机鼻位置,其y坐标就是机鼻51高度的测量值,与理论值的差距在一定范围内即可通过验证。
预先设定激光测距装置3距离地面的高度H(根据安装情况)、飞机机鼻高度h(根据泊位飞机的型号不同)、入坞飞机5距离激光测距装置3的距离dis,dis必须小于入坞飞机5距离激光测距装置3的实际距离,入坞飞机5在前进过程中,距离激光测距装置3的实际距离才会从大于dis减小到dis,dis在入坞飞机5前进的过程中不断根据入坞飞机5距离激光测距装置3的实际距离进行更新。
水平扫描为了扫描到机鼻51,扫描激光需要与水平面有一定夹角α,
&alpha; = tan - 1 H - h dis
扫描机鼻51得到的测量距离,预测计算为:
dis _ predict = H - h sin &alpha;
扫描测距的实际测量距离为dis_data,在dis_predict上下一定范围内的dis_data点为目标点,一定范围取dis_predict±10m。
为了在欧式空间中直观地分析和进行泊位引导及飞机识别,需要将激光测距装置3的测量结果转换到欧式空间。以大地为xy平面,以激光测距装置3在地面上的投影点为(0,0,0)点,沿引导线42、远离停止线41的方向为y轴方向,以垂直地面向上的方向为z轴方向,建立xyz三维坐标系,以激光测距装置3进行测距时,两台电机的偏转角度可以计算出扫描激光(扫描激光由激光测距装置3指向被测目标点)与z轴的夹角(垂直偏角、俯仰角)和在xy平面上与y轴的夹角(水平偏角),测得的距离为dis_data,激光测距装置3距离地面的高度为H,则可以通过公式:
x=dis_data*sinθ*cosα
y=dis_data*cosθ*cosα
z=H-dis_data*sinα
得到被测目标点在xyz坐标系中的坐标。
步骤S3322、机舱宽度验证:
对所述入坞飞机5机头进行水平扫描并获取目标点;
将所述目标点转换到x-y-z坐标,取其中最大和最小的x坐标,求该最大和最小的x坐标之差得到所述入坞飞机5机舱宽度的测量值;例如,对飞机机头进行一次水平扫描,将目标点转换到x-y-z坐标,取其中最大和最小的x坐标,作差得到机舱宽度的测量值width_cal,由于机头本身具有弧度使得机头扫描激光点可能不会全部返回正确的回波数据,所以需将实际宽度width乘以一定比例,比例取0.4~0.7,如优选值0.4验证条件为width_cal≥width*0.4。
如果该机舱宽度大于理论机舱宽度与一宽度系数的乘积,视为通过机舱宽度验证。
所述步骤S332进一步包括:
步骤S3323、机头俯视轮廓验证:
机头俯视轮廓和侧视轮廓将其拟合为高次曲线,最高次幂为7~11可达到足够精度,机头俯视轮廓的曲线方程为y=f(x)形式,以机鼻51(曲线顶点)为(0,0)点,机头侧视轮廓的曲线方程为y=f(z)形式,机头侧视轮廓曲线与z轴相切于机鼻51(曲线顶点),切点为(zh,yh),其中yh=0,zh是机鼻高度,将该曲线方程系数作为飞机信息数据保存。
对所述入坞飞机5机头进行水平扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的x和y坐标进行二次曲线拟合得到y=f(x);
使用所述目标点的x值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论的y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一俯视轮廓设定值,视为通过所述入坞飞机5的机头俯视轮廓验证。
例如,对飞机机头进行一次水平扫描,方法与飞机跟踪中的水平扫描相同,将目标点转换到x-y-z坐标,调整x-y坐标,使这些点与预先存储的高次方程曲线尽量重合,具体地,那么对目标点的x和y坐标进行二次曲线拟合得到y=f(x),找到顶点坐标,将目标点全部减去这个顶点坐标,使机鼻51所在位置变为原点,再使用这些点的x,通过轮廓的高次曲线方程,计算出理论的y坐标,与这些点本身的y坐标作差,求出所有点的误差,求出平均误差和方差,再将每个点的误差与这个平均误差作差并取绝对值,求出所有点的绝对误差,求平均绝对误差。若平均绝对误差与方差都在一定范围内,则认为测量轮廓与理论轮廓匹配,通过验证。
对机舱宽度测量和机头俯视轮廓测量以空客A319为举例:
空客A319的理论轮廓方程为
y=9.88e-29*x^9+2.49e-23*x^8-4.91e-23*x^7-1.12e-16*x^6-6.94e-16*x^5+9.39e-11*x^4-7.73e-11*x^3+0.0011*x^2+0.0058*x-8.3797,单位为mm,其中e代表10的次方,即“*10^”。设定平均绝对误差的最大范围为50,方差的最大范围为3500。
一次水平扫描得到的数据如下表:
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 30760 30760 30652 30580 30436 30336
30328 30296 30216 30180 30180 30176 30128 30128 30128 30160
30160 30164 30176 30212 30252 30320 30468 30476 30624 30704
30956 30956 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4 4
数据全部是以mm为单位的距离值,值为4的点是超出测量范围的点。
激光测距装置3距离地面的高度H为2732mm,飞机机鼻51高度h为3257mm,飞机机舱宽度为3950水平扫描的俯角为-1.0125°(即1.0125°的仰角),预测扫描数据为(2732-3257)/sin(-1.1025°)=29710mm,所以这一次水平扫描数据中,除值为4以外的点都是目标点。
使用所述xyz坐标的计算方法,计算所有目标点的xy坐标,例如前两个目标点的xy坐标为(-589,30753)和(-529,30754),最后一个目标点的xy坐标为(1047,30938),最大和最小的x坐标位于两段,差值为1047-(-589)=1636mm,大于实际机舱宽度3950*0.4=1580mm,可以通过验证。
对所有目标点使用最小二乘法拟合二次曲线,得到方程y=9.6437e-4*x^2-0.3646*x+30176,顶点坐标为(189,30141),将目标点的xy坐标全部减去这个顶点坐标,例如前两个目标点新得到的xy坐标为(-778,612)和(-718,613)。
所有目标点与空客A319的理论轮廓曲线如图15,图中横纵坐标分别是x轴和y轴,连续曲线是理论轮廓,单个点是目标点。
对每个目标点,例如(-778,612),将x坐标(-778)代入空客A319的理论轮廓方程,计算出理论的y坐标为681,计算误差612-681=-69,得到所有目标点的误差:
-69 34 25 42 -22 -51 2 22 -14 -15
13 28 -10 -7 -12 7 -14 -39 -65 -75
-90 -86 -14 -87 -35 -57 74 -41
求出平均值为-20,将每个点的误差与这个平均误差作差并取绝对值,求出所有点的绝对误差:
50 54 45 61 2 31 21 42 6 5
32 47 10 13 8 27 6 19 45 55
70 66 6 67 15 37 94 21
求出平均绝对误差为34,方差为1751,分别在设定的最大范围以内,可通过验证。
为加强验证的可信度,可进行多次机头俯视轮廓测量,每次都得出平均绝对误差和方差,求所有的平均绝对误差和方差的平均值,与设定的范围进行比较。
对空客A319测量得到平均的平均绝对误差为34.6790,平均的方差为2072.6,分别在设定的最大范围以内,可通过验证;
对波音B737-800进行测量得到平均的平均绝对误差为75.2241,平均的方差为9426.4,都超出了设定的最大范围,不能通过验证。
波音B737-800的所有目标点与空客A319的理论轮廓曲线如图16,图中横纵坐标分别是x轴和y轴,连续曲线是A319的理论轮廓,单个点是B737-800的目标点。
两种型号飞机的平均绝对误差如图17,图中横坐标中每个点都是一次水平扫描的结果,纵坐标是平均绝对误差的值,图中位置较低的曲线是A319的平均绝对误差,位置较高的曲线是B737-800的。
所述步骤S332进一步包括:
步骤S3324、机头侧视轮廓验证:
对所述入坞飞机5机头进行垂直扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的z和y坐标进行二次曲线拟合得到y=f(z);
使用所述目标点的z值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一侧视轮廓设定值,视为通过所述入坞飞机5的机头侧视轮廓验证。
例如,对飞机机头进行一次垂直扫描,方法与飞机跟踪中的垂直扫描相同,将目标点转换到xyz坐标,调整xy坐标,使这些点与预先存储的高次方程曲线尽量重合,具体地,对目标点的z和y坐标进行二次曲线拟合得到y=f(z),找到顶点坐标(z0,y0),将目标点的坐标全部减去(0,y0),使机鼻51的y坐标变为0,z坐标不变(仍为实际高度),再使用这些点的z,通过轮廓的高次曲线方程,计算出理论的y坐标,与这些点本身的y坐标作差,求出所有点的误差,求出平均误差和方差,再将每个点的误差与这个平均误差作差并取绝对值,求出所有点的绝对误差,求平均绝对误差。若平均绝对误差与方差都在一定范围内,则认为测量轮廓与理论轮廓匹配,通过验证。
所述步骤S332进一步包括:
步骤S3325、引擎数据验证:
根据所述入坞飞机5机鼻51位置预算出引擎应出现的理论位置,该理论位置至少有两个,对该理论位置进行水平方向的激光扫描并获得目标点;
将水平方向的激光扫描得到的所述目标点的回波数据转换到x-y-z三维坐标,寻找距离理论引擎中心最近的坐标点,并寻找与该最近的坐标点连续的点,得到一点集,点集中最左端和最右端的两个目标点的距离作为引擎宽度;
若该引擎宽度与标准值的差距小于或等于一设定阈值,且该理论位置外只出现个别噪声点,视为通过所述入坞飞机5的引擎验证。
例如,对引擎的中间部位(扇叶的旋转中心也就是圆心位置)进行水平扫描,使用飞机捕获中计算俯角的方法,将机鼻51高度h替换为引擎中间部位距离地面的高度,将机鼻51距离激光测距装置3的水平距离dis替换为引擎距离激光测距装置3的水平距离,重新计算俯角,以此俯角进行水平扫描,将目标点转换到xyz坐标,根据本次引擎数据测量之前所得到的机鼻51位置,以及机鼻51与引擎的位置关系,可以预算出引擎应该出现的理论位置,也就可以预算出扫描引擎的得到的数据点的分布范围,预算的分布范围至少有两个,即左引擎和右引擎的分布范围,分析这些范围中的目标点,具体地,高度(z坐标)在引擎下边缘与上边缘的点判定为扫描引擎得到的点,在每一个预算的分布范围中,计算最左端的引擎点与最右端的引擎点的欧氏距离,为引擎宽度的测量值,测量值与理论值相比不应有太大的差距;在所述最左端的引擎点与最右端的引擎点之间,大多是扫描引擎扇叶得到的点,其中很多不能返回有效数据,所以这之间的目标点的数量与预算的分布范围中全部点的数量之比,需要大于一定比例;在预算的分布范围之外,目标点数应该非常少,只出现个别噪声点,才可通过验证,否则便是引擎位置与理论预测不符,不能通过验证。
信息融合模块7使用系数1、2、3和激光扫描子系统提供的信息进行融合,当机器视觉子系统需要单独得出身份验证结论时,进行综合决策:若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85,则通过身份验证,或,所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7,则通过身份验证。否则验证失败。
所述信息融合步骤S4进一步包括:
步骤S41、使用基于D-S理论的融合方法,建立一个非空的辨识框架:其中,h表示机型正确,表示机型错误,表示机型可能正确也可能错误,即暂时不能确定,表示不可能事件;
步骤S42、建立各自的mass函数。m1(·)为机器视觉子系统的mass函数,m2(·)为激光扫描子系统的mass函数,且满足:
∑m1(·)=1,∑m2(·)=1
其中, m 1 ( h ) = &Pi; i = 1 3 系数,
m 1 ( h &OverBar; ) = &Pi; i = 1 3 (1-系数i)
其中系数1为机型相似度参数、系数2为全局模板相似度参数、系数3为局部模板相似度参数;
m2(h)和根据激光扫描系统1预先设定的优先等级判别顺序而变化,当身份验证通过了一定等级、而未进行更高等级的身份验证时,m1(h)随通过的等级增高而增大,同时随通过的等级增高而减小;当身份验证通过了一定等级、而在更高一级的身份验证中失败时,m1(h)随通过的等级增高而减小,同时随通过的等级增高而增大。参见图18,一种典型的经验取值为:
步骤S43、计算mass函数的正交和
其中,
使用上述同样的公式计算和m(H),
若有
m ( h ) - m ( h &OverBar; ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h ) > m ( H )
其中ε1、ε2为预设的门限值,例如,ε1=0.3,ε2=0.2,则h为判决结果,融合结果为:机型正确身份验证通过;
若有
m ( h &OverBar; ) - m ( h ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h &OverBar; ) > m ( H )
为判决结果,融合结果为:机型错误身份验证失败。
本发明基于机器视觉和激光扫描两种方法,机器视觉的方法在图像的极黑区域中检测类圆形,通过相似度判定检测出飞机引擎,在图像的边缘检测结果中检测倾斜的直线,提取得到机翼,借助引擎位置,在图像的边缘检测结果中检测圆形,提取得到机头,在机头位置上方提取得到尾翼;对视觉图像中的飞机的各个参数进行测量,与数据库中该机型的数据进行比对,针对飞机的整个外轮廓进行全局模板匹配,针对飞机的各个细节进行局部模板匹配,对每个细节的相似度进行加权,激光扫描的方法验证飞机机舱宽度d、飞机机鼻高度h、飞机机头俯视轮廓、飞机机头侧视轮廓、飞机引擎位置及宽度,最后将两种方法的结果融合,确认机型,完成身份验证,使泊位信息充分有效,使飞机实现安全有效的泊位,提高机场运行效率和安全。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (11)

1.一种入坞飞机机型识别验证方法,其特征在于,包括如下步骤:
S1、场景设置,将监测场景划分为不同的信息处理功能区;
S2、机器视觉验证,基于机器视觉系统对入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的视觉身份验证信息;
S3、激光扫描验证,基于激光扫描系统对所述入坞飞机的机型进行识别验证,并与数据库预存的该入坞飞机的机型信息比对后得到该入坞飞机的激光身份验证信息;
S4、信息融合,将所述视觉身份验证信息与所述激光身份验证信息融合为一个验证结果并输出该验证结果;
S5、显示,通过显示装置接收并显示所述验证结果。
2.如权利要求1所述的入坞飞机机型识别验证方法,其特征在于,所述机器视觉验证步骤S2进一步包括:
S21、飞机捕获,在设置好的飞机泊位场景中通过所述摄像装置捕获待停泊飞机的视频图像;
S22、飞机识别及身份验证,对步骤S21捕获到的待停泊飞机进行机型及身份验证,以进一步保证所述待停泊飞机安全准确停泊,包括:
S221、参数验证,提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对,得到机型相似度参数;
S222、模板匹配,将所述视频图像与预置于所述数据库中的机型模板进行比对,得到模板相似度参数,其中;
S223、综合判断,所述机型数据相似度参数与所述模板相似度参数大于或等于一验证阈值时,则通过所述待停泊飞机的机型与身份验证。
3.如权利要求2所述的入坞飞机机型识别验证方法,其特征在于,所述模板匹配步骤S222进一步包括:
S2221、全局模板匹配,以整幅所述视频图像为被搜索图像,以所述数据库中的标准飞机图像为模板,计算全局模板相似度参数;
S2222、局部模板匹配,分别以S221中提取得到的所述飞机参数为被搜索图像,分别以所述数据库中的标准飞机参数为模板,分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度,去掉所述4个相似度中的最小值,计算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。
4.如权利要求2或3所述的入坞飞机机型识别验证方法,其特征在于,所述综合判断步骤S223包括:
若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85,则通过身份验证,或,所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7,则通过身份验证。
5.如权利要求1所述的入坞飞机机型识别验证方法,其特征在于,所述激光扫描验证步骤S3进一步包括:
S31、数据预处理;
S32、飞机捕获,通过所述激光扫描系统对设置好的飞机泊位场景中的捕获区分别进行水平和垂直方向连续扫描,比对当前扫描行和前帧扫描参数直至捕获到所述入坞飞机,并计算飞机的机鼻位置;
S33、飞机识别及身份验证,对步骤S32捕获到的所述入坞飞机进行机型及身份验证,包括:
S331、获取所述入坞飞机的特征参数,并将所述特征参数固化在所述激光扫描系统内以备随时调用,所述特征参数包括飞机机舱宽度、飞机机鼻高度、飞机机头俯视轮廓、飞机机头侧视轮廓和飞机引擎数据;
S332、按照预先设定的优先等级判别顺序,对所述入坞飞机的特征参数与预存的待入坞飞机的相应标准参数比对,并根据比对结果输出验证结果。
6.如权利要求5所述的入坞飞机机型识别验证方法,其特征在于,所述步骤S332进一步包括:
S3321、机鼻高度验证:
对所述入坞飞机机头进行垂直扫描并获取目标点;
对所述目标点进行二次曲线拟合,得到所述入坞飞机机鼻高度的测量值;
如果该机鼻高度的测量值与预设机鼻高度之差在一预设范围内,视为通过机鼻高度验证;
S3322、机舱宽度验证:
对所述入坞飞机机头进行水平扫描并获取目标点;
将所述目标点转换到x-y-z坐标,取其中最大和最小的x坐标,求该最大和最小的x坐标之差得到所述入坞飞机机舱宽度的测量值;
如果该机舱宽度大于理论机舱宽度与一宽度系数的乘积,视为通过机舱宽度验证。
7.如权利要求6所述的入坞飞机机型识别验证方法,其特征在于,所述步骤S332进一步包括:
S3323、机头俯视轮廓验证:
对所述入坞飞机机头进行水平扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的x和y坐标进行二次曲线拟合得到y=f(x);
使用所述目标点的x值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论的y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一俯视轮廓设定值,视为通过所述入坞飞机的机头俯视轮廓验证。
8.如权利要求7所述的入坞飞机机型识别验证方法,其特征在于,所述步骤S332进一步包括:
S3324、机头侧视轮廓验证:
对所述入坞飞机机头进行垂直扫描并获得目标点;
将所述目标点转换到x-y-z坐标,对所述目标点的z和y坐标进行二次曲线拟合得到y=f(z);
使用所述目标点的z值,通过预置的飞机机头轮廓的高次曲线方程,计算出所述目标点的理论y坐标值;
求出所有所述目标点的y值与所述理论y坐标值的误差,并求出平均误差和方差;
根据所述平均误差求出所有所述目标点的平均绝对误差,若所述平均绝对误差与所述方差均小于或等于一侧视轮廓设定值,视为通过所述入坞飞机的机头侧视轮廓验证。
9.如权利要求8所述的入坞飞机机型识别验证方法,其特征在于,所述步骤S332进一步包括:
S3325、引擎数据验证:
根据所述入坞飞机机鼻位置预算出引擎应出现的理论位置,该理论位置至少有两个,对该理论位置进行水平方向的激光扫描并获得目标点;
将水平方向的激光扫描得到的所述目标点的回波数据转换到x-y-z三维坐标,寻找距离理论引擎中心最近的坐标点,并寻找与该最近的坐标点连续的点,得到一点集,点集中最左端和最右端的两个目标点的距离作为引擎宽度;
若该引擎宽度与标准值的差距小于或等于一设定阈值,且该理论位置外只出现个别噪声点,视为通过所述入坞飞机的引擎验证。
10.如权利要求2、3、5、6、7、8或9所述的入坞飞机机型识别验证方法,其特征在于,所述信息融合步骤S4进一步包括:
S41、使用基于D-S理论的融合方法,建立一个非空的辨识框架:其中,h表示机型正确,表示机型错误,表示机型可能正确也可能错误,即暂时不能确定,表示不可能事件;
S42、建立各自的mass函数。m1(·)为机器视觉子系统的mass函数,m2(·)为激光扫描子系统的mass函数,且满足:
∑m1(·)=1,∑m2(·)=1
其中, m 1 ( h ) = &Pi; i = 1 3 系数i,
m 1 ( h &OverBar; ) = &Pi; i = 1 3 (1-系数i)
其中系数1为机型相似度参数、系数2为全局模板相似度参数、系数3为局部模板相似度参数;
m2(h)和根据激光扫描系统预先设定的优先等级判别顺序而变化;
S43、计算mass函数的正交和
其中,
使用上述同样的公式计算和m(H),
若有
m ( h ) - m ( h &OverBar; ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h ) > m ( H )
其中ε1、ε2为预设的门限值,则融合结果为:机型正确身份验证通过;
若有
m ( h &OverBar; ) - m ( h ) > &epsiv; 1 m ( H ) < &epsiv; 2 m ( h &OverBar; ) > m ( H )
则融合结果为:机型错误身份验证失败。
11.一种用于上述权利要求1-10中任意一项所述的入坞飞机机型识别验证方法的入坞飞机机型识别验证系统。
CN201410377395.7A 2014-08-01 2014-08-01 一种入坞飞机机型识别验证系统及方法 Active CN105335764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410377395.7A CN105335764B (zh) 2014-08-01 2014-08-01 一种入坞飞机机型识别验证系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410377395.7A CN105335764B (zh) 2014-08-01 2014-08-01 一种入坞飞机机型识别验证系统及方法

Publications (2)

Publication Number Publication Date
CN105335764A true CN105335764A (zh) 2016-02-17
CN105335764B CN105335764B (zh) 2018-09-18

Family

ID=55286279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410377395.7A Active CN105335764B (zh) 2014-08-01 2014-08-01 一种入坞飞机机型识别验证系统及方法

Country Status (1)

Country Link
CN (1) CN105335764B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579771A (zh) * 2019-09-12 2019-12-17 南京莱斯信息技术股份有限公司 一种基于激光点云的飞机泊位引导方法
CN111427374A (zh) * 2020-02-25 2020-07-17 深圳市镭神智能系统有限公司 飞机泊位引导方法、装置及设备
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4249159A (en) * 1977-10-17 1981-02-03 Stasko Thomas A Aircraft docking system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4249159A (en) * 1977-10-17 1981-02-03 Stasko Thomas A Aircraft docking system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李国等: "模糊联合卡尔曼滤波器在机场泊位引导系统中的应用", 《小型微型计算机系统》 *
韩万鹏等: "机场泊位引导系统的发展现状及关键技术分析", 《激光与红外》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579771A (zh) * 2019-09-12 2019-12-17 南京莱斯信息技术股份有限公司 一种基于激光点云的飞机泊位引导方法
CN111427374A (zh) * 2020-02-25 2020-07-17 深圳市镭神智能系统有限公司 飞机泊位引导方法、装置及设备
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN112130946B (zh) * 2020-09-22 2024-03-26 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN105335764B (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
US10255520B2 (en) System and method for aircraft docking guidance and aircraft type identification
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN105329457B (zh) 一种基于激光扫描的飞机入坞引导系统及方法
CN112102646B (zh) 一种泊车定位中的停车场入口定位方法、装置及车载终端
CN104183133B (zh) 一种采集和传输道路交通流动态信息的方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN104597907B (zh) 一种架空输电线路无人机巡检系统飞行准确性评价方法
CN103714541A (zh) 一种利用山体轮廓区域约束识别定位建筑物的方法
CN104484870A (zh) 校验飞机定位方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
KR101778623B1 (ko) 2d 레이저 센서와 모터를 구비하는 스캐너를 이용하여 항공기를 주기장에 안전하게 유도하는 방법
CN105336221B (zh) 一种入坞飞机实时捕获方法及系统
CN105447431B (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
Rice et al. Automating the visual inspection of aircraft
CN105335764A (zh) 一种入坞飞机机型识别验证系统及方法
CN103697883A (zh) 一种基于天际线成像的飞行器水平姿态确定方法
CN105335985B (zh) 一种基于机器视觉的入坞飞机实时捕获方法及系统
US20190156473A1 (en) Automated Airfield Ground Lighting Inspection System
EP4235627A1 (en) Learning based system and method for visual docking guidance to detect new approaching aircraft types
CN116188470A (zh) 一种基于无人机航拍识别的故障定位方法和系统
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application
CN105438493B (zh) 一种基于激光扫描的飞机入坞跟踪定位系统及方法
CN106898023B (zh) 一种基于视频图像的车头间距测量方法及系统
CN106679630B (zh) 一种接触网定位器坡度检测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210615

Address after: 518103 No.9, Fuyuan 2nd Road, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd.

Address before: Four No. four industrial road, Shekou Industrial Zone, Guangdong, Shenzhen 518067, China

Patentee before: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd.

Patentee before: China International Marine Containers (Group) Co.,Ltd.

TR01 Transfer of patent right