CN105335751B - 一种基于视觉图像的泊位飞机前轮定位方法 - Google Patents
一种基于视觉图像的泊位飞机前轮定位方法 Download PDFInfo
- Publication number
- CN105335751B CN105335751B CN201410378544.1A CN201410378544A CN105335751B CN 105335751 B CN105335751 B CN 105335751B CN 201410378544 A CN201410378544 A CN 201410378544A CN 105335751 B CN105335751 B CN 105335751B
- Authority
- CN
- China
- Prior art keywords
- aeroengine
- aircraft nose
- nose wheel
- template
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004807 localization Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000007654 immersion Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241001270131 Agaricus moelleri Species 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002791 soaking Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于视觉图像的泊位飞机前轮定位方法，包括：输入视觉灰度图像；目标锁定，使用高斯混合模型对所述视觉灰度图像进行运动目标掩膜的提取，锁定待进入停机位的飞机轮廓；飞机引擎提取，包括：引擎检测，利用该运动目标掩膜进行全局引擎检测，并输出检测到的飞机引擎信息；引擎跟踪，利用上一帧该飞机引擎信息进行引擎位置跟踪并输出跟踪到的本帧飞机引擎信息，以提高本帧飞机引擎的检测速度；飞机前轮定位，使用输出的该飞机引擎信息和/或对应的所述停机位的机场引导线作为先验信息确定飞机前轮可能出现的目标位置，使用针对机场环境优化后的前轮模板在该目标位置附近进行多分辨率匹配，并根据匹配结果确定并输出该飞机前轮所在位置。
Description
技术领域
本发明涉及一种泊位飞机定位及引导技术，特别是一种针对泊位飞机图像中目标的特征部件的检测和跟踪的基于视觉图像的泊位飞机前轮定位方法。
背景技术
视觉图像中的目标检测与跟踪是图像处理与模式识别的基本任务之一，也是计算机视觉最重要的技术之一。视觉图像中包含有丰富的颜色、亮度、纹理等信息，是经过自然选择后最适合感知世界的方式。人类与部分高等动物的大脑可以自动地进行对感兴趣目标的检测与跟踪过程，这依赖于大脑的强大处理能力和一个人或动物从小到大对世界的学习。要使用完全由计算机来模拟大脑的这一过程，以现有的科技水平还无法做到，但一些较为简单的、具有高区分度的特殊物体的检测与跟踪，完全可以交给计算机来完成。
发明内容
本发明所要解决的技术问题是提供一种针对泊位飞机图像中目标的特征部件的检测和跟踪的基于视觉图像的泊位飞机前轮定位方法。
为了实现上述目的，本发明提供了一种基于视觉图像的泊位飞机前轮定位方法，其中，包括如下步骤：
S1、输入视觉灰度图像；
S2、目标锁定，使用高斯混合模型对所述视觉灰度图像进行运动目标掩膜的提取，锁定待进入停机位的飞机轮廓；
S3、飞机引擎提取，包括：
S31、引擎检测，利用步骤S2提取到的该运动目标掩膜进行全局引擎检测，并输出检测到的飞机引擎信息；
S32、引擎跟踪，利用步骤S31已检测到的上一帧该飞机引擎信息进行引擎位置跟踪并输出跟踪到的本帧飞机引擎信息，以提高本帧飞机引擎的检测速度；
S4、飞机前轮定位，使用输出的该飞机引擎信息和/或对应的所述停机位的机场引导线作为先验信息确定飞机前轮可能出现的目标位置，使用针对机场环境优化后的前轮模板在该目标位置附近进行多分辨率匹配，并根据匹配结果确定该飞机前轮所在位置；
S5、输出该飞机前轮所在位置信息，以引导驾驶员正确进入该停机位。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，所述引擎检测步骤S31包括：
S311、计算该运动目标掩膜覆盖下的视觉图像的灰度直方图累积分布，根据该灰度直方图累计分布确定该视觉图像的最大/最小灰度级，进而确定该视觉图像为白天或黑夜条件下所拍摄；
S312、使用分割阈值将图像分割为极黑区域和其他区域；
S313、使用圆形判定阈值对所有极黑区域进行类圆区域检测；
S314、筛选出高度相等、半径相等且间距为一预设值的一对类圆区域作为飞机引擎信息。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，所述引擎检测步骤S31还包括：
S315、若检测失败，则提高该阈值重新进行步骤S312-S314，若检测成功则输出并记录该飞机引擎信息。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，所述引擎检测步骤S32包括：
S321、使用浸水填充法对步骤S31检测到的飞机引擎进行跟踪并输出和记录跟踪到的飞机引擎信息；
S322、若浸水填充法失败，使用上一帧成功跟踪时使用的阈值进行极黑区域的分割，若极黑区域为圆形，则输出并记录新一帧的引擎信息；若不是圆形，则判定跟踪失败；
S323、若跟踪失败，则将上一帧飞机引擎信息置空后返回步骤S31，并输出一预测结果。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，在未检测到飞机引擎的情况下，所述飞机前轮定位步骤S4包括：
S41、在预设的视觉灰度图像上对该机场引导线与停止线进行标记；
S42、根据该机场引导线设置该目标位置及先验矩阵；
S43、使用致密模板金字塔进行模板匹配以确定前轮的位置和大小。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，在检测到飞机引擎的情况下，所述飞机前轮定位步骤S4包括：
S44、利用该飞机引擎半径的大小设置前轮模板的尺度，根据飞机引擎位置设置的检测区内进行模板匹配确定飞机前轮的位置，以最大相似度位置作为该飞机前轮所在位置；
S45、在上一帧检测到飞机前轮位置的情况下，在该飞机前轮位置附近寻找新的飞机前轮位置，并判断是否应当提升当前飞机前轮尺度。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，所述步骤S311中，记录下累积分布中99％和1％对应的灰度级，作为该视觉图像的最大/最小灰度级，若最大灰度级小于预设值，则判定该视觉图像为夜晚拍摄。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，所述步骤S313包括：
提取所述极黑区域的所有外层边界，对每一个边界，计算其重心坐标，计算公式为：
其中，
枚举当前区域边界的所有像素点，计算其与重心的距离，并不断更新最大/最小距离，若最大距离/最小距离超过了该圆形判定阈值，则判定该区域非圆形而直接进入下一区域的判定。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，在步骤S4中，该前轮模板在该目标位置附近进行多分辨率匹配所采用的距离度量公式为归一化后的相关系数，其计算公式为：
其中，
T'(x',y')＝T(x',y')-1/(w·h)·∑x″,y″T(x″,y″)
I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑x″,y″I(x+x″,y+y″)
T(x,y)和I(x,y)分别为模板和图像中(x,y)坐标对应的灰度值，I(x+x',y+y')为图像中坐标为(x+x',y+y')对应的灰度值，w和h分表表示模板的宽和高，T'(x',y')表示模板上该点减去模板的均值之后的值，I'(x+x',y+y')表示图像中该点减去被模板所覆盖区域的均值之后的值。
上述的基于视觉图像的泊位飞机前轮定位方法，其中，若所述引擎检测步骤无法找到飞机引擎，则将该分割阈值增加0.04，该圆形判定阈值增加0.2后，重复上述步骤S312-S314进行重新检测。
本发明的技术效果在于：
本发明针对即将泊位的飞机，使用摄像机拍摄其正面图像，通过对图像中飞机的前轮检测与跟踪，结合引导线位置给出相应的引导信息，将相应的引导信息反馈给飞机驾驶员，替代人工引导员完成引导任务。通过在视觉图像中精确检测并跟踪前轮的位置，利用引擎与前轮的位置关系，通过引擎位置对前轮的搜索区域进行限制，既保证了准确率，又提高了检测速度。完全可以达到泊位飞机引导的速度要求。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明一实施例的流程图；
图2为本发明一实施例的飞机引擎检测跟踪步骤流程图；
图3为本发明一实施例的飞机前轮定位步骤流程图；
图4A为本发明一实施例的夜晚条件下的灰度直方图；
图4B为本发明一实施例的早晨条件下的灰度直方图；
图5为本发明一实施例的极黑区域提取效果图；
图6为本发明一实施例的前轮检测模板示意图；
图7A为本发明一实施例的模板金字塔示意图；
图7B为图7A中模板缩放效果图。
其中，附图标记
S1-S5 步骤
10 极黑区域
20 灰度低的前轮区域
30 灰度较低的起落架连接件
40 灰度较高的地面背景
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
参见图1，图1为本发明一实施例的流程图。本发明的基于视觉图像的泊位飞机前轮定位方法，包括如下步骤：
步骤S1、输入视觉灰度图像；
步骤S2、目标锁定，使用高斯混合模型对所述视觉灰度图像进行运动目标掩膜的提取，锁定待进入停机位的飞机轮廓，使用高斯混合模型进行运动目标掩膜的提取，该方法为计算机视觉领域的常用算法，本发明中所使用的算法代码由OpenCV库所提供，该库为开源软件库，遵从BSD协议，故在此对使用高斯混合模型进行运动目标掩膜的提取的详细过程不做赘述；
步骤S3、飞机引擎提取，使用引擎与引导线作为先验信息来约束前轮可能出现的位置，使用针对机场环境优化过的前轮模板在可能出现位置附近进行多分辨率匹配。包括：
步骤S31、引擎检测，利用步骤S2提取到的该运动目标掩膜进行全局引擎检测，并输出检测到的飞机引擎信息；
步骤S32、引擎跟踪，利用步骤S31已检测到的上一帧该飞机引擎信息进行引擎位置跟踪并输出跟踪到的本帧飞机引擎信息，以提高本帧飞机引擎的检测速度；
步骤S4、飞机前轮定位，使用输出的该飞机引擎信息和/或对应的所述停机位的机场引导线作为先验信息确定飞机前轮可能出现的目标位置，使用针对机场环境优化后的前轮模板在该目标位置附近进行多分辨率匹配，并根据匹配结果确定该飞机前轮所在位置；
步骤S5、输出该飞机前轮所在位置信息，以引导驾驶员正确进入该停机位。
参见图2，图2为本发明一实施例的飞机引擎检测跟踪步骤流程图。本实施例中，所述引擎检测步骤S31具体包括：
步骤S311、计算该运动目标掩膜覆盖下的视觉图像的灰度直方图累积分布，根据该灰度直方图累计分布确定该视觉图像的最大/最小灰度级，进而确定该视觉图像为白天或黑夜条件下所拍摄；
其中，记录下累积分布中99％和1％对应的灰度级，作为该视觉图像的最大/最小灰度级，若最大灰度级小于预设值，则判定该视觉图像为夜晚拍摄(参见图4A、图4B，图4A为本发明一实施例的夜晚条件下的灰度直方图，图4B为本发明一实施例的早晨条件下的灰度直方图)。
步骤S312、使用一个固定的分割阈值将图像分割为极黑区域和其他较亮区域；该分割阈值的物理意义为极黑区域在前景目标(飞机正面形状)中所占的比例，该分割阈值的一般范围可为0.06-0.12，优选为0.08，在夜晚图像中，背景转变为黑色，此时将该分割阈值提高0.4进行检测。
步骤S313、使用圆形判定阈值对所有极黑区域进行类圆区域检测(参见图5，图5为本发明一实施例的极黑区域提取效果图)；
提取所述极黑区域10的所有外层边界，对每一个边界，计算其重心坐标重心的计算公式为：
其中,对下式将j和i分别取0,1计算，
枚举当前区域边界的所有像素点edge{x,y}，计算其与该重心的距离，并不断更新最大/最小距离，若最大距离/最小距离超过了该圆形判定阈值(预设值优选为1.2)，则判定该区域非圆形而直接进入下一区域的判定。
步骤S314、利用引擎总是成对出现的特性(部分机型为3引擎，此时忽略尾翼处的第三个引擎，仅检测机翼处悬挂的两个引擎)对判定的类圆区域进行筛选，筛选出高度相等、半径相等且间距为一预设值的一对类圆区域作为飞机引擎信息。假设检测到M个类圆区域，生成一个M*M的上三角矩阵S，S中的各元素计算公式为：
S(i,j)＝abs(Wi-Wj-Tij)*abs(Hi-Hj)*abs(Ri-Rj)
Tij＝3*(Ri+Rj)
其中，S(i,j)表示上三角矩阵的第i行，第j列的元素，abs表示去绝对值，Wi、Wj表示第i、j个极黑区域中心的横坐标，Hi、Hj表示第i、j个极黑区域中心的纵坐标，Ri、Rj表示第i、j个极黑类圆区域的半径，Tij为两引擎的最小间距，默认为3个引擎直径大小，该参数随待泊位飞机机型的不同设置不同的数值。取S中最小的一个元素的下标i和j作为检测到的成对引擎。
所述引擎检测步骤S31还可包括：
步骤S315、一般地，最佳分割阈值为0.08-0.12，若检测失败，无法找到飞机引擎，则认为当前参数可能略微严苛，此时将两个参数分别扩大一个等级，该分割阈值增加0.04，该圆形判定阈值增加至0.2后，重新进行上述步骤S312-S314进行重新检测，扩大的次数最多不超过2次。若检测成功则输出并记录该飞机引擎信息。同时记录该次检测所使用参数值，以供跟踪模块使用。
其中，所述引擎检测步骤S32具体包括：
步骤S321、使用浸水填充法对步骤S31检测到的飞机引擎进行跟踪并输出和记录跟踪到的飞机引擎信息；引擎附近的局部图像中，中间部分为不透光的黑色，而引擎壁为白色，若将局部图像的亮度看作高度，则引擎附近的局部图像呈一个盆地的形状。以上一帧引擎中心为种子点，不断向盆地中“注水”，“水”会慢慢扩散成一个圆形区域，该区域即为引擎内部黑色部分所在区域。浸水填充法为图像处理的基本方法之一，在此不过多阐述。检测成功后，统计黑色圆形区域中的灰度分布，并记录下最高灰度级，以供未来某帧浸水填充法失效时调用S322使用。该浸水填充法的具体原理及用法可参见电子工业出版社出版的《数字图像处理(第二版)》第十章图像分割中第496页，第4节基于区域的分割，在此不做赘述。
S322、若浸水填充法失败，使用上一帧成功跟踪时使用的阈值进行极黑区域的分割，若极黑区域为圆形，则输出并记录新一帧的引擎信息；若不是圆形，则判定跟踪失败。
即当S321所述浸水填充法失效时，使用S314或S315操作过程中记录下曾经成功的参数，在新的一帧中对引擎进行检测，并将检测范围约束于上一帧所检测到的引擎附近。若仍无法检测到类圆区域，则判定跟踪失败。
步骤S323、若跟踪失败，则将上一帧飞机引擎信息置空后返回步骤S31，重复S311-S315过程对参数进行重新估计，并输出一预测结果。
参见图3，图3为本发明一实施例的飞机前轮定位步骤流程图。在未检测到飞机引擎的情况下，所述飞机前轮定位步骤S4可包括：
步骤S41、在预设的视觉灰度图像上对该机场引导线与停止线进行标记；本发明的方法要求成像设备固定摆放于引导线的延长线上，在摄像机所拍摄的图像中标记出引导线和停止线的位置，标记结束后固定下摄像机位置，一旦摄像机移位，应重新进行标记。
步骤S42、根据该机场引导线设置该目标位置及先验矩阵；
步骤S43、使用致密模板金字塔进行模板匹配以确定前轮的位置和大小。预先建立致密的模板金字塔，模板金字塔是由同一副模板图像按比例缩放得到，参见图7A、7B，图7A为本发明一实施例的模板金字塔示意图，图7B为图7A中模板缩放效果图。本实施例中，自上而下，金字塔的最小尺度为模板大小的20％，最大尺度为模板大小的200％，金字塔每高一级，尺度大小减小20％，最终生成模板个数为-1/log20.8≈10个。具体的，如模版尺寸为100*100像素，则金字塔最小尺度的模版为20*20像素，最大为200*200像素长宽都按比例缩小放大。使用金字塔中的所有分辨率的模板与整幅图像做匹配，取模板与背景的最大匹配度加上0.01作为判断是否为前轮的阈值。同时，在配置文件中也应设置一个最小阈值，最终用来判断的阈值不可小于该阈值，该阈值为经验值，略高于场景中所有非前轮物体与模板的匹配率，在本实施例中，该值设置为0.45。
在未检测到引擎的情况下，也可仅使用引导线作为先验信息。前轮的搜索范围为引导线向左、向右各N个像素(N为预设值，在分辨率为2000*1000的相机中，优选设置为100)。设置先验概率矩阵P，P的大小与搜索区域的大小一致，在引导线的最远端，先验概率设置为1，随着到停止线距离的缩小，先验概率也随之缩小，到引导线一半的距离之后，先验概率均优选设置为0.5。依次使用步骤S43中生成的金字塔中的所有模板在搜索区域内进行匹配，取匹配得到的最大值所在位置作为检测到的前轮位置，相应的尺度即为前轮大小
在检测到飞机引擎的情况下，所述飞机前轮定位步骤S4可包括：
步骤S44、利用该飞机引擎半径的大小设置前轮模板的尺度，根据飞机引擎位置设置的检测区内进行模板匹配确定飞机前轮的位置，以最大相似度位置作为该飞机前轮所在位置。该检测区域为两引擎中间，从下边缘开始，M个引擎半径高度的位置(M应随机型变化而变换，例如对于常见中型客机波音737与空客A320等，M＝4)。设置先验概率矩阵P，使先验概率的大小随到引擎的距离的增大而增大。前轮检测所用模板如图6所示，灰度低的前轮区域20、灰度较低的起落架连接件30和灰度较高的地面背景40如图所示。该模板大小优选为飞机走到引导线一半时图像中的前轮大小。为了将前轮与引导线加以区分，利用引导线中间部分较亮的特性，提高H型模板中横轴的权重，在模板上表现为横轴为纯黑色，而轮胎部分为较深的灰色。为了将前轮与后轮加以区分，在“H”的左右两侧各加入2个像素的留白，且将其他的背景部分的权重降低，在模板上表现为“H”中间的背景为浅灰色。在飞机正面图像上，前轮的高度与飞机的半径大致是相等的，利用这一特性，将模板按比例缩放，使其高度等于检测到的引擎半径，并记录下缩放的尺度。在设置好的检测区域内，使用模板匹配法进行匹配，取匹配得到的最大值所在位置作为检测到的前轮位置。
步骤S45、在上一帧检测到飞机前轮位置的情况下，进入前轮跟踪步骤。在该飞机前轮位置附近寻找新的飞机前轮位置，并判断是否应当提升当前飞机前轮尺度。在上一帧检测到的前轮位置附近取感兴趣区域(ROI)，感兴趣区域不超过前轮大小的2倍。仍以上一帧所使用的尺度下的模板进行匹配，取匹配得到的最大值所在位置作为新的前轮位置。跟踪步骤无需设置先验矩阵。之后，将尺度扩大1.1倍重新进行匹配，若匹配率高于原尺度，则更新当前尺度大小，并给出新尺度下的前轮位置和大小。
参见图6，图6为本发明一实施例的前轮检测模板示意图。该前轮模板在该目标位置附近进行多分辨率匹配所采用的距离度量公式为归一化后的相关系数，归一化意为将模板和模板所覆盖的图像分别减去各自的均值，并除以二者的标准差。其计算公式为：
其中，
T'(x',y')＝T(x',y')-1/(w·h)·∑x″,y″T(x″,y″)
I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑x″,y″I(x+x″,y+y″)
T(x',y')为模板中坐标为(x',y')的像素所对应的灰度值，I(x+x',y+y')为图像中坐标为(x+x',y+y')对应的灰度值，w和h分表表示模板的宽和高，T'(x',y')表示模板上该点减去模板的均值之后的值，I'(x+x',y+y')表示图像中该点减去被模板所覆盖区域的均值之后的值。相关系数最大值为1，最小值为-1，分别代表最相关和最不相关的情况。
本发明利用引擎与前轮的位置关系，通过引擎位置对前轮的搜索区域进行限制，既保证了准确率，又提高了检测速度。完全可以达到泊位飞机引导的速度要求。本发明中所有阈值，均可保证阈值的通用性，不受光照、气候等条件影响。在实际应用中可以根据具体情况在偏差不超过20％的范围内调整。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种基于视觉图像的泊位飞机前轮定位方法，其特征在于，包括如下步骤：
S1、输入视觉灰度图像；
S2、目标锁定，使用高斯混合模型对所述视觉灰度图像进行运动目标掩膜的提取，锁定待进入停机位的飞机轮廓；
S3、飞机引擎提取，包括：
S31、引擎检测，利用步骤S2提取到的该运动目标掩膜进行全局引擎检测，并输出检测到的飞机引擎信息；
S32、引擎跟踪，利用步骤S31已检测到的上一帧该飞机引擎信息进行引擎位置跟踪并输出跟踪到的本帧飞机引擎信息，以提高本帧飞机引擎的检测速度；
S4、飞机前轮定位，使用输出的该飞机引擎信息和/或对应的所述停机位的机场引导线作为先验信息确定飞机前轮可能出现的目标位置，使用针对机场环境优化后的前轮模板在该目标位置附近进行多分辨率匹配，并根据匹配结果确定该飞机前轮所在位置；
S5、输出该飞机前轮所在位置信息，以引导驾驶员正确进入该停机位。
2.如权利要求1所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，所述引擎检测步骤S31包括：
S311、计算该运动目标掩膜覆盖下的视觉图像的灰度直方图累积分布，根据该灰度直方图累积分布确定该视觉图像的最大/最小灰度级，进而确定该视觉图像为白天或黑夜条件下所拍摄；
S312、使用分割阈值将图像分割为极黑区域和其他区域；
S313、使用圆形判定阈值对所有极黑区域进行类圆区域检测；
S314、筛选出高度相等、半径相等且间距为一预设值的一对类圆区域作为飞机引擎信息。
3.如权利要求2所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，所述引擎检测步骤S31还包括：
S315、若检测失败，则提高该分割阈值和该圆形判定阈值重新进行步骤S312-S314，若检测成功则输出并记录该飞机引擎信息。
4.如权利要求1、2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，所述引擎跟踪步骤S32包括：
S321、使用浸水填充法对步骤S31检测到的飞机引擎进行跟踪并输出和记录跟踪到的飞机引擎信息；
S322、若浸水填充法失败，使用上一帧成功跟踪时使用的阈值进行极黑区域的分割，若极黑区域为圆形，则输出并记录新一帧的引擎信息；若不是圆形，则判定跟踪失败；
S323、若跟踪失败，则将上一帧飞机引擎信息置空后返回步骤S31，并输出一预测结果。
5.如权利要求1、2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，在未检测到飞机引擎的情况下，所述飞机前轮定位步骤S4包括：
S41、在预设的视觉灰度图像上对该机场引导线与停止线进行标记；
S42、根据该机场引导线设置该目标位置及先验矩阵；
S43、使用模板金字塔进行模板匹配以确定前轮的位置和大小，其中，所述模板金字塔由同一副模板图像按比例缩放得到。
6.如权利要求1、2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，在检测到飞机引擎的情况下，所述飞机前轮定位步骤S4包括：
S44、利用该飞机引擎半径的大小设置前轮模板的尺度，根据飞机引擎位置设置的检测区内进行模板匹配确定飞机前轮的位置，以最大相似度位置作为该飞机前轮所在位置；
S45、在上一帧检测到飞机前轮位置的情况下，在该飞机前轮位置附近寻找新的飞机前轮位置，并判断是否应当提升当前飞机前轮尺度。
7.如权利要求2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，所述步骤S311中，记录累积分布中99％和1％对应的灰度级，作为该视觉图像的最大/最小灰度级，若最大灰度级小于预设值，则判定该视觉图像为夜晚拍摄。
8.如权利要求2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，所述步骤S313包括：
提取所述极黑区域的所有外层边界，对每一个边界，计算其重心坐标，计算公式为：
其中，
枚举当前区域边界的所有像素点edge{x,y}，计算其与重心的距离，并不断更新最大/最小距离，若最大距离/最小距离超过了该圆形判定阈值，则判定该区域非圆形而直接进入下一区域的判定；
其中，m01表示当前区域边界在y方向上的所有点y坐标值的总和，m10为当前区域边界在x方向上的所有点x坐标值的总和，m00为当前区域边界的点的个数；i,j取值0和1，mij表示m01，m10或m00，xj,yi表示x的j次幂和y的i次幂。
9.如权利要求1、2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，在步骤S4中，该前轮模板在该目标位置附近进行多分辨率匹配所采用的距离度量公式为归一化后的相关系数，其计算公式为：
其中，
T'(x',y')＝T(x',y')-1/(w·h)·∑x”,y”T(x”,y”)
I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑x”,y”I(x+x”,y+y”)
T(x,y)和I(x,y)分别为模板和图像中(x,y)坐标对应的灰度值，I(x+x',y+y')为图像中坐标为(x+x',y+y')对应的灰度值，w和h分表表示模板的宽和高，T'(x',y')表示模板上该点减去模板的均值之后的值，I'(x+x',y+y')表示图像中该点减去被模板所覆盖区域的均值之后的值。
10.如权利要求2或3所述的基于视觉图像的泊位飞机前轮定位方法，其特征在于，若所述引擎检测步骤无法找到飞机引擎，则将该分割阈值增加0.04，该圆形判定阈值增加至0.2后，重复所述步骤S312-S314进行重新检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410378544.1A CN105335751B (zh) | 2014-08-01 | 2014-08-01 | 一种基于视觉图像的泊位飞机前轮定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410378544.1A CN105335751B (zh) | 2014-08-01 | 2014-08-01 | 一种基于视觉图像的泊位飞机前轮定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105335751A CN105335751A (zh) | 2016-02-17 |
| CN105335751B true CN105335751B (zh) | 2018-10-12 |
Family
ID=55286266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410378544.1A Active CN105335751B (zh) | 2014-08-01 | 2014-08-01 | 一种基于视觉图像的泊位飞机前轮定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105335751B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035326A (zh) * | 2018-06-19 | 2018-12-18 | 北京理工大学 | 基于亚像素图像识别的高精度定位技术 |
| CN109040708A (zh) * | 2018-09-20 | 2018-12-18 | 珠海瑞天安科技发展有限公司 | 一种基于全景视频的飞机坪监控方法及系统 |
| CN109360241B (zh) * | 2018-10-17 | 2022-03-15 | 江西洪都航空工业集团有限责任公司 | 单相机测量三维起落架机轮中心位移方法 |
| CN109543533B (zh) * | 2018-10-22 | 2023-05-09 | 捻果科技(深圳)有限公司 | 一种用于机场作业人员管理的自动识别方法 |
| CN113212789A (zh) * | 2021-06-16 | 2021-08-06 | 王宇灿 | 一种飞机滑行辅助系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996020465A1 (en) * | 1994-12-28 | 1996-07-04 | Kenneth Gustavsson | System for zone surveillance |
| CN1664877A (zh) * | 2005-03-07 | 2005-09-07 | 张积洪 | 飞机泊位机型自动识别与指示系统 |
| CN102567093A (zh) * | 2011-12-20 | 2012-07-11 | 广州粤嵌通信科技股份有限公司 | 一种应用于视觉泊位自动引导系统的泊位机型识别方法 |
| CN102750532A (zh) * | 2012-06-06 | 2012-10-24 | 西安电子科技大学 | 基于部件的目标检测方法 |
| CN102930300A (zh) * | 2012-11-21 | 2013-02-13 | 北京航空航天大学 | 一种飞机目标识别方法及系统 |
-
2014
- 2014-08-01 CN CN201410378544.1A patent/CN105335751B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996020465A1 (en) * | 1994-12-28 | 1996-07-04 | Kenneth Gustavsson | System for zone surveillance |
| CN1664877A (zh) * | 2005-03-07 | 2005-09-07 | 张积洪 | 飞机泊位机型自动识别与指示系统 |
| CN102567093A (zh) * | 2011-12-20 | 2012-07-11 | 广州粤嵌通信科技股份有限公司 | 一种应用于视觉泊位自动引导系统的泊位机型识别方法 |
| CN102750532A (zh) * | 2012-06-06 | 2012-10-24 | 西安电子科技大学 | 基于部件的目标检测方法 |
| CN102930300A (zh) * | 2012-11-21 | 2013-02-13 | 北京航空航天大学 | 一种飞机目标识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于几何特征的飞机部位识别跟踪算法;林霖;《红外》;20070831;第28卷(第8期);23-26 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105335751A (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845374B (zh) | 基于深度学习的行人检测方法及检测装置 | |
| CN105335751B (zh) | 一种基于视觉图像的泊位飞机前轮定位方法 | |
| CN102385690B (zh) | 基于视频图像的目标跟踪方法及系统 | |
| CN108304873A (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| CN107808161B (zh) | 一种基于光视觉的水下目标识别方法 | |
| CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
| CN106600625A (zh) | 检测小型生物的图像处理方法及装置 | |
| CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
| Romdhane et al. | An improved traffic signs recognition and tracking method for driver assistance system | |
| CN108830246B (zh) | 一种交通环境行人多维运动特征视觉提取方法 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN110991274B (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
| CN113763424B (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN102663411A (zh) | 一种目标人体识别方法 | |
| CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN112567384A (zh) | 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 | |
| CN104484672B (zh) | 基于多帧图片和自主学习的快速车牌识别方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| CN105335688B (zh) | 一种基于视觉图像的飞机机型识别方法 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| Marzan et al. | Towards tobacco leaf detection using Haar cascade classifier and image processing techniques | |
| CN105809719B (zh) | 一种基于像素多编码表匹配的对象跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210621 Address after: 518103 No.9, Fuyuan 2nd Road, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd. Address before: Four No. four industrial road, Shekou Industrial Zone, Guangdong, Shenzhen 518067, China Patentee before: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd. Patentee before: China International Marine Containers (Group) Co.,Ltd. |
|
| TR01 | Transfer of patent right |