CN114937203A - 基于多目视觉图像视差的机场跑道异物检测方法 - Google Patents

基于多目视觉图像视差的机场跑道异物检测方法 Download PDF

Info

Publication number
CN114937203A
CN114937203A CN202210459854.0A CN202210459854A CN114937203A CN 114937203 A CN114937203 A CN 114937203A CN 202210459854 A CN202210459854 A CN 202210459854A CN 114937203 A CN114937203 A CN 114937203A
Authority
CN
China
Prior art keywords
image
images
foreign matters
points
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210459854.0A
Other languages
English (en)
Inventor
杨恒占
蔡勋
许嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202210459854.0A priority Critical patent/CN114937203A/zh
Publication of CN114937203A publication Critical patent/CN114937203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于多目视觉图像视差的机场跑道异物检测方法，具体技术方案为：使用四个高像素工业摄像头从不同观测角度观测同一检测区域，每个摄像头通过从不同观测角度观测同一检测区域时，在遇到具有立体特性的异物会由于观测角度不同异物会呈现不同形状产生不同的视差的图像，通过对这一组图像的处理找出该差异便可检测出异物。本发明解决了现有技术基于毫米波雷达技术的检测系统探测识别异物的精度差，需要辅助检测手段的缺点，本发明所述检测方法识别精度可以达到5毫米，设备成本及运维成本较低。

Description

基于多目视觉图像视差的机场跑道异物检测方法
技术领域
本发明属于机场安全防护技术领域，涉及一种基于多目视觉图像视差的机场跑道异物检测方法。
背景技术
机场跑道异物FOD(Foreign Object Debris)指的是:任何不属于机场，却出现在了机场区域内的，有可能损伤航空仪器或者航空系统的外来物质。根据统计显示，FOD多以飞机的各种散落零件、金属工具、石子、木块及塑料制品等为主。
人工检测是目前最为普遍的一种FOD检测方式，它的优点是可以检测到毫米级FOD，但对检测人员的综合素质较高，由于受个人情绪、责任心、工作环境、劳动强度、光线强度等外界条件的影响较大，所以总体来说可靠性不高。
目前世界上FAA认证的FOD系统中，有三个FOD检测系统(Tarsier、FODetect、FODFinder)是基于毫米波雷达技术实现的。虽然基于毫米波雷达的FOD检测系统不受白天、夜间和能见度的影响，但仍有如下局限性:①探测识别异物的精度仍较差，只能识别5cm及以上的异物，对于毫米级的异物(如铅弹等)仍无法识别；②需要视频探测为辅助检测手段；③设备成本较高，运维成本也很高。
发明内容
本发明的目的是提供一种基于多目视觉图像视差的机场跑道异物检测方法，解决了现有技术中存在的识别精度受白天、夜间可见度影响、无法对毫米级别的异物进行识别和成本高的三大问题。
本发明具体技术方案如下:
一种基于多目视觉图像的机场跑道异物检测方法，使用四个高像素工业摄像头从不同观测角度观测同一检测区域，每个摄像头通过从不同观测角度观测同一检测区域时，在遇到具有立体特性的异物会由于观测角度不同异物会呈现不同形状产生不同的视差的图像，通过对这一组图像的处理找出该差异便可检测出异物。
具体包括以下步骤：
步骤一：通过四个摄像机ai,i∈(1,2,3,4)对检测区域进行拍摄并将各自拍摄的图像记作Ii,i∈(1,2,3,4),将每张图像转换为灰度图并进行直方图均值化预处理，处理后的每张图像用fi (x,y)表示；其中三个摄像机α1、α2、α3为水平等边三角形布置，第四个摄像头α4为俯拍角度布置；
步骤二：根据四张图像之间存在线性的空间关系，进行图像之间的透视变换，采用特征点对之间的匹配和随机一致匹配算法相结合来建立透视变换矩阵，分别将位于等边三角处拍摄的图像f1(x,y),f2(x,y),f3(x,y)变换到以图像f4(x,y)俯视角度观测的图像ff1(x,y),ff2(x,y),ff3(x,y)；
步骤三：当检测区域存在立体异物时，从不同观测角度观测同一异物会得到不同的形状信息，再通过将每张图像不同信息进行融合就可以得到最终的检测结果，最终完成异物的检测。
步骤一中，所述每张图像转换为灰度图并进行直方图均值化预处理的方法为：对图像Ii,i∈(1,2,3,4)进行高斯模糊得到新的一组图像，再对这组彩色图像中每张彩图分解成RGB三通道亮度图记作R(x,y),G(x,y),B(x,y)，通过fi (x,y)＝0.299*R(x,y)+0.587*G(x,y)+0.114*B(x,y)转换成灰度图fi (x,y)。
步骤二中，首先需要对步骤一得到的图像fi (x,y)分别采用sift算法进行特征点提取,将每个相机ai拍摄的图像中所有极值点分别描述出来形成各自的特征点集Di(i∈(1,2,3,4))。
步骤二中,图像之间的透视变换的方法具体为：
<1>特征点匹配：
将a4相机拍摄的图像作为样本图，通过特征点描述子，分别从a1、a2、a3图像中找出与a4图像中特征点集相匹配的特征点坐标，并记作si4且i∈(1,2,3)；
<2>建立仿射变换矩阵模型：
①假定仿射变换模型如式3.1，并随机从si4抽取4个样本点，对模型进行拟合；
Figure BDA0003621402950000031
Figure BDA0003621402950000032
area(m1)-area(m2)＜＝ε (3.1)
式3.1中，N表示m1区域像素点的个数，M表示q1区域像素点的个数，f(x,y)表示像素点的灰度值，ε表示阈值。
②假设容差范围为:sigma，找出距离拟合曲线容差范围内的点，并统计点的个数；
③重新随机从si4选取4个点，重复第一步到第二步操作，直到迭代结束；
④每次拟合之后，容差范围内都有对应的数据点，找出数据点个数最多的情况，作为最终的模型结果；
通过上述步骤给si4,i∈(1,2,3)三组特征点对集分别建立三个仿射变换模型Hi；在得到对应摄像头拍摄图像的透视变换模型之后，可通过式4.1将ai i∈(1,2,3)摄像头拍摄的图像fi (x,y)变换到以a4摄像头视角拍摄的图像ffi (x,y),i∈(1,2,3)；
Figure BDA0003621402950000041
其中
Figure BDA0003621402950000042
为fi (x,y)图像像素点的位置，
Figure BDA0003621402950000043
为仿射变换后像素点的位置，
Figure BDA0003621402950000044
为透视变换矩阵H。
步骤三中，将每张图像不同信息进行融合的具体方法为：
①通过融合得到的图像亮度均值MoI视差均值图，采用canny边缘检测算子，通过像素间的梯度变换程度提取出“虚环”的外部轮廓与内部轮廓，并根据轮廓将异物区域分为两个区域，实体区域m1和虚环区域q1，通过两个区域的平均灰度差判断此处是否存在异物；
②引入图像亮度偏差度DoI融合图像排除外界干扰因素，通过先膨胀再腐蚀的作法可以放大这种特性，实现异物检测的效果；
③将两副图像检测出来的异物进行对比结合，得到最终的检测结果。
本发明技术方案具有以下有益效果：
在检测过程中，主要采用四个高像素工业摄像头，每个摄像头通过从不同观测角度观测同一检测区域时，在遇到具有立体特性的异物会由于观测角度不同异物会呈现不同形状这一特性，从而产生不同的视差的图像。通过对这一组图像的处理找出该差异便可检测出异物。本发明所述检测方法，识别精度可以达到5毫米，设备成本及运维成本较低。
附图说明
图1为本发明一种基于多目视觉图像视差的机场跑道异物检测方法透视变换原理示意图；
图2为本发明一种基于多目视觉图像视差的机场跑道异物检测方法算法流程图；
图3为本发明一种基于多目视觉图像视差的机场跑道异物检测方法模型示意图；
图4为本发明一种基于多目视觉图像视差的机场跑道异物检测方法高斯金字塔示意图；
图5为本发明一种基于多目视觉图像视差的机场跑道异物检测方法高斯差分金字塔结构示意图；
图6为本发明一种基于多目视觉图像视差的机场跑道异物检测方法局部极值点比较示意图；
图7为本发明一种基于多目视觉图像视差的机场跑道异物检测方法极值点描述子示意图；
图8为本发明一种基于多目视觉图像视差的机场跑道异物检测方法图像亮度均值示意图；
图9为本发明一种基于多目视觉图像视差的机场跑道异物检测方法图像亮度偏差度示意图；
图10为本发明一种基于多目视觉图像视差的机场跑道异物检测方法图像亮度偏差角示意图；
图11为本发明一种基于多目视觉图像视差的机场跑道异物检测方法异物虚环示意图。
图12为本发明一种基于多目视觉图像视差的机场跑道异物检测方法腐蚀膨胀处理后示意图。
图13为本发明一种基于多目视觉图像视差的机场跑道异物检测方法相机拍摄示意图。
图14为本发明一种基于多目视觉图像视差的机场跑道异物检测方法检测结果示意图。
具体实施方式
为了让本发明具有可行性，技术方案的优越性方面更加具有说服力，下面将结合此次发明实验过程中的附图，对此次发明实施的重要的步骤进行详细清楚的讲解说明，所描述的实例步骤是此次发明的一部分，并不是全部的描述。通常是为了向大家证明本发明的可行性和真实性。因此，以下对提供的发明实例附图进行结合讲解进而有利于对实例的深入理解。基于本发明中的实施例，本领域普遍技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范畴。
实施例
本实施例使用了4个高像素的工业网口摄像头、钢架、千兆交换器、一个便携式220v移动电源、一个cpu处理器和显示器。
具体搭建步骤如下：
<1>采用钢架搭建一个如图3模型所示的检测框架，将4个工业网口摄像头固定在等边三角形三个角点处和等边三角重心点。重心点处的相机垂直向下拍摄，位于三角处的相机分别以三角形角平分线并与水平面以60度夹角方向拍摄。
<2>将4个相机连接在交换器上并通过交换器连接在cpu处理器，将cpu处理的图像显示在显示器上。通过220V便携式移动电源给整个系统供电。
<3>调试好系统之后，在模型的底部分别安装三个万向轮。来实现最终的实时移动检测的目的。
图3为本发明检测方法需要建立的物理模型，基于本模型来实现接下来的异物检测过程。基于以上所给模型对本发明的大致流程进行说明介绍如下：
本发明步骤主要包括：图像组的预处理、图像间的配准与仿射变换、图像间的融合检测。
1)图像组的预处理：
①根据图1所示，使用该模型对某一区域进行异物检测时，将α1、α2、α3、α4四个摄像头拍摄的图像记作I1、I2、I3、I4并作为一组数据图像。
②分别对图像I1、I2、I3、I4进行高斯模糊得到新的一组图像，再对这组彩色图像中每张彩图分解成RGB三通道亮度图记作R(x,y),G(x,y),B(x,y)，通过式1.1转换成灰度图fi (x,y)。
fi (x,y)＝0.299*R(x,y)+0.587*G(x,y)+0.114*B(x,y) (1.1)
2)图像间的配准与仿射变换
对经过预处理后的该组图像fi (x,y)分别采用sift算法进行特征点提取。
特征点提取的具体步骤：
<1>将原始图像fi (x,y)不断降阶采样，得到一系列大小不一的图像，从上至下、从大至小构成塔状模型且原始图像作为塔状模型的第一层。每一层的图像用fj i(x,y)(j∈(1,2,....,N))表示。
<2>通过式2.1将
Figure BDA0003621402950000072
与不同高斯卷积核卷积G(x,y,σ)建立高斯金字塔如图4所示。
Figure BDA0003621402950000071
<3>通过式2.2将不同标准差的高斯核卷积生成的图像进行差分得到高斯差分金字塔，如图5所示。
Figure BDA0003621402950000081
fj i(x,y)表示第i个摄像头的第j层图像，G(x,y,kσ)表示标准差为kσ的高斯核
<4>高斯差分金字塔局部极值检测
特征点是由高斯差分金字塔空间中的局部极值点组成的，为寻找差分金字塔函数的极值点，每一个像素点需和它所有的相邻点比较，如图6所示。
<5>极值点方向分配
利用图像中的局部特征给对应得出的极值点分配一个基准方向，使描述子对图像旋转具有不变性。主要通过式(2.3)采集其所在高斯金字塔图像3σ领域窗口内像素的梯度和方向特征。
Figure BDA0003621402950000082
在完成极值点的梯度计算后，使用直方图统计一定范围内领域像素的梯度和方向，以直方图最大值作为该关键点的主方向，并保留峰值大于主方向80％的方向作为该关键点的辅方向，如图7所示。
<6>特征点描述
每一个极值点，都拥有位置、尺度以及方向三个信息。对每个极值点建立一个描述符，用一组向量将该极值点描述出来。通过以上操作将每个相机ai拍摄的图像中所有极值点分别描述出来形成各自的特征点集Di(i∈(1,2,3,4))。
3)图像间的配准与仿射变换
<1>特征点匹配
将a4相机拍摄的图像作为样本图，通过特征点描述子，分别从a1、a2、a3图像中找出与a4图像中特征点集相匹配的特征点坐标，并记作si4且i∈(1,2,3)。
<2>建立仿射变换矩阵模型由于sift算法自身的缺点会导致特征点的匹配不能达到完全正确，因此需要找出合适的特征点对并分别建立三个仿射变换模型。具体步骤如下：
⑤假定仿射变换模型如式3.1，并随机从si4抽取4个样本点，对模型进行拟合；
⑥假设容差范围为:sigma，找出距离拟合曲线容差范围内的点，并统计点的个数；
⑦重新随机从si4选取4个点，重复第一步到第二步操作，直到迭代结束。
⑧每次拟合之后，容差范围内都有对应的数据点，找出数据点个数最多的情况，作为最终的模型结果。
通过上述步骤我们便可以给si4,i∈(1,2,3)三组特征点对集分别建立三个仿射变换模型Hi。
在得到对应摄像头拍摄图像的透视变换模型之后，可通过式4.1将ai i∈(1,2,3)摄像头拍摄的图像fi (x,y)变换到以a4摄像头视角拍摄的图像ffi (x,y),i∈(1,2,3)。
Figure BDA0003621402950000091
其中
Figure BDA0003621402950000092
为fi (x,y)图像像素点的位置，
Figure BDA0003621402950000093
为仿射变换后像素点的位置，
Figure BDA0003621402950000094
为透视变换矩阵H。
3)图像间的融合和异物检测
<1>图像间的融合
在得到处理之后的ffi (x,y),i∈(1,2,3),根据人通过双眼产生不同的视觉差识别立体异物这一原理，来对图像进行进一步的融合处理。由于三台摄像机并非从同一观测点观测同一目标，即使通过透视变换矩阵对三台相机拍摄到的图像进行尺度不变性变换，三张图像也会存在一定的差异，因此通过图像亮度均值、亮度偏差度和亮度偏差角三种融合算法可准确的检测出机场异物的存在。
具体融合步骤如下:
①图像亮度均值(MoI)
图像亮度均值(式4.2)，其物理意义为三张图像的亮度均值，展现目标区域基本图像不重合程度，并为偏差度和偏差角提供参考，如图8所示。
Figure BDA0003621402950000101
②图像亮度偏差度(DoI)
图像亮度偏差度(式4.3)，其物理意义可描述三张图像的相对图像亮度均值的异物。反映出三幅图像之间的差异对于总光强归一化情况，可以较好地反映具体体积异物的边缘情况，如图9所示。
Figure BDA0003621402950000102
③图像亮度偏差角(DoO)
图像亮度偏差角(式4.4)，其物理意义可描述异物边缘的角度信息。通过计算不同两台摄像机采集图像插值比值的反正切值，可以区分DoI中异物边缘相对于坐标轴的角度，证明该异物边缘为一个整体，如图10所示。
Figure BDA0003621402950000103
通过图像亮度均值、图像亮度偏差度和图像亮度偏差角三种算法的相结合便可以快速检测出区域中异物的存在。
<2>融合图像中的异物检测
通过融合得到的MOI视差均值图可以看出，当某处存在异物时，因为观测角度不同导致每张图像保存该异物的形状信息不同，使最终融合之后异物的形状信息无法重合而产生“虚环”，如图11所示。
根据这一特性，本算法采用canny边缘检测算子，通过像素间的梯度变换程度提取出“虚环”的外部轮廓与内部轮廓，并根据轮廓将异物区域分为两个区域m1(实体区域)和区域q1(虚环区域)。通过两个区域的平均灰度差判断此处是否存在异物，如公式3.1所示。
Figure BDA0003621402950000111
式3.1中，N表示m1区域像素点的个数，M表示q1区域像素点的个数，f(x,y)表示像素点的灰度值，ε表示阈值。
再通过引入融合图像DoI来排除一些外界干扰因素，使最终的检测结果更加准确。从融合图像DoI可以看出，该融合图像是对不同观测角图像异物边缘形状不同的反映，通过先膨胀再腐蚀的作法可以放大这种特性，实现异物检测的效果如图12所示。
最终将两副图像检测出来的异物进行对比结合，得到最终的检测结果。
图13至14给出实物拍摄图像和最终的检测结果。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多目视觉图像的机场跑道异物检测方法，其特征在于：
使用四个高像素工业摄像头从不同观测角度观测同一检测区域，每个摄像头通过从不同观测角度观测同一检测区域时，在遇到具有立体特性的异物会由于观测角度不同异物会呈现不同形状产生不同的视差的图像，通过对这一组图像的处理找出该差异便可检测出异物。
2.根据权利要求1所述的一种基于多目视觉图像的机场跑道异物检测方法，其特征在于，具体包括以下步骤：
步骤一：通过四个摄像机ai,i∈(1,2,3,4)对检测区域进行拍摄并将各自拍摄的图像记作Ii,i∈(1,2,3,4),将每张图像转换为灰度图并进行直方图均值化预处理，处理后的每张图像用fi (x,y)表示；其中三个摄像机α1、α2、α3为水平等边三角形布置，第四个摄像头α4为俯拍角度布置；
步骤二：根据四张图像之间存在线性的空间关系，进行图像之间的透视变换，采用特征点对之间的匹配和随机一致匹配算法相结合来建立透视变换矩阵，分别将位于等边三角处拍摄的图像f1(x,y),f2(x,y),f3(x,y)变换到以图像f4(x,y)俯视角度观测的图像ff1(x,y),ff2(x,y),ff3(x,y)；
步骤三：当检测区域存在立体异物时，从不同观测角度观测同一异物会得到不同的形状信息，再通过将每张图像不同信息进行融合就可以得到最终的检测结果，最终完成异物的检测。
3.根据权利要求2所述的一种基于多目视觉图像的机场跑道异物检测方法，其特征在于，具体包括以下步骤：
步骤一中，所述每张图像转换为灰度图并进行直方图均值化预处理的方法为：对图像Ii,i∈(1,2,3,4)进行高斯模糊得到新的一组图像，再对这组彩色图像中每张彩图分解成RGB三通道亮度图记作R(x,y),G(x,y),B(x,y)，通过fi (x,y)＝0.299*R(x,y)+0.587*G(x,y)+0.114*B(x,y)转换成灰度图fi (x,y)。
4.根据权利要求3所述的一种基于多目视觉图像的机场跑道异物检测方法，其特征在于，具体包括以下步骤：
步骤二中，首先需要对步骤一得到的图像fi (x,y)分别采用sift算法进行特征点提取,将每个相机ai拍摄的图像中所有极值点分别描述出来形成各自的特征点集Di(i∈(1,2,3,4))。
5.根据权利要求4所述的一种基于多目视觉图像的机场跑道异物检测方法，其特征在于，具体包括以下步骤：
步骤二中,图像之间的透视变换的方法具体为：
<1>特征点匹配：
将a4相机拍摄的图像作为样本图，通过特征点描述子，分别从a1、a2、a3图像中找出与a4图像中特征点集相匹配的特征点坐标，并记作si4且i∈(1,2,3)；
<2>建立仿射变换矩阵模型：
①假定仿射变换模型如式3.1，并随机从si4抽取4个样本点，对模型进行拟合；
Figure FDA0003621402940000021
Figure FDA0003621402940000022
area(m1)-area(m2)＜＝ε (3.1)
式3.1中，N表示m1区域像素点的个数，M表示q1区域像素点的个数，f(x,y)表示像素点的灰度值，ε表示阈值；
②假设容差范围为:sigma，找出距离拟合曲线容差范围内的点，并统计点的个数；
③重新随机从si4选取4个点，重复第一步到第二步操作，直到迭代结束；
④每次拟合之后，容差范围内都有对应的数据点，找出数据点个数最多的情况，作为最终的模型结果；
通过上述步骤给si4,i∈(1,2,3)三组特征点对集分别建立三个仿射变换模型Hi；
在得到对应摄像头拍摄图像的透视变换模型之后，可通过式4.1将aii∈(1,2,3)摄像头拍摄的图像fi (x,y)变换到以a4摄像头视角拍摄的图像ffi (x,y),i∈(1,2,3)；
Figure FDA0003621402940000023
其中
Figure FDA0003621402940000024
为fi (x,y)图像像素点的位置，
Figure FDA0003621402940000025
为仿射变换后像素点的位置，
Figure FDA0003621402940000031
为透视变换矩阵H。
6.根据权利要求5所述的一种基于多目视觉图像的机场跑道异物检测方法，其特征在于，具体包括以下步骤：
步骤三中，将每张图像不同信息进行融合的具体方法为：
①通过融合得到的图像亮度均值MoI视差均值图，采用canny边缘检测算子，通过像素间的梯度变换程度提取出“虚环”的外部轮廓与内部轮廓，并根据轮廓将异物区域分为两个区域，实体区域m1和虚环区域q1，通过两个区域的平均灰度差判断此处是否存在异物；
②引入图像亮度偏差度DoI融合图像排除外界干扰因素，通过先膨胀再腐蚀的作法可以放大这种特性，实现异物检测的效果；
③将两副图像检测出来的异物进行对比结合，得到最终的检测结果。
CN202210459854.0A 2022-04-28 2022-04-28 基于多目视觉图像视差的机场跑道异物检测方法 Pending CN114937203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210459854.0A CN114937203A (zh) 2022-04-28 2022-04-28 基于多目视觉图像视差的机场跑道异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210459854.0A CN114937203A (zh) 2022-04-28 2022-04-28 基于多目视觉图像视差的机场跑道异物检测方法

Publications (1)

Publication Number Publication Date
CN114937203A true CN114937203A (zh) 2022-08-23

Family

ID=82862791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210459854.0A Pending CN114937203A (zh) 2022-04-28 2022-04-28 基于多目视觉图像视差的机场跑道异物检测方法

Country Status (1)

Country Link
CN (1) CN114937203A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704446A (zh) * 2023-08-04 2023-09-05 武汉工程大学 机场跑道路面异物实时检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704446A (zh) * 2023-08-04 2023-09-05 武汉工程大学 机场跑道路面异物实时检测方法及系统
CN116704446B (zh) * 2023-08-04 2023-10-24 武汉工程大学 机场跑道路面异物实时检测方法及系统

Similar Documents

Publication Publication Date Title
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN104061907B (zh) 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
CN103075998B (zh) 一种单目空间目标测距测角方法
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN105225230A (zh) 一种识别前景目标对象的方法及装置
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN111028271B (zh) 基于人体骨架检测的多摄像机人员三维定位跟踪系统
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
Wang et al. An overview of 3d object detection
CN112067233A (zh) 一种用于风洞模型六自由度运动捕获方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
Rosero et al. Calibration and multi-sensor fusion for on-road obstacle detection
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
Wang Automatic extraction of building outline from high resolution aerial imagery
CN114937203A (zh) 基于多目视觉图像视差的机场跑道异物检测方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN105574869B (zh) 一种基于改进Laplacian边缘检测的线结构光条中心线提取方法
Li et al. Feature point extraction and tracking based on a local adaptive threshold

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination