CN110246130A - 基于红外和可见光图像数据融合的机场道面裂缝检测方法 - Google Patents

基于红外和可见光图像数据融合的机场道面裂缝检测方法 Download PDF

Info

Publication number
CN110246130A
CN110246130A CN201910542863.4A CN201910542863A CN110246130A CN 110246130 A CN110246130 A CN 110246130A CN 201910542863 A CN201910542863 A CN 201910542863A CN 110246130 A CN110246130 A CN 110246130A
Authority
CN
China
Prior art keywords
crack
pixel
infrared
visible images
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910542863.4A
Other languages
English (en)
Other versions
CN110246130B (zh
Inventor
李海丰
聂晶晶
吴治龙
范龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201910542863.4A priority Critical patent/CN110246130B/zh
Publication of CN110246130A publication Critical patent/CN110246130A/zh
Application granted granted Critical
Publication of CN110246130B publication Critical patent/CN110246130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。其包括将红外图像和可见光图像进行配准；计算配准后的红外图像和可见光图像的对比度，获得各自的初始裂缝像素点；建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；对融合候选裂缝区域进行筛选，获得最终真实裂缝区域检测结果等步骤。本发明优点：较好利用红外和可见光传感器检测技术互补性，解决依靠单一传感器进行裂缝检测局限性，降低了裂缝检测过程中对光照的敏感度，增强了对环境噪声的鲁棒性，提高了检测的准确度。

Description

基于红外和可见光图像数据融合的机场道面裂缝检测方法
技术领域
本发明属于无损检测技术领域，尤其是涉及一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。
背景技术
机场跑道的养护工作对于飞机的飞行安全至关重要，由于航班频次的增加和自然环境的破坏，许多机场跑道道面出现了不同程度的破损现象，从而造成重大安全隐患，而裂缝是机场跑道道面的主要缺陷。因此，机场跑道道面的裂缝检测技术日益受到重视。
目前，随着视觉传感器技术和模式识别等相关技术的迅速发展，一些学者开始关注基于计算机视觉的裂缝检测技术。然而已有的绝大多数研究均是针对公路或桥梁开展的，且其相关研究大多是基于可见光传感器的，虽然已经取得了一些成果，但是此类研究对光照条件依赖度较高，且无法彻底解决复杂环境中的鲁棒性问题。此外，由于飞机频繁起降等原因在机场跑道道面上产生了明显的油污、橡胶残留痕迹等，且因机场跑道道面材质原因致使裂缝与背景间对比度很低，加之只能在夜间停航期间在人造光源条件下进行数据采集所带来的光照条件差、图像对比度低等诸多问题，以上原因均使得仅基于可见光传感器的道面裂缝检测算法的实际机场跑道道面裂缝检测结果的精确度较低。近年来，开始有学者使用红外传感器进行缺陷检测，但此类研究主要针对材料表面的缺陷检测应用中，如钢轨缺陷检测、金属物体表面的裂缝检测、管道裂缝检测等，而针对道路、机场跑道道面此类热成像信号信噪比低的复杂场景中的应用较少。而目前基于红外和可见光数据融合的研究虽然也较多，但大多都主要应用于公共安全检查、军事领域、导航辅助设备、监控或搜救等方面，但并没有涉及到基于红外和可见光数据融合的机场跑道道面裂缝检测。因此，根据不同传感器的特点和融合的应用，研究针对机场跑道道面裂缝检测的融合算法，从而及早发现裂缝并进行维护，可及时避免机场跑道道面裂缝的进一步发展。但目前尚缺少有效的方法。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。
为了达到上述目的，本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：
1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；
2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；
3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；
4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；
5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。
在步骤1)中，所述的将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准的方法是：
首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像A和红外图像B的互信息MI(A，B)；最后基于互信息MI(A，B)计算配准参数T0，并基于单纯形直接搜索算法对配准参数T0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。
在步骤2)中，所述的分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；
对于可见光图像，首先对该图像进行光照校正及高斯滤波处理；然后计算像素点(x，y)的灰度值Cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定；若像素点(x，y)的灰度值Cij小于灰度中值则该像素点的对比度为否则对比度为0，即：
从而生成可见光局部对比度图像；
对于红外图像，首先对该图像进行双边滤波处理；然后获取像素点(x，y)的温度值Rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值Rij大于温度中值则该像素点的对比度为否则对比度为0，即：
从而生成红外局部对比度图像；
最后采用最大类间方差法分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。
在步骤3)中，所述的建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域的方法是：
首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为并提取红外图像中初始裂缝连通区域，记为定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合；沿初始裂缝连通区域集合G中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，将初始裂缝连通扩充区域集合记为G'；对于初始裂缝连通扩充区域集合G'中的任一初始裂缝连通扩充区域C'，首先计算可见光图像中初始裂缝连通扩充区域C'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域C'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布在此基础上，建立基于局部灰度和温度概率分布的融合决策模型，利用该模型对初始裂缝连通扩充区域C'扩充前的初始裂缝连通区域C进行融合决策判断，从而生成候选裂缝区域；基于候选裂缝区域的来源，获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。
在步骤4)中，所述的融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域的方法是：提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。
在步骤5)中，所述的对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果的方法是：
首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l；将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)2)且z＞Tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中Tm和Tr为设定阈值，均为经验值。
本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法与现有技术相比，具有以下优点：本发明针对机场跑道道面噪声干扰强、只能在夜间人造光源条件下采集数据所带来的光照条件差、图像对比度低等特殊情况，较好地利用了红外和可见光传感器检测技术的互补性，从而解决了依靠单一传感器进行裂缝检测的局限性，降低了裂缝检测过程中对光照的敏感度，增强了对环境噪声的鲁棒性，提高了检测的准确度，为机场跑道道面裂缝检测提供了技术基础。
附图说明
图1是本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法流程图；
图2是初始裂缝连通区域扩充过程示意图；
图3(a)和图(b)分别是初始裂缝连通扩充区域内像素灰度与温度正态分布曲线图；
图4是本发明方法各步骤生成结果示意图；
图5是机场跑道道面裂缝检测部分实验结果；
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形并反映到红外探测器的光敏元件上，从而获得红外图像。红外图像具有较好地给出目标存在特性和位置特性、自然环境下受干扰程度小、裂缝区域信息明确等优点和裂缝边缘模糊、视觉效果模糊的缺点。对于可见光图像而言，可见光图像具有细节信息较好的优点和易受噪声干扰、区域信息不准确的缺点。结合以上可见光图像检测裂缝的优缺点，我们可以根据彼此的优缺点，通过红外图像和可见光图像数据的决策级融合，从而获得更加准确的、清晰的机场跑道道面裂缝检测结果。
如图1所示，本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：
1)将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；
首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像A和红外图像B的互信息MI(A，B)；最后基于互信息MI(A，B)计算配准参数T0，并基于单纯形直接搜索算法(Neld-Mead算法)对配准参数T0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。
2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；
对于可见光图像，首先对该图像进行光照校正及高斯滤波处理，从而降低道面背景噪声影响的同时突出道面裂缝信息；然后计算像素点(x，y)的灰度值Cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定，本发明中取k＝30；若像素点(x，y)的灰度值Cij小于灰度中值则该像素点的对比度为否则对比度为0，即：
从而生成可见光局部对比度图像；
对于红外图像，首先对该图像进行双边滤波处理，从而保护裂缝边缘信息，降低道面噪声影响；然后获取像素点(x，y)的温度值Rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值Rij大于温度中值则该像素点的对比度为否则对比度为0，即：
从而生成红外局部对比度图像；
最后采用最大类间方差法(OTSU算法)分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。
3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；
首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为即相互邻接的8-邻域的像素值为1的像素点集合，其中m为可见光图像中初始裂缝连通区域的序号，并提取红外图像中初始裂缝连通区域，记为即相互邻接的8-邻域的像素值为1的像素点集合，其中n为红外图像中初始裂缝连通区域的序号；定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合，沿初始裂缝连通区域集合G中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，如图2所示，图中内侧区域为初始裂缝连通区域，外侧区域为初始裂缝连通扩充区域，将初始裂缝连通扩充区域集合记为G'。对于初始裂缝连通扩充区域集合G'中的任一初始裂缝连通扩充区域C'，首先计算可见光图像中初始裂缝连通扩充区域C'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域C'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布
若d的取值过小，则初始裂缝连通扩充区域的均值和初始裂缝连通区域的均值接近，会导致裂缝的漏检，反之若d的取值过大，则会导致裂缝的错检。本发明中初始裂缝连通区域内像素点的个数占初始裂缝连通扩充区域内像素点的个数比例应该满足以下公式：其中m2为初始裂缝连通扩充区域内像素点的个数，m1为初始裂缝连通区域内像素点的个数。初始裂缝连通扩充区域内像素点的个数m2可以通过如下公式粗略估算：m2＝L×d+m1，式中L为初始裂缝连通区域的边界像素点的个数，基于上述分析，本发明中建议d的取值为
如图3所示，对于初始裂缝连通区域C，若初始裂缝连通区域C为真实裂缝区域，则在可见光图像中其灰度均值应远小于初始裂缝连通扩充区域C'的灰度均值，而在红外图像中其温度均值应远大于初始裂缝连通扩充区域C'的温度均值；而若初始裂缝连通区域C为错检裂缝区域，则在可见光图像中其灰度均值应大于初始裂缝连通扩充区域C'的灰度均值，而在红外图像中其温度均值应小于初始裂缝连通扩充区域C'的温度均值。但是在其灰度(温度)均值小于(大于)且接近初始裂缝连通扩充区域C'的灰度(温度)均值时，则难以通过单一可见光图像(红外图像)来判断初始裂缝连通区域C是否为真实裂缝区域。
基于以上分析，建立基于局部灰度和温度概率分布的融合决策模型，如表1所示。计算可见光图像中初始裂缝连通扩充区域C'扩充前的初始裂缝连通区域C对应区域内像素点的灰度均值Mc，然后计算红外图像中初始裂缝连通区域C对应区域内像素点的温度均值Mr，并根据上述融合决策模型对初始裂缝连通区域C进行以下融合决策判断：若温度均值Mr在红外图像中初始裂缝连通扩充区域C'对应区域内像素温度值分布(μr+λ2σr，+∞)范围内，且灰度均值Mc在可见光图像中初始裂缝连通扩充区域C'对应区域内像素灰度值分布(-∞，μc-λ1σc)范围内，可判定初始裂缝连通区域C为候选裂缝区域，其中λ1和λ2为系数；若温度均值M r在红外图像中初始裂缝连通扩充区域C'对应区域内像素温度值分布(μr，μr+λ2σr)范围内，而灰度均值Mc在可见光图像中初始裂缝连通扩充区域C'对应区域内像素灰度值分布(-∞，μc-λ1σc)范围内，虽然从温度方面考虑，无法判断初始裂缝连通区域C的类型，但从灰度方面判断，初始裂缝连通区域C为候选裂缝区域，综合考虑可判定初始裂缝连通区域C为候选裂缝区域；同理，若灰度均值Mc在可见光图像中初始裂缝连通扩充区域C'对应区域内像素灰度值分布(μc-λ1σc,μc)范围内，而温度均值Mr在红外图像中初始裂缝连通扩充区域C'对应区域内像素温度值分布(μr+λ2σr，+∞)范围内，虽然从灰度方面考虑，无法判断初始裂缝连通区域C的类型，但从温度方面判断，初始裂缝连通区域C为候选裂缝区域，综合考虑可判定初始裂缝连通区域C为候选裂缝区域。反之，若灰度均值Mc在可见光图像中初始裂缝连通扩充区域C'对应区域内像素灰度值分布(μc，+∞)范围内，则说明初始裂缝连通区域C为道面区域，此时无需再考虑初始裂缝连通区域C的温度均值Mr；同理，若灰度均值Mr在红外图像中初始裂缝连通扩充区域C'对应区域内像素温度值分布(-∞，μr)范围内，则说明初始裂缝连通区域C为道面区域，此时也无需再考虑初始裂缝连通区域C的灰度均值Mc；若灰度均值Mc在可见光图像中初始裂缝连通扩充区域C'对应区域内像素灰度值分布(μc-λ1σc，μc)范围内，且温度均值Mr在红外图像中初始裂缝连通扩充区域C'对应区域内像素温度值分布(μr≤Mr≤μr+λ2σr)范围内，则从灰度和温度方面考虑，都无法证明初始裂缝连通区域C为候选裂缝区域，因此判定初始裂缝连通区域C为道面区域。本发明中系数λ1和λ2的取值均为1。
根据上述判断结果，保留结果为1的初始裂缝连通区域作为候选裂缝区域，删除判断结果为0的初始裂缝连通区域。基于候选裂缝区域的来源，可获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。
表1融合决策模型
4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；
提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。
5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。
通过计算每个融合候选裂缝区域的面积、长度以及像素点个数来筛选出真实裂缝区域。具体方法为：首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l。将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)2)且z＞Tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中Tm和Tr为设定阈值。阈值Tm为经验值，取值范围为30～60；阈值Tr为经验值，取值范围为不小于7。
本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法的效果可以通过以下实验结果进一步说明。本发明人共采集了56组机场道面红外图像和可见光图像对本发明方法进行验证，图4为本发明方法各步骤生成结果的示意图。图5为六组实验结果，其中同一行的左侧图像为原始可见光图像，中间图像为原始红外图像，右侧图像为真实裂缝区域检测结果。

Claims (6)

1.一种基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：
1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；
2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；
3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；
4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；
5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。
2.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤1)中，所述的将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准的方法是：
首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像A和红外图像B的互信息MI(A，B)；最后基于互信息MI(A，B)计算配准参数T0，并基于单纯形直接搜索算法对配准参数T0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。
3.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤2)中，所述的分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；
对于可见光图像，首先对该图像进行光照校正及高斯滤波处理；然后计算像素点(x，y)的灰度值Cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定；若像素点(x，y)的灰度值Cij小于灰度中值则该像素点的对比度为否则对比度为0，即：
从而生成可见光局部对比度图像；
对于红外图像，首先对该图像进行双边滤波处理；然后获取像素点(x，y)的温度值Rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值Rij大于温度中值则该像素点的对比度为否则对比度为0，即：
从而生成红外局部对比度图像；
最后采用最大类间方差法分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。
4.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤3)中，所述的建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域的方法是：
首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为并提取红外图像中初始裂缝连通区域，记为定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合；沿初始裂缝连通区域集合G中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，将初始裂缝连通扩充区域集合记为G'；对于初始裂缝连通扩充区域集合G'中的任一初始裂缝连通扩充区域C'，首先计算可见光图像中初始裂缝连通扩充区域C'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域C'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布在此基础上，建立基于局部灰度和温度概率分布的融合决策模型，利用该模型对初始裂缝连通扩充区域C'扩充前的初始裂缝连通区域C进行融合决策判断，从而生成候选裂缝区域；基于候选裂缝区域的来源，获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。
5.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤4)中，所述的融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域的方法是：提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。
6.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤5)中，所述的对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果的方法是：
首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l；将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)且z＞Tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中Tm和Tr为设定阈值，均为经验值。
CN201910542863.4A 2019-06-21 2019-06-21 基于红外和可见光图像数据融合的机场道面裂缝检测方法 Active CN110246130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542863.4A CN110246130B (zh) 2019-06-21 2019-06-21 基于红外和可见光图像数据融合的机场道面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542863.4A CN110246130B (zh) 2019-06-21 2019-06-21 基于红外和可见光图像数据融合的机场道面裂缝检测方法

Publications (2)

Publication Number Publication Date
CN110246130A true CN110246130A (zh) 2019-09-17
CN110246130B CN110246130B (zh) 2023-03-31

Family

ID=67888698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542863.4A Active CN110246130B (zh) 2019-06-21 2019-06-21 基于红外和可见光图像数据融合的机场道面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN110246130B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899288A (zh) * 2020-06-01 2020-11-06 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN112733589A (zh) * 2020-10-29 2021-04-30 广西科技大学 一种基于深度学习的红外图像行人检测方法
CN113203743A (zh) * 2021-05-20 2021-08-03 中铁二十一局集团第四工程有限公司 一种基于红外热成像分析的路基裂缝检测识别及修复方法
CN113420810A (zh) * 2021-06-22 2021-09-21 中国民航大学 一种基于红外和可见光的电缆沟智能巡检系统及巡检方法
CN113503673A (zh) * 2021-07-16 2021-10-15 珠海格力电器股份有限公司 制冷储藏设备的控制方法及制冷储藏设备
CN114216403A (zh) * 2021-12-17 2022-03-22 河北工业大学 基于红外和可见光双光相机的非连续变形测量方法
CN114384073A (zh) * 2021-11-30 2022-04-22 杭州申昊科技股份有限公司 一种基于地铁隧道裂纹检测方法及系统
CN117094703A (zh) * 2023-10-17 2023-11-21 深圳市城市交通规划设计研究中心股份有限公司 一种面向道路裂缝的路网养护维修顺序确定方法
CN117095004A (zh) * 2023-10-20 2023-11-21 金成技术股份有限公司 基于计算机视觉的挖掘机行走架主体焊接变形检测方法
CN117593294A (zh) * 2024-01-18 2024-02-23 中化学西部新材料有限公司 基于图像特征分析的离心风机风叶裂纹视觉检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN106204509A (zh) * 2016-07-07 2016-12-07 西安电子科技大学 基于区域特性的红外与可见光图像融合方法
CN107507170A (zh) * 2017-07-28 2017-12-22 中国民航大学 一种基于多尺度图像信息融合的机场跑道裂缝检测方法
CN108254077A (zh) * 2018-01-02 2018-07-06 国网上海市电力公司 基于局部与全局特征信息融合的gis热故障诊断方法
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN106204509A (zh) * 2016-07-07 2016-12-07 西安电子科技大学 基于区域特性的红外与可见光图像融合方法
CN107507170A (zh) * 2017-07-28 2017-12-22 中国民航大学 一种基于多尺度图像信息融合的机场跑道裂缝检测方法
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
CN108254077A (zh) * 2018-01-02 2018-07-06 国网上海市电力公司 基于局部与全局特征信息融合的gis热故障诊断方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SPELLER, VICTORIA 等: "INCORPORATING INFRARED HEATING TECHNOLOGY IN CRACK REPAIR OPERATIONS FOR AIRPORT RUNWAYS AND TAXIWAYS", 《CSCE ANNUAL CONFERENCE》 *
YULU LUKE CHEN 等: "Inexpensive Multimodal Sensor Fusion System for Autonomous Data Acquisition of Road Surface Conditions", 《IEEE》 *
苑玮琦 等: "基于纹理脊线特征融合的木材表面裂缝检测", 《仪器仪表学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899288A (zh) * 2020-06-01 2020-11-06 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN112733589A (zh) * 2020-10-29 2021-04-30 广西科技大学 一种基于深度学习的红外图像行人检测方法
CN113203743A (zh) * 2021-05-20 2021-08-03 中铁二十一局集团第四工程有限公司 一种基于红外热成像分析的路基裂缝检测识别及修复方法
CN113203743B (zh) * 2021-05-20 2023-12-12 中铁二十一局集团第四工程有限公司 一种基于红外热成像分析的路基裂缝检测识别及修复方法
CN113420810B (zh) * 2021-06-22 2022-08-26 中国民航大学 一种基于红外和可见光的电缆沟智能巡检系统及巡检方法
CN113420810A (zh) * 2021-06-22 2021-09-21 中国民航大学 一种基于红外和可见光的电缆沟智能巡检系统及巡检方法
CN113503673A (zh) * 2021-07-16 2021-10-15 珠海格力电器股份有限公司 制冷储藏设备的控制方法及制冷储藏设备
CN114384073A (zh) * 2021-11-30 2022-04-22 杭州申昊科技股份有限公司 一种基于地铁隧道裂纹检测方法及系统
CN114216403B (zh) * 2021-12-17 2022-07-01 河北工业大学 基于红外和可见光双光相机的非连续变形测量方法
CN114216403A (zh) * 2021-12-17 2022-03-22 河北工业大学 基于红外和可见光双光相机的非连续变形测量方法
CN117094703A (zh) * 2023-10-17 2023-11-21 深圳市城市交通规划设计研究中心股份有限公司 一种面向道路裂缝的路网养护维修顺序确定方法
CN117094703B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 一种面向道路裂缝的路网养护维修顺序确定方法
CN117095004A (zh) * 2023-10-20 2023-11-21 金成技术股份有限公司 基于计算机视觉的挖掘机行走架主体焊接变形检测方法
CN117095004B (zh) * 2023-10-20 2024-01-12 金成技术股份有限公司 基于计算机视觉的挖掘机行走架主体焊接变形检测方法
CN117593294A (zh) * 2024-01-18 2024-02-23 中化学西部新材料有限公司 基于图像特征分析的离心风机风叶裂纹视觉检测方法
CN117593294B (zh) * 2024-01-18 2024-04-09 中化学西部新材料有限公司 基于图像特征分析的离心风机风叶裂纹视觉检测方法

Also Published As

Publication number Publication date
CN110246130B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN110246130A (zh) 基于红外和可见光图像数据融合的机场道面裂缝检测方法
Xu et al. Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
Li et al. Recognition and evaluation of bridge cracks with modified active contour model and greedy search-based support vector machine
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
Wu et al. Coupling deep learning and UAV for infrastructure condition assessment automation
Hou et al. Inspection of surface defects on stay cables using a robot and transfer learning
CN105761271B (zh) 核安全壳表面缺陷自动检测方法及系统
CN105809668B (zh) 基于线扫描三维点云的物体表面变形特征提取方法
CN103442209B (zh) 一种输电线路的视频监控方法
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109409263A (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN103714339B (zh) 基于矢量数据的sar影像道路损毁信息提取方法
Hüthwohl et al. Detecting healthy concrete surfaces
CN109544555A (zh) 基于生成式对抗网络的细小裂缝分割方法
Rau et al. Bridge crack detection using multi-rotary UAV and object-base image analysis
Ichi et al. Effectiveness of infrared thermography for delamination detection in reinforced concrete bridge decks
CN109521019A (zh) 一种基于无人机视觉的桥梁底面裂缝检测方法
CN110084844B (zh) 一种基于深度相机的机场道面裂缝检测方法
Vivekananthan et al. Concrete bridge crack detection by image processing technique by using the improved OTSU method
Liang et al. Automatic classification of pavement distress using 3D ground-penetrating radar and deep convolutional neural network
Qingguo et al. A methodology framework for retrieval of concrete surface crack′ s image properties based on hybrid model
Han et al. Multispectral water leakage detection based on a one-stage anchor-free modality fusion network for metro tunnels
Yu YOLO V5s-based deep learning approach for concrete cracks detection
Guo et al. Surface defect detection of civil structures using images: Review from data perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant