CN108830834B - 一种爬索机器人视频缺陷信息自动提取方法 - Google Patents

Abstract

本发明公开了一种爬索机器人视频缺陷信息自动提取方法，包括将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；采用基于灰度‑梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息等步骤。其显著效果是：避免了缺陷信息提取是背景信息的干扰，提高了信息提取效率，并提高了信息提取质量。

Description

一种爬索机器人视频缺陷信息自动提取方法

技术领域

本发明涉及到桥梁拉索表面缺陷检测技术领域，具体地说，是一种爬索机器人视频缺陷信息自动提取方法。

背景技术

在众多的桥梁病害中，拉索表面缺陷是一种重要的危险标志。拉索表面PE保护套是保护内部钢丝免受腐蚀的重要措施之一，它的破损程度反映了拉索内部钢丝的健康状态，当拉索表面PE保护套出现严重缺陷时，其内部钢丝出现腐蚀的概率很大，就需要对拉索的内部钢丝进行检测，因此对拉索外观进行定期检测是国内外的惯例。

早期对桥梁拉索表面缺陷的检测主要靠人工检测，但是人工检测效率低、安全隐患高、主观性大，容易出现漏检。现在一些桥梁检测公司利用爬索机器人拍摄拉索表面视频，然后人工观看视频或者转换为图像再人工观察来确定拉索表面缺陷。爬索机器人的使用成功解决了检测过程中外业作业困难的问题，但是后期的视频处理还不够智能化。

为此，中国专利CN 107328781 A公开了一种基于机器视觉的柱状产品表面缺陷检测方法及装置，通过获取柱形产品表面图像，经预处理后进行边缘提取，建立ROI区域，并采用阈值分割的灰度分析方法，提取缺陷部位。但是，该方案针对的是在室内采集的图像数据，要求背景环境可控、光源可控，而桥梁拉索表面视频为野外采集的数据，背景环境不可控，光源不可控，条件相对复杂，检测难度大；另外，该专利提取ROI区域的时候，只利用的边缘检测方法，对环境更复杂的情况适应性较差。

发明内容

针对现有技术的不足，本发明的目的是提供一种爬索机器人视频缺陷信息自动提取方法，该方法根据拉索的不同颜色选择颜色空间，并采用先背景分割后缺陷信息提取的方案，且在背景分割时利用灰度与梯度信息，能够减少背景信息的干扰，提高分割质量。

为达到上述目的，本发明采用的技术方案如下：

一种爬索机器人视频缺陷信息自动提取方法，其关键在于包括如下步骤：

步骤1，视频数据输入；

步骤2，视频数据预处理：将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；

步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；

步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息。

进一步的，步骤2在将视频数据转换为数字图像过程中，间隔若干帧数抽取一帧图像进行保存，且保存的相邻帧之间具有重叠信息。

更进一步的，步骤2中进行颜色空间转换时，若拉索为银灰色选用Lab颜色空间，若拉索为彩色则选用HSV颜色空间。

进一步的，步骤3中所述单幅图像分割处理的具体步骤为：

步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理；

步骤3.2：将图像的灰度值与梯度值进行组合，构建灰度-梯度矩阵；

步骤3.3：基于灰度-梯度矩阵，采用阈值分割法对图像进行分割，获得拉索表面缺陷检测图像的背景区域掩模。

再进一步的，步骤3.2中灰度-梯度矩阵的构建步骤为：

步骤3.2.1：计算图像的灰度矩阵I_M×N与梯度矩阵J_M×N，

所述灰度矩阵I_M×N的计算公式为：

所述梯度矩阵J_M×N的计算公式为：

其中，f(i,j)为M×N图像中像素(i,j)的灰度值，g(i,j)为M×N图像中以像素(i,j)为中心、大小为l×l的窗口w的梯度值，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]；

步骤3.2.2：分别按照公式

对灰度矩阵I_M×N和梯度矩阵J_M×N进行归一化处理，其中f_max(i,j)为灰度矩阵I_M×N的最大值，g_max(i,j)为梯度矩阵J_M×N的最大值；

步骤3.2.3：将归一化后的灰度矩阵与梯度矩阵组合成二维的灰度-梯度矩阵

具体的，所述梯度值g(i,j)的计算公式为：

其中，l为窗口w的大小，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]，x_mn为窗口w中像素点(m，n)的灰度值，

为窗口w中所有像素点灰度的平均值。

进一步的，步骤4所述缺陷信息提取的具体过程为：

步骤4.1：输入拉索区域图像；

步骤4.2：采用Ostu阈值法对拉索区域图像进行缺陷区域分割；

步骤4.3：对分割后的含有干扰信息的缺陷区域进行形态学处理，获得缺陷区域；

步骤4.4：采用形状描述子对缺陷区域进行描述，形成缺陷信息。

更进一步的，所述形状描述子包括区域面积、长宽比、矩形度。

本方案首先将数字视频转换为数字图像，并根据拉索的不同颜色选择颜色空间对数字图像进行颜色空间转换；之后对拉索表面缺陷检测图像先进行背景分割提取出拉索区域，且背景分割过程将一个视频的图像序列作为整体，采用基于灰度-梯度矩阵的阈值分割法，之后再进行缺陷信息提取，从而避免了缺陷信息提取是背景信息的干扰，以提高信息提取质量。

本发明的显著效果是：

(1)数据预处理时，根据拉索的不同颜色选择颜色空间，为后续的背景分割和缺陷信息提取提供基础，提高了信息提取效率和质量；

(2)本发明的先背景分割后缺陷信息提取的方案，可以减少缺陷信息提取时候背景信息的干扰；

(3)背景分割过程中利用了灰度和梯度两种信息，使分割效果更好；

(4)引入视频图像序列的统计分析方法，可以减少数据量和提高分割质量。

附图说明

图1是本发明的方法流程图；

图2是所述背景分割的流程图；

图3是基于灰度-梯度矩阵的图像分割示意图；

图4是所述缺陷区域提取流程图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种爬索机器人视频缺陷信息自动提取方法，具体步骤如下：

首先进入步骤1，视频数据输入；

接着进入步骤2，视频数据预处理，包括：

视频转图像：视频是由连续的随着时间变化的一组图像(或称帧)组成，图像可以看作视频的特例，又叫运动图像或活动图像。为了获取视频信号中的信息，可以将视频转换为图像进行处理，在获取了所有的信息的同时又减小了数据量，大大提高了工作效率。视频转图像就是间隔一定的帧数抽取一帧图像并保存，要求保存的相邻帧之间具有一定的重叠信息来保证对拉索的全覆盖。

颜色空间转换：图像处理过程中，不同需求会用到图像中的不同信息，不同的场景得到的图像会提供不同的信息。如日常生活中的图像大部分都是RGB图像，Lab颜色空间对光照敏感，HSV颜色空间对颜色敏感。因此，本例在图像预处理时根据不同的情况选择不同的颜色空间，即银灰色拉索选择Lab颜色空间，彩色拉索选择HSV颜色空间。

之后进入步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像。

由于拉索表面缺陷检测图像包括背景区域和拉索区域，因此在提取缺陷信息前，需要提取拉索区域，以去除背景信息的干扰。背景分割过程包括单幅图像分割和图像序列统计分析两个步骤。

其中拉索表面缺陷检测图像单幅图像分割背景分割流程如图2所示：

首先进行单幅图像分割，具体步骤为：

步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理，将图像从RGB颜色空间转换为Lab颜色空间，从而利于图像分割；

步骤3.2：将图像的灰度值与梯度值进行组合，构建灰度-梯度矩阵；

对于边缘类型的检测目标，可以采用边缘分割算法，也可以采用阈值分割算法，对于表面分析类型的检测目标，则只能采用阈值分割算法。本方案背景分割的目的是将拉索表面缺陷检测图像分为拉索区域和背景区域两部分，因此选择阈值分割方法。采用阈值法进行分割，只用到了图像的灰度信息，在图像的某些部分边缘很明显，但是灰度值处于阈值的同一侧，分割的时候就无法分割，而加入梯度信息可以有效的分割出这些部分。因此，本发明采用灰度信息与梯度信息相结合的方法来进行背景分割，即灰度-梯度矩阵法。

灰度-梯度矩阵将灰度值与梯度值组合成一个二维矩阵，本发明设计的基于灰度-梯度的背景分割方法中灰度-梯度矩阵的构建由以下几步构成。

步骤3.2.1：计算图像的灰度矩阵I_M×N与梯度矩阵J_M×N；

图像的局部标准差(LSD)算子，也叫图像局部标准差梯度，可以较好地体现图像的细节结构信息。局部标准差不仅可以表示像素与其邻域像素之间的关系，还可以表示区域内像素灰度变化的剧烈程度。它反映的是一幅图像中局部区域内各像素点灰度值的对比度变化。

一幅M×N图像的所述灰度矩阵I_M×N的计算公式为：

则其梯度值也即局部标准差g(i,j)的计算公式为：

所述梯度矩阵J_M×N的计算公式为：

其中，f(i,j)为M×N图像中像素(i,j)的灰度值，g(i,j)为M×N图像中以像素(i,j)为中心、大小为l×l的窗口w的梯度值，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]，x_mn为窗口w中像素点(m，n)的灰度值，

为窗口w中所有像素点灰度的平均值。

因为局部标准差梯度g(i,j)反映了图像灰度局部的对比度变化程度，所以在标准差大的地方，图像灰度起伏较大，即出现图像边缘的几率大；相反，在标准差小的地方，图像灰度变化平缓，即出现图像边缘的几率小。

步骤3.2.2：分别按照公式

对灰度矩阵I_M×N和梯度矩阵J_M×N进行归一化处理，其中f_max(i,j)为灰度矩阵I_M×N的最大值，g_max(i,j)为梯度矩阵J_M×N的最大值；

步骤3.2.3：将归一化后的灰度矩阵与梯度矩阵组合成一个二维矩阵，即灰度-梯度矩阵K_M×N，其数学表达式为：

步骤3.3：基于灰度-梯度矩阵，采用阈值分割法对图像进行分割，获得拉索表面缺陷检测图像的背景区域掩模，分割原理为：

灰度-梯度矩阵是一个二维矩阵，设分割阈值为(s,t)，在灰度维小于s的为背景，大于s的为拉索目标，在梯度维大于t的为边缘。将分割结果分为四个象限：A、B、C、D，如图3所示，F正方向表示灰度值大(B、D象限)，G正方向表示梯度值大(C、D象限)。灰度值和梯度值都高的地方代表拉索区域与背景区域之间的边缘(D象限)。灰度值高梯度值低的地方代表背景区域中的边缘(C象限)。

因此，需要寻找(s,t)的值，s将A、C与B、D象限区分开，即将大部分的背景与拉索分开；t进一步将B、D区分开，即区分开该边缘是拉索与背景之间的边缘还是属于背景区域中的边缘，最终得到拉索区域与背景区域之间的边缘。

然后，将得到的拉索区域与背景区域之间的边缘与利用Otsu阈值法分割得到的结果结合即可完成背景掩模的初步获取。

最终的拉索区域与背景区域之间的边缘图像为g(m,n)：

其中，(m,n)为背景掩模中像素点，因此，只需确定阈值(s,t)即可完成拉索表面缺陷检测图像的背景掩模获取，灰度维s由Otsu阈值法计算，梯度维t采用平均梯度的倍数计算。

接着进行图像序列统计分析，具体如下：

在一个图像序列内的拉索表面缺陷检测图像具有以下两个特征：第一，图像序列内的拉索相对位置不变性；第二，一个序列内没有缺陷的图像数量远大于存在缺陷的图像数量。因此引入统计学的方法进行处理。

爬索机器人在获取拉索表面缺陷检测图像的时候，拉索的直径固定，摄像头到拉索的距离固定，则对于同一根拉索，由同一台摄像机拍摄的图像中拉索的相对位置固定，将这一台摄像机获取的图像作为一个序列，该特性可以称为图像序列中拉索相对位置不变性。

假设一个图像序列共有K幅图像，令每幅图像的背景掩模中像素点(m,n)的像素值f_k(m,n)为：

则图像序列内的所有图像在像素点(m,n)为拉索区域的概率p₁(m,n)为：

则图像序列内的所有图像在像素点(m,n)为背景区域的概率p₂(m,n)为：

p₂(m,n)＝1-p₁(m,n)，

正常拉索表面缺陷检测图像，拉索区域掩模的理论像素值为1，背景区域掩模的理论像素值为0。因此，根据一个图像序列内的第二个特征，即在拉索区域p₁(m,n)远大于p₂(m,n)，同样在背景区域p₂(m,n)远大于p₁(m,n)。基于此，确定一个合适的统计阈值T，当p₁(m,n)＞T时判定该像素点为拉索区域，p₂(m,n)＞T时判定该像素点为背景区域。

对图像序列进行统计分析可以消除基于灰度-梯度的背景分割方法无法完成极少数的极端图像分割带来的影像，可以得到理想的背景掩模。同时，对图像序列进行统计分析还可以减小大量的工作量，在一个图像序列中，只需要间隔一定的数量计算背景掩模，不需要每一幅图像都按照基于灰度-梯度的背景分割方法计算背景掩模。

通过以上步骤得到拉索表面缺陷检测图像的背景掩模，利用该背景掩模对拉索表面缺陷检测图像作掩模处理即可完成背景分割，得到拉索区域图像。

最后进入步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息；

拉索表面缺陷信息提取是将缺陷区域分割出来并用形状描述子描述的过程。在进行缺陷分割的时候利用经过背景分割过后的拉索区域图像，只计算拉索区域，背景区域不参与计算。阈值分割结束后，除了得到缺陷区域以外，还有干扰信息，而且缺陷区域存在孔洞和边缘锯齿状严重等，可以通过形态学处理去除这些干扰信息。最后用形状描述子对缺陷区域进行描述，缺陷区域形状描述子包括：区域面积、长宽比、矩形度。

如图4所示，缺陷信息提取的具体过程为：

步骤4.1：输入拉索区域图像；

步骤4.2：采用Ostu阈值法对拉索区域图像进行缺陷区域分割；

步骤4.3：对分割后的含有干扰信息的缺陷区域进行形态学处理，获得缺陷区域；

步骤4.4：采用形状描述子对缺陷区域进行描述，形成缺陷信息。

本实施例首先将数字视频转换为数字图像，并根据拉索的不同颜色选择颜色空间对数字图像进行颜色空间转换；之后采用基于灰度-梯度矩阵的阈值分割法，对拉索表面缺陷检测图像先进行背景分割提取出拉索区域，之后再进行缺陷信息提取，从而避免了缺陷信息提取是背景信息的干扰，提高了信息提取效率，并提高了信息提取质量。

Claims (7)

1.一种爬索机器人视频缺陷信息自动提取方法，其特征在于，包括如下步骤：

步骤1，视频数据输入；

步骤2，视频数据预处理：将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；

步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；

步骤3中所述单幅图像分割处理的具体步骤为：

步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理；

步骤3.2：将图像的灰度值与梯度值进行组合，构建灰度-梯度矩阵；

步骤3.3：基于灰度-梯度矩阵，采用阈值分割法对图像进行分割，获得拉索表面缺陷检测图像的背景区域掩模；

图像序列统计分析过程如下：

假设一个图像序列共有K幅图像，令每幅图像的背景掩模中像素点(m,n)的像素值f_k(m,n)为：

则图像序列内的所有图像在像素点(m,n)为拉索区域的概率p₁(m,n)为：

则图像序列内的所有图像在像素点(m,n)为背景区域的概率p₂(m,n)为：

p₂(m,n)＝1-p₁(m,n)，

正常拉索表面缺陷检测图像，拉索区域掩模的理论像素值为1，背景区域掩模的理论像素值为0，确定一个合适的统计阈值T，当p₁(m,n)＞T时判定该像素点为拉索区域，p₂(m,n)＞T时判定该像素点为背景区域；

步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息。

2.根据权利要求1所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤2在将视频数据转换为数字图像过程中，间隔若干帧数抽取一帧图像进行保存，且保存的相邻帧之间具有重叠信息。

3.根据权利要求1或2所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤2中进行颜色空间转换时，若拉索为银灰色选用Lab颜色空间，若拉索为彩色则选用HSV颜色空间。

4.根据权利要求1所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤3.2中灰度-梯度矩阵的构建步骤为：

步骤3.2.1：计算图像的灰度矩阵I_M×N与梯度矩阵J_M×N，

所述灰度矩阵I_M×N的计算公式为：

所述梯度矩阵J_M×N的计算公式为：

其中，f(i,j)为M×N图像中像素(i,j)的灰度值，g(i,j)为M×N图像中以像素(i,j)为中心、大小为l×l的窗口w的梯度值，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]；

步骤3.2.2：分别按照公式

对灰度矩阵I_M×N和梯度矩阵J_M×N进行归一化处理，其中f_max(i,j)为灰度矩阵I_M×N的最大值，g_max(i,j)为梯度矩阵J_M×N的最大值；

步骤3.2.3：将归一化后的灰度矩阵与梯度矩阵组合成二维的灰度-梯度矩阵

5.根据权利要求4所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：所述梯度值g(i,j)的计算公式为：

其中，l为窗口w的大小，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]，x_mn为窗口w中像素点(m，n)的灰度值，

为窗口w中所有像素点灰度的平均值。

6.根据权利要求1所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤4所述缺陷信息提取的具体过程为：

步骤4.1：输入拉索区域图像；

步骤4.2：采用Ostu阈值法对拉索区域图像进行缺陷区域分割；

步骤4.3：对分割后的含有干扰信息的缺陷区域进行形态学处理，获得缺陷区域；

步骤4.4：采用形状描述子对缺陷区域进行描述，形成缺陷信息。

7.根据权利要求1或6所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：所述形状描述子包括区域面积、长宽比、矩形度。

Images