CN109685788A - 一种基于形态学特征的楼面缺陷图像自动检测方法 - Google Patents

Abstract

本发明公开了一种基于形态学特征分析的楼面缺陷图像检测方法，该方法能通过高分辨率的砖面楼体图像自动地对的楼面的掉砖和碎砖缺陷进行检测，并确定故障的区域。该方法的主要处理流程包括：墙面分割，边缘提取，连通域分析，缺陷定位，缺陷标记等。具体实施中应用了图像形态学、特征提取、聚类分割等技术手段。该方法能有效地检测复杂条件下楼面的砖块破损情况，且具有较高的识别精度和计算效率。

Description

一种基于形态学特征的楼面缺陷图像自动检测方法

技术领域

本发明属于图像处理和分析技术，尤其涉及一种基于形态学特征的大楼墙面缺陷自动检测方法。

背景技术

随着城市建设的发展，高层建筑的数量快速增加，部分建筑的外墙采用外墙砖进行装饰，具有美观和易于清洁的优点。然而由于长时间的日晒，风吹和雨淋，部分的外墙砖开始出现的松动，裂缝甚至脱落。墙砖缺陷影响建筑外观，砖块掉落也会带来非常大的安全风险。因此，定期进行墙面异常检测、排除安全隐患，是建筑外墙维护的重要工作内容。

采用拍照的方法对楼面缺陷进行检测，具有成本低，易于操作的优点。利用人工对楼面图像中的缺陷进行检测费时费力，且检测精确度受操作人员的经验水平影响较大。因此，十分有必要开发一种基于图像的楼面缺陷自动检测方法。基于形态学特征目标检测方法具有较高的执行效率，能够适用于大范围的目标检测。然而，目前对于楼面缺陷检测尚无成熟的解决方案，并且楼面墙砖缺陷在形态学表征上具有较大的多样性，因此亟待开发一种基于具有较高稳定性和精确度的楼面缺陷图像自动检测方法。

发明内容

本发明提供一种基于形态学特征的楼面缺陷图像自动检测方法，该方法具有较高的缺陷检测精度和执行效率。

本发明采用的技术方案为一种基于形态学特征的楼面缺陷图像自动检测方法，该方法主要步骤如下：

S1.墙面分割：利用色彩空间分割及纹理分割对墙面砖块区域进行预分类。利用K-均值聚类法对图像的色彩特征进行聚类，将在色彩空间中距墙面区域样本均值小于设定阈值的点判断为墙面；对图像内每点提取其邻域内局部方向二进制模式特征，并计算特征直方图，通过欧式距离计算其与先验的楼面纹理直方图的距离来进行判断，将距离小于设定阈值的像素点判断为墙面；利用支持向量机融合两种分割方法的结果，实现墙面区域的分割。

S2.边缘提取：利用边缘检测算法对砖块的边缘进行提取，以获得能表征砖块破损的特征。首先对图像进行高斯滤波平滑，然后对被判定为楼面砖区域的原图像素点进行拉普拉斯边缘锐化、顶帽变换提取边缘信息，对边缘信息进行二值化，得到砖块边缘的有用特征。

S3.缺陷提取：对疑似墙砖缺陷进行提取。对二值化后的边缘信息进行条件膨胀、细化等处理。将边缘特征二值图像进行反色，然后对反色结果进行种子点连通域分析，滤除过大及过小连通域，定位碎砖的墙面区域；对边缘特征二值图像进行搜索，对连续的边缘间断进行检测，定位缺砖的墙面区域。

S4.缺陷标记：根据各连通域分析结果在原图上对墙砖缺陷进行标注。根据缺陷区域的最左坐标、最下坐标、宽、高信息，在原图上绘制边框，并对相关信息进行记录。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提出的楼面缺转检测方法的流程示意图；

图2为本发明实施例提供的楼面照片原图；

图3(a)和图3(b)分别为采用色彩空间和局部二进制纹理直方图的墙体分割结果示意图；

图4(a)和图4(b)为实施例图像的两个局部区域经锐化后示意图；

图5(a)和图5(b)为两个局部区域边缘信息提取的结果示意图；

图6(a)和图6(b)为两个局部区域经膨胀处理的结果示意图；

图7(a)和图7(b)为两个局部区域经细化处理的结果示意图；

图8(a)和图8(b)为两个局部区域中缺陷定位的结果示意图；

图9(a)和图9(b)为两个局部区域的原图中缺陷标记的结果示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其它情况下，为了不混淆本发明，对于一些众所周知的方法将不再进行详细阐述。

S1.K-均值聚类楼面分割

K均值聚类算法是先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。

利用照片中像素点的色彩空间信息进行K-均值聚类，以区分楼面和天空区域。聚类数量K取2(楼面和非楼面)，终止条件为小于100像素被分配给不同的类。

S2.局部二进制模式楼面特征提取

局部二进制模式(LBP)是一种纹理特征提取算子，能够描述一个像素点和它邻域像素之间的关系，即对于3*3的邻域，其各像素与中心像素大小关系，构成二进制数。当大于某个阈值(如中心点的像素值)时，则被二值化为1，小于二值化为0，然后以顺时针方向构成二进制数。LBP量化像素点与其周围的像素点，可以有效的去除光照对图像的影响，只要光照变化不足以改变两个像素点之间的大小关系，那么就不会改变LBP二值化的值。

统计逐个像素点某一个邻域内的局部LBP直方图，计算其与已知楼面区域LBP直方图的欧式距离，利用阈值分割对楼面区域进行提取。

S3.支持向量机分割结果融合

将基于色彩空间和纹理分割得到的楼面信息作为输入，真实的楼面信息作为标签，训练支持向量机SVM，利用训练好的SVM对墙面区域进行分割，实现对两种特征的融合。从天空背景和窗户等背景干扰中准确定位墙面区域，提高后续缺陷的提取的精度，提高算法的效率。

S4.拉普拉斯边缘锐化

拉普拉斯算子利用图像的二阶微分确定其边缘位置，八邻域的二阶微分算子可表示为：

其中f(x,y)代表图像f第x行，第y列的像素值。

然后,根据下式得到锐化图像：

其中g(x,y)代表增强后的图像值。

S5.顶帽变换

灰度级图像f的顶帽变换定义为f减去其开操作。对图像A的图像进行开操作的方式为：先用结构元素B对图像A进行腐蚀，然后用结构元素B对结果进行膨胀。

S6.条件膨胀和细化

条件膨胀是在二值膨胀的基础上增加限制：邻域范围内为1的点的个数如超过一定阈值，就基于结构元素对该像素进行膨胀，若未超过阈值，则不进行操作。

采用快速细化算法对二值图像进行细化：第一步，从上到下，从左到右依次扫描每一个点，若当前点(x，y)为0时，需判断其右上、上、左上和左四点的情况。(x-1，y+1)，(x-1，y)，(x-1，y-1)，(x，y-1)这四点为当前点是被该四点包围，该点层数即四点层数最小值多一层；如果当前点(x，y)为1，层数值赋为0。第二步，自下而上，自右而左，与第一步相似的判断每个点的状态，若当前点是0，于是判断其左下、下、右下和右四点的情况。(x+1，y-1)，(x+1，y)，(x+1，y+1)，(x，y+1)四点包围了当前点，同样取这四点层数的最小值加1作为该点层数值；如果当前点(x，y)为1，层数值赋为0。与此同时，既然已经求得每一个点上包围层数值和下包围层数值，每个点的实际层数其实就是两种层数值中最小值。第三步，从上到下，从左到右依次扫描每一个点，此时需要判断该点8方向范围内所有点层数的情况。如果当前点的层数值是周围相邻点中最大，该点即保留；如果当前点的层数值并非最大，该点即可删去。综上步骤，即完成了该图像细化的全部过程，算法只需遍历3次，就能将一幅图像进行快速细化。

S7.连通域分析

连通域分析通过对二值图像中为1的像素(目标)的标记，让每个单独的连通区域形成一个被标识的块，便于后续对这些块的大小，外形，轮廓等特征进行统计。本专利采用基于行程的方法对连通域进行标记：

1)逐行扫描图像，我们把每一行中连续的为1的像素组成一个序列称为一个团(run)，并记下它的起点start、它的终点end以及它所在的行号。

2)对于除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的2个以上的团有重叠区域，则给当前团赋一个相连团的最小标号，并将上一行的这几个团的标记写入等价对，说明它们属于一类。

3)将等价对转换为等价序列，每一个序列需要给一相同的标号，因为它们都是等价的。从1开始，给每个等价序列一个标号。

4)遍历开始团的标记，查找等价序列，给予它们新的标记。

5)将每个团的标号填入标记图像中。

6)结束。

实施例

图1示出了本实施例中的基于形态学特征分析的楼面缺陷图像检测方法的流程示意图。

实施例采用的楼面照片的全景图如图2所示，由于原图分辨率较高，为了便于展示，通过选取包含缺转和碎砖这两类代表性缺陷的局部区域对方法实施方法进行说明。

首先根据步骤一，利用K-均值聚类法对图像的色彩特征进行聚类，对在色彩空间中距代表墙面区域的均值小于30的点判断为墙面(如图2a所示)。提取逐像素邻域内局部方向二进制模式特征直方图，将与楼面纹理直方图的欧式距离小于50的像素点判断为墙面(如图2b所示)。然后利用支持向量机对两种分割方法的结果融合，得到待检测的墙面区域。

根据步骤二，对样本图像进行高斯滤波平滑，然后对被判定为楼面砖区域的原图像素点进行拉普拉斯边缘锐化(样本图像两个不同局部区域的锐化结果如图4所示)，并对边缘信息进行二值化处理(两个区域的二值化结果如图5所示)。

根据步骤三，对二值化后的边缘信息进行条件膨胀(如图6所示)，并进行细化等处理(如图7所示)。将边缘特征二值图像进行反色，然后对反色结果进行种子点连通域分析，滤除过大及过小连通域以定位碎砖的墙面区域(如图8a所示)；同时对边缘特征二值图像进行搜索，对连续的边缘间断进行检测，从而定位缺砖的墙面区域(如图8b所示)。

根据步骤四，根据缺陷区域的最左坐标、最下坐标、宽、高信息，在原图上绘制边框(如图9所示)，并对相关信息进行记录。

最后应说明的是：本方法所设计的各种参数需要根据实际应用的具体情况进行调整。以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：该方法的实施步骤如下，

S1.墙面分割：利用色彩空间分割及纹理分割对墙面砖块区域进行预分类；利用K-均值聚类法对图像的色彩特征进行聚类，将在色彩空间中距墙面区域样本均值小于设定阈值的点判断为墙面；对图像内每点提取其邻域内局部方向二进制模式特征，并计算特征直方图，通过欧式距离计算其与先验的楼面纹理直方图的距离来进行判断，将距离小于设定阈值的像素点判断为墙面；利用支持向量机融合两种分割方法的结果，实现墙面区域的分割；

S2.边缘提取：利用边缘检测算法对砖块的边缘进行提取，以获得能表征砖块破损的特征；首先对图像进行高斯滤波平滑，然后对被判定为楼面砖区域的原图像素点进行拉普拉斯边缘锐化、顶帽变换提取边缘信息，对边缘信息进行二值化，得到砖块边缘的有用特征；

S3.缺陷提取：对疑似墙砖缺陷进行提取；对二值化后的边缘信息进行条件膨胀、细化处理；将边缘特征二值图像进行反色，然后对反色结果进行种子点连通域分析，滤除过大及过小连通域，定位碎砖的墙面区域；对边缘特征二值图像进行搜索，对连续的边缘间断进行检测，定位缺砖的墙面区域；

S4.缺陷标记：根据各连通域分析结果在原图上对墙砖缺陷进行标注；根据缺陷区域的最左坐标、最下坐标、宽、高信息，在原图上绘制边框，并对相关信息进行记录。

2.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：K-均值聚类楼面分割过程如下，

K均值聚类算法是先随机选取K个对象作为初始的聚类中心；然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；聚类中心以及分配给它们的对象就代表一个聚类；一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算；这个过程将不断重复直到满足某个终止条件；

利用照片中像素点的色彩空间信息进行K-均值聚类，以区分楼面和天空区域；聚类数量K取2，终止条件为小于100像素被分配给不同的类。

3.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：局部二进制模式楼面特征提取过程如下，

局部二进制模式是一种纹理特征提取算子，能够描述一个像素点和它邻域像素之间的关系，即对于3*3的邻域，其各像素与中心像素大小关系，构成二进制数；当大于某个阈值时，则被二值化为1，小于二值化为0，然后以顺时针方向构成二进制数；LBP量化像素点与其周围的像素点，可以有效的去除光照对图像的影响，只要光照变化不足以改变两个像素点之间的大小关系，那么就不会改变LBP二值化的值；

统计逐个像素点某一个邻域内的局部LBP直方图，计算其与已知楼面区域LBP直方图的欧式距离，利用阈值分割对楼面区域进行提取。

4.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：支持向量机分割结果融合过程如下，

将基于色彩空间和纹理分割得到的楼面信息作为输入，真实的楼面信息作为标签，训练支持向量机SVM，利用训练好的SVM对墙面区域进行分割，实现对两种特征的融合；从天空背景和窗户背景干扰中准确定位墙面区域，提高后续缺陷的提取的精度。

5.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：拉普拉斯边缘锐化过程如下，

拉普拉斯算子利用图像的二阶微分确定其边缘位置，八邻域的二阶微分算子可表示为：

▽²f＝8f(x,y)-f(x-1,y-1)-f(x-1,y)-f(x-1,y+1)-f(x,y-1)-f(x,y+1)-f(x+1,y-1)-f(x+1,y)-f(x+1,y+1)

其中f(x,y)代表图像f第x行，第y列的像素值；

然后,根据下式得到锐化图像：

其中g(x,y)代表增强后的图像值。

6.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：顶帽变换过程如下，

灰度级图像f的顶帽变换定义为f减去其开操作；对图像A的图像进行开操作的方式为：先用结构元素B对图像A进行腐蚀，然后用结构元素B对结果进行膨胀。

7.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：条件膨胀和细化过程如下，

条件膨胀是在二值膨胀的基础上增加限制：邻域范围内为1的点的个数如超过一定阈值，就基于结构元素对该像素进行膨胀，若未超过阈值，则不进行操作；

采用快速细化算法对二值图像进行细化：第一步，从上到下，从左到右依次扫描每一个点，若当前点(x，y)为0时，需判断其右上、上、左上和左四点的情况；(x-1，y+1)，(x-1，y)，(x-1，y-1)，(x，y-1)这四点为当前点是被该四点包围，该点层数即四点层数最小值多一层；如果当前点(x，y)为1，层数值赋为0；第二步，自下而上，自右而左，与第一步相似的判断每个点的状态，若当前点是0，于是判断其左下、下、右下和右四点的情况；(x+1，y-1)，(x+1，y)，(x+1，y+1)，(x，y+1)四点包围了当前点，同样取这四点层数的最小值加1作为该点层数值；如果当前点(x，y)为1，层数值赋为0；与此同时，既然已经求得每一个点上包围层数值和下包围层数值，每个点的实际层数其实就是两种层数值中最小值；第三步，从上到下，从左到右依次扫描每一个点，此时需要判断该点8方向范围内所有点层数的情况；如果当前点的层数值是周围相邻点中最大，该点即保留；如果当前点的层数值并非最大，该点即可删去；综上，即完成了该图像细化的全部过程，算法只需遍历3次，就能将一幅图像进行快速细化。

8.根据权利要求1所述的一种基于形态学特征的楼面缺陷图像自动检测方法，其特征在于：连通域分析过程如下，

连通域分析通过对二值图像中为1的像素标记，让每个单独的连通区域形成一个被标识的块，便于后续对这些块的大小，外形，轮廓特征进行统计；采用基于行程的方法对连通域进行标记：

1)逐行扫描图像，我们把每一行中连续的为1的像素组成一个序列称为一个团run，并记下它的起点start、它的终点end以及它所在的行号；

2)对于除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的2个以上的团有重叠区域，则给当前团赋一个相连团的最小标号，并将上一行的这几个团的标记写入等价对，说明它们属于一类；

3)将等价对转换为等价序列，每一个序列需要给一相同的标号，因为它们都是等价的；从1开始，给每个等价序列一个标号；

4)遍历开始团的标记，查找等价序列，给予它们新的标记；

5)将每个团的标号填入标记图像中；

6)结束。