CN109859171A - 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，包括：在检测前，先利用已有楼面缺陷图像制作样本，并依据迁移学习理论进行楼面缺陷检测模型的训练；检测流程是首先依据传统图像处理对楼面图像墙体区域进行分割提取；然后对楼面图像的墙体区域分块，应用模型对每一子块进行检测，可以采用并行处理的方式加速；接着对子块检测结果进行整合与转换，标注出缺陷在原始图像上的位置；最后对检测结果进行修正，并制作新样本用于模型的再次训练，以提升模型的检测性能；本发明解决了现有技术中楼面图像缺陷检测的速度与精度难以兼得，且检测算法适应能力不强，检测效果易受照片拍摄环境影响的难题。

Description

一种基于计算机视觉和深度学习的楼面缺陷自动检测方法

技术领域

本发明属于缺陷检测技术，尤其涉及一种基于计算机视觉和深度学习的楼体外表面缺陷自动检测方法。

背景技术

建筑物外墙瓷砖的松动脱落或裂缝存在着重大的安全隐患，定期进行墙面异常检测、对建筑物安全的监测和保证有着重要意义。计算机视觉以摄像机获取图像为工具，以图像处理、图像分析、模式识别、人工智能等技术为依托，无需接触特定对象便可从获取的图像中得到大量信息，通过对这些数据分析得到表面缺陷、物体尺寸等具体信息，特别适用于墙地砖等产品的表面缺陷、几何尺寸等检测，进而实现质量的综合评价。目前国内外有很多基于计算机视觉技术针对表面缺陷检测问题进行的研究，外墙表面缺陷检测即可以视为其中的一种。

近年来，基于计算机视觉的目标检测技术得到迅速发展，大多数主要依靠传统图像处理手段。根据提取的特征和识别算法，可以将表面缺陷检测技术分为3类：统计法、频谱法和模型法。在统计法中，灰度值的空间分布可以由灰度共生矩阵、自相关系数、数学形态学、直方图统计特征和分形体等特征描述。在频谱法中，表面缺陷的特征可以由傅里叶特征、小波特征、 Gabor特征来描述。在模型法中，表面缺陷的特征可以由分形体、随机场模型、反散射模型来描述。同时也有人引入机器学习技术完成对缺陷种类的分类。其工作流程为：首先利用专家知识设计特征，然后制作样本，训练分类器，如BP神经网络等。不过该方法的对人工设计的特征依赖很大。

传统的目标检测方法的优点是模型物理意义明确，算法执行效率高。但是，其对环境变化的适应性较差，例如要求相机的拍摄角度是固定的，也即环境是可控且相对稳定。然而本项目中要在室外对楼体外墙进行拍摄，获取的图片将受到天气，光线，拍摄角度等影响，环境较为复杂，同时缺陷的形状差异较大，难以统一地进行描述。故而上面所述的传统检测方法不适宜应用于此问题。

基于深度学习的目标检测算法则凭借其强大的自学习能力可以很好地解决复杂环境中目标检测任务。上述方法中虽然也有研究应用了BP神经网络等浅层机器学习，但实际上只是将其作为分类器，特征提取还是依赖于人工设计。而深度学习则不同，其从特征提取到分类都是依靠模型自主学习得到，可以自动地提取对特征进行提取与分析。

常见的基于深度学习的目标检测算法主要分为如下两类：第一类为基于候选区域的RCNN系列目标检测器，包括R-CNN、Fast R-CNN和Faster R-CNN等；而另一类则为端到端的单次检测器，其不需要预先提出候选区域而直接给出检测结果，该类检测器主要有YOLO、SSD和RetinaNet等，它们都是目前最为优秀的方法。目前第二类的检测器发展迅猛，在很多问题上无论是检测精度还是检测速度都要优于第一类。这些基于深度学习的目标检测算法为墙面缺陷检测提供了有利工具。

发明内容

针对现有技术中的问题，本发明提供一种楼面缺陷自动检测方法，该方法解决了现有技术中楼面缺陷自动检测精度和速度难以同时提高，且算法适应性不强，检测效果易受环境影响的难题。

本方法步骤如下：

一.模型预训练

在COCO数据集上对single shot multibox detector(SSD)模型进行预训练，得到模型初始化参数。

二.制作标注样本

首先对楼面图像进行缺陷位置及种类的标注。然后依据SSD模型的输入尺寸，以缺陷为中心将原图裁剪成小图像块，同时应用数据扩增技术增加其数量，将其作为该模型的训练和验证样本集。

三.模型迁移学习

使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型。

四.楼面图像的墙体区域提取

应用传统图像处理方法对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask。

五.楼面图像墙体区域分块

对图像I进行重叠式分块，依据掩膜对分块进行筛选，舍弃处于非墙体区域的分块，得到待检测分块集I_Sub

六.对分块进行缺陷检测

应用训练好的SSD对I_Sub中的各分块进行检测，得到每个分块中缺陷的种类以及位置。

七.分块检测结果整合

将上述分块检测结果进行拼接整合，直接将缺陷的种类与位置对应到原始大图I上。

八.修正检测结果并制作新样本进一步优化模型

去掉不包含缺陷的检测框，修正包含缺陷的检测框，修正方式为重新调整检测框大小，使其为缺陷的最小外接矩形。

最终的结果用于监测楼面质量以及帮助楼面检修决策。而对于新获得的带缺陷标注的楼面图片，可以跳至第二步重复整个流程，即将其制作为新样本集并依据增量学习理论进行模型的再训练。随着系统的整体运行，这种迭代调整可以不断地提高模型目标检测的能力。

综上所述，本发明利用目标检测模型对楼面缺陷进行自动检测并辅以修正的办法，完成监测楼面质量以及帮助楼面检修决策等任务。同时，本发明基于迁移学习、增量学习等技术，以每一阶段的检测结果为训练样本不断优化训练模型，以期在后续过程中不断减少修正的内容，真正达到楼面缺陷全自动检测的能力，为楼面质量监控和检修决策辅助提供重要技术支持。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提出的楼面图像缺陷自动检测方法的流程示意图；

图2为本发明实施例提供的训练集中楼面拍摄图像实例1及其标注示意图(原图)；

图3为本发明实施例提供的训练集中楼面拍摄图像实例1及其标注示意图(缺陷放大图)；

图4为本发明实施例提供的训练集中楼面拍摄图像实例2及其标注示意图(原图)；

图5为本发明实施例提供的训练集中楼面拍摄图像实例2及其标注示意图(缺陷放大图)；

图6为本发明中样本剪切及数据扩增示意图。(a)和(b)为两种不同的裁剪结果；

图7为迁移学习训练过程中指标变化示意图。(a)为模型训练和验证损失变化；(b)为平均精度(大目标)(c)为平均召回率(大目标)；

图8为检测流程最开始输入进来的新拍摄待检测楼体照片；

图9为非楼体区域分割示意图；

图10为应用分块SSD检测的结果示意图。(a)为原始比例的结果显示， (b)和(c)分别为检测到的两种不同样式的缺陷；

图11为最终对检测结果修正后的标注示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其它情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

针对现有缺陷检测技术难以平衡楼面图像缺陷检测的速度与精度，且检测算法适应能力不强，检测效果易受照片拍摄环境影响等问题，本发明提出一种基于计算机视觉和深度学习的楼面图像缺陷自动检测方法。通过依靠迁移学习训练用于楼面缺陷检测的SSD深度模型，并应用该SSD模型对图像进行分块检测，以及通过后续不断获得新样本对模型持续优化，最终实现高精度、高速度、环境适应性强的楼面缺陷自动检测。

(一)模型预训练

选择目标检测领域中实时性与检测精度都表现很好的SSD(single shotmultibox detector)作为缺陷检测模型。该模型的前端特征提取网络选用的是InceptionV2网络。

预训练数据集选择COCO数据集。COCO的全称是Common Objects in COntext，是微软团队提供的一个可以用来进行图像识别的数据集。MS COCO数据集中的图像分为训练、验证和测试集。COCO通过在Flickr上搜索80个对象类别和各种场景类型来收集图像，其使用了亚马逊的Mechanical Turk(AMT)。

将SSD模型在COCO训练集上进行预训练。当模型的平均精度均值 (mAP)达到最大时，将此节点的模型参数冻结出来，作为SSD模型的预训练参数。

(二)制作标注样本

初始样本集的制作是需要对楼面图像进行缺陷位置及种类的标注，要求标注矩形框紧贴检测目标的边缘，得到初始标注框(x_i,y_i,w_i,h_i)，其中x_i、y_i分别为初始标注框的左上角点的横轴和纵轴坐标，w_i、h_i分别为初始标注框的宽度和高度。

而由于缺陷的特殊性——其主要特征集中在边缘处，故应该修正初始标注框，为缺陷主动保留背景。设修正后的标注框为(x_c,y_c,w_c,h_c)修正依据如下公式，其中a∈(0.2,0.5)为扩展参数：

w_c＝w_i*(1+a)

h_c＝h_i*(1+a)

x_c＝x_i-0.5*w_c*a

y_c＝y_i-0.5*h_c*a

然后以缺陷标注框为中心剪切宽为w_ssd，高为h_ssd的小图像块作为训练和测试样本，并应用数据扩增技术增加样本的数量，最终得到用于训练和验证的样本集。其中w_ssd和h_ssd分别为SSD模型输入图像尺寸的宽和高，而数据扩增主要采用的是随机剪裁。设剪裁框为(x_crop，y_crop，w_crop，h_ccrop)，缺陷标注框均小于剪裁框，其生成方式如下：

(1)首先确定剪裁框的中心点坐标为(CX_crop，CY_crop)：

CX_crop＝random(x_c+w_c-0.5*w_crop，x_c+0.5*w_crop)

CY_crop＝random(y_c+h_c-0.5*h_crop，y_c+0.5*h_crop)

w_crop＝w_ssd

h_crop＝h_ssd

(2)然后根据剪裁框中心坐标计算剪裁框的4个参数：

w_crop＝w_ssd

h_crop＝h_ssd

x_crop＝CX_crop-0.5*w_crop

y_crop＝CY_crop-0.5*h_crop

(三)模型迁移学习

首先将第二步中的得到的样本集分为训练与验证两个子集。而由于在样本集中很容易出现不同类别缺陷的样本量极度不均衡的情况，故先将不同种类先合并成一类，待伴随着后续新样本的不断引入消除这种不平衡后，再分成不同类别。然后将这些图片转化为训练模型所需要的文件格式，并送入模型进行训练。优化方式采用小批量梯度下降法(Mini-Batch Gradient Descent)，其中批量大小(Batch size)根据硬件环境进行设定，越大越好。

训练结束后，可以通过观察训练集与测试集的损失曲线，选择召回率最大的节点导出模型，并以此模型用于后续的检测。选择的依据要优先考虑模型的召回率，其次才是精确率，即模型将尽可能将可疑处全部标出，不发生漏检。

(四)楼面图像的墙体区域提取

当新拍摄的一组楼体照片需要进行缺陷检测时，需要先应用传统图像处理方法将待检测的楼面区域与非墙体区域进行分割，通过过滤出非墙体区域有效提高后续缺陷检测算法的处理效率。

非墙体(天空)的分割主要采用基于HSV颜色空间的阈值分割算法，算法具体执行如下：

(1)首先将原始图像I从RGB空间转换为HSV空间。设原始图像的像素值为(R,G,B)，其中R是红色通道值(0-255)，G是绿色通道值(0-255)， B为蓝色通道值(0-255)。设转换后的参数为(H,S,V)，其中H为色调 (0-360°)，S为饱和度(0-1)，V为明度(0-1)。RGB到HSV的转换公式如下：

R'＝R/255

G'＝G/255

B'＝B/255

C_max＝max(R',G',B')

C_min＝min(R',G',B')

Δ＝C_max-C_min

V＝C_max

(2)设定非墙体(天空)每一点(x，y)在H通道上的分量 H(x，y)∈(T_l，T_A)，其中T_l和T_A分别为设定的上下限。以此二者为阈值进行分割，即可得到相应的二值图像I_B。

(3)然后通过形态学操作(膨胀、腐蚀、闭操作、开操作)处理修整 I_B。

(4)设I_B有K个连通域，计算各连通域P_k的面积，设定阈值T，保留面积超过T的连通域，舍弃未面积超过阈值的连通域，最终可以得到楼面图像的墙体区域的掩膜I_Mask。

(五)楼面图像墙体区域分块

由于SSD模型对输入图片的尺寸有限制，而需要检测的楼面图像尺寸非常大，故采用重叠式滑窗分割原始大图。以原图的左上角为起始点，用固定尺寸、固定滑动步长的窗口进行图像的分块。窗口的尺寸(W_W，W_H)为SSD模型的输入尺寸，其中W_W为窗口宽度，W_H为窗口高度。水平和竖直方向的滑动步长分别为Step_W和Step_H皆设为窗口对应尺寸的一半，公式如下。

Step_W＝0.5*W_W

Step_H＝0.5*W_H

是否对滑窗内的图像进行保存则需要根据第三步得到的楼体照片的墙体掩膜进行判断。如果一个窗口完全处于非楼体区域，则不用保存。否则，将每次滑窗内的图像保存下来，并记录其左上角点在原图中的坐标信息，即(X_sub，Y_sub)。

(六)对分块进行缺陷检测

将分块依次送入SSD模型进行检测，得到每个分块上缺陷的类别和位置。每个目标检测框具有4个参数(x，y，w，h)，其中x、y分别为检测框在子块中的左上角点的x轴和y轴坐标，w、h分别为检测框的宽度以及高度。此处也可以进行并行处理以提升检测效率。

(七)分块检测结果整合

将上述分块检测结果进行拼接整合，得到其在原始大图上缺陷的种类与位置。如步骤五所说，子块在原始图像中的左上角点的位置被记录为(X_sub，Y_sub)。那么依据简单的坐标变换，可以得到目标检测框对应于原图像的4个参数(X_o，Y_o，W_o，H_o)

X_o＝X_sub+x

Y_o＝Y_sub+y

W_o＝w

H_o＝h

(八)修正检测结果并制作新样本进一步优化模型

去掉不包含缺陷的检测框，修正包含缺陷的检测框。修正方式为重新调整检测框大小，使其为缺陷的最小外接矩形。而对于调整后的带标注的楼面图片，可以跳到第二步重复整个流程，即先对其进行修正，并将其制作为新样本集，然后以模型现有参数为初始参数进行训练，最后用训练好的的模型对新样本进行检测。随着系统的整体运行，这种迭代调整可以不断地提高模型目标检测的能力。

实施例

图1示出了本实施例中的基于计算机视觉和深度学习的楼面图像缺陷自动检测方法的流程示意图。

实施例采用某小区的墙体实拍图像，分辨率为7952*5304，文件大小一般在30M左右。初始获得的缺陷图像70张，缺陷目标169个。如图所示，其中绿框内为缺陷。

首先根据步骤一，在COCO训练集上预训练缺陷检测模型InceptionV2 -SSD(single shot multibox detector)，训练过程中模型的最高平均精度指标 (COCO mAP)为24，冻结此节点的模型，得到模型迁移学习的初始化参数。

根据步骤二，扩展系数a取0.3，初始样本集的修正后样例如图2至图5 所示(包括原始比例和放大后)。依据原始大图产生的剪切图及数据扩增如图6所示。

根据步骤三，首先将样本分为训练集与验证集。训练集有920个，验证集有100个。然后将他们转换成tensorflow平台需要的record文件类型并送入模型训练。批量大小(Batch size)设定为24，初始学习率设定为0.004，迭代次数为50000步。训练过程中，训练曲线与验证曲线变化，以及精确率和召回率的变化如图7所示。由于是系统运行初期，我们选择召回率高的点进行保存，如节点4250步，平均召回率为84％(大目标)。

根据步骤四，新拍摄的待检测楼体照片如图8所示，将其墙体区域与非墙体区域进行分割，其中设定T_l＝100，T_A＝124，面积阈值T＝300，最终得到墙体与非墙体区域的分割后的二值图(即为掩膜)，如图9所示。

根据步骤五，设定窗口的尺寸W_W＝W_H＝300，水平和竖直方向的滑动步长Step_W＝Step_H＝150，依据墙体掩膜对图像进行分块，共得到300*300 的子块1600个。

根据步骤六，利用训练好的SSD检测器对原图进行分块检测。

根据步骤七，将子块检测信息转换到原图上，结果如图10中(a)所示。放大后部分检测结果如图10中(b)和(c)所示。

根据步骤八，对机器检测结果进行修正，结果如图11所示。制作成训练集后可用作后续模型的再次训练。

最后应说明的是：本方法所设计的各种参数需要根据实际应用的具体兴趣进行调整。以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，其特征在于步骤如下：

一.模型预训练

对SSD模型进行预训练，得到模型初始化参数；

二.制作标注样本

首先对楼面图像进行缺陷位置及种类的标注；然后依据SSD模型的输入尺寸，以缺陷为中心将原图裁剪成小图像块，同时应用数据扩增技术增加其数量，将其作为该模型的训练和验证样本集；

三.模型迁移学习

使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型；

四.楼面图像的墙体区域提取

对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask；

五.楼面图像墙体区域分块

对楼面图像I进行重叠式分块，依据掩膜对分块进行筛选，舍弃处于非墙体区域的分块，得到待检测分块集I_Sub

六.对分块进行缺陷检测

应用训练好的SSD对I_Sub中的各分块进行检测，得到每个分块中缺陷的种类以及位置；

七.分块检测结果整合

将上述分块检测结果进行拼接整合，直接将缺陷的种类与位置对应到原始大图I上；

八.修正检测结果并制作新样本进一步优化模型

去掉不包含缺陷的检测框，修正包含缺陷的检测框，修正方式为重新调整检测框大小，使其为缺陷的最小外接矩形。

2.根据权利要求1所述的方法，其特征在于制作标注样本具体步骤如下：

初始样本集的制作是需要对楼面图像进行缺陷位置及种类的标注，要求标注框为缺陷的最小外接矩形，得到初始标注框(x_i，y_i，w_i，h_i)，其中x_i、y_i分别为初始标注框的左上角点的横轴和纵轴坐标，w_i、h_i分别为初始标注框的宽度和高度；

修正初始标注框，为缺陷主动保留背景；设修正后的标注框为(x_c，y_c，w_c，h_c)修正依据如下公式，其中a∈(0.2，0.5)为扩展参数：

w_c＝w_i*(1+a)

h_c＝h_i*(1+a)

x_c＝x_i-0.5*w_c*a

y_c＝y_i-0.5*h_c*a

然后以缺陷标注框为中心剪切宽为w_ssd，高为h_ssd的小图像块作为训练和测试样本，并应用数据扩增技术增加样本的数量，最终得到用于训练和验证的样本集；其中w_ssd和h_ssd分别为SSD模型输入图像尺寸的宽和高，而数据扩增采用的是随机剪裁；设剪裁框为(x_crop，y_crop，w_crop，h_ccrop)，缺陷标注框均小于剪裁框，其生成方式如下：

(1)首先确定剪裁框的中心点坐标为(CX_crop，CY_crop)：

CX_crop＝random(x_c+w_c-0.5*w_crop，x_c+0.5*w_crop)

CY_crop＝random(y_c+h_c-0.5*h_crop，y_c+0.5*h_crop)

w_crop＝w_ssd

h_crop＝h_ssd

(2)然后根据剪裁框中心坐标计算剪裁框的4个参数：

w_crop＝w_ssd

h_crop＝h_ssd

x_crop＝CX_crop-0.5*w_crop

y_crop＝CY_crop-0.5*h_crop。

3.根据权利要求1所述的方法，其特征在于楼面图像的墙体区域提取具体步骤如下：

当新拍摄的一组楼体照片需要进行缺陷检测时，需要先应用传统图像处理方法将待检测的楼面区域与非墙体区域进行分割，非墙体的分割要采用基于HSV颜色空间的阈值分割算法，算法具体执行如下：

(1)首先将原始图像I从RGB空间转换为HSV空间；

(2)设定非墙体每一点(x，y)在H通道上的分量H(x，y)∈(T_l，T_h)，其中T_l和T_h分别为设定的上下限；其中设定T_l＝100，T_h＝124，

(3)以此二者为阈值进行分割，得到相应的二值图像I_B；

(4)然后通过形态学操作处理修整I_B；

(5)设I_B有K个连通域，计算各连通域P_k的面积，设定阈值T，保留面积超过T的连通域，舍弃面积未超过阈值的连通域，面积阈值T＝300，得到楼面图像的墙体区域的掩膜I_Mask。

4.根据权利要求1所述的方法，其特征在于楼面图像墙体区域分块具体步骤如下：

采用重叠式滑窗分割原始大图；以原图的左上角为起始点，用固定尺寸、固定滑动步长的窗口进行图像的分块；窗口的尺寸(W_W，W_H)为SSD模型的输入尺寸，其中W_W为窗口宽度，W_H为窗口高度；水平和竖直方向的滑动步长分别为Step_W和Step_H皆设为窗口对应尺寸的一半；是否对滑窗内的图像进行保存则需要根据第三步得到的楼体照片的墙体掩膜进行判断；如果一个窗口完全处于非楼体区域，则不用保存；否则，将每次滑窗内的图像保存下来，并记录其左上角点在原图中的坐标信息，即(X_sub，Y_sub)。