CN111223086A

CN111223086A - 一种基于深度学习的建筑裂缝识别及识别效果的优化方法

Info

Publication number: CN111223086A
Application number: CN202010032839.9A
Authority: CN
Inventors: 丁勇; 郑正南; 鲍震洋; 唐运票
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2020-01-13
Filing date: 2020-01-13
Publication date: 2020-06-02

Abstract

本发明涉及一种基于深度学习的建筑裂缝识别及识别效果的优化方法，包括以下步骤：1)深度学习训练：采集建筑裂缝图片，人工标注裂缝作为训练数据集，采用数据增强技术扩充训练数据集，通过深度学习模型训练数据集，得到训练结果，即权重文件；2)裂缝图像识别：通过深度学习训练结果，对待识别图像进行裂缝识别；3)识别效果优化：使用python语言对步骤2)得到的深度学习识别结果图像进行处理，修正掩膜区域，使其更准确，更贴近于真实裂缝区域。本发明通过深度学习识别裂缝，以解决现有人工裂缝检测主观性大、人力资源消耗大，传统的图像识别方法抗干扰能力弱等问题。通过对裂缝深度学习识别结果进一步优化，使深度学习裂缝识别结果更贴近于真实裂缝。

Description

一种基于深度学习的建筑裂缝识别及识别效果的优化方法

技术领域

本发明涉及一种基于深度学习的建筑裂缝识别及识别效果的优化方法，属于建筑安全监测技术领域。

背景技术

在建筑的长期使用过程中，由于自然老化，不正当拆改，相邻建筑工地施工等因素影响，会出现损坏的状况，严重的可能倒塌。因此，定期对建筑进行检查，发现问题并及时采取措施极为重要，这样不仅可以延长建筑的使用寿命，更重要的是可以避免建筑安全事故的发生。而裂缝作为影响建筑安全性的重要表观表现形式之一，产生的原因多种多样，不同原因造成的裂缝具有不同的特征，同一类型的裂缝长度、宽度以及发展情况所反应出的建筑安全状况也不同。因此，裂缝可以一定程度上反应建筑的安全状况，对建筑的安全性鉴定具有重要意义。

现阶段裂缝数据的采集大多采用人工检测手段。检测过程通常是由现场检测人员到待检测结构体旁，使用相关检测设备测量裂缝长度、宽度等参数，再人工记录裂缝位置、对应参数等相关信息，统计分析数据，分析结构安全性和可靠性。人工检测法速度慢、精度差、人力投入大，随着对检测精度的要求不断提高以及老旧建筑增多，待检测建筑数量的快速增多，已经很难满足需求。

而随着计算机科学和数字图像处理技术的不断发展，利用图像处理来对裂缝进行检测越来越受到人们的关注，它具有非接触、效率高、便捷直观等优点，逐渐成为研究的主方向且取得了大量的研究成果。但是，由于裂缝图像往往具有复杂的特性，可能存在水渍、污染、管线等的干扰，加之光照不均匀，噪声繁多，分布不规律，这些都给传统的图像处理方法带来了难以解决的困难。与此同时，近年来，人工智能与深度学习的迅速发展给计算机视觉领域带来了革命性的发展。物体图像分类与分割是计算机视觉、模式识别与机器学习领域非常活跃的研究方向。相较于传统基于形态学的裂缝图像分析，深度学习对裂缝的识别具有更精确，抗干扰能力更强的特点，对裂缝图像处理具有重要应用价值。

但是由于深度学习训练集数量不够等原因，以及裂缝图像具有裂缝区域像素点比较少，长宽比很大，宽度方向像素点很少的特点，裂缝识别结果往往与真实裂缝有一定出入，即便很小的出入，对最终的裂缝识别效果、工程应用也会造成很大影响。因此，对深度学习识别结果的进一步优化是一个亟待解决的重要问题。

发明内容

为了解决上述技术问题，本发明提供一种基于深度学习的建筑裂缝识别及识别效果的优化方法，利用深度学习技术，识别建筑裂缝，结合算法对建筑裂缝识别效果进行优化，大大提高建筑裂缝识别率和识别效果。其具体技术方案如下：

一种基于深度学习的建筑裂缝识别及识别效果的优化方法，包括以下步骤：

步骤1)深度学习训练：采集建筑裂缝图片，人工标注裂缝作为训练数据集，采用数据增强技术扩充训练数据集，通过深度学习模型训练数据集，得到训练结果，即权重文件；

步骤2)采集裂缝图像：通过图像采集设备对待测量的裂缝进行图像采集，得到待识别图像；

步骤3)裂缝图像识别：通过深度学习训练结果，对待识别图像进行裂缝识别，识别获得图像中裂缝的识别框和裂缝覆盖区域掩膜；

步骤4)识别效果优化：使用python语言对步骤3)得到的图像进行处理，修正掩膜，使其更准确，更贴近真实裂缝区域。

进一步的，所述步骤1)和2)中深度学习训练、识别采用的深度学习模型为Mask R-cnn深度学习模型，识别后得到裂缝所在区域的矩形识别框和裂缝覆盖区域掩膜。

进一步的，所述步骤1)深度学习训练标注软件为labelme,使用连续折线段首尾相连构成的多边形框对裂缝进行框选、标注。

进一步的，所述步骤4)识别效果优化的具体步骤如下：

(1)将深度学习得到的识别结果图像用python语言进行优化，深度学习识别结果图像包含三部分内容：原三通道RGB图像、裂缝识别框、裂缝区域掩膜(裂缝区域点坐标集合)；

(2)将识别框内所有像素点分为裂缝区域像素点(掩膜内)、背景区域像素点(掩膜外)两部分，以两部分像素点RGB三通道颜色分量的平均RGB值作为参考指标；

(3)遍历裂缝区域像素点，分别计算其RGB三通道颜色分量RGB值与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，并比较，若此点与背景区域像素点平均RGB值的欧式距离更小，即此点RGB值与背景区域更接近，则将此点剔除出掩膜像素点坐标集，遍历完所有裂缝区域点，获得新的掩膜像素点坐标集；

(4)将掩膜区域按边界向外膨胀一圈新增像素点作为候选像素点，计算并比较候选像素点RGB三通道颜色分量与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，保留与裂缝区域接近的像素点，加入掩膜像素点坐标集，获得新的掩膜坐标集；

(5)每一次筛选、膨胀为一次迭代，每进行一次迭代，重新计算裂缝区域像素点(掩膜内)、背景区域像素点(掩膜外)RGB三通道颜色分量的平均RGB值，作为下一次迭代的参考指标，直至某一次迭代后掩膜坐标集与迭代前一致，即这一次迭代筛选、膨胀皆未对掩膜区域进行修正，停止迭代，得到优化后的裂缝图像。

本发明的有益效果是：通过深度学习识别裂缝，以解决现有人工裂缝检测主观性大、人力资源消耗大，传统的图像识别方法抗干扰能力弱等问题。通过对深度学习裂缝识别结果进一步优化，使深度学习裂缝识别结果更贴近于真实裂缝。

附图说明

图1是本发明裂缝原始图像示意图；

图2是本发明深度学习识别结果示意图(包含识别框，虚线矩形部分；掩膜，黑色覆盖区域)；

图3是本发明裂缝原始图像裂缝轮廓示意图；

图4是本发明深度学习识别结果掩膜轮廓示意图；

图5是本发明裂缝原始图像轮廓与深度学习识别结果掩膜轮廓叠加示意图；

图6是本发明深度学习识别结果漏识别区域轮廓示意图；

图7是本发明深度学习识别结果误识别区域轮廓示意图；

图8是本发明深度学习识别结果漏识别区域(待补漏区域)示意图；

图9是本发明深度学习识别结果误识别区域(待剔除区域)示意图；

图10是本发明掩膜按边界膨胀一个像素点宽度得到的所有像素点示意图；

图11是本发明掩膜按边界膨胀一个像素点宽度后得到像素点筛选后保留的像素点示意图；

图12是本发明掩膜优化后的最终结果示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

下面结合附图，举起说明本发明具体应用时的实现过程：

1.采集建筑裂缝图片，人工标注裂缝作为训练数据集，采用数据增强技术扩充训练数据集，通过深度学习模型训练数据集，得到训练结果，即权重文件。

2.通过深度学习训练权重文件，对待识别图像(待测量裂缝的图片)进行裂缝识别，获得深度学习裂缝识别结果。参照图2所示，深度学习识别结果包含识别框(虚线框)和掩膜(黑色区域)。图1为裂缝原始图像，图3、图4分别为裂缝原始图像轮廓图、深度学习识别结果掩膜图像轮廓图。

3.将裂缝原始图像轮廓图与深度学习识别结果掩膜的轮廓图叠加，以更直观对比，参照图5所示。可见，深度学习识别结果掩膜轮廓与真实裂缝轮廓有一定出入，可将其分为两类，一类是真实裂缝不包含，深度学习识别结果包含的区域，称之为误识别区域，参照图7所示，误识别区域轮廓参照图6所示；一类是真实裂缝包含，而深度学习识别结果不包含的区域，称之为漏识别区域，参照图8所示，漏识别区域轮廓参照图9所示。

4.将识别框内所有像素点分为裂缝区域像素点(掩膜内)、背景区域像素点(掩膜外)两部分，以两部分像素点RGB三通道颜色分量的平均RGB值作为参考指标。

先对掩膜区域进行筛选。遍历掩膜区域所有像素点，计算各像素点RGB三通道颜色分量RGB值与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，并比较。若此点与背景区域像素点平均RGB值的欧式距离更小，即此点RGB值与背景区域更接近，则将此点剔除出掩膜区域。遍历完所有掩膜区域像素点，获得新的掩膜坐标集。

再对掩膜区域进行膨胀。将掩膜像素点按边界向外膨胀一个像素点宽度，获得的新增像素点作为候选像素点，参照图10所示，计算并比较候选像素点RGB三通道颜色分量RGB值与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，保留与裂缝区域接近的像素点，加入掩膜坐标集，获得新的掩膜坐标集，参照图11所示为掩膜膨胀一圈并筛选后保留的像素点。

每一次筛选、膨胀为一次迭代，每进行一次迭代，重新计算裂缝区域像素点(掩膜内)、背景区域像素点(掩膜外)RGB三通道颜色分量的平均RGB值，作为下一次迭代的参考指标，进行下一次迭代。

当某一次迭代后掩膜坐标集与迭代前一致，即这一次迭代筛选、膨胀皆未对掩膜区域进行修正，停止迭代，得到优化后的最终裂缝掩膜，参照图12所示。参照附图，经过优化后的图像与真实图像完全一致。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims

1.一种基于深度学习的建筑裂缝识别及识别效果的优化方法，其特征在于：包括以下步骤：

步骤4)识别效果优化：使用python语言对步骤3)得到的图像进行处理，修正掩膜，得到更贴近真实裂缝、更准确的掩膜。

2.根据权利要求1所述的基于深度学习的建筑裂缝识别及识别效果的优化方法，其特征在于：所述步骤1)中深度学习训练、步骤3)中识别采用的深度学习模型为Mask R-cnn深度学习模型，识别后得到裂缝识别框和裂缝覆盖区域掩膜。

3.根据权利要求1所述的基于深度学习的建筑裂缝识别及识别效果的优化方法，其特征在于：所述步骤1)深度学习训练集标注软件为labelme,使用连续折线段沿裂缝边缘进行画线，并首尾相连组成闭合多边形，获得拟合裂缝形状的多边形框，以作为深度学习训练集。

4.根据权利要求1所述的基于深度学习的建筑裂缝识别及识别效果的优化方法，其特征在于：所述步骤4)识别效果优化的具体步骤如下：

(1)深度学习识别得到的结果包含三部分内容：原三通道RGB图像、裂缝识别框、裂缝覆盖区域掩膜，将深度学习得到的识别结果图像用python语言进行优化；

(2)将识别框内所有像素点分为裂缝区域像素点、背景区域像素点两部分，以两部分像素点RGB三通道颜色分量的平均RGB值作为参考指标；

(3)遍历裂缝区域像素点，分别计算其RGB三通道颜色分量RGB值与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，并比较，若此点与背景区域像素点平均RGB值的欧式距离更小，即此点RGB值与背景区域更接近，则将此点剔除出裂缝区域，遍历完所有裂缝区域点，获得新的掩膜坐标集；

(4)将掩膜区域按边界向外膨胀一圈新增像素点作为候选像素点，计算并比较膨胀一圈新增的像素点RGB三通道颜色分量RGB值与裂缝区域像素点平均RGB值、背景区域像素点平均RGB值的欧式距离，保留与裂缝区域接近的像素点，加入掩膜坐标集，获得新的掩膜坐标集；

(5)每一次筛选、膨胀为一次迭代，每进行一次迭代，重新计算裂缝区域像素点、背景区域像素点RGB三通道颜色分量的平均RGB值，作为下一次迭代的参考指标，直至某一次迭代后裂缝掩膜坐标集与迭代前一致，即这一次迭代筛选、膨胀皆未对掩膜区域进行修正，停止迭代，得到优化后的裂缝图像。