CN116258722B - 基于图像处理的桥梁建筑智能检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及基于图像处理的桥梁建筑智能检测方法。该方法包括：通过摄像头拍摄图像，获取桥梁结构图像；构建并训练桥梁缺陷检测模型；利用神经网络获取特征图像，对特征图像进行分析获取特征区域轮廓；基于特征区域轮廓获取每个轮廓点的置信度与抑制系数并计算缩放距离；基于缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，对初始轮廓集进行水平集分割，获取缺陷区域；根据缺陷区域实现目标窗口的修正，精准定位出缺陷；本发明方法基于每个目标窗口的特征区域来获取水平集分割的初始轮廓，从而准确的获取缺陷的完整区域，进而修正目标检测的目标窗口，使得更精准的定位与检测缺陷区域。

Description

基于图像处理的桥梁建筑智能检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于图像处理的桥梁建筑智能检测方法。

背景技术

桥梁作为重要的交通枢纽，在国民经济和社会发展中发挥着重要作用。随着使用寿命的增加，以及混凝土老化、车辆超载、运营环境恶化等多种因素的耦合作用，桥梁结构在长期使用过程中不可避免地会出现不同程度的损伤和病害，如裂缝、下挠、露筋等。传统的人工检测方法存在主观性强、检测效率低等问题，不能及时发现桥梁病害，不能满足时代发展的需要。

现有技术中通常采用机器视觉方法对桥梁缺陷进行检测，然而传统的机器视觉方法中无法自适应相机的视角变化，进而导致无法获取完整而又准确的缺陷区域，使得机器视觉无法检测得到桥梁缺陷的准确结果，因此如何准确检测桥梁病害类型是桥梁结构状态评估的关键。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于图像处理的桥梁建筑智能检测方法，所采用的技术方案具体如下：

本发明提出基于图像处理的桥梁建筑智能检测方法，所述方法包括：

通过摄像头拍摄图像，获取桥梁结构图像，对所述桥梁结构图像进行标注，获取标注图像；

构建桥梁缺陷检测模型，根据所述桥梁结构图像与所述标注图像训练桥梁缺陷检测模型；

利用神经网络获取桥梁缺陷检测模型的特征图像，对特征图像进行图像分析获取目标窗口的特征区域；对目标窗口的特征区域进行边缘检测获取特征区域轮廓；基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数；根据所述置信度与所述抑制系数计算缩放距离；

基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，并对所述初始轮廓集进行水平集分割，获取缺陷区域；

根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，精准定位出缺陷。

可选的，所述桥梁缺陷检测模型采用基于深度学习的目标检测网络。

可选的，所述对特征图像进行图像分析获取目标窗口的特征区域，包括的具体方法为：

对特征图像进行极差归一化，得到归一化特征图像，对所述归一化特征图像进行阈值化操作，得到特征二值图；对所述特征二值图进行连通域分析，得到特征连通域图像；

获取桥梁缺陷检测模型得到的目标窗口并获取该目标窗口所包含的特征连通域图像中的相应区域，称为目标窗口的特征区域；获取所述目标窗口的特征区域与所述特征连通域图像中有交集的连通域，若连通域存在多个，则获取面积最大的连通域，并求取面积最大的连通域的外接矩形，该外接矩形所包含的特征连通域图像的区域组成目标窗口的特征区域。

可选的，所述基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

首先获取目标窗口的特征区域轮廓的质心，然后将特征区域轮廓上每一个轮廓点 与质心点进行连线，连线上所经过的像素组成一个序列，称为轮廓射线序列，对于所述轮廓 射线序列进行总方差的计算：

分别为当前轮廓点轮廓射线序列灰度方差、解释性方差的权重， 分别表示当前轮廓点轮廓射线序列的灰度方差、解释性方差；表示轮廓点轮廓射线序列的 总方差；

计算置信度T，所述轮廓点轮廓射线序列的总方差与置信度呈负相关关系，计算公式如下：

表示轮廓点轮廓射线序列的总方差；通过上述方法，获取每个轮廓点的置信度。

可选的，所述获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

获取每个轮廓点相邻的轮廓点的置信度；

基于所述每个轮廓点相邻的轮廓点获取轮廓点的抑制系数：

n表示相邻轮廓点的个数，表示当前点的置信度，为第i个相邻点的置信度。

可选的，所述根据所述置信度与所述抑制系数计算缩放距离，包括的具体方法为：

获取每个轮廓点与连通域质心的距离，然后根据每个轮廓点的置信度与抑制系数计算每个轮廓点的缩放距离，其中轮廓点与连通域质心的距离、轮廓点的置信度与缩放距离呈正相关关系，轮廓点的抑制系数与缩放距离呈负相关关系，缩放距离的计算公式如下：

d为轮廓点与连通域质心的距离，为约束系数，T为该轮廓点的置信度，为该轮 廓点的抑制系数，为抑制速率系数。

可选的，所述基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，包括的具体方法为：

获取每个轮廓点的缩放距离，然后将该轮廓点在其与质心点的连线上移动缩放距离的长度，得到缩放轮廓点位置，最终对于每个点都进行缩放，即可得到缩放后的轮廓点集合，组成初始轮廓集。

可选的，所述根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，包括的具体方法为：

获取缺陷区域的外接矩形，计算目标窗口比例，即将外接矩形的面积除以目标窗口的面积，当目标窗口比例大于等于扩展上限阈值或小于等于缩放下限阈值时，不进行目标窗口更改；当目标窗口比例处在缩放下限阈值与扩展上限阈值之间时对目标窗口进行更改，将该外接矩形作为目标窗口，实现目标窗口修正。

本发明的有益效果为：本发明通过构建桥梁缺陷检测模型，基于解释性图获取特征图像，根据特征图像中的特征连通域获取每个目标窗口的特征区域，进而根据特征区域的轮廓与质心获取每个轮廓点的置信度与抑制系数，得到缩放距离；基于缩放距离获取初始轮廓集，并进行水平集分割，从而准确的获取缺陷的完整区域，进而根据缺陷的完整区域修正目标检测的目标窗口，使得缺陷区域的定位更精准。

附图说明

图1为本发明一个实施例所提供的基于图像处理的桥梁建筑智能检测方法流程框图。

具体实施方式

下面结合附图具体的说明本发明所提供的基于图像处理的桥梁建筑智能检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于图像处理的桥梁建筑智能检测方法流程框图，该方法包括：

步骤S001、通过摄像头拍摄图像，获取桥梁结构图像，对所述桥梁结构图像进行标注，获取标注图像。

首先利用高清摄像头对准桥梁结构进行拍摄，高清摄像头可以是移动端摄像头等电子设备，如手机等。然后对于拍摄的桥梁结构图像都进行图像预处理，以提高图像质量，图像预处理操作包括图像去噪、图像增强等，可采用图像滤波、直方图均衡化等方法，这里不再赘述其具体技术细节。

首先构建数据库，用以训练后续桥梁缺陷检测模型，通过高清摄像头拍摄桥梁结构图像，每种图像都应包含桥梁表观病害，包含露筋、泛碱、裂缝、混凝土掉块、蜂窝麻面、漏水、空洞、风化等病害的一种或多种，为了使桥梁缺陷检测模型鲁棒，也需要采集正常桥梁结构的图像。

然后对于数据库的图像进行标注，可采用labelimg工具进行标注，标注采用目标检测标注原则，对于每张图片，人工标注出目标信息，包括目标坐标/大小、目标类型；需要注意的是，每个目标窗口应包含一个缺陷区域，即一个连通的缺陷区域，这样可以更好的表示图像缺陷的种类及数量。

步骤S002、构建桥梁缺陷检测模型，根据所述桥梁结构图像与所述标注图像训练桥梁缺陷检测模型。

然后搭建桥梁缺陷检测模型，该模型为基于深度学习的神经网络模型，可以采用YoloV5模型，然后训练该神经网络，模型的输入为数据库中的图像，输出为标注的图像，神经网络的优化方法采用AdamW方法，神经网络的优化和训练方法为周知的，这里不再赘述。最终对于每一张桥梁结构图像，都可以获取其图像中的桥梁病害位置信息和缺陷类别信息。

步骤S003、利用神经网络获取桥梁缺陷检测模型的特征图像，对特征图像进行图像分析获取目标窗口的特征区域；对目标窗口的特征区域进行边缘检测获取特征区域轮廓；基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数；根据置信度与抑制系数计算缩放距离。

然而图像可能会受到相机视角、距离等因素的影响，导致目标检测效果不佳，难以实现缺陷的精确定位，即目标窗口难以准确包围缺陷，使得缺陷检测精度低。

因此，本实施例采用特征图像来让目标窗口定位缺陷更准确，所述特征图像即神经网络得到的解释性图，其方法如下：

采用Smooth Grad-CAM++神经网络解释性方法套入YoloV5分类层得到解释性图，Smooth Grad-CAM++ 技术提供了在模型预测过程的每个实例上可视化层、特征图子集或特征图中的神经元子集的能力。与其他方法相比，SmoothGrad-CAM++ 可以生成视觉上更清晰的图像，在给定的输入图像中具有更好的对象定位结果；将解释性图记为桥梁缺陷检测模型的特征图像，特征图像突出显示影响桥梁缺陷检测的图像区域，用分数作为解释，值越大其对模型检测缺陷贡献越大，也即越可能是相应缺陷的区域。所述Smooth Grad-CAM++方法为本领域技术人员所周知的，这里不再赘述其实现细节。最终得到一张特征图像。

首先对特征图像进行归一化操作，归一化采用极差归一化，得到归一化特征图像，然后对归一化特征图像进行阈值化操作，所述阈值的经验值采用0.2，即归一化特征图像中像素值大于阈值的变为255，小于阈值的变为0，最终得到一张特征二值图，用以表征图像中缺陷相应的特征区域的空间位置，上述YoloV5网络的目的即进行桥梁结构缺陷的定位和检测，因此特征区域指桥梁缺陷位置区域。然后对特征二值图进行连通域分析，得到特征连通域图像，所述极差归一化和连通域分析方法为公知技术，这里不再赘述。

然后获取桥梁缺陷检测模型得到的目标窗口，每个目标窗口在图像上都是一个范围，然后获取该目标窗口所包含的特征连通域图像中的相应区域，称为目标窗口的特征区域，由于目标窗口可能不能完整包含特征连通域，因此获取目标窗口特征区域与特征连通域图像中有交集的连通域，若连通域存在多个，则获取面积最大的连通域，并获取该连通域的外接矩形，该外接矩形所包含的特征连通域图像的区域组成目标窗口的特征区域。

进一步的，获取特征区域的轮廓，利用Canny算子对目标窗口的特征区域进行边缘检测实现。

然后利用水平集方法获取目标窗口的特征区域的完整缺陷区域，采用水平集方法可较好地处理拓扑结构的变化，从而准确分割出缺陷的完整区域，然而水平集分割结果受初始轮廓的设置影响，本实施例基于特征图像来获取水平集分割的初始轮廓，从而准确的获取缺陷的完整区域，进而修正目标检测的目标窗口，使得更精准的定位缺陷区域。

对于缺陷而言，通常其表面空间特征是相似的，因此此处获取特征区域的轮廓每个点的置信度，若置信度大，则代表该处空间特征分布比较接近，越可能属于缺陷区域，其作为初始轮廓点就越可信。

所述每个轮廓点的置信度计算方法如下：

首先获取目标窗口的特征区域轮廓的质心，可通过OpenCV库调用相关函数实现， 然后对于每个轮廓点与质心点进行连线，连线上所经过的像素组成一个序列，称为轮廓射 线序列，对于该序列进行方差计算，即每个像素都有一个灰度值（即桥梁结构图像转为灰度 图后相应像素位置的灰度值），所述整体图像的灰度值也需要进行归一化操作以方便后续 计算，同时每个像素也有一个特征图像的解释性值，该值越大，代表该像素对网络决策作用 越大，越可能是缺陷的位置，求取该序列灰度值、解释性值的方差即可。方差越大，代表该序 列越不平稳，即该轮廓点与质心点所经过的像素序列空间特征越不相似，该轮廓点作为初 始轮廓点越不可信。由于轮廓点与质心点所经过的像素序列未必都是缺陷像素，因此采用 方差的形式进行度量，以获取最置信的初始轮廓。计算总方差：

分别为当前轮廓点轮廓射线序列灰度方差、解释性方差的权重，经验值 分别为0.6、0.4，分别表示当前轮廓点轮廓射线序列的灰度方差、解释性方差。

计算置信度T：

表示轮廓点轮廓射线序列的总方差，最终T值越大，表示该轮廓点作为初始轮廓 越可信。

通过上述方法，即可获取每个轮廓点的置信度。

然后计算缩放距离：

对每个点进行缩放，若不考虑相邻点的缩放会导致初始轮廓形状与缩放后轮廓点序列组成的图形形状发生较大差异，因此此处计算每个点与邻域的置信度变化。

首先获取每个轮廓点相邻的轮廓点的置信度；

基于所述每个轮廓点相邻的两个轮廓点获取轮廓点的抑制系数：

N表示相邻轮廓点的个数，每个点都有左右相邻的两个点，即n=2，表示当前点的 置信度，为第i个相邻点的置信度。最终越大，代表当前轮廓点与相邻点的置信度相差 越大，则越该抑制该点的大幅度缩放，避免轮廓形态发生较大变化。

最终计算出缩放距离U：

d为轮廓点与质心的距离，为约束系数，避免缩放到与质心太近导致初始轮廓集 丧失形态，经验值为0.8，T为该轮廓点的置信度，为该轮廓点的抑制系数。为抑制速率 系数，该值越大，缩放后的轮廓点组成的轮廓线越平滑，经验值为0.4，分母加1是为了避免为0的情况。

步骤S004、基于缩放距离对每个轮廓点进行缩放获取初始轮廓集，对初始轮廓集进行水平集分割得到缺陷区域。

至此，即可得到每个轮廓点的缩放距离，然后将该轮廓点在其与质心点的连线上移动缩放距离的长度，得到缩放轮廓点位置。最终对于每个点都进行缩放，即可得到缩放后的轮廓点集合，组成初始轮廓集。

利用初始轮廓集进行水平集分割，可采用Mumford-Shah模型、Chan-Vese模型、ECV-L2模型、ECV-L1模型等，实施者可自由选取，这里不再赘述，本实施例选用SimpleITK中的GeodesicActiveContourLevelSetImageFilter方法，该方法根据已有的初始轮廓，向内/外延伸并找到分割边缘。最终得到分割后的区域，称为桥梁缺陷区域，该区域即可将缺陷完整的分割出来，进而修正目标窗口的位置。

步骤S005、根据缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，精准定位出缺陷。

进一步的，根据桥梁缺陷区域进行目标窗口的扩展或缩小，首先获取桥梁缺陷区域的外接矩形，然后获取目标窗口比例，即将外接矩形的面积除以目标窗口的面积，当目标窗口比例大于等于扩展上限阈值或小于等于缩放下限阈值时，认为水平集分割错误，不进行目标窗口更改，通常是由于图像质量问题引起；当目标窗口比例处在缩放下限阈值与扩展上限阈值之间时对目标窗口进行更改将该外接矩形作为目标窗口，缩放下限阈值、扩展上限阈值的经验值分别为0.7、1.3。

至此，即实现目标窗口的修正，然后针对图像中检测出的所有目标窗口结果都进行上述方法的修正，即可实现缺陷的精准定位与检测。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于图像处理的桥梁建筑智能检测方法，其特征在于，所述方法包括：

通过摄像头拍摄图像，获取桥梁结构图像，对所述桥梁结构图像进行标注，获取标注图像；

构建桥梁缺陷检测模型，根据所述桥梁结构图像与所述标注图像训练桥梁缺陷检测模型；

利用神经网络获取桥梁缺陷检测模型的特征图像，对特征图像进行图像分析获取目标窗口的特征区域；对目标窗口的特征区域进行边缘检测获取特征区域轮廓；基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数；根据所述置信度与所述抑制系数计算缩放距离；

基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，并对所述初始轮廓集进行水平集分割，获取缺陷区域；

根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，精准定位出缺陷；

所述特征图像即神经网络得到的解释性图，其方法如下：

采用Smooth Grad-CAM++神经网络解释性方法套入YoloV5分类层得到解释性图，Smooth Grad-CAM++ 技术提供了在模型预测过程的每个实例上可视化层、特征图子集或特征图中的神经元子集的能力；将解释性图记为桥梁缺陷检测模型的特征图像；

所述对特征图像进行图像分析获取目标窗口的特征区域，包括的具体方法为：

对特征图像进行极差归一化，得到归一化特征图像，对所述归一化特征图像进行阈值化操作，得到特征二值图；对所述特征二值图进行连通域分析，得到特征连通域图像；

获取桥梁缺陷检测模型得到的目标窗口并获取该目标窗口所包含的特征连通域图像中的相应区域，称为目标窗口的特征区域；获取所述目标窗口的特征区域与所述特征连通域图像中有交集的连通域，若连通域存在多个，则获取面积最大的连通域，并求取面积最大的连通域的外接矩形，该外接矩形所包含的特征连通域图像的区域组成目标窗口的特征区域；

所述基于特征区域轮廓上每一个轮廓点与特征区域轮廓的质心获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

首先获取目标窗口的特征区域轮廓的质心，然后将特征区域轮廓上每一个轮廓点与质心点进行连线，每个连线上所经过的像素组成一个序列，称为轮廓射线序列，对于所述轮廓射线序列进行总方差的计算：

分别为当前轮廓点轮廓射线序列灰度方差、解释性方差的权重，/>分别表示当前轮廓点轮廓射线序列的灰度方差、解释性方差；/>表示轮廓点轮廓射线序列的总方差；

计算置信度T，所述轮廓点轮廓射线序列的总方差与置信度呈负相关关系，计算公式如下：

表示轮廓点轮廓射线序列的总方差；通过上述方法，获取每个轮廓点的置信度；

所述获取每个轮廓点的置信度与抑制系数，包括的具体方法为：

获取每个轮廓点相邻的轮廓点的置信度；

基于所述每个轮廓点相邻的轮廓点获取轮廓点的抑制系数：

n表示相邻轮廓点的个数，表示当前点的置信度，/>为第i个相邻点的置信度；

所述根据所述置信度与所述抑制系数计算缩放距离，包括的具体方法为：

获取每个轮廓点与连通域质心的距离，然后根据每个轮廓点的置信度与抑制系数计算每个轮廓点的缩放距离，其中轮廓点与连通域质心的距离、轮廓点的置信度与缩放距离呈正相关关系，轮廓点的抑制系数与缩放距离呈负相关关系，缩放距离的计算公式如下：

d为轮廓点与连通域质心的距离，为约束系数，T为该轮廓点的置信度，/>为该轮廓点的抑制系数，/>为抑制速率系数；

所述基于所述缩放距离对所述每个轮廓点进行缩放获取初始轮廓集，包括的具体方法为：

获取每个轮廓点的缩放距离，然后将该轮廓点在其与质心点的连线上移动缩放距离的长度，得到缩放轮廓点位置，最终对于每个点都进行缩放，即可得到缩放后的轮廓点集合，组成初始轮廓集。

2.根据权利要求1所述的基于图像处理的桥梁建筑智能检测方法，其特征在于，所述桥梁缺陷检测模型采用基于深度学习的目标检测网络。

3.根据权利要求1所述的基于图像处理的桥梁建筑智能检测方法，其特征在于，所述根据所述缺陷区域调整桥梁缺陷检测模型的目标窗口实现目标窗口的修正，包括的具体方法为：

获取缺陷区域的外接矩形，计算目标窗口比例，即将外接矩形的面积除以目标窗口的面积，当目标窗口比例大于等于扩展上限阈值或小于等于缩放下限阈值时，不进行目标窗口更改；当目标窗口比例处在缩放下限阈值与扩展上限阈值之间时对目标窗口进行更改，将该外接矩形作为目标窗口，实现目标窗口修正。