CN116630321A - 基于人工智能的桥梁健康智能监测系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及基于人工智能的桥梁健康智能监测系统，包括：图像采集处理模块：获取桥梁表面图像的梯度图像；区域划分及归类模块：根据分块图像的梯度均值和方差得到平滑块和边缘块；自适应确定边缘分割阈值模块：得到平滑块和边缘块的边缘分割阈值；自适应分割模块：根据得到的平滑块和边缘块的边缘分割阈值对非极大值抑制处理后的梯度图像进行双阈值化处理，得到边缘分割图像。本发明在进行非极大值抑制时，通过梯度之间存在的差异大小对梯度进行修正，根据像素点形成边缘的概率确定对像素点进行调整权重，从而扩大差异性，使边缘提取更精确化。

Description

基于人工智能的桥梁健康智能监测系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于人工智能的桥梁健康智能监测系统。

背景技术

桥梁作为城市基础设施的重要组成部分，需要定期进行检测和维护。其中，裂缝是桥梁常见的缺陷之一，如果不及时修补，可能会对桥梁结构的安全和稳定性造成严重影响。所以随着技术的发展，越来越多基于机器视觉的裂缝检测方法被广泛应用，但是在实际应用中，需要针对不同的桥梁类型和环境场景选择合适的检测方法，且基于机器视觉的检测很容易受到光照及天气的影响，导致对裂缝的定位不准确，继而影响工人的修复效率。因此，开发一种高效精准的桥梁裂缝检测方法具有很高的实用价值。

对于桥梁表面的细微裂缝肉眼不易观察出来，为避免可能出现的安全隐患，需要利用视图检查仪器等工具对桥梁表面图像进行采集，而后确定具体的裂缝位置，从而根据裂缝的长度等特征采用合适的修复手段。但是细微的裂缝区域表现不明显，所以在利用边缘检测算法对氧化区域进行分割时，由于阈值的设置过于依赖人为经验，可能导致裂缝边缘不完整而影响工作人员的判断和修复。因此，本发明通过提取桥梁表面图像特征提出一种自适应选择确定的边缘的双阈值方法。

发明内容

本发明提供基于人工智能的桥梁健康智能监测系统，以解决现有的问题。

本发明的基于人工智能的桥梁健康智能监测系统采用如下技术方案：

本发明一个实施例提供了基于人工智能的桥梁健康智能监测系统，该系统包括以下模块：

图像采集处理模块：用于获取桥梁表面图像的梯度图像；

区域划分及归类模块：对梯度图像进行非极大值抑制，对非极大值抑制处理后的梯度图像进行分块得到分块图像，获取每个分块图像的梯度均值和梯度方差，根据分块图像的梯度均值和梯度方差得到平滑块和边缘块；

自适应确定边缘分割阈值模块：根据平滑块中像素点的梯度值得到平滑块的边缘分割阈值；根据边缘块中像素点边缘方向上相邻像素点之间的差异性得到边缘块中像素点的权重，根据边缘块中像素点的权重以及像素点梯度方向上的最大梯度值得到调整后的边缘块中像素点的梯度值；

获取边缘块调整前后的梯度直方图，根据调整前后的梯度直方图得到边缘块的最大分割阈值，根据边缘块的最大分割阈值以及边缘块中像素点的最小梯度值得到边缘块的最小分割阈值，将边缘块的最大分割阈值和最小分割阈值作为边缘块的边缘分割阈值；

自适应分割模块：根据得到的平滑块的边缘分割阈值和边缘块的边缘分割阈值对非极大值抑制处理后的梯度图像进行双阈值化处理，得到边缘分割图像。

进一步地，所述对非极大值抑制处理后的梯度图像进行分块得到分块图像，包括的具体步骤如下：将非极大值抑制处理后的梯度图像记为，非极大值抑制处理后的梯度图像通过等比例分块得到/>个分块图像，/>为预设的分块比例，/>为非极大值抑制处理后的梯度图像的长度，/>为非极大值抑制处理后的梯度图像的宽度。

进一步地，所述根据分块图像的梯度均值和梯度方差得到平滑块和边缘块，包括的具体步骤如下：其中，/>表示第/>个分块图像的梯度均值，/>表示第/>个分块图像的梯度均值，/>表示分块图像的总个数，/>表示第/>个分块图像的梯度方差，/>表示第/>个分块图像的梯度方差；若第/>个分块图像同时满足(1)(2)两式的判断条件，则将第个分块图像标记为平滑块，反之标记为边缘块。

进一步地，所述根据平滑块中像素点的梯度值得到平滑块的边缘分割阈值，包括的具体步骤如下：其中，/>表示第/>个平滑块的最大分割阈值，/>表示第/>个平滑块中第/>个像素点的梯度值，/>表示第/>个平滑块中像素点的总个数，/>表示第/>个平滑块中像素点的最小梯度值，/>表示第/>个平滑块的最小分割阈值，第/>个平滑块的最大分割阈值和最小分割阈值为第/>个平滑块的边缘分割阈值。

进一步地，所述根据边缘块中像素点边缘方向上相邻像素点之间的差异性得到边缘块中像素点的权重，包括的具体步骤如下：其中，/>表示第/>个边缘块中第/>个像素点的权重，/>表示双曲正切函数，/>表示第/>个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，/>表示不定参数。

进一步地，所述第个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，具体获取方法如下：/>其中，/>表示第/>个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，/>表示第/>个边缘块中第/>个像素点的梯度值，/>和/>分别表示第/>个边缘块中第/>个像素点边缘方向上两个相邻像素点的梯度值。

进一步地，所述根据边缘块中像素点的权重以及像素点梯度方向上的最大梯度值得到调整后的边缘块中像素点的梯度值，包括的具体步骤如下：其中，/>表示调整后的第/>个边缘块中第/>个像素点的梯度值，/>表示第/>个边缘块中第/>个像素点的权重，/>表示第/>个边缘块中第/>个像素点梯度方向上的最大梯度值，/>表示第/>个边缘块中第/>个像素点的梯度值。

进一步地，所述根据调整前后的梯度直方图得到边缘块的最大分割阈值，包括的具体步骤如下：对个边缘块中像素点的梯度值进行调整，/>为边缘块的总个数，得到新的非极大值抑制处理后的图像，获取/>个边缘块调整前后的梯度直方图，将梯度直方图中梯度频数差异最大时对应的梯度值作为每一个边缘块的最大分割阈值。

进一步地，所述根据边缘块的最大分割阈值以及边缘块中像素点的最小梯度值得到边缘块的最小分割阈值，包括的具体步骤如下：

获取第个边缘块中像素点的最小梯度值，将第/>个边缘块中像素点的最小梯度值和第/>个边缘块的最大分割阈值的均值作为第/>个边缘块的最小分割阈值。

本发明的技术方案的有益效果是：通过图像局部梯度的分布差异将等区域划分得到的图像分为平滑块和边缘块两类，对于关注度较低的平滑块直接通过梯度均值得到分割阈值，而对于边缘块，根据像素点形成边缘的概率确定对像素点进行调整权重，而后基于像素点梯度方向的最大梯度值对像素梯度进行调整，得到表现特征更明显的像素点并弱化了噪声点的影响，而后根据不同区域确定边缘分割阈值，增强了边缘分割的自适应性；

在进行非极大值抑制时，通过梯度之间存在的差异大小对梯度进行修正，从而扩大差异性，使边缘提取更精确化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于人工智能的桥梁健康智能监测系统的系统框架图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于人工智能的桥梁健康智能监测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于人工智能的桥梁健康智能监测系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于人工智能的桥梁健康智能监测系统的系统框架图，该系统包括以下模块：

图像采集处理模块：

需要说明的是，本实施例主要是对桥梁表面图像进行分析，因此首先要获得桥梁表面图像并对其进行预处理。

具体的，利用无人机搭载相机对待检测的桥梁进行拍摄，获得拍摄到的RGB图像，将该图像输入到语义分割网络中，得到桥梁区域和背景区域，RGB图像中桥梁区域内的所有像素点构成桥梁表面图像。

本实施例使用的语义分割网络为DeepLabV3网络，该网络是公知技术，本实施例不再赘述该网络的具体结果和训练方法。

获得全面以及高清的桥梁表面图像，对桥梁表面图像进行灰度化得到灰度图像。

需要说明的是，上述为桥梁表面图像的采集和灰度化处理过程，传统的算子在计算图像梯度时仅考虑了垂直方向和水平方向的相邻像素的差值，而没有考虑到其他方向，容易丢失边缘梯度信息。所以本实施例在两个方向的基础上，增加45°和135°方向的梯度分量，进而获得准确的水平方向和垂直方向梯度。

具体的，获取调整后的方向梯度：

其中，/>表示调整后的水平方向梯度，/>表示调整后的垂直方向梯度，/>表示0°方向的梯度，/>表示45°方向的梯度，/>表示135°方向的梯度，/>表示90°方向的梯度。

进一步地，确定每个像素点的梯度及梯度方向，具体如下：其中，/>表示调整后的水平方向梯度，/>表示调整后的垂直方向梯度，/>表示图像中像素点坐标/>的梯度幅值，/>表示像素点坐标/>的梯度方向。利用调整后的方向梯度获得桥梁表面图像的梯度图像。

至此，得到了梯度图像。

需要说明的是，获得桥梁表面图像的梯度图像后，需要对其进行非极大值抑制以获取更细化的边缘图像，所以本实施例首先对非极大值抑制处理后的图像等区域划分，若区域中的梯度均值较小且梯度波动程度较小，说明该区域存在的边缘的可能性小，本实施例将其判定为一般区域并根据梯度均值获取其分割阈值。对于梯度均值和梯度波动程度都相对较大的区域，存在边缘的可能性大，本实施例将其判定为边缘块。但是边缘块中有梯度范围较小的区域块或梯度值分布过于离散的区域，说明这些区域中存在边缘较微弱或受噪声影响较大，本实施例通过计算像素点处于边缘的概率对非极大值抑制的保留像素点梯度进行调整，从而使微弱边缘更易检测出同时弱化噪声点的影响。

区域划分及归类模块：

需要说明的是，对梯度图像进行非极大值抑制处理后可以得到单像素边缘，若此时直接设定高低阈值对图像进行分割，由于图像局部存在的差异性可能导致分割效果不好，所以本实施例对非极大值抑制处理后的图像进行等区域划分，而后提取区域之间的差异性对多个区域进行分类。对于梯度图像的各个子块，根据其梯度分布的不同可以判断其存在边缘的可能性：区域的梯度均值越大且梯度波动程度越大说明该区域存在边缘的可能性越大，反之则越小。因此，本实施例通过阈值处理将所有区域划分为平滑块和边缘块。

具体的，对梯度图像进行非极大值抑制处理得到非极大值抑制处理后的梯度图像，对非极大值抑制处理后的梯度图像等区域分块，将非极大值抑制处理后的梯度图像记为，/>为图像的大小，本实施例中以图像大小为/>进行说明，即图像长度/>，图像宽度/>，单位为像素，非极大值抑制处理后的梯度图像通过等比例分块得到/>个分块图像，/>为预设的分块比例，本实施例中以分块比例/>进行叙述，具体实施时可以设置为其他值，当分块比例不能使得非极大值抑制处理后的梯度图像等比例分块时，即对非极大值抑制处理后的梯度图像中的元素进行分块操作时，可能会超出非极大值抑制处理后的梯度图像的边界，本实施例利用二次线性插值的方法将非极大值抑制处理后的梯度图像超出边界的部分进行插值填充数据。

需要说明的是，由于非极大值抑制会保留局部最大值，所以检测到分块图像存在单像素边缘时，则该分块图像的梯度均值和梯度波动程度都相对较大，因此本实施例通过平均值公式以及方差公式得到所有分块图像中的平滑块和边缘块。

具体的，获取每个分块图像的梯度均值和梯度方差，以所有分块图像中第个分块图像为例进行如下分析：/>其中，/>表示第/>个分块图像的梯度均值，/>表示第/>个分块图像的梯度均值，/>表示分块图像的总个数，/>表示第/>个分块图像的梯度方差，表示第/>个分块图像的梯度方差。若第/>个分块图像同时满足(1)(2)两式的判断条件，则将第/>个分块图像标记为平滑块，反之标记为边缘块，获取所有分块图像中平滑块和边缘块的个数，将平滑块的总个数记为/>，将边缘块的总个数记为/>。

至此，得到了平滑块和边缘块。

自适应确定边缘分割阈值模块：

需要说明的是，对于得到的平滑块，因为其中包含边缘信息的概率较小，梯度的分布较为平缓，所以本实施例通过计算梯度均值确定平滑块的高低分割阈值；对于边缘块，这些区域中存在边缘信息较多，其中梯度均值及梯度波动程度均都很大；但是对于均值较小但仍有一定波动性的区域，说明这些区域包含的边缘信息较弱，不易检测，所以本实施例对边缘信息较弱像素点进行增强处理，使其表现出的差异性更明显。

需要说明的是，对于平滑块，由于其梯度直方图没有明显的单峰且在视觉检测中对平滑块的边缘关注度较低，所以本实施例获取每个区域梯度值得平均值作为高阈值，将梯度最小值到平均值的中间值作为低阈值。

具体的，以任意一个平滑块为例，根据平滑块中像素点的梯度值得到平滑块的边缘分割阈值，具体如下：其中，/>表示第/>个平滑块的最大分割阈值，/>，/>表示第/>个平滑块中第/>个像素点的梯度值，/>表示第/>个平滑块中像素点的总个数，/>表示第/>个平滑块中像素点的最小梯度值，/>表示第/>个平滑块的最小分割阈值。第/>个平滑块的最大分割阈值和最小分割阈值为第/>个平滑块的边缘分割阈值，获取所有平滑块的边缘分割阈值。

需要说明的是，对于边缘块，视觉检测中对其关注度较高，但是在非极大值抑制处理后直接通过高低阈值对边缘进行分割可能将某些微弱边缘像素点筛选去除，导致边缘不完整，所以本实施例首先根据边缘方向判断保留的像素点之间形成边缘的概率，并以此作为权重对待检测像素点进行增强，使其表面特征更明显。同时，考虑到在边缘检测过程中，噪声可能会引入虚假边缘，所以在边缘方向上的像素点之间的梯度差异过大的话需要调整权重使该像素点的变现特征减弱，因此本实施例通过构建形成边缘概率与权重之间的关系确定待检测点的调整度。

具体的，以任意一个边缘块为例，根据边缘块中像素点边缘方向上相邻像素点之间的差异性得到边缘块中像素点的权重，具体如下：，其中，/>表示第/>个边缘块中第/>个像素点的权重，/>表示双曲正切函数，用于归一化，/>表示第/>个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，/>表示不定参数，本实施例以不定参数/>进行叙述，具体实施时可以设置为其他值，由于噪声点的突发性会干扰边缘的方向和强度，导致在非极大值抑制过程中错误的选择不是真实的极值点，所以需要弱化噪声点的表现特征，因此引入不定参数平移使概率过大时调整权重为负值，减少噪声点梯度使其弱化。

进一步地，第个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性具体如下：/>其中，/>表示第/>个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，/>表示第/>个边缘块中第/>个像素点的梯度值，/>和/>分别表示第/>个边缘块中第/>个像素点边缘方向上两个相邻像素点的梯度值。利用相邻像素点求梯度平均差的方式，很好的衡量了边缘块中像素点边缘方向上像素点梯度分布的分散性，若像素点的梯度过于分散，则存在噪声点的概率很大，因此本实施例在考虑增强像素点的梯度表现外也弱化了噪声点的影响。在得到边缘块中像素点的权重后，需要在其梯度方向上对其进行调整，使得像素点的表现更明显，本实施例选择像素点的梯度方向中最大梯度对应的像素点，通过加权得到像素点的调整值，而后获得调整后的灰度梯度。

具体的，根据边缘块中像素点的权重以及像素点梯度方向上的最大梯度值得到调整后的边缘块中像素点的梯度值，具体如下：其中，/>表示调整后的第/>个边缘块中第/>个像素点的梯度值，/>表示第/>个边缘块中第/>个像素点的权重，/>表示第/>个边缘块中第/>个像素点梯度方向上的最大梯度值，/>表示第/>个边缘块中第/>个像素点的梯度值。利用梯度方向上最大梯度值对像素梯度进行增强，不仅保留了梯度较大的强边缘，也增强了微弱边缘，减少了漏检的情况；同时，依据最大梯度值对像素点进行增强，提出了可能存在的噪声点，使检测结果更准确。

进一步地，对个边缘块中像素点的梯度值进行调整，/>为边缘块的总个数，得到新的非极大值抑制处理后的图像，获取/>个边缘块调整前后的梯度直方图，将梯度直方图中梯度频数差异最大时对应的梯度值作为每一个边缘块的最大分割阈值，第/>个边缘块的最大分割阈值记为/>，获取第/>个边缘块中像素点的最小梯度值，将第/>个边缘块中像素点的最小梯度值和第/>个边缘块的最大分割阈值的均值作为第/>个边缘块的最小分割阈值，记为/>，第/>个边缘块的最大分割阈值和最小分割阈值为第/>个边缘块的边缘分割阈值，获取所有边缘块的边缘分割阈值。

至此，得到了平滑块以及边缘块的边缘分割阈值。

自适应分割模块：

具体的，根据得到的平滑块边缘分割阈值以及边缘块的边缘分割阈值对非极大值抑制处理后的梯度图像进行双阈值化处理，连接边缘得到完整的边缘线，最终得到边缘分割图像。

基于得到的边缘分割图像，可以将裂缝区域较为完整的分割出来，此时得到了准确的裂缝位置，为工作人员的修复工作带来便利。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于人工智能的桥梁健康智能监测系统，其特征在于，该系统包括以下模块：

图像采集处理模块：用于获取桥梁表面图像的梯度图像；

区域划分及归类模块：对梯度图像进行非极大值抑制，对非极大值抑制处理后的梯度图像进行分块得到分块图像，获取每个分块图像的梯度均值和梯度方差，根据分块图像的梯度均值和梯度方差得到平滑块和边缘块；

自适应确定边缘分割阈值模块：根据平滑块中像素点的梯度值得到平滑块的边缘分割阈值；根据边缘块中像素点边缘方向上相邻像素点之间的差异性得到边缘块中像素点的权重，根据边缘块中像素点的权重以及像素点梯度方向上的最大梯度值得到调整后的边缘块中像素点的梯度值；

获取边缘块调整前后的梯度直方图，根据调整前后的梯度直方图得到边缘块的最大分割阈值，根据边缘块的最大分割阈值以及边缘块中像素点的最小梯度值得到边缘块的最小分割阈值，将边缘块的最大分割阈值和最小分割阈值作为边缘块的边缘分割阈值；

自适应分割模块：根据得到的平滑块的边缘分割阈值和边缘块的边缘分割阈值对非极大值抑制处理后的梯度图像进行双阈值化处理，得到边缘分割图像。

2.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述对非极大值抑制处理后的梯度图像进行分块得到分块图像，包括的具体步骤如下：

将非极大值抑制处理后的梯度图像记为V(M,N)，非极大值抑制处理后的梯度图像通过等比例分块得到个分块图像，/>为预设的分块比例，M为非极大值抑制处理后的梯度图像的长度，N为非极大值抑制处理后的梯度图像的宽度。

3.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据分块图像的梯度均值和梯度方差得到平滑块和边缘块，包括的具体步骤如下：其中，/>表示第/>个分块图像的梯度均值，/>表示第/>个分块图像的梯度均值，/>表示分块图像的总个数，/>表示第/>个分块图像的梯度方差，/>表示第/>个分块图像的梯度方差；若第/>个分块图像同时满足(1)(2)两式的判断条件，则将第/>个分块图像标记为平滑块，反之标记为边缘块。

4.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据平滑块中像素点的梯度值得到平滑块的边缘分割阈值，包括的具体步骤如下：，其中，/>表示第/>个平滑块的最大分割阈值，/>表示第/>个平滑块中第/>个像素点的梯度值，/>表示第/>个平滑块中像素点的总个数，/>表示第/>个平滑块中像素点的最小梯度值，/>表示第/>个平滑块的最小分割阈值，第/>个平滑块的最大分割阈值和最小分割阈值为第/>个平滑块的边缘分割阈值。

5.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据边缘块中像素点边缘方向上相邻像素点之间的差异性得到边缘块中像素点的权重，包括的具体步骤如下：，其中，/>表示第/>个边缘块中第/>个像素点的权重，/>表示双曲正切函数，/>表示第/>个边缘块中第/>个像素点边缘方向上相邻像素点之间的差异性，/>表示不定参数。

6.根据权利要求5所述基于人工智能的桥梁健康智能监测系统，其特征在于，第n个边缘块中第β个像素点边缘方向上相邻像素点之间的差异性，具体获取方法如下：，其中，∆G_(n,β)表示第n个边缘块中第β个像素点边缘方向上相邻像素点之间的差异性，G_(n,β)表示第n个边缘块中第β个像素点的梯度值，G_(n,(β-1))和G_(n,(β+1))分别表示第n个边缘块中第β个像素点边缘方向上两个相邻像素点的梯度值。

7.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据边缘块中像素点的权重以及像素点梯度方向上的最大梯度值得到调整后的边缘块中像素点的梯度值，包括的具体步骤如下：其中，/>表示调整后的第/>个边缘块中第/>个像素点的梯度值，/>表示第/>个边缘块中第/>个像素点的权重，表示第/>个边缘块中第/>个像素点梯度方向上的最大梯度值，/>表示第/>个边缘块中第/>个像素点的梯度值。

8.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据调整前后的梯度直方图得到边缘块的最大分割阈值，包括的具体步骤如下：

对T个边缘块中像素点的梯度值进行调整，T为边缘块的总个数，得到新的非极大值抑制处理后的图像，获取T个边缘块调整前后的梯度直方图，将梯度直方图中梯度频数差异最大时对应的梯度值作为每一个边缘块的最大分割阈值。

9.根据权利要求1所述基于人工智能的桥梁健康智能监测系统，其特征在于，所述根据边缘块的最大分割阈值以及边缘块中像素点的最小梯度值得到边缘块的最小分割阈值，包括的具体步骤如下：

获取第个边缘块中像素点的最小梯度值，将第/>个边缘块中像素点的最小梯度值和第个边缘块的最大分割阈值的均值作为第/>个边缘块的最小分割阈值。