CN116993740A - 基于图像数据的混凝土结构表面缺陷检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像数据的混凝土结构表面缺陷检测方法，包括，获取待检测混凝土的深度图像和RGB图像，进而获得待检测混凝土对应的预处理后的深度图像和灰度图像，从而得到各个目标闭合边缘区域及其区域内每个像素点对应的深度值；确定各个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度，根据蜂窝表面突变度和蜂窝边缘无序度，确定各个目标闭合边缘区域对应的蜂窝缺陷显著度，进而判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度。本发明主要应用于混凝土缺陷检测领域，基于混凝土结构表面的图像特征信息，实现了混凝土结构表面缺陷检测，提高了缺陷检测结果的准确度。

Description

基于图像数据的混凝土结构表面缺陷检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于图像数据的混凝土结构表面缺陷检测方法。

背景技术

混凝土是建筑结构中最基本、应用最广泛的建筑材料，具有成本低、可塑性强、强度高、耐久性好等特性，是现代建筑结构中不可或缺的材料。混凝土浇筑操作流程不规范、混凝土分层不均匀、浇料顺序偏差等原因，均会导致混凝土表面出现缺陷。混凝土缺陷普遍存在于混凝土建筑物中，其会影响建筑结构的美观度和完整度，且随着缺陷程度的加深，混凝土缺陷会逐步影响混凝土的功能，甚至可能引发安全问题，所以需要及时对混凝土缺陷进行检测。

混凝土缺陷检测方法可分为半破损检测和无损检测，半破损检测需要在建筑结构或构件上直接进行局部破坏性试验或钻芯取样，该方法的施工工序复杂，且检测结果只代表取样点附近局部某点的混凝土状态，检测结果具有很大的偶然性。为了克服半破损检测存在的问题，现有提出了无损检测方法，包括电磁探测法、冲击回波法、电阻抗断层成像法、X射线透射法、超声波层析成像法等，但是这些缺陷检测方法的检测精度差，且无法准确分析混凝土的缺陷程度。随着计算机视觉技术的发展，现有还提出了公开号为CN111127416A，一种基于计算机视觉的混凝土结构表面缺陷自动检测方法，该方法先获取混凝土视频数据，然后对视频数据进行时间轴上的采样，获取图像，再将图像输入深度卷积神经网络模型，获取缺陷的位置、缺陷的类别以及缺陷的分割效果，该方法需要大量的训练样本进行训练，训练成本过高，计算量较大，导致缺陷检测效率低，且该方法中的视频数据会受到室外光源环境的影响，其会造成缺陷检测的准确度较低。

发明内容

为了解决上述现有方法存在混凝土缺陷检测准确度较低的技术问题，本发明的目的在于提供一种基于图像数据的混凝土结构表面缺陷检测方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于图像数据的混凝土结构表面缺陷检测方法，该方法包括以下步骤：

获取待检测混凝土的深度图像和RGB图像，根据深度图像和RGB图像得到预处理后的深度图像和灰度图像；

根据灰度图像得到边缘图像，根据边缘图像得到各个目标闭合边缘区域，根据深度图像获取各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度；

根据所述每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域对应的蜂窝表面突变度；

获取各个目标闭合边缘区域对应的各组边缘像素点，根据各组边缘像素点确定各组边缘像素点对应的倾斜角；根据每组边缘像素点的起始边缘像素点，确定相邻组的起始边缘像素点的连接线段的中点，统计各个目标闭合边缘区域对应的中点数目和位于目标闭合边缘区域之外的中点数目；获取各个目标闭合边缘，得到各个目标闭合边缘对应的角点数目；

根据各个目标闭合边缘区域对应的各组边缘像素点的倾斜角、中点数目、位于目标闭合边缘区域之外的中点数目以及各个目标闭合边缘对应的角点数目，确定各个目标闭合边缘区域对应的蜂窝边缘无序度；

根据各个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度，确定各个目标闭合边缘区域对应的蜂窝缺陷显著度，根据蜂窝缺陷显著度，判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度。

进一步的，根据边缘图像得到各个目标闭合边缘区域的步骤包括：

根据边缘图像，得到边缘图像中的各个闭合边缘，根据各个闭合边缘对应的区域大小和位置，确定各个目标闭合边缘区域。

进一步的，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度的步骤包括：

根据各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，得到每个像素点对应的各邻域像素点对应的深度值差值的绝对值；

根据每个像素点与其八邻域像素点对应的位置，得到每个像素点对应的各邻域像素点对应的距离值；

根据每个像素点对应的各邻域像素点对应的深度值差值的绝对值和距离值，将深度值差值的绝对值作为比值的分子，将距离值作为比值的分母，将该比值作为对应邻域像素点的断崖边界梯度。

进一步的，确定各个目标闭合边缘区域对应的蜂窝表面突变度的步骤包括：

根据所述每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域内的各标记像素点；

根据各标记像素点对应的各邻域像素点的断崖边界梯度，确定各标记像素点对应的最大断崖边界梯度；根据最大断崖边界梯度和所有标记像素点的个数，确定各标记像素点对应的石子断崖梯度；

根据各标记像素点对应的石子断崖梯度，对各标记像素点对应的石子断崖梯度进行归一化处理，根据归一化后的石子断崖梯度，确定各个目标闭合边缘区域对应的蜂窝表面突变度。

进一步的，确定各个目标闭合边缘区域内的各标记像素点的步骤包括：

根据每个像素点对应的各邻域像素点的断崖边界梯度，对各个目标闭合边缘区域中的每个像素点对应的各邻域像素点进行突变检测处理，得到各个目标闭合边缘区域的各突变点，将各突变点对应的像素点作为标记像素点，所述突变点为断崖边界梯度突然发生转变化的邻域像素点。

进一步的，获取各个目标闭合边缘区域对应的各组边缘像素点的步骤包括：

在各个目标闭合边缘区域的各边缘像素点中任意选取一个边缘像素点作为起始边缘像素点，按照预设选取顺序，从起始边缘像素点开始选取预设数目个边缘像素点，将起始边缘像素点和所述预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第一组边缘像素点；

再以第一组边缘像素点后的第一个边缘像素点为新的起始边缘像素点，按照预设选取顺序，从新的起始边缘像素点开始选取预设数目个边缘像素点，将新的起始边缘像素点和所述预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第二组边缘像素点，参考第二组边缘像素点的获取步骤，不断重复，直至各个目标闭合边缘区域内的各边缘像素点均有其对应的分组，从而得到各个目标闭合边缘区域对应的各组边缘像素点。

进一步的，确定各个目标闭合边缘区域对应的蜂窝边缘无序度的计算公式为：

其中，ced为各个目标闭合边缘区域对应的蜂窝边缘无序度，n2为各个目标闭合边缘区域对应的各组边缘像素点的组数，ki+1为各个目标闭合边缘区域对应的第i+1组边缘像素点对应的倾斜角，ki为各个目标闭合边缘区域对应的第i组边缘像素点对应的倾斜角，a3为各个目标闭合边缘区域对应的中点数目，a4为各个目标闭合边缘区域对应的位于目标闭合边缘区域之外的中点数目，n3为各个目标闭合边缘对应的角点数目。

进一步的，判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度的步骤包括：

若各个目标闭合边缘区域对应的蜂窝缺陷显著度均小于或等于第一缺陷阈值，则判定待检测混凝土不存在蜂窝瑕疵；

若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于第一缺陷阈值且小于第二缺陷阈值，则判定待检测混凝土存在蜂窝瑕疵，且该蜂窝瑕疵为第一等级蜂窝缺陷程度；

若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于或等于第二缺陷阈值，则判定待检测混凝土存在蜂窝瑕疵，且该蜂窝瑕疵为第二等级蜂窝缺陷程度；

第一等级蜂窝缺陷程度和第二等级蜂窝缺陷程度对应的混凝土缺陷严重程度依次增加。

进一步的，所述第一缺陷阈值设置为50，第二缺陷阈值设置为95。

进一步的，所述预处理过程包括高斯滤波和直方图均衡处理。

本发明具有如下有益效果：

本发明提供了一种基于图像数据的混凝土结构表面缺陷检测方法，该方法利用图像处理技术，对待检测混凝土的深度图像和RGB图像进行数据分析，获得各个目标闭合边缘区域，进而确定各个目标闭合边缘区域对应的深度突变特征和边缘不规则性程度，基于计算所得的图像特征数据对待检测混凝土进行蜂窝缺陷状态分析，以判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度，其有效提高了混凝土缺陷检测的准确度。首先，为了避免图像数据受到环境等因素的干扰，对待检测混凝土的深度图像和RGB图像进行预处理，得到预处理后的深度图像和灰度图像，预处理操作有助于后续对图像数据进行准确分析。然后，为了提高混凝土缺陷检测的效率，根据边缘图像得到各个目标闭合边缘区域，目标闭合边缘区域为可能会发生蜂窝缺陷的闭合边缘区域，其缩小了混凝土缺陷检测的范围。其次，为了摆脱室外光源对拍摄图像的影响，基于各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，确定每个像素点对应的各邻域像素点的断崖边界梯度，根据断崖边界梯度确定各个目标闭合边缘区域对应的蜂窝表面突变度，每个目标闭合边缘区域均会有其对应的蜂窝表面突变度，蜂窝表面突变度是判断蜂窝缺陷的重要指标，计算蜂窝表面突变度有助于提高了混凝土蜂窝缺陷检测的准确度。接着，为了提高蜂窝缺陷检测的可参考性，从另一个角度分析待检测混凝土的状态，获取各个目标闭合边缘区域对应的边缘特征信息，基于多个角度的边缘特征信息，获得各个目标闭合边缘区域对应的蜂窝边缘无序度，蜂窝边缘无序度是后续计算蜂窝缺陷显著度的重要指标之一，确定蜂窝缺陷显著度有助于提高后续判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度的可靠性。最后，为了使每个目标闭合边缘区域有判断是否为蜂窝缺陷区域的指标，从各个目标闭合边缘区域的两个方面计算蜂窝缺陷显著度，两个方面分别为蜂窝表面突变度和蜂窝边缘无序度，提高了蜂窝缺陷显著度的准确度，同时也提高了混凝土结构表面缺陷检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于图像数据的混凝土结构表面缺陷检测方法；

图2为本发明的实施例中的混凝土的蜂窝缺陷区域的示意图；

图3为本发明的实施例中的第b个闭合边缘内包含其他多个闭合边缘的示意图；

图4为本发明的实施例中的第b个闭合边缘内没有包含其他较小的多个或单个闭合边缘的示意图。

图3中的附图标记包括：b为闭合边缘的序号。

图4中的附图标记包括：b为闭合边缘的序号。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本实施例提供了一种基于图像数据的混凝土结构表面缺陷检测方法，如图1所示，包括以下步骤：

（1）获取待检测混凝土的深度图像和RGB图像，根据深度图像和RGB图像得到预处理后的深度图像和灰度图像。

在本实施例中，由于建筑不同位置的多个结构都需要用到混凝土，比如：房顶、立柱等，但在房顶和立柱等比较高的位置处，不便于直接使用固定的相机获取混凝土图像，故采用无人机携带RGB-D相机，采集浇筑完成的待检测混凝土的深度图像和RGB图像。为了便于后续对待检测混凝土结构表面的蜂窝缺陷进行分析，对待检测混凝土的RGB图像进行灰度化处理，得到待检测混凝土的灰度图像，灰度化处理的方法可以包括但不限于加权平均法。利用加权平均法对RGB图像进行灰度化处理的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

由于采集图像时可能会受到环境等相关因素的干扰，导致所采集的待检测混凝土的灰度图像和深度图像存在噪声，该噪音会影响到后续待检测混凝土的缺陷程度检测结果，为了提高待检测混凝土缺陷检测结果的准确性，对待检测混凝土的灰度图像和深度图像进行预处理，预处理的内容可以包括但不限于高斯滤波和直方图均衡，高斯滤波处理可以消除灰度图像和深度图像中的噪声，直方图均衡处理可以增强灰度图像和深度图像的图像特征。直方图均衡化处理和高斯滤波处理的实现过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（2）根据灰度图像得到边缘图像，根据边缘图像得到各个目标闭合边缘区域，根据深度图像获取各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度，其步骤包括：

（2-1）根据灰度图像获得边缘图像。

本实施例对灰度图像进行canny（边缘检测算子）边缘检测，得到灰度图像对应的边缘图像，边缘图像也为二值图像。为了消除边缘图像中的干扰边缘，减少后续确定目标闭合边缘区域时的计算量，对边缘图像进行开运算处理，得到开运算处理后的边缘图像。canny边缘检测和开运算处理的实现过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（2-2）根据边缘图像得到各个目标闭合边缘区域。

根据边缘图像，得到边缘图像中的各个闭合边缘，根据各个闭合边缘对应的区域大小，确定各个目标闭合边缘区域。

需要说明的是，混凝土蜂窝缺陷是指混凝土结构局部处出现混凝土疏松、砂浆少、石子多以及石子之间形成空隙，该混凝土缺陷类似蜂窝状的窟窿。混凝土蜂窝缺陷与混凝土之间有着明显的边界，边界在边缘图像中会有对应的边缘。在蜂窝缺陷区域内，通常会显露出石子，这些石子的形状不规则、表面粗糙，不规则的石子可以使边缘图像呈现出多个闭合边缘，也会出现一个闭合边缘内有多个较小的闭合边缘的情况，混凝土的蜂窝缺陷区域的示意图如图2所示。基于上述对混凝土缺陷性质内容的描述，根据边缘图像，就可以得到边缘图像中的各个闭合边缘，基于各个闭合边缘对应的区域大小，选取多个包含区域范围最大的闭合边缘，将多个最大闭合边缘对应的区域作为目标闭合边缘区域，蜂窝瑕疵的待测定区域，目标闭合边缘区域又称为蜂窝瑕疵的待测定区域，蜂窝瑕疵的待测定区域是待检测混凝土的灰度图像中最有可能存在蜂窝缺陷的区域。

以边缘图像中第b个闭合边缘为例进行分析，若边缘图像中的第b个闭合边缘内包含其他较小的多个或单个闭合边缘，且第b个闭合边缘对应的区域范围最大，第b个闭合边缘内包含其他多个闭合边缘的示意图如图3所示，则选择第b个闭合边缘对应的区域作为目标闭合边缘区域，其他较小的多个闭合边缘对应的区域作为目标闭合边缘区域中的一部分，不再单独分析其他较小的多个闭合边缘；若第b个闭合边缘内没有包含其他较小的多个或单个闭合边缘，第b个闭合边缘内没有包含其他较小的多个或单个闭合边缘的示意图如图4所示，则直接将第b个闭合边缘对应的区域作为目标闭合边缘区域。需要说明的是，图3和图4中的各闭合边缘可以表征实际混凝土蜂窝缺陷的形状，但真实的混凝土蜂窝缺陷形状可能不为规则的V形。

（2-3）根据深度图像获取各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度，其步骤包括：

需要说明的是，蜂窝缺陷通常会显露出石子，这些石子的表面可能会粘黏少量的已凝固的砂浆，由于砂浆与石子的质地和纹理不同，所以基于砂浆与石子对各个目标闭合边缘区域进行是否存在蜂窝缺陷分析时可能会产生误判情况，而石子在蜂窝缺陷内基本为裸露状态，石子间会形成空隙，石子与空隙的交界处的深度会大幅度变化，石子与相邻的凝固后的砂浆交界处的深度只会出现小幅度的改变，所以基于各个目标闭合边缘区域的每个像素点及其八邻域像素点对应的深度值，可以对各个目标闭合边缘区域进行分析。

首先，基于灰度图像中的各个目标闭合边缘区域内的每个像素点的位置，确定在深度图像中各个目标闭合边缘区域内的每个像素点对应的位置，根据每个像素点对应的位置得到各个目标闭合边缘区域的每个像素点对应的深度值。为了便于分析各个目标闭合边缘区域的每个像素点与其周围像素点之间的关系，获取各个目标闭合边缘区域的每个像素点对应的八邻域像素点，八邻域像素点是指位于中心像素点八邻域方向的8个像素点，进而获取每个像素点对应的八邻域像素点对应的深度值。至此，本实施例得到各个目标闭合边缘区域的每个像素点及其八邻域像素点对应的深度值。获取像素点对应的八邻域像素点的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（2-3-1）根据各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，得到每个像素点对应的各邻域像素点对应的深度值差值的绝对值。

在本实施例中，为了便于后续计算断崖边界梯度，断崖边界梯度为目标闭合边缘区域边界的深度变化程度，基于各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，计算每个像素点对应的深度值与其八邻域像素点对应的深度值的差值的绝对值，得到每个像素点对应的各邻域像素点对应的深度值差值的绝对值。

（2-3-2）根据每个像素点与其八邻域像素点对应的位置，得到每个像素点对应的各邻域像素点对应的距离值。

在本实施例中，为了提高后续所计算的断崖边界梯度的准确性，基于每个像素点与其八邻域像素点对应的位置，计算每个像素点与其八邻域像素点之间的距离，得到每个像素点对应的各邻域像素点对应的距离值，该距离值与断崖边界梯度为负相关，距离值越大，断崖边界梯度就会越小，距离值为深度差值的绝对值的系数，其主要作用是为了调节深度差值的绝对值的大小。

（2-3-3）根据每个像素点对应的各邻域像素点对应的深度值差值的绝对值和距离值，将深度值差值的绝对值作为比值的分子，将距离值作为比值的分母，将该比值作为对应邻域像素点的断崖边界梯度。

在本实施例中，基于每个像素点对应的各邻域像素点对应的深度值差值的绝对值和距离值，计算每个像素点对应的各邻域像素点的断崖边界梯度，其计算公式为：

其中，cbi每个像素点对应的第i个邻域像素点的断崖边界梯度，h0为每个像素点对应的深度值，hi为每个像素点对应的第i个邻域像素点对应的深度值，di为每个像素点对应的第i个邻域像素点对应的距离值。

需要说明的是，各个目标闭合边缘区域内的每个像素点均有其对应的8个断崖边界梯度，当像素点对应的各邻域像素点对应的深度值差值的绝对值越大时，该像素点对应的各邻域像素点的断崖边界梯度就会越大，该像素点越有可能为石子与砂浆之间的空隙区域内的像素点。

（3）根据每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域对应的蜂窝表面突变度。

需要说明的是，由于深度图像中大部分区域的深度值变化缓慢，导致各邻域像素点对应的断崖边界梯度较为相似，只有石子与砂浆间空隙区域的断崖边界梯度变化较大，基于上述蜂窝缺陷的特征分析可知，本实施例需要寻找各区域内石子与砂浆之间的空隙区域，确定空隙区域的深度变化程度。蜂窝表面突变度为检测蜂窝缺陷的重要指标，其是指待检测混凝土的目标闭合边缘区域表面的异常程度，根据各个目标闭合边缘区域对应的蜂窝表面突变度，可确定是目标闭合边缘区域是否存在空隙区域，故需要先确定各个目标闭合边缘区域对应的蜂窝表面突变度，其步骤包括：

（3-1）根据每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域内的各标记像素点。

根据每个像素点对应的各邻域像素点的断崖边界梯度，对各个目标闭合边缘区域中的每个像素点对应的各邻域像素点进行突变检测处理，得到各个目标闭合边缘区域的各突变点，将各突变点对应的像素点作为标记像素点，突变点为断崖边界梯度突然发生转变的邻域像素点。

值得说明的是，若某个像素点对应的第a个邻域像素点为突变点，那么该像素点对应的前a-1个邻域像素点的断崖边界梯度与第a个邻域像素点的断崖边界梯度可能相差较大，且第a个邻域像点的断崖边界梯度与第a+1个邻域像素点的断崖边界梯度也可能相差较大。

在本实施例中，为了不影响后续数据的分析，需要确定各个目标闭合边缘区域内的每个像素点的断崖边界梯度，先计算每个像素点对应的各邻域像素点的断崖边界梯度的均值，将该均值作为每个像素点的断崖边界梯度。然后，利用M-K（Manner-Kendall，突变检验）突变检测方法对每个像素点对应的各邻域像素点的断崖边界梯度进行检测，得到突变点，根据突变点得到标记像素点。根据突变点得到标记像素点的具体步骤为：当某个像素点对应的各邻域像素点的断崖边界梯度有被判定为突变点的断崖边界梯度时，则判定该像素点为石子与砂浆之间的空隙边缘上的像素点，对该像素点进行标记，记为标记像素点。至此，本实施例得到各个目标闭合边缘区域内的各标记像素点。

（3-2）根据各标记像素点对应的各邻域像素点的断崖边界梯度，确定各标记像素点对应的最大断崖边界梯度；根据最大断崖边界梯度和所有标记像素点的个数，确定各标记像素点对应的石子断崖梯度，其步骤包括：

（3-2-1）根据各标记像素点对应的各邻域像素点的断崖边界梯度，确定各标记像素点对应的最大断崖边界梯度。

为了便于后续计算标记像素点对应的石子断崖梯度，本实施例对每个标记像素点对应的各邻域像素点的断崖边界梯度进行数据分析，用最大断崖边界梯度表征标记像素点的蜂窝缺陷特征，具体为：从各标记像素点对应的8个邻域像素点的断崖边界梯度中，筛选出最大的断崖边界梯度，将该最大的断崖边界梯度作为对应标记像素点对应的最大断崖边界梯度。

（3-2-2）根据最大断崖边界梯度和所有标记像素点的个数，确定各标记像素点对应的石子断崖梯度。

在本实施例中，基于标记像素点的最大断崖边界梯度和整个图像中所有标记像素点的个数，计算各标记像素点对应的石子断崖梯度，石子断崖梯度是指目标闭合边缘区域内石子深度的变化程度，其计算公式为：

其中，为各标记像素点对应的石子断崖梯度，max( )为求最大值函数，/>为各标记像素点对应的各邻域像素点的断崖边界梯度组成的序列，n1为所有标记像素点的个数，a1为常数系数，经验值为1。

需要说明的是，为标记像素点对应的断崖边界梯度序列中的最大断崖边界梯度，最大断崖边界梯度是确定石子断崖梯度的关键，与石子断崖梯度正相关，而所有标记像素点个数为系数，计算公式中的所有标记像素点的个数可以提高石子断崖梯度的准确度，常数系数a1是为了防止标记像素点为孤立点，提高后续所确定的蜂窝缺陷检测结果的可参考性，孤立点会造成标记像素点对应的石子断崖梯度为零。

当某个标记像素点的最大断崖边界梯度越大、该标记像素点的所有标记像素点个数越多时，该标记像素点对应的石子断崖梯度越大，说明该标记像素点所在目标闭合边缘区域内越有可能存在蜂窝缺陷，所有标记像素点个数是指某个标记像素点的连续八邻域内的标记像素点的数量，每个标记像素点均有其对应的石子断崖梯度。

（3-3）根据各标记像素点对应的石子断崖梯度，对所有标记像素点对应的石子断崖梯度进行归一化处理，根据归一化后的石子断崖梯度确定各个目标闭合边缘区域对应的蜂窝表面突变度。

本实施例以石子断崖梯度为基础，得到各个目标闭合边缘区域对应的蜂窝表面突变度，首先，为了便于后续判断待检测混凝土是否存在蜂窝瑕疵，对所有标记像素点对应的石子断崖梯度进行归一化处理，使石子断崖梯度的值域范围处于0到1之间，基于各个目标闭合边缘区域内各标记像素点对应的归一化后的石子断崖梯度，计算各个目标闭合边缘区域对应的蜂窝表面突变度，其计算公式为：

其中，shb为各个目标闭合边缘区域对应的蜂窝表面突变度，为各个目标闭合边缘区域内的各标记像素点对应的归一化后的石子断崖梯度，a2为常数系数，经验值为1。

需要说明的是，常数系数a2是为了调节蜂窝表面突变度的值域，以便于后续进行数据分析。当某个目标闭合边缘区域内标记像素点数量越多、且每个标记像素点对应的石子断崖梯度越大时，该目标闭合边缘区域对应的蜂窝表面突变度就会越大，说明该目标闭合边缘区域越可能为混凝土蜂窝缺陷区域。

（4）获取各个目标闭合边缘区域对应的各组边缘像素点，根据各组边缘像素点确定各组边缘像素点对应的倾斜角；根据每组边缘像素点的起始边缘像素点，确定相邻组的起始边缘像素点的连接线段的中点，统计各个目标闭合边缘区域对应的中点数目和位于目标闭合边缘区域之外的中点数目；获取各个目标闭合边缘，得到各个目标闭合边缘对应的角点数目。

需要说明的是，部分较小的蜂窝缺陷区域内的石子与砂浆处的断崖特征不明显，或石子与砂浆之间的粘黏过小导致砂浆发生脱落，其容易造成无法准确计算目标闭合边缘区域对应的蜂窝表面突变度的现象，为了克服这一现象对混凝土缺陷检测结果的影响，提高混凝土结构表面缺陷检测的准确度，需要获取更多的蜂窝缺陷特征来分析待检测混凝土对应的蜂窝缺陷状态，首先，为了便于后续计算蜂窝边缘无序度，获取与蜂窝边缘无序度相关的各个分量特征，其步骤包括：

（4-1）获取各个目标闭合边缘区域对应的各组边缘像素点，根据各组边缘像素点确定各组边缘像素点的倾斜角。

获取各个目标闭合边缘区域对应的各组边缘像素点，在各个目标闭合边缘区域的各边缘像素点中任意选取一个边缘像素点作为起始边缘像素点，按照预设选取顺序，从起始边缘像素点开始选取预设数目个边缘像素点，将起始边缘像素点和预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第一组边缘像素点。

再以第一组边缘像素点后的第一个边缘像素点为新的起始边缘像素点，按照预设选取顺序，从新的起始边缘像素点开始选取预设数目个边缘像素点，将新的起始边缘像素点和预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第二组边缘像素点，参考第二组边缘像素点的获取步骤，不断重复，直至各个目标闭合边缘区域内的各边缘像素点均有其对应的分组，从而得到各个目标闭合边缘区域对应的各组边缘像素点。

在本实施例中，预设选取顺序可以为顺时针或逆时针，预设数目个边缘像素点可以为500个边缘像素点。选取各个目标闭合边缘区域内的任意一个边缘像素点为起始点，按照顺时针或逆时针的顺序，选取包括起始点在内的、相邻的和连续的500个边缘像素点，将此时的500个边缘像素点记为第一组边缘像素点，再以第一组边缘像素点后的第一个边缘像素点为新的起始点，按照第一组边缘像素点的获取顺序，再次选取包括新的起始点在内的、相邻的和连续的500个边缘像素点，将此时的500个边缘像素点记为第二组边缘像素点，不断重复执行获取每组边缘像素点的步骤，直至各个目标闭合边缘区域内的各边缘像素点均有其对应的分组，若最后一组的边缘像素点数量不足500个，为了提高分组的准确度，从第一组边缘像素点的起始点开始，选取第一组边缘像素点的边缘像素点，直至补足最后一组的边缘像素点的数量。

以某个目标闭合边缘区域为例进行分析，该目标闭合边缘区域对应的各组边缘像素点的组数为n2，各组边缘像素点按照选取边缘像素点的顺序进行标记，分别记为第1组、第2组、第3组、…、第n2组，对各组边缘像素点使用主成分分析法，得到主成分方向对应的倾斜角，将各组边缘像素点对应的倾斜角分别记为a1、a2、…、an2，倾斜角的角标数字与边缘像素点的组数保持一致，至此，本实施例得到了该目标闭合边缘区域对应的各组边缘像素点的倾斜角。参考该目标闭合边缘区域对应的各组边缘像素点的倾斜角的确定过程，基于各个目标闭合边缘区域对应的各组边缘像素点，确定各个目标闭合边缘区域对应的各组边缘像素点的倾斜角。确定倾斜角的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（4-2）根据各组边缘像素点的起始边缘像素点，确定相邻组的起始边缘像素点的连接线段的中点，统计各个目标闭合边缘区域对应的中点数目和位于目标闭合边缘区域之外的中点数目。

在本实施例中，标记出各组边缘像素点的起始边缘像素点，将相邻组的起始边缘像素点相连，得到多个连接线段，取多个连接线段的中点，统计各个目标闭合边缘区域对应的中点数目和位于目标闭合边缘区域之外的中点数目，将中点数目记为a3，将位于目标闭合边缘区域之外的中点数目记为a4。

（4-3）获取各个目标闭合边缘，得到各个目标闭合边缘对应的角点数目。

在本实施例中，根据各个目标闭合边缘区域，可以直接得到各个目标闭合边缘，利用Fast（Features From Accelerated Segment Test，角点检测算法）角点检测方法对各个目标闭合边缘进行角点检测处理，得到各个目标闭合边缘对应的角点数目，将各个目标闭合边缘对应的角点数目记为n3。Fast角点检测方法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（5）根据各个目标闭合边缘区域对应的各组边缘像素点的倾斜角、中点数目、位于目标闭合边缘区域之外的中点数目以及各个目标闭合边缘对应的角点数目，确定各个目标闭合边缘区域对应的蜂窝边缘无序度。

需要说明的是，蜂窝是指在混凝土表面上形成粗骨料之间的空隙或缝隙，这些空隙比较深，通常可以连成一片，其主要是因为混凝土产生离析现象而产生的。基于蜂窝缺陷的特征可知，蜂窝缺陷的边缘通常是无规则的，无规则主要表现出边缘多曲折，且呈现凹图像性质，凹图像性质可以表征不规则图像的图像特征。

在本实施例中，倾斜角、中点数目以及角点数目均能够表征凹图像的特征性质，基于待检测混凝土的各个目标闭合边缘区域对应的各组边缘像素点的倾斜角、中点数目、位于目标闭合边缘区域之外的中点数目以及各个目标闭合边缘对应的角点数目，可以计算各个目标闭合边缘区域对应的蜂窝边缘无序度，其计算公式为：

其中，ced为各个目标闭合边缘区域对应的蜂窝边缘无序度，n2为各个目标闭合边缘区域对应的各组边缘像素点的组数，ki+1为各个目标闭合边缘区域对应的第i+1组边缘像素点的倾斜角，ki为各个目标闭合边缘区域对应的第i组边缘像素点的倾斜角，a3为各个目标闭合边缘区域对应的中点数目，a4为各个目标闭合边缘区域对应的位于目标闭合边缘区域之外的中点数目，n3为各个目标闭合边缘对应的角点数目。

需要说明的是，当各个目标闭合边缘区域对应的中点数目不一致时，各个目标闭合边缘区域对应的位于目标闭合边缘区域之外的中点数目也可能不一致，为了避免量级影响，在蜂窝边缘无序度的计算公式中使用比值形式来表示目标闭合边缘区域对应的凹图像性质特征。

蜂窝边缘无序度计算公式中的越大，表示目标闭合边缘区域对应的各组边缘像素点的方向越混乱，/>越大表示目标闭合边缘区域对应的位于目标闭合边缘区域之外的中点越多，n3越大表示目标闭合边缘对应的角点越多。当某个目标闭合边缘区域对应的相邻组对应的倾斜角的差值绝对值越大、位于目标闭合边缘区域之外的中点数目越多以及角点数目越多时，该目标闭合边缘区域对应的蜂窝边缘无序度越大，其说明该目标闭合边缘区域闭合边缘区域越有可能为混凝土蜂窝缺陷区域。

（6）根据各个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度，确定各个目标闭合边缘区域对应的蜂窝缺陷显著度，根据蜂窝缺陷显著度，判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度，其步骤包括：

（6-1）根据各个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度，确定各个目标闭合边缘区域对应的蜂窝缺陷显著度。

在本实施例中，为了提高蜂窝缺陷显著度的准确度，基于目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度来构建蜂窝缺陷显著度，从两个角度分析待检测混凝土的表面结构特征，并将这两个角度的特征数据进行相加处理，得到待检测混凝土的各个目标闭合边缘区域对应的蜂窝缺陷显著度，其计算公式为：

其中，shd为各个目标闭合边缘区域对应的蜂窝缺陷显著度，shb为各个目标闭合边缘区域对应的蜂窝表面突变度，ced为各个目标闭合边缘区域对应的蜂窝边缘无序度。

需要说明的是，当某个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度越大时，该目标闭合边缘区域对应的蜂窝缺陷显著度越大，说明该目标闭合边缘区域越有可能是混凝土蜂窝缺陷。至此，每个目标闭合边缘区域均会有其对应的蜂窝缺陷显著度。

（6-2）根据蜂窝缺陷显著度，判断待检测混凝土是否存在蜂窝缺陷及蜂窝缺陷程度。

在本实施例中，设置待检测混凝土对应的第一缺陷阈值和第二缺陷阈值，第一缺陷阈值记为t1，t1经验值为50，第二缺陷阈值记为t2，t2经验值为95，第一缺陷阈值和第二缺陷阈值的经验值可由实施者根据具体混凝土的实际情况，由实施者自行决定。基于步骤（6-1）得到的各个目标闭合边缘区域对应的蜂窝缺陷显著度、第一缺陷阈值和第二缺陷阈值，可以判断待检测混凝土是否存在蜂窝缺陷，包括：

（6-2-1）若各个目标闭合边缘区域对应的蜂窝缺陷显著度均小于或等于第一缺陷阈值t1，则判定待检测混凝土不存在蜂窝缺陷，不需要对待检测混凝土进行蜂窝缺陷修补工作。

（6-2-2）若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于第一缺陷阈值t1且小于第二缺陷阈值t2，则判定该目标闭合边缘区域处存在混凝土蜂窝缺陷，即待检测混凝土存在蜂窝缺陷，此时待检测混凝土所存在的蜂窝缺陷属于第一等级蜂窝缺陷程度，需要对该目标闭合边缘区域进行修补。

（6-2-3）若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于或等于第二缺陷阈值t2，则判定该目标闭合边缘区域处存在混凝土蜂窝缺陷，即待检测混凝土存在蜂窝瑕疵，此时待检测混凝土所存在的蜂窝缺陷属于第二等级蜂窝缺陷程度。另外，若超过两个目标闭合边缘区域对应的蜂窝缺陷显著度大于第一缺陷阈值t1且小于第二缺陷阈值t2，判定待检测混凝土存在蜂窝瑕疵，其可以说明待检测混凝土所存在的蜂窝缺陷属于第二等级蜂窝缺陷程度。当待检测混凝土所存在的蜂窝缺陷属于第二等级蜂窝缺陷程度时，需要进行再次探查核实，人为决定最终的处理方式。

需要说明的是，第一等级蜂窝缺陷程度和第二等级蜂窝缺陷程度对应的混凝土缺陷严重程度依次增加，也就是第二等级蜂窝缺陷程度要比第一等级蜂窝缺陷程度严重。

至此，本实施例实现了混凝土结构表面缺陷检测，根据蜂窝缺陷中石子与砂浆的交界处数据的突变特征和蜂窝缺陷边缘的不规则性能，对混凝土结构表面进行分析，其摆脱了室外获取图像数据易受光源影响的限制，使混凝土缺陷检测过程更方便、检测结果更准确。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，包括以下步骤：

获取待检测混凝土的深度图像和RGB图像，根据深度图像和RGB图像得到预处理后的深度图像和灰度图像；

根据灰度图像得到边缘图像，根据边缘图像得到各个目标闭合边缘区域，根据深度图像获取各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度；

根据所述每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域对应的蜂窝表面突变度；

获取各个目标闭合边缘区域对应的各组边缘像素点，根据各组边缘像素点确定各组边缘像素点对应的倾斜角；根据每组边缘像素点的起始边缘像素点，确定相邻组的起始边缘像素点的连接线段的中点，统计各个目标闭合边缘区域对应的中点数目和位于目标闭合边缘区域之外的中点数目；获取各个目标闭合边缘，得到各个目标闭合边缘对应的角点数目；

根据各个目标闭合边缘区域对应的各组边缘像素点的倾斜角、中点数目、位于目标闭合边缘区域之外的中点数目以及各个目标闭合边缘对应的角点数目，确定各个目标闭合边缘区域对应的蜂窝边缘无序度；

根据各个目标闭合边缘区域对应的蜂窝表面突变度和蜂窝边缘无序度，确定各个目标闭合边缘区域对应的蜂窝缺陷显著度，根据蜂窝缺陷显著度，判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度。

2.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，根据边缘图像得到各个目标闭合边缘区域的步骤包括：

根据边缘图像，得到边缘图像中的各个闭合边缘，根据各个闭合边缘对应的区域大小和位置，确定各个目标闭合边缘区域。

3.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，进而确定各个目标闭合边缘区域内的每个像素点对应的各邻域像素点的断崖边界梯度的步骤包括：

根据各个目标闭合边缘区域内的每个像素点及其八邻域像素点对应的深度值，得到每个像素点对应的各邻域像素点对应的深度值差值的绝对值；

根据每个像素点与其八邻域像素点对应的位置，得到每个像素点对应的各邻域像素点对应的距离值；

根据每个像素点对应的各邻域像素点对应的深度值差值的绝对值和距离值，将深度值差值的绝对值作为比值的分子，将距离值作为比值的分母，将该比值作为对应邻域像素点的断崖边界梯度。

4.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，确定各个目标闭合边缘区域对应的蜂窝表面突变度的步骤包括：

根据所述每个像素点对应的各邻域像素点的断崖边界梯度，确定各个目标闭合边缘区域内的各标记像素点；

根据各标记像素点对应的各邻域像素点的断崖边界梯度，确定各标记像素点对应的最大断崖边界梯度；根据最大断崖边界梯度和所有标记像素点的个数，确定各标记像素点对应的石子断崖梯度；

根据各标记像素点对应的石子断崖梯度，对各标记像素点对应的石子断崖梯度进行归一化处理，根据归一化后的石子断崖梯度，确定各个目标闭合边缘区域对应的蜂窝表面突变度。

5.根据权利要求4所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，确定各个目标闭合边缘区域内的各标记像素点的步骤包括：

根据每个像素点对应的各邻域像素点的断崖边界梯度，对各个目标闭合边缘区域中的每个像素点对应的各邻域像素点进行突变检测处理，得到各个目标闭合边缘区域的各突变点，将各突变点对应的像素点作为标记像素点，所述突变点为断崖边界梯度突然发生转变的邻域像素点。

6.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，获取各个目标闭合边缘区域对应的各组边缘像素点的步骤包括：

在各个目标闭合边缘区域的各边缘像素点中任意选取一个边缘像素点作为起始边缘像素点，按照预设选取顺序，从起始边缘像素点开始选取预设数目个边缘像素点，将起始边缘像素点和所述预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第一组边缘像素点；

再以第一组边缘像素点后的第一个边缘像素点为新的起始边缘像素点，按照预设选取顺序，从新的起始边缘像素点开始选取预设数目个边缘像素点，将新的起始边缘像素点和所述预设数目个边缘像素点划分为一组，得到各个目标闭合边缘区域对应的第二组边缘像素点，参考第二组边缘像素点的获取步骤，不断重复，直至各个目标闭合边缘区域内的各边缘像素点均有其对应的分组，从而得到各个目标闭合边缘区域对应的各组边缘像素点。

7.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，确定各个目标闭合边缘区域对应的蜂窝边缘无序度的计算公式为：

其中，ced为各个目标闭合边缘区域对应的蜂窝边缘无序度，n2为各个目标闭合边缘区域对应的各组边缘像素点的组数，ki+1为各个目标闭合边缘区域对应的第i+1组边缘像素点对应的倾斜角，ki为各个目标闭合边缘区域对应的第i组边缘像素点对应的倾斜角，a3为各个目标闭合边缘区域对应的中点数目，a4为各个目标闭合边缘区域对应的位于目标闭合边缘区域之外的中点数目，n3为各个目标闭合边缘对应的角点数目。

8.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，判断待检测混凝土是否存在蜂窝瑕疵及蜂窝缺陷程度的步骤包括：

若各个目标闭合边缘区域对应的蜂窝缺陷显著度均小于或等于第一缺陷阈值，则判定待检测混凝土不存在蜂窝瑕疵；

若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于第一缺陷阈值且小于第二缺陷阈值，则判定待检测混凝土存在蜂窝瑕疵，且该蜂窝瑕疵为第一等级蜂窝缺陷程度；

若任意一个目标闭合边缘区域对应的蜂窝缺陷显著度大于或等于第二缺陷阈值，则判定待检测混凝土存在蜂窝瑕疵，且该蜂窝瑕疵为第二等级蜂窝缺陷程度；

第一等级蜂窝缺陷程度和第二等级蜂窝缺陷程度对应的混凝土缺陷严重程度依次增加。

9.根据权利要求8所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，所述第一缺陷阈值设置为50，第二缺陷阈值设置为95。

10.根据权利要求1所述的一种基于图像数据的混凝土结构表面缺陷检测方法，其特征在于，预处理包括高斯滤波和直方图均衡处理。