CN111597941A - 一种面向大坝缺陷图像的目标检测方法 - Google Patents

Abstract

本发明公开了一种面向大坝缺陷图像的目标检测方法，步骤为：将可变形卷积用于VGG16网络，增大卷积感受范围，通过学习卷积偏移量来捕捉大坝缺陷的形变特征，得到缺陷图像的特征图；在进行多尺度特征图检测时，修改锚点机制中先验框尺寸比例，提高条形缺陷特征的检测精度与模型的泛化能力；采用改进的非极大值抑制算法对冗余负样本进行筛减，在均衡正负样本比例的前提下，尽可能地保证训练样本的多样性。本发明对大坝缺陷图像进行了有效检测，不仅能够实现对多形变的缺陷特征的检测，同时进一步提高了对于条形缺陷检测的泛化能力。在大坝缺陷图像的目标检测中具有较高的检测精度与较好的收敛性能。

Description

一种面向大坝缺陷图像的目标检测方法

技术领域

本发明属于大坝缺陷图像目标检测领域，特别涉及一种面向大坝缺陷图像的目标检测方法。

背景技术

建筑工程领域将工程施工质量中不符合规定要求的检验项或检验点定义为缺陷，随着水电站大坝的长期运行，材料老化、环境影响等原因导致了不同程度缺陷的形成。当缺陷程度较轻时，尚可采取相应的措施对缺陷进行及时地处理，达到结构的承载要求，一旦缺陷没有得到及时地处理与补救，将对大坝安全运行造成重大威胁。因此，采用自动巡检设备对缺陷进行及时的检测与排查能够有效维护大坝的结构安全。

一直以来目标检测使用的公开数据集往往种类特征固定，因此在进行特征提取时，通常采用固定大小的感受范围对特征进行卷积。由于缺陷生成的不确定性，根据成因和环境的改变，缺陷几何形状多变，这对于特征提取的难度也相应增大。SSD中采用的传统的卷积方式进行特征提取，这对于几何形状固定的样本而言是有效的，对于缺陷数据集而言无法适应缺陷未知的几何形变，因此存在一定的局限性。

发明内容

发明目的：为了克服现有技术中存在的问题，本发明提供一种面向大坝缺陷图像的目标检测方法，采用可变形卷积提取特征的目标检测算法不仅能够实现高效检测，同时能够精准识别并检测出几何形状多变的大坝缺陷。

技术方案：为实现上述目的，本发明提供一种面向大坝缺陷图像的目标检测方法，包括如下步骤：

(1)针对大坝缺陷几何形变的特征，将可变形卷积应用于单阶段目标检测器SSD中，将其主干网络VGG16中的卷积改进为可变形卷积，增大卷积感受范围，通过学习卷积偏移量来捕捉大坝缺陷的形变特征；

(2)在多尺度特征图检测阶段，针对大坝中“裂缝”缺陷的条形特征，改进了锚点机制中的预选框尺寸比例，提高条形特征的检测精度与模型的泛化能力；

(3)训练过程中采用改进非极大值抑制方法，在筛减冗余样本的同时，采用仅删减负样本的方法，保证训练样本的多样性。

进一步的，所述采用可变形卷积VGG16网络进行缺陷特征提取的具体步骤如下：

(1.1)输入原始图片，记为U，其中设置的batch为b；

(1.2)原始图片batch经过一个普通卷积，卷积填充为same，即输出输入大小不变，对应的输出结果为原图片batch中每个像素的偏移量，在可变形卷积中，R通过偏移量{Δp_n|n＝1,…,N}来增大感受的范围，其中，N＝|R|，卷积后像素值：

此时，采样的卷积核由不规则的R组成，距卷积核中心位置偏移量为p_n+Δp_n，原先标准的卷积过程被分为两路，上面一路学习偏移量，得到H×W×2N个输出偏移量，N＝|R|表示卷积核中的像素个数，2N代表两个垂直方向的偏移量；

(1.3)将U中图片的像素索引值与V相加，得到偏移后的坐标(即在原始图片U中的坐标值)，需要将坐标值限定为图片大小以内，将浮点类型的坐标值获取像素；

(1.4)偏移量Δp_n的计算的结果往往是一个高精度的小数，非整数的坐标无法在图像这种离散型的数据上使用，如果采用简单的取整方法会有一定程度的误差，从而x(p₀+p_n+Δp_n)处的像素值需通过双线性差值来计算，即通过寻找距离坐标最近的四个像素点来计算该点的像素值。将x(p)＝x(p₀+p_n+Δp_n)简化为：

其中，x(q)表示相邻四个整数坐标处的像素值，G(·,·)为p相邻四个整数点对应的权值参数：

(1.5)计算坐标值对应的所有像素后，得到新的特征图，并将新的特征图作为输入数据输入到下一层中。

进一步的，所述采用改进预选框的尺寸比例进行多尺度特征图检测的具体步骤如下：

(2.1)为特征图中每个像素单元设置尺度不同的先验框，随着特征图尺寸的减小，先验框的尺寸线性增加：

其中，m为特征图的个数，由于在主干网络中的卷积层单独设置先验框大小，s_max与s_min表示基于特征图尺寸比例的最大值和最小值；

(2.2)为特征图中每个像素单元设置长宽比不同的先验框，对于大坝中的裂缝等条形缺陷，原有先验框的长宽比不足以将缺陷完整地标注出来，将先验框长宽比设定为

(2.3)按照以下公式计算先验框的实际宽度与高度：

为了保证目标检测的精确度和先验框覆盖的完整性，每个特征图另外设置一个尺寸为

长宽比为1的先验框，即每个特征图都设置了两个长宽比均为1而尺寸不同的先验框，因此实际设定的先验框长宽比为

每个像素单元的先验框中心点分布在各个单元的中心，即

其中|f_k|为特征图的大小；

(2.4)每个像素点的每个先验框输出两个部分的值，分别对应预测框位置和该先验框中各个类别的置信度评分。预测框位置包含4个值(cx,cy,w,h)，分别表示预测框的中心坐标以及宽高。置信度值代表了该先验框中的目标对应各个类别的可能性，若检测目标共有c个类别，则需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分。

进一步的，所述内容在训练过程中采用改进非极大值抑制方法均衡正负样本的具体步骤如下：

(3.1)对于本发明的缺陷数据集而言，每张图片中的真实目标非常少，而先验框非常多。因此，从先验框出发，若先验框与真实目标的IoU比值大于0.5，则该先验框被列为正样本，否则为负样本，对所有负样本先验框的置信度进行降序排序，选取置信度最小的负样本；

(3.2)遍历其余负样本先验框，如果和当前得分最低的先验框的重叠面积大于阈值0.5，就将此负样本先验框删除；

(3.3)从未处理的负样本先验框中选取置信度最低的，重复上述步骤，仅删减负样本，相比传统NMS，在删除冗余先验框的前提下，增加了样本训练的多样性。

本发明选用轻量级的单阶段目标检测算法SSD作为基础框架，合理地分析大坝缺陷的特征，针对性地对特征提取阶段的VGG16网络进行改进，增加了处理几何变换的中间机制，扩大卷积感受范围，通过学习卷积偏移量来捕捉缺陷的形变特征。

本发明对SSD进行了特征提取的改进，将可变形卷积应用于SSD的主干网络VGG16，增大卷积感受范围，对于几何形状多变的特征提供了更机动的特征提取机制，使得在高效率检测的情况下进一步提升目标的检测精度。

有益效果：本发明与现有技术相比具有以下优点：

1.可变形卷积作为VGG16网络处理几何变换的中间机制，提升了模型的空间信息建模能力，对于处理几何形状不固定的缺陷特征在目标检测的精度上有更好的表现力。

2.通过改进先验框长宽比为

对于条形缺陷能够更准确地定位与检测，提高了条形特征的检测精度与模型的泛化能力。

3.在训练过程中，采用改进的非极大值抑制算法不仅可以缓解正负样本不均衡的问题，同时仅删减负样本，一定程度上增大了样本训练量，优化了学习效果。

附图说明

图1为具体实施例中大坝缺陷示意图；

图2为具体实施例中缺陷图像目标检测算法总体框架图；

图3为具体实施例中VGG16特征提取网络框架示意图；

图4为具体实施例中可变形卷积框架示意图；

图5为具体实施例中可变形卷积扩大感受范围示意图；

图6为改进先验框长宽比示意图；

图7为具体实施例中缺陷图像目标检测结果示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

已知有某电站大坝工程巡检缺陷图像，包含4类缺陷和一类工程特征，分别为裂缝、碱性物析出、渗水、混凝土剥落和孔，如图1所示。其中缺陷图像总数达8890张，包含12995个标记实例。

图2给出了本发明提供的面向大坝缺陷图像的目标检测方法的总体框架，它介绍本发明的主要工作流程，具体实施如下：

(1)针对大坝缺陷几何形变的特征，将可变形卷积应用于单阶段目标检测器SSD中，将其如图3中的主干网络VGG16中的卷积改进为可变形卷积，增大卷积感受范围，通过学习卷积偏移量来捕捉大坝缺陷的形变特征。

(1.1)输入原始图片，记为U，其中设置的batch为b；

(1.2)原始图片batch经过一个普通卷积，卷积填充为same，即输出输入大小不变，对应的输出结果为原图片batch中每个像素的偏移量，在可变形卷积中，R通过偏移量{Δp_n|n＝1,…,N}来增大感受的范围，如图5所示。其中，N＝|R|，卷积后像素值：

此时，采样的卷积核由不规则的R组成，距卷积核中心位置偏移量为p_n+Δp_n，原先标准的卷积过程被分为两路，上面一路学习偏移量，得到H×W×2N个输出偏移量，N＝|R|表示卷积核中的像素个数，2N代表两个垂直方向的偏移量，如图4所示；

(1.3)将U中图片的像素索引值与V相加，得到偏移后的坐标(即在原始图片U中的坐标值)，需要将坐标值限定为图片大小以内，将浮点类型的坐标值获取像素；

(1.4)偏移量Δp_n的计算的结果往往是一个高精度的小数，非整数的坐标无法在图像这种离散型的数据上使用，如果采用简单的取整方法会有一定程度的误差，从而x(p₀+p_n+Δp_n)处的像素值需通过双线性差值来计算，即通过寻找距离坐标最近的四个像素点来计算该点的像素值。将x(p)＝x(p₀+p_n+Δp_n)简化为：

其中，x(q)表示相邻四个整数坐标处的像素值，G(·,·)为p相邻四个整数点对应的权值参数：

(1.5)计算坐标值对应的所有像素后，得到新的特征图，并将新的特征图作为输入数据输入到下一层中。

(2)在多尺度特征图检测阶段，针对大坝中“裂缝”缺陷的条形特征，改进了锚点机制中的预选框尺寸比例，提高条形特征的检测精度与模型的泛化能力。

(2.1)为特征图中每个像素单元设置尺度不同的先验框，随着特征图尺寸的减小，先验框的尺寸线性增加：

其中，m为特征图的个数，由于在主干网络中的卷积层单独设置先验框大小，所以此处m取5，s_max与s_min表示基于特征图尺寸比例的最大值和最小值，s_max与s_min设定为0.9和0.2，并将第一个特征图的尺寸比设为s_min/2＝0.1。对于第一层之后的特征图，其先验框的尺寸比例依照公式(4-16)线性增加，可得各个特征图的s_k分别为0.2,0.37,0.54,0.71,0.88，将比例s_k与特征图各自的尺寸相乘，可得到各个特征图先验框的尺寸；

(2.2)为特征图中每个像素单元设置长宽比不同的先验框，一般设定为

对于大坝中的裂缝等条形缺陷，原有先验框的长宽比不足以将缺陷完整地标注出来，将先验框长宽比设定为

如图6所示；

(2.3)按照以下公式计算先验框的实际宽度与高度：

为了保证目标检测的精确度和先验框覆盖的完整性，每个特征图另外设置一个尺寸为

长宽比为1的先验框，即每个特征图都设置了两个长宽比均为1而尺寸不同的先验框，因此实际设定的先验框长宽比为

每个像素单元的先验框中心点分布在各个单元的中心，即

其中|f_k|为特征图的大小；

(2.4)每个像素点的每个先验框输出两个部分的值，分别对应预测框位置和该先验框中各个类别的置信度评分。预测框位置包含4个值(cx,cy,w,h)，分别表示预测框的中心坐标以及宽高。置信度值代表了该先验框中的目标对应各个类别的可能性，若检测目标共有c个类别，则需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分。

(3)训练过程中采用改进非极大值抑制方法，在筛减冗余样本的同时，采用仅删减负样本的方法，保证训练样本的多样性。

(3.1)对于本发明的大坝缺陷数据集而言，每张图片中的真实目标非常少，而先验框非常多。因此，从先验框出发，若先验框与真实目标的IoU比值大于0.5，则该先验框被列为正样本，否则为负样本，对所有负样本先验框的置信度进行降序排序，选取置信度最小的负样本；

(3.2)遍历其余负样本先验框，如果和当前得分最低的先验框的重叠面积大于阈值0.5，就将此负样本先验框删除；

(3.3)从未处理的负样本先验框中选取置信度最低的，重复上述步骤，仅删减负样本，相比传统NMS，在删除冗余先验框的前提下，增加了样本训练的多样性。如图7所示为大坝缺陷图像对于4类缺陷和1类工程特征的检测情况，对于大多数缺陷特征而言能够保持较高的检测精度。

Claims (5)

1.一种面向大坝缺陷图像的目标检测方法，其特征在于，包括如下步骤：

(1)采用可变形卷积VGG16网络进行缺陷特征提取；

(2)采用改进预选框的尺寸比例进行多尺度特征图检测；

(3)在训练过程中采用改进非极大值抑制方法均衡正负样本，即在筛减冗余样本的同时，采用仅删减负样本的方法，保证训练样本的多样性。

2.根据权利要求1所述的一种面向大坝缺陷图像的目标检测方法，其特征在于，所述步骤(1)中采用可变形卷积VGG16网络进行缺陷特征提取的步骤如下：针对大坝缺陷几何形变的特征，将可变形卷积应用于单阶段目标检测器SSD中，将主干网络VGG16中的卷积改进为可变形卷积，增大卷积感受范围，通过学习卷积偏移量来捕捉大坝缺陷的形变特征。

3.根据权利要求1所述的一种面向大坝缺陷图像的目标检测方法，其特征在于，所述步骤(1)中采用可变形卷积VGG16网络进行缺陷特征提取的具体步骤如下：

(1.1)输入原始图片，记为U，其中设置的batch为b；

(1.2)原始图片batch经过一个普通卷积，卷积填充为same，即输出输入大小不变，对应的输出结果为原图片batch中每个像素的偏移量，输出值的个数为b×H×W×2N，记为V，其中2N表示每个方向上的x偏移量与y偏移量；

(1.3)将U中图片的像素索引值与V相加，得到偏移后的坐标即在原始图片U中的坐标值，需要将坐标值限定为图片大小以内，将浮点类型的坐标值获取像素；

(1.4)使用双线性差值法获取浮点类型的坐标处的像素值；

(1.5)计算坐标值对应的所有像素后，得到新的特征图，并将新的特征图作为输入数据输入到下一层中。

4.根据权利要求1所述的一种面向大坝缺陷图像的目标检测方法，其特征在于，所述步骤(2)中采用改进预选框的尺寸比例进行多尺度特征图检测的具体步骤如下：

(2.1)为特征图中每个像素单元设置尺度不同的先验框，随着特征图尺寸的减小，先验框的尺寸线性增加：

其中，m为特征图的个数，由于在主干网络中的卷积层单独设置先验框大小，s_max与s_min表示基于特征图尺寸比例的最大值和最小值；

(2.2)为特征图中每个像素单元设置长宽比不同的先验框，对于大坝中的裂缝条形缺陷，原有先验框的长宽比不足以将缺陷完整地标注出来，将先验框长宽比设定为

(2.3)按照以下公式计算先验框的实际宽度与高度：

其中|f_k|为特征图的大小；

(2.4)每个像素点的每个先验框输出两个部分的值，分别对应预测框位置和该先验框中各个类别的置信度评分。

5.根据权利要求1所述的一种面向大坝缺陷图像的目标检测方法，其特征在于，所述步骤(3)中在训练过程中采用改进非极大值抑制方法均衡正负样本的具体步骤如下：

(3.1)对所有负样本先验框的置信度进行降序排序，选取置信度最小的负样本；

(3.2)遍历其余负样本先验框，如果和当前得分最低的先验框的重叠面积大于阈值0.5，就将此负样本先验框删除；

(3.3)从未处理的负样本先验框中选取置信度最低的，重复上述步骤，仅删减负样本，相比传统NMS，在删除冗余先验框的前提下，增加了样本训练的多样性。

Images