CN114120154B - 一种高层建筑玻璃幕墙破损的自动检测方法 - Google Patents

Abstract

本发明涉及一种高层建筑玻璃幕墙破损的自动检测方法，包括构建检测网络并使用样本集对构建的检测网络进行训练和验证，得到具有最优参数的检测网络，其中，检测网络的构建方法具体为：先构建YOLO v4网络，将YOLO v4网络中的卷积层用依次相连接的扩展卷积、逐通道卷积和逐点卷积进行替换，得到新的卷积层，最后将替换完成的YOLO v4网络作为构建的检测网络；之后根据所有BN层的缩放因子向量对具有最优参数的检测网络进行剪枝；最后利用样本集对剪枝后的具有最优参数的检测网络进行微调，得到最终的检测网络。因此该方法在保证高准确率的前提下进一步降低模型的参数量，实现基于无人机的城市高层建筑玻璃幕墙的全自动化检测。

Description

一种高层建筑玻璃幕墙破损的自动检测方法

技术领域

本发明涉及图像检测领域，特别涉及一种高层建筑玻璃幕墙破损的自动检测方法。

背景技术

建筑玻璃幕墙因其提供美丽的外观、广阔的视野、且施工快捷、可塑性强等优势被广泛应用于高层建筑。在建筑玻璃幕墙行业，我国经历了从无至有到市场主导地位的快速发展，目前已成为世界第一生产和使用大国。然而，受外界(如恶劣天气)、使用时间等因素影响，玻璃幕墙在使用过程中会出现破损的情况，这不仅影响玻璃幕墙的美观、视野，更严重的是存在巨大的安全隐患，因此必须加强对建筑玻璃幕墙的及时、精确检测。为此，我国出台了严格的建筑玻璃幕墙工程技术规范文件(JGJ102-2003)，其中规定：每五年需要对玻璃幕墙进行一次全面检查。这使得对玻璃幕墙的检测需求大大提高。

目前，建筑玻璃幕墙检测行业主要使用传统的人工目视检查方式，此方式费工费时、且因人工疲劳易产生漏检或误检的问题。除此之外，一些高层玻璃幕墙的内部被遮挡致使检测仅能在建筑外部操作，此时人工目视需要与人员高空作业相结合实现检测。因而，传统的检测方式也存在一定危险性。因此，急需一种高效、快捷的新型玻璃幕墙检测方法来避免传统方式的不足。

随着无人机技术的快速发展，近几年出现了利用无人机对建筑玻璃幕墙进行辅助检测的方式。此方式将无人机拍摄的画面实时地传输到检测人员的电脑上，检测人员只需在电脑上查看无人机传输回来的画面、并对建筑玻璃幕墙的状态进行评估。该方式省工省时、且有效避免了高空作业带来的危险性。然而，该方式需要检测人员对无人机收集到的每幅图像进行人工检查，因而仍存在一定程度的费工费时、且因人工疲劳带来的漏检或误检的问题。为此，基于无人机采集的图片，引入卷积神经网络(convolutional neuralnetwork，简称CNN)实现高层建筑玻璃幕墙的全自动检测方法。

CNN因其出色的特征提取能力而被广泛用于图像检测、分类、分割等任务中。近年来，存在大量的用于目标检测的先进CNN，例如，YOLO系列、SSD、Fast R-CNN、Faster R-CNN等。在这些目标检测网络中，YOLO v4网络具有较好的准确率和速度，在工业中应用较多。YOLO v4网络包括特征提取骨干网络、SPP模块、特征融合模块和分类回归层，其中，特征提取骨干网络为CSPDarknet53网络结构，实现输入图像的特征提取；SPP模块能够提取具有不同感受野的多尺度深度特征，并通过在特征图的通道维度中连接它们来融合，提高检测精度；PANet为特征融合模块，它通过上采样和下采样方法对上下文的特征进行融合，得到更高的语义信息，提高目标检测的精确率；在分类回归层仍然沿用YOLO v3的YOLO-head结构。另外，该特征提取骨干网络和特征融合模块包含有多个卷积层，同时在每个卷积层后设有BN层(批量标准化层)；然而，YOLO v4网络具有大量参数，较难嵌入到无人机这一计算能力受限的小型设备。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种准确率高、参数量少的检测模型，可嵌入到无人机中进行高层建筑玻璃幕墙破损的自动检测方法。

本发明解决上述技术问题所采用的技术方案为：一种高层建筑玻璃幕墙破损的自动检测方法，其特征在于：包括以下步骤：

步骤1、获取一定数量的城市高层建筑的玻璃幕墙图像，并对这些玻璃幕墙图像进行标注获取其标签，形成样本集；

步骤2、将样本集分成训练集、验证集和测试集；

步骤3、构建检测网络并对构建的检测网络进行训练和验证，得到具有最优参数的检测网络；

检测网络的构建方法具体为：先构建YOLO v4网络，将YOLO v4网络中的卷积层用依次相连接的扩展卷积、逐通道卷积和逐点卷积进行替换，得到新的卷积层，最后将替换完成的YOLO v4网络作为构建的检测网络；

训练过程为：将训练集中的图像分批次输入到检测网络中，并在每次训练时对检测网络中每个BN层的缩放因子向量γ进行稀疏约束，计算检测网络稀疏化训练的损失函数Loss，并通过损失函数Loss反向更新检测网络的参数；

步骤4、根据所有BN层的缩放因子向量γ对步骤3中具有最优参数的检测网络进行剪枝；

步骤5、利用训练集和验证集中的样本对剪枝后的具有最优参数的检测网络进行微调，若微调后的剪枝检测网络性能满足要求，则得到最终的检测网络，否则重复步骤4和步骤5；

步骤6、在测试集中任意选择一幅玻璃幕墙图像，并输入到步骤5最终的检测网络中，即得到该幅玻璃幕墙图像的检测结果。

具体的，所述步骤4中剪枝的具体步骤为：

步骤4-1、将所有BN层的缩放因子向量γ组成集合Q，并对集合Q中的所有数值进行升序排序；

步骤4-2、设定剪枝阈值T；具体设定方法为：

将升序集合Q中的第i个值作为剪枝阈值T，i的计算公式为：

i＝round(|Q|×P％)；

其中，round()为四舍五入函数，|Q|为集合Q的模，P％为设定的剪枝百分比；

步骤4-3、根据设定的剪枝阈值T和每个BN层的缩放因子向量γ对具有最优参数的检测网络中所有特征图和卷积层的通道进行标记；

对于每个BN层对应的特征图和卷积层，BN层的缩放因子向量γ中每个元素的值与此BN层对应的特征图和卷积层的通道分别一一对应，若BN层的缩放因子向量γ中的某个元素值小于T，则将此BN层中该元素值对应的位置及该元素值对应的特征图和卷积层的通道标记为1，否则标记为0；

步骤4-4、对最优参数的检测网络中BN层标记为1的元素及特征图和卷积层中标记为1的通道进行剪枝；

为了保证检测网络中残差连接的两个特征图的通道相同，所述步骤4中还包括：

将残差连接的两个特征图的通道标记先进行按位与操作，再根据按位与操作后的值修改两个特征图所对应的通道标记及该特征图通道对应在BN层中的元素值和卷积层的通道标记，最后对修改后的标记为1的特征图通道、BN层中的元素值和卷积层通道进行剪枝。

作为一种应用，所述步骤6后还包括：

步骤7、将步骤5最终的检测网络部署在无人机中，利用无人机自动环绕建筑物并拍摄城市高层建筑玻璃幕墙，以实现对城市高层建筑玻璃幕墙的自动检测。

与现有技术相比，本发明的优点在于：首先，使用依次相连接的扩展卷积、逐通道卷积和逐点卷积替换YOLO-v4网络中的卷积层，降低模型的参数量。其次，根据所有BN层的缩放因子向量γ对具有最优参数的检测网络进行剪枝，在保证高准确率的前提下进一步降低模型的参数量。最后，将网络部署到无人机上，实现基于无人机的城市高层建筑玻璃幕墙的全自动化检测，改变行业人工巡检和目视检查的现状。因此该方法易实现且准确率和检测效率高，能及时发现破损情况，改善了人工检测以及未及时发现玻璃幕墙破损存在的危险性。

附图说明

图1为本发明实施例自动检测方法的流程图；

图2为本发明实施例中扩展卷积、逐通道卷积和逐点卷积的原理图；

图3为本发明实施例中剪枝的原理图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，本实施例中的高层建筑玻璃幕墙破损的自动检测方法，包括以下步骤：

步骤1、获取一定数量的城市高层建筑的玻璃幕墙图像，并对这些玻璃幕墙图像进行标注获取其标签，形成样本集；

本实施例中，城市高层建筑玻璃幕墙破损图像来源于网络搜索、手机拍摄、无人机拍摄等方式；图像标注工作使用Labelimg完成；

步骤2、将样本集分成训练集、验证集和测试集；

本实施例中，训练集、验证集和测试集按照7：2：1的比例划分，训练集用于训练网络，即调整网络参数；验证集用于选择最优网络参数；测试集用于检验最优网络泛化能力；

步骤3、构建检测网络并对构建的检测网络进行训练和验证，得到具有最优参数的检测网络；

检测网络的构建方法具体为：先构建YOLO v4网络，将YOLO v4网络中的卷积层用依次相连接的扩展卷积、逐通道卷积和逐点卷积进行替换，得到新的卷积层，最后将替换完成的YOLO v4网络作为构建的检测网络；当然，也可以采用神经网络中的其他网络构建检测网络，例如卷积神经网络中其他系列的网络；

上述由逐通道卷积和逐点卷积组成的卷积是深度可分离卷积可以降低模型的参数量，但是当输入特征图的维数较少时会造成信息的丢失。因此在深度可分离卷积之前增加一层扩展卷积来提高输入特征图的维度，减少信息的损失。从而本发明中通过依次相连接的扩展卷积、逐通道卷积和逐点卷积替代卷积层的作用就是为了初步降低模型的参数量，同时减少信息的损失，这三层卷积的顺序不能相互替换；

依次相连接的扩展卷积、逐通道卷积和逐点卷积的具体工作原理为：如图2所示，将W×H×c的特征图输入到依次相连接的扩展卷积、逐通道卷积和逐点卷积的具体步骤为：

步骤3-1、对W×H×c的特征图进行扩展卷积，即：使用1×1×ec的卷积对W×H×c的输入特征图进行卷积操作，得到W×H×ec的第一特征图，其中e>1为扩展卷积的膨胀系数；本实施例中，设定扩展层膨胀系数e＝6；

步骤3-2、对步骤3-1中得到的W×H×ec的第一特征图进行逐通道卷积，即：将步骤3-1输出的W×H×ec的第一特征图分为ec组，并使用ec个k×k×1卷积对ec个组分别进行卷积操作，步长为1，得到W×H×ec的第二特征图；

步骤3-3、对步骤3-2中得到的W×H×ec的第二特征图进行逐点卷积，即：1×1×oc的卷积核对步骤3-2输出的W×H×ec的第二特征图进行卷积操作，得到W×H×oc的第三特征图；

其中，W、H、c和o均为正整数；

训练过程为：将训练集中的图像分批次输入到检测网络中，并在每次训练时对检测网络中每个BN层的缩放因子向量γ进行稀疏约束，计算检测网络稀疏化训练的损失函数Loss，并通过损失函数Loss反向更新检测网络的参数；

Loss的计算公式为：

其中，λ是平衡因子，为人工设定的参数；g(γ)＝|γ|，表示为γ的L1正则化；L_YOLO为YOLO Y4网络中的卷积层用依次相连接的扩展卷积、逐通道卷积和逐点卷积进行替换后构建的检测网络所对应的损失函数；L_YOLO的计算方法使用现有YOLO Y4网络的损失函数计算方法；

步骤4、根据所有BN层的缩放因子向量γ对步骤3中具有最优参数的检测网络进行剪枝；

本实施例中，剪枝具体步骤为：

步骤4-1、将所有BN层的缩放因子向量γ组成集合Q，并对集合Q中的所有数值进行升序排序；

步骤4-2、设定剪枝阈值T；具体设定方法为：

将升序集合Q中的第i个值作为剪枝阈值T，i的计算公式为：

i＝round(|Q|×P％)；

其中，round()为四舍五入函数，|Q|为集合Q的模，P％为设定的剪枝百分比；本实施例中，剪枝百分比P％设定为80％；

步骤4-3、根据设定的剪枝阈值T和每个BN层的缩放因子向量γ对具有最优参数的检测网络中所有特征图和卷积层的通道进行标记；

对于每个BN层对应的特征图和卷积层，BN层的缩放因子向量γ中每个元素的值与此BN层对应的特征图和卷积层的通道分别一一对应，若BN层的缩放因子向量γ中的某个元素值小于T，则将此BN层中该元素值对应的位置及该元素值对应的特征图和卷积层的通道标记为1，否则标记为0；

步骤4-4、对最优参数的检测网络中BN层标记为1的元素及特征图和卷积层中标记为1的通道进行剪枝；

另外，为了保证检测网络中残差连接的两个特征图的通道相同，将残差连接的两个特征图的通道标记先进行按位与操作，再根据按位与操作后的值修改两个特征图所对应的通道标记及该特征图通道对应在BN层中的元素值和卷积层的通道标记，最后对修改后的标记为1的特征图通道、BN层中的元素值和卷积层通道进行剪枝；

上述剪枝步骤的目的：是生成通道更窄的模型，没有更多冗余的参数和计算操作。在略微减少模型的精度的情况下，极大的降低模型的参数量，在传统硬软件上均实现了推理加速。

本实施例中，检测网络分为特征提取部分和检测头部分，对于检测头部分不进行剪枝，即检测头的卷积层都标记为0；

如图3所示，图3左边为对第i卷积层直接进行卷积操作得到第i+1卷积层，对第i卷积层和BN层缩放因子向量进行剪枝后，得到如图3右边所示的第i卷积层和BN层缩放因子向量，并使用剪枝后的第i卷积层卷积操作得到新的第i+1卷积层，从图中可以看出该剪枝操作后能明显降低模型的参数量，并能将缩放因子中的大数值保留，以加快训练速度和提高模型训练精度；

步骤5、利用训练集和验证集中的样本对剪枝后的具有最优参数的检测网络进行微调，若微调后的剪枝检测网络性能满足要求，则得到最终的检测网络，否则重复步骤4和步骤5；该步骤中的微调后的剪枝检测网络性能满足要求指的是检测网络的目标识别精度达到预设值，即认定为满足要求；

步骤6、在测试集中任意选择一幅玻璃幕墙图像，并输入到步骤5最终的检测网络中，即得到该幅玻璃幕墙图像的检测结果。

另外也可以将训练得到的网络部署到无人机上，利用无人机自动环绕建筑物的功能实现对城市高层建筑玻璃幕墙的全自动化检测。本实施例中，无人机选用的是大疆PHANTOM 4PRO。因此该方法能改善现有建筑玻璃幕墙检测行业使用传统的人工目视检查方式而存在的危险性，并通过自动化方式提高了检测准确率和检测效率，应用价值高，适合大范围推广。

Claims (2)

1.一种高层建筑玻璃幕墙破损的自动检测方法，其特征在于：包括以下步骤：

步骤1、获取一定数量的城市高层建筑的玻璃幕墙图像，并对这些玻璃幕墙图像进行标注获取其标签，形成样本集；

步骤2、将样本集分成训练集、验证集和测试集；

步骤3、构建检测网络并对构建的检测网络进行训练和验证，得到具有最优参数的检测网络；

检测网络的构建方法具体为：先构建YOLO v4网络，将YOLO v4网络中的卷积层用依次相连接的扩展卷积、逐通道卷积和逐点卷积进行替换，得到新的卷积层，最后将替换完成的YOLO v4网络作为构建的检测网络；

W×H×c的特征图输入到依次相连接的扩展卷积、逐通道卷积和逐点卷积的具体步骤为：

步骤3-1、对W×H×c的特征图进行扩展卷积，即：使用1×1×ec的卷积对W×H×c的输入特征图进行卷积操作，得到W×H×ec的第一特征图，其中e>1为扩展卷积的膨胀系数；

步骤3-2、对步骤3-1中得到的W×H×ec的第一特征图进行逐通道卷积，即：将步骤3-1输出的W×H×ec的第一特征图分为ec组，并使用ec个k×k×1卷积对ec个组分别进行卷积操作，步长为1，得到W×H×ec的第二特征图；

步骤3-3、对步骤3-2中得到的W×H×ec的第二特征图进行逐点卷积，即：1×1×oc的卷积核对步骤3-2输出的W×H×ec的第二特征图进行卷积操作，得到W×H×oc的第三特征图；

其中，W、H、c和o均为正整数；

训练过程为：将训练集中的图像分批次输入到检测网络中，并在每次训练时对检测网络中每个BN层的缩放因子向量γ进行稀疏约束，计算检测网络稀疏化训练的损失函数Loss，并通过损失函数Loss反向更新检测网络的参数；

步骤4、根据所有BN层的缩放因子向量γ对步骤3中具有最优参数的检测网络进行剪枝；

所述步骤4中剪枝的具体步骤为：

步骤4-1、将所有BN层的缩放因子向量γ组成集合Q，并对集合Q中的所有数值进行升序排序；

步骤4-2、设定剪枝阈值T；具体设定方法为：

将升序集合Q中的第i个值作为剪枝阈值T，i的计算公式为：

i＝round(|Q|×P％)；

其中，round()为四舍五入函数，|Q|为集合Q的模，P％为设定的剪枝百分比；

步骤4-3、根据设定的剪枝阈值T和每个BN层的缩放因子向量γ对具有最优参数的检测网络中所有特征图和卷积层的通道进行标记；

对于每个BN层对应的特征图和卷积层，BN层的缩放因子向量γ中每个元素的值与此BN层对应的特征图和卷积层的通道分别一一对应，若BN层的缩放因子向量γ中的某个元素值小于T，则将此BN层中该元素值对应的位置及该元素值对应的特征图和卷积层的通道标记为1，否则标记为0；

步骤4-4、对最优参数的检测网络中BN层标记为1的元素及特征图和卷积层中标记为1的通道进行剪枝；

并将残差连接的两个特征图的通道标记先进行按位与操作，再根据按位与操作后的值修改两个特征图所对应的通道标记及该特征图通道对应在BN层中的元素值和卷积层的通道标记，最后对修改后的标记为1的特征图通道、BN层中的元素值和卷积层通道进行剪枝；

步骤5、利用训练集和验证集中的样本对剪枝后的具有最优参数的检测网络进行微调，若微调后的剪枝检测网络性能满足要求，则得到最终的检测网络，否则重复步骤4和步骤5；

步骤6、在测试集中任意选择一幅玻璃幕墙图像，并输入到步骤5最终的检测网络中，即得到该幅玻璃幕墙图像的检测结果。

2.根据权利要求1所述的高层建筑玻璃幕墙破损的自动检测方法，其特征在于：所述步骤6后还包括：

步骤7、将步骤5最终的检测网络部署在无人机中，利用无人机自动环绕建筑物并拍摄城市高层建筑玻璃幕墙，以实现对城市高层建筑玻璃幕墙的自动检测。

Images