CN112686285B - 一种基于计算机视觉的工程质量检测方法及系统 - Google Patents

Abstract

本发明提供一种基于计算机视觉的工程质量检测方法及系统，方法包括：收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；处理所述文件，为每一张历史工程图片创建对应的txt文件，将所述txt文件以及历史工程图片作为训练数据；通过特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测，快速、准确的识别要求安装的设备是否被安装，安装是否符合规范，节省了大量人工时间，提高工程的核验效率。

Description

一种基于计算机视觉的工程质量检测方法及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种基于计算机视觉的工程质量检测方法及系统。

背景技术

为了全面保证项目建设成果，确保工程按照施工验收规范安装，需要在项目竣工后对工程质量检验。工程验收是建设成果转入生产使用的标志，审核规范性重要环节。

现有的工程质量检测过程是：在工程完成后，施工人员拍摄现场完工照片，并将照片上传掌上工程APP，然后各个分公司监理在一周内通过上传的照片对工程安装标准、质量进行人工审核。通常安装一个设备，在一周内施工方需要上传1000张左右的照片供监理审核；而一个工程，在同一时间段内会有很多的设备安装，因此，上传给监理审核的图片数量会非常多，审核的工作量会很大。然而，现有的人工审核过程及时性低、人工需求量大，且审核过程容易出错。

发明内容

本发明要解决的技术问题，在于提供一种基于计算机视觉的工程质量检测方法及系统，快速、准确的识别要求安装的设备是否被安装，安装是否符合规范，节省了大量人工时间，提高工程的核验效率。

第一方面，本发明提供了一种基于计算机视觉的工程质量检测方法，其特征在于：包括：

步骤1、收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

步骤2、处理所述文件，为每一张历史工程图片创建对应的txt文件，将所述txt文件以及历史工程图片作为训练数据；

步骤3、通过特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测。

进一步地，所述步骤3进一步具体为：通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式。

进一步地，所述步骤2进一步具体为：处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

进一步地，所述特征增强方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，通常的基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，/>

v是用于衡量长宽比一致性的参数，定义为/>

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高。

进一步地，还包括步骤4、采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替换后的目标检测模型进行图片预测。

第二方面，本发明提供了一种基于计算机视觉的工程质量检测系统，包括：

收集模块，收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

处理模块，处理所述文件，为每一张历史工程图片创建对应的txt文件，将所述txt文件以及历史工程图片作为训练数据；

训练检测模块，通过特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测。

进一步地，所述训练检测模块进一步具体为：通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式。

进一步地，所述处理模块进一步具体为：处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

进一步地，所述特征增强方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，通常的基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，/>

v是用于衡量长宽比一致性的参数，定义为/>

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高。

进一步地，还包括替换检测模块，采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替换后的目标检测模型进行图片预测。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

第一：使用人工智能的方法，自动、快速、准确的识别要求安装的设备是否被安装，安装是否符合规范，节省了大量人工时间，提高工程的核验效率。

第二：在模型数据准备中使用了多种图片处理的方式，增加训练数据的数量和场景，提高模型的鲁棒性。

第三：在模型的构建中通过在卷积层中使用DropBlock正则化方法，使用Swish激活函数和CIoU-Loss函数的方式提升模型的准确率和收敛速度。

第四：在模型预测时使用DIou_nms算法替代传统的Nms算法，提升模型对于重叠目标的识别效果，降低漏检。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明实施例一中方法中的流程图；

图2为本发明实施例二中系统的结构示意图。

具体实施方式

本申请实施例通过提供一种基于计算机视觉的工程质量检测方法及系统，解决现有技术中图片审核工作量大，工作效率低，审核容易出错的技术问题，使得短时间内进行大量图片自动检测，减少人力资本的损耗，提升工作效率且提高了审核质量。

本申请实施例中的技术方案，总体思路如下：采用了计算机视觉中的目标检测技术，施工部门可以将施工照片上传到计算机终端，然后AI会自动在照片中识别出所需要的设备是否安装、设备的个数是否满足要求，通过对设备的不同安装方式的识别，判断设备安装是否符合要求。该技术可以在短时间内对大量施工图片自动的做工程质量检测，减少对人力资本的消耗、提升工作效率。

本发明提出一种基于计算机视觉的工程质量检测系统。首先收集历史工程图片，在图片中标注需要识别的目标。其次数据处理，将标注的数据处理为模型训练所需要的数据格式。然后使用处理好的数据训练模型，通过使用多种方式提升模型的准确率。最后使用训练好的模型检测新的施工图片中所需要的设备是否安装，安装的方式是否符合要求，并将结果反馈。

第一步，数据标注。首先收集大量的历史施工图片用于模型训练。使用Labelme对图像进行标注。在训练图片中框选出所需要识别的设备。标注完后，每张图片对应生成一个Json文件。Json文件记录了标注框的左上点、右下点的坐标和标注设备的名称。

第二步，数据预处理。处理Json文件，为每一张训练图片创建一个.txt文件。例如对于图片img_1.jpg，就创建一个img_1文件.txt。txt文件里面包含如下信息：

其中第一列为class_id，第二列为目标的中心点x坐标/图片总宽度，第三列为目标的中心的y坐标/图片总高度，第四列为目标框的宽度/图片总宽度，第五列为目标框的高度/图片总高度。并将创建的.txt文件与.jpg放在同一个文件夹里。

第三步，模型训练。将处理好的训练数据放在指定的文件夹中，修改配置文件，训练目标检测模型。在模型训练中使用数据增强、特征增强、选择不同的激活函数和损失函数这几种方式来提高模型的准确率。

3.1数据增强。图像增强是从现有的训练数据中创建新的训练样本。因为我们不可能为模型在推理过程中的每一个场景都捕捉一个图像作为训练样本，所以我们只有调整现有的训练数据以适用于其他情况，让模型可以看到原本看不到的场景。我们使用了下述几种方式来数据增强。通过数据增强方式可以取得更好的模型表现，模型具有更好的鲁棒性。

3.1.1光照畸变。在图像中改变亮度、对比度、饱和度和噪声。

3.1.2几何畸变。对图像随机缩放、裁剪、翻转、和旋转。这些类型的数据增强方式相对来说比较棘手，因为相应的标注框也需要更新。

3.1.3随机擦除。图像随机擦除的具体操作就是在图像中随机选择一个区域，然后采用随机值，或者是训练集的平均像素值进行替换，模拟遮挡的场景。这种操作其实非常有点道理的，因为物体遮挡一部分后依然能够分类正确，那么肯定会迫使网络利用局部未遮挡的数据进行识别，加大了训练难度，一定程度会提高泛化能力。

3.1.4CutMix方法。CutMix方法是将图像中的一部分裁减下来再粘贴到另外一张图像中，图像的真值标签会根据粘贴图像的面积比例进行调整。CutMix的优点是在模型的训练的过程中不会出现非信息元素，从而能提高训模型训练的效率。通过要求模型从局部视图识别对象，对裁减区域中添加其他的样本信息可以增强模型的定位能力。粘贴后的图像不会有图像混合后不自然的情形，能够提升模型的分类表现。

3.1.5Mosaic方法。Mosaic这种数据增强方式是将4张训练图像组合成一张图像进行训练。其合成后的图像的标签都需要重新做处理。Mosaic方法的优点是可以丰富检测物体的背景，模型能够学习如何识别比正常尺寸小的物体。它还鼓励模型在框架的不同部分定位不同类型的图像，且在BN计算的时候一下子计算4张图片的数据，使得mini-batch大小不需要很大，降低GPU显存资源的使用。

3.1.6Self-Adversarial-Training(自对抗训练)。自对抗训练包含两个阶段，每个阶段进行一次前向传播和一次反向传播。第一阶段，CNN(卷积神经网络)通过反向传播改变图片信息，而不是改变网络权值。通过这种方式，CNN可以进行对抗性攻击，改变原始图像，造成图像上没有目标的假象。第二阶段，对修改后的图像进行正常的目标检测训练。自对抗训练也是一种新的数据增强方法，可以一定程度上抵抗对抗攻击。

3.2特征增强。

3.2.1用CBN归一化代替BN归一化操作。CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化，通过这样的方式降低小规模数据噪声的影响。

3.2.2在网络的卷积层中使用Dropblock正则化方式。在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃，作用类似于Dropout。在卷积层中使用类似全连接层中的Dropout方式丢弃一些连接来迫使模型学习FeatureMap中的不同的特征，而不是过渡依赖少量的特征。

3.3激活函数选择

使用Swish激活函数代替传统的ReLU激活函数。Swish激活函数计算公式为：f(x)＝x×sigmoid(x)。Swich具备无上界、有下界、平滑、非单调的特性。使用Swish激活函数可以提升模型中深层网络的效果。

3.4Loss函数选择

引入Complete-IoU Loss代替GIou Loss。通常的基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，/>

v是用于衡量长宽比一致性的参数，定义为

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高。CIoU Loss将预测框和目标框的重叠面积、中心点距离、长宽比这几个重要几何因素都考虑到，其收敛的精度更高，效果更好。

第四步，模型预测。使用训练好的模型对新提供的施工照片进行预测，在图片中标识出被安装设备的位置、数量、安装类别，从而判断工程中所需设备是否被安装、数量是否满足要求、安装是否符合施工规范。在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果。常用的目标检测算法中，一般采用NMS方法对预测框进行筛选，得分最高的检测框和其它检测框逐一算出一个对应的IoU值，并将该值超过NMS threshold的框全部过滤掉，IoU值是唯一的考量因素。但是在实际应用场景中，当两个不同物体挨得很近时，由于IoU值比较大，往往经过NMS处理后，只剩下一个检测框，这样导致漏检的错误情况发生。基于此，DIoU_nms就不仅仅考虑IoU值，还考虑两个框中心点之间的距离。如果两个框之间IoU值比较大，但是两个框的距离比较大时，可能会认为这是两个物体的框而不会被过滤掉。其数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度，ε为自定义值。公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉。

实施例一

如图1所示，本实施例提供一种基于计算机视觉的工程质量检测方法，其特征在于：包括：

步骤1、收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

步骤2、处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

步骤3、通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式；所述特征增强方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，通常的基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为R_CIoU＝ρ²(cb₂,b^g)+av，其中b和b_g分别表示B和B_g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，

v是用于衡量长宽比一致性的参数，定义为

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高。

步骤4、采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替换后的目标检测模型进行图片预测。

基于同一发明构思，本申请还提供了与实施例一中的方法对应的系统，详见实施例二。

实施例二

如图2所示，在本实施例中提供了一种基于计算机视觉的工程质量检测系统，包括：

收集模块，收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

处理模块，处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

训练检测模块，通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式；所述特征增强方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，通常的基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，/>

v是用于衡量长宽比一致性的参数，定义为

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高。

替换检测模块，采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替换后的目标检测模型进行图片预测。

由于本发明实施例二所介绍的系统，为实施本发明实施例一的方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本申请实施例提供的基于计算机视觉的工程质量检测方法及系统，

第一，工程质量的自动化检测

针对目前施工图片都要通过人工审核的方式来判定施工质量，这种审核方式及时性低，人工耗时长，审核量大易出错。本发明针对这个问题提出了一种人工智能的方式自动判定施工质量。施工部门将现场照片提供给计算机终端，计算机快速、自动的识别照片中设备的个数、位置和安装方式，从而判断所需要的设备是否安装、数量是否足够、安装是否符合要安装要求等。

第二，采取多种数据增强方法混合的方式，增加训练数据的数量与场景，提升模型的鲁棒性。

由于能提供的各个场景的训练数据不足，会造成训练出来的模型效果不佳。对此我们使用多种数据增强方法混合的方式，通过少量的训练图片生成各种类型，各种样式的图片，增加训练数据来提高模型的鲁棒性。

第三，网络构建方面，使用多种优化方式提升模型准确率。

在网络构建中除了在全连接层使用Dropout方法，还在网络的卷积层使用了Dropblock正则化方式来降低模型对于特定特征的依赖。激活函数使用Swish激活函数来提高深层模型的效果。Loss函数中使用Complete-IoU Loss代替IoU Loss，将预测框和目标框的重叠面积、中心点距离、长宽比这几个重要的几何因素都考虑到，使得模型收敛的精度更高，效果更好。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种基于计算机视觉的工程质量检测方法，其特征在于：包括：

步骤1、收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

步骤2、处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

步骤3、通过特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；

所述特征增强的方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，

v是用于衡量长宽比一致性的参数，定义为/>

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高；

步骤4、采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替代后的目标检测模型进行图片预测。

2.根据权利要求1所述的一种基于计算机视觉的工程质量检测方法，其特征在于：所述步骤3进一步具体为：通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式。

3.一种基于计算机视觉的工程质量检测系统，其特征在于：包括：

收集模块，收集历史工程图片，并对每张历史工程图片进行标注，生成对应的文件；

处理模块，处理所述文件，为每一张历史工程图片创建对应的txt文件，所述txt文件包括：class_id、目标的中心点x坐标/图片总宽度、目标的中心的y坐标/图片总高度、目标框的宽度/图片总宽度以及目标框的高度/图片总高度；并将所述txt文件与对应的历史工程图片存放在同一文件夹，作为训练数据；

训练检测模块，通过特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；

所述特征增强方式采用如下一种或者多种方式：

一、用CBN归一化代替BN归一化操作，CBN是收集当前以及当前往前数K个mini-batch数据样本计算均值和方差来进行归一化；

二、在网络的卷积层中使用Dropblock正则化方式；在卷积层中，Dropblock丢弃的不是各个像素，而是选中一个像素点后，将像素点周围的BlockSize×BlockSize大小的像素块一起丢弃；

三、激活函数选择：使用Swish激活函数；

四、Loss函数选择：引入Complete-IoU Loss代替GIou Loss，基于Iou-based的Loss函数可以定义为L＝1-IoU+R(B,B^g)，其中R(B,B^g)定义为预测框B和目标框B^g的惩罚项，在CIoU中的惩罚项表示为

其中b和b^g分别表示B和B^g的中心点，ρ(.)表示欧式距离，c表示B和B^g的最小外接矩形的对角线距离，a是用于做trade-off的参数，

v是用于衡量长宽比一致性的参数，定义为/>

其中w^g和h^g为目标框的宽和高，w和h为预测框的宽和高；

替换检测模块，采用DIoU_nms算法替代目标检测模型中的Nms算法；在模型预测阶段使用图片自适应缩放和DIoU_nms算法来提高模型的预测速度和对重叠目标的识别效果，所述DIoU_nms算法的数学公式如下：

M是得分最高的预测框，B_i为其他的预测框，m和b_i分别代表M和B_i的中心点，ρ(.)标识欧式距离，c代表覆盖两个边界框最小框的对角线长度；公式说明了当得分最高的预测框M和其它框B_i的IOU-DIOU的值小于等于MNS threshold值ε时，B_i的得分值s_i仍然保持，B_i没有被过滤掉，否则当IOU-DIOU的值大于MNS threshold值时ε，s_i值就设为0，B_i即被过滤掉；通过该替代后的目标检测模型进行图片预测。

4.根据权利要求3所述的一种基于计算机视觉的工程质量检测系统，其特征在于：所述训练检测模块进一步具体为：通过数据增强以及特征增强的方式处理训练数据，进行目标检测模型训练，完成后，即可通过所述目标检测模型进行检测；所述数据增强采用如下一种或者多种方式：

光照畸变方式、几何畸变方式、随机擦除方式、CutMix方式、Mosaic方式以及Self-Adversarial-Training方式。

Images