CN112627538B - 基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法。包括如下步骤：首先，训练能够识别钢筋网节点间钢筋段和节点绑扎状态的目标检测模型；其次，设计计算几何算法，利用识别对象分析钢筋网几何特征；最后，对比钢筋网的标准绑扎方案，找出漏绑节点，计算合格率指标，智能评价钢筋网绑扎质量。本发明针对目前混凝土浇筑仓备仓后，利用人工观察、判断、统计钢筋节点漏绑数量、评价绑扎质量的验收方法存在效率低、准确性差等方面的问题。基于计算机视觉中的目标检测技术，采用计算几何学的方法理论，建立了混凝土浇筑仓备仓验收中钢筋网绑扎质量的智能评价方法，在土建工程领域有较大应用和推广价值。

Description

基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法

技术领域

本发明涉及土木水利工程施工信息领域，具体涉及一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法。

背景技术

我国土木水利工程施工中，混凝土浇筑仓的备仓需要将钢筋网的节点按要求用扎丝进行绑扎，绑扎的质量直接影响混凝土浇筑后形成的建筑物成品质量。因此，对钢筋网扎丝绑扎质量进行验收，保证绑扎符合规范，是混凝土浇筑备仓质量控制的重要一环。

在备仓过程中钢筋网节点需要按相应规定用扎丝绑扎固定，钢筋网扎丝绑扎要求一般有两类，一类是节点100％全绑扎，一个是节点50％间隔绑扎。由于存在大量的绑扎节点和间隔绑扎时较为灵活的绑扎要求，扎丝漏绑的情况时常发生。绑扎后施工人员和验收人员需要对绑扎情况进行检查验收，以保证绑扎质量。当前的钢筋网扎丝绑扎质量验收主要是通过验收人员现场观察发现并提出绑扎问题，面对数以百计的绑扎节点，验收人员验收时间长，影响施工进度；对不合规范的点容易漏检，验收质量难以控制；长时间对大量简单重复事物进行检查，容易形成烦躁情绪，影响工人心理健康。所以，当前的技术手段难以满足工程现场自动化、高效率的钢筋网备仓绑扎质量控制与验收要求。

因此，寻找一种钢筋网扎丝绑扎质量智能验收方法，能够对绑扎质量进行快速检测验收，同时保证高精确度，将质检人员从大量简单重复、劳心劳力的工作中解放出来，是本领域技术人员亟需解决的技术问题。

发明内容

随着计算机视觉技术的发展，经过训练的目标检测模型能够高精度的框选识别出对象目标，计算几何和计算机图形学的相关理论和技术，有方法解决空间中图形归类与操作。本发明利用计算机视觉中的目标检测技术提取目标位置，再通过计算机图形学，提取所需目标位置关系，结合目标绑扎状态，分析计算反应绑扎情况的相关数据，客观评价绑扎质量，能够极大地方便现场施工建设人员、监理人员进行钢筋网备仓绑扎质量的控制和验收。

有鉴于此，本发明的目的在于克服上述现有背景技术的不足之处，而提供一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，以提高验收效率，保证验收质量，实现自动化，智能化验收。

为实现上述目的，本发明提供如下技术方案：

一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，包括以下步骤：

步骤S1：利用事先训练好的目标检测模型识别框选出待验收钢筋网正视或小倾角斜视图片中各相邻节点间的钢筋段；

步骤S2：将识别出的钢筋段根据方向分为相互垂直的两组。再在分出的两组钢筋段中，根据钢筋段的相邻关系和几何限制条件，把钢筋段按其所从属的钢筋归类，从而得到代表图像中各条钢筋的钢筋段集合；

步骤S3：由各钢筋段集合，拟合出各条钢筋在图像坐标系下的直线方程；

步骤S4：计算出各条直线与其他直线间的交点，得到钢筋网各节点的位置坐标与它们在钢筋网中的相对位置信息；

步骤S5：利用目标检测模型识别框选出钢筋网正视或小倾角斜视图片中的钢筋节点，并判断节点的绑扎状态，得到钢筋网的识别绑扎方案；

步骤S6：根据钢筋网各节点的位置相互关系、钢筋网识别绑扎方案和混凝土浇筑仓钢筋网备仓要求等条件，模拟、选择出钢筋网的标准绑扎方案；

步骤S7：将识别绑扎方案与标准绑扎方案进行对比，计算出漏绑数、合格率等指标；将对比情况进行可视化输出，智能评价钢筋网绑扎质量。

在上述技术方案中，还包括在步骤S1之前：通过无人机远程拍摄或验收人员现场拍摄，以获取相应视角的钢筋网图像。

在上述技术方案中，步骤S2具体包括：将分好方向的钢筋段按其所从属的钢筋分类，所采取的主要方法是拓展归类方法和射线归类方法。

拓展归类方法的主要步骤如下：

步骤T1：设置一个空的钢筋段集合和储存着所有同方向钢筋段的未归类钢筋段集合；

步骤T2：从未归类钢筋段集合中随机选取一段钢筋移入钢筋段集合；

步骤T3：向钢筋段集合处于左右边缘的两个短边外各延拓一个边缘钢筋段识别框的范围；

步骤T4：记钢筋段识别框集合中处于左右边缘的短边中点连线为识别框集合的代表线段。若延拓部分搭接到新的钢筋段识别框(即未归类钢筋段集合中钢筋段的识别框)，则判断钢筋段集合与加入新钢筋段后构成的新钢筋段集合的代表线段夹角是否小于一定角度，若满足，将新钢筋段加入属于这条钢筋的钢筋段集合中，同时将其移出未归类钢筋段集合；

步骤T5：当向外延拓部分不能搭接到新的钢筋段识别框，则将钢筋段集合的信息录入相应库中，然后将钢筋段集合清空。重复步骤T2至步骤T5，循环至未归类钢筋段集合没有钢筋段。

射线归类方法的主要步骤如下：

步骤U1：基于拓展归类方法分类后的钢筋段集合，从中任选一个钢筋段集合，若其代表线段所在直线穿过另一钢筋段集合一定比例的钢筋段识别框，则将这两个钢筋段集合合并。

步骤U2：重复步骤U1，直到所有钢筋段集合都利用射线归类方法检验或归类过至少一次。

在上述技术方案中，还包括在步骤S1和步骤S5之前：在图片中对识别目标(相邻节点间的钢筋段、绑扎/未绑扎钢筋网节点)进行标注，制作训练数据集，然后传入选定的目标检测网络(YOLOv3或YOLOv4)中进行训练，得到针对相应识别对象的权值文件。

在上述技术方案中，步骤S6具体包括：若备仓钢筋网设计为全绑扎，则所有节点标准状态均设置为绑扎，得到标准绑扎方案；若备仓钢筋网设计为间隔绑扎，则先模拟出钢筋网两种可能的理想绑扎方案，再根据识别绑扎方案与两种模拟绑扎方案重合度的大小，从两种理想绑扎方案中选出较符合实际的理想绑扎方案，作为标准绑扎方案。其中，在将理想绑扎方案与识别绑扎方案进行对比以选择最符合实际情况的理想绑扎方案时，当识别绑扎方案出现大量节点连续绑扎的钢筋时，以此钢筋为分界线将图像划分为各个子区，在图像的各个子区中分别对比选择较符合实际的理想绑扎方案，最后将各个子区选择出的理想绑扎方案组合起来，得到标准绑扎方案。

本发明基于计算机视觉领域的目标检测技术，结合计算机图形学相关理论方法，实现了混凝土浇筑仓钢筋网备仓绑扎质量的自动化验收，为施工单位提供方便快捷、实施高效的钢筋网备仓质量控制手段，为验收、监理人员高效率、高质量验收提供了可靠的技术支持。

附图说明

为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要用到的附图作简要的介绍，显而易见地，下面描述的附图是本发明的一些实例，对于本领域的普通技术人员来说，在不付出创造性劳动的前提下，还可以依据这些附图获得其他的附图。

图1为基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法流程图；

图2为本发明中所要识别验收的备仓钢筋网原始图像；

图3为本发明中钢筋网两节点间钢筋段识别框选图；

图4为本发明中利用拓展归类方法和射线归类方法分类后得到的钢筋段集合拟合直线图像；

图5为本发明中钢筋网节点绑扎状态识别图像；

图6为本发明中间隔绑扎要求下生成的两种理想绑扎方案；

图7为本发明中钢筋网智能验收效果图。

图8为本发明中绑扎状态的框图示样。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本发明普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提供一种可靠的自动化钢筋网扎丝绑扎质量验收方法，具有准确性和快捷性的特点，能够针对备仓施工现场的钢筋网绑扎质量进行控制，本发明的主要构思如下：提供一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法。该方法利用经过专门训练的目标检测网络提取出待检测钢筋网中的相应目标，再通过计算机图形学相关方法，分析图像信息，进行绑扎评价。

下面具体阐述本发明提供的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法的具体实现流程。

本实例提供了一种基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，如图1所示；该方法具体包括：

步骤S1：利用事先训练好的目标检测模型识别框选出待验收钢筋网正视或小倾角斜视图片中各相邻节点间的钢筋段。

具体来说，目标检测模型在模型精度、训练速度和识别速度等方面各有侧重，选择时应该设备实际情况和应用具体需求灵活选择，本实例采用YOLO模型作为训练模型。

节点间钢筋段识别模型和节点位置状态识别模型的具体训练过程为：

(1)利用labelImg软件对对施工现场钢筋网照片相邻节点钢筋段和节点绑扎状态进行标注，生成包含标注信息的XML文件，然后转换为YOLO模型训练所需数据格式，由钢筋网图片和目标类别与位置信息构成训练所需数据集；

(2)利用深度学习框架pytorch搭建YOLO神经网络模型；

(3)将数据集输入YOLO模型进行训练，在模型loss值收敛后得到对应的权值文件。YOLO模型载入训练得到的权值文件即可对钢筋段位置和节点位置与状态进行识别。

图片角度为正视或小倾角斜视图片是为了保证图片中对象位置明确，状态特征清楚，从而提高标注识别时的精确度，同时也能简化后续图形分析处理流程。利用训练好的YOLO模型进行相邻节点间的钢筋段识别效果见图3。

步骤S2：将识别出的钢筋段根据方向分为相互垂直的两组(绝大多数场合钢筋网中两组钢筋都是相互垂直的)。再在分出的两组钢筋段中，根据钢筋段的相邻关系和几何限制条件，把钢筋段按其所从属的钢筋归类，从而得到代表图像中各条钢筋的钢筋段集合。

钢筋网是由相互垂直的两组钢筋交叉构成，以识别框在纵横方向的长短对比关系，可以十分方便的将它们区分，同时为后续将识别框按所属钢筋进行分类提供便利。

将识别框按所属钢筋进行分类的主要方法是拓展归类方法和射线归类方法，具体步骤如前文发明内容所述。

步骤S3：由各钢筋段集合，拟合出各条钢筋在图像坐标系下的直线方程。

钢筋段直线方程的拟合主要通过寻找钢筋段组中处于边缘的钢筋段，利用它们外边缘短边中点连线进行拟合。钢筋段的拟合方程与实际钢筋位置的对比效果见图4。

步骤S4：计算出各条直线与其他直线间的交点，得到钢筋网各节点的位置坐标与它们在钢筋网中的相对位置信息。

步骤S5：利用目标检测模型识别框选出钢筋网正视或小倾角斜视图片中的钢筋节点，并判断节点的绑扎状态，得到钢筋网的识别绑扎方案。

本实例节点绑扎状态的识别是通过训练YOLO模型来实现。节点绑扎状态识别效果如图5所示。

步骤S6：根据钢筋网各节点的位置相互关系、钢筋网识别绑扎方案和混凝土浇筑仓钢筋网备仓要求等条件，模拟、选择出钢筋网的标准绑扎方案。

工程中对单层钢筋网节点绑扎的要求一般有全绑扎和间隔绑扎两种。对于全绑扎的模拟只需将所有节点的绑扎要求设置成需要绑扎即可。对于间隔绑扎，则针对同一面钢筋网，有两种可能的理想绑扎方案，它们需要绑扎和不需绑扎的节点位置互换(互补)。本实例首先模拟出两种可能的理想绑扎方案，如图6所示，然后将这两种方案与识别绑扎方案进行对比，选出与识别绑扎方案相似程度较高的理想绑扎方案作为判别绑扎质量的标准，称为标准绑扎方案。对于本实例，标准绑扎方案为图6中上半部分的状态。

如果钢筋网中有连续绑扎的情况，影响间隔绑扎标准绑扎方案的选择判断。可以在连续绑扎处，将钢筋网域分割为两个子区域。在各块子区域分别寻找与识别绑扎方案重合度高的理想绑扎方案，再组合得到整个钢筋网的标准绑扎状态。

步骤S7：将识别绑扎方案与标准绑扎方案进行对比，计算出漏绑数、合格率等指标；将对比情况进行可视化输出，智能评价钢筋网绑扎质量。

相应计算指标和判别可视化效果见图7、图8，图中，方形外框表示合格节点，圆形外框表示漏绑节点；外框左上角的勾、叉两种符号分别表示节点在标准绑扎方案下应有的绑扎状态，勾符号表示需要绑扎，叉符号表示不需要绑扎；外框右下角的勾、叉两种符号分别表示计算机视觉识别得到的节点绑扎状态，勾符号表示已绑扎，叉符号表示未绑扎。

总体来说，本发明针对混凝土浇筑仓备仓钢筋网绑扎质量验收中存在的效率和准确性矛盾，提出通过采集规定拍摄角度的钢筋网备仓照片(如图2所示)，利用计算机视觉和计算机图形学相应技术方法，在识别钢筋段和节点绑扎状态的基础上，模拟、选择出钢筋网标准绑扎状态，与识别绑扎状态进行对比，进行质量评价，同时输出可视化评价结果和相应质量评价指标，以此实现对备仓钢筋网绑扎质量的自动化、智能化判别。

本发明可应用于土木、水利、交通和国防等多个行业领域，能够提高现场钢筋网绑扎质量控制的精度和可靠性。

尽管已描述了本发明的优选实例，但本领域的技术人员一旦得知了基本的创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围所有的变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其同等技术的范围之类，则本发明也意图包含这些改动和变型在内。

其它未详细说明的部分均为现有技术。

Claims (7)

1.基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，包括如下步骤：

步骤S1：利用进行过专门训练的相邻节点间钢筋段目标检测模型，处理正视或小倾角斜视图片，识别框选出待验收钢筋网中各相邻节点间的钢筋段；

步骤S2：将识别出的钢筋段根据方向分为两组，再在分出的两组钢筋段中，根据相邻关系和几何限制条件，把钢筋段归入其所从属的钢筋，得到代表图像中各条钢筋的钢筋段集合；

步骤S3：由各钢筋段集合，拟合出各条钢筋在图像中相应坐标系下的直线方程；

步骤S4：计算出各条直线与其它直线的交点，得到钢筋网各节点的位置坐标与它们在钢筋网中的相对位置信息，即钢筋网中各节点的位置相互关系；

步骤S5：利用进行过专门训练的钢筋节点状态目标检测模型，处理钢筋网正视或小倾角斜视图片，识别并框选出钢筋网节点，并判断节点的绑扎状态，得到钢筋网的识别绑扎方案；

步骤S6：至少根据钢筋网中各节点的位置相互关系、钢筋网的识别绑扎方案和混凝土浇筑仓钢筋网备仓要求，模拟、选择出钢筋网的标准绑扎方案；

步骤S7：将识别绑扎方案与标准绑扎方案进行对比，至少计算出漏绑数、合格率指标；将对比情况进行可视化输出，智能评价钢筋网绑扎质量。

2.如权利要求1所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，还包括在步骤S1之前：

拍摄获取钢筋网的正视或小倾角斜视图像。

3.如权利要求1所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，步骤S2具体包括：

将分好方向的钢筋段按其所从属的钢筋分类，所采取的主要方法是拓展归类方法和射线归类方法。

4.如权利要求3所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，所述拓展归类方法的主要步骤如下：

步骤T1：设置一个空的钢筋段集合和储存着所有同方向钢筋段的未归类钢筋段集合；

步骤T2：从未归类钢筋段集合中随机选取一段钢筋移入钢筋段集合；

步骤T3：向钢筋段集合处于左右边缘的两个短边外各延拓一个边缘钢筋段识别框的范围；

步骤T4：记钢筋段识别框集合中处于左右边缘的短边中点连线为识别框集合的代表线段；

若延拓部分搭接到新的钢筋段识别框，即未归类钢筋段集合中钢筋段的识别框，则判断钢筋段集合与加入新钢筋段后构成的新钢筋段集合的代表线段夹角是否小于判别角度，判别角度应在5°～10°之间，若满足，将新钢筋段加入属于这条钢筋的钢筋段集合中，同时将其移出未归类钢筋段集合；

步骤T5：当向外延拓部分不能搭接到新的钢筋段识别框，则将钢筋段集合录入相应库中，然后将钢筋段集合清空；

步骤T6：重复步骤T2至步骤T5，循环至未归类钢筋段集合为空。

5.如权利要求4所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，所述射线归类方法的主要步骤如下：

步骤U1：基于拓展归类方法分类后的钢筋段集合，从中任选一个钢筋段集合，若其代表线段所在直线穿过另一钢筋段集合一定比例的钢筋段识别框，则将这两个钢筋段集合合并；

步骤U2：重复步骤U1，直到所有钢筋段集合都利用射线归类方法检验或归类过至少一次。

6.如权利要求1所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，还包括在步骤S1和步骤S5之前：

利用对相应识别对象做过标注的钢筋网图像，训练目标检测模型，得到针对相应识别对象的权值文件。

7.如权利要求1所述的基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法，其特征在于，还包括在步骤S6中：

若钢筋网备仓设计为全绑扎，则所有节点的标准状态均设置为绑扎，得到标准绑扎方案；

若钢筋网备仓设计为间隔绑扎，则首先模拟出两种理想的绑扎方案，再根据识别绑扎方案与两种理想绑扎方案重合度的大小，从两种理想绑扎方案中选出贴合实际的理想绑扎方案，作为标准绑扎方案；

当识别绑扎方案出现大量连续绑扎的钢筋节点时，以此钢筋为分界线将图像划分为各个子区，在图像的各个子区中选出贴合实际的理想绑扎方案，最后组合各个子区选出的理想绑扎方案，得到标准绑扎方案。

Images