CN116912198A - 基于机器视觉的混凝土振捣施工质量监测方法和系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉技术对混凝土振捣施工质量监测方法，包括如下步骤：（1）、数据实时采集：在混凝土振捣施工现场设置第一摄像头采集工人行为动作视频，设置第二摄像头采集混凝土振捣表面状态视频图像；（2）、工人动作数据处理：采用滑动窗口实现工人动作的实时检测，通过设定滑动窗口的长度，每次将一个滑动窗口长度的视频送入工人行为识别模型进行检测，然后输出分类结果及置信度。本发明方案相较于施工完成后对产品质量进行检验，加强了混凝土振捣施工过程中的质量控制，可以有效降低质量缺陷的发生率，减少返工和人力物力的消耗，提高混凝土的强度和耐久度，提升施工质量和项目生产力，提高施工现场信息化管理水平。

Description

基于机器视觉的混凝土振捣施工质量监测方法和系统

技术领域

本发明涉及一种基于机器视觉的混凝土振捣施工质量监测方法和系统，属于人工智能、混凝土浇筑技术领域。

背景技术

混凝土振捣是混凝土浇筑的关键工艺，在实际现场施工中，人工对混凝土质量进行监测和控制，受到操作人员和监理个人经验局限性的影响，容易出现漏振、重复振捣、欠振等问题，造成质量验收水平参差不一，由此引发质量问题。在使用人工手持振捣棒进行振捣作业时，施工现场环境杂乱，监测混凝土振捣施工质量的传统方法大多依赖传感器和物联网技术，连接线复杂，花费较多，并且占地体积较大影响工人施工。

现有技术中，如申请公开号为CN114648637A的中国专利申请提出一种基于机器视觉的混凝土自动振捣方法及系统，能够实现自动化控制振捣棒分布和振捣时间。但是该发明仅适用于排式振捣机对混凝土进行振捣作业，并不能运用到人工手持振捣棒这一形式上。

申请公开号为CN114776021B的中国专利授权提出一种混凝土智能振捣方法，基于神经网络算法获取某一工况下的最佳振捣参数，能够实现精准控制振捣棒完成振捣操作，提高混凝土振捣及振捣均匀性。但是该发明仅适用于机械臂上绑定振捣棒，难以应对预埋件或钢筋布置较多的情况。

申请公开号为CN110555373A的中国专利申请提供一种基于图像识别的混凝土振捣质量实时检测方法，能够有效准确地提取图像中的特征信息，识别出振捣棒和混凝土，根据混凝土表面状态判断振捣质量。但是该发明对采集图像的处理较为复杂，需经过光照补偿、图像灰度化和图像滤波增强预处理才能进行后续步骤。

有鉴于此，提出一种新的基于机器视觉技术对混凝土振捣施工质量监测的方法，显然是有必要的。

发明内容

本发明的发明目的是提供一种基于机器视觉的混凝土振捣施工质量监测方法和系统，针对传统的人工监测手段，将机器视觉技术应用于管理混凝土振捣施工质量。

为达到上述发明目的，本发明采用的技术方案是：一种基于机器视觉技术对混凝土振捣施工质量监测方法，包括如下步骤：

1、数据实时采集：在混凝土振捣施工现场设置第一摄像头采集工人行为动作视频，设置第二摄像头采集混凝土振捣表面状态视频图像；

2、工人动作数据处理：采用滑动窗口实现工人动作的实时检测，通过设定滑动窗口的长度，从输入的视频流中提取在时刻t的滑动窗口内的动作帧，将当前窗口内的序列编码为骨架热图，并且将这个滑动窗口长度的视频输入至训练好的行为识别模型中进行检测，然后输出分类结果及置信度，最后判断当前时刻是否为动作的起始点，当分类结果至少连续三个窗口的动作类别相同，并且置信度分数大于0.9且大于前面至少三个窗口的值，即认为当前时刻为动作的起始点；如果不是动作的起始点，则重复上述步骤，直至检测结束；

3、混凝土表面状态数据处理：对混凝土振捣过程表面状态视频信息读取和写入，将视频转为图片，逐帧读取和写入视频帧图像信息，然后送入混凝土表面状态分类模型进行混凝土表面状态检测，并将检测结果输出至视频帧图像上，实现实时监测效果；

4、混凝土振捣施工质量监测决策应用：在混凝土振捣过程质量评估框架中，将工人行为类别表示为集合A＝{a₁,a₂,a₃}，混凝土表面状态类别表示为集合B＝{b ₁,b₂,b₃}，其中a₁为“振捣”类行为，a₂为“移动振捣棒”类行为，a₃为“休息”类行为；b ₁为不合格状态混凝土，b₂为中等状态混凝土，b₃为合格状态混凝土，根据不同的工人行为动作和表面状态检测结果，将输出结果分为“移动振捣棒”、“开始振捣”和“继续振捣”；基于混凝土振捣过程质量评估框架，根据工人行为识别模型和混凝土表面状态分类模型输出的检测结果，做出下一步的决策，并对操作人员和监理给出相应的提示语句，提示工人下一步行为动作；

5、根据工人动作识别结果，判断工人是否遵从提示进行振捣工作：如果工人遵从提示，则进入下一轮周期流程，进行新一轮的工人动作识别和混凝土表面状态检测；如果工人不遵从提示，则报送监理。

优选的技术方案中，在所述步骤(3)中，通过开源的计算机视觉库OpenCV来逐帧读取和写入视频帧图像信息。

优选的技术方案中，在所述步骤(3)中，混凝土表面状态分类模型基于ShuffleNet V2网络。

优选的技术方案中，所述步骤(2)中的工人行为识别模型具体步骤为：

(1)、通过Python程序提取视频信息，提取信息内容包括：视频的文件名、标签、起始帧、结束帧；依据文件名和标签生成视频文件的路径列表，为后续提取骨骼数据提供路径指引；

(2)、将准备好的数据和注释信息输入Faster RCNN模型中进行人员检测，并将原始数据及检测结果输入到HRNet-w32中进行姿态估计来获得骨骼及关键点空间变化信息；通过姿态估计模型HRNet-w32生成一个列表用以包含对应视频的字典数据，并将其集合保存为一个pickle文件进行训练和测试；其中list的每一项为单个视频的骨架标注dict；

(3)、通过姿态估计模型从视频中提取出二维姿态信息后，将其输入PoseC3D，二维姿态信息将通过K×H×W的热图来进行表示，其中，K是关键点的数量，H和W分别代表帧的高度和宽度；在给定边界框的条件下，对热图进行零填充以匹配原始帧,依据骨骼关键点的坐标参数(x_k，y_k，c_k)通过拟合以每个关键点为中心的K个高斯变换来得到关键点的热图J以及骨骼的热图L，计算方式分别见公式(1)和(2)：

其中σ表示高斯映射的方差，(x_k，y_k)表示第k个关键点的位置，c_k表示置信度得分,第k个骨骼位于两个关键点a_k和b_k之间，函数D计算从点(i，j)到线段之间的距离。

本发明还提供了一种基于机器视觉技术对混凝土振捣施工质量监测方法的系统，包括：用户登录模块、系统管理模块、振捣监测模块和监测结果模块，

用户登录模块：登录成功后跳转至系统模块、振捣监测和监测结果模块；

系统管理模块：管理员对用户信息进行增删及查找修改，并通过振捣施工记录查询当天的施工日志，直观地查看施工日程；

振捣监测模块：打开摄像头1和摄像头2同时对工人的行为及混凝土表面状态进行检测，并依据检测结果及决策逻辑给出相应的操作提示，实现对混凝土振捣过程的监管，在振捣结束后，用户根据需要选择是否信任结果并归档，或者对不信任的结果进行修改；

监测结果模块：完成本次振捣后用户需填写混凝土浇筑记录，详细记录混凝土的参数信息及浇筑情况，以备后续查验。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1.本发明方案相较于施工完成后对产品质量进行检验，加强了混凝土振捣施工过程中的质量控制，可以有效降低质量缺陷的发生率，减少返工和人力物力的消耗，提高混凝土的强度和耐久度，提升施工质量和项目生产力，提高施工现场信息化管理水平。

2.本发明不仅能够推动实现无人旁站，减少监理旁站，减轻监理工作量；而且能够避免因操作人员或监理的主观判断失误造成的质量缺陷，减少返工，从而减少人力和物力的资源消耗。

3.本发明应用机器视觉技术代替人工对混凝土质量进行监测和控制，不仅可以减轻工作量，还可以避免检验受到操作人员和监理个人经验局限性的影响，造成质量验收水平参差不一，有利于制定统一的混凝土振捣质量评价标准，能够有效保证施工质量。

4.本发明仅需要两个摄像头用于拍摄工人行为动作和混凝土表面状态，占地面积较小，不会影响工人工作，并且安装和更换方便，花费更少。

附图说明

图1为本发明实施技术中遵循的振捣质量分析与控制流程图。

图2为本发明一个实施例所提供的一种基于机器视觉的混凝土振捣施工质量监测方法流程图。

图3为本发明一个实施例进行行为及表面状态判断的流程图。

图4为本发明一个实施例中基于机器视觉的混凝土振捣施工质量监测系统的示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：一种基于机器视觉技术的混凝土振捣施工质量监测方法和系统的实例展示。本实例所提供的一种基于机器视觉的混凝土振捣施工质量监测方法和系统所遵循的振捣质量分析与控制流程图，如图1所示。本实例所提供的一种基于机器视觉的混凝土振捣施工质量监测方法流程图如图2所示。

在本实例中，通过在混凝土振捣施工现场设置好的两个摄像头同时采集工人行为动作视频和混凝土表面状态视频图像。

处理工人行为动作视频：使用滑动窗口对输入的工人行为动作视频进行实时检测工人动作，设定滑动窗口的长度，将步长设置为8，沿时序维度方向，以间隔为1帧的方式，对每个被划分的片段采集48帧图像，从输入的视频流中选取在时刻t的滑动窗口内的动作帧，将当前窗口内的序列编码为骨架热图，并输入训练好的行为识别模型中进行检测，输出分类结果及置信度，最后判断当前时刻是否为动作的起始点，当分类结果至少连续三个窗口的动作类别相同，并且置信度分数大于0.9且大于前面至少三个窗口的值时，即认为当前时刻为动作的起始点；如果不是动作的起始点，则需要重复上述步骤，直至检测结束。上述的行为模型识别中首先对采集的工人行为视频做定位检测，并通过提议框标记工人所在位置；然后，对检测到的工人做姿态估计，以提取其骨骼关键点信息，并基于骨骼关键点信息做行为分类。具体为：(1)、通过Python程序提取视频信息，提取信息内容包括：视频的文件名、标签、起始帧、结束帧；依据文件名和标签生成视频文件的路径列表，为后续提取骨骼数据提供路径指引；

(2)、将准备好的数据和注释信息输入Faster RCNN模型中进行人员检测，并将原始数据及检测结果输入到HRNet-w32中进行姿态估计来获得骨骼及关键点空间变化信息；通过姿态估计模型HRNet-w32生成一个列表用以包含对应视频的dict数据，并将其集合保存为一个pickle文件进行训练和测试；其中list的每一项为单个视频的骨架标注dict；

(3)、通过姿态估计模型从视频中提取出二维姿态信息后，将其输入PoseC3D，二维姿态信息将通过K×H×W的热图来进行表示，其中，K是关键点的数量，H和W分别代表帧的高度和宽度；在给定边界框的条件下，对热图进行零填充以匹配原始帧,依据骨骼关键点的坐标参数(x_k，y_k，c_k)通过拟合以每个关键点为中心的K个高斯变换来得到关键点的热图J以及骨骼的热图L，计算方式分别见公式(1)和(2)：

其中σ表示高斯映射的方差，(x_k，y_k)表示第k个关键点的位置，c_k表示置信度得分,第k个骨骼位于两个关键点a_k和b_k之间，函数D计算从点(i，j)到线段之间的距离。

上述方案中，每个dict的内容如表1所示。

表1 2D骨骼数据存储形式

表2为实时动作检测各参数设置。

表2实时动作检测各参数设置

序号	参数	定义	取值
				1	num_clips	被采样的片段数量	10
2	clip_len	每个片段被采样的帧数	48
				3	frame_interval	帧间隔	1
4	prediet_stepsize	预测的步长	8
				5	output_stepsize	输出时每n帧显示一帧	1

工人各类行为动作识别置信度如表3所示，移动振捣棒和振捣类动作的分类置信度达到98％以上，休息类动作的分类置信度接近100％。在连续动作的检测中，存在两个动作问的过渡动作，可见模型给出两个识别结果，并且给出不同结果的置信度。但是在振捣施工过程中，该类过渡动作持续时间较短，通常只出现短暂的1-2帧，对识别结果不会产生较大影响。

表3工人行为动作识别及置信度

处理混凝土振捣表面状态视频：利用计算机视觉库0penCV完成对混凝土振捣过程表面状态视频信息的读取和写入，将视频转为图片，逐帧读取视频帧图像信息后送入基于ShuffleNet V2网络的已训练好的分类模型进行混凝土表面状态检测，为便于使用者区分，将“2”定义为“不合格状态”，“0”定义为“中等状态”，“1”定义为“合格状态”，最后将检测结果输出至视频帧图像上，实现实时监测效果。

表4混凝土振捣表面状态检测结果

混凝土表面状态及视角	识别分类	分类置信度
			不合格状态(近视角)	2	100％
不合格状态(远视角)	2	100％
			不合格状态(带振捣棒)	2	100％
中等状态(近视角)	0	100％
			中等状态(远视角)	0	100％
中等状态(带振捣棒)	0	100％
			合格状态(近视角)	1	100％
合格状态(远视角)	1	100％
			合格状态(带振捣棒)	1	100％

混凝土振捣表面状态检测结果如表4所示。三类状态不同视角的分类置信度均可达到100％，可见模型在不同环境下的分类性能均良好，具有较强的泛化性和鲁棒性，能够实现实时高精度的混凝土表面状态识别。本研究基于ShuffleNet V2网络进行混凝土表面状态识别，相较于现有研究基于ResNet-50网络进行表面状态分类的研究，平均F1-score可以提升2％。

将识别出的工人行为动作和混凝土振捣表面状态输入混凝土振捣过程质量评估框架。当检测出工人的当前动作为“振捣”时，需进一步判断当前振捣点的混凝土表面状态，若为不合格或中等状态，则应继续振捣，若为合格状态，则应结束当前位置的振捣，并移动振捣棒至下一振捣点；当检测出工人当前动作为“移动振捣棒”时，若目标振捣点的表面状态为不合格或中等状态，则可开始振捣，若目标振捣点表面质量已合格，则应继续移动振捣棒；当工人当前动作为“休息”时，振捣施工处于待开始或结束状态，此时不做下一步判断，待工人行为动作发生改变时再进行判断，判断流程如图3所示。

最后为实现上述技术更好的落地应用，本发明借助PyQt构建系统接口，实现混凝土振捣过程表面质量及工人行为的可视化监管，建立了一种基于机器视觉的混凝土振捣施工质量监测系统。该系统包括用户登录界面、系统管理界面、振捣监测界面和监测结果界面。该系统结构如图4所示。

用户登录界面：用于登录成功后可以跳转至系统管理、振捣监测和监测结果界面。

系统管理界面：用于管理员可以对用户信息进行增删及查找修改，并通过振捣施工记录查询当天的施工日志，直观地查看施工日程。

振捣监测界面：用于打开摄像头1和摄像头2便可同时对工人的行为及混凝土表面状态进行检测，并依据检测结果及决策逻辑给出相应的操作提示，实现对混凝土振捣过程的监管。在振捣结束后，用户可以根据需要选择是否信任结果并归档，或者对不信任的结果进行修改。

监测结果界面：用于完成本次振捣后用户需填写混凝土浇筑记录，详细记录混凝土的参数信息及浇筑情况，以备后续查验。

综上，本发明提出一种机器视觉技术的混凝土振捣施工质量监测方法和系统，能够有效提升混凝土振捣质量，提高施工质量自动化、信息化和智能化管理水平。

Claims (5)

1.一种基于机器视觉技术对混凝土振捣施工质量监测方法，其特征在于，包括如下步骤：(1)、数据实时采集：在混凝土振捣施工现场设置第一摄像头采集工人行为动作视频，设置第二摄像头采集混凝土振捣表面状态视频图像；

(2)、工人动作数据处理：采用滑动窗口实现工人动作的实时检测，通过设定滑动窗口的长度，从输入的视频流中提取在时刻t的滑动窗口内的动作帧，将当前窗口内的序列编码为骨架热图，并且将这个滑动窗口长度的视频输入至训练好的行为识别模型中进行检测，然后输出分类结果及置信度，最后判断当前时刻是否为动作的起始点，当分类结果至少连续三个窗口的动作类别相同，并且置信度分数大于0.9且大于前面至少三个窗口的值，即认为当前时刻为动作的起始点；如果不是动作的起始点，则重复上述步骤，直至检测结束；

(3)、混凝土表面状态数据处理：对混凝土振捣过程表面状态视频信息读取和写入，将视频转为图片，逐帧读取和写入视频帧图像信息，然后送入混凝土表面状态分类模型进行混凝土表面状态检测，并将检测结果输出至视频帧图像上，实现实时监测效果；

(4)、混凝土振捣施工质量监测决策应用：在混凝土振捣过程质量评估框架中，将工人行为类别表示为集合A＝{a₁,a₂,a₃},混凝土表面状态类别表示为集合B＝{b₁,b₂,b₃}，其中a₁为“振捣”类行为，a₂为“移动振捣棒”类行为，a₃为“休息”类行为；b₁为不合格状态混凝土，b₂为中等状态混凝土，b₃为合格状态混凝土，根据不同的工人行为动作和表面状态检测结果，将输出结果分为“移动振捣棒”、“开始振捣”和“继续振捣”；基于混凝土振捣过程质量评估框架，根据工人行为识别模型和混凝土表面状态分类模型输出的检测结果，做出下一步的决策，并对操作人员和监理给出相应的提示语句，提示工人下一步行为动作；

(5)、根据工人动作识别结果，判断工人是否遵从提示进行振捣工作：如果工人遵从提示，则进入下一轮周期流程，进行新一轮的工人动作识别和混凝土表面状态检测；如果工人不遵从提示，则报送监理。

2.根据权利要求1所述的基于机器视觉技术对混凝土振捣施工质量监测方法，其特征在于，在所述步骤(3)中，通过开源的计算机视觉库OpenCV来逐帧读取和写入视频帧图像信息。

3.根据权利要求1所述的基于机器视觉技术对混凝土振捣施工质量监测方法，其特征在于，在所述步骤(3)中，混凝土表面状态分类模型基于ShuffleNet V2网络。

4.根据权利要求1所述的基于机器视觉技术对混凝土振捣施工质量监测方法，其特征在于，所述步骤(2)中的工人行为识别模型具体步骤为：

(1)、通过Python程序提取视频信息，提取信息内容包括：视频的文件名、标签、起始帧、结束帧；依据文件名和标签生成视频文件的路径列表，为后续提取骨骼数据提供路径指引；

(2)、将准备好的数据和注释信息输入Faster RCNN模型中进行人员检测，并将原始数据及检测结果输入到HRNet-w32中进行姿态估计来获得骨骼及关键点空间变化信息；通过姿态估计模型HRNet-w32生成一个列表用以包含对应视频的dict数据，并将其集合保存为一个pickle文件进行训练和测试；其中list的每一项为单个视频的骨架标注dict；

(3)、通过姿态估计模型从视频中提取出二维姿态信息后，将其输入PoseC3D，二维姿态信息将通过K×H×W的热图来进行表示，其中，K是关键点的数量，H和W分别代表帧的高度和宽度；在给定边界框的条件下，对热图进行零填充以匹配原始帧，依据骨骼关键点的坐标参数(x_k，y_k，c_k)通过拟合以每个关键点为中心的K个高斯变换来得到关键点的热图J以及骨骼的热图L，计算方式分别见公式(1)和(2)：

其中σ表示高斯映射的方差，(x_k，y_k)表示第k个关键点的位置，c_k表示置信度得分，第k个骨骼位于两个关键点a_k和b_k之间，函数D计算从点(i，j)到线段之间的距离。

5.利用权利要求1至4中任一项所述的基于机器视觉技术对混凝土振捣施工质量监测方法的系统，其特征在于，包括：用户登录模块、系统管理模块、振捣监测模块和监测结果模块，

用户登录模块：登录成功后跳转至系统模块、振捣监测和监测结果模块；

系统管理模块：管理员对用户信息进行增删及查找修改，并通过振捣施工记录查询当天的施工日志，直观地查看施工日程；

振捣监测模块：打开第一摄像头和第二摄像头同时对工人的行为及混凝土表面状态进行检测，并依据检测结果及决策逻辑给出相应的操作提示，实现对混凝土振捣过程的监管，在振捣结束后，用户根据需要选择是否信任结果并归档，或者对不信任的结果进行修改；

监测结果模块：完成本次振捣后用户需填写混凝土浇筑记录，详细记录混凝土的参数信息及浇筑情况，以备后续查验。