CN111582188A - 一种基于人工智能的混凝土浇筑旁站监理方法 - Google Patents
一种基于人工智能的混凝土浇筑旁站监理方法 Download PDFInfo
- Publication number
- CN111582188A CN111582188A CN202010393348.7A CN202010393348A CN111582188A CN 111582188 A CN111582188 A CN 111582188A CN 202010393348 A CN202010393348 A CN 202010393348A CN 111582188 A CN111582188 A CN 111582188A
- Authority
- CN
- China
- Prior art keywords
- concrete
- algorithm
- link
- pouring
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 74
- 238000010276 construction Methods 0.000 claims abstract description 28
- 238000002156 mixing Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims abstract description 5
- 238000007635 classification algorithm Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 124
- 238000012360 testing method Methods 0.000 claims description 49
- 230000006399 behavior Effects 0.000 claims description 37
- 239000000463 material Substances 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 21
- 238000003756 stirring Methods 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000005303 weighing Methods 0.000 claims description 12
- 238000005266 casting Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004634 feeding behavior Effects 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人工智能的混凝土浇筑旁站监理方法，该方法包括：对采集的视频流进行简单抽帧采样，通过深度学习分类算法对采样图像进行施工环境安全分析和对实时上传的视频流进行场景事件分割判断，对采集的视频流进行场景解析判定；对采集的混凝土自拌场景视频数据、混凝土预拌场景视频数据、混凝土浇筑场景视频数进行核心事件分析，利用相关结果信息，与工程质量要求相关参数比对分析，对风险事件进行预警，对视频流基于输出信息，进行结构化存储，本发明采用全流程的智能化旁站监理，避免监理员人为因素导致的潜在风险，在线实时风险预警，只需少量监理专家，远程分析系统预警的风险并判定，使旁站监督管理的人效得到提高。
Description
技术领域
本发明涉及建筑工程技术领域，具体来说，涉及一种基于人工智能的混凝土浇筑旁站监理方法。
背景技术
在建筑作业中，混凝土的生产质量、混凝土的浇筑质量，对整个工程的工程质量有着决定性的影响，因而国家层面对混凝土浇筑施工过程，有着明确的规范和强监管，通常情况下，对混凝土浇筑施工的质量安全监管，往往通过具有相关监理资格的监理人员，进行现场人工监督记录的方式，来达到严格监管的目的，该过程专业术语为“旁站监理”。其主要缺点有以下几点：旁站监理过程中，由于缺少影像等有效监督手段，因而，或由于监理人员专业素质差，或由于利益交换等原因，容易导致的不能有效作为、少作为、恶意不作为等情况出现；旁站监理对相关指标记录不认真或者不规范，导致对监理过程无有效可追溯性。
现有人工现场“旁站监理”的模式下，其缺点较为明显，具体展开有以下几点：旁站监理人员素质参差不齐，不能全面掌握旁站监理的关键要点，易导致旁站过程失控；监理人员自由裁量权大，旁站过程及旁站管理结果缺少影像资料支撑，容易导致监理收受利益而放松管理；旁站监理过程中，由于对旁站监理人员缺少约束，常发生只旁站不作为，或少作为的情况；旁站监理记录不认真，无可追溯性；旁站过程中对发现有安全、质量隐患或违反工程建设强制性标准要求的行为，停留在整改建议或口头通知，对整改情况不跟踪封闭。
基于上述缺点，急需一种基于人工智能的混凝土浇筑旁站监理方法。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种基于人工智能的混凝土浇筑旁站监理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人工智能的混凝土浇筑旁站监理方法，该方法包括：
a1.对采集的视频流进行简单抽帧采样，通过深度学习分类算法对采样图像进行施工环境安全分析，对当前天气情况和邻电情况做出判断；
a2.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行场景事件分割判断，对采集的视频流进行场景解析判定，分为混凝土自拌场景、混凝土预拌场景、混凝土浇筑场景；
a3.对采集的混凝土自拌场景视频数据进行核心事件分析；
a4.对采集的混凝土预拌场景视频数据进行核心事件分析；
a5.对采集的混凝土浇筑场景视频数据进行核心事件分析；
a6.利用分析的相关结果信息，与工程质量要求相关参数进行比对分析，对风险事件进行预警，预警的方式包括语音预警、灯光信号预警、预设的手机短信预警；
a7：对视频流基于输出信息，进行结构化存储。
进一步地，所述步骤a3中混凝土自拌场景视频数据进行核心事件分析步骤包括：
b1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
b2：针对单位盛具称重环节的视频段，用相关算法完成各材质在单位盛具中的重量分析：通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域、基于OCR算法识别称的显示盘上的文字区域的数值，输出结果为：材料类型、单位盛具的重量；
b3：针对单位车称重环节的视频段，用相关算法完成各材质在单位车中的重量分析：CoViAR-resnet检测分析盛满一车的全过程中的每一个单次盛装行为、通过SSD算法检测盛具中材料类型，输出结果为：材料类型、盛装次数；
b4：针对入料口入料环节的视频段，用相关算法完成入料口入料环节下加入到搅拌机中各材料的重量分析：通过CoViAR-resnet算法对工人入料行为进行分析，得到各材料加入到搅拌机内的次数、SSD算法检测加入的材料类型，输出结果为：材料类型、加入次数；
b5：针对搅拌环节的视频段，用相关算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，输出结果为：状态、起止时刻；
b6：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
b7：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点，混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
进一步地，所述步骤a4中混凝土预拌场景视频数据进行核心事件分析步骤包括：
c1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：混凝土货运清单表视频拍摄环节、试块制作环节、塌落度测试环节；
c2：针对混凝土货运清单表视频拍摄环节，利用SSD算法对视频帧中的清单表进行检测定位，矫正后利用SSD算法进行文本检测提取，利用OCR文本识别算法进行文本识别，利用文本位置关系结构化提取：混凝土配合比、当前车装载方量、搅拌时长信息；
c3：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
c4：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
进一步地，所述步骤a5中混凝土浇筑场景视频数据进行核心事件分析步骤包括：
d1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：导管安装环节、浇筑环节、导管拆卸环节；
d2：针对导管安装环节，基于CoViAR-resnet算法，分析识别安装一根导管的行为过程，从而通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
d3：针对浇筑环节，利用SSD算法，进行待浇筑区域进行检测定位，确定其边界，在终孔浇筑环节下，带浇筑区域指的是终孔口相关区域，针对该区域的图像流信息：利用SSD算法，检测识别对待浇筑区域中的浇筑导管终端位置定位，并识别浇筑材料，对待浇筑区域，进行疑似异常物体检测，输出子区域的位置区域，针对该子区域的相关上下文视频流，利用行为分析算法CoViAR对该区域的子视频流进行行为识别，如果存在浇筑或物体抛入行为，则无论其物体类型是否混凝土均判定为非法行为；
d4：针对导管拆卸环节，基于CoViAR-resnet算法，分析单次拆管的行为过程，并利用SSD算法，检测分析单次拔管行为中，拆卸的导管的节数，结合步骤d2中估计的单管长度，估计单次拔出的导管长度；针对每次拔管事件时刻，利用估算的浇筑方量，结合已知的孔径参数信息，计算当前时刻下终孔中混凝土的深度。
进一步地，所述混凝土预拌的浇筑场景下针对浇筑环节相关信息分析：利用SSD算法、OCR文本内容识别算法，持续检测识别车牌号码，从而通过车牌的信息，记录完成浇筑的车数，记录单车车牌号的持续时长，利用SSD算法，同时持续检测，浇筑导管末端，浇筑的状态，去掉非浇筑时长，得到浇筑完一车的有效时长，结合上述各车方量信息，动态估算出当前工地环境下，罐装车的单位时间的浇筑量平均值。
进一步地，所述浇筑方量的估算方法：
针对混凝土自拌场景：利用单桶的重量信息，及配合度，估算单桶方量信息、搅拌的次数、利用各次单桶方量累积得到估计当前浇筑量；
针对混凝土预拌场景：利用上述信息得到大致的浇筑量，单位时间浇筑量及当前车的车牌持续出现时长，以及浇筑状态判定，推断当前车的有效浇筑时长，进一步修正当前浇筑量估计值。
进一步地，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-拔出的导管长度
进一步地，所述视频行为分析算法CoViAR步骤：
f1：CoViAR的输入是“压缩视频流”；
f2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
f3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
f4：基于融合3个子模型对视频进行动作行为分类。
进一步地，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
进一步地，所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
本发明工作原理：本发明基于深度学习人工智能的视频分析技术，对混凝土浇筑建设工程实施过程中的，各个环节进行持续的有效的视频采集，并在后端进行存储，同时对视频数据，进行实时的智能分析，对存在质量风险的工程建设过程，进行自动的、高时效的预警，监理方专业监理员对预警信息对应的视频信息进行复核，最终对风险作出准确判断，并作出相关响应，使得监理人员可以同时监理多个生产现场，从而实现旁站监督管理工作的高有效性、可追溯性、高时效性等目的。
与现有技术相比，本发明具有以下有益效果：1.本发明采用全流程的智能化旁站监理，避免了监理员人为的因素导致的种种潜在风险；2.本发明采用在线实时风险预警，只需要少量的监理专家，远程分析系统预警的风险，进行判定，从而使得旁站监督管理的人效得到提高；3.本发明采用结构化视频存储，有利于事件的检索与回溯。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图.
图1是本发明一种基于人工智能的混凝土浇筑旁站监理方法的步骤示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述：
如图1所示，一种基于人工智能的混凝土浇筑旁站监理方法，该方法包括：
a1.对采集的视频流进行简单抽帧采样，通过深度学习分类算法对采样图像进行施工环境安全分析，对当前天气情况和邻电情况做出判断；
a2.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行场景事件分割判断，对采集的视频流进行场景解析判定，分为混凝土自拌场景、混凝土预拌场景、混凝土浇筑场景；
a3.对采集的混凝土自拌场景视频数据进行核心事件分析；
a4.对采集的混凝土预拌场景视频数据进行核心事件分析；
a5.对采集的混凝土浇筑场景视频数据进行核心事件分析；
a6.利用分析的相关结果信息，与工程质量要求相关参数进行比对分析，对风险事件进行预警，预警的方式包括语音预警、灯光信号预警、预设的手机短信预警；
a7：对视频流基于输出信息，进行结构化存储。
施工环境安全分析包括：
1.天气分析，通过深度学习图像分类resnet算法框架进行天气状况分类，考虑到存在多种天气共现的情况，因而修改resnet原有的互斥的多分类结构，为多个二分类结构，具体的：利用CNN进行图像特征提取，然后基于特征进行6个二分类预测分支，分别输出：是否晴天、是否雨天、是否雾天、是否下雪天、是否大风天的概率。
2.邻电分析：通过通过深度学习图像检测SSD算法，同时将施工区域、高风险带电物体作为目标进行检测识别。
施工区域：建材堆积区域、搅拌机所处区域、导管浇筑区域，输出类型以及目标的外界矩形坐标。
高风险带电物体：高压线、变电器，输出类型以及目标的外界矩形坐标。
利用施工区域坐标和高风险带电物体坐标信息，估算二者之间的相对距离。输出：是否存在高风险带电物体、是否邻近施工区域。
混凝土浇筑施工环境安全智能分析的作用：电网建设中，施工环境对施工质量施工安全影响极，监理员需在现场对气候环境、施工附近的邻电等环境情况进行监督管理，确保工程的质量与施工安全。
根据上述内容，所述步骤a3中混凝土自拌场景视频数据进行核心事件分析步骤包括：
b1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
b2：针对单位盛具称重环节的视频段，用相关算法完成各材质在单位盛具中的重量分析：通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域、基于OCR算法识别称的显示盘上的文字区域的数值，输出结果为：材料类型、单位盛具的重量；
b3：针对单位车称重环节的视频段，用相关算法完成各材质在单位车中的重量分析：CoViAR-resnet检测分析盛满一车的全过程中的每一个单次盛装行为、通过SSD算法检测盛具中材料类型，输出结果为：材料类型、盛装次数；
b4：针对入料口入料环节的视频段，用相关算法完成入料口入料环节下加入到搅拌机中各材料的重量分析：通过CoViAR-resnet算法对工人入料行为进行分析，得到各材料加入到搅拌机内的次数、SSD算法检测加入的材料类型，输出结果为：材料类型、加入次数；
b5：针对搅拌环节的视频段，用相关算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，输出结果为：状态、起止时刻；
b6：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
b7：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点，混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
根据上述内容，所述步骤a4中混凝土预拌场景视频数据进行核心事件分析步骤包括：
c1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：混凝土货运清单表视频拍摄环节、试块制作环节、塌落度测试环节；
c2：针对混凝土货运清单表视频拍摄环节，利用SSD算法对视频帧中的清单表进行检测定位，矫正后利用SSD算法进行文本检测提取，利用OCR文本识别算法进行文本识别，利用文本位置关系结构化提取：混凝土配合比、当前车装载方量、搅拌时长信息；
c3：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
c4：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
根据上述内容，所述步骤a5中混凝土浇筑场景视频数据进行核心事件分析步骤包括：
d1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：导管安装环节、浇筑环节、导管拆卸环节；
d2：针对导管安装环节，基于CoViAR-resnet算法，分析识别安装一根导管的行为过程，从而通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
d3：针对浇筑环节，利用SSD算法，进行待浇筑区域进行检测定位，确定其边界，在终孔浇筑环节下，带浇筑区域指的是终孔口相关区域，针对该区域的图像流信息：利用SSD算法，检测识别对待浇筑区域中的浇筑导管终端位置定位，并识别浇筑材料，对待浇筑区域，进行疑似异常物体检测，输出子区域的位置区域，针对该子区域的相关上下文视频流，利用行为分析算法CoViAR对该区域的子视频流进行行为识别，如果存在浇筑(或物体抛入)行为，则无论其物体类型是否混凝土均判定为非法行为；
d4：针对导管拆卸环节，基于CoViAR-resnet算法，分析单次拆管的行为过程，并利用SSD算法，检测分析单次拔管行为中，拆卸的导管的节数，结合步骤d2中估计的单管长度，估计单次拔出的导管长度；针对每次拔管事件时刻，利用估算的浇筑方量，结合已知的孔径参数信息，计算当前时刻下终孔中混凝土的深度。
其中CoViAR-Mobile-V3算法、CoViAR-resnet算法均属于视频行为分析算法CoViAR的不同阶段，CoViAR-Mobile-V3算法耗时低，CoViAR-resnet算法精度高。
通过智能分析，保证混凝土生产过程中核心视频数据被有效采集，被有效存储，通过智能视频分析对“混凝土生产的材料配合比监督管理”，“混凝土搅拌时长监督管理”，“混凝土试块制作监督管理”，“混凝土坍落度监督管理”四个核心监督管理工作进行自动监督管理，对不符合或疑似不符合规范的事件进行实时预警，从而极大程度上避免了上述人工现场监督管理的相关缺陷。
本发明基于深度学习人工智能的视频分析技术，对混凝土浇筑建设工程实施过程中的，各个环节进行持续的有效的视频采集，并在后端进行存储，同时对视频数据，进行实时的智能分析，对存在质量风险的工程建设过程，进行自动的、高时效的预警，监理方专业监理员对预警信息对应的视频信息进行复核，最终对风险作出准确判断，并作出相关响应，使得监理人员可以同时监理多个生产现场，从而实现旁站监督管理工作的高有效性、可追溯性、高时效性等目的。
根据上述内容，所述混凝土预拌的浇筑场景下针对浇筑环节相关信息分析：利用SSD算法、OCR文本内容识别算法，持续检测识别车牌号码，从而通过车牌的信息，记录完成浇筑的车数，记录单车车牌号的持续时长，利用SSD算法，同时持续检测，浇筑导管末端，浇筑的状态，去掉非浇筑时长，得到浇筑完一车的有效时长，结合上述各车方量信息，动态估算出当前工地环境下，罐装车的单位时间的浇筑量平均值。
根据上述内容，所述浇筑方量的估算方法：
针对混凝土自拌场景：利用单桶的重量信息，及配合度，估算单桶方量信息、搅拌的次数、利用各次单桶方量累积得到估计当前浇筑量；
针对混凝土预拌场景：利用上述信息得到大致的浇筑量，单位时间浇筑量及当前车的车牌持续出现时长，以及浇筑状态判定，推断当前车的有效浇筑时长，进一步修正当前浇筑量估计值。
根据上述内容，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-拔出的导管长度
根据上述内容，所述视频行为分析算法CoViAR步骤：
f1：CoViAR的输入是“压缩视频流”；
f2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
f3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
f4：基于融合3个子模型对视频进行动作行为分类。
CoViAR算法的核心优势是：不用解压压缩视频得到原始信息，直接构建基于压缩视频进行行为分析，较大的降低了耗时；对I、P-M、P-R分开建模，在P-M序列，P-R序列中的丰富的运动信息对行为分析重要性极高，在传统的原始视频流的算法框架下，从RGB图像信号序列中挖掘这些信息，难度较大，即便是计算量大的大型网络往往难以胜任；CoViAR算法在达到精度较高的情况下，视频处理速度相比其他方法得到极大提升。
根据上述内容，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。在混凝土搅拌场景下，存在较大的目标-如搅拌机，也存在较小的目标-如一袋水泥等的检测定位需求，因而SSD效果较好。
根据上述内容，所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构如典型的LSTM循环网络进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限定本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，该方法包括：
a1.对采集的视频流进行简单抽帧采样，通过深度学习分类算法对采样图像进行施工环境安全分析，对当前天气情况和邻电情况做出判断；
a2.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行场景事件分割判断，对采集的视频流进行场景解析判定，分为混凝土自拌场景、混凝土预拌场景、混凝土浇筑场景；
a3.对采集的混凝土自拌场景视频数据进行核心事件分析；
a4.对采集的混凝土预拌场景视频数据进行核心事件分析；
a5.对采集的混凝土浇筑场景视频数据进行核心事件分析；
a6.利用分析的相关结果信息，与工程质量要求相关参数进行比对分析，对风险事件进行预警，预警的方式包括语音预警、灯光信号预警、预设的手机短信预警；
a7：对视频流基于输出信息，进行结构化存储。
2.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述步骤(a3)中混凝土自拌场景视频数据进行核心事件分析步骤包括：
b1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
b2：针对单位盛具称重环节的视频段，用相关算法完成各材质在单位盛具中的重量分析：通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域、基于OCR算法识别称的显示盘上的文字区域的数值，输出结果为：材料类型、单位盛具的重量；
b3：针对单位车称重环节的视频段，用相关算法完成各材质在单位车中的重量分析：CoViAR-resnet检测分析盛满一车的全过程中的每一个单次盛装行为、通过SSD算法检测盛具中材料类型，输出结果为：材料类型、盛装次数；
b4：针对入料口入料环节的视频段，用相关算法完成入料口入料环节下加入到搅拌机中各材料的重量分析：通过CoViAR-resnet算法对工人入料行为进行分析，得到各材料加入到搅拌机内的次数、SSD算法检测加入的材料类型，输出结果为：材料类型、加入次数；
b5：针对搅拌环节的视频段，用相关算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，输出结果为：状态、起止时刻；
b6：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
b7：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点，混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
3.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述步骤(a4)中混凝土预拌场景视频数据进行核心事件分析步骤包括：
c1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：混凝土货运清单表视频拍摄环节、试块制作环节、塌落度测试环节；
c2：针对混凝土货运清单表视频拍摄环节，利用SSD算法对视频帧中的清单表进行检测定位，矫正后利用SSD算法进行文本检测提取，利用OCR文本识别算法进行文本识别，利用文本位置关系结构化提取：混凝土配合比、当前车装载方量、搅拌时长信息；
c3：针对试块制作环节的视频段，用相关算法完成时刻制作中试块个数分析：SSD算法检测试块数量，输出结果为：试块数量；
c4：针对塌落度测试环节的视频段，用相关算法完成塌落度估计分析：SSD算法检测定位塌落度筒、SSD算法检测定位混凝土、OCR文本，输出结果为：塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息。
4.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述步骤(a5)中混凝土浇筑场景视频数据进行核心事件分析步骤包括：
d1：通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行子事件分割判断，当前时间窗口视频的事件类型：导管安装环节、浇筑环节、导管拆卸环节；
d2：针对导管安装环节，基于CoViAR-resnet算法，分析识别安装一根导管的行为过程，从而通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
d3：针对浇筑环节，利用SSD算法，进行待浇筑区域进行检测定位，确定其边界，在终孔浇筑环节下，带浇筑区域指的是终孔口相关区域，针对该区域的图像流信息：利用SSD算法，检测识别对待浇筑区域中的浇筑导管终端位置定位，并识别浇筑材料，对待浇筑区域，进行疑似异常物体检测，输出子区域的位置区域，针对该子区域的相关上下文视频流，利用行为分析算法CoViAR对该区域的子视频流进行行为识别，如果存在浇筑(或物体抛入)行为，则无论其物体类型是否混凝土均判定为非法行为；
d4：针对导管拆卸环节，基于CoViAR-resnet算法，分析单次拆管的行为过程，并利用SSD算法，检测分析单次拔管行为中，拆卸的导管的节数，结合步骤(d2)中估计的单管长度，估计单次拔出的导管长度；针对每次拔管事件时刻，利用估算的浇筑方量，结合已知的孔径参数信息，计算当前时刻下终孔中混凝土的深度。
5.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述混凝土预拌的浇筑场景下针对浇筑环节相关信息分析：利用SSD算法、OCR文本内容识别算法，持续检测识别车牌号码，从而通过车牌的信息，记录完成浇筑的车数，记录单车车牌号的持续时长，利用SSD算法，同时持续检测，浇筑导管末端，浇筑的状态，去掉非浇筑时长，得到浇筑完一车的有效时长，结合上述各车方量信息，动态估算出当前工地环境下，罐装车的单位时间的浇筑量平均值。
6.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述浇筑方量的估算方法：
针对混凝土自拌场景：利用单桶的重量信息，及配合度，估算单桶方量信息、搅拌的次数、利用各次单桶方量累积得到估计当前浇筑量；
针对混凝土预拌场景：利用上述信息得到大致的浇筑量，单位时间浇筑量及当前车的车牌持续出现时长，以及浇筑状态判定，推断当前车的有效浇筑时长，进一步修正当前浇筑量估计值。
7.根据权利要求4所述的一种基于人工智能的混凝土浇筑旁站监理方法，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-拔出的导管长度。
8.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述视频行为分析算法CoViAR步骤：
f1：CoViAR的输入是“压缩视频流”；
f2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
f3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
f4：基于融合3个子模型对视频进行动作行为分类。
9.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
10.根据权利要求1所述的一种基于人工智能的混凝土浇筑旁站监理方法，其特征在于，所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393348.7A CN111582188B (zh) | 2020-05-11 | 2020-05-11 | 一种基于人工智能的混凝土浇筑旁站监理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393348.7A CN111582188B (zh) | 2020-05-11 | 2020-05-11 | 一种基于人工智能的混凝土浇筑旁站监理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582188A true CN111582188A (zh) | 2020-08-25 |
| CN111582188B CN111582188B (zh) | 2022-04-26 |
Family
ID=72122946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010393348.7A Active CN111582188B (zh) | 2020-05-11 | 2020-05-11 | 一种基于人工智能的混凝土浇筑旁站监理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582188B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112177334A (zh) * | 2020-09-23 | 2021-01-05 | 湖南省合创渣土运输有限公司 | 一种混凝土浇筑工艺 |
| CN112241949A (zh) * | 2020-10-13 | 2021-01-19 | 湖南大学 | 一种融合计算机视觉技术的混凝土浇筑模具智能监测装置 |
| CN112873533A (zh) * | 2021-01-15 | 2021-06-01 | 清华大学 | 混凝土自适应智能拌合方法及装置 |
| CN114002415A (zh) * | 2021-10-29 | 2022-02-01 | 商车云(北京)科技有限公司 | 一种混凝土塌落度视觉人工智能实时检测设备及方法 |
| CN115019252A (zh) * | 2022-02-28 | 2022-09-06 | 北京建工集团有限责任公司 | 混凝土质量检测方法、装置及监控设备 |
| CN115685950A (zh) * | 2022-12-31 | 2023-02-03 | 常州市聚凝电气自动化设备有限公司 | 一种基于工业以太网的计量配料混合浇筑控制方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130121618A1 (en) * | 2011-05-27 | 2013-05-16 | Vikas Yadav | Seamless Image Composition |
| CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
| CN109299689A (zh) * | 2018-09-21 | 2019-02-01 | 石家庄铁道大学 | 基于机器视觉的环形生产线模台自动化识别装置及其识别方法 |
| CN109547745A (zh) * | 2018-11-16 | 2019-03-29 | 江苏高智项目管理有限公司 | 一种基于视频技术的监测系统和方法 |
| CN110298830A (zh) * | 2019-06-24 | 2019-10-01 | 天津大学 | 基于卷积神经网络的新拌混凝土振捣表观质量识别方法 |
| US20200103889A1 (en) * | 2016-05-09 | 2020-04-02 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for detection in an industrial internet of things data collection environment with intelligent data collection and equipment package adjustment for oil and gas equipment |
-
2020
- 2020-05-11 CN CN202010393348.7A patent/CN111582188B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130121618A1 (en) * | 2011-05-27 | 2013-05-16 | Vikas Yadav | Seamless Image Composition |
| US20200103889A1 (en) * | 2016-05-09 | 2020-04-02 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for detection in an industrial internet of things data collection environment with intelligent data collection and equipment package adjustment for oil and gas equipment |
| CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
| CN109299689A (zh) * | 2018-09-21 | 2019-02-01 | 石家庄铁道大学 | 基于机器视觉的环形生产线模台自动化识别装置及其识别方法 |
| CN109547745A (zh) * | 2018-11-16 | 2019-03-29 | 江苏高智项目管理有限公司 | 一种基于视频技术的监测系统和方法 |
| CN110298830A (zh) * | 2019-06-24 | 2019-10-01 | 天津大学 | 基于卷积神经网络的新拌混凝土振捣表观质量识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| PATRYK ZIOLKOWSKI.ET AL: ""Machine Learning Techniques in Concrete"", 《MDPI》 * |
| 王永隧: ""施工工地搅拌站自拌砼和泵送施工质量控制"", 《华章》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112177334A (zh) * | 2020-09-23 | 2021-01-05 | 湖南省合创渣土运输有限公司 | 一种混凝土浇筑工艺 |
| CN112241949A (zh) * | 2020-10-13 | 2021-01-19 | 湖南大学 | 一种融合计算机视觉技术的混凝土浇筑模具智能监测装置 |
| CN112873533A (zh) * | 2021-01-15 | 2021-06-01 | 清华大学 | 混凝土自适应智能拌合方法及装置 |
| CN114002415A (zh) * | 2021-10-29 | 2022-02-01 | 商车云(北京)科技有限公司 | 一种混凝土塌落度视觉人工智能实时检测设备及方法 |
| CN115019252A (zh) * | 2022-02-28 | 2022-09-06 | 北京建工集团有限责任公司 | 混凝土质量检测方法、装置及监控设备 |
| CN115685950A (zh) * | 2022-12-31 | 2023-02-03 | 常州市聚凝电气自动化设备有限公司 | 一种基于工业以太网的计量配料混合浇筑控制方法及系统 |
| CN115685950B (zh) * | 2022-12-31 | 2023-03-10 | 常州市聚凝电气自动化设备有限公司 | 一种基于工业以太网的计量配料混合浇筑控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582188B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582188B (zh) | 一种基于人工智能的混凝土浇筑旁站监理方法 | |
| CN111445160B (zh) | 一种基于人工智能视频分析的自伴混凝土质量管理方法 | |
| CN103164706A (zh) | 基于视频信号分析的对象计数方法与装置 | |
| CN111833598B (zh) | 一种高速公路无人机交通事件自动监测方法及系统 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN110688922A (zh) | 基于深度学习的交通拥堵检测系统及检测方法 | |
| CN101882374A (zh) | 一种车辆行程分布综合信息分析系统及方法 | |
| CN102663164A (zh) | 基于多目标测试用例生成的通行控制算法测试装置与方法 | |
| US20230306573A1 (en) | Systems and methods for assessing infrastructure | |
| WO2024022059A1 (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
| CN104268548B (zh) | 一种基于道路图像的积雪检测方法 | |
| CN116631186B (zh) | 基于危险驾驶事件数据的高速公路交通事故风险评估方法、系统 | |
| CN111881970A (zh) | 一种基于深度学习的外破图像智能识别方法 | |
| CN115719475B (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
| CN116168356B (zh) | 一种基于计算机视觉的车辆损伤判别方法 | |
| CN114612860A (zh) | 基于计算机视觉的轨道交通站内客流识别与预测方法 | |
| CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
| CN109934161B (zh) | 基于卷积神经网络的车辆识别与检测方法及系统 | |
| CN111582191B (zh) | 基于人工智能视频分析的混凝土浇筑中浇筑量估计方法 | |
| CN115063337A (zh) | 埋地管道智能维修决策方法及装置 | |
| CN111554075B (zh) | 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法 | |
| CN111626151B (zh) | 基于人工智能视频分析的混凝土浇筑中非法浇筑物检测方法 | |
| CN116090628A (zh) | 一种隧道施工工序作业时长智能预测与班组作业管控方法 | |
| CN110414606B (zh) | 输电线路通道可视化告警区域划分数量的确定方法 | |
| Liu et al. | Metro passenger flow statistics based on YOLOv3 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |