CN111445160B - 一种基于人工智能视频分析的自伴混凝土质量管理方法 - Google Patents

一种基于人工智能视频分析的自伴混凝土质量管理方法 Download PDF

Info

Publication number
CN111445160B
CN111445160B CN202010273266.9A CN202010273266A CN111445160B CN 111445160 B CN111445160 B CN 111445160B CN 202010273266 A CN202010273266 A CN 202010273266A CN 111445160 B CN111445160 B CN 111445160B
Authority
CN
China
Prior art keywords
analysis
algorithm
video
link
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010273266.9A
Other languages
English (en)
Other versions
CN111445160A (zh
Inventor
高来先
李永忠
张永炘
吴国爱
黄伟文
李佳祺
贾云博
邓先亮
何东城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Chuangcheng Construction Management & Consultation Co ltd
Original Assignee
Guangdong Chuangcheng Construction Management & Consultation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Chuangcheng Construction Management & Consultation Co ltd filed Critical Guangdong Chuangcheng Construction Management & Consultation Co ltd
Priority to CN202010273266.9A priority Critical patent/CN111445160B/zh
Publication of CN111445160A publication Critical patent/CN111445160A/zh
Application granted granted Critical
Publication of CN111445160B publication Critical patent/CN111445160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28C—PREPARING CLAY; PRODUCING MIXTURES CONTAINING CLAY OR CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28C5/00—Apparatus or methods for producing mixtures of cement with other substances, e.g. slurries, mortars, porous or fibrous compositions
    • B28C5/42—Apparatus specially adapted for being mounted on vehicles with provision for mixing during transport
    • B28C5/4203—Details; Accessories
    • B28C5/4206—Control apparatus; Drive systems, e.g. coupled to the vehicle drive-system
    • B28C5/422—Controlling or measuring devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28C—PREPARING CLAY; PRODUCING MIXTURES CONTAINING CLAY OR CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28C7/00—Controlling the operation of apparatus for producing mixtures of clay or cement with other substances; Supplying or proportioning the ingredients for mixing clay or cement with other substances; Discharging the mixture
    • B28C7/02—Controlling the operation of the mixing
    • B28C7/022—Controlling the operation of the mixing by measuring the consistency or composition of the mixture, e.g. with supply of a missing component
    • B28C7/024—Controlling the operation of the mixing by measuring the consistency or composition of the mixture, e.g. with supply of a missing component by measuring properties of the mixture, e.g. moisture, electrical resistivity, density
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38—Concrete; ceramics; glass; bricks
    • G01N33/383—Concrete, cement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：通过CoViAR算法对实时上传的视频流进行高效的事件分割判断，针对相关视频段，用CoViAR、SSD、OCR等算法完成各材质在单位盛具、单位车中的重量分析、入料口入料环节加入到搅拌机中各材料的重量分析、搅拌机工作的相关状态分析、试块制作时刻与个数分析、塌落度估计分析，基于上述步骤的输出信息，进行输出信息与设定标准值对比，对存在风险的事件预警，对全部视频进行结构化存储。本发明可在线实时风险预警，只需少量监理专家，远程分析系统预警的风险，实时进行判定，使旁站监理的人员利用和时效能够得到真正提高，利用结构化视频存储，有利于建筑过程中发生事件的检索与回溯。

Description

一种基于人工智能视频分析的自伴混凝土质量管理方法
技术领域
本发明涉及建筑工程技术领域，具体来说，涉及一种基于人工智能视频分析的自伴混凝土质量管理方法。
背景技术
在建筑作业中，混凝土的质量对建筑的质量极其重要的因素之一，因而国家层面对混凝土的生产质量有着明确的规范和强制监管。通常情况下，对混凝土的生产质量监管，往往通过具有相关监理资格的监理人员，进行现场人工监督的方式，来达到严格监管的目的，该过程专业术语为“旁站监理”，其主要缺点有以下几点：1.旁站监理过程中，由于缺少影像等有效监督手段，因而，由于监理人员专业素质差或利益交换等原因，容易导致不能有效作为、少作为、恶意不作为等情况出现；2.旁站监理对相关指标记录不认真或者不规范，导致对监理过程无有效可追溯性；3.旁站过程中对发现有安全、质量隐患或违反工程建设强制性标准要求的行为，停留在整改建议或口头通知，对整改情况不跟踪封闭；4.旁站监督管理的成本高、人效低。
基于上述缺点，急需一种具备人工智能视频分析的自伴混凝土质量管理方法出现。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种基于人工智能视频分析的自伴混凝土质量管理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；
a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；
a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的重量分析，其输出结果为材料类型、加入次数；
a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；
a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；
a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；
a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；
a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。
进一步地，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、 R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
进一步地，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
进一步地，所述OCR算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
进一步地，所述步骤a2通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域。
进一步地，所述步骤a2基于OCR算法识别称的显示盘上的文字区域的数。
进一步地，所述步骤a3中通过CoViAR-resnet算法检测分析盛满一车的全过程中的每一个单次盛装行为，通过SSD算法检测盛具中材料类型。
进一步地，所述步骤a4通过对工人入料行为进行分析，得到各材料加入到搅拌机内的次数，同时通过SSD算法检测每次加入的材料类型。
进一步地，所述步骤a7通过SSD算法检测定位塌落度筒和检测定位混凝土，并对测量卡尺刻度信息进行OCR文本识别，最终综合塌落度筒和混凝土堆的外接矩形框，以及测量卡尺的刻度信息估计塌落度。
进一步地，所述步骤a8预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
本发明工作原理：本发明基于深度学习人工智能的视频分析技术，对混凝土生产过程中的，各个环节进行持续的、有效的视频采集，并在后端进行存储，同时对视频数据，进行实时的智能分析，对存在质量风险的生产过程进行自动的、高时效的预警，监理方专业监理员对预警信息对应的视频信息进行复核，最终对风险作出准确判断，并作出相关反应，使得监理人员可以同时监理多个生产现场，从而实现旁站监督管理工作的高有效性、可追溯性、高时效性等目的。
与现有技术相比，本发明具有以下有益效果：1.与传统旁站监理相比，本发明在混凝土生产质量的监督与管理过程中，智能视频分析起到的作用为：混凝土材料(水、砂子、石子、水泥)配比监督管理、混凝土搅拌时长监督管理、混凝土试块制作监督管理、混凝土坍落度监督管理；2.本发明可用于判断施工能否正常进行；3.本发明利用结构化视频存储，有利于建筑过程中发生事件的检索与回溯；4.本发明可实现全流程的智能化旁站监理，避免了监理员自认为的因素导致的种种潜在风险，从而避免建筑事故的发生；5.本发明可实现在线实时风险预警，只需要少量的监理专家，远程分析系统预警的风险，实时进行判定，从而使得旁站监督管理的人员利用和时效能够得到真正的提高。
具体实施方式
下面，结合具体实施方式，对发明做出进一步的描述：
一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；
a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；
a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的重量分析，其输出结果为材料类型、加入次数；
a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；
a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；
a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；
a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；
a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。
其中CoViAR-Mobile-V3算法、CoViAR-resnet算法均属于视频行为分析算法CoViAR的不同阶段，CoViAR-Mobile-V3算法耗时低，CoViAR-resnet 算法精度高。
通过固定或移动设备对混凝土生产现场核心操作区域进行持续的、有效的、实时的视频数据采集，并上传服务器进行存储。通过人工智能视频分析对“混凝土生产的材料配合比监督管理”，“混凝土搅拌时长监督管理”，“混凝土试块制作监督管理”，“混凝土坍落度监督管理”四个核心监督管理工作进行自动监督管理，对不符合或疑似不符合规范的事件进行实时预警，从而极大程度上避免了人工现场监督管理的相关缺陷。
对采集的视频数据进行智能分析，核心事件分析包括：单位盛具中砂子、石子、水、水泥称重过程和重量数据提取；单位车中的砂子、石子的装载过程和重量数据计算；入料口相关事件的智能检测与记录相关时刻和数量，算出混凝土配合比(入料口单次入料视频段投入的砂子车数、入料口单次入料视频段投入的石子车数、入料口单次入料视频段投入的水泥包数、入料口入料视频段投入的水方量)；计算出混凝土配合比；搅拌机相关事件的智能检测与记录相关时刻、时长；搅拌状态检测：搅拌机是否转动；出料口状态检测：是否开始排出混凝土，用于确定搅拌是否结束；计算出混凝土搅拌时长；试块制作事件检测和记录相关时刻；塌落度事件检测和记录相关时刻以及塌落度数值估计。
基于深度学习人工智能的视频分析技术，对混凝土生产过程中的，各个环节进行持续的、有效的视频采集，并在后端进行存储，同时对视频数据，进行实时的智能分析，对存在质量风险的生产过程进行自动的、高时效的预警，监理方专业监理员对预警信息对应的视频信息进行复核，最终对风险作出准确判断，并作出相关反应，使得监理人员可以同时监理多个生产现场，从而实现旁站监督管理工作的高有效性、可追溯性、高时效性等目的。
根据上述内容，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、 R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
CoViAR算法的核心优势是：不用解压压缩视频得到原始信息，直接构建基于压缩视频进行行为分析，较大的降低了耗时；对I、P-M、P-R分开建模，在P-M序列，P-R序列中的丰富的运动信息对行为分析重要性极高，在传统的原始视频流的算法框架下，从RGB图像信号序列中挖掘这些信息，难度较大，即便是计算量大的大型网络往往难以胜任；CoViAR算法在达到精度较高的情况下，视频处理速度相比其他方法得到极大提升。
根据上述内容，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。在混凝土搅拌场景下，存在较大的目标-如搅拌机，也存在较小的目标-如一袋水泥等的检测定位需求，因而SSD效果较好。
根据上述内容，所述OCR文本内容识别算法是结合CNN与RNN,由CNN 提取图像特征，进而对特征图进行列切片，采用RNN结构如典型的LSTM循环网络进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
根据上述内容，所述步骤a2通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域。
根据上述内容，所述步骤a2基于OCR算法识别称的显示盘上的文字区域的数。
根据上述内容，所述步骤a3中通过CoViAR-resnet算法检测分析盛满一车的全过程中的每一个单次盛装行为，通过SSD算法检测盛具中材料类型。
根据上述内容，所述步骤a4通过对工人入料行为进行分析，得到各材料加入到搅拌机内的次数，同时通过SSD算法检测每次加入的材料类型。
根据上述内容，所述步骤a7通过SSD算法检测定位塌落度筒和检测定位混凝土，并对测量卡尺刻度信息进行OCR文本识别，最终综合塌落度筒和混凝土堆的外接矩形框，以及测量卡尺的刻度信息估计塌落度。
根据上述内容，所述步骤a8预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限定本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，该方法包括以下步骤：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；
a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；
a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的行为过程分析，其输出结果为材料类型、加入次数；
a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；
a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；
a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；
a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；
a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。
2.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
3.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
4.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述OCR算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本, 最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
5.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a2通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域。
6.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a2基于OCR算法识别称的显示盘上的文字区域的数。
7.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a3中通过CoViAR-resnet算法检测分析盛满一车的全过程中的每一个单次盛装行为，通过SSD算法检测盛具中材料类型。
8.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a4通过对工人入料行为进行分析，得到各材料加入到搅拌机内的次数，同时通过SSD算法检测每次加入的材料类型。
9.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a7通过SSD算法检测定位塌落度筒和检测定位混凝土，并对测量卡尺刻度信息进行OCR文本识别，最终综合塌落度筒和混凝土堆的外接矩形框，以及测量卡尺的刻度信息估计塌落度。
10.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a8预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
CN202010273266.9A 2020-04-09 2020-04-09 一种基于人工智能视频分析的自伴混凝土质量管理方法 Active CN111445160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010273266.9A CN111445160B (zh) 2020-04-09 2020-04-09 一种基于人工智能视频分析的自伴混凝土质量管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010273266.9A CN111445160B (zh) 2020-04-09 2020-04-09 一种基于人工智能视频分析的自伴混凝土质量管理方法

Publications (2)

Publication Number Publication Date
CN111445160A CN111445160A (zh) 2020-07-24
CN111445160B true CN111445160B (zh) 2022-04-26

Family

ID=71652818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010273266.9A Active CN111445160B (zh) 2020-04-09 2020-04-09 一种基于人工智能视频分析的自伴混凝土质量管理方法

Country Status (1)

Country Link
CN (1) CN111445160B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131973B (zh) * 2020-09-07 2023-11-07 京东科技信息技术有限公司 一种饲料处理监管方法、系统、设备及存储介质
CN115588157B (zh) * 2022-12-12 2023-03-21 广东祥利科技有限公司 交联低烟低卤聚烯烃材料的性能数据处理方法及系统
CN115592819B (zh) * 2022-12-15 2023-03-17 福建南方路面机械股份有限公司 基于深度学习的搅拌站卸料口尺寸调整方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316969A (ja) * 2006-05-26 2007-12-06 Tohoku Regional Bureau Ministry Of Land Infrastructure & Transport コンクリートの品質管理方法
CN103957260A (zh) * 2014-05-05 2014-07-30 哈尔滨工业大学深圳研究生院 一种基于物联网的装配式混凝土全程监控系统
CN105382933A (zh) * 2014-09-05 2016-03-09 西安众智惠泽光电科技有限公司 一种混凝土配料搅拌的无线监控方法
JP2018069487A (ja) * 2016-10-26 2018-05-10 太平洋セメント株式会社 コンクリートの配合条件の予測方法
CN108803523A (zh) * 2018-06-27 2018-11-13 广东正来科技有限公司 一种混凝土质量监控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316969A (ja) * 2006-05-26 2007-12-06 Tohoku Regional Bureau Ministry Of Land Infrastructure & Transport コンクリートの品質管理方法
CN103957260A (zh) * 2014-05-05 2014-07-30 哈尔滨工业大学深圳研究生院 一种基于物联网的装配式混凝土全程监控系统
CN105382933A (zh) * 2014-09-05 2016-03-09 西安众智惠泽光电科技有限公司 一种混凝土配料搅拌的无线监控方法
JP2018069487A (ja) * 2016-10-26 2018-05-10 太平洋セメント株式会社 コンクリートの配合条件の予測方法
CN108803523A (zh) * 2018-06-27 2018-11-13 广东正来科技有限公司 一种混凝土质量监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施工现场自拌混凝土质量控制;封承九;《施工现场自拌混凝土质量控制施》;20071231;第37-39页 *

Also Published As

Publication number Publication date
CN111445160A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111445160B (zh) 一种基于人工智能视频分析的自伴混凝土质量管理方法
CN111582188B (zh) 一种基于人工智能的混凝土浇筑旁站监理方法
CN111486893A (zh) 一种桥梁结构健康监测与预警系统及预警方法
Kim et al. Vision-based nonintrusive context documentation for earthmoving productivity simulation
CN114548590B (zh) 一种基于物联网的工程精装修智慧管理平台及方法
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN116843071B (zh) 一种用于智慧港口的运输网络运行指数预测方法及装置
CN112365152A (zh) 一种输水隧洞全生命周期风险影响评估方法及系统
CN111582191B (zh) 基于人工智能视频分析的混凝土浇筑中浇筑量估计方法
CN115373403A (zh) 一种建筑机械设备巡检服务系统
CN109934161B (zh) 基于卷积神经网络的车辆识别与检测方法及系统
CN110503209A (zh) 一种基于大数据的钢轨分析预警模型构建方法与系统
CN113988790A (zh) 一种隧道、桥梁、路基综合进度管理系统
CN117649207A (zh) 一种建筑施工管理系统
CN115440071B (zh) 一种自动驾驶违规停车检测方法
CN115550611A (zh) 一种航班保障节点的智能监测方法、装置及系统
CN111626151B (zh) 基于人工智能视频分析的混凝土浇筑中非法浇筑物检测方法
CN113888043A (zh) 一种梁式桥主梁病害全周期可视化管理分析系统
CN113256014A (zh) 一种5g通信工程智能检测系统
Liu et al. End-to-end high-speed railway dropper breakage and slack monitoring based on computer vision
CN116050624B (zh) 一种公路道路施工综合监测方法及系统
CN117250201B (zh) 一种泳池砖层缺陷检测方法及系统
CN114800873B (zh) 一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统
Justo et al. Towards standardized guidelines in digital data acquisition for monitoring and maintenance of European transport infrastructures
CN112905725A (zh) 一种互联网大数据信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant