CN116704427A - 一种基于3d cnn循环施工过程监测方法 - Google Patents

一种基于3d cnn循环施工过程监测方法 Download PDF

Info

Publication number
CN116704427A
CN116704427A CN202310422018.XA CN202310422018A CN116704427A CN 116704427 A CN116704427 A CN 116704427A CN 202310422018 A CN202310422018 A CN 202310422018A CN 116704427 A CN116704427 A CN 116704427A
Authority
CN
China
Prior art keywords
construction
dynamic model
cyclic
dimensional dynamic
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310422018.XA
Other languages
English (en)
Other versions
CN116704427B (zh
Inventor
李玉甫
魏伟
周海娜
蔡晓轩
贾世平
邢辉
刘怀伟
张亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG CONSTRUCTION VOCATIONAL TECHNOLOGY INSTITUTE
Original Assignee
GUANGDONG CONSTRUCTION VOCATIONAL TECHNOLOGY INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG CONSTRUCTION VOCATIONAL TECHNOLOGY INSTITUTE filed Critical GUANGDONG CONSTRUCTION VOCATIONAL TECHNOLOGY INSTITUTE
Priority to CN202310422018.XA priority Critical patent/CN116704427B/zh
Publication of CN116704427A publication Critical patent/CN116704427A/zh
Application granted granted Critical
Publication of CN116704427B publication Critical patent/CN116704427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3DCNN循环施工过程监测方法，该方法设计工程施工技术领域、深度学习领域；该方法能够形成更接近于实际施工需求的循环施工模型；该方法的具体为：本发明首先根据施工现场原始数据生成三维动态模型，并对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；通过获取的施工设备的实时动作，并提取施工过程中循环施工设备的第一循环模型、第二循环模型和第三循环模型等，以此对最新的三维动态模型进行更新；通过该监测方法能够及时且准确的获取施工现场数据信息；监测范围可以布置整个施工场地，监测范围广；能够直观的反应监测结果；监测可以针对整个施工场地的全部施工设备和施工进程，量化性能好。

Description

一种基于3D CNN循环施工过程监测方法
技术领域
本发明涉及工程监测技术，深度学习技术，具体而言，涉及一种基于3D CNN循环施工过程监测方法。
背景技术
工程施工监测是指对建筑、结构或基础等工程项目在施工过程中所进行的各种质量、安全、环保以及进度等方面的监测和控制；它通过采集数据、分析数据并及时反馈结果，帮助监测人员及时发现和解决存在的问题，保证工程质量、安全和进度符合设计要求；近年来通过对基础施工设备的监测逐渐增加，通过对施工设备的施工监测，能够及时发现存在的问题，实现对现场施工环境和施工进程更好的把控。
现存的工程施工现场施工监测存在以下缺点：监测数据获取不及时和不准确；监测范围受限；监测成本较高；监测数据处理困难；监测数据难以量化。
因此，采用怎样的监测方式，实现对上述一个或多个问题的解决，将对施工的顺利进行具有一定的作用。
发明内容
本发明的目的在于克服现有技术存在的以上问题，以及在原有技术基础上大大提高其技术效果；为此，本发明提供了一种基于3D CNN循环施工过程监测方法，该方法包括：
根据施工现场原始数据生成三维动态模型，所述三维动态模型包括施工进程和设备施工状态；
通过传感器采集施工现场的视频帧，对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；所述获取施工现场施工设备的实时动作的方法是：通过3D CNN对采集的视频帧进行模型训练，根据训练的结果，获取施工设备的实时动作；所述3D CNN指三维卷积神经网络；所述通过3D CNN对采集的视频帧进行模型训练的方法：通过单流特征提取网络从输入视频帧中提取时空特征，获取施工设备的实时动作和施工进程；所述单流特征提取网络包括：3D CNN架构和3D注意模块；
针对需要进行循环施工的施工设备，在通过3DCNN分析获得的施工设备的实时动作和三维动态模型完全匹配的情况下，提取循环施工的一个完整周期中施工设备的实时动作组成第一循环模型；通过获得的第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型；针对不需要进行循环施工的施工设备，直接将获得的施工设备的实时动作和三维动态模型中的施工设备的动作进行对比，判断施工设备的动作是否符合规定；
继续采集施工现场的视频帧，并获取施工现场施工设备的实时动作；通过将获取的实时动作和更新的三维动态模型中的施工设备动作进行比对，判断获取的施工现场施工设备的实时动作和更新的三维动态模型中的施工设备动作是否匹配；若完全匹配，则针对循环施工的施工设备，继续提取循环施工的一个完整周期中施工设备的实时动作组成第二循环模型，并通过获得的第二循环模型对所述更新的三维动态模型中对应的循环施工的施工设备动作进行调整，获取最新的三维动态模型；
通过上述方法不断对三维动态模型中循环施工的施工设备的施工动作进行调整，形成更接近于实际施工需求的循环施工模型。
进一步地，所述根据施工现场原始数据生成三维动态模型包括：根据获得的施工现场原始数据生成三维动态模型；所述施工场地的原始数据包括：施工场地的实际尺寸大小，施工场地中各设备种类，建筑物的实际情况，以及施工场地其他施工原始数据。
进一步地，所述单流特征提取网络包括：所述单流特征提取网络用于从采集的视频帧序列中提取三个子模块的时空特征；所述三个子模块分别为：深度、宽度和高度；所述3D CNN架构包括：采用3D ResNeXt-101作为单流特征提取网络的基本结构，所述3DResNeXt-101是3D CNN结构之一；所述3D注意模块包括：1D通道注意模块和3D时空注意模块；所述1D通道注意模块用于强调物体特征，生成通道细化特征图；所述3D时空注意模块用于强调时空特征，生成时空细化特征图；根据生成的通道细化特征图和时空细化特征图获取施工现场的实时情况；所述施工现场的实时情况包括：施工进程和设备施工状态。
进一步地，所述1D通道注意模块包括：通过1D通道注意模块生成通道细化特征图的步骤为：
W1(g)＝σ[MLP(Avg(g))+MLP(Max(g))]
其中，σ是sigmoid函数，W1表示1D通道注意，MLP是多层感知器，所述多层感知器为多层神经网络，Avg和Max对应于N1的平均池化和最大池化，g和g′分别对应第一输入特征映射和通道细化特征映射；
所述3D时空注意模块包括：通过3D时空注意模块生成时空细化特征图的步骤为：
其中，σ是sigmoid函数，W2表示3D时空注意，Avg和Max对应于N2中的平均池化和最大池化，conv表示卷积，g′和g″分别表示通道细化特征映射和时空细化特征映射。
进一步地，所述施工设备的实时动作和三维动态模型完全匹配的情况下包括：在同样的施工进程下，通过3D CNN模型提取的施工设备的实时动作和三维动态模型的动作是相同的。
进一步地，所述提取循环施工的一个完整周期包括：所述循环施工指施工设备施工是一个周期一个周期进行的，每个周期中包含相同的施工设备施工的一套完整动作；若首次在一个周期中获得的施工设备的实时动作和三维动态模型完全匹配，提取所述施工设备的实时动作和三维动态模型完全匹配的周期中整个施工设备的实时动作组成第一循环模型；并通过第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型。
进一步地，所述提取循环施工的一个完整周期还包括：若在一个周期中获得的施工设备的实时动作和三维动态模型不完全匹配，则所述周期中不能生成对应的循环模型对三维动态模型中的循环施工的施工设备动作进行调整，不对三维动态模型进行更新；且需要及时联系施工人员，对现场施工进行调整。
进一步地，所述三维动态模型中循环施工的施工设备的施工动作每个周期是完全相同的；通过3D CNN对施工现场的施工设备施工动作进行分析，在一个完整周期中施工现场的施工设备施工动作和最新的三维动态模型的施工设备施工动作完全匹配，则对三维动态模型进行更新；通过所述对三维动态模型进行更新的方式，在整个循环施工过程中，不断对三维动态模型进行更新，形成更接近于实际施工需求的循环施工模型。
本发明的有益效果是：
本发明提出了一种基于3D CNN循环施工过程监测方法；该方法通过3D CNN监测施工现场施工设备的实时动作，并不断对三维动态模型进行更新，形成更接近于实际施工需求的循环施工模型，对现场施工进行监测；通过该监测方法能够及时且准确的获取施工现场数据信息；监测范围可以布置整个施工场地，监测范围广；通过3D CNN对施工现场视频帧进行分析，分析结果自动比对三维动态模型，能够直观的反应监测结果；监测可以针对整个施工场地的全部施工设备和施工进程，量化性能好。
附图说明
图1：本发明的一种基于3D CNN循环施工过程监测方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施例进行详细说明；应当理解的是此处所给出的具体实施例仅用于说明和解释本发明，并不能用来限制本发明。
如图1所示，根据本发明的实施例的一种基于3D CNN循环施工过程监测方法，该方法包括：步骤S100，根据施工现场原始数据生成三维动态模型，所述三维动态模型包括施工进程和设备施工状态；步骤S101，通过传感器采集施工现场的视频帧，对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；所述获取施工现场施工设备的实时动作的方法是：通过3D CNN对采集的视频帧进行模型训练，根据训练的结果，获取施工设备的实时动作；所述3D CNN指三维卷积神经网络；所述通过3D CNN对采集的视频帧进行模型训练的方法：通过单流特征提取网络从输入视频帧中提取时空特征，获取施工设备的实时动作和施工进程；所述单流特征提取网络包括：3D CNN架构和3D注意模块；步骤S102，针对需要进行循环施工的施工设备，在通过3D CNN分析获得的施工设备的实时动作和三维动态模型完全匹配的情况下，提取循环施工的一个完整周期中施工设备的实时动作组成第一循环模型；通过获得的第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型；针对不需要进行循环施工的施工设备，直接将获得的施工设备的实时动作和三维动态模型中的施工设备的动作进行对比，判断施工设备的动作是否符合规定；步骤S103，继续采集施工现场的视频帧，并获取施工现场施工设备的实时动作；通过将获取的实时动作和更新的三维动态模型中的施工设备动作进行比对，判断获取的施工现场施工设备的实时动作和更新的三维动态模型中的施工设备动作是否匹配；若完全匹配，则针对循环施工的施工设备，继续提取循环施工的一个完整周期中施工设备的实时动作组成第二循环模型，并通过获得的第二循环模型对所述更新的三维动态模型中对应的循环施工的施工设备动作进行调整，获取最新的三维动态模型；步骤S104，通过上述方法不断对三维动态模型中循环施工的施工设备的施工动作进行调整，形成更接近于实际施工需求的循环施工模型。
具体地，本发明根据施工现场原始数据生成三维动态模型；通过传感器采集施工现场的视频帧，对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；针对需要进行循环施工的施工设备，在通过3D CNN分析获得的施工设备的实时动作和三维动态模型完全匹配的情况下，提取循环施工的一个完整周期中施工设备的实时动作组成第一循环模型；通过获得的第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型；针对不需要进行循环施工的施工设备，直接将获得的施工设备的实时动作和三维动态模型中的施工设备的动作进行对比，判断施工设备的动作是否符合规定；随后，继续采集施工现场的视频帧，判断获取的施工现场施工设备的实时动作和更新的三维动态模型中的施工设备动作是否匹配；若完全匹配，则针对循环施工的施工设备，继续提取循环施工的一个完整周期中施工设备的实时动作组成第二循环模型，并通过获得的第二循环模型对所述更新的三维动态模型中对应的循环施工的施工设备动作进行调整，获取最新的三维动态模型；最后，通过上述方法不断对三维动态模型中循环施工的施工设备的施工动作进行调整，形成更接近于实际施工需求的循环施工模型。
步骤S100，根据施工现场原始数据生成三维动态模型，所述三维动态模型包括施工进程和设备施工状态；具体地，获取施工现场的原始数据，将获得的原始数据作为参数代入3D建模软件，生成施工现场的三维动态模型。
在上述实施例中，具体地，所述根据施工现场原始数据生成三维动态模型还包括：所述施工场地的原始数据包括：施工场地的实际尺寸大小，施工场地中各设备种类，建筑物的实际情况，以及施工场地其他施工原始数据。
步骤S101，通过传感器采集施工现场的视频帧，对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；所述获取施工现场施工设备的实时动作的方法是：通过3D CNN对采集的视频帧进行模型训练，根据训练的结果，获取施工设备的实时动作；所述3D CNN指三维卷积神经网络；所述通过3D CNN对采集的视频帧进行模型训练的方法：通过单流特征提取网络从输入视频帧中提取时空特征，获取施工设备的实时动作和施工进程；所述单流特征提取网络包括：3D CNN架构和3D注意模块；具体地，根据施工需求在施工现场安装传感器，如果需要可以布置多个传感器，获取整个施工现场的视频帧；随后通过3D CNN技术对获得的视频帧进行分析，获取施工现场的实时情况，包括施工进程和设备施工状态，其中，设备施工状态包括施工设备的实时动作。
在上述实施例中，具体地，单流特征提取网络用于从采集的视频帧序列中提取三个子模块的时空特征；所述三个子模块分别为：深度、宽度和高度；所述3D CNN架构包括：采用3D ResNeXt-101作为单流特征提取网络的基本结构，所述3D ResNeXt-101是3D CNN结构之一；所述3D注意模块包括：1D通道注意模块和3D时空注意模块；所述1D通道注意模块用于强调物体特征，生成通道细化特征图；所述3D时空注意模块用于强调时空特征，生成时空细化特征图；根据生成的通道细化特征图和时空细化特征图获取施工现场的实时情况；所述施工现场的实时情况包括：施工进程和设备施工状态。
在上述实施例中，具体地，所述1D通道注意模块包括：通过1D通道注意模块生成通道细化特征图的步骤为：
W1(g)＝σ[MLP(Avg(g))+MLP(Max(g))]
其中，σ是sigmoid函数，W1表示1D通道注意，MLP是多层感知器，所述多层感知器为多层神经网络，Avg和Max对应于N1的平均池化和最大池化，g和g′分别对应第一输入特征映射和通道细化特征映射；
所述3D时空注意模块包括：通过3D时空注意模块生成时空细化特征图的步骤为：
其中，σ是sigmoid函数，W2表示3D时空注意，Avg和Max对应于N2中的平均池化和最大池化，conv表示卷积，g′和g″分别表示通道细化特征映射和时空细化特征映射。
步骤S102，针对需要进行循环施工的施工设备，在通过3D CNN分析获得的施工设备的实时动作和三维动态模型完全匹配的情况下，提取循环施工的一个完整周期中施工设备的实时动作组成第一循环模型；通过获得的第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型；针对不需要进行循环施工的施工设备，直接将获得的施工设备的实时动作和三维动态模型中的施工设备的动作进行对比，判断施工设备的动作是否符合规定；具体地，若施工的设备为循环施工设备，则判断在循环的一个完整周期中，通过3D CNN得到的循环施工设备的实时动作是否和三维动态模型中对应的循环施工设备的施工动作相匹配；若完全匹配，则提取施工现场循环施工的一个完整周期中施工设备的实时动作组成第一循环模型，通过提取的第一循环模型对原始的三维动态模型进行调整、优化，更新三维动态模型。
在上述实施例中，具体地，将第一次提取施工现场循环施工的一个完整周期中施工设备的实时动作组成的循环模型叫做第一循环模型；所述施工设备的实时动作和三维动态模型完全匹配的情况下包括：在同样的施工进程下，通过3D CNN模型提取的施工设备的实时动作和三维动态模型的动作是相同的。
在上述实施例中，具体地，所述提取循环施工的一个完整周期包括：循环施工指施工设备施工是一个周期一个周期进行的，每个周期中包含相同的施工设备施工的一套完整动作；若首次在一个周期中获得的施工设备的实时动作和三维动态模型完全匹配，提取所述施工设备的实时动作和三维动态模型完全匹配的周期中整个施工设备的实时动作组成第一循环模型；并通过第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型。
在上述实施例中，具体地，需要指出的是，若在一个周期中获得的施工设备的实时动作和三维动态模型不完全匹配，则所述周期中不能生成对应的循环模型对三维动态模型中的循环施工的施工设备动作进行调整，不对三维动态模型进行更新；且需要及时联系施工人员，对现场施工进行调整。
步骤S103，继续采集施工现场的视频帧，并获取施工现场施工设备的实时动作；通过将获取的实时动作和更新的三维动态模型中的施工设备动作进行比对，判断获取的施工现场施工设备的实时动作和更新的三维动态模型中的施工设备动作是否匹配；若完全匹配，则针对循环施工的施工设备，继续提取循环施工的一个完整周期中施工设备的实时动作组成第二循环模型，并通过获得的第二循环模型对所述更新的三维动态模型中对应的循环施工的施工设备动作进行调整，获取最新的三维动态模型；具体地，在生成第一循环模型，并通过第一循环模型对三维动态模型进行调整后，传感器继续采集施工现场的视频帧，并获取施工现场施工设备的实时动作；随后，按照步骤S102的方式生成第二循环模型对刚更新的三维动态模型进行调整和优化。
步骤S104，通过上述方法不断对三维动态模型中循环施工的施工设备的施工动作进行调整，形成更接近于实际施工需求的循环施工模型；具体地，通过步骤S102和步骤S103的方法不断生成第三循环模型、第四循环模型和第五循环模型等，通过循环的模型不断对三维动态模型进行更新和优化。
在上述实施例中，具体地，需要指出的是，三维动态模型中循环施工的施工设备的施工动作每个周期是完全相同的；通过3D CNN对施工现场的施工设备施工动作进行分析，若在一个完整周期中施工现场的施工设备施工动作和最新的三维动态模型的施工设备施工动作完全匹配，则对三维动态模型中循环施工的施工设备每个周期的施工动作进行更新，更新以后的三维动态模型中循环施工的施工设备的施工动作每个周期仍是完全相同的；通过上述对三维动态模型进行更新的方式，在整个循环施工过程中，不断对三维动态模型进行更新，形成更接近于实际施工需求的循环施工模型。
需要理解的是，上述实施例为本发明的一个或多个实施例，基于本发明还有很多其他实施例及其变形；本行业的普通技术人员在没有作出开拓性的创新的时候，通过本发明进行的变形和修改，均属于本发明的保护范围。

Claims (8)

1.一种基于3D CNN循环施工过程监测方法，其特征在于，所述方法包括如下步骤：
1)根据施工现场原始数据生成三维动态模型，所述三维动态模型包括施工进程和设备施工状态；
2)通过传感器采集施工现场的视频帧，对获取的施工现场视频帧进行设备施工状态分析，获取施工现场施工设备的实时动作；所述获取施工现场施工设备的实时动作的方法是：通过3D CNN对采集的视频帧进行模型训练，根据训练的结果，获取施工设备的实时动作；所述3D CNN指三维卷积神经网络；所述通过3D CNN对采集的视频帧进行模型训练的方法：通过单流特征提取网络从输入视频帧中提取时空特征，获取施工设备的实时动作和施工进程；所述单流特征提取网络包括：3D CNN架构和3D注意模块；
3)针对需要进行循环施工的施工设备，在2)中获得的施工设备的实时动作和三维动态模型完全匹配的情况下，提取循环施工的一个完整周期中施工设备的实时动作组成第一循环模型；通过获得的第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型；针对不需要进行循环施工的施工设备，直接将获得的施工设备的实时动作和三维动态模型中的施工设备的动作进行对比，判断施工设备的动作是否符合规定；
4)继续采集施工现场的视频帧，并获取施工现场施工设备的实时动作；通过将获取的实时动作和更新的三维动态模型中的施工设备动作进行比对，判断获取的施工现场施工设备的实时动作和更新的三维动态模型中的施工设备动作是否匹配；若完全匹配，则针对循环施工的施工设备，继续提取循环施工的一个完整周期中施工设备的实时动作组成第二循环模型，并通过获得的第二循环模型对所述更新的三维动态模型中对应的循环施工的施工设备动作进行调整，获取最新的三维动态模型；
5)通过3)和4)的方法不断对三维动态模型中循环施工的施工设备的施工动作进行调整，形成更接近于实际施工需求的循环施工模型。
2.根据权利要求1所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述根据施工现场原始数据生成三维动态模型包括：根据获得的施工现场原始数据生成三维动态模型；所述施工场地的原始数据包括：施工场地的实际尺寸大小，施工场地中各设备种类，建筑物的实际情况，以及施工场地其他施工原始数据。
3.根据权利要求1所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述单流特征提取网络包括：所述单流特征提取网络用于从采集的视频帧序列中提取三个子模块的时空特征；所述三个子模块分别为：深度、宽度和高度；所述3D CNN架构包括：采用3DResNeXt-101作为单流特征提取网络的基本结构，所述3D ResNeXt-101是3D CNN结构之一；所述3D注意模块包括：1D通道注意模块和3D时空注意模块；所述1D通道注意模块用于强调物体特征，生成通道细化特征图；所述3D时空注意模块用于强调时空特征，生成时空细化特征图；根据生成的通道细化特征图和时空细化特征图获取施工现场的实时情况；所述施工现场的实时情况包括：施工进程和设备施工状态。
4.根据权利要求1所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述1D通道注意模块包括：通过1D通道注意模块生成通道细化特征图的步骤为：
W1(g)＝σ[ΜLP(Αvg(g))+ΜLP(Μax(g))]
其中，σ是sigmoid函数，W1表示1D通道注意，MLP是多层感知器，所述多层感知器为多层神经网络，Avg和Max对应于N1的平均池化和最大池化，g和g′分别对应第一输入特征映射和通道细化特征映射；
所述3D时空注意模块包括：通过3D时空注意模块生成时空细化特征图的步骤为：
其中，σ是sigmoid函数，W2表示3D时空注意，Avg和Max对应于N2中的平均池化和最大池化，conv表示卷积，g′和g″分别表示通道细化特征映射和时空细化特征映射。
5.根据权利要求1所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述施工设备的实时动作和三维动态模型完全匹配的情况下包括：在同样的施工进程下，通过3DCNN模型提取的施工设备的实时动作和三维动态模型的动作是相同的。
6.根据权利要求1所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述提取循环施工的一个完整周期包括：所述循环施工指施工设备施工是一个周期一个周期进行的，每个周期中包含相同的施工设备施工的一套完整动作；若首次在一个周期中获得的施工设备的实时动作和三维动态模型完全匹配，提取所述施工设备的实时动作和三维动态模型完全匹配的周期中整个施工设备的实时动作组成第一循环模型；并通过第一循环模型对三维动态模型中对应的循环施工的施工设备动作进行调整，更新三维动态模型。
7.根据权利要求6所述的一种基于3D CNN循环施工过程监测方法，其特征在于，所述提取循环施工的一个完整周期还包括：若在一个周期中获得的施工设备的实时动作和三维动态模型不完全匹配，则所述周期中不能生成对应的循环模型对三维动态模型中的循环施工的施工设备动作进行调整，不对三维动态模型进行更新；且需要及时联系施工人员，对现场施工进行调整。
8.根据权利要求1所述的不断对三维动态模型中循环施工的施工设备的施工动作进行调整包括：所述三维动态模型中循环施工的施工设备的施工动作每个周期是完全相同的；通过3D CNN对施工现场的施工设备施工动作进行分析，在一个完整周期中施工现场的施工设备施工动作和最新的三维动态模型的施工设备施工动作完全匹配，则对三维动态模型进行更新；通过所述对三维动态模型进行更新的方式，在整个循环施工过程中，不断对三维动态模型进行更新，形成更接近于实际施工需求的循环施工模型。
CN202310422018.XA 2023-04-19 2023-04-19 一种基于3d cnn循环施工过程监测方法 Active CN116704427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310422018.XA CN116704427B (zh) 2023-04-19 2023-04-19 一种基于3d cnn循环施工过程监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310422018.XA CN116704427B (zh) 2023-04-19 2023-04-19 一种基于3d cnn循环施工过程监测方法

Publications (2)

Publication Number Publication Date
CN116704427A true CN116704427A (zh) 2023-09-05
CN116704427B CN116704427B (zh) 2024-01-26

Family

ID=87839958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310422018.XA Active CN116704427B (zh) 2023-04-19 2023-04-19 一种基于3d cnn循环施工过程监测方法

Country Status (1)

Country Link
CN (1) CN116704427B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050098A (ja) * 2003-07-28 2005-02-24 Takenaka Komuten Co Ltd 施工プロセス可視化方法
JP2010057061A (ja) * 2008-08-29 2010-03-11 Oki Electric Ind Co Ltd 拡散処理を伴う通信装置およびその拡散処理方法
US20100189337A1 (en) * 2007-07-11 2010-07-29 Koninklijke Philips Electronics N.V. Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
US20130155058A1 (en) * 2011-12-14 2013-06-20 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US20160034305A1 (en) * 2013-03-15 2016-02-04 Advanced Elemental Technologies, Inc. Methods and systems for purposeful computing
WO2018224932A1 (en) * 2017-06-06 2018-12-13 Newlast Italia Srl Method of manufacturing a shoe last and system thereof
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111272220A (zh) * 2020-02-13 2020-06-12 中国铁道科学研究院集团有限公司铁道建筑研究所 一种隧道状态检测监测管理系统
KR20200098817A (ko) * 2019-02-13 2020-08-21 한국도로공사 터널 시공 현장의 정보화 통합관리 시스템과 굴착 시공법
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
WO2021000931A1 (zh) * 2019-07-04 2021-01-07 中广核工程有限公司 核电厂热工水力三维实时动态模拟方法及系统
CN112465401A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于多维信息融合的电力作业安全管控系统及其管控方法
CN113409435A (zh) * 2020-03-15 2021-09-17 英特尔公司 用于使用图形处理器的运动估计电路来执行非局部均值滤波的设备和方法
CN113569710A (zh) * 2021-07-23 2021-10-29 北京声智科技有限公司 电梯阻车方法、装置、摄像设备、存储介质及系统
WO2022195305A1 (en) * 2021-03-19 2022-09-22 Digital Surgery Limited Adaptive visualization of contextual targets in surgical video
CN115641493A (zh) * 2022-10-25 2023-01-24 中铁十局集团第四工程有限公司 一种基于3d cnn的大型转体桥梁施工设备实时动作检测方法
CN115713721A (zh) * 2022-11-29 2023-02-24 同济大学 双通路视频协同感知的行为姿态识别方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050098A (ja) * 2003-07-28 2005-02-24 Takenaka Komuten Co Ltd 施工プロセス可視化方法
US20100189337A1 (en) * 2007-07-11 2010-07-29 Koninklijke Philips Electronics N.V. Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
JP2010057061A (ja) * 2008-08-29 2010-03-11 Oki Electric Ind Co Ltd 拡散処理を伴う通信装置およびその拡散処理方法
US20130155058A1 (en) * 2011-12-14 2013-06-20 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US20160034305A1 (en) * 2013-03-15 2016-02-04 Advanced Elemental Technologies, Inc. Methods and systems for purposeful computing
WO2018224932A1 (en) * 2017-06-06 2018-12-13 Newlast Italia Srl Method of manufacturing a shoe last and system thereof
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
KR20200098817A (ko) * 2019-02-13 2020-08-21 한국도로공사 터널 시공 현장의 정보화 통합관리 시스템과 굴착 시공법
WO2021000931A1 (zh) * 2019-07-04 2021-01-07 中广核工程有限公司 核电厂热工水力三维实时动态模拟方法及系统
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111272220A (zh) * 2020-02-13 2020-06-12 中国铁道科学研究院集团有限公司铁道建筑研究所 一种隧道状态检测监测管理系统
CN113409435A (zh) * 2020-03-15 2021-09-17 英特尔公司 用于使用图形处理器的运动估计电路来执行非局部均值滤波的设备和方法
CN112465401A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于多维信息融合的电力作业安全管控系统及其管控方法
WO2022195305A1 (en) * 2021-03-19 2022-09-22 Digital Surgery Limited Adaptive visualization of contextual targets in surgical video
CN113569710A (zh) * 2021-07-23 2021-10-29 北京声智科技有限公司 电梯阻车方法、装置、摄像设备、存储介质及系统
CN115641493A (zh) * 2022-10-25 2023-01-24 中铁十局集团第四工程有限公司 一种基于3d cnn的大型转体桥梁施工设备实时动作检测方法
CN115713721A (zh) * 2022-11-29 2023-02-24 同济大学 双通路视频协同感知的行为姿态识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRANZISKA MUELLER: "GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
张荣;李伟平;莫同;: "深度学习研究综述", 信息与控制, no. 04 *
王超;夏建平;徐润;杨广亮;宋杰;王甲勇;: "基于BIM+GIS隧道信息化施工技术研究", 人民黄河, no. 2 *

Also Published As

Publication number Publication date
CN116704427B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN109905489B (zh) 基于数据融合算法的多传感器数据关联性处理方法及系统
CN114297907A (zh) 温室环境空间分布预测方法及装置
CN104156729B (zh) 一种教室人数统计方法
CN115013298B (zh) 污水泵的实时性能在线监测系统及其监测方法
CN113132399A (zh) 一种基于时间卷积网络和迁移学习的工业控制系统入侵检测方法
CN112036419B (zh) 一种基于VGG-Attention模型的SAR图像部件解译方法
CN116248674A (zh) 一种数据传输方法、装置及系统
CN116704427B (zh) 一种基于3d cnn循环施工过程监测方法
CN110796090A (zh) 基于循环神经网络的人机协作人体行为意图判别方法
CN116935203B (zh) 一种基于声光融合的潜水员智能监控方法和系统
CN112069979B (zh) 一种实时动作识别人机交互系统
CN111736574B (zh) 一种通用的火电厂故障诊断系统及其诊断方法
CN116956189A (zh) 一种电流异常检测系统、方法、电子设备及介质
CN117668743A (zh) 一种关联时空关系的时序数据预测方法
CN117009900A (zh) 一种基于图神经网络的物联网信号异常检测方法和系统
CN116824369A (zh) 基于边缘计算与yolov7-tiny的荔枝病害实时检测系统及其方法
CN109993218A (zh) 一种基于卷积神经网络的玉米病害的识别和分类模型
CN116166954A (zh) 基于自适应信号特征嵌入知识图谱的辐射源个体识别方法
CN114219051B (zh) 图像分类方法、分类模型的训练方法、装置及电子设备
CN115857473A (zh) 基于卫星定位的智能驾驶及adas模拟测试方法和系统
CN115480556A (zh) 一种暖通机电设备的智能在线故障诊断系统
CN114639047A (zh) 一种基于卷积神经网络的海南长臂猿野外图像检测系统及方法
CN113902958A (zh) 基于锚点自适应的基建现场人员检测方法
CN114022831A (zh) 一种基于双目视觉的牲畜体况监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant