CN117372427A - 基于视频分析的工程施工监管方法及系统 - Google Patents
基于视频分析的工程施工监管方法及系统 Download PDFInfo
- Publication number
- CN117372427A CN117372427A CN202311656989.7A CN202311656989A CN117372427A CN 117372427 A CN117372427 A CN 117372427A CN 202311656989 A CN202311656989 A CN 202311656989A CN 117372427 A CN117372427 A CN 117372427A
- Authority
- CN
- China
- Prior art keywords
- construction
- communication engineering
- engineering line
- tower
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 389
- 238000004458 analytical method Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004891 communication Methods 0.000 claims abstract description 206
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000005491 wire drawing Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013440 design planning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Emergency Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请适用于工程施工监管信息技术领域,尤其涉及基于视频分析的工程施工监管方法及系统,基于视频分析的工程施工监管方法包括:通过获取通信工程线路施工现场视频数据;获取通信工程线路施工图纸;根据获取到的通信工程线路施工图纸,建模生成模拟3D模型,生成的模拟3D模型可以为后续的检测通信工程线路施工情况提供依据;基于模拟3D模型和通信工程线路施工现场视频数据比较和分析,能够检测通信工程线路施工情况是否按照图纸规划施工。在检测到通信工程线路施工存在异常的情况下,能够触发报警措施并生成施工报告,达到远程监管施工的目的,提升监管效率,解决人工监管方式导致监管不便问题。
Description
技术领域
本申请属于工程施工监管信息技术领域,尤其涉及一种基于视频分析的工程施工监管方法及系统。
背景技术
现代工程施工监管是利用信息技术实现对施工现场的安全规范,记录施工过程和检测施工标准的重要手段。它涉及到记录、检测、管理等各方面,旨在利用信息技术提升工程施工监管能力。
目前,通信工程施工中的施工监管通常采用传统的人工方式,效率低下,也存在难以避免的误差和失误,现急需一种通用的方式能够对通信工程施工现场信息进行监管。
发明内容
本申请实施例提供了一种基于视频分析的工程施工监管方法及系统,可以解决通信工程施工现场依赖传统的人工监管方式导致监管不便的问题。
第一方面,本申请实施例提供了一种基于视频分析的工程施工监管方法,包括:
获取通信工程线路施工现场视频数据;
获取通信工程线路施工图纸;
根据所述通信工程线路施工图纸,生成模拟3D模型;
基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况;
在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告。
本申请实施例中上述的技术方案,至少具有如下技术效果:
本申请实施例提供的基于视频分析的工程施工监管方法,通过获取通信工程线路施工现场视频数据以及时地了解施工现场各种情况。获取通信工程线路施工图纸,能够了解施工过程中的详细步骤和流程,为后续生成模拟3D模型提供基础。根据获取到的通信工程线路施工图纸,建模生成模拟3D模型,生成的模拟3D模型可以为后续的检测通信工程线路施工情况提供依据。基于模拟3D模型和通信工程线路施工现场视频数据检测通信工程线路施工情况,利于确定通信工程线路施工是否存在异常,例如可以确定通信工程线路施工现场是否按照图纸规划施工。在检测到通信工程线路施工存在异常的情况下,能够触发报警措施并生成施工报告,达到远程监管施工的目的,可有效提升监管效率,解决人工监管方式导致监管不便的问题。
在第一方面的一种可能的实现方式中,所述根据所述通信工程线路施工图纸,生成模拟3D模型,包括:
读取所述通信工程线路施工图纸;其中,所述通信工程线路施工图纸为二维图纸;
识别所述通信工程线路施工图纸的图纸信息;
根据所述通信工程线路施工图纸和识别的图纸信息进行渲染和建模,得到3D模型。
在第一方面的一种可能的实现方式中,所述识别所述通信工程线路施工图纸的图纸信息,包括:
对所述通信工程线路施工图纸中的各个元素进行分割;其中,各个元素包括线杆、拉线、防坠挂钩、弱电管道、光纤接头、光缆线路路径、标志、施工设备;
识别分割后的物体图元;
识别所述通信工程线路施工图纸中的图纸文本信息;
将识别的所述物体图元和所述图纸文本信息进行对应并结构化,并得到可用于渲染和建模的结构化数据。
在第一方面的一种可能的实现方式中,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
识别所述通信工程线路施工现场视频数据中的视频数据采集设备的第一经纬度信息;
获取所述模拟3D模型中的视频数据采集设备的第二经纬度信息;
对比所述第一经纬度信息和所述第二经纬度信息;
基于对比结果,确认通信工程线路施工位置是否在误差允许范围内。
在第一方面的一种可能的实现方式中,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
根据所述通信工程线路施工现场视频数据,得到现场线杆和拉线情况;
基于得到的所述现场线杆和拉线情况,通过三角函数得到现场线杆和拉线角度;
获取所述模拟3D模型中的线杆和拉线的角度;
将所述现场线杆和拉线角度与所述模拟3D模型中的线杆和拉线的角度进行对比;
基于对比结果,检测并确认通信工程线路施工现场的所述现场线杆和拉线角度是否符合施工标准。
在第一方面的一种可能的实现方式中,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
根据所述通信工程线路施工现场视频数据,得到现场塔上作业施工情况;
基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹;
获取所述模拟3D模型中的塔上作业路由轨迹;
将所述塔上作业人员作业轨迹与所述模拟3D模型中的所述塔上作业路由轨迹进行差异化分析;
基于差异化分析结果,确认通信工程线路施工现场的所述塔上作业人员作业轨迹是否符合规定路由轨迹施工。
在第一方面的一种可能的实现方式中,所述基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹,包括:
对所述通信工程线路施工现场视频数据中反映现场塔上作业施工情况的视频数据进行高斯滤波处理;
使用卷积神经网络提取高斯滤波处理后的通信工程线路施工现场视频数据的防坠挂钩视觉特征;
基于提取的视觉特征结果检测通信工程线路施工现场视频数据中的防坠挂钩,并输出防坠挂钩相对于塔身的位置;
通过粒子滤波算法对通信工程线路施工现场视频数据中的防坠挂钩进行目标跟踪;
根据跟踪的防坠挂钩与塔身连接相对位置变化,得到塔上作业人员作业轨迹。
在第一方面的一种可能的实现方式中,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,还包括:
通过边缘检测对跟踪的防坠挂钩与塔身进行识别分析;
根据边缘检测识别分析结果,判断是否始终有至少一个防坠挂钩与塔身连接。
在第一方面的一种可能的实现方式中,所述基于差异化分析结果,确认通信工程线路施工现场的所述塔上作业人员作业轨迹是否符合规定路由轨迹施工,包括:
基于差异化分析确认塔上作业人员作业轨迹偏离规定路由轨迹的情况下,根据差异化分析结果定位塔上作业人员偏离规定路由轨迹的偏离发生位置和偏离结束位置;
根据差异化分析结果,得到所述偏离发生位置至所述偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量;
基于所述偏离发生位置和所述偏离结束位置,从所述通信工程线路施工现场视频数据中截取所述偏离发生位置对应时刻至所述偏离结束位置对应时刻的视频数据片段;
将所述偏离发生位置对应时刻至所述偏离结束位置对应时刻的视频数据片段解码为视频帧图像;
基于所述偏离发生位置至所述偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量,矩形截取视频帧图像中偏离位置的图像;
对截取的偏离位置的图像去噪处理并进行边缘检测;
当边缘检测确定塔上作业人员若按规定路由轨迹施工存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹为符合规定路由轨迹施工;当边缘检测确定塔上作业人员若按规定路由轨迹施工不存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹施工。
在第一方面的一种可能的实现方式中,所述在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告,包括:
在确认通信工程线路施工现场存在不合规行为的情况下,触发报警措施;
基于获取的所述通信工程线路施工现场视频数据,确认施工现场的不合规行为发生时间;
根据通信工程线路施工情况检测结果、触发的所述报警措施和确认的所述施工现场的不合规行为发生时间,生成施工报告。
第二方面,本申请实施例提供了一种基于视频分析的工程施工监管系统,包括:
第一获取模块,用于获取通信工程线路施工现场视频数据;
第二获取模块,用于获取通信工程线路施工图纸;
第一生成模块,用于根据所述通信工程线路施工图纸,生成模拟3D模型;
检测模块,用于基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况;
第二生成模块,用于在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告。
第三方面,本申请实施例提供了一种基于视频分析的工程施工监管设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项的所述方法。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于视频分析的工程施工监管方法的流程示意图;
图2是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S300的一种流程示意图;
图3是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S320的流程示意图;
图4是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S400的一种的流程示意图;
图5是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S400的另一种的流程示意图;
图6是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S400的又一种流程示意图;
图7是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S432的一种流程示意图;
图8是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S435的一种流程示意图;
图9是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S400的再一种流程示意图;
图10是本申请一实施例提供的基于视频分析的工程施工监管方法中步骤S500的流程示意图;
图11是本申请一实施例提供的基于视频分析的工程施工监管系统的结构示意图;
图12是本申请一实施例提供的基于视频分析的工程施工监管设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到所描述条件或事件”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到所描述条件或事件”或“响应于检测到所描述条件或事件”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
目前,通信工程施工中的施工监管还是采用传统的人工方式,效率低下,也存在难以避免的误差和失误,现急需一种通用的方式能够对通信工程施工现场信息进行监管。
为解决上述问题,本申请实施例提供了一种基于视频分析的工程施工监管方法及系统。通过获取通信工程线路施工现场视频数据以及时地了解施工现场各种情况。获取通信工程线路施工图纸,能够了解施工过程中的详细步骤和流程,为后续生成模拟3D模型提供基础。根据获取到的通信工程线路施工图纸,建模生成模拟3D模型,生成的模拟3D模型可以为后续的检测通信工程线路施工情况提供依据。基于模拟3D模型和通信工程线路施工现场视频数据检测通信工程线路施工情况,利于确定通信工程线路施工是否存在异常,例如可以确定通信工程线路施工现场是否按照图纸规划施工。在检测到通信工程线路施工存在异常的情况下,能够触发报警措施并生成施工报告,达到远程监管施工的目的,可有效提升监管效率,解决人工监管方式导致监管不便的问题。
本申请实施例提供的基于视频分析的工程施工监管方法可以应用于终端设备上,此时终端设备即为本申请实施例提供的基于视频分析的工程施工监管方法的执行主体,本申请实施例对终端设备的具体类型不作任何限制。
例如,终端设备可以是蜂窝电话、无绳电话、会话启动协议(SessionInitiationProtocol,SIP)电话、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、桌上型计算机、智慧大屏、智能电视等终端设备上、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备等。
为了更好地理解本申请实施例提供的基于视频分析的工程施工监管方法,下面对本申请实施例提供的基于视频分析的工程施工监管方法的具体实现过程进行示例性介绍。
图1示出了本申请实施例提供的基于视频分析的工程施工监管方法的示意性流程图,基于视频分析的工程施工监管方法包括:
S100,获取通信工程线路施工现场视频数据。
可以理解,通信工程线路施工现场视频数据是通信工程线路施工现场监测到的实时视频数据,可以由通信工程线路施工现场安放的视频采集设备采集并上传至终端设备后在终端设备直接获取。通信工程线路施工现场安放的视频采集设备可以是摄像机、监控探头、手机等具有视频采集功能的设备。获取通信工程线路施工实时的视频数据可以帮助团队监控施工进度,确保工作按计划进行,有助于及时发现和解决潜在的问题,以保证项目的顺利进行。获取通信工程线路施工实时的视频数据也可以用于监测施工现场的安全状况,确保工人和设备的安全。在发生紧急情况时,可以迅速采取措施,提高施工现场的安全性。通过远程访问视频数据,也能够实现远程协作,监管等,以指导和监督现场的施工进展和施工进度。
S200,获取通信工程线路施工图纸。
可以理解,获取通信工程线路施工图纸能够了解施工过程的具体设计、规划、要求和细节。通过获取数字化的通信工程线路施工图纸,可以为后续创建可视化的模型提供依据,有利于更好的实现对通信工程线路施工现场的检测和监管。
S300,根据通信工程线路施工图纸,生成模拟3D模型。
可以理解,通过读取获取的通信工程线路施工图纸,可以识别通信工程线路施工图纸中的各种信息,将这些信息转化为建模的参数,实现对图纸的建模,生成模拟3D模型。
在一种可能的实现方式中,请参阅图2,S300,根据通信工程线路施工图纸,生成模拟3D模型,包括:
S310,读取通信工程线路施工图纸;其中,通信工程线路施工图纸为二维图纸。
可以理解,对于获取到的通信工程线路施工图纸,确认其对应的为CAD二维图纸格式,在确认到图纸格式正确的情况下,解析图纸,有助于确保施工施工监管的正确进行,为后续模型的构建提供底层数据的解析。
S320,识别通信工程线路施工图纸的图纸信息。
可以理解,对于解析的通信工程线路施工图纸,识别图纸中的各种图例和对应标注等。通过识别这些具体的信息,可以将这些信息转化为后续建模的具体参数依据,有利于更好的实现对通信工程线路施工现场的检测和监管。
可选地,请参阅图3,S320,识别通信工程线路施工图纸的图纸信息,包括:
S321,对通信工程线路施工图纸中的各个元素进行分割;其中,各个元素包括线杆、拉线、防坠挂钩、弱电管道、光纤接头、光缆线路路径、标志、施工设备;
可以理解,通信工程线路施工图纸中包含许多元素,这些元素每一个都有其实际对应的具体事物。例如图形元素可以是线杆、拉线、防坠挂钩、弱电管道、光纤接头、光缆线路路径、标志、施工设备等,这些元素和对应的标注信息等完整的构成通信工程的现场施工规划。分割图纸中的这些元素,将各种元素单一化的切割,有助后续更好的识别这些图形元素。
S322,识别分割后的物体图元。
可以理解,通信工程线路施工图纸中包含许多元素,每个元素都有其特定的图示符号和标识。例如线杆图示可以是实心圆圈、拉线可以是带箭头的射线、弱电管道可以是中间分割的长方形、光缆接头可以是带有内切圆的菱形、光缆路径可以是细长的线条,各种元素可以是各种统一规划的图示。识别这些不同元素,将各种图例元素区分出来,为建立模型做好数据依赖,有助使后续的建模更加精确和标准。
S323,识别通信工程线路施工图纸中的图纸文本信息。
可以理解,对分割后的物体图元识别完成后,识别各种物体图元对应的文本标注信息和一些其他的辅助信息。例如图纸文本信息可以是线杆对应的杆号、弱电管道对应的井号、光缆接头熔接芯数、光缆路径长度等。识别图纸中的文本信息能够准确、更完善地建立3D模型。
S324,将识别的物体图元和图纸文本信息进行对应并结构化,并得到可用于渲染和建模的结构化数据。
可以理解,可以将物体图元和其对应的文本信息关联起来,使物体图元和其对应的文本信息对应,可以通过数据表的形式捕捉图元的几何属性、类别信息以及相应的文本信息。例如数据表中包含的信息可以是图元类型(线段、矩形、圆等)、图元的几何属性(坐标、尺寸、角度等)、与图元关联的文本信息(标号、长度、经纬度等),可以将所有从不同图元获取的数据整合到一个数据表中,并经转化处理等操作,使其成为建立3D模型的直接数据表格,确认了3D模型的数据准确性。
S330,根据通信工程线路施工图纸和识别的图纸信息进行渲染和建模,得到3D模型。
可以理解,可以将通信工程线路施工图纸作为地图,通过识别的物体图元信息和文本标注信息渲染和建模,将2D图纸信息转换为3D模型,利用3D模型进行可视化,利于更好地理解通信工程线路施工的布局和设计规划。
S400,基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况。
可以理解,对于已经建立好的模拟3D模型和从现场安放视频数据采集设备采集到的通信工程线路施工现场视频数据,可以采用对比和实时分析等手段,通过计算机视觉和目标跟踪的方法,检测施工场地中的物体状况、施工状况、设备状态和人员安全等,检测到的信息可以为后续生成报告提供事实依据。
在一种可能的实现方式中,请参阅图4,S400,基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
S411,识别通信工程线路施工现场视频数据中的视频数据采集设备的第一经纬度信息。
可以理解,通信工程线路施工现场中安放视频数据采集设备的地理位置即是通信工程线路施工现场视频数据中的视频数据采集设备的第一经纬度信息。通信工程线路施工现场安放的视频数据采集设备会将施工现场的视频数据和设备自身的地理位置一起实时上传至终端设备,识别视频数据采集设备的地理位置信息即是得到第一经纬度信息,有助于监测施工过程中的施工位置是否正确。
S412,获取模拟3D模型中的视频数据采集设备的第二经纬度信息。
可以理解,模拟3D模型中的视频数据采集设备的预设置的可能安放位置信息即是模拟3D模型中的视频数据采集设备的第二经纬度信息。获取第二经纬度信息有助于监测施工过程中的施工位置是否正确。
S413,对比第一经纬度信息和第二经纬度信息。
可以理解,将第一经纬度信息和第二经纬度信息进行对比分析,通过对比第一经纬度信息和第二经纬度信息差异值,得到通信工程线路施工现场中安放视频数据采集设备的地理位置和3D模型中预设置的可能安放位置信息之间的距离差距,有助于确认施工位置是够准确。
S414,基于对比结果,确认通信工程线路施工位置是否在误差允许范围内。
可以理解,根据第一经纬度信息和第二经纬度信息进行对比分析的结果得到距离差距,能够直接得到通信工程线路施工现场中安放视频数据采集设备的地理位置和3D模型中预设置的可能安放位置信息之间的距离差距,根据距离差距值的大小能够确认通信工程线路施工位置是否准确。示例性地,当两者经纬差距值实际值小于200m时,确认为在误差允许范围内,施工位置准确,当两者经纬差距值实际值大于200m时,确认为施工位置错误,不符合规范施工,为监测施工位置提供准确的分析。
在一种可能的实现方式中,请参阅图5,S400,基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
S421,根据通信工程线路施工现场视频数据,得到现场线杆和拉线情况。
可以理解,通信工程线路施工现场安放的视频数据采集设备会将施工现场的视频数据和设备自身的地理位置一起实时上传至终端设备。通过目标检测识别施工现场的视频数据中现场线杆和拉线,可以用矩形框在视频标记出现场线杆和拉线,得到现场线杆和拉线情况,有助于后续更好的判断施工信息。
S422,基于得到的现场线杆和拉线情况,通过三角函数得到现场线杆和拉线角度。
可以理解,通过现场线杆和拉线情况的视频数据,可以得到线杆、地面、拉线三者构成的三角形三边的比例关系,通过三者的比例关系和三角函数计算即可以得到三者之间的角度,有助于为后续与模型中的线杆和拉线的角度对比提供数据依据,提高检测的准确性。
S423,获取模拟3D模型中的线杆和拉线的角度。
可以理解,在模拟3D模型中已经根据通信工程线路施工图纸规划好的相应的线杆和拉线的角度,获取模拟3D模型中的线杆和拉线的角度,有利后续与现场线杆和拉线情况对比。
S424,将现场线杆和拉线角度与模拟3D模型中的线杆和拉线的角度进行对比。
可以理解,对于得到的现场线杆和拉线角度和模拟3D模型中的线杆和拉线的角度,将两者进行对比,对比两者的角度是否在误差范围内相同,例如,如果两者角度差距小于1度,则视为相同,大于1度则视为两者不同,两者对比的结果将作为确认现场线杆和拉线角度施工标准的直接依据。
S425,基于对比结果,检测并确认通信工程线路施工现场的现场线杆和拉线角度是否符合施工标准。
可以理解,基于现场线杆和拉线角度和模拟3D模型中的线杆和拉线的角度对比结果,对通信工程线路施工现场的线杆和拉线角度施工情况作检测判断。若两者对比结果为相同,则判断为符合施工标准。若两者对比结果为不同,则判断为不符合施工标准。基于现场线杆和拉线角度和模拟3D模型中的线杆和拉线的角度对比的判断有助于提高准确性。
在一种可能的实现方式中,请参阅图6,S400,基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
S431,根据通信工程线路施工现场视频数据,得到现场塔上作业施工情况。
可以理解,根据通信工程线路施工现场安放的视频数据采集设备采集到的视频数据,可以实时的得到现场塔上作业施工情况视频数据,这些视频数据是后续分析的根本数据依据,利用这些视频数据可以对通信工程线路施工的塔上作业施工情况做进一步的检测和分析,有助于提升准确性。
S432,基于现场塔上作业施工情况,得到塔上作业人员作业轨迹。
可以理解,通过对现场塔上作业施工情况的分析,可以使用计算机视觉、图像处理和数据分析技术得到塔上作业人员作业轨迹,有助于为后续差异化分析提供根本数据数据支撑,提升检测准确性。
可选地,请参阅图7,S432,基于现场塔上作业施工情况,得到塔上作业人员作业轨迹,包括:
S4321,对通信工程线路施工现场视频数据中反映现场塔上作业施工情况的视频数据进行高斯滤波处理。
可以理解,对通信工程线路施工现场视频数据中反映现场塔上作业施工情况原始的视频数据进行高斯滤波处理,可以去除视频中的噪声,提升视频质量,有助于消除图像中的噪声,提高后续处理步骤的效果。
S4322,使用卷积神经网络提取高斯滤波处理后的通信工程线路施工现场视频数据的防坠挂钩视觉特征。
可以理解,使用卷积神经网络对已经通过高斯滤波去噪处理的视频数据进行防坠挂钩特征提取,可以提取视频数据中的防坠挂钩外形、大小、色彩信息。卷积神经网络已经通过大量的塔上作业视频数据集训练,包括正样本(防坠挂钩)和负样本(非防坠挂钩)。通过卷积神经网络的提取,有助于后续得到塔上作业人员作业轨迹。
S4323,基于提取的视觉特征结果检测通信工程线路施工现场视频数据中的防坠挂钩,并输出防坠挂钩相对于塔身的位置。
可以理解,可以根据卷积神经网络对视频数据提取的视觉特征结果,检测出通信工程线路施工现场视频数据中的防坠挂钩,根据模型的输出,通过计算图像中防坠挂钩的物体中心位置确定防坠挂钩相对于塔身底部最左侧的位置(塔身底部最左侧的位置设置为原点)并建立坐标输出,有助于识别得到塔上作业人员作业轨迹,提升准确度。
S4324,通过粒子滤波算法对通信工程线路施工现场视频数据中的防坠挂钩进行目标跟踪。
可以理解,可以使用目标检测,初始化粒子滤波的状态,生成一组粒子,每个粒子代表防坠挂钩的一个假设状态;然后对每个粒子进行状态的预测,计算每个粒子的权重,即该粒子在当前帧中观察到防坠挂钩的概率;再基于权重,对粒子进行重采样,以便更有可能保留具有较高权重的粒子,之后计算粒子的加权平均,作为对防坠挂钩位置的新估计;重复上述预测、权重计算、重采样和更新估计的步骤,直到视频结束,达到跟踪防坠挂钩位置变化的目的。
S4325,根据跟踪的防坠挂钩与塔身连接相对位置变化,得到塔上作业人员作业轨迹。
可以理解,根据跟踪到的防坠挂钩与塔身连接相对位置变化情况,即塔上作业人员通过防坠挂钩在塔上作业位置的变化情况,将塔上作业位置进行可视化,以此能间接得到塔上作业人员作业轨迹,更清晰地了解塔上作业人员在塔上的活动。
S433,获取模拟3D模型中的塔上作业路由轨迹。
可以理解,塔上作业路由轨迹是预先规划好的塔上作业行进路径,模拟3D模型建立时,模拟3D模型中的也建立塔上作业路由轨迹模拟,获取模拟3D模型中的塔上作业路由轨迹能够为后续的差异化分析提供依据,有助于提高差异化分析的精确度。
S434,将塔上作业人员作业轨迹与模拟3D模型中的塔上作业路由轨迹进行差异化分析。
可以理解,可以计算塔上作业人员作业轨迹数据点与模拟3D模型中塔上作业路由轨迹之间的距离差值,确认两者距离差值是否超过设置的阈值,对距离差值超过设置的阈值的位置标记步时,并对距离数据进行统计分析,例如计算平均差异、最大差异、标准差等,以了解塔上作业人员作业轨迹与3D模拟的塔上作业路由轨迹之间的整体差异程度,根据距离计算和统计分析,得出塔上作业人员作业轨迹与塔上作业路由轨迹之间的相同或偏离的结果。
S435,基于差异化分析结果,确认通信工程线路施工现场的塔上作业人员作业轨迹是否符合规定路由轨迹施工。
可以理解,根据塔上作业人员作业轨迹与模拟3D模型中的塔上作业路由轨迹差异化分析结果,得出两者之间差异结果,如果差异化分析结果为相同则代表符合规定路由轨迹施工,若存在偏离则进行容错检测,判断偏离原因,以容错性检测的结果作为判断依据。
可选地,请参阅图8,S435,基于差异化分析结果,确认通信工程线路施工现场的塔上作业人员作业轨迹是否符合规定路由轨迹施工,包括:
S4351,基于差异化分析确认塔上作业人员作业轨迹偏离规定路由轨迹的情况下,根据差异化分析结果定位塔上作业人员偏离规定路由轨迹的偏离发生位置和偏离结束位置。
可以理解,根据差异化分析的偏离的结果,标记偏离发生位置和偏离结束位置,并记录差异化分析标记的步时,以此定位塔上作业人员偏离规定路由轨迹的偏离发生位置和偏离结束位置,便于后续根据原始视频数据进行容错性分析。
S4352,根据差异化分析结果,得到偏离发生位置至偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量。
可以理解,根据差异化分析中的计算和统计分析,能够得到偏离发生位置至偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量。最大垂直偏离位移量是偏离发生位置至偏离结束位置偏离规定路由轨迹过程中的最大垂直位移距离。最大水平偏离位移量是偏离发生位置至偏离结束位置偏离规定路由轨迹过程中的最大水平位移距离。
S4353,基于偏离发生位置和偏离结束位置,从通信工程线路施工现场视频数据中截取偏离发生位置对应时刻至偏离结束位置对应时刻的视频数据片段。
可以理解,可以根据定位到的偏离发生位置和偏离结束位置,通过差异化分析中标记的步时,从通信工程线路施工现场视频数据中截取偏离发生位置对应时刻至偏离结束位置对应时刻的视频数据片段。有利于后续分析的展开。
S4354,将偏离发生位置对应时刻至偏离结束位置对应时刻的视频数据片段解码为视频帧图像。
可以理解,对于截取到的偏离发生位置对应时刻至偏离结束位置对应时刻的视频数据,将其解码为视频帧图像,这些视频帧图像是后续检测的根本依据,有助于提升检测的准确性。
S4355,基于偏离发生位置至偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量,矩形截取视频帧图像中偏离位置的图像。
可以理解,根据最大垂直偏离位移量和最大水平偏离位移量和塔身相对位置的比例,能够在视频帧图像中得到偏离位置,最大垂直偏离位移量作为矩形的竖直方向比例,最大水平偏离位移量作为矩形的水平方向比例,根据与塔身大小的比例截取出完整的偏离位置的图像,为后续检测提供更具体的检测图像,提升检测精确度。
S4356,对截取的偏离位置的图像去噪处理并进行边缘检测。
可以理解,可以采用高斯滤波对截取的偏离位置的图像去噪处理,提升图像的质量,并对偏离位置的图像进行边缘检测,通过边缘检测能够识别出塔身在偏离位置是否出现障碍物,对于识别到的障碍物,检测障碍物的形态和大小,将检测到的障碍物的大小和形态与图像边界(最大垂直偏离位移量和最大水平偏离位移量得到的图像边界)做相对比较,若障碍物大小和形态超过图像边界比例1/5则认为存在障碍,不超过则认为不存在障碍。边缘检测的基本思想是利用图像中灰度值的梯度。梯度表示灰度变化的速率和方向。边缘通常是灰度值变化最剧烈的地方,因此在边缘位置,梯度值较大。计算得到梯度之后,通过设定阈值来确定哪些梯度值被认为是边缘。超过阈值的梯度被标记为边缘,否则被认为是噪声。
S4357,当边缘检测确定塔上作业人员若按规定路由轨迹施工存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹为符合规定路由轨迹施工;当边缘检测确定塔上作业人员若按规定路由轨迹施工不存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹施工。
可以理解,当边缘检测确定塔上作业人员若按规定路由轨迹施工存在障碍时,即识别到障碍物的大小和形态范围超过图像边界比例的1/5时,判定塔上作业人员作业轨迹偏离规定路由轨迹为符合规定路由轨迹施工。当边缘检测确定塔上作业人员若按规定路由轨迹施工不存在障碍时,即在偏离位置图像中未能识别到障碍物,或识别到障碍物的大小和形态范围不超过图像边界比例的1/5时,判定塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹施工。
在一种可能的实现方式中,请参阅图9,S400,基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况,还包括:
S441,通过边缘检测对跟踪的防坠挂钩与塔身进行识别分析。
可以理解,对于经过高斯滤波的通信工程线路施工现场视频数据,可以通过边缘检测,对跟踪的防坠挂钩和塔身边缘进行连续检测分析,当两者边缘存在交错时,认为防坠挂钩与塔身连接,当边缘不存在交错时认为防坠挂钩未与塔身连接。
S442,根据边缘检测识别分析结果,判断是否始终有至少一个防坠挂钩与塔身连接。
可以理解,通过边缘检测对跟踪的防坠挂钩和塔身边缘进行连续检测分析的结果在连续变化时间内始终为防坠挂钩与塔身连接时,判断为有至少一个防坠挂钩与塔身连接。当边缘检测对跟踪的防坠挂钩和塔身边缘进行连续检测分析的结果在连续变化时间内存在为防坠挂钩未与塔身连接时,判断为无至少一个防坠挂钩与塔身连接,并判断为施工现场存在不合规行为的情况。
S500,在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告。
可以理解,根据获取的通信工程线路施工现场视频数据,通过多种检测识别到通信工程线路施工中的异常情况时,触发报警措施,自动生成施工报告,以此通知施工人员和监管消除或避开异常情况,有利于监管的进行,提升实用性。
在一种可能的实现方式中,请参阅图10,S500,在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告,包括:
S510,在确认通信工程线路施工现场存在不合规行为的情况下,触发报警措施。
可以理解,在检测到施工过程中存在不合规行为的情况下,例如检测到施工位置错误、现场线杆和拉线角度不符合施工标准、塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹、无至少一个防坠挂钩与塔身连接时触发报警措施。报警措施可以是多种形式,例如触发警报声、语音提示、闪烁灯光、向预设设备发送短信或邮件、向预设设备的APP上发出通知等。
S520,基于获取的通信工程线路施工现场视频数据,确认施工现场的不合规行为发生时间。
可以理解,在通信工程线路施工现场视频数据中检测到施工过程中存在不合规行为的情况下,例如检测到施工位置错误、现场线杆和拉线角度不符合施工标准、塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹、无至少一个防坠挂钩与塔身连接时,获取不合规行为视频中的发生时间。
S530,根据通信工程线路施工情况检测结果、触发的报警措施和确认的施工现场的不合规行为发生时间,生成施工报告。
可以理解,根据通信工程线路施工情况检测结果,列出检测到的异常情况,包括异常类型、位置、发生时间等,根据每个检测到的异常触发的报警措施,包括报警类型、触发时间、采取的应急措施等,作为每个不合规行为的具体情况,并插入相关异常发生时段的视频数据和图像,并添加施工现场的基本情况,包括施工区域的地理位置、天气状况、施工进度等,结合生成施工报告。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的基于视频分析的工程施工监管方法,本申请实施例还提供了一种基于视频分析的工程施工监管系统,该系统的各个模块可以实现基于视频分析的工程施工监管方法的各个步骤。图11示出了本申请实施例提供的基于视频分析的工程施工监管系统的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图11,该基于视频分析的工程施工监管系统包括:
第一获取模块,用于获取通信工程线路施工现场视频数据;
第二获取模块,用于获取通信工程线路施工图纸;
第一生成模块,用于根据通信工程线路施工图纸,生成模拟3D模型;
检测模块,用于基于模拟3D模型和通信工程线路施工现场视频数据,检测通信工程线路施工情况;
第二生成模块,用于在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告。
需要说明的是,上述模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将所述基于视频分析的工程施工监管系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个处理模块中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种基于视频分析的工程施工监管设备,图12为本申请一实施例提供的基于视频分析的工程施工监管设备的结构示意图。如图12所示,该实施例的基于视频分析的工程施工监管设备6包括:至少一个处理器60(图12中仅示出一个)、至少一个存储器61(图12中仅示出一个)以及存储在所述至少一个存储器61中并可在所述至少一个处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时,使所述基于视频分析的工程施工监管设备6实现上述任意各个基于视频分析的工程施工监管方法实施例中的步骤,或者使所述基于视频分析的工程施工监管设备6实现上述系统实施例中各模块的功能。
示例性地,所述计算机程序62可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在基于视频分析的工程施工监管设备6中的执行过程。
所述基于视频分析的工程施工监管设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该基于视频分析的工程施工监管设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图12仅仅是基于视频分析的工程施工监管设备6的举例,并不构成对基于视频分析的工程施工监管设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),该处理器60还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述基于视频分析的工程施工监管设备6的内部存储单元,例如基于视频分析的工程施工监管设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述基于视频分析的工程施工监管设备6的外部存储设备,例如所述基于视频分析的工程施工监管设备6上配备的插接式硬盘,智能存储卡(Smart MediaCard, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述基于视频分析的工程施工监管设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任意各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备实现上述任意各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的基于视频分析的工程施工监管系统/基于视频分析的工程施工监管设备和方法,可以通过其它的方式实现。例如,以上所描述的基于视频分析的工程施工监管系统/基于视频分析的工程施工监管设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,系统或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于视频分析的工程施工监管方法,其特征在于,包括:
获取通信工程线路施工现场视频数据;
获取通信工程线路施工图纸;
根据所述通信工程线路施工图纸,生成模拟3D模型;
基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况;
在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告;
其中,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
根据所述通信工程线路施工现场视频数据,得到现场塔上作业施工情况;
基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹;
获取所述模拟3D模型中的塔上作业路由轨迹;
将所述塔上作业人员作业轨迹与所述模拟3D模型中的所述塔上作业路由轨迹进行差异化分析;
基于差异化分析结果,确认通信工程线路施工现场的所述塔上作业人员作业轨迹是否符合规定路由轨迹施工;
所述基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹,包括:
对所述通信工程线路施工现场视频数据中反映现场塔上作业施工情况的视频数据进行高斯滤波处理;
使用卷积神经网络提取高斯滤波处理后的通信工程线路施工现场视频数据的防坠挂钩视觉特征;
基于提取的视觉特征结果检测通信工程线路施工现场视频数据中的防坠挂钩,并输出防坠挂钩相对于塔身的位置;
通过粒子滤波算法对通信工程线路施工现场视频数据中的防坠挂钩进行目标跟踪;
根据跟踪的防坠挂钩与塔身连接相对位置变化,得到塔上作业人员作业轨迹。
2.如权利要求1所述的基于视频分析的工程施工监管方法,其特征在于,所述根据所述通信工程线路施工图纸,生成模拟3D模型,包括:
读取所述通信工程线路施工图纸;其中,所述通信工程线路施工图纸为二维图纸;
识别所述通信工程线路施工图纸的图纸信息;
根据所述通信工程线路施工图纸和识别的图纸信息进行渲染和建模,得到3D模型。
3.如权利要求2所述的基于视频分析的工程施工监管方法,其特征在于,所述识别所述通信工程线路施工图纸的图纸信息,包括:
对所述通信工程线路施工图纸中的各个元素进行分割;其中,各个元素包括线杆、拉线、防坠挂钩、弱电管道、光纤接头、光缆线路路径、标志、施工设备;
识别分割后的物体图元;
识别所述通信工程线路施工图纸中的图纸文本信息;
将识别的所述物体图元和所述图纸文本信息进行对应并结构化,并得到可用于渲染和建模的结构化数据。
4.如权利要求1所述的基于视频分析的工程施工监管方法,其特征在于,所述基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况,包括:
根据所述通信工程线路施工现场视频数据,得到现场线杆和拉线情况;
基于得到的所述现场线杆和拉线情况,通过三角函数得到现场线杆和拉线角度;
获取所述模拟3D模型中的线杆和拉线的角度;
将所述现场线杆和拉线角度与所述模拟3D模型中的线杆和拉线的角度进行对比;
基于对比结果,检测并确认通信工程线路施工现场的所述现场线杆和拉线角度是否符合施工标准。
5.如权利要求1所述的基于视频分析的工程施工监管方法,其特征在于,所述基于差异化分析结果,确认通信工程线路施工现场的所述塔上作业人员作业轨迹是否符合规定路由轨迹施工,包括:
基于差异化分析确认塔上作业人员作业轨迹偏离规定路由轨迹的情况下,根据差异化分析结果定位塔上作业人员偏离规定路由轨迹的偏离发生位置和偏离结束位置;
根据差异化分析结果,得到所述偏离发生位置至所述偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量;
基于所述偏离发生位置和所述偏离结束位置,从所述通信工程线路施工现场视频数据中截取所述偏离发生位置对应时刻至所述偏离结束位置对应时刻的视频数据片段;
将所述偏离发生位置对应时刻至所述偏离结束位置对应时刻的视频数据片段解码为视频帧图像;
基于所述偏离发生位置至所述偏离结束位置偏离规定路由轨迹的最大垂直偏离位移量和最大水平偏离位移量,矩形截取视频帧图像中偏离位置的图像;
对截取的偏离位置的图像去噪处理并进行边缘检测;
当边缘检测确定塔上作业人员若按规定路由轨迹施工存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹为符合规定路由轨迹施工;当边缘检测确定塔上作业人员若按规定路由轨迹施工不存在障碍时,判定塔上作业人员作业轨迹偏离规定路由轨迹不符合规定路由轨迹施工。
6.如权利要求1至5任一项所述的基于视频分析的工程施工监管方法,其特征在于,所述在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告,包括:
在确认通信工程线路施工现场存在不合规行为的情况下,触发报警措施;
基于获取的所述通信工程线路施工现场视频数据,确认施工现场的不合规行为发生时间;
根据通信工程线路施工情况检测结果、触发的所述报警措施和确认的所述施工现场的不合规行为发生时间,生成施工报告。
7.一种基于视频分析的工程施工监管系统,其特征在于,包括:
第一获取模块,用于获取通信工程线路施工现场视频数据;
第二获取模块,用于获取通信工程线路施工图纸;
第一生成模块,用于根据所述通信工程线路施工图纸,生成模拟3D模型;
检测模块,用于基于所述模拟3D模型和所述通信工程线路施工现场视频数据,检测通信工程线路施工情况;
第二生成模块,用于在检测到通信工程线路施工存在异常的情况下,触发报警措施并生成施工报告;
其中,所述检测模块还用于:
根据所述通信工程线路施工现场视频数据,得到现场塔上作业施工情况;
基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹;
获取所述模拟3D模型中的塔上作业路由轨迹;
将所述塔上作业人员作业轨迹与所述模拟3D模型中的所述塔上作业路由轨迹进行差异化分析;
基于差异化分析结果,确认通信工程线路施工现场的所述塔上作业人员作业轨迹是否符合规定路由轨迹施工;
所述基于所述现场塔上作业施工情况,得到塔上作业人员作业轨迹,包括:
对所述通信工程线路施工现场视频数据中反映现场塔上作业施工情况的视频数据进行高斯滤波处理;
使用卷积神经网络提取高斯滤波处理后的通信工程线路施工现场视频数据的防坠挂钩视觉特征;
基于提取的视觉特征结果检测通信工程线路施工现场视频数据中的防坠挂钩,并输出防坠挂钩相对于塔身的位置;
通过粒子滤波算法对通信工程线路施工现场视频数据中的防坠挂钩进行目标跟踪;
根据跟踪的防坠挂钩与塔身连接相对位置变化,得到塔上作业人员作业轨迹。
8.一种基于视频分析的工程施工监管设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311656989.7A CN117372427B (zh) | 2023-12-06 | 2023-12-06 | 基于视频分析的工程施工监管方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311656989.7A CN117372427B (zh) | 2023-12-06 | 2023-12-06 | 基于视频分析的工程施工监管方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117372427A true CN117372427A (zh) | 2024-01-09 |
CN117372427B CN117372427B (zh) | 2024-03-22 |
Family
ID=89393238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311656989.7A Active CN117372427B (zh) | 2023-12-06 | 2023-12-06 | 基于视频分析的工程施工监管方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117372427B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118627868A (zh) * | 2024-08-14 | 2024-09-10 | 惠州市金雄城建筑科技有限公司 | 一种基于bim模型的施工人员动线管理方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160309339A1 (en) * | 2015-04-14 | 2016-10-20 | ETAK Systems, LLC | Unmanned aerial vehicle-based systems and methods associated with cell sites and cell towers |
CN109471142A (zh) * | 2018-10-25 | 2019-03-15 | 国网福建省电力有限公司厦门供电公司 | 一种基于rtk差分定位的工作轨迹识别方法 |
CN112487891A (zh) * | 2020-11-17 | 2021-03-12 | 云南电网有限责任公司 | 一种应用于电力作业现场的视觉智能动态识别模型构建方法 |
WO2021229576A2 (en) * | 2020-05-14 | 2021-11-18 | Ultrawis Ltd. | Systems and methods for remote control and automation of a tower crane |
CN113688459A (zh) * | 2021-08-31 | 2021-11-23 | 中国建筑第七工程局有限公司 | 基于bim与ai的施工现场安全管理系统 |
CN114022846A (zh) * | 2021-11-10 | 2022-02-08 | 广东电网能源发展有限公司 | 作业车辆的防碰撞监控方法、装置、设备和介质 |
WO2022105609A1 (zh) * | 2020-11-19 | 2022-05-27 | 中科智云科技有限公司 | 一种高空抛物检测方法、装置、计算机设备及存储介质 |
CN115063442A (zh) * | 2022-06-30 | 2022-09-16 | 山东信通电子股份有限公司 | 一种输电线路隐患目标跟踪方法、设备及介质 |
CN115309940A (zh) * | 2022-08-10 | 2022-11-08 | 公诚管理咨询有限公司 | 基于工地执法记录仪的智慧施工数据分析方法及其系统 |
CN115511329A (zh) * | 2022-09-30 | 2022-12-23 | 广东立胜综合能源服务有限公司 | 一种电力作业合规监测系统及方法 |
CN116502897A (zh) * | 2023-06-26 | 2023-07-28 | 中兴软件技术(南昌)有限公司 | 一种基于图像识别的基建安全监控方法及系统 |
CN116911522A (zh) * | 2023-06-15 | 2023-10-20 | 上海建工集团股份有限公司 | 一种基于数字孪生的现场施工人员管控系统及方法 |
CN116934180A (zh) * | 2023-09-15 | 2023-10-24 | 恒实建设管理股份有限公司 | 全过程咨询信息管理方法、系统、装置及存储介质 |
CN117152211A (zh) * | 2023-09-25 | 2023-12-01 | 同济大学 | 一种面向施工人机安全的动态入侵检测方法和系统 |
-
2023
- 2023-12-06 CN CN202311656989.7A patent/CN117372427B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160309339A1 (en) * | 2015-04-14 | 2016-10-20 | ETAK Systems, LLC | Unmanned aerial vehicle-based systems and methods associated with cell sites and cell towers |
CN109471142A (zh) * | 2018-10-25 | 2019-03-15 | 国网福建省电力有限公司厦门供电公司 | 一种基于rtk差分定位的工作轨迹识别方法 |
WO2021229576A2 (en) * | 2020-05-14 | 2021-11-18 | Ultrawis Ltd. | Systems and methods for remote control and automation of a tower crane |
CN112487891A (zh) * | 2020-11-17 | 2021-03-12 | 云南电网有限责任公司 | 一种应用于电力作业现场的视觉智能动态识别模型构建方法 |
WO2022105609A1 (zh) * | 2020-11-19 | 2022-05-27 | 中科智云科技有限公司 | 一种高空抛物检测方法、装置、计算机设备及存储介质 |
CN113688459A (zh) * | 2021-08-31 | 2021-11-23 | 中国建筑第七工程局有限公司 | 基于bim与ai的施工现场安全管理系统 |
CN114022846A (zh) * | 2021-11-10 | 2022-02-08 | 广东电网能源发展有限公司 | 作业车辆的防碰撞监控方法、装置、设备和介质 |
CN115063442A (zh) * | 2022-06-30 | 2022-09-16 | 山东信通电子股份有限公司 | 一种输电线路隐患目标跟踪方法、设备及介质 |
CN115309940A (zh) * | 2022-08-10 | 2022-11-08 | 公诚管理咨询有限公司 | 基于工地执法记录仪的智慧施工数据分析方法及其系统 |
CN115511329A (zh) * | 2022-09-30 | 2022-12-23 | 广东立胜综合能源服务有限公司 | 一种电力作业合规监测系统及方法 |
CN116911522A (zh) * | 2023-06-15 | 2023-10-20 | 上海建工集团股份有限公司 | 一种基于数字孪生的现场施工人员管控系统及方法 |
CN116502897A (zh) * | 2023-06-26 | 2023-07-28 | 中兴软件技术(南昌)有限公司 | 一种基于图像识别的基建安全监控方法及系统 |
CN116934180A (zh) * | 2023-09-15 | 2023-10-24 | 恒实建设管理股份有限公司 | 全过程咨询信息管理方法、系统、装置及存储介质 |
CN117152211A (zh) * | 2023-09-25 | 2023-12-01 | 同济大学 | 一种面向施工人机安全的动态入侵检测方法和系统 |
Non-Patent Citations (3)
Title |
---|
WANG, JIYAO等: "Vision-Based Automated Recognition and 3D Localization Framework for Tower Cranes Using Far-Field Cameras", 《SENSORS》, 11 June 2023 (2023-06-11) * |
江楠;马江涛;郑远攀;: "基于BS架构的收割机轨迹数据可视化分析系统", 农机化研究, no. 12, 18 May 2020 (2020-05-18) * |
黄凯;: "通信工程中铁塔基础的选择及设计方法", 绿色环保建材, no. 05, 23 May 2019 (2019-05-23) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118627868A (zh) * | 2024-08-14 | 2024-09-10 | 惠州市金雄城建筑科技有限公司 | 一种基于bim模型的施工人员动线管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117372427B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117372427B (zh) | 基于视频分析的工程施工监管方法及系统 | |
CN107036672B (zh) | 一种水位监测方法和装置 | |
CN103700261A (zh) | 一种基于视频的道路交通流特征参数监测及交通综合信息服务系统 | |
CN112652015B (zh) | 基于bim的路面病害标记方法和装置 | |
CN112344869B (zh) | 基于侧面拟合的铁塔变形监测方法及系统 | |
CN110597937B (zh) | 一种无人智能巡检的方法、装置、设备及存储介质 | |
CN112508071A (zh) | 基于bim的桥梁病害标记方法和装置 | |
CN115047143A (zh) | 一种油库监测方法、装置、设备及存储介质 | |
CN113762229B (zh) | 一种建筑场地内建筑器材的智能识别方法及系统 | |
CN113299073A (zh) | 识别车辆违章停车的方法、装置、设备和存储介质 | |
CN113011280A (zh) | 人员接触距离的检测方法、装置、计算机设备和存储介质 | |
JP2024067277A (ja) | 水位計測装置および水位計測方法、並びにプログラム | |
CN113935859A (zh) | 一种基于bim模型的智慧工地系统 | |
CN113435801B (zh) | 基于人工智能的输电线安全隐患评估的方法、装置及设备 | |
CN113139477A (zh) | 训练井盖检测模型的方法、装置、设备及计算机存储介质 | |
CN116647032B (zh) | 一种目标施工车辆的输电线路实时防护系统和方法 | |
CN111079752A (zh) | 识别红外图像中的断路器的方法、装置及可读存储介质 | |
CN115272898A (zh) | 基于管网无人机巡检视频的识别方法、装置、介质和设备 | |
CN113902927B (zh) | 一种融合了图像与点云信息的综合信息处理方法 | |
CN114821806A (zh) | 作业人员行为确定方法、装置、电子设备及存储介质 | |
CN113436332A (zh) | 消防预案数字化显示方法、装置、服务器及可读存储介质 | |
CN109101585B (zh) | 一种电网全景潮流图嵌入厂站接线画面的方法及装置 | |
CN114419483B (zh) | 一种电力杆塔作业围栏违规设置的检测方法、系统及设备 | |
CN116403165B (zh) | 一种危险化学品泄露应急处理方法、装置及可读存储介质 | |
CN116828156B (zh) | 地理空间事件的采集方法、系统、设备、介质及采集盒 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |