CN114882201A - 实时全景三维数字工地地图监管系统及方法 - Google Patents

实时全景三维数字工地地图监管系统及方法 Download PDF

Info

Publication number
CN114882201A
CN114882201A CN202210398352.1A CN202210398352A CN114882201A CN 114882201 A CN114882201 A CN 114882201A CN 202210398352 A CN202210398352 A CN 202210398352A CN 114882201 A CN114882201 A CN 114882201A
Authority
CN
China
Prior art keywords
monitoring
data
map
video
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210398352.1A
Other languages
English (en)
Inventor
张琨
王开强
李迪
王晓飞
李记昌
胡正欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Third Bureau Group Co Ltd
Original Assignee
China Construction Third Bureau Construction Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Third Bureau Construction Engineering Co Ltd filed Critical China Construction Third Bureau Construction Engineering Co Ltd
Priority to CN202210398352.1A priority Critical patent/CN114882201A/zh
Publication of CN114882201A publication Critical patent/CN114882201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/30—Construction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/60—Positioning; Navigation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Toxicology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种实时全景三维数字工地地图监管系统及方法，该系统包括数据层系统、核心层系统、交互层系统。本发明实现了将多路多角度的监控画面融合；以时间序的形式提取监控群的关键帧画面、RTK、GPS、电子罗盘等信息并结合倾斜摄像实景三维还原技术，获取工地现场的动态更新数字高程模型及正射影像地图；将正射影像地图与卫星地图融合，通过地图索引方式实现监管部门对全球多地工程现场的监控快速调度，从而具备全新的对多个工程现场的同时远程指导及监督管理能力；多终端交互，实现多个管理部门对同一个工程现场同时协同监督管理，从而提升多个部门之间协作的连贯性及高效性。

Description

实时全景三维数字工地地图监管系统及方法
技术领域
本发明属于工地监管领域，具体涉及一种实时全景三维数字工地地图监管系统及方法。
背景技术
传统的建筑数字化工地中往往存在着视频监控画面零散、系统繁多不连续、整体缺乏空间感、建筑模型脱离实际、工地内部无法导航、系统功能单一、事件追溯难等问题，已经无法满足现代化建设生产的需求。
随着建筑工程数字化的发展，尤其是在数字化智慧建造方向，大数据、人工智能方向在建筑工地的应用越来越广泛。
目前急需智能化数字化工地的全方位视频监控，以更加有效应对工地现场的突发事件并及时监控和存储，及数据具备事件的全过程快速定位、追溯；具备尺度及经纬等地理位置信息的高精度实景三维模型，及可用于土方测量、通视分析等的数字高程模型；具备快速调度全球不同区域的工程现场的实景三维视频监控画面功能，以提高对多个工程现场的同时远程指导及监督管理能力；具备多终端协同交互操作功能，以提高工地施工现场实时多方协同管理的效率。
发明内容
针对现有技术中存在的技术问题，本发明提出一种实时全景三维数字工地地图监管系统及方法，采用先进的实时实景三维视频融合技术，高度还原现场施工环境及进展，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图还为管理者提供工地现场多角度、跨时空的“上帝”视角，实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、AR识别与验收等其他智能化应用基础的数字底图。
本发明提供如下技术方案：
一种实时全景三维数字工地地图监管系统，由系统架构及技术模块架构组成。其中系统架构主要包括：数据层系统，核心层系统，交互层系统：
数据层系统(边缘处理)：通过监控设备进行数据采集及编码组流，推送至视频数据流处理平台；数据管理平台进行帧流管理及数据存储；云管理平台进行提取关键帧组成数据流及网速流量管理；
核心层系统(数据处理)：从数据层系统获取的数据以机构化数据、时序数据、分布式数据进行数据库存储；核心算法主要包含：多角度多路视频融合、实景三维重建、数字高程模型、数字正射影像地图；
交互层系统(终端展示)：用户管理获取设备使用管理权限进行核心层系统数据的快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互。
其中技术模块架构主要包括：数据模块、核心算法模块、交互监管模块：
S1、数据模块部分
S11、依据工程项目的设计规划图纸，自动规划监控等设备布设点位，使监控能全面覆盖整个项目工地区域；
S12、监控架设完成后，以有线、无线(Wi-Fi、4G、5G等)网络进行自适应组网；
S13、前端监控数据需进行时间同步处理；
S14、提取监控视频画面的关键帧；
S15对提取的关键帧以机构化、时序、分布式数据库管理存储，用于数据动态更新。
S2、核心算法模块部分
S20、施工过程中，随着施工建筑的增高，会出现监控盲区或机密区域，需对监控设备进行增减，并对增加的监控设备使用自适应布控技术组网；
S21、快速增减摄影头画面融合；
S22、多角度多路监控视频画面的整体融合；
S23、实景三维重建；
S24、数字高程模型；
S25、正射影像地图，实现跨时空监控；
S26、正射影像地图与卫星地图融合。
S3、交互监管模块部分
用户管理获取设备使用管理权限用于监控视频融合及卫星地图融合的数据快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互；通过卫星地图索引方式实现对多地工程项目现场的监控快速调度；多终端交互，实现多个管理部门对同一个工程现场同时协同监督管理。
其中S2核心算法模块还包括核心技术架构，核心技术包含：1、多路视频融合技术，2、视频管理可添加/删减融合技术，3、三维底图自动更新技术，4、快速调度及无缝漫游、多交互技术。
优选所述核心技术中多路视频融合技术为成熟的通用技术模块。该模块具体用于：将多路具备相关性的监控画面融合相融合的多路图像拼接；处理图像拼接产生的拼接缝的图像边缘融合；将多组监控画面色彩统一的图像匀色，以解决多组监控曝光度等不同产生的色差；将多组监控融合的画面进行多角度变换的图像仿射、透视变换；解决图像变换过程中产生形变的图像自动矫正。
优选的，核心技术中视频管理可添加/删减融合技术为定向优化的自研技术模块。该模块用于：图像自标定融合技术将新增的监控视频画面与周围相邻监控视频画面进行图像分析，自动标定计算出新增监控的实际位置等外参信息；自动融合、自动补缺技术用于：1、关键区域、未覆盖点增加摄像机的融合，2、非重要区域、保密区删减摄像机的画面补缺。
优选的，核心技术中三维底图自动更新技术为定向优化的自研技术模块。该模块用于：监控画面可达区域，提取最新同一时间节点的监控群的关键帧及监控GPS位置等信息采用倾斜摄影技术用于实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；实景三维模型具备尺度及经纬等地理位置信息，数据精度在10cm左右，可用于土方测量、通视分析等的数字高程模型；通过按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。
优选的，核心技术中快速调度及无缝漫游、多交互技术为定向优化的自研技术模块。该模块用于：融合卫星地图技术用于将动态更新的数字正射影像地图与卫星地图融合，该技术用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力；编码组流技术用于将多路监控的高清视频及数字高程模型等进行数据二次编码提高信息传输的安全性，二次编码组成数据流提高大数据量信息传输的连贯性及稳定性；三维视频解析技术用于编码组流的大数据量信息解析，将二次编码信息解析还原成高清视频监控及数字高程模型等；多交互操作技术采用手势控制、AR、VR等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、PC端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现多个终端对同一个工程现场数据协同操作及监督管理。
本发明还提供一种实时全景三维数字工地地图监管装置，包括监控摄像机、存储阵列、网络、视频网关、解码矩阵、中央集群服务器、手机、PC以及指挥中心大屏；
监控摄像机、存储阵列、网络，用于实现S1数据模块部分的数据采集、存储及并发传输；视频网关，用于快速调度监控单元数据；解码矩阵，用于二次编码信息的解析还原；中央集群服务器，用于实现S2核心算法模块部分的图像图像算法的运算；手机、PC以及指挥中心大屏，用于实时全景三维监控场景的显示、交互及多方协同。
本发明与现有技术相比，具有以下优点及有益效果：
本发明以通信网络全覆盖为载体(一张网)，结合实景三维、视频融合、地图关联技术(一张图)，搭建“实时”、“实景”、“实地”的地图平台(一块屏)，实现高度还原现场施工环境及进展的实时实景三维视频展示，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图实现为管理者提供工地现场多角度、跨时空的“上帝”视角；实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、AR识别与验收等其他智能化应用基础的数字底图。
附图说明
图1是本发明的系统架构图；
图2是本发明的技术架构流程图；
图3是本发明的技术原理架构图；
图4是本发明具体实施例中的项目整体布点设计图；
图5是本发明具体实施例中的项目局部塔机布点安装图；
图6是本发明具体实施例中的项目数字正射影像地图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明涉及图像融合处理、摄影测量、视频数据与实景三维模型融合、虚拟现实增强、数据协同交互、数字化建造、智慧建造、安全绿色施工、视频安防监管等技术领域，公开了一种实时全景三维数字工地地图监管系统及方法，该方法具体包含以下步骤：(1)自动规划监控全覆盖点位及设备布设；(2)自适应组网技术；(3)前端数据时间同步；(4)监控视频画面关键帧提取；(5)数据动态更新(机构化、时序、分布式数据库管理)；(6)快速增减摄影头画面融合；(7)多路多角度视频融合；(8)实景三维重建、数字高程模型、正射影像地图(融合卫星地图)动态更新；(9)用户管理、设备管理；(10)快速调度、无缝漫游及多终端交互。
本发明实现了将多路多角度的监控画面融合；以时间序的形式提取监控群的关键帧画面、RTK、GPS、电子罗盘等信息并结合倾斜摄像实景三维还原技术，获取工地现场的动态更新数字高程模型及正射影像地图；将正射影像地图与卫星地图融合，通过地图索引方式实现监管部门(如：局工程指挥中心)对全球多地工程现场的监控快速调度，从而具备全新的对多个工程现场的同时远程指导及监督管理能力；多终端交互，实现多个管理部门对同一个工程现场同时协同监督管理，从而提升多个部门之间协作的连贯性及高效性。
图1为本申请实施例提供的一种实时全景三维数字工地地图监管系统的系统架构图。参考图1，该系统包括：数据层系统，核心层系统，交互层系统。其中：
数据层系统(边缘处理)：通过监控设备进行数据采集及编码组流，推送至视频数据流处理平台；数据管理平台进行帧流管理及数据存储；云管理平台进行提取关键帧组成数据流及网速流量管理。
其中数据层系统中涉及硬件：视频监控摄像机、存储阵列、流媒体服务器、网络用于实现图2中S1数据模块部分的数据采集、存储及并发传输；
核心层系统(数据处理)：从数据层系统获取的数据以机构化数据、时序数据、分布式数据进行数据库存储；核心算法主要包含：多角度多路视频融合、实景三维重建、数字高程模型、数字正射影像地图。
其中核心层系统中涉及硬件：视频网关，用于快速调度监控单元数据；解码矩阵，用于二次编码信息的解析还原；中央集群服务器用于实现图2中S2核心算法模块部分的图像图像算法的运算；
交互层系统(终端展示)：用户管理获取设备使用管理权限进行核心层系统数据的快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互。
其中交互层系统中涉及硬件：手势控制设备、AR设备、VR设备、手机、PC以及指挥中心大屏，用于实现图2中S3交互监管模块中的实时全景三维监控场景的显示、交互及多方协同。
图2为本申请实施例提供的一种实时全景三维数字工地地图监管方法流程图。参考图2，主要包括：数据模块、核心算法模块、交互监管模块。其中：
S1、数据模块：
S11、依据工程项目的设计规划图纸，自动规划监控等设备布设点位，使监控能全面覆盖整个项目工地区域；S12、监控架设完成后，以有线、无线(Wi-Fi、4G、5G等)网络进行自适应组网；S13、前端监控数据需进行时间同步处理；S14、提取监控视频画面的关键帧；S15、对提取的关键帧以机构化、时序、分布式数据库管理存储，用于数据动态更新。
S2、核心算法模块：
S20、施工过程中，随着施工建筑的增高，会出现监控盲区或机密区域，需对监控设备进行增减，并对增加的监控设备使用自适应布控技术组网；
S21、快速增减摄影头画面融合：在需要增强监控的关键区域、施工建筑增高后出现覆盖盲区，进行添加监控设备，对新增的监控画面可自动融合至全局；在非重要区域、保密区等，进行监控去除，对产生缺失部分进行底图自动补缺；
S22、多路多角度监控视频画面的整体融合，通过图像特征点分析，计算出监控之间相应的位置及变换关系，将多组监控画面初步拼接起来；图像拼接处会出现色差、缝隙等差异，通过融合算法优化可有效解决局部的边缘缝隙等问题；全局图像融合中，由与拍摄时间、设备拍摄参数不同等，使得最终融合会出现以块为单位的色彩差异；通过色彩提取、修正、增强等，可将全局色彩一致化；图像拍摄、融合、变换视角等，会出现畸变；采取轮廓检测、直线检测等，并对曲线和直线结构保持约束项的结构保持绘制，对相似变换进行约束，矫正拼接图像的形状，减小投影失真导致的最终图像扭曲；
S23、监控可达区域，进行实景三维重建更新底图：主要针对塔机监控覆盖区域及周边监控区域，其中塔机覆盖部分为主要施工区域，步骤S14提取多路监控关键帧、步骤S15存储的关键帧、GPS、电子罗盘等信息，同时结合目前成熟的倾斜摄像技术，及实景三维还原技术实现实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；
S24、具备GPS经纬地理位置、实际空间尺度、电子罗盘等信息的实景三维模型即为可用于土方测量、通视分析的数字高程模型；结合步骤S15数据动态更新，获取的工地现场动态更新数字高程模型，实现跨时空监控；
S25、数字高程模型通过正射投影，可获取正射影像地图；
S26、将具备GPS经纬地理位置正射影像地图与卫星地图融合，实现通过地图索引方式实现监管部门对全球多地工程现场的监控快速调度。
S3、交互监管模块：
用户管理获取设备使用管理权限用于监控视频融合及卫星地图融合的数据快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互；通过卫星地图索引方式实现对多地工程项目现场的监控快速调度；多终端交互实现多个管理部门对同一个工程现场同时协同监督管理。
图3为本申请实施例提供的一种实时全景三维数字工地地图监管方法和系统的技术原理架构图。参考图3，技术原理架构主要包括：1、多路视频融合技术，2、视频管理可添加/删减融合技术，3、三维底图自动更新技术，4、快速调度及无缝漫游、多交互技术。其中：
多路视频融合技术为成熟的通用技术模块。该模块主要用到的技术有：多路图像拼接用于将多路具备相关性的监控画面融合相融合；图像边缘融合用于处理图像拼接产生的拼接缝；图像匀色技术用于将多组监控画面色彩统一，解决多组监控曝光度等不同产生的色差；图像仿射、透视变换技术用于将多组监控融合的画面进行多角度变换；图像自动矫正技术用于解决图像变换过程中产生的形变。如：图像拼接处会出现色差、缝隙等差异，通过融合算法优化可有效解决局部的边缘缝隙等问题；全局图像融合中，由于拍摄时间、设备拍摄参数不同等，使得最终融合会出现以块为单位的色彩差异，可通过色彩提取、修正、增强等，可将全局色彩一致化；图像拍摄、融合、变换视角等，会出现畸变，可采取轮廓检测、直线检测等，并对曲线和直线结构保持约束项的结构保持绘制，对相似变换进行约束，矫正拼接图像的形状，减小投影失真导致的最终图像扭曲；
视频管理可添加/删减融合技术为定向优化的自研技术模块。该模块主要用到的技术有：图像自标定融合技术将新增的监控视频画面与周围相邻监控视频画面进行图像分析，自动标定计算出新增监控的实际位置等外参信息；自动融合、自动补缺技术用于：1、关键区域、未覆盖点增加摄像机的融合，2、非重要区域、保密区删减摄像机的画面补缺。
三维底图自动更新技术为定向优化的自研技术模块。监控画面可达区域，主要针对塔机监控覆盖区域及周边监控区域，其中塔机覆盖部分为主要施工区域，提取最新同一时间节点的监控群的关键帧及监控GPS位置等信息，并采用倾斜摄影技术及实景三维还原技术进行实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；实景三维模型具备尺度及经纬等地理位置信息，数据精度在10cm左右，可用于土方测量、通视分析等的数字高程模型；通过按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。
快速调度及无缝漫游、多交互技术为定向优化的自研技术模块。该模块主要用到的技术有：融合卫星地图技术用于将动态更新的数字正射影像地图与卫星地图融合，该技术用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力；编码组流技术用于将多路监控的高清视频及数字高程模型等进行数据二次编码提高信息传输的安全性，二次编码组成数据流提高大数据量信息传输的连贯性及稳定性；三维视频解析技术用于编码组流的大数据量信息解析，将二次编码信息解析还原成高清视频监控及数字高程模型等；多交互操作技术采用手势控制、AR、VR等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、PC端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现了多个终端对同一个工程现场数据协同操作及监督管理。
图4为项目整体布点设计图。参考图4，设计以下安装方案：全场摄像机数量总共设计26台，2.8mm-12mm焦距1080P红外枪型摄像机24台，球形摄像机2台；以塔机为安装支点，共四侧，每侧以水平同轴方式各安装两台枪型摄像机，形成全景覆盖同时在对角各安装一台球机实现细节追踪。四面围墙各居中安装一根15米高立杆，每根立杆上方各安装四台枪型摄像机，其中两台为一组同轴且每组背对安装。
图5给出了项目局部塔机布点安装图。参考图5，塔机安装监控方式分三种：塔机大臂前端1、塔机大臂末端2和塔机机身中部3。其中：塔机机身中部3采用图4所述，塔机四侧，每侧以水平同轴方式各安装两台枪型摄像机，形成全景覆盖。
多摄像头相邻之间进行图像拼接融合，特征匹配中有如下关系：
SSD(Sum of Squared Distance)
Figure BDA0003598414120000081
(SSD用于最佳拟合)
SAD(Sum of Absolute Difference)
Figure BDA0003598414120000082
(SAD用于评估图像模块的相似度)
NCC(Normalized Cross Correlation)
Figure BDA0003598414120000083
(NCC用于归一化处理)
塔机大臂前端1、大臂末端2采用安装带有RTK、GPS、电子罗盘的多目全景球形监控摄像机。大臂在作业的过程中，摄像机1、2会随大臂一起圆周运动，摄像机的多目相机同时从垂直、倾斜等多个不同的角度同步采集影像，获取到丰富的建筑物顶面及侧视的高分辨率纹理；结合监控摄像机1、2上RTK、GPS、电子罗盘等信息，使用倾斜摄影技术，以大范围、高精度、高清晰的方式全面感知复杂场景，真实地反映地物情况，高精度地获取物方纹理信息，生成真实的实景三维模型。通过融合RTK、GPS、电子罗盘等信息，生成具备直观反映地物的外观、位置、高度等属性的数字高程模型。数字高程模型用以保证真实效果及测绘级精度。
塔机大臂作业过程中，大臂运动为非匀速速度。监控摄像机1、2上RTK、GPS、电子罗盘等信息准确性对模型的生成效率及精度产生影响。改进算法中采用卡尔曼滤波“预测+修正”进行优化，提高数字高程模型的测绘级精度，用于满足土方测量、通视分析等需求。
图6为具体实施例中的项目数字正射影像地图，按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。将动态更新的数字正射影像地图与卫星地图融合，用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力。
最终结合多交互操作技术采用的手势控制、AR、VR等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、PC端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现了多个终端对同一个工程现场数据协同操作及监督管理。
上述实施例中提供的一种实时全景三维数字工地地图监管方法和系统，以通信网络全覆盖为载体(一张网)，结合实景三维、视频融合、地图关联技术(一张图)，搭建“实时”、“实景”、“实地”的地图平台(一块屏)，解决传统视频监控中零散、画面分割、视角狭隘等问题，实现高度还原现场施工环境及进展的实时实景三维视频展示，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图实现为管理者提供工地现场多角度、跨时空的“上帝”视角；实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、AR识别与验收等其他智能化应用基础的数字底图。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实时全景三维数字工地地图监管系统，其特征在于，包括：
数据层系统，数据层系统通过监控设备进行数据采集及编码组流，并推送至视频数据流处理平台，与视频数据流处理平台相连的数据管理平台进行帧流管理及数据存储，与数据管理平台相连的云管理平台进行提取关键帧组成数据流及网速流量管理；
核心层系统，核心层系统将从数据层系统获取的数据以机构化数据、时序数据、分布式数据进行数据库存储，并进行图像处理；图像处理包括多角度多路视频融合、实景三维重建、数字高程模型、数字正射影像地图；
交互层系统，交互层系统由用户管理获取设备使用管理权限，进而进行核心层系统数据的快速调度；调度的数据用于无缝漫游查阅及多终端协同交互。
2.根据权利要求1所述的实时全景三维数字工地地图监管系统，其特征在于，数据层系统包括视频监控摄像机、存储阵列、流媒体服务器和网络；其中，视频监控摄像机用于数据采集，存储阵列用于数据存储，流媒体服务器和网络用于数据并发传输；
核心层系统包括视频网关、解码矩阵和中央集群服务器；其中，视频网关用于快速调度监控数据，解码矩阵用于编码信息的解析还原，中央集群服务器用于图像处理；
交互层系统包括多终端；多终端用于实现实时全景三维监控场景的显示、交互及多方协同。
3.根据权利要求1或2所述的实时全景三维数字工地地图监管系统，其特征在于，多终端包括手势控制设备、AR设备、VR设备、手机、PC以及指挥中心大屏。
4.一种利用权利要求1所述的实时全景三维数字工地地图监管系统实现的实时全景三维数字工地地图监管方法，其特征在于，包括以下步骤：
S1、数据采集及存储
S11、自动规划监控设备布设点位，使监控设备能全面覆盖整个项目工地区域；
S12、监控设备架设完成后，进行自适应组网；
S13、监控数据进行时间同步处理；
S14、提取监控视频画面的关键帧；
S15、对提取的关键帧以机构化、时序、分布式数据库管理存储，用于数据动态更新；
S2、数据处理
S20、施工过程中，随着施工建筑的增高，会出现监控盲区或机密区域，需对监控设备进行增减，并对增加的监控设备使用自适应布控技术组网；
S21、快速增减摄影头画面融合：在需要增强监控的关键区域、施工建筑增高后出现的覆盖盲区，进行添加监控设备，新增的监控画面自动融合至全局；在非重要区域、保密区，进行监控去除，对产生缺失部分进行底图自动补缺；
S22、多路多角度监控视频画面的整体融合：通过图像特征点分析，计算出监控设备之间相应的位置及变换关系，将多组监控画面初步拼接起来，并对拼接的图像进行融合处理；
S23、进行实景三维重建更新底图；
S24、具备GPS经纬地理位置、实际空间尺度、电子罗盘信息的实景三维模型即为用于土方测量、通视分析的数字高程模型；结合步骤S15的数据动态更新数字高程模型，实现跨时空监控；
S25、数字高程模型通过正射投影，获取正射影像地图；
S26、将具备GPS经纬地理位置正射影像地图与卫星地图融合，实现通过地图索引方式实现监管部门对全球多地工程现场的监控快速调度；
S3、交互监管
用户管理获取设备使用管理权限用于监控视频融合及卫星地图融合的数据快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互；通过卫星地图索引方式实现对多地工程项目现场的监控快速调度；多终端交互实现多个管理部门对同一个工程现场同时协同监督管理。
5.根据权利要求4所述的实时全景三维数字工地地图监管方法，其特征在于，以有线、无线网络进行自适应组网，无线网络包括Wi-Fi、4G、5G。
6.根据权利要求4所述的实时全景三维数字工地地图监管方法，其特征在于，多路多角度监控视频画面的整体融合包括：
多路图像拼接，用于将多路具备相关性的监控画面融合相融合；
图像边缘融合，用于处理图像拼接产生的拼接缝；
图像匀色技术，用于将多组监控画面色彩统一，解决多组监控曝光度等不同产生的色差；
图像仿射、透视变换技术，用于将多组监控融合的画面进行多角度变换；
图像自动矫正技术，用于解决图像变换过程中产生的形变。
7.根据权利要求4所述的实时全景三维数字工地地图监管方法，其特征在于，快速增减摄影头画面融合包括：
图像自标定融合技术，用于将新增的监控视频画面与周围相邻监控视频画面进行图像分析，自动标定计算出新增监控设备的外参信息；
自动融合、自动补缺技术，用于关键区域、未覆盖点增加摄像机的融合，以及非重要区域、保密区删减摄像机的画面补缺。
8.根据权利要求4所述的实时全景三维数字工地地图监管方法，其特征在于，实景三维重建包括：
监控画面可达区域，提取最新同一时间节点的监控群的关键帧及监控设备GPS位置信息，并采用倾斜摄影技术用于实景三维重建；
监控画面不可达区域，采用可移动式设备进行定期扫描补全实景三维模型空缺部分；
具备GPS经纬地理位置、实际空间尺度、电子罗盘信息的实景三维模型即为用于土方测量、通视分析的数字高程模型；通过按时间节点动态更新的数字高程模型直接获取最新的数字正射影像地图。
9.根据权利要求8所述的实时全景三维数字工地地图监管方法，其特征在于，监控画面不可达区域包括建筑遮挡部分，可移动式设备包括无人机、机械狗。
10.根据权利要求4所述的实时全景三维数字工地地图监管方法，其特征在于，快速调度及无缝漫游、多终端交互包括：
融合卫星地图技术，用于将动态更新的数字正射影像地图与卫星地图融合，该技术用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力；
编码组流技术，用于将多路监控的高清视频及数字高程模型等进行数据二次编码提高信息传输的安全性，二次编码组成数据流提高大数据量信息传输的连贯性及稳定性；
三维视频解析技术，用于编码组流的大数据量信息解析，将二次编码信息解析还原成高清视频监控及数字高程模型等；
多交互操作技术，采用手势控制、AR、VR的交互方式，用于三维视频多维度交互及无缝漫游；
多终端协同技术，用于视频显示端进行数据同步管理，并以用户权限决定操作优先级，实现多个终端对同一个工程现场数据协同操作及监督管理；视频显示端包括指挥中心大屏端、PC端、手机端。
CN202210398352.1A 2022-04-15 2022-04-15 实时全景三维数字工地地图监管系统及方法 Pending CN114882201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398352.1A CN114882201A (zh) 2022-04-15 2022-04-15 实时全景三维数字工地地图监管系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398352.1A CN114882201A (zh) 2022-04-15 2022-04-15 实时全景三维数字工地地图监管系统及方法

Publications (1)

Publication Number Publication Date
CN114882201A true CN114882201A (zh) 2022-08-09

Family

ID=82669483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398352.1A Pending CN114882201A (zh) 2022-04-15 2022-04-15 实时全景三维数字工地地图监管系统及方法

Country Status (1)

Country Link
CN (1) CN114882201A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336459A (zh) * 2023-10-10 2024-01-02 雄安雄创数字技术有限公司 一种三维视频融合方法、装置、电子设备及存储介质
WO2024040863A1 (zh) * 2022-08-26 2024-02-29 中建三局集团有限公司 一种基于总平面图的多点位多视角视频融合方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040863A1 (zh) * 2022-08-26 2024-02-29 中建三局集团有限公司 一种基于总平面图的多点位多视角视频融合方法和系统
CN117336459A (zh) * 2023-10-10 2024-01-02 雄安雄创数字技术有限公司 一种三维视频融合方法、装置、电子设备及存储介质
CN117336459B (zh) * 2023-10-10 2024-04-30 雄安雄创数字技术有限公司 一种三维视频融合方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112470092B (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN114882201A (zh) 实时全景三维数字工地地图监管系统及方法
AU2018426323B2 (en) Method and apparatus for planning sample points for surveying and mapping, control terminal, and storage medium
CN107067447B (zh) 一种大空间区域的整体化视频监控方法
CN110189405B (zh) 一种顾及建筑物密度的实景三维建模方法
CN109931950B (zh) 一种实景导航方法、系统及终端设备
CN112469967A (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN111656132B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
CN109612445B (zh) 一种基于无人机的WebGIS平台下高精度地形建立方法
CN115393192A (zh) 一种基于总平面图的多点位多视角视频融合方法和系统
CN114299236A (zh) 倾斜摄影测量空地融合实景建模方法、装置、产品及介质
CN110675484A (zh) 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法
KR20240058858A (ko) 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템
CN111091622B (zh) 一种无人机巡检航线构建方法
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
CN111527375B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
CN109712249B (zh) 地理要素增强现实方法及装置
CN111240617B (zh) 基于三维地图的视频投放方法、系统和环境监控方法、系统
CN111868656B (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
CN114359489A (zh) 一种管道施工期实景影像的制作方法、装置、设备及存储介质
CN116129064A (zh) 电子地图生成方法、装置、设备及存储介质
CN112860946B (zh) 一种视频图像信息转换为地理信息的方法及系统
CN114280649A (zh) 一种综合型地理信息数据处理系统
Alamouri et al. The joint research project ANKOMMEN–Exploration using automated UAV and UGV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination