CN116311023A - 一种基于5g通讯和虚拟现实的设备巡检方法及系统 - Google Patents

一种基于5g通讯和虚拟现实的设备巡检方法及系统 Download PDF

Info

Publication number
CN116311023A
CN116311023A CN202211685196.3A CN202211685196A CN116311023A CN 116311023 A CN116311023 A CN 116311023A CN 202211685196 A CN202211685196 A CN 202211685196A CN 116311023 A CN116311023 A CN 116311023A
Authority
CN
China
Prior art keywords
target
virtual reality
dimensional
communication
semantic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211685196.3A
Other languages
English (en)
Inventor
杨小剑
黄恒
阮浩杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Changying Technology Inc
Original Assignee
Guangdong Changying Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Changying Technology Inc filed Critical Guangdong Changying Technology Inc
Priority to CN202211685196.3A priority Critical patent/CN116311023A/zh
Publication of CN116311023A publication Critical patent/CN116311023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/40—Maintenance of things
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于5G通讯和虚拟现实的设备巡检方法及系统，涉及图像处理技术领域，包括：采集RGB‑D图像数据；采用YOLOv3进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；使用生成对抗网络GAN算法对深度图像进行修复；通过三维重建BundleFusion算法对三维场景模型进行位姿优化；将带语义信息的目标通过坐标位置转换与三维场景模型结合成三维数字工厂模型。本发明基于5G通讯和虚拟现实技术实现数字孪生工厂，利用5G通讯技术提供实时的数据传输，虚拟现实技术将设备监测与巡检工作以三维直观的形式进行体现，建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查。

Description

一种基于5G通讯和虚拟现实的设备巡检方法及系统
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于5G通讯和虚拟现实的设备巡检方法及系统。
背景技术
目前，对于生产设备巡检工作，传统工作方式主要采用人工现场巡检，视频监控技术，定位技术与地理信息技术等方案，基本以设备外观，传统仪表读数作为判断设备运行状态的依据，现场设备得不到直观展示，不利于工作人员对于现场实际情况的掌握，设备实时运行情况数值收集工作效率依靠手工台账，工作效率低下。同时，现有技术的缺陷和不足：
(1)设备巡检情况基于二维平面内容，缺乏直观全面地观察情况，巡检工作效果欠佳。
(2)需要人员在现场进行巡检工作，人力成本较大，工作效率不高。
(3)监控数据采集功能相对欠缺，非现场工作人员无法实时掌握设备的运行情况。
(4)技术专家提供的远程技术协助只能通过现场人员提供的简要情况进行研判，容易忽略现场细节，无法做出精准明确的解决方案。
(5)现时的设备巡检系统无法对现实场景进行实时虚拟化演算，根据现场设备情况与数据运行参数变化进行即时的场景渲染。
因此，提供一种基于5G通讯和虚拟现实的设备巡检方法，利用5G通讯技术的增强移动宽带和低时延高可靠类业务特性，使用网络切片技术提供稳定低延迟，可靠实时的数据传输保障，虚拟现实技术将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于5G通讯和虚拟现实的设备巡检方法及系统，将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查，为了实现上述目的，本发明采用如下技术方案：
一种基于5G通讯和虚拟现实的设备巡检方法，包括：
采集RGB-D图像数据，其中包括RGB图像与深度图像；
采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
可选的，所述生成带语义信息的目标的具体步骤为：对采集到的RGB图像使用YOLOv3网络进行目标检测以及使用ASMS跟踪算法进行目标实时定位，生成带语义信息的目标具体步骤如下：
Figure BDA0004020597770000021
上式中，w为边界框的宽，h为边界框高，λcoord和
Figure BDA0004020597770000031
为控制系数，网格单元i的第j个边界框预测内存在目标时，/>
Figure BDA0004020597770000032
的值为1，当存在目标的情况下计算边界框的损失值，利用均方误差计算边界框相对于真实目标之间的偏差。
可选的，所述对深度图像进行修复的具体步骤为：采用生成对抗网络GAN算法，使用上下文编码器对采集到的深度图像进行实时修复处理，GAN的目标函数为：
Figure BDA0004020597770000033
上式中，x采样与真实数据分布Pdata(x)；z采样与先验分布Pz(Z)；G(z)作为输出生成数据；判别器D，生成器G，期望D(x)。
可选的，所述三维场景模型构建的具体步骤为：采用三维重建BundleFusion算法，进行位姿优化，对连续5帧组成一个chunk，令第一帧为关键帧，局部优化每个chunk内的帧的位姿，并将每个chunk的关键帧传给全局优化环节。
可选的，所述数字工厂模型构建的具体步骤为：将带语义信息的目标通过坐标位置转换与三维场景模型相结合获得数字工厂模型，并将对应设备表示进行标注，同时将设备运行的各类参数在设备具体位置进行展示，形成三维数字工厂模型。
可选的，一种基于5G通讯和虚拟现实的设备巡检系统，包括：
场景信息数据采集模块：采集RGB-D图像数据，其中包括RGB图像与深度图像；
语义信息收集模块：采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
深度图像修复处理模块：使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
数字工厂形成模块：将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于5G通讯和虚拟现实的设备巡检方法及系统，具有如下有益效果：
(1)本发明基于5G通讯和虚拟现实技术实现数字孪生工厂，利用5G通讯技术的增强移动宽带和低时延高可靠类业务特性，使用网络切片技术提供稳定低延迟，可靠实时的数据传输保障，虚拟现实技术将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查。
(2)本发明可将生产运作过程中需要记录的各类信息进行数字化，大幅缩短巡检工作所需时间，降低工厂运营成本，提供巡检工作效率，通过5G和虚拟现实技术保证低延时高可靠的实时演算虚拟场景，保证生产场景虚拟化的渲染时效性。
(3)本发明实现安全巡检工作，将现场巡检人员报告的巡检指标项情况，设备抓拍巡检现场图片，巡检路线记录等实时回传，形成人员工作考勤记录。
(4)本发明支持实时回传巡检现场情况视频，在设备故障维修过程方便技术专家远程快速准确做出研判与采取措施，提高指挥调度效率。
(5)本发明可支持历史数据还原分析，建立数据池，不同的设备监测项，不同时间段的历史数据进行复原，提供工作人员进行现场还原分析，问题回溯，落实管理责任。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为一种基于5G通讯和虚拟现实的设备巡检方法结构示意图。
图2为一种基于5G通讯和虚拟现实的设备巡检系统结构示意图。
图3为本发明进行目标实时定位的过程函数图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于5G通讯和虚拟现实的设备巡检方法，包括：
采集RGB-D图像数据，其中包括RGB图像与深度图像；
采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
本发明是基于5G通讯技术的设备虚拟现实处理方法，目的在于借助5G通讯技术进行即时图像信息传输交互，使用实时稠密三维重建方法进行仿真计算，构建设备数字模型，具体步骤如下：
步骤S1：设备场景图像采集，使用RGB-D相机采集产线现场的色彩深度RGB-D图像数据，包括RGB图像与深度图像。
步骤S2：语义信息收集，对采集的二维色彩图像使用YOLOv3网络进行目标检测及使用ASMS跟踪算法进行目标实时定位。
Figure BDA0004020597770000061
上式中，λcoord和
Figure BDA0004020597770000062
作为控制系数，网格单元i的第j个边界框预测内存在目标时，
Figure BDA0004020597770000063
的值为1，当存在目标的情况下计算边界框的损失值，利用均方误差计算边界框相对于真实目标之间的偏差。边界框的宽与高为(w,h)，其计算损失过程先开根号再进行均方误差，避免大目标对损失值产生过大的影响。该过程训练模型的核心算法代码如下：
Figure BDA0004020597770000064
Figure BDA0004020597770000071
步骤S3：深度图像处理，采用生成对抗网络GAN算法，使用上下文编码器对S1采集的深度图片进行实时修复处理。GAN的目标函数为：
Figure BDA0004020597770000072
上式中，x采样与真实数据分布Pdata(x)；z采样于先验分布Pz(Z)；G(z)作为输出生成数据。上式含义：判别器D尽可能区分真实样本和生成器G生成的样本，因此期望D(x)尽可能大，D(G(z))尽可能小，即V(D,G)尽可能大。生成器G期望产生的样本尽可能骗过D，希望D(G(z))尽可能大，即D(G(z))尽可能小。两个模型进行相互对抗，最终达到全局最优。
生成器G不断修正的过程，最终产生的分布与目标数据一致，其过程函数图像如下图3所示，图中，z表示噪声；点线表示判别器D的输出；黑色圆点表示真实数据分布；实线表示生成器G的虚假数据的概率分布。
步骤S4：三维场景模型构建，采用三维重建BundleFusion算法，进行位姿优化过程，数据帧的规模尽可能小，使用关键帧策略，对连续5帧组成一个chunk，令第一帧为关键帧，局部优化每个chunk内的帧的位姿，并针对每个chunk的关键帧传给全局优化环节；采用该策略的目的在于分离关键帧，减少数据处理及存储的压力。
步骤S5：数字工厂的形成，将基于步骤S2生成带语义信息的目标通过坐标位置转换与步骤S4所得三维场景模型相结合获得数字工厂模型，并将对应设备表示进行标注，同时将设备运行的各类参数在设备具体位置进行展示，形成三维数字工厂模型。
进一步的，一种基于5G通讯和虚拟现实的设备巡检系统，包括：
场景信息数据采集模块：采集RGB-D图像数据，其中包括RGB图像与深度图像；
语义信息收集模块：采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
深度图像修复处理模块：使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
数字工厂形成模块：将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
在具体实施中，使用RGB-D相机采集产线现场的色彩图像与深度图像；
对采集的色彩图像使用YOLOv3网络进行目标监测，使用ASMS跟踪算法进行目标实时定位；
使用生成对抗网络GAN算法，使用上下文编码器对RGB-D相机采集的深度图像进行实时修复处理；
利用三维重建BundleFusion算法进行三维场景模型构建，并优化模型的位姿状态；
将带语义信息的目标与经过位姿优化的三维场景模型进行结合，并将设备运行参数等信息进行绑定，最终形成三维数字工厂。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，包括：
采集RGB-D图像数据，其中包括RGB图像与深度图像；
采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
2.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述生成带语义信息的目标的具体步骤为：对采集到的RGB图像使用YOLOv3网络进行目标检测以及使用ASMS跟踪算法进行目标实时定位，生成带语义信息的目标具体步骤如下：
Figure FDA0004020597760000011
上式中，w为边界框的宽，h为边界框高，λcoord和
Figure FDA0004020597760000012
为控制系数，网格单元i的第j个边界框预测内存在目标时，/>
Figure FDA0004020597760000013
的值为1，当存在目标的情况下计算边界框的损失值，利用均方误差计算边界框相对于真实目标之间的偏差。
3.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述对深度图像进行修复的具体步骤为：采用生成对抗网络GAN算法，使用上下文编码器对采集到的深度图像进行实时修复处理，GAN的目标函数为：
Figure FDA0004020597760000014
上式中，x采样与真实数据分布Pdata(x)；z采样与先验分布Pz(Z)；G(z)作为输出生成数据；判别器D，生成器G，期望D(x)。
4.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述三维场景模型构建的具体步骤为：采用三维重建BundleFusion算法，进行位姿优化，对连续5帧组成一个chunk，令第一帧为关键帧，局部优化每个chunk内的帧的位姿，并将每个chunk的关键帧传给全局优化环节。
5.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述数字工厂模型构建的具体步骤为：将带语义信息的目标通过坐标位置转换与三维场景模型相结合获得数字工厂模型，并将对应设备表示进行标注，同时将设备运行的各类参数在设备具体位置进行展示，形成三维数字工厂模型。
6.一种基于5G通讯和虚拟现实的设备巡检系统，其特征在于，包括：
场景信息数据采集模块：采集RGB-D图像数据，其中包括RGB图像与深度图像；
语义信息收集模块：采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
深度图像修复处理模块：使用生成对抗网络GAN算法对深度图像进行修复；
构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
数字工厂形成模块：将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
CN202211685196.3A 2022-12-27 2022-12-27 一种基于5g通讯和虚拟现实的设备巡检方法及系统 Pending CN116311023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211685196.3A CN116311023A (zh) 2022-12-27 2022-12-27 一种基于5g通讯和虚拟现实的设备巡检方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211685196.3A CN116311023A (zh) 2022-12-27 2022-12-27 一种基于5g通讯和虚拟现实的设备巡检方法及系统

Publications (1)

Publication Number Publication Date
CN116311023A true CN116311023A (zh) 2023-06-23

Family

ID=86836663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211685196.3A Pending CN116311023A (zh) 2022-12-27 2022-12-27 一种基于5g通讯和虚拟现实的设备巡检方法及系统

Country Status (1)

Country Link
CN (1) CN116311023A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111340939A (zh) * 2020-02-21 2020-06-26 广东工业大学 一种室内三维语义地图构建方法
CN111968129A (zh) * 2020-07-15 2020-11-20 上海交通大学 具有语义感知的即时定位与地图构建系统及方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质
CN114170499A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN114627269A (zh) * 2022-03-10 2022-06-14 东华大学 一种基于深度学习目标检测的虚拟现实安防监控平台
CN115294453A (zh) * 2022-08-15 2022-11-04 安徽大学 一种基于rgb-d多通道信息融合的显著性检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111340939A (zh) * 2020-02-21 2020-06-26 广东工业大学 一种室内三维语义地图构建方法
CN111968129A (zh) * 2020-07-15 2020-11-20 上海交通大学 具有语义感知的即时定位与地图构建系统及方法
CN114170499A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质
CN114627269A (zh) * 2022-03-10 2022-06-14 东华大学 一种基于深度学习目标检测的虚拟现实安防监控平台
CN115294453A (zh) * 2022-08-15 2022-11-04 安徽大学 一种基于rgb-d多通道信息融合的显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕晨 等: "基于YOLOv3和ASMS的目标跟踪算法", 《光电工程》, 15 February 2021 (2021-02-15), pages 70 - 80 *
李伟: "《音频音乐与计算机的交融 音频音乐技术》", 31 January 2020, 复旦大学出版社, pages: 100 *

Similar Documents

Publication Publication Date Title
CN110728670A (zh) 一种基于ar技术的低压设备运维方法
CN110533771A (zh) 一种变电站的智能巡检方法
CN110880200A (zh) 基于三维重建技术的gim模型工程智能验收方法
CN113325816A (zh) 面向工业互联网的数字孪生体数据管理方法
CN103778566A (zh) 基于三维可视化展示的火电厂监测方法
CN110290350A (zh) 一种巡检机器人的实时状态监控方法、系统和存储介质
CN108010413A (zh) 一种风力发电厂运维仿真系统及其操作评估方法
CN110660125B (zh) 用于电力配网系统的三维建模装置
CN114841944B (zh) 基于挂轨轨道机器人的尾矿坝表面形变巡检方法
CN115329676A (zh) 一种数字孪生的虚实同步终端设备及系统
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN106989778A (zh) 一种尾矿库在线安全监测系统
CN116308185A (zh) 一种建筑工程可视化进度录入及预警方法
CN115585731A (zh) 空天地一体化水电站空间状态智能监控管理系统及其方法
CN116311023A (zh) 一种基于5g通讯和虚拟现实的设备巡检方法及系统
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN117704970A (zh) 一种建筑体视觉位移监控系统及其监测方法
CN116882145A (zh) 数字孪生推演模拟系统
CN116883999A (zh) 变电站大型施工机械与工作区域的安全距离监测方法
CN111258431B (zh) 基于混合现实的汽轮机检修辅助系统
CN110781549A (zh) 一种泵站全景漫游巡检方法及系统
CN113609242B (zh) 一种智慧建筑空间运维大数据全息可视化系统及构建方法
CN114626666B (zh) 一种基于全时空监测的工程现场进度识别系统
CN117823741B (zh) 一种结合智能机器人的管网非开挖修复方法及系统
Han Application of digital twin virtual design and BIM technology in intelligent building image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination