CN114157826B - 一种基于数字孪生体的协同作业方法 - Google Patents

一种基于数字孪生体的协同作业方法 Download PDF

Info

Publication number
CN114157826B
CN114157826B CN202210115491.9A CN202210115491A CN114157826B CN 114157826 B CN114157826 B CN 114157826B CN 202210115491 A CN202210115491 A CN 202210115491A CN 114157826 B CN114157826 B CN 114157826B
Authority
CN
China
Prior art keywords
equipment
digital twin
operation area
method based
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210115491.9A
Other languages
English (en)
Other versions
CN114157826A (zh
Inventor
胡玮
郑珂
高鹏
裴莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tali Technology Co ltd
Original Assignee
Xi'an Tali Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Tali Technology Co ltd filed Critical Xi'an Tali Technology Co ltd
Priority to CN202210115491.9A priority Critical patent/CN114157826B/zh
Publication of CN114157826A publication Critical patent/CN114157826A/zh
Application granted granted Critical
Publication of CN114157826B publication Critical patent/CN114157826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于数字孪生体的协同作业方法，包括：建立物理作业区相匹配的作业区数字孪生体，获取设备身份标识图片，提取计算机可读的文字数字，其中包括设备身份标识，根据提取到的设备身份标识，从数据库中获取设备相关情况，并利用WebSocket将设备相关数据发送至可穿戴设备端和数字孪生展示端，数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，显示作业中发现的问题以及作业记录，可穿戴设备端和数字孪生展示端利用WebRTC进行视频语音通信，展开协同作业。该方法可以克服前端作业人员与行业专家通过虚实映射、虚拟仿真、实时互通形式协同会诊的问题。

Description

一种基于数字孪生体的协同作业方法
技术领域
本发明涉及虚拟现实技术领域，更具体的涉及一种基于数字孪生体的协同作业方法。
背景技术
数字孪生作为新兴技术，将物理世界通过数字化手段映射到虚拟空间，采用物联网技术将数据实时采集至数字孪生平台，结合穿戴设备将作业区情况实时通过无线网络反馈至数字孪生平台。
目前，存在工作人员不能结合其上下游设备整体环境分析问题，不能打破地域限制分析问题，工作人员进入危险作业区后作业时间长，容易造成安全事故的问题。
发明内容
本发明实施例提供一种基于数字孪生体的协同作业方法，包括：
数字孪生服务端进行下面的操作：
建立物理作业区相匹配的作业区数字孪生体；
获取设备身份标识图片，通过图像识别技术，提取计算机可读的文字和数字，其中计算机可读的文字和数字包括设备身份标识；
根据提取到的设备身份标识，从数据库中获取设备的相关信息，并利用WebSocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；
数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，并将其居中，显示作业中发现的问题以及作业记录，发起双向实时通信；
可穿戴设备端和数字孪生展示端利用WebRTC进行视频语音通信，展开协同作业讨论。
进一步，还包括：数字孪生服务端将来自于可穿戴设备端和数字孪生展示端的数据进行处理、存储。
进一步，数据库中存储的设备的相关信息，包括：
设备基础属性情况数据、设备运行情况数据、设备告警情况数据以及设备尺寸、设备安装日期、设备维护日期。
进一步，可穿戴设备端具有图像采集、数据传输、语音通信功能，通过摄像头扫描被检测设备身份信息，根据被检测设备身份信息抓取该设备现场信息。
更进一步，设备现场信息，包括：设备静态信息、设备动态信息。
进一步，作业区数字孪生体为B/S架构，通过浏览器多窗口接入作业区数字孪生体。
更进一步，还包括：可穿戴设备端根据设备身份标识从数字孪生服务端获取设备现场信息做回显。
本发明实施例提供一种基于数字孪生体的协同作业方法，与现有技术相比，其有益效果如下：
1、数字孪生系统呈现作业区虚拟状况。
2、前端工作人员与后端支撑人员通过本系统双向实时互动。
3、前端工作人员可将现场情况实时上传至数字孪生系统，联动虚拟作业区，供后端支撑人员快速掌握现场情况。
4、减少作业区进入人员，降低作业区潜在风险对人员伤害。
5、B/S架构的数字孪生系统特性支持通过浏览器多窗口接入，打破区域限制。
附图说明
图1为本发明实施例提供的一种基于数字孪生体的协同作业方法流程图；
图2为本发明实施例提供的一种基于数字孪生体的协同作业方法的被检测设备图；
图3为本发明实施例提供的一种基于数字孪生体的协同作业方法的数字孪生场景图；
图4为本发明实施例提供的一种基于数字孪生体的协同作业方法的协同作业图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1~4，本发明实施例提供一种基于数字孪生体的协同作业方法，该方法包括：
数字孪生服务端进行下面的操作：
建立物理作业区相匹配的作业区数字孪生体，作业区数字孪生体为B/S架构，通过浏览器多窗口接入作业区数字孪生体；
获取设备身份标识图片，通过图像识别技术，提取计算机可读的文字数字，其中计算机可读的文字数字包括设备身份标识；
根据提取到的设备身份标识，从数据库中获取设备相关情况，并利用WebSocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；
数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，将其居中，显示作业中发现的问题以及作业记录，与可穿戴设备端利用WebRTC进行视频语音实时通信，展开协同作业。
1.1穿戴设备采集被检测设备身份信息
通过穿戴设备摄像头拍摄图片，结合图像识别技术，获取设备身份标识deviceId，如FIQ1001，根据身份标识deviceId从数字孪生服务端获取设备信息做回显，设备现场信息包括设备静态信息、设备动态信息。
1.2穿戴设备与数字孪生系统双向实时通信
穿戴设备将设备身份标识deviceId发送至数字孪生服务端，同时将现场勘察情况一并上报，并利用服务端建立穿戴设备端和数字孪生系统展示端实时通信。
1.3被检测设备与作业区和数字孪生系统协同
数字孪生系统收到穿戴设备上报数据后，将根据被检测设备身份标识deviceId定位，在数字孪生场景中居中展现数字化被检测设备，并显示作业中发现的问题以及作业记录。并可发起双向实时通信，无视地域展开三方探讨，及时解决问题。
具体地：
搭建数字孪生服务端，包含服务中间件、数据库。服务端负责业务逻辑，包括将来自于穿戴设备和数字孪生展示端的数据进行处理、存储，以及设备标签图像识别提取，并通过WebSocket搭建双向通信通道；数据库中存储设备基础属性情况、运行情况、告警情况等数据。
穿戴设备端依据摄像头采集设备身份标识图片，将其传输至数字孪生服务端，服务端通过图像识别技术，提取计算机可读的文字数字。
数字孪生服务端根据提取到的设备身份标识deviceId，从数据库中获取设备相关情况，如设备尺寸、安装日期、维护日期等，并利用WebSocket将设备相关数据发送至穿戴设备端和数字孪生展示端。
数字孪生展示端依据设备身份标识deviceId从虚拟场景模型中遍历查找物理场景映射的虚拟设备，并将其居中。
穿戴设备和数字孪生展示端利用WebRTC进行视频语音通信，展开设备会诊讨论。
实施例1：
硬件装置：
服务器最小配置：X86计算，4核8G，Linux系统，数据盘200G，带宽30Mbit/s，1台
穿戴设备：携带音视频装置+Android系统的头盔
展示机：系统window7+，CPU i5+, 显卡GTX 1060+
数据库：关系型数据库Mysql5.7+，时序数据库InfluxDB2.0+
数字孪生服务端部署在服务器，穿戴设备和数字孪生展示机通过网络访问服务器上运行的数字孪生服务端，实现双方实时通信。作业人员穿戴前端设备在工业作业区中巡查，发现问题设备，利用穿戴设备与展示端建立通信，通过摄像头结合图像识别获取设备身份标识deivceId，将deviceId发送至服务器获取设备相关信息，同时，作业人员将现场发现问题通过语音、视频告知数字孪生展示端专家人员，专家人员在各自电脑的数字孪生展示端进行查看设备数据（运行状态、属性参数实时值、告警预判、以往故障记录），观测视频，听取现场情况，并进行远程讨论，指导现场人员工作。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。

Claims (5)

1.一种基于数字孪生体的协同作业方法，其特征在于，包括：
数字孪生服务端进行下面的操作：
建立物理作业区相匹配的作业区数字孪生体；
获取设备标识图片，通过图像识别技术，提取计算机可读的文字数字，其中计算机可读的文字数字包括设备标识deviceId；
根据提取到的设备标识deviceId，从数据库中获取设备相关情况，并利用WebSocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；
数字孪生展示端依据设备标识deviceId从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，将其居中，显示作业中发现的问题以及作业记录，与可穿戴设备端利用WebRTC进行视频语音实时通信，展开协同作业；
还包括：所述数字孪生服务端处理、存储来自可穿戴设备端和数字孪生展示端的数据；
通过可穿戴设备端的摄像头扫描被检测设备身份信息deviceId，根据被检测设备身份信息deviceId抓取该设备信息。
2.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，所述数字孪生服务端数据库中存储的设备相关情况，包括：
设备基础属性情况、设备运行情况、设备告警情况数据以及设备尺寸、设备安装日期、设备维护日期。
3.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，所述设备信息，包括：
设备静态信息、设备动态信息。
4.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，所述作业区数字孪生体为B/S架构，通过浏览器多窗口接入作业区数字孪生体。
5.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，还包括：可穿戴设备端根据设备身份标识deviceId从数字孪生服务端获取设备信息做回显。
CN202210115491.9A 2022-02-07 2022-02-07 一种基于数字孪生体的协同作业方法 Active CN114157826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210115491.9A CN114157826B (zh) 2022-02-07 2022-02-07 一种基于数字孪生体的协同作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210115491.9A CN114157826B (zh) 2022-02-07 2022-02-07 一种基于数字孪生体的协同作业方法

Publications (2)

Publication Number Publication Date
CN114157826A CN114157826A (zh) 2022-03-08
CN114157826B true CN114157826B (zh) 2022-08-02

Family

ID=80449985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210115491.9A Active CN114157826B (zh) 2022-02-07 2022-02-07 一种基于数字孪生体的协同作业方法

Country Status (1)

Country Link
CN (1) CN114157826B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091611A (zh) * 2019-12-25 2020-05-01 青岛理工大学 一种面向车间数字孪生的增强现实系统及方法
CN113146632A (zh) * 2021-04-20 2021-07-23 北京洛必德科技有限公司 一种基于数字孪生技术的家用机器人控制方法及系统
CN113657348A (zh) * 2021-08-31 2021-11-16 江苏中科云墨数字科技有限公司 一种变电站作业违章行为智能分析方法及系统
CN113689574A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 数字孪生处理方法、装置和机器可读介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10445944B2 (en) * 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
CN109819233B (zh) * 2019-01-21 2020-12-08 合肥哈工热气球数字科技有限公司 一种基于虚拟成像技术的数字孪生系统
KR102366293B1 (ko) * 2019-12-31 2022-02-22 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091611A (zh) * 2019-12-25 2020-05-01 青岛理工大学 一种面向车间数字孪生的增强现实系统及方法
CN113689574A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 数字孪生处理方法、装置和机器可读介质
CN113146632A (zh) * 2021-04-20 2021-07-23 北京洛必德科技有限公司 一种基于数字孪生技术的家用机器人控制方法及系统
CN113657348A (zh) * 2021-08-31 2021-11-16 江苏中科云墨数字科技有限公司 一种变电站作业违章行为智能分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于AR技术的工业控制交互的智能化协同应用;沈毅等;《科学技术创新》;20200315(第08期);摘要，章节1-3 *

Also Published As

Publication number Publication date
CN114157826A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN111612933A (zh) 基于边缘云服务器的增强现实智能巡检系统
CN110874866B (zh) 一种基于视频的变电站三维监控方法及系统
CN102651148A (zh) 安检值机监控系统的监控方法
CN112839200B (zh) 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN110807460A (zh) 一种基于图像识别的变电站智能巡视系统及其应用方法
CN112085232A (zh) 一种基于增强现实技术的运检系统及方法
CN111920129A (zh) 一种智能安全帽系统
CN111223011A (zh) 一种基于视频分析的餐饮企业食品安全监管方法及系统
CN112419639A (zh) 一种视频信息的获取方法及装置
CN111178241A (zh) 一种基于视频分析的智能监控系统及方法
CN110796754A (zh) 一种基于图像处理技术的机房巡检方法
CN112700611A (zh) 消防大数据一体化管理平台
CN112906441B (zh) 用于通信行业查勘维护的图像识别系统及方法
CN116859800A (zh) 基于复杂事件流的生产车间安全监测系统和方法
CN114157826B (zh) 一种基于数字孪生体的协同作业方法
CN112528791A (zh) 一种铁路站场防入侵系统及方法
CN113556530A (zh) 一种基于可穿戴ar设备的轨道交通智能检修系统和方法
CN110751125A (zh) 穿戴检测方法及装置
CN112686130A (zh) 一种智慧渔船监管决策系统
CN112419638B (zh) 一种告警视频的获取方法及装置
CN115797824A (zh) 一种基于人工智能的无人机电力施工违章识别方法和装置
CN114825616A (zh) Ar第一视角远程诊断方法以及装置、存储介质、电子装置
CN114339150A (zh) 一种基于ar设备的机场民航安全监察员执法辅助系统
CN113466077A (zh) 一种飞机强度试验调试方法及系统
CN209881952U (zh) 一种工厂生产设备监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant