CN115309264A - 一种面向虚拟和物理世界连接构建系统 - Google Patents
一种面向虚拟和物理世界连接构建系统 Download PDFInfo
- Publication number
- CN115309264A CN115309264A CN202210837210.0A CN202210837210A CN115309264A CN 115309264 A CN115309264 A CN 115309264A CN 202210837210 A CN202210837210 A CN 202210837210A CN 115309264 A CN115309264 A CN 115309264A
- Authority
- CN
- China
- Prior art keywords
- data
- virtual
- physical world
- processing unit
- construction system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种面向虚拟和物理世界连接构建系统，包括采集执行模块，采集执行模块用于采集数据以及对控制命令进行执行；传感器处理单元，用于接收采集执行模块采集的数据信息，并且对数据进行误差检测、格式转换以及数据分析；虚拟世界服务器，用于接收传感器处理单元发送的数据，并且对完成虚拟世界对物理世界事物的映射，并发送执行控制命令到传感器处理单元，通过传感器处理单元发送到采集执行模块执行对应的操作；本发明为构建元宇宙和数字孪生等系统提供通用平台基础，针对不同类型多传感器获取的数据能够实时有效的处理。
Description
技术领域
本发明涉及智能制造技术领域，具体涉及一种面向虚拟和物理世界连接构建系统。
背景技术
工业4.0时代被看作是以智能制造为主导的“第四次工业革命”。移动互联网、大数据、云计算、社会媒体和内存数据库技术的到来快速推动了物理和虚拟世界的结合。随着信息物理融合系统以及物联网的发展，数以十亿计的智能设备和机器产生大量的数据，在虚拟世界和现实世界之间搭起了桥梁。数字孪生技术以及元宇宙迅速发展。
数字孪生是在充分利用物理模型、传感器更新、运行历史等数据基础上集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，其真正功能在于能够在物理世界和数字世界之间全面建立准实时联系，并通过虚拟资产反映相对应的物理资产的全生命周期过程。物理实体、虚拟模型、数据、连接和服务是数字孪生的核心要素。元宇宙是对现实世界的虚拟化、数字化过程，元宇宙基于扩展现实技术提供沉浸式体验，基于数字孪生技术生成现实世界的镜像，并且允许每个用户进行内容生产和世界编辑，实现虚拟世界与现实世界的融合和交互。
现有的MPEG-V协议标准提出的针对各种类型的新型交互设备在物理世界和虚拟世界之间具有统一的数据交互格式和提供一种体系结构，并指定相关信息交互标准，但更多是提供多媒体下视觉和听觉的感官效果，缺少针对触觉、嗅觉和味觉的交互，缺少标准化接口以及数据格式，存在感知维度的局限，缺少人与虚物触力觉反馈，运动自由度的局限，多感觉通道不一致问题，难以保证理世界环境和虚拟世界环境的呈现一致性。
发明内容
本发明的目的在于提供一种面向虚拟和物理世界连接构建系统，增强用户、物理世界和虚拟世界三者的实时交互，针对现有协议标准局限于提供多媒体下视觉和听觉的感官效果情况下，感知维度的存在局限，缺少人与虚物触力觉反馈，运动自由度的局限，多感觉通道不一致问题，针对虚拟与物理世界连接提出用于从传感器获取信息和控制执行器的数据格式和API，实现视觉、听觉、触觉、嗅觉和味觉等感官数据的获取以及识别，解决来自不同类型传感器的数据冲突。
本发明的目的可以通过以下技术方案实现：
一种面向虚拟和物理世界连接构建系统，包括采集执行模块，采集执行模块用于采集数据以及对控制命令进行执行；
传感器处理单元，用于接收采集执行模块采集的数据信息，并且对数据进行误差检测、格式转换以及数据分析；
虚拟世界服务器，用于接收传感器处理单元发送的数据，并且对完成虚拟世界对物理世界事物的映射，并发送执行控制命令到传感器处理单元，通过传感器处理单元发送到采集执行模块执行对应的操作。
作为本发明进一步的方案：所述采集执行模块包括用于采集数据信息的传感器和用于执行命令的执行器。
作为本发明进一步的方案：所述传感器包括生物相关传感器、环境相关传感器、视听相关传感器以及位置距离传感器。
作为本发明进一步的方案：所述传感器通过有线传输和无线传输的通信方式将数据传输到传感器处理单元并转换为自定义的标准JSON格式。
作为本发明进一步的方案：所述传感器标准JSON格式包括时间戳、基本属性和传感器测量信息。
作为本发明进一步的方案：所述执行器包括感官相关执行器和环境相关执行器，执行器使用定义的标准化数据格式，执行器标准化数据格式包括时间戳、基本属性和命令信息。
作为本发明进一步的方案：所述传感器处理单元选用嵌入式设备作为边缘计算设备完成低延迟部署，通过将神经网络训练好的模型部署在嵌入式设备上运行。
作为本发明进一步的方案：所述虚拟世界服务器与传感器处理单元通过即时通信协议进行数据传输。
作为本发明进一步的方案：所述有线传输包括但不限于ModBus、USB、RS-485和Ethernet的协议类型。
作为本发明进一步的方案：所述无线传输包括但不限于RFID、红外、ZigBee、蓝牙、GPRS、4G/5G、WiFi和NB－IoT的协议类型。
本发明的有益效果：
(1)本发明提出的虚拟和物理世界连接构建系统，为构建元宇宙和数字孪生等系统提供通用平台基础，针对不同类型多传感器获取的数据能够实时有效的处理。
(2)本发明制定了传感器、执行器的数据格式和接口以及通过部署神经网络进行数据预处理，提高了数据处理的实时性和有效性。
(3)本发明拥有数据的实时的，动态的可视化系统和并对数据进行实时仿真验证反馈，数据实时性好，有效性高，实现虚拟与物理高保真同步，有效提升了虚拟和物理世界同步运行的效果。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明系统的结构框图；
图2是本发明具体实施案例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种面向虚拟和物理世界连接构建系统，系统架构主要由传感器/执行器、传感器处理单元，虚拟世界服务器构成。传感器来实时采集物理世界的数据，并通过预先设置的数据格式通过串行接口传输到对应传感器处理单元，由传感器处理单元完成误差检测、数据格式转换以及数据分析，最后将处理好的数据上传到虚拟世界服务器，用来完成虚拟世界对物理世界事物的映射，物理世界根据用户在虚拟世界行为，通过传输执行器控制命令到物理世界的执行器执行对应的正确操作，来反映虚拟世界中对物理世界的变化。
传感器使用生物相关传感器、环境相关传感器、视听相关传感器以及位置距离传感器等各种类型传感器，传感器使用定义的标准化数据格式，将不同类型传感得到的不同类型感官数据进行区分，通过有线传输和无线传输等通信方式将数据传输到传感器处理单元并转换为自定义的标准JSON格式，传感器标准JSON格式使用包括三大必要属性：时间戳；基本属性，包含传感器类型和传感器数据的唯一标识符，标识符用于识别每个传感器数据；传感器测量信息。执行器使用感官相关执行器、环境相关执行器等各种类型执行器，执行器使用定义的标准化数据格式，执行器定义的JSON数据格式类似于传感器JSON格式，包括时间戳；基本属性；命令信息。
传感器JSON格式框架：
传感器处理单元可以选用嵌入式设备作为边缘计算设备完成低延迟部署，通过将神经网络训练好的模型部署在嵌入式边缘设备上运行，神经网络很强的容错性以及自学习、自组织及自适应能力，训练的模型依据制定的规则框架经过多次的迭代，消除重复数据，删除损坏数据来确保数据的质量，针对不同类型的多个传感器采集数据按照训练模型加以整合，对整合的数据进行处理相互关联。
虚拟世界服务器与传感器处理单元通过即时通信协议进行数据传输，虚拟世界服务器接收到数据后，通过可视化工具将数据进行可视化，在虚拟世界执行的一系列操作也会通过命令来控制执行器在物理世界操作。
具体实施案例：
请参阅图2所示，物理世界传感器采集到对应实时数据，按照有线传输协议类型ModBus、USB、RS-485、Ethernet或者无线传输协议类型RFID、红外、ZigBee、蓝牙、GPRS、4G/5G、WiFi和NB－IoT等方式将通信协议定义的格式，将数据实时传输到数据处理服务器，数据处理服务器部署已经训练好的神经网络模型，在数据处理服务器接收到物理世界传感器采集数据后，基于部署的神经网络模型对数据进行误差分析，针对数据失真，数据重复冗余，数据缺失进行辨别，完成异常数据的删除，失真数据的修复，缺失数据的重新采集。随后将数据传输到数据整合模块，数据整合模块从中提取出特征信息，然后对特征信息进行数据综合分析和处理，将异构数据源集成到一起，在数据采集、数据预处理和数据分析的基础上，实现了特征层和决策层的多层次数据融合，使数据的质量和维度得到了改善，通过即时可靠的通信方式上传到数字孪生服务器的计算模块，通过计算模块的处理将数据可视化以及将数据进行进一步整合和计算，并将数据传输给数据库。可视化模块对数据处理计算进行显示，导出模块将数据库的数据信息导出，数据库存储物理世界数据和虚拟世界数据，由数据库来保证统一的共享数据体系，避免数据的冗余和重复建设。同时另设仿真模块，能够通过数据库导出的数据进行多线程仿真验证，并实时反馈给数字孪生服务器。数字孪生服务器也根据计算模块的数据在孪生虚拟世界进行建模和可视化，基于物理世界设备的运动特征与尺寸外形等，建立其对应的数字孪生体，以映射物理世界设备的运动轨迹和内部机理，生成以数据驱动的虚拟世界场景。数字孪生虚拟世界产生的交互行为也会通过数据同步反馈给物理世界的执行器，由执行器完成虚拟世界映射到物理世界对应的行为。数据映射支持基于数据孪生服务器和数据处理模块的物理数据和虚拟世界操作的同步映射，主要包括数据时序分析、数据关联和数据同步三部分，数据时序分析的核心根据数据的特点，针对多维异构数据建立时序数据模型，实现数据关联，通过定义数据关系，以及物理和虚拟对象中不同数据的关联规则，建立虚拟和物理世界数据网络映射。数字同步保证虚拟世界产生的交互行为能实时同步反馈给物理世界。
现有的MPEG-V协议标准更多局限于提供多媒体下视觉和听觉的感官效果和虚拟世界中对象的标准化模型，我们构建元宇宙这种虚拟和物理网络不能仅仅依靠视觉和听觉两种感官，我们还需要有触觉、嗅觉和味觉。MPEG-V协议标准缺少针对触觉、嗅觉和味觉的交互数据格式和API接口，感知维度的局限，缺少人与虚物触力觉反馈，运动自由度的局限，多感觉通道不一致问题。如何有效增强用户、物理世界和虚拟世界三者的实时交互达到自然逼真的和谐人机交互，是当前的前沿研究共性技术。本发明针对MPEG-V协议标准的缺点，针对物理世界环境和虚拟世界环境的呈现一致性问题，提出一种面向虚拟和物理世界连接以及构建系统方法，统一数据格式，实现视觉、听觉、触觉、嗅觉和味觉多种感官数据格式的获取以及识别，解决来自不同类型传感器的数据冲突，并提出虚拟和物理世界构建系统方法，拓宽MPEG-V的适用范围，为构建元宇宙和数字孪生等系统提供通用平台基础。
本发明提出了统一的传感器/执行器接口的数据传输格式，三大必要属性：时间戳、基本属性、测量信息/命令信息，能够支持不同类型传感器/执行器数据传输，统一数据格式，实现多源异构数据的标准化。
本发明提出了面向虚拟和物理世界系统架构，为构建元宇宙和数字孪生等系统提供通用平台基础。
本发明提出虚拟世界和物理世界同步的数字映射方法，来实现虚拟与物理高保真同步，有效提升了虚拟和物理世界同步运行的效果。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (10)
1.一种面向虚拟和物理世界连接构建系统，其特征在于，包括采集执行模块，采集执行模块用于采集数据以及对控制命令进行执行；
传感器处理单元，用于接收采集执行模块采集的数据信息，并且对数据进行误差检测、格式转换以及数据分析；
虚拟世界服务器，用于接收传感器处理单元发送的数据，并且对完成虚拟世界对物理世界事物的映射，并发送执行控制命令到传感器处理单元，通过传感器处理单元发送到采集执行模块执行对应的操作。
2.根据权利要求1所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述采集执行模块包括用于采集数据信息的传感器和用于执行命令的执行器。
3.根据权利要求2所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述传感器包括生物相关传感器、环境相关传感器、视听相关传感器以及位置距离传感器。
4.根据权利要求2所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述传感器通过有线传输和无线传输的通信方式将数据传输到传感器处理单元并转换为自定义的标准JSON格式。
5.根据权利要求4所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述传感器标准JSON格式包括时间戳、基本属性和传感器测量信息。
6.根据权利要求2所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述执行器包括感官相关执行器和环境相关执行器，执行器使用定义的标准化数据格式，执行器标准化数据格式包括时间戳、基本属性和命令信息。
7.根据权利要求1所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述传感器处理单元选用嵌入式设备作为边缘计算设备完成低延迟部署，通过将神经网络训练好的模型部署在嵌入式设备上运行。
8.根据权利要求1所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述虚拟世界服务器与传感器处理单元通过即时通信协议进行数据传输。
9.根据权利要求4所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述有线传输包括但不限于ModBus、USB、RS-485和Ethernet的协议类型。
10.根据权利要求4所述的一种面向虚拟和物理世界连接构建系统，其特征在于，所述无线传输包括但不限于RFID、红外、ZigBee、蓝牙、GPRS、4G/5G、WiFi和NB－IoT的协议类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837210.0A CN115309264A (zh) | 2022-07-15 | 2022-07-15 | 一种面向虚拟和物理世界连接构建系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837210.0A CN115309264A (zh) | 2022-07-15 | 2022-07-15 | 一种面向虚拟和物理世界连接构建系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115309264A true CN115309264A (zh) | 2022-11-08 |
Family
ID=83856982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210837210.0A Pending CN115309264A (zh) | 2022-07-15 | 2022-07-15 | 一种面向虚拟和物理世界连接构建系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115309264A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116011245A (zh) * | 2023-02-10 | 2023-04-25 | 南京锐迅智能科技有限公司 | 一种基于数字孪生的元宇宙资产管理方法及系统 |
| CN116127783A (zh) * | 2023-03-24 | 2023-05-16 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界生成系统 |
| CN116342842A (zh) * | 2023-03-24 | 2023-06-27 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界的数据传输系统 |
| CN117319226A (zh) * | 2023-11-29 | 2023-12-29 | 中南大学 | 基于元宇宙的数据处理方法、装置、电子设备和存储介质 |
| WO2024138785A1 (zh) * | 2022-12-28 | 2024-07-04 | 广东外语外贸大学南国商学院 | 面向元宇宙系统开发的物对象数字化方法 |
-
2022
- 2022-07-15 CN CN202210837210.0A patent/CN115309264A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024138785A1 (zh) * | 2022-12-28 | 2024-07-04 | 广东外语外贸大学南国商学院 | 面向元宇宙系统开发的物对象数字化方法 |
| CN116011245A (zh) * | 2023-02-10 | 2023-04-25 | 南京锐迅智能科技有限公司 | 一种基于数字孪生的元宇宙资产管理方法及系统 |
| CN116011245B (zh) * | 2023-02-10 | 2024-01-30 | 南京锐迅智能科技有限公司 | 一种基于数字孪生的元宇宙资产管理方法及系统 |
| CN116127783A (zh) * | 2023-03-24 | 2023-05-16 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界生成系统 |
| CN116342842A (zh) * | 2023-03-24 | 2023-06-27 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界的数据传输系统 |
| CN116127783B (zh) * | 2023-03-24 | 2024-01-23 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界生成系统 |
| CN116342842B (zh) * | 2023-03-24 | 2024-01-23 | 摩尔线程智能科技(北京)有限责任公司 | 一种虚拟世界的数据传输系统 |
| CN117319226A (zh) * | 2023-11-29 | 2023-12-29 | 中南大学 | 基于元宇宙的数据处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115309264A (zh) | 一种面向虚拟和物理世界连接构建系统 | |
| CN109819233B (zh) | 一种基于虚拟成像技术的数字孪生系统 | |
| CN110753218B (zh) | 一种数字孪生系统、方法及计算机设备 | |
| Lu et al. | Digital Twin-driven smart manufacturing: Connotation, reference model, applications and research issues | |
| CN113344505A (zh) | 一种基于数字孪生的卫陶产品装配生产管理系统及方法 | |
| CN110599603A (zh) | 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法 | |
| CN111177942A (zh) | 矿井无人化综掘工作面数字孪生智能监控系统 | |
| CN109933035A (zh) | 一种基于数字孪生的生产线控制系统、方法及生产系统 | |
| CN113485156B (zh) | 一种变压器数字孪生云平台及其实现方法 | |
| CN114935916B (zh) | 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 | |
| CN109325736A (zh) | 工业制造全生命周期的三维数字化制造系统及其实现方法 | |
| CN111966068A (zh) | 电机产线增强现实监控方法、装置、电子设备及存储介质 | |
| CN116127821A (zh) | 一种运维数据的三维可视化呈现方法及平台 | |
| CN113752264A (zh) | 基于数字孪生的机械臂智能装备控制方法及系统 | |
| CN107643820B (zh) | Vr被动型机器人及其实现方法 | |
| Zhou et al. | Task-oriented and semantics-aware 6G networks | |
| Kim et al. | Design and implementation of opc ua-based vr/ar collaboration model using cps server for vr engineering process | |
| CN109997123A (zh) | 用于改进空间-时间数据管理的方法、系统和装置 | |
| WO2020207252A1 (zh) | 数据存储方法、装置、存储介质及电子设备 | |
| CN116934960A (zh) | 一种基于数字孪生的三维全息可视化模型及实现方法 | |
| Sanislav et al. | Digital twins in the internet of things context | |
| CN116188660A (zh) | 一种基于流式渲染的点云数据处理方法及相关装置 | |
| CN111660294B (zh) | 一种液压重载机械臂增强现实操控系统 | |
| CN113194140A (zh) | 一种基于消防机器人的一体化远程监控系统 | |
| Liang et al. | Interactive Experience Design of Traditional Dance in New Media Era Based on Action Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |