CN115454240B - 一种元宇宙虚拟现实交互体验系统及方法 - Google Patents

Abstract

本发明公开了一种元宇宙虚拟现实交互体验系统及方法，该系统包括元宇宙专属应用软件、产线数据采集设备、虚拟三维模型构建模块、VR眼镜、动作捕捉模块、安全辅助模块、智能网关、服务器及融合模块。本发明通过佩戴VR眼镜成为虚拟化身，在虚拟的产线中进行协同，与虚拟工人进行交互，参与实时仿真产线的设计与改进，影响虚拟以及现实孪生产线，身临其境的体验成为一名产线操作人员，并能实时更新产线的设计流程，让其更加高效且人性化，通过改进数据手套的算法，从而能够大大的减轻虚拟现实交互体验时滑抖的现象。

Description

一种元宇宙虚拟现实交互体验系统及方法

技术领域

本发明涉及虚拟现实交互系统领域，具体来说，涉及一种元宇宙虚拟现实交互体验系统及方法。

背景技术

元宇宙是利用科技手段进行链接与创造的，与现实世界映射与交互的虚拟世界。元宇宙可以是自身跳入至虚拟现实中，也可以将人们的现实物品带入至虚拟现实的元宇宙中。元宇宙概念的实现需要虚拟交互技术。虚拟交互技术是利用电脑模拟产生一个三度空间的虚拟世界，调动用户视觉、听觉和触觉，并可以及时、没有限制地让用户观察三度空间内的事物。

专利号201710412172.3公开了基于惯性动捕的人-机器人虚拟现实交互控制系统，其基于MSP430和九轴传感器的运动测量方法和虚拟现实技术机器人交互界面模块，其优点在于设备成本小，不受遮挡或光干扰的影响，易携带。

但是以上专利在具体使用时存在以下缺陷：现有的虚拟交互体验不够稳定，经常会出现滑抖的现象，造成用户体验的不佳，进而使得产品竞争力不够。且现有的产线设计及改进中，均为设计人员在现实世界进行设计，而缺少在虚拟交互平台内进行产线设计与交互的方案，进而现有设计人员的产线设计方法具有局限性。因此需要元宇宙虚拟现实交互体验系统改善现有设计人员的产线设计方法。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种元宇宙虚拟现实交互体验系统及方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了一种元宇宙虚拟现实交互体验系统，该系统包括元宇宙专属应用软件、产线数据采集设备、虚拟三维模型构建模块、VR眼镜、动作捕捉模块、安全辅助模块、智能网关、服务器及融合模块；其中，所述元宇宙专属应用软件，用于为用户提供专属的服务，以及提供用户登录界面，且用户登录后，能够记录用户的历史信息，且将历史信息存储在本地硬件内；所述产线数据采集设备，用于采集产线设备、工业机器人、装配工件的相关数据，并将相关数据输入至虚拟三维模型构建模块；所述虚拟三维模型构建模块，用于根据相关数据将产线设备、工业机器人、装配工件构建成虚拟三维模型，并建立和现实产线相同的现实孪生产线，使用户体验产线操作人员的工作及参与实时仿真产线的设计与改进；所述VR眼镜，用于佩戴在用户头上，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；所述动作捕捉模块，用于捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；所述服务器，用于存储产线设备、工业机器人、装配工件的相关数据及现实孪生产线中的虚拟三维模型数据；所述融合模块，用于对IPv4及IPv6进行兼容处理，使IPv4用户及IPv6用户均能访问服务器。

进一步的，所述安全辅助模块中包括语音示警模块，所述语音示警模块，用于在用户进行元宇宙虚拟现实交互体验过程中，若用户身体动作过大或身体移动至危险区域，向用户通语音的方式进行示警。

进一步的，所述动作捕捉模块中用于捕捉用户的身体及手部动作时，通过运动捕捉服装及数据手套分别捕捉用户的身体及手部动作。

进一步的，当通过数据手套捕捉用户的手部动作时，数据手套对用户手部主要骨骼部位的关节运动进行实时测量，利用反向运动学原理测算出手指关节的位置。

进一步的，所述数据手套对人手部主要骨骼部位的关节运动进行实时测量时，测量用户手部各生物器官的有效部位的弯曲、外展，并形成用户手势的表现，且在用户手部快速运动时，对用户手部关节滑抖现象进行削弱。

进一步的，所述测量用户手部各生物器官的有效部位的弯曲、外展，并形成用户手势的表现时，将数据手套捕捉的用户手部运动位置数据传输至计算机进行处理，且以任一关节为基数建立一个数组，将位移、旋转、放缩的x、y、z三个方向的坐标轴的值作为一个三行三列的数组并存储：

式中，tx、ty、tz为位移X、Y、Z的值，rx、ry、tz为旋转X、Y、Z的值，sx、sy、sz为放缩X、Y、Z的值。

进一步的，所述在用户手部快速运动时，对用户手部关节滑抖现象进行削弱时，计算Joint中位移、旋转、放缩三个方向上(x,y,z)相邻点的平均值；

当相邻点的平均值的变化大于预先设定的阈值时，计算相邻点的数据差：

Δtx(k)＝tx(k)-tx(k-1)

式中，tx为位移X的值，k为自然数；

当(Δtx2-Δtx1)∈{-T,T}

式中，Δtx2、Δtx1均为相邻点的数据差，T为阈值，且当相邻点的数据差超过阈值，则将导致此偏差的临近值中最大的删除；

在数据手套进行动作捕捉的过程中，将位移的值进行平均计算：

依次类推…

将计算得到的代替tx，从而防止了滑抖现象，式中，J为自然数。

进一步的，所述融合模块中对IPv4及IPv6进行兼容处理时，设计并实现通用的抽象接口父类，若在IPv4及IPv6下使用socket函数继承该抽象接口父类并使用统一的接口格式，实现支持IPv4及IPv6的通信功能。

进一步的，所述融合模块中对IPv4及IPv6进行兼容处理之前，且在服务器中路由器接口处分配IPv4网络协议地址，以及对IPv6网络协议进行转发单播地址时，通过路由器中的IPv4路由表或IPv6网络协议下的路由器，实现IPv4及IPv6协议之间报文的路由转发。

根据本发明的另一方面，提供了一种元宇宙虚拟现实交互体验方法，该方法包括以下步骤：

采集产线设备、工业机器人、装配工件的相关数据，并将数据输入至虚拟三维模型构建模块，完成虚拟三维模型的构建，并建立和现实产线相同的现实孪生产线；

用户佩戴VR眼镜，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；

捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；

用户进行虚拟现实交互体验时，监控用户的身体及动作，防止用户身体动作过大或身体移动至危险区域；

将用户的选择的产线设备、工业机器人、装配工件的相关数据，以及现实孪生产线中的虚拟三维模型数据发送至服务器。

本发明的有益效果为：本发明通过佩戴VR眼镜成为虚拟化身，在虚拟的产线中进行协同，与虚拟工人进行交互，参与实时仿真产线的设计与改进。影响虚拟以及现实孪生产线，身临其境的体验成为一名产线操作人员，并能实时更新产线的设计流程，让其更加高效且人性化。通过改进数据手套的算法，从而能够大大的减轻虚拟现实交互体验时滑抖的现象。同时将虚拟模型存储在服务器中，方便用户后续进行使用，且通过对IPv4及IPv6进行兼容处理，使IPv4用户及IPv6用户均能访问服务器。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于元宇宙技术的虚拟现实交互体验系统的结构框图。

图中：

1、元宇宙专属应用软件；2、产线数据采集设备；3、虚拟三维模型构建模块；4、VR眼镜；5、动作捕捉模块；6、安全辅助模块；7、智能网关；8、服务器；9、融合模块。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种元宇宙虚拟现实交互体验系统及方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明的一个方面，提供了一种元宇宙虚拟现实交互体验系统，该系统包括元宇宙专属应用软件1、产线数据采集设备2、虚拟三维模型构建模块3、VR眼镜4、动作捕捉模块5、安全辅助模块6、智能网关7、服务器8及融合模块9；

其中，所述元宇宙专属应用软件1，用于为用户提供专属的服务，以及提供用户登录界面，且用户登录后，能够记录用户的历史信息，且将历史信息存储在本地硬件内，该服务包括产线设计方案信息，新闻等；

所述产线数据采集设备2，用于采集产线设备、工业机器人、装配工件的相关数据，并将相关数据输入至虚拟三维模型构建模块3；

所述虚拟三维模型构建模块3，用于根据相关数据将产线设备、工业机器人、装配工件构建成虚拟三维模型，并建立和现实产线相同的现实孪生产线，使用户体验产线操作人员的工作及参与实时仿真产线的设计与改进；现实的产线元素(传送带、机械臂)可以通过实时数采设备成为数字孪生体和虚拟化身交互；

所述VR眼镜4，用于佩戴在用户头上，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；可以采用Oculus Quest2眼镜；

所述动作捕捉模块5，用于捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；其中，捕捉的动作需要通过计算机进行处理；

其中，所述动作捕捉模块5中用于捕捉用户的身体及手部动作时，通过运动捕捉服装及数据手套分别捕捉用户的身体及手部动作。

当通过数据手套捕捉用户的手部动作时，数据手套对用户手部主要骨骼部位的关节运动进行实时测量，利用反向运动学原理测算出手指关节的位置；

所述数据手套将测得的数据通过蓝牙或红外方式发射至计算机进行处理。

所述数据手套对人手部主要骨骼部位的关节运动进行实时测量时，测量用户手部各生物器官(如手指各关节)的有效部位的弯曲、外展等，并形成用户手势的表现，且在用户手部快速运动时，对用户手部关节滑抖现象进行削弱。

用户手部各弯角组成的向量为f＝(f₁，f₂，…，f_n)，相对应的确定传感器组成的向量为d＝(d₁，d₂，…，d_n)，向量d与向量f存在映射关系，且根据向量d找到原映射关系的逆映射。

所述测量用户手部各生物器官的有效部位的弯曲、外展，并形成用户手势的表现时，将数据手套捕捉的用户手部运动位置数据传输至计算机进行处理，且以任一关节为基数建立一个数组，将位移、旋转、放缩的x、y、z三个方向的坐标轴的值作为一个三行三列的数组并存储：

式中，tx、ty、tz为位移X、Y、Z的值，rx、ry、tz为旋转X、Y、Z的值，sx、sy、sz为放缩X、Y、Z的值。

所述在用户手部快速运动时，对用户手部关节滑抖现象进行削弱时，计算Joint中位移、旋转、放缩三个方向上(x,y,z)相邻点的平均值；

当相邻点的平均值的变化大于预先设定的阈值时，计算相邻点的数据差：

Δtx(k)＝tx(k)-tx(k-1)

式中，tx为位移X的值，k为自然数；

当(Δtx2-Δtx1)∈{-T,T}

式中，Δtx2、Δtx1均为相邻点的数据差，T为阈值，且当相邻点的数据差超过阈值，则将导致此偏差的临近值中最大的删除；

在数据手套进行动作捕捉的过程中，将位移的值进行平均计算：

将计算得到的Δtx代替tx，从而防止了滑抖现象，式中，J为自然数。

所述安全辅助模块6，用于在用户进行虚拟现实交互体验时，监控用户的身体及动作，防止用户身体动作过大或身体移动至危险区域；

其中，所述安全辅助模块6中包括语音示警模块，所述语音示警模块，用于在用户进行元宇宙虚拟现实交互体验过程中，若用户身体动作过大或身体移动至危险区域，向用户通语音的方式进行示警。

所述智能网关7，用于将用户的选择的产线设备、工业机器人、装配工件的相关数据，以及现实孪生产线中的虚拟三维模型数据发送至服务器；

所述服务器8，用于存储产线设备、工业机器人、装配工件的相关数据及现实孪生产线中的虚拟三维模型数据；

所述融合模块9，用于对IPv4及IPv6进行兼容处理，使IPv4用户及IPv6用户均能访问服务器8；

其中，所述融合模块9中对IPv4及IPv6进行兼容处理时，设计并实现通用的抽象接口父类，若在IPv4及IPv6下使用socket函数继承该抽象接口父类并使用统一的接口格式，实现支持IPv4及IPv6的通信功能。

所述融合模块9中对IPv4及IPv6进行兼容处理之前，且在服务器中路由器接口处分配IPv4网络协议地址，以及对IPv6网络协议进行转发单播地址时，通过路由器中的IPv4路由表或IPv6网络协议下的路由器，实现IPv4及IPv6协议之间报文的路由转发。

其中，所述元宇宙专属应用软件1内设置有高级用户模块，所述高级用户模块，用于为用户提供专属的虚拟三维模型，以及为用户提供专属的设计人员进行辅助交流。

根据本发明的另一方面，提供了一种元宇宙虚拟现实交互体验方法，该方法包括以下步骤：

采集产线设备、工业机器人、装配工件的相关数据，并将数据输入至虚拟三维模型构建模块，完成虚拟三维模型的构建，并建立和现实产线相同的现实孪生产线；

用户佩戴VR眼镜，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；

捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；

用户进行虚拟现实交互体验时，监控用户的身体及动作，防止用户身体动作过大或身体移动至危险区域；

将用户的选择的产线设备、工业机器人、装配工件的相关数据，以及现实孪生产线中的虚拟三维模型数据发送至服务器。

综上所述，本发明通过佩戴VR眼镜成为虚拟化身，在虚拟的产线中进行协同，与虚拟工人进行交互，参与实时仿真产线的设计与改进。影响虚拟以及现实孪生产线，身临其境的体验成为一名产线操作人员，并能实时更新产线的设计流程，让其更加高效且人性化。通过改进数据手套的算法，从而能够大大的减轻虚拟现实交互体验时滑抖的现象。同时将虚拟模型存储在服务器中，方便用户后续进行使用，且通过对IPv4及IPv6进行兼容处理，使IPv4用户及IPv6用户均能访问服务器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种元宇宙虚拟现实交互体验系统，其特征在于，该系统包括元宇宙专属应用软件、产线数据采集设备、虚拟三维模型构建模块、VR眼镜、动作捕捉模块、安全辅助模块、智能网关、服务器及融合模块；

其中，所述元宇宙专属应用软件，用于为用户提供专属的服务，以及提供用户登录界面，且用户登录后，能够记录用户的历史信息，且将历史信息存储在本地硬件内；

所述产线数据采集设备，用于采集产线设备、工业机器人、装配工件的相关数据，并将相关数据输入至虚拟三维模型构建模块；

所述虚拟三维模型构建模块，用于根据相关数据将产线设备、工业机器人、装配工件构建成虚拟三维模型，并建立和现实产线相同的现实孪生产线，使用户体验产线操作人员的工作及参与实时仿真产线的设计与改进；

所述VR眼镜，用于佩戴在用户头上，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；

所述动作捕捉模块，用于捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；所述动作捕捉模块中用于捕捉用户的身体及手部动作时，通过运动捕捉服装及数据手套分别捕捉用户的身体及手部动作；当通过数据手套捕捉用户的手部动作时，数据手套对用户手部的关节运动进行实时测量，利用反向运动学原理测算出手指关节的位置；

所述数据手套对人手部的关节运动进行实时测量时，测量用户手部的弯曲、外展，并形成用户手势的表现，且在用户手部快速运动即处于非静止状态时，对用户手部关节滑抖现象进行削弱；在测量用户手部的弯曲、外展，并形成用户手势的表现时，将数据手套捕捉的用户手部运动位置数据传输至计算机进行处理，且以任一关节为基础建立一个数组，将位移、旋转、放缩的x、y、z三个方向的坐标轴的值作为一个三行三列的数组并存储：

式中，tx、ty、tz为位移x、y、z的值，rx、ry、rz为旋转x、y、z的值，sx、sy、sz为放缩x、y、z的值；所述在用户手部快速运动即处于非静止状态时，对用户手部关节滑抖现象进行削弱时，计算Joint中位移、旋转、放缩三个方向上(x，y，z)相邻点的平均值；

当相邻点的平均值的变化大于预先设定的阈值时，计算相邻点的数据差：

Δtx(k)＝tx(k)-tx(k-1)

式中，tx为位移x的值，k为自然数；

当(Δtx2-Δtx1)∈{-T，T}

式中，Δtx2、Δtx1均为相邻点的数据差，T为阈值，且当相邻点的数据差超过阈值，则将导致此偏差的临近值中最大的删除；

在数据手套进行动作捕捉的过程中，将位移的值进行平均计算：

依次类推；

将计算得到的代替tx，从而防止了滑抖现象，式中，J为自然数；

所述安全辅助模块中包括语音示警模块，所述语音示警模块，用于在用户进行元宇宙虚拟现实交互体验过程中，若用户身体动作过大或身体移动至危险区域，向用户通语音的方式进行示警；

所述服务器，用于存储产线设备、工业机器人、装配工件的相关数据及现实孪生产线中的虚拟三维模型数据；

所述融合模块，用于对IPv4及IPv6进行兼容处理，使IPv4用户及IPv6用户均能访问服务器。

2.根据权利要求1所述的一种元宇宙虚拟现实交互体验系统，其特征在于，所述融合模块中对IPv4及IPv6进行兼容处理时，设计并实现通用的抽象接口父类，使用socket函数继承该抽象接口父类并使用统一的接口格式，实现支持IPv4及IPv6的通信功能。

3.根据权利要求2所述的一种元宇宙虚拟现实交互体验系统，其特征在于，所述融合模块中对IPv4及IPv6进行兼容处理之前，且在服务器中路由器接口处分配IPv4网络协议地址，以及对IPv6网络协议进行转发单播地址时，通过路由器中的IPv4路由表或IPv6网络协议下的路由器，实现IPv4及IPv6协议之间报文的路由转发。

4.一种元宇宙虚拟现实交互体验方法，应用于权利要求1-3任一项所述的一种元宇宙虚拟现实交互体验系统，其特征在于，该方法包括以下步骤：

采集产线设备、工业机器人、装配工件的相关数据，并将数据输入至虚拟三维模型构建模块，完成虚拟三维模型的构建，并建立和现实产线相同的现实孪生产线；

用户佩戴VR眼镜，使用户能够对外界的视觉、听觉进行封闭，引导用户产生虚拟环境中的感觉；

捕捉用户的身体及手部动作，并将用户的身体及手部动作映射至元宇宙虚拟环境中，且用户在元宇宙虚拟环境中与现实孪生产线进行交互；

用户进行虚拟现实交互体验时，监控用户的身体及动作，防止用户身体动作过大或身体移动至危险区域；

将用户的选择的产线设备、工业机器人、装配工件的相关数据，以及现实孪生产线中的虚拟三维模型数据发送至服务器。