CN117555426B - 基于数字孪生技术的虚拟现实交互系统 - Google Patents

Abstract

本发明涉及虚拟现实技术领域，并具体公开了基于数字孪生技术的虚拟现实交互系统，包括：物理和原始数据获取模块确定出所有可交互物理实体及其交互响应规则；初始孪生仿真数据获取模块获取虚拟现实显示视频中对应的全部物理场景的孪生仿真数据；响应孪生仿真数据获取模块获取每个可交互物理实体在多种响应状态下的第二部分孪生仿真数据；虚拟显示范围确定模块基于用户输入的所有历史交互指令，确定出当前时刻的最新虚拟显示范围；孪生视频仿真显示模块对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果；用以实现虚拟现实显示装置中的显示视频的高效生成。

Description

基于数字孪生技术的虚拟现实交互系统

技术领域

本发明涉及虚拟现实技术领域，特别涉及基于数字孪生技术的虚拟现实交互系统。

背景技术

虚拟现实技术是一种依托现代科技在特定范围内创造和体验虚拟世界的计算机仿真系统，营造一个具有“真实”视觉、听觉和触觉效果的虚拟体验环境。体验者在数字设备的辅助下可以进入三维动态的沉浸式交互体验空间，在虚拟环境中进行如同真实世界中的各种活动，使观者“真正”置身于设计师所营造的艺术氛围之中进行交互式体验。虚拟现实技术所特有的交互性和沉浸感创造了一个新型的体验空间，通过数字技术对展示内容进行三维建模，将早已消逝或难得一见的历史场景进行立体还原，给观者带来身临其境的全新体验，沉浸式体验增强了参观者对展示信息的理解。VR 技术的优点在于展示内容直观，展示方式趣味，沉浸式交互能吸引更多的观者参与。现存在交互控制技术应用于虚拟现实等图形图像领域，将人的因素通过手势、视觉、语音、脑波等融入数字孪生系统，使用者可以通过友好的人机操作方式将控制指令反馈给物理世界。

但是，在构建通过头显装置给用户显示的虚拟现实显示视频时，现有技术多通过使用数字孪生技术，进行模型场景搭建仿真深度渲染现实场景，进行模型优化和渲染，获得通过头显装置给用户显示的虚拟现实显示视频。但是，现有技术中的虚拟现实显示视频的构建方法在用户每次输入新的交互指令时对头显装置中当前显示视频在实际物理空间中的部分范围进行模型场景搭建并仿真渲染，进而导致在构建通过头显装置给用户显示的虚拟现实显示视频时的数据处理量过大，并限制了虚拟现实显示视频的刷新率。

因此，本发明提出基于数字孪生技术的虚拟现实交互系统。

发明内容

本发明提供基于数字孪生技术的虚拟现实交互系统，用以基于用户输入的历史交互指令确定出虚拟现实显示装置中需要显示的视频的显示范围，并基于显示范围对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，即基于显示范围对预先获取的全部物理场景的孪生仿真数据和可交互物理实体在不同响应状态下的孪生仿真数据进行直接筛选并组合显示，进而无需在每次接收到用户输入的交互指令时都进行场景搭建和渲染，减少了虚拟现实显示视频生成过程中的数据处理量，并提高了虚拟现实显示装置中的显示视频的生成效率，也提高了头显装置中的虚拟现实显示视频的刷新率。

本发明提供基于数字孪生技术的虚拟现实交互系统，包括：

物理和原始数据获取模块，用于在虚拟现实显示视频中对应的全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则；

初始孪生仿真数据获取模块，用于获取虚拟现实显示视频中对应的全部物理场景的孪生仿真数据，其中，全部物理场景的孪生仿真数据包含所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据；

响应孪生仿真数据获取模块，用于基于每个可交互物理实体的交互响应规则，获取每个可交互物理实体在多种响应状态下的第二部分孪生仿真数据；

虚拟显示范围确定模块，用于基于用户输入的所有历史交互指令，确定出当前时刻的最新虚拟显示范围；

孪生视频仿真显示模块，用于基于最新虚拟显示范围和所有可交互物理实体的交互响应规则以及用户最新输入的交互指令，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果。

优选的，物理和原始数据获取模块，包括：

物理场景确定子模块，用于确定出虚拟现实显示视频中对应的全部物理场景；

实体和规则确定子模块，用于在全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则。

优选的，实体和规则确定子模块，包括：

物理实体筛选子模块，用于在全部物理场景中确定出所有可交互物理实体；

规则获取子模块，用于获取每个可交互物理实体的可响应指令以及每种可响应指令的响应状态和应用限制规则，作为每个可交互物理实体的交互响应规则。

优选的，初始孪生仿真数据获取模块，包括：

背景孪生仿真数据获取子模块，用于获取虚拟现实显示视频中对应的全部物理场景在不包含所有可交互物理实体时对应的孪生仿真数据，作为背景孪生仿真数据；

初始孪生仿真数据获取子模块，用于获取所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据；

孪生仿真数据叠加子模块，用于确定出第一部分孪生仿真数据和背景孪生仿真数据之间的位置映射；

孪生仿真数据汇总子模块，用于基于位置映射对背景孪生仿真数据和第一部分孪生仿真数据进行关联存储，获得虚拟现实显示视频中对应的全部物理场景的孪生仿真数据。

优选的，响应孪生仿真数据获取模块，包括：

指令和状态获取子模块，用于在每个可交互物理实体的交互响应规则中，确定出对应可交互物理实体的所有可响应指令和每个可响应指令对应的响应状态；

孪生仿真数据获取子模块，用于获取可交互物理实体在每个可响应指令对应的响应状态下的孪生仿真数据，作为第二部分孪生仿真数据。

优选的，虚拟显示范围确定模块，包括：

虚拟显示范围确定子模块，用于基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的所有历史交互指令，确定出当前时刻的已显示虚拟显示范围；

虚拟显示范围更新子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生更新时，则基于虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生的更新量对已显示虚拟显示范围进行更新，获得当前时刻的最新虚拟显示范围；

虚拟显示范围保留子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻未发生更新时，则将当前时刻的已显示虚拟显示范围当作当前时刻的最新虚拟显示范围。

优选的，虚拟显示范围确定子模块，包括：

视角向量确定单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的历史交互指令，在预设坐标系中确定出用户的历史视角三维向量和历史视角范围；

显示范围确定单元，用于基于历史视角三维向量和历史视角范围，在虚拟现实显示视频的虚拟显示空间中确定出当前时刻的已显示虚拟显示范围。

优选的，视角向量确定单元，包括：

第一三维坐标确定子单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据，确定出显示装置中的至少三个预设基点在对应历史时段中每个历史时刻的历史三维坐标；

三维平面坐标确定子单元，用于基于至少三个预设基点在对应历史时段中每个历史时刻的历史三维坐标，确定出显示装置假设平面在对应历史时段中每个历史时刻的历史三维平面坐标表示；

第二三维坐标确定子单元，用于基于至少三个预设基点中的两个预设视角定位基点在对应历史时段中每个历史时刻的历史三维坐标，确定出视角起点在对应历史时段中每个历史时刻的历史三维坐标；

三维线坐标确定子单元，用于基于显示装置假设平面在对应历史时段中每个历史时刻的历史三维平面坐标表示和视角起点在对应历史时段中每个历史时刻的历史三维坐标，确定出与显示装置假设平面垂直且以视角起点为端点且位于显示装置假设平面的预设侧的视角射线在对应历史时段中每个历史时刻的历史三维线坐标表示；

视角三维向量确定子单元，用于基于视角射线在对应历史时段中每个历史时刻的历史三维线坐标表示，确定出在视角射线上的单位三维向量作为用户在对应历史时段中每个历史时刻的历史视角三维向量；

历史视角范围确定子单元，用于基于用户输入的历史交互指令确定出用户的历史视角范围。

优选的，孪生视频仿真显示模块，包括：

目标实体和状态确定子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中是属于可响应指令时，则确定出用户最新输入的交互指令对应的所有目标可交互物理实体和每种目标可交互物理实体的目标响应状态；

孪生视频仿真显示子模块，用于基于用户最新输入的交互指令对应的所有目标可交互物理实体和每种目标可交互物理实体的目标响应状态，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果；

显示不更新控制子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中不是属于可响应指令时，则将显示装置不更新显示，作为虚拟现实实时交互结果。

优选的，孪生视频仿真显示子模块，包括：

部分孪生仿真数据调取单元，用于在全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据中，调取出最新虚拟显示范围内的第三部分孪生仿真数据和所有目标可交互物理实体的目标响应状态下的第四部分孪生仿真数据；

孪生仿真数据叠加单元，用于基于全部物理场景的孪生仿真数据中的位置映射，对第三部分孪生仿真数据和第四部分孪生仿真数据进行叠加，获得待孪生仿真数据；

孪生视频仿真显示单元，用于对待孪生仿真数据进行孪生视频仿真显示，获得虚拟现实实时交互结果。

本发明相对于现有技术产生的有益效果为：基于用户输入的历史交互指令确定出虚拟现实显示装置中需要显示的视频的显示范围，并基于显示范围对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，即基于显示范围对预先获取的全部物理场景的孪生仿真数据和可交互物理实体在不同响应状态下的孪生仿真数据进行直接筛选并组合显示，进而无需在每次接收到用户输入的交互指令时都进行场景搭建和渲染，减少了虚拟现实显示视频生成过程中的数据处理量，并提高了虚拟现实显示装置中的显示视频的生成效率，也提高了头显装置中的虚拟现实显示视频的刷新率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本申请文件中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中的基于数字孪生技术的虚拟现实交互系统的内部功能模块的示意图；

图2为本发明实施例中的物理和原始数据获取模块的内部功能子模块示意图；

图3为本发明实施例中的实体和规则确定子模块内部功能子模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了基于数字孪生技术的虚拟现实交互系统，参考图1，包括：

物理和原始数据获取模块，用于在虚拟现实显示视频（即为基于VR（虚拟现实）头显装置显示给用户看的视频）中对应的全部物理场景（即为虚拟现实显示视频中涉及的所有虚拟场景对应的实际物理场景）中确定出所有可交互物理实体（即为虚拟现实显示视频中可以对用户输入的交互指令进行响应并产生变化的对象在实际物理场景中对应的实体，例如：虚拟现实游戏中的非玩家角色）和每个可交互物理实体的交互响应规则（即为与可交互物理实体与用户的交互指令之间的响应有关的规则）；

初始孪生仿真数据获取模块，用于获取虚拟现实显示视频中对应的全部物理场景的孪生仿真数据（即为基于数字孪生技术对全部物理场景进行模型仿真和渲染后获得的数据，该孪生仿真数据是可以在数字空间中将全部物理场景进行还原的数据，例如包含全部物理场景中的所有坐标点的像素点的数据集合，数字空间可以是描述全部物理空间的外观构造的三维坐标或表现全部物理空间的其他特性的数字描述集合），其中，全部物理场景的孪生仿真数据包含所有可交互物理实体在全部物理场景中的初始状态（即可交互物理实体在未因为任何交互指令产生响应时的状态，这里的状态可以是外观形态或动作）下的第一部分孪生仿真数据（即为基于数字孪生技术对初始状态下的可交互物理实体进行模型仿真和渲染后获得的数据，该第一部分孪生仿真数据是可以在数字空间中将全部物理场景进行还原的数据）；

响应孪生仿真数据获取模块，用于基于每个可交互物理实体的交互响应规则，获取每个可交互物理实体在多种响应状态（即为预设的可交互物理实体可以针对单个交互指令作出响应后变化成为的状态）下的第二部分孪生仿真数据（即为基于数字孪生技术对多种响应状态下的可交互物理实体进行模型仿真和渲染后获得的数据，该第二部分孪生仿真数据是可以在数字空间中将全部物理场景进行还原的数据）；

虚拟显示范围确定模块，用于基于用户输入的所有历史交互指令（即为在本次虚拟现实交互过程中用户曾经输入的所有交互指令，其中，交互指令即为用户输入的用于与虚拟现实显示视频中存在的虚拟对象进行交互的指令），确定出当前时刻的最新虚拟显示范围（即为用户佩戴头显装置的前提下，当前时刻在头显装置中所看到的视频中包含的空间范围）；

孪生视频仿真显示模块，用于基于最新虚拟显示范围和所有可交互物理实体的交互响应规则以及用户最新输入的交互指令，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果（即为基于用户最新输入的交互指令通过头显装置为用户显示对应的视频这一结果，为用户显示的对应的视频中包含由用户最新输入的交互指令导致的虚拟对象响应动画视频）。

以上技术方案基于用户输入的历史交互指令确定出虚拟现实显示装置中需要显示的视频的显示范围，并基于显示范围对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，即基于显示范围对预先获取的全部物理场景的孪生仿真数据和可交互物理实体在不同响应状态下的孪生仿真数据进行直接筛选并组合显示，进而无需在每次接收到用户输入的交互指令时都进行场景搭建和渲染，减少了虚拟现实显示视频生成过程中的数据处理量，并提高了虚拟现实显示装置中的显示视频的生成效率，也提高了头显装置中的虚拟现实显示视频的刷新率。

实施例2：

在实施例1的基础上，物理和原始数据获取模块，参考图2，包括：

物理场景确定子模块，用于确定出虚拟现实显示视频中对应的全部物理场景；

实体和规则确定子模块，用于在全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则。

上述技术方案实现虚拟现实显示视频中的全部物理场景的确定以及在全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则这一过程。

实施例3：

在实施例2的基础上，实体和规则确定子模块，参考图3，包括：

物理实体筛选子模块，用于在全部物理场景中确定出所有可交互物理实体；

规则获取子模块，用于获取每个可交互物理实体的可响应指令（即为可以使得可交互物理实体作出相应响应的交互指令）以及每种可响应指令的响应状态（即为当接收到用户输入的某种可响应指令后对应可交互物理实体在虚拟现实显示视频中将会显示的动作或状态）和应用限制规则（即为可交互物理实体对对应可响应指令作出响应时需要满足的规则，例如：“降落”这一交互指令只有在用户当前处于无人机上时才可生效），作为每个可交互物理实体的交互响应规则。

上述技术方案明确了交互响应规则包括每个可交互物理实体的可响应指令以及每种可响应指令的响应状态和应用限制规则。

实施例4：

在实施例1的基础上，初始孪生仿真数据获取模块，包括：

背景孪生仿真数据获取子模块，用于获取虚拟现实显示视频中对应的全部物理场景在不包含所有可交互物理实体时对应的孪生仿真数据，作为背景孪生仿真数据；

初始孪生仿真数据获取子模块，用于获取所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据；

孪生仿真数据叠加子模块，用于确定出第一部分孪生仿真数据和背景孪生仿真数据之间的位置映射（即为可交互物理实体的第一部分孪生仿真数据与背景孪生仿真数据在预设坐标系中描述的相对位置关系）；

孪生仿真数据汇总子模块，用于基于位置映射对背景孪生仿真数据和第一部分孪生仿真数据进行关联存储，获得虚拟现实显示视频中对应的全部物理场景的孪生仿真数据。

上述技术方案通过对全部物理场景在不包含所有可交互物理实体时对应的孪生仿真数据和所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据进行分别获取，便于后续将背景孪生仿真数据和可交互物理实体在不同状态下的孪生仿真数据之间的直接叠加。

实施例5：

在实施例3的基础上，响应孪生仿真数据获取模块，包括：

指令和状态获取子模块，用于在每个可交互物理实体的交互响应规则中，确定出对应可交互物理实体的所有可响应指令和每个可响应指令对应的响应状态；

孪生仿真数据获取子模块，用于获取可交互物理实体在每个可响应指令对应的响应状态下的孪生仿真数据，作为第二部分孪生仿真数据。

上述技术方案实现对可交互物理实体在每个可响应指令对应的响应状态下的孪生仿真数据的获取。

实施例6：

在实施例1的基础上，虚拟显示范围确定模块，包括：

虚拟显示范围确定子模块，用于基于虚拟现实显示视频的显示装置（即头显装置）的历史姿态数据（即为包含头显装置在本次虚拟现实交互过程中的每个历史时刻的姿态数据，姿态数据可以用头显装置中部分装置的外表面的所有点在世界坐标系中的三维坐标表示）和用户输入的所有历史交互指令，确定出当前时刻的已显示虚拟显示范围（即为当前时刻为止之前在头显装置中最后显示的视频帧中所包含的空间范围）；

虚拟显示范围更新子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生更新时，则基于虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生的更新量（即为显示装置在当前时刻的姿态数据与上一时刻的姿态数据之间的差量）对已显示虚拟显示范围进行更新，获得当前时刻的最新虚拟显示范围（基于更新量确定出头显装置的姿态角的变化量，基于该姿态角的变化量对已显示虚拟现实范围对应的历史视角三维向量进行更新，进而获得当前时刻的最新虚拟显示范围）；

虚拟显示范围保留子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻未发生更新时，则将当前时刻的已显示虚拟显示范围当作当前时刻的最新虚拟显示范围。

上述技术方案基于显示装置的历史姿态数据和用户输入的所有历史交互指令，实现当前时刻的已显示虚拟现实范围的确定，并进一步基于显示装置的姿态数据在当前时刻是否发生更新来实现对已显示虚拟现实范围是否进一步更新的判断和相应操作，进而准确获得当前时刻的最新虚拟显示范围。

实施例7：

在实施例6的基础上，虚拟显示范围确定子模块，包括：

视角向量确定单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的历史交互指令，在预设坐标系（例如世界坐标系）中确定出用户的历史视角三维向量（即为在本次虚拟现实交互过程中用户在每个时刻的视角对应的三维单位向量）和历史视角范围（用户在虚拟现实显示视频中可看到的空间范围大小，例如以视角向量为中心的锥体区域，这里的范围可以用锥形圆锥面上的母线与视角向量之间的角度表示）；

显示范围确定单元，用于基于历史视角三维向量和历史视角范围，在虚拟现实显示视频的虚拟显示空间（即为虚拟现实显示视频中的所有虚拟场景汇总后的空间范围）中确定出当前时刻的已显示虚拟显示范围（即为将历史视角范围对应的圆锥体区域的旋转轴和当前时刻之前最后一刻的历史视角三维向量进行重合确定出的虚拟空间范围，当作当前时刻的已显示虚拟显示范围）。

以上技术方案基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的历史交互指令，通过分别确定历史视角三维向量和历史视角范围并进行组合，准确确定出当前时刻的已显示虚拟显示范围。

实施例8：

在实施例7的基础上，视角向量确定单元，包括：

第一三维坐标确定子单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据，确定出显示装置中的至少三个预设基点（即为预设的、在显示装置的显示画面在实际空间中的假想显示平面（在空间坐标系中是竖直的）中的、分别位于头显装置中对称的两个区域（该对称的两个区域分别位于人体眼部结构的左眼正前方和右眼正前方）中、并在假想显示平面中对称分布的两个位置点，以及显示装置中的任一位置点）在对应历史时段（即为历史姿态数据和历史交互指令对应的已发生时间跨度）中每个历史时刻（即为历史时段中的单个时刻）的历史三维坐标（即为三个预设基点在世界坐标系中的三维坐标）；

三维平面坐标确定子单元，用于基于至少三个预设基点在对应历史时段中每个历史时刻的历史三维坐标，确定出显示装置假设平面（即为在显示装置的显示画面在实际空间中的假想显示平面，显示装置假设平面在空间坐标系中是竖直的）在对应历史时段中每个历史时刻的历史三维平面坐标表示（即为显示装置假设平面在世界坐标系中的三维坐标表示）；

第二三维坐标确定子单元，用于基于至少三个预设基点中的两个预设视角定位基点（即为预设的、在显示装置的显示画面在实际空间中的假想显示平面（在空间坐标系中是竖直的）中的、分别位于头显装置中对称的两个区域（该对称的两个区域分别位于人体眼部结构的左眼正前方和右眼正前方）中的、并在假想显示平面中对称分布的两个位置点，且这两个位置点的中点即为在该历史时刻的历史视角三维向量的起点）在对应历史时段中每个历史时刻的历史三维坐标（即为两个预设视角定位基点在世界坐标系中的三维坐标），确定出视角起点（即为单个历史时刻的历史视角三维向量的起点）在对应历史时段中每个历史时刻的历史三维坐标（即为将两个预设视角定位基点在世界坐标系中的三维坐标的均值当作视角起点在对应历史时段中每个历史时刻的历史三维坐标）；

三维线坐标确定子单元，用于基于显示装置假设平面在对应历史时段中每个历史时刻的历史三维平面坐标表示和视角起点在对应历史时段中每个历史时刻的历史三维坐标，确定出与显示装置假设平面垂直且以视角起点为端点且位于显示装置假设平面的预设侧（用户的正前方对应的那一侧）的视角射线（即为表示用户在对应历史时刻的视线中心的发射方向和假设的发射起点的射线）在对应历史时段中每个历史时刻的历史三维线坐标表示（即为视角射线在世界坐标系中的三维坐标表示）；

视角三维向量确定子单元，用于基于视角射线在对应历史时段中每个历史时刻的历史三维线坐标表示，确定出在视角射线上的单位三维向量作为用户在对应历史时段中每个历史时刻的历史视角三维向量；

历史视角范围确定子单元，用于基于用户输入的历史交互指令确定出用户的历史视角范围（当用户输入的交互指令中不存在视角范围对应的角度大小改变指令时，则历史视角范围为初始角度，反之，则基于用户输入的历史交互指令中包含的角度大小改变指令对初始状态下的初始角度进行变化，获得用户在历史时段中每个时刻的历史视角范围）。

上述技术方案基于头显装置的姿态数据确定出假想显示平面中的多个基点，并基于姿态数据确定出多个基点在历史时段中每个历史时刻的三维坐标表示，基于此，实现了精准地确定出用户在历史时段中每个历史时刻的历史视角三维向量和历史视角范围。

实施例9：

在实施例3的基础上，孪生视频仿真显示模块，包括：

目标实体和状态确定子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中是属于可响应指令（即基于应用限制规则判断出最新输入的交互指令在当前时刻是否可以生效，若生效则为可响应指令，否则不是）时，则确定出用户最新输入的交互指令对应的所有目标可交互物理实体（即为可因为最新输入的交互指令产生响应的可交互物理实体）和每种目标可交互物理实体的目标响应状态（即为目标可交互物理实体因为最新输入的交互指令产生的响应状态）；

孪生视频仿真显示子模块，用于基于用户最新输入的交互指令对应的所有目标可交互物理实体和每种目标可交互物理实体的目标响应状态，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果；

显示不更新控制子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中不是属于可响应指令时，则将显示装置不更新显示，作为虚拟现实实时交互结果。

上述技术方案基于所有可交互物理实体的交互响应规则中的应用限制规则实现对可响应指令的有效性判断，并按照可响应指令的有效性判定结果获得相应的虚拟现实实时交互结果，其中在可响应指令有效时通过对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，减少了虚拟现实显示视频生成过程中的数据处理量，并提高了虚拟现实显示装置中的显示视频的生成效率，也提高了头显装置中的虚拟现实显示视频的刷新率。

实施例10：

在实施例9的基础上，孪生视频仿真显示子模块，包括：

部分孪生仿真数据调取单元，用于在全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据中，调取出最新虚拟显示范围内的第三部分孪生仿真数据（即为全部物理场景的孪生仿真数据中在最新虚拟显示范围内看到的视频对应的部分孪生仿真数据）和所有目标可交互物理实体的目标响应状态下的第四部分孪生仿真数据（即为目标可交互物理实体的目标响应状态下的部分孪生仿真数据）；

孪生仿真数据叠加单元，用于基于全部物理场景的孪生仿真数据中的位置映射，对第三部分孪生仿真数据和第四部分孪生仿真数据进行叠加，获得待孪生仿真数据（即为头显装置在当前时刻应该显示的视频对应的孪生仿真数据）；

孪生视频仿真显示单元，用于对待孪生仿真数据进行孪生视频仿真显示（即为基于待孪生仿真数据进行视频仿真，生成预设参数（例如预设亮度预设对比度等）的视频），获得虚拟现实实时交互结果。

上述技术方案基于最新虚拟现实范围实现对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据的筛选，并基于筛选出的孪生仿真数据进行组合并视频仿真，实现虚拟现实显示视频的高效生成，其中，由于在处理相同虚拟空间范围内的显示数据时，视频仿真比模型搭建和渲染过程的数据量少，因为本发明可以直接调取显示数据进行组合，大程度简化了模型搭建过程，因此提高了虚拟现实显示视频的生成效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.基于数字孪生技术的虚拟现实交互系统，其特征在于，包括：

物理和原始数据获取模块，用于在虚拟现实显示视频中对应的全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则；

初始孪生仿真数据获取模块，用于获取虚拟现实显示视频中对应的全部物理场景的孪生仿真数据，其中，全部物理场景的孪生仿真数据包含所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据；

响应孪生仿真数据获取模块，用于基于每个可交互物理实体的交互响应规则，获取每个可交互物理实体在多种响应状态下的第二部分孪生仿真数据；

虚拟显示范围确定模块，用于基于用户输入的所有历史交互指令，确定出当前时刻的最新虚拟显示范围；

孪生视频仿真显示模块，用于基于最新虚拟显示范围和所有可交互物理实体的交互响应规则以及用户最新输入的交互指令，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果；

其中，虚拟显示范围确定模块，包括：

虚拟显示范围确定子模块，用于基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的所有历史交互指令，确定出当前时刻的已显示虚拟显示范围；

虚拟显示范围更新子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生更新时，则基于虚拟现实显示视频的显示装置的实时姿态数据在当前时刻发生的更新量对已显示虚拟显示范围进行更新，获得当前时刻的最新虚拟显示范围；

虚拟显示范围保留子模块，用于当虚拟现实显示视频的显示装置的实时姿态数据在当前时刻未发生更新时，则将当前时刻的已显示虚拟显示范围当作当前时刻的最新虚拟显示范围；

其中，虚拟显示范围确定子模块，包括：

视角向量确定单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据和用户输入的历史交互指令，在预设坐标系中确定出用户的历史视角三维向量和历史视角范围；

显示范围确定单元，用于基于历史视角三维向量和历史视角范围，在虚拟现实显示视频的虚拟显示空间中确定出当前时刻的已显示虚拟显示范围；

其中，视角向量确定单元，包括：

第一三维坐标确定子单元，用于基于虚拟现实显示视频的显示装置的历史姿态数据，确定出显示装置中的至少三个预设基点在对应历史时段中每个历史时刻的历史三维坐标；

三维平面坐标确定子单元，用于基于至少三个预设基点在对应历史时段中每个历史时刻的历史三维坐标，确定出显示装置假设平面在对应历史时段中每个历史时刻的历史三维平面坐标表示；

第二三维坐标确定子单元，用于基于至少三个预设基点中的两个预设视角定位基点在对应历史时段中每个历史时刻的历史三维坐标，确定出视角起点在对应历史时段中每个历史时刻的历史三维坐标；

三维线坐标确定子单元，用于基于显示装置假设平面在对应历史时段中每个历史时刻的历史三维平面坐标表示和视角起点在对应历史时段中每个历史时刻的历史三维坐标，确定出与显示装置假设平面垂直且以视角起点为端点且位于显示装置假设平面的预设侧的视角射线在对应历史时段中每个历史时刻的历史三维线坐标表示；

视角三维向量确定子单元，用于基于视角射线在对应历史时段中每个历史时刻的历史三维线坐标表示，确定出在视角射线上的单位三维向量作为用户在对应历史时段中每个历史时刻的历史视角三维向量；

历史视角范围确定子单元，用于基于用户输入的历史交互指令确定出用户的历史视角范围；

其中，可交互物理实体为虚拟现实显示视频中可以对用户输入的交互指令进行响应并产生变化的对象在实际物理场景中对应的实体。

2.根据权利要求1所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，物理和原始数据获取模块，包括：

物理场景确定子模块，用于确定出虚拟现实显示视频中对应的全部物理场景；

实体和规则确定子模块，用于在全部物理场景中确定出所有可交互物理实体和每个可交互物理实体的交互响应规则。

3.根据权利要求2所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，实体和规则确定子模块，包括：

物理实体筛选子模块，用于在全部物理场景中确定出所有可交互物理实体；

规则获取子模块，用于获取每个可交互物理实体的可响应指令以及每种可响应指令的响应状态和应用限制规则，作为每个可交互物理实体的交互响应规则。

4.根据权利要求1所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，初始孪生仿真数据获取模块，包括：

背景孪生仿真数据获取子模块，用于获取虚拟现实显示视频中对应的全部物理场景在不包含所有可交互物理实体时对应的孪生仿真数据，作为背景孪生仿真数据；

初始孪生仿真数据获取子模块，用于获取所有可交互物理实体在全部物理场景中的初始状态下的第一部分孪生仿真数据；

孪生仿真数据叠加子模块，用于确定出第一部分孪生仿真数据和背景孪生仿真数据之间的位置映射；

孪生仿真数据汇总子模块，用于基于位置映射对背景孪生仿真数据和第一部分孪生仿真数据进行关联存储，获得虚拟现实显示视频中对应的全部物理场景的孪生仿真数据。

5.根据权利要求3所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，响应孪生仿真数据获取模块，包括：

指令和状态获取子模块，用于在每个可交互物理实体的交互响应规则中，确定出对应可交互物理实体的所有可响应指令和每个可响应指令对应的响应状态；

孪生仿真数据获取子模块，用于获取可交互物理实体在每个可响应指令对应的响应状态下的孪生仿真数据，作为第二部分孪生仿真数据。

6.根据权利要求3所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，孪生视频仿真显示模块，包括：

目标实体和状态确定子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中是属于可响应指令时，则确定出用户最新输入的交互指令对应的所有目标可交互物理实体和每种目标可交互物理实体的目标响应状态；

孪生视频仿真显示子模块，用于基于用户最新输入的交互指令对应的所有目标可交互物理实体和每种目标可交互物理实体的目标响应状态，对全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据进行筛选和组合显示，获得虚拟现实实时交互结果；

显示不更新控制子模块，用于当基于所有可交互物理实体的交互响应规则中的应用限制规则判定用户最新输入的交互指令在当前时刻的最新虚拟显示范围中不是属于可响应指令时，则将显示装置不更新显示，作为虚拟现实实时交互结果。

7.根据权利要求6所述的基于数字孪生技术的虚拟现实交互系统，其特征在于，孪生视频仿真显示子模块，包括：

部分孪生仿真数据调取单元，用于在全部物理场景的孪生仿真数据和所有可交互物理实体的第二部分孪生仿真数据中，调取出最新虚拟显示范围内的第三部分孪生仿真数据和所有目标可交互物理实体的目标响应状态下的第四部分孪生仿真数据；

孪生仿真数据叠加单元，用于基于全部物理场景的孪生仿真数据中的位置映射，对第三部分孪生仿真数据和第四部分孪生仿真数据进行叠加，获得待孪生仿真数据；

孪生视频仿真显示单元，用于对待孪生仿真数据进行孪生视频仿真显示，获得虚拟现实实时交互结果。