CN116964638A - 涉及虚拟现实系统和交互对象的方法 - Google Patents

Abstract

描述了虚拟现实(Virtual Reality，VR)系统。VR系统包括VR显示器、存储器、探测器以及处理器系统。VR显示器用于向用户显示VR环境，存储器包括与物理对象相对应的数字孪生，物理对象包括三个或更多个地标。存储器存储指令，指令在被处理器系统执行的情况下，使得VR系统：使用探测器探测每个地标的位置；使用处理器系统将每个地标与在数字孪生上的对应地标相匹配；以及，使用处理器系统处理对应地标，以基于物理对象的定位，在VR环境中定向、定位和缩放数字孪生。

Description

涉及虚拟现实系统和交互对象的方法

技术领域

本发明涉及用于与交互对象交互的虚拟现实(Virtual Reality，VR)系统和用于VR系统的校准方法。

背景技术

已经有很多涉及在虚拟环境中的触觉刺激的研究。为了改进在虚拟环境中的触觉反馈并且使得用户能够在虚拟环境中看到对象，这些研究通常与在虚拟环境中的物理对象的虚拟再现(例如，数字孪生化)有关。物理对象的静态物理存在提供在虚拟环境中被感知到的触觉存在。

对于与物理具体化有关的VR模拟，在虚拟空间中再创建数字孪生(也被称为虚拟对象或者3D模型)的触觉感受，需要在物理具体化和数字孪生之间的精准映射。大体上，在这个映射过程中遇到了许多问题。一个问题是必须生成物理对象的3D模型并且另一个问题是必须将3D模型放置在虚拟环境中并且精准地映射到物理对象。

生成与物理对象相对应的虚拟对象经常需要从多个角度观察物理对象，以定义在VR环境中的虚拟对象的表面的形状。然后，需要对准每个视点以确保虚拟对象的表面与物理对象的表面相匹配。然后，需要在VR环境中对准虚拟对象与在现实世界环境中的物理对象。

对于一些技术，用户必须通过透过VR眼镜重复地观察虚拟模型，确定在3D模型的布局和虚拟对象之间的误差，并且调整3D模型以匹配物理对象，来手动调整虚拟模型的变换。这样手动将虚拟模型对准到物理模型的准确定位是单调乏味的。另外，用户还必须重复地将他们的头部转移到多个视角(顶部，侧面，前部)以在所有坐标轴上正确地校准模型。每当物理物体相对于VR跟踪系统的定位有变化时，必须重复这个过程。而且，在通过肉眼观察进行人工对准期间，会引入人为误差。

这个问题也基本上消除了这些VR系统将多个对象映射到虚拟空间的能力。视点的变化适用于所有对象。然而，用户通常仅能够观察一个对象以更新一个对象在虚拟环境中的定位和形状。当从多个角度观察对象时，视点是变化的。因此，所有其它对象的定位和形状现在不再是最新的。

此外，为了改进物理对象和数据孪生的对准的可预测性和容易性，物理对象是静态的。这使得能够将数字孪生静态地放置在虚拟环境中。然而，这减少了VR环境的真实感。

期望有用于制作物理对象的数字孪生的方法和系统，并且通过改进提供那些模拟的物理对象来改进VR模拟。

发明内容

本文公开了虚拟现实(VR)系统，包括：

VR显示器，用于向用户显示VR环境；

存储器，包括与物理对象相对应的数字孪生，物理对象包括三个或更多个地标；

探测器；以及

处理器系统，存储器存储指令，指令在被处理器系统执行的情况下，使VR系统：

使用探测器探测每个地标的位置；

使用处理器系统将每个地标与在数字孪生上的对应地标相匹配；以及

使用处理器系统处理对应地标，以基于物理对象的定位，在VR环境中定向、定位和缩放数字孪生。

处理器系统可以通过以下操作，处理对应地标以在VR环境中定向、定位和缩放数字孪生：

根据物理对象相对于用户的定向，定向数字孪生；以及

根据用户在被显示在VR环境中的场景中的定位，缩放数字孪生。

根据用户在被显示在VR环境中的场景中的定位，缩放数字孪生，可以包括：与物理对象到用户的距离相比，缩小对象的尺寸，并且在VR环境中将对象放置为感官上离用户更远。VR系统可以还包括用于接收定位控制命令的控制器，VR显示器从控制器接收信号并且根据信号将用户远距离传送到在VR环境中的新的定位，其中，基于用户的新的定位，数字孪生被改变尺寸。

处理器系统可以通过使用奇异向量分解变换数字孪生来定向和定位数字孪生。

处理器系统可以使用折半查找缩放数字孪生。

还公开了非瞬时性计算机可读存储介质，存储：

与物理对象相对应的数字孪生，物理对象包括三个或更多个地标；以及

指令，在被虚拟现实VR系统的处理器系统执行的情况下，使得VR系统：

探测每个地标的位置；

将每个地标与在数字孪生上的对应地标相匹配；以及

处理对应地标，以基于物理对象的定位，在VR环境中定向、定位和缩放数字孪生。

还公开了交互对象，包括：

躯体，被配置为与在虚拟现实(Virtual Reality，VR)环境中的数字孪生相对应，VR环境由VR系统向用户显示；

控制模块，被配置为控制对象的状态，对象具有至少两个状态；

其中，由用户在对象上执行的动作被探测并且在VR环境中被渲染在数字孪生上，并且在动作与预定动作相对应的情况下，控制模块被配置为将对象从当前状态转变到下一状态。

交互对象可以还包括发射器和传感器系统，传感器系统探测动作并向控制模块发送信号，并且在动作与预定动作相对应的情况下，控制模块经由发射器向VR系统发送信号。传感器系统可以包括以下至少一个：

电位器，用于测量在躯体的两个或更多个部分之间的相对旋转；

压力传感器，用于测量被施加到在躯体上的位置的压力；以及

在躯体上或躯体中的麦克风，用于探测来自用户的发言、来自在用户和躯体之间的触摸交互的声音中的一个或多个。

控制模块或者VR系统可以被配置为将来自传感器系统的信号与被VR系统探测到的用户的动作相组合，以探测预定动作的执行。

交互对象可以还包括用于从VR系统接收控制信号的接收器，控制信号包括场景和对象状态中的至少一个，控制器模块被配置为根据控制信号控制对象。

控制模块可以被配置为实施场景以控制对象，场景包括：

多个状态，包括：

对象的初始状态；以及

至少一个对象的进一步的状态；以及

预定动作，用于在多个状态中的状态之间转变，

其中，控制模块被配置为根据场景控制对象的状态。

对象可以还包括刺激系统，刺激系统在用户与对象之间的交互期间，向用户提供刺激。刺激系统可以由控制模块控制，以根据对象的状态和包含对象的场景中的至少一个向用户传递刺激。刺激系统可以包括以下至少一个：

向用户传递触觉刺激的触觉系统；

向用户传递声音刺激的扬声器系统；

向用户传递嗅觉刺激的嗅觉系统；以及

向用户传递热刺激的热系统。

对象可以复制生命体的至少一部分，并且，触觉系统可以包括脉搏生成器，脉搏生成器用于在生命体的在其处用户应当测试脉搏的位置处生成脉搏。

本文还公开了用于与如上所述的一个或多个交互对象交互的虚拟现实(VirtualReality，VR)系统，包括：

向用户显示VR环境的VR显示器；以及

至少一个处理器，用于响应于探测到预定动作，变化在VR环境中呈现给用户的内容。

内容的变化可以包括数字孪生的行为的变化。

VR系统可以包括：

存储器，包括与物理对象相对应的数字孪生，物理对象包括三个或更多个地标；

探测器；以及

处理器系统，存储器存储指令，在指令被处理器系统执行的情况下，使得VR系统：

使用探测器探测每个地标的位置；

使用处理器系统将每个地标与在数字孪生上的对应地标相匹配；以及

使用处理器系统处理对应地标，以基于物理对象的定位，在VR环境中定向、定位和缩放数字孪生。

因此，可以以实现本文所教导的一个或多个功能的任意方式组合如上所述的VR系统和VR系统实施的方法。

本发明的实施例能够在地标已经被识别和标定之后自动地执行对准。物理对象的地标在世界空间中的坐标被存储，并且VR系统(或VR显示器)的定位是已知的并且被更新的。因此，VR系统可以通过测量VR显示器的移动，确定数字孪生相对于物理对象在虚拟环境中的新的位置。因此，数字孪生仅需要在虚拟环境中安置一次，并且数字孪生将随着虚拟环境响应于用户的动作被变换而被变换。

此外，本发明的实施例将3D模型的缩放自动更改为期望的坐标，而且，当使用摄影测绘设备扫描物理对象时，缩放可以是自动的。这避免了对于诸如3D扫描仪的特殊硬件的需要，并且通过减少除了使用探测器(例如，VR控制器)来安置或定义物理对象在虚拟空间中的地标以外的人类交互来最小化人为误差。如果3D模型生成过程未能提供关于缩放的精准信息，这是尤其重要的。因此，本发明的实施例允许对具有物理具体化和交互的虚拟现实体验进行更精准的物理—虚拟映射。

此外，创建精准的大规模3D模型是具有挑战性的，并且经常提供单独单元的3D模型作为替代。本发明的实施例能够独立地校准多个3D模型，每个3D模型都具有它们自己相对于VR跟踪系统的原点的变换变化。因此，这样的实施例允许用于多个虚拟—物理交互的多个并发虚拟—物理映射。此外，本发明的实施例使得能够在虚拟空间中对准和缩放多个对象。

本文描述的用于校准VR系统的方法的实施例——例如，用于基于物理对象在真实世界或者物理环境中的定位，在VR环境中定向、定位和缩放数字孪生的方法——可以仅使用三个地标或点来进行对准。这对于具有复杂的表面结构的对象来说是重要的，因为需要更大数量的用于校准和对准的点会导致那些点中的一些被遮挡在复杂的表面结构中。

附图说明

现在将参照附图以非限制性示例的方式描述本发明的实施例，其中：

图1示出了根据本教导的用于校准VR系统的方法，VR系统用于精准地显示数字孪生；

图2是使用摄影测绘制作的人体模型的三维(Three-Dimensional，3D)模型的照片；

图3是图2的3D模型的照片，显示了物理对象的地标；

图4示出了当捕获物理对象的地标在虚拟空间中的定位时的探测器(控制器)的定位；

图5显示了虚拟空间、坐标系以及地标在该空间中的坐标；

图6示出了物理对象的地标的定位和数字孪生的对应地标的定位；

图7示出了用于实施图1的方法的VR系统；

图8a，图8b和图8c分别示出了与标记地标偏差1cm，2cm和0.5cm的模型对准的偏差；以及

图9示出了根据本教导的交互对象。

具体实施方式

本文描述了用于校准在物理对象和被渲染在VR环境中的物理对象的数字孪生之间的对准的多种方法和实施这些方法的系统。数字孪生可以是在VR环境中显示的数个数字孪生中的一个，每个数字孪生与在物理环境中相应的物理对象相关联。在同时显示多个数字孪生的这种实施例中，一些目前的方法使得缩放，定向和定位能够被自动更新，而不需要重新获取每个物理对象——即不必须在对应的数字孪生在VR环境中的定位的连续更新之间观察物理对象。

图1示出了一种这样的方法100，用于校准VR系统的——即，将数字孪生映射到物理对象。方法100大体上包括：

102：开发物理对象的数字孪生，物理对象具有在物理对象上的或者在物理对象中的已知定位的至少三个地标；

104：(一旦3D模型已经被开发)使用探测器探测每个地标的位置；

106：将在步骤104探测到的每个地标与在3D模型——在下文被称为“数字孪生”上的对应地标相匹配；以及

108：基于物理对象的定位——即相对于VR显示器或者用户佩戴的眼镜的定位，在VR环境中定向、定位和缩放数字孪生。

对于步骤102，开发物理对象的数字孪生使得能够精准地一次创建数字孪生。数字孪生的形状、外表和其它属性然后被存储在存储器中。由于已经制作和存储了数字孪生，因此，如果VR系统的视点相对于物理对象发生变化，则不需要重新获取数字孪生。相反，可以在VR环境中简单地更新数字孪生的定位以与物理对象的位置(即，定位、定向和缩放)相匹配。

使用3D扫描、摄影制图法或者其它3D模型技术能够快速地开发数字孪生。这种技术通常仅获取物理对象的形状。除了数字孪生的部分的形状以外，数字孪生在VR环境中的外表不需要反映物理对象的外表。例如，反映在图2中显示的3D扫描的图像中的物理对象是人体模型200的躯干202、头部204和右臂206。

数字孪生可以包括在人体模型或3D扫描的图像中不存在的其它肢体、衣服和与物理对象的特征不同的其它可见特征。在VR系统实施如下所述场景的情况下，物理对象和物理对象的数字孪生应当至少包括为了实施和完成场景而需要交互的组件(如头部和躯干)。因此，步骤102可以包括与从物理对象开发3D模型，并调整3D模型以制作数字孪生——例如，在3D模型上渲染衣服。

物理对象具有数个地标208，因此3D模型200具有数个地标208。地标是在物理对象200的已知位置的某事物。每个地标可以在物理对象200的表面上构成一个或多个可见标志，物理对象200的每个地标208、标记或者其它设备定位可由探测器探测到期望的精准度。在其它实施例中，地标是物理对象的物理特征——例如，形状特征。物理特征常常是通过控制器能够快捷地识别的，诸如鼻尖，躯干的底面，下巴的底部以及肩膀点。对于目前的校准方法，物理对象应该具有至少三个地标。

可以在扫描过程期间自动地确定地标的位置。例如，可以在扫描过程期间在捕获的图像中识别可见标志，并且可见标志可以在数字孪生的、与那些标志在物理对象上的位置相对应的位置处被并入到数字孪生内。可选地，如图3所显示，可以手动将地标的位置插入到数字孪生内——从这个意义上说，地标是对象“的”，因为地标与在对象上的物理位置相对应，对象上的物理位置能够用于将对象的位置匹配到虚拟对象的位置。如果地标的位置是手动插入的，可以期望地标位于在物理对象上的独特的定位——例如，在物理对象是人体模型或者人体模型的部分的实施例中，独特的定位可以包含鼻子(例如，尖部)，下巴，左和/或右肩膀，左和/或右乳头以及躯干的底面。在图3中识别了人体模型302的手动插入的地标300。

除了增加手动插入的容易性以外，地标无需位于物理对象的尖端(例如，乳头，鼻尖)或者其它独特的位置。相反，地标可以位于在物理对象中的任意地方。然而，一般期望地标不设置在一条直线上。

在根据步骤102创建数字孪生之后，需要确定物理对象相对于VR系统的位置。步骤104包含使用探测器探测每个地标210的位置。该探测步骤用于校准数字孪生在虚拟空间中的位置。因此，至少三个地标应该是可见的或者通过探测器可探测到的。

图4示出了探测器——控制器400——探测器的底座定位在物理对象402的鼻子上。控制器400的定位相对于VR系统是已知的——在本教导中相对定位是“已知的”的各种环境下，将理解那些相对定位是以可接受的精准度是已知的。然后，相对于控制器400探测地标的坐标。因此，VR系统可以确定地标相对于控制器的已知位置的位置。因此，步骤104可以包括基于每个地标相对于探测器的位置和探测器相对于VR系统或者VR系统的处理器或其它组件的位置，来探测地标的位置。

为了减少误差，期望能够从探测器的单个定位探测到至少三个地标。然而，假如探测器的位置相对于已知坐标系是已知的，并且地标的位置相对于探测器是可探测的，则能够在多于一个探测步骤104中探测到三个或更多个地标。

由于VR系统了解虚拟的控制器的定位(即，探测器在虚拟空间——VR环境中的定位)因此物理对象的地标的坐标可以被标定虚拟空间。因此，在虚拟空间中被标定的地标是在数字孪生上的对应地标的期望位置。因此，步骤104可以包括使用探测器、控制器104探测物理对象的每个地标的位置，并且将每个地标的位置映射到在VR环境中的数字孪生的对应地标的期望位置。

数字孪生的对应地标的期望位置由在图5中的附图标记500表示。图5也显示了坐标系502，相对于坐标系502，控制器的位置并且因此物理对象的地标的位置是已知的。

步骤106包含匹配每个地标到数字孪生的对应地标。匹配过程包含针对在步骤104探测到的物理对象的每个地标识别在数字孪生上的对应地标。然后，步骤108包含处理对应地标以基于物理对象的定位来定向、定位和缩放在VR环境中的数字孪生。

步骤108认识到，当将数字孪生放置在虚拟空间中时，如图6显示，在虚拟空间内再现的物理对象的地标600的位置与数字孪生的对应地标602之间可能有偏移。为了校正该偏移，步骤108可以利用许多不同的过程。在其最简单的形式中，数字孪生在与物理对象距VR系统的距离相等的距离处被渲染——注意：对距VR系统的距离的引用一般被理解为与通过VR眼镜或显示器感知的距离相对应，使得如果用户要摘除VR眼镜，则物理对象将大致出现在数字孪生在VR眼镜中最后呈现的地方。这涉及基于用户(以及VR系统)相对于物理对象的定位来缩放数字孪生，并变换——即旋转和定位——数字孪生以匹配物理对象的定向和定位。

缩放可以通过折半查找来执行，以识别需要与物理对象的地标600在虚拟空间中的位置相匹配的对应地标602在VR显示器中的位置。可以通过最小二乘拟合或其它过程或者甚至手动对准以最小化每对坐标(即，每个地标和对应地标的坐标)之间的距离来完成变换。在本实施例中，使用奇异向量分解(Singular Vector Decomposition，SVD)执行变换——这包含将地标和对应地标的坐标指定为列矩阵(或为用于变换的被转置的行矩阵)，并且定义将对应地标的位置转换为地标在虚拟空间中的位置的矩阵变换。然后，使用相同的矩阵变换可以变换在数字孪生中的没有用地标标定的点。矩阵变换是通过以下操作确定的：提供用于对准的虚拟(对应)和现实世界地标的成对坐标；使用SVD来确定旋转和变换，以通过迭代地将变化施加到变换矩阵直到满足预定阈值来获得最佳匹配；以不同的缩放重复这个过程；并且使用给出最小误差即最佳匹配的缩放和对准。

在每种情况下，步骤108包含根据物理对象相对于用户的定向来定向数字孪生，以及根据用户在VR环境中显示的场景中的定位来缩放数字孪生。在这方面，虚拟对象的“尺寸”与其在虚拟环境中的“缩放”之间存在区别。虚拟对象的“尺寸”是指它在用户看起来它有多“大”——例如，它在VR显示器中占据的像素数。相比之下，虚拟对象的“缩放”是指虚拟对象在虚拟环境中多大——例如相对于在虚拟环境中的其它对象。“尺寸”可能会变化，但“缩放”一般是固定的。因此，当虚拟对象在虚拟环境中出现在离用户更远的地方时，它的尺寸将更小，但它的缩放将保持不变。

而且，步骤108包含在虚拟环境中安置虚拟对象，包括缩放虚拟对象。这一般只执行一次，以固定虚拟对象在虚拟环境中的坐标、定向和缩放——假设对象本身在该环境中是静态的。VR系统的移动将导致用户观察的方向和定位的变化。这些移动将导致虚拟环境的变换，并且虚拟对象在虚拟环境中将被类似地变换。

场景可以是静态的，即，数字孪生或物理对象可能具有单一状态，诸如，被动/非活动状态。场景或者可以是演变的。因此，根据步骤108缩放数字孪生可以包含调整数字孪生的尺寸以适应场景。例如，虽然物理对象可能在用户附近，但数字孪生可以在距离用户一定的距离处渲染。因此，基于用户应该感知到的相距他们在VR环境中的当前位置的距离，来缩小数字孪生的尺寸。

在这种场景下，为了接近数字孪生，用户可以使用控制器。用户使用控制器来制作信号，并且VR显示器接收信号(其可以包括处理器系统解释该信号并将其映射为适合由VR显示器操作的信号)并根据该信号将用户远距离传送到在VR环境中的新定位。然后，可以基于用户在VR环境中的新的定位来调整数字孪生的尺寸。这种远距离传送过程——即，在虚拟现实环境中的位置之间移动，而用户在物理环境中没有对应移动——使得用户能够在保持静止的同时在VR环境中导航，从而允许VR环境具有任意尺寸，而不考虑物理环境的尺寸。还避免了用户在障碍物周围导航的需要。因此，可以在VR环境中放置障碍物，而无需在物理环境中放置对应对象。

方法100可以，例如在如图7所示的VR系统700上，应用。VR系统700的框图通常包括台式计算机或膝上型计算机。然而，VR系统700可以替代地包含移动计算机设备，例如智能电话、个人数据助理(Personal Data Assistant，PDA)、掌上电脑或支持多媒体互联网的蜂窝电话。

如所示的，VR系统700包括经由总线712进行电子通信的以下组件：

(a)VR显示器702，用于向用户显示VR环境；

(b)非易失性(非瞬时性)存储器704，包括(即，存储)数字孪生；

(c)随机存取存储器(Random Access Memory，“RAM”)706——作为存储器704的替代，RAM 706可以存储数字孪生；

(d)处理系统，包括嵌入在处理器模块708中的N个处理组件；

(e)收发器组件710，包括N个收发器；以及

(f)用户控件714。

尽管在图7中描绘的组件表示物理组件，但图7并非旨在是硬件示意图。因此，在图7中描绘的许多组件可以通过常见的构造来实现，或者分布在其它物理组件中。而且，可以肯定的是，可以利用其它现有的和尚未开发的物理组件和体系结构来实现参考图7描述的功能组件。

显示器702一般操作以向用户提供内容的呈现，诸如，更一般地是一个或多个数字孪生或VR环境。它可以通过各种显示器(例如，CRT、LCD、HDMI、微型投影仪和OLED显示器)中的任意一种来实现。

一般地，非易失性数据存储704(也称为非易失性存储器)用于存储(例如，持久存储)数据和可执行代码，包括虚拟纺织品(用于纹理图和布料模拟参数的数据容器)。它还可以存储3D模型或数字孪生。在这种情况下，可执行代码包括使系统700能够执行本文公开的方法的指令，诸如，参考图1描述的方法。

例如，在一些实施例中，非易失性存储器704包括引导加载程序代码、调制解调器软件、操作系统代码、文件系统代码和促进实现组件的代码，这些对于本领域的普通技术人员来说是公知的，为了简单起见，没有描绘或描述。

在许多实施方式中，非易失性存储器704由闪速存储器(例如，NAND或ONNAND存储器)实现，但是可以肯定地想到，也可以使用其它存储器类型。尽管可以执行来自非易失性存储器704的代码，但是在非易失性存储器704中的可执行代码通常被加载到RAM 706中并且由N个处理组件708中的一个或多个执行。

与RAM 706相连接的N个处理组件708一般操作以执行存储在非易失性存储器704中的指令。如本领域普通技术人员将理解的，N个处理组件708可以包括视频处理器、调制解调器处理器、DSP、图形处理单元(Graphics Processing Unit，GPU)和其它处理组件。N个处理组件708可以包括串行执行操作的中央处理单元(Central Processing Unit，CPU)。然而，为了随着VR显示器的移动快速变换数字孪生，可以提供GPU。当存储在存储器704(或706)中的指令由处理系统708执行时，它们使得VR系统700使用探测器720来探测每个地标的位置，使用处理器系统708将每个地标与在数字孪生上的对应地标匹配，并且还使用处理器系统708来处理对应地标以基于物理对象的定位来在VR环境中定向，定位和缩放数字孪生。

收发器组件710包括M个收发器链，其可用于经由无线网络716与外部设备通信。M个收发器链中的每一个可以表示与特定通信方案相关联的收发器。例如，每个收发器可以与特定于局域网、蜂窝网络(例如，CDMA网络、GPRS网络、UMTS网络)和其它类型的通信网络的协议相对应。

附图标记718表示VR系统700可以包括物理按钮以及虚拟按钮，诸如将在VR环境中显示的虚拟按钮。而且，VR系统700可以通过网络716与其它计算机系统或数据源通信。

VR系统700还包括用于探测地标的探测器，该探测器目前由控制器720实现。控制器720还可以用于在VR环境中导航。

应该认识到图7只是示例性的，这里描述的功能可以在硬件、软件、固件或它们的任意组合中实现。如果在软件中实现，则这些功能可以存储在非瞬时性计算机可读介质704上，或者作为编码在非瞬时性计算机可读介质704上的一个或多个指令或代码传输——参考图1描述的完整方法100可以作为指令存储在计算机可读介质中，以等待计算机系统执行。非瞬时性计算机可读介质704包括计算机存储介质和通信介质两者，通信介质包括有助于将计算机程序从一个地方转移到另一个地方的任意介质。存储介质可以是计算机可以访问的任意可用介质，例如USB驱动器、固态硬盘驱动器或硬盘。

VR系统700可以稳健地实施方法100，以在VR环境中校准数字孪生(或在其中多个物理对象被渲染的数字孪生)。为了量化VR系统的鲁棒性，重复执行对准过程，同时随机化要对准的模型的起始定位、旋转和缩放(模拟在模型生成过程中的变化)，以及向校准标记添加噪声(模拟测量物理地标时的变化)。对于这些试验，还假设对于用户感觉物理对象和虚拟对象(数字孪生)的对准，系统应具有1cm的对准公差。在测量地标时存在一些偏差的情况下，如在图8a、图8b和图8c的箱形和须状图中所概括的，实现了误差偏差对准，图8a，8b和8c分别显示了与物理对象的地标的最大偏差为1cm、2cm和0.5cm的模型对准的偏差。很明显，考虑到当在校准过程中标定地标点时的最大偏差在1cm以内，由此产生的对准可能偏差小于1cm，这是可以接受的。地标标记的进一步微调将导致更精准的匹配。

除了精准地校准数字孪生的定位以匹配物理对象的定位之外，还可以期望使得物理对象以特定方式表现。这样的交互对象900在图9中示出。对象900包括躯体902和控制模块904，控制模块904以虚线示出，因为它在躯体902的内部并且经由电缆906与VR系统通信。在其它实施例中，对象900可以不与VR系统通信，或者可以无线通信。

躯体902被配置为与由VR系统向用户显示的在虚拟现实(Virtual Reality，VR)环境中的数字孪生相对应。这种对应关系可以通过校准方法100来实现。控制模块904被配置为控制对象900的状态。对象900的状态是通过参考其行为来定义的——对象900具有至少两个状态。例如，对象可能在一种状态下生成可听见的噪声，而在另一种状态中是无声的。

在使用中，用户在对象900上执行的动作在VR环境中在数字孪生上被探测和渲染——例如，用户的在物理对象上执行动作的手将被VR系统或对象900的传感器系统探测到，并在VR环境中渲染。当动作与预定动作相对应时——例如本实施例的人体模型对象900的肩膀抖动——控制模块904被配置为将对象900从当前状态转变到下一状态。

因此，对象900可以根据预先编程的序列变化状态。这使得用户能够通过在对象900上执行对应动作来与数字孪生进行交互。

交互对象900一般包括发射器(例如，图7的收发器710)和传感器系统910，发射器目前在电缆906和对象900之间形成接口908。传感器系统910探测动作并向控制模块904发送信号。控制模块904经由发射器908向VR系统(例如系统700)发送与传感器系统910探测到的动作相对应的信号。控制模块904还可以确定该动作是否与预定动作相对应，并且只有在该动作与预定动作相对应时，经由发送器908向VR系统发送信号。而且，虽然传感器系统910和控制模块904被示出为单独的组件，但是它们可以形成相同的一个或多个组件的一部分。传感器系统(具有或不具有控制模块)可以确定是否已经执行了预定动作或其相关部分。例如，预定动作可以与对物理/虚拟对象的特定区域施加预定时间段的压力有关。传感器系统可以包括位于特定区域的压力传感器，并且可以对向该区域施加压力的持续时间进行计时。如果压力被施加了必要的持续时间，则传感器系统(或控制模块)生成信号，该信号指定已经执行了预定动作。

为了说明，传感器910可以包括定位在人体模型右臂的手腕附近的压力传感器。当模拟检查脉搏时，压力传感器可以测量用户施加到压力传感器的压力——并向控制模块904发送信号。控制模块可以确定压力是否已经施加到传感器，用户是否已经将压力保持足够的时间，或者施加的压力是否在特定的期望压力范围内等等。如果动作(用户向压力传感器施加压力)符合可以存储在控制模块904能够访问的存储器中的预定动作，则控制模块904向VR系统发送信号，并将对象900转变到下一状态，例如，激活音频信号以复制用户随后需要听的浅呼吸。这确保用户在与对象交互时遵循预定动作序列或“场景”。

传感器系统可以采用任意期望的传感器。例如，它可以包括以下中的一个或多个：

电位器，用于测量躯体的两个或更多个部分之间的相对旋转——例如，在人体模型示例中，对象在用户接近时可能是静态的，对象(即，伤亡者或受害者)等待用户倾斜电位器测量的人体模型的头部(或将头部倾斜预定量)，以模拟打开呼吸道，然后VR系统和/或控制模块904将对象的状态更新为“呼吸”；

压力传感器，用于测量被施加到躯体上的位置的压力；以及

在躯体上或躯体内的麦克风，用于探测来自用户的发言、来自在用户和躯体之间的触摸交互的声音中的一个或多个——这可以用于确定用户是否在对对象900说话，或者，如果与自然语言处理系统耦合，用于确定用户对对象900说了什么——例如，用户是否正在询问当使用对象900模拟对患者进行验伤时规定的问题。

控制模块904或VR系统700被配置为组合来自传感器系统910的信号和用户的动作，以探测预定动作的执行。这将检查是否已执行动作的所有相关组成部分。例如，如果用户正在使用他的肘部对脉搏施加压力，则由VR系统(或在对象900中的相机)捕获的图像可以用于识别用户的手没有正确地定位在对象900上。因此，尽管可以正确地施加压力，但是尚未执行预定动作。

如上所述，发射机908可以是收发机的一部分，因此包括用于接收来自VR系统的控制信号的接收机。控制信号可以用于向控制模块904指示对象900可以从其当前状态转变到其下一状态。控制信号可以还包括场景或对象状态。在任一情况下，控制模块904被配置为根据控制信号控制对象900。

使用该方法，对象900可以被预加载有场景，无论场景是单个对象状态还是对象900可以在其之间转变的多个对象状态。一般地，场景将包括多个状态。多个状态将包括对象900的初始状态和一个或多个进一步的状态，初始状态定义了开始条件——即当用户第一次与对象交互时对象的状态。值得注意的是，在一些场景中，对象900可以重新访问初始状态。例如，场景可以模拟在事故中对多个受害者进行验伤。对象900可以按照用户接近每个受害者的顺序，根据需要来模拟这些受害者的行为。在完成对一个受害者的验伤时，对象900可以从其当前状态转变到初始状态，以开始表现得像用户访问的下一个受害者。

在每种情况下，都需要执行预定动作以从当前状态转变到下一状态，并且控制模块904根据从VR系统接收到的场景来控制对象的状态(即行为)。

对象900还包括刺激系统912。刺激系统912在用户和对象900之间的交互期间向用户提供刺激。刺激系统912和传感器系统910中的每一个为对象900提供主动行为和响应用户的能力，而不是为被动对象。

控制模块904控制刺激系统912根据对象的状态和包含对象的场景中的至少一个向用户传递刺激。再次观察验伤示例，如图9所示，刺激系统包括位于对象900的手腕处的模块912。模块912可以包括模拟受害者的脉搏的伺服电机，并且传感器系统910可以确定用户是否在正确的位置施加压力和/或使用正确的力度来精准地探测脉搏。如果用户正确地检查了脉搏，则对象900可以转变到其下一状态。如果用户未能正确地检查脉搏，则对象900可以不转变，或者在预定时间段之后，可以退出模拟。

刺激系统可以包括任意合适的刺激，诸如，向用户传递触觉刺激的触觉系统(例如，伺服电机示例，或者用于模拟呼吸功能的压缩机系统)、向用户传递声音刺激的扬声器系统、向用户传递嗅觉刺激的嗅觉系统以及向用户传递热刺激的热系统。

VR系统700可以与任意数量的交互对象900进行交互。而且，VR系统700可以响应于预定动作的探测来变化在VR环境中呈现给用户的内容。内容的变化可能是数字孪生的行为的变化——例如，如果用户清理物理对象900的呼吸道，则数字孪生可以可见地开始呼吸。

因此，活动对象供给在用户和物理环境之间的交互，其中该交互映射到在VR环境中呈现的场景或状态。当与VR系统交互时，这样的对象的实施例可以实现先前已经能够实现的增强的交互和场景映射。而且，当与图1的校准方法100相结合时，对象和VR系统可以在VR环境中制作比先前已经实现的更逼真的模拟。

将理解所描述的实施例的各个方面的很多进一步的修改和置换是可能的。因此，所描述的方面旨在涵盖落入所附权利要求的精神和范围内的所有这样的更改、修改和变体。

在本说明书和随后的权利要求中，除非上下文另有要求，否则词语“包括”以及变体诸如“包含”和“含有”应被理解为暗示包括所陈述的整体或步骤或者整体或步骤组，但不排除任意其它整体或步骤或者整体或步骤组。

本说明书中对任何现有出版物(或从中获得的信息)的引用，或对任何已知事项的引用，不是并且不应被视为确认或承认或任意形式的建议，即现有出版物(或从中获得的信息)或已知材料构成本说明书所涉及的领域中的公知常识的一部分。

Claims (20)

1.一种虚拟现实VR系统，包括：

VR显示器，用于向用户显示VR环境；

存储器，包括与物理对象相对应的数字孪生，所述物理对象包括三个或更多个地标；

探测器；以及

处理器系统，所述存储器存储指令，所述指令在被所述处理器系统执行的情况下，使得所述VR系统：

使用所述探测器探测每个地标的位置；

使用所述处理器系统将每个地标与在所述数字孪生上的对应地标相匹配；以及

使用所述处理器系统处理所述对应地标，以基于所述物理对象的定位，在所述VR环境中定向、定位和缩放所述数字孪生。

2.根据权利要求1所述的VR系统，其中，所述处理器系统通过以下操作，处理所述对应地标以在所述VR环境中定向、定位和缩放所述数字孪生：

根据所述物理对象相对于所述用户的定向，定向所述数字孪生；以及

根据所述用户在被显示在所述VR环境中的场景中的定位，缩放所述数字孪生。

3.根据权利要求2所述的VR系统，其中，根据所述用户在被显示在所述VR环境中的所述场景中的定位，缩放所述数字孪生，包括：与所述物理对象到所述用户的距离相比，缩小所述对象的尺寸，并且在所述VR环境中将所述对象放置为感官上离所述用户更远。

4.根据权利要求3所述的VR系统，还包括用于接收定位控制命令的控制器，所述VR显示器从所述控制器接收信号并且根据所述信号将所述用户远距离传送到在所述VR环境中的新的定位，其中，基于所述用户的所述新的定位，所述数字孪生被改变尺寸。

5.根据权利要求2至4中任一项所述的VR系统，其中，所述处理器系统通过使用奇异向量分解变换所述数字孪生来定向和定位所述数字孪生。

6.根据权利要求1至5中任一项所述的VR系统，其中，所述处理器系统使用折半查找缩放所述数字孪生。

7.一种非瞬时性计算机可读存储介质，存储：

与物理对象相对应的数字孪生，所述物理对象包括三个或更多个地标；以及

指令，在被虚拟现实VR系统的处理器系统执行的情况下，使得所述VR系统：

探测每个地标的位置；

将每个地标与在所述数字孪生上的对应地标相匹配；以及

处理所述对应地标，以基于所述物理对象的定位，在VR环境中定向、定位和缩放所述数字孪生。

8.一种交互对象，包括：

躯体，被配置为与在虚拟现实VR环境中的数字孪生相对应，所述VR环境由VR系统向用户显示；

控制模块，被配置为控制所述对象的状态，所述对象具有至少两个状态；

其中，所述用户在所述对象上执行的动作被探测并且在所述VR环境中被渲染在所述数字孪生上，并且在所述动作与预定动作相对应的情况下，所述控制模块被配置为将对象从当前状态转变到下一状态。

9.根据权利要求8所述的交互对象，还包括发射器和传感器系统，所述传感器系统探测所述动作并向所述控制模块发送信号，并且在所述动作与所述预定动作相对应的情况下，所述控制模块经由所述发射器向所述VR系统发送信号。

10.根据权利要求9所述的交互对象，其中，所述传感器系统包括以下至少一个：

电位器，用于测量在所述躯体的两个或更多个部分之间的相对旋转；

压力传感器，用于测量被施加到在所述躯体上的位置的压力；以及

在所述躯体上或所述躯体中的麦克风，用于探测来自所述用户的发言、来自在所述用户和所述躯体之间的触摸交互的声音中的一个或多个。

11.根据权利要求9或10所述的交互对象，其中，所述控制模块或者VR系统被配置为将来自所述传感器系统的信号与被所述VR系统探测到的所述用户的动作相组合，以探测所述预定动作的执行。

12.根据权利要求8至11中任一项所述的交互对象，还包括用于从所述VR系统接收控制信号的接收器，所述控制信号包括场景和对象状态中的至少一个，所述控制器模块被配置为根据所述控制信号控制所述对象。

13.根据权利要求8所述的交互对象，其中，所述控制模块被配置为实施场景以控制所述对象，所述场景包括：

多个状态，包括：

所述对象的初始状态；以及

至少一个所述对象的进一步的状态；以及

预定动作，用于在所述多个状态中的状态之间转变，

其中，所述控制模块被配置为根据所述场景控制所述对象的状态。

14.根据权利要求8至13中任一项所述的对象，还包括刺激系统，所述刺激系统在所述用户与所述对象之间的交互期间，向所述用户提供刺激。

15.根据权利要求14所述的对象，其中，所述刺激系统由所述控制模块控制，以根据所述对象的状态和包含所述对象的场景中的至少一个向所述用户传递所述刺激。

16.根据权利要求14或15所述的对象，其中，所述刺激系统包括以下至少一个：

向所述用户传递触觉刺激的触觉系统；

向所述用户传递声音刺激的扬声器系统；

向所述用户传递嗅觉刺激的嗅觉系统；以及

向所述用户传递热刺激的热系统。

17.根据权利要求16所述的对象，所述对象复制生命体的至少一部分，并且其中，所述触觉系统包括脉搏生成器，所述脉搏生成器用于在所述生命体的在其处所述用户应当测试脉搏的位置处生成所述脉搏。

18.一种用于与根据权利要求8至17中任一项所述的一个或多个交互对象交互的虚拟现实VR系统，包括：

向所述用户显示所述VR环境的VR显示器；以及

至少一个处理器，用于响应于探测到所述预定动作，变化在所述VR环境中呈现给所述用户的内容。

19.根据权利要求18所述的VR系统，其中，所述内容的变化包括所述数字孪生的行为的变化。

20.根据权利要求18或19所述的VR系统，包括：

存储器，包括与物理对象相对应的数字孪生，所述物理对象包括三个或更多个地标；

探测器；以及

处理器系统，所述存储器存储指令，在所述指令被所述处理器系统执行的情况下，使得所述VR系统：

使用所述探测器探测每个地标的位置；

使用所述处理器系统将每个地标与在所述数字孪生上的对应地标相匹配；以及

使用所述处理器系统处理所述对应地标，以基于所述物理对象的定位，在所述VR环境中定向、定位和缩放所述数字孪生。