CN104685551B

CN104685551B - 混合现实仿真方法和系统

Info

Publication number: CN104685551B
Application number: CN201380047230.7A
Authority: CN
Inventors: 斯特凡·塔奇施密德; 乔纳斯·斯皮尔曼; 马蒂亚斯·哈德斯
Original assignee: Vita Medical Treatment Joint-Stock Co; Eidgenoessische Technische Hochschule Zurich ETHZ
Current assignee: Vita Medical Treatment Joint-Stock Co
Priority date: 2012-09-12
Filing date: 2013-09-11
Publication date: 2017-07-21
Anticipated expiration: 2033-09-11
Also published as: US9330502B2; US20140071165A1; WO2014041491A1; CN104685551A; EP2896034A1; EP2896034B1

Abstract

本发明总体上涉及混合现实仿真，更具体地涉及用于训练目的的混合现实仿真装置和系统，例如在医疗领域。本发明提出了一种用于在显示器上呈现适合物理环境的虚拟环境的混合现实场景的混合现实仿真方法，该方法包括：用传感器获取物理环境对象的位置；确定物理环境表面与虚拟环境表面之间的不匹配，所述不匹配取决于所述物理环境对象的位置和混合现实场景参数；以及基于确定的不匹配计算虚拟环境的表面的映射位移。

Description

混合现实仿真方法和系统

技术领域

本发明总体上涉及混合现实仿真，更具体地涉及用于训练目的的混合现实仿真装置和系统，例如在医疗领域。

相关申请的交叉引用

本申请要求于2012年9月12日申请的美国临时专利申请序列号US61/700,222的权益，其发明人是Stefan Tuchschmid、Jonas Spillmann、Matthias Harders，发明名称是“具有被动触觉反馈的混合现实仿真器、方法和系统”，在本文出于各种目的将其作为参考全文引入。

发明背景

在传统的虚拟现实应用中，视觉仿真主要用于给终端用户提供与虚拟环境交互的视觉假象。在混合的现实场景中，用户与在物理环境(真实环境)和相关的虚拟环境中的真实对象共同相互影响，触觉使得虚拟环境(VE)内部的导航非常容易，尽管用户仍然不能通过明显的固体表面，但是混合现实提高了浸入程度和技能获取水平。通常物理触摸用主动触觉反馈装置模拟，例如两个触觉装置，其设置有美国专利申请公开2010/0086905中描述的关节镜检查模拟器中的移动部件。那种模拟器包括真实尺寸的关节或器官的人体解剖模型和模仿真实医疗操作装置的模拟医疗器械；模型还与传感器和移动部件相配合以引导、跟踪和控制该医疗器械在解剖模型中的操作。然而，主动式触觉反馈从商业和计算的角度上看是昂贵的，特别是如果模拟刚性接触。由于装置的机械配置，该工具的可能的运动程度是有限的；它们还承受各种机械限制，例如摩擦和惯性，并且力和力矩的最大可用量通常不够。另外，当今的装置十分巨大且不能容易地集成到模拟器硬件中。当必须支持不同的训练场景时，例如在多目的培训教室中，对每种不同的训练模型需要不同的硬件设置。最后但同样重要的，从操作的角度来看，主动式触觉反馈系统在操作之前需要特殊的设置和校准；并且在实践中，随着时间的流逝该设置不稳定，因此需要定期的维护以避免诱发训练错误。

被动式触觉解决方案，也被称为触觉增强或者混合现实，对于主动式触觉反馈来说，提供了一种价格可取的替代场景。被动式触觉技术包括将真实的物理对象加入到虚拟环境模拟器中，引起了非常强烈的触感。与主动式触觉反馈相比，被动式触觉引起非常真实的触感，特别是与硬环境结合。然而，虚拟环境的修改需要物理对应事物的修改，因为虚拟环境与相关联的物理对象之间的映射通常是一对一以避免虚拟与触觉信号之间的错配。这种与下层物理环境的一对一映射使得虚拟环境缺乏灵活性。在被动式触觉手术模拟器的背景中，这可能妨碍在模拟器中模拟不同的虚拟病人或者动态改变训练场景。

参考图1能更好地理解这种限制。图1表示模拟真实世界A的用户物理操作器100a(H_p)与真实环境A中的物理对象110a(E_p)的交互的两种不同的混合现实场景B和C。根据两个不同的场景B和C，用户物理操作器100a(H_p)可以由操作器的具体化100b、100c(H_v)表示，同时物理对象110a(E_p)可以由虚拟环境中的物理对象的具体化110b、110c(E_v)来表示。在场景B中，物理对象的具体化110b(E_v)大于真实的对象110a，同时操作器的具体化100b(H_v)具有原始操作器100a相同的尺寸，这样在虚拟环境B中默认的用户交互导致操作器具体化100b和对象具体化110b在偏差接触交互点120b碰撞和穿透。当操作器具体化的尖端触碰对象具体化110b(E_v)的点120b时，在它被手感受到之前，该碰撞在屏幕上能被看见。这样，在这个点没有接收到触觉刺激，这扰乱了用户，因为视觉和触觉刺激感知不同步的结果。相反地，在场景C中，物理对象具体化110c(E_v)小于真实的对象110a，这样终端用户看不见在虚拟环境C中操作器100c(H_v)与对象具体化110c在差异接触交互点120c碰撞，然而因为在真实环境中真实的操作器100a在接触点120a被阻挡，所以终端用户感觉到来自真实对象交互的碰撞，导致不逼真的混合的现实感受。

为了克服这种局限，近来的产品提出了空间弯曲技术，其中通过允许虚拟和物理对象之间的映射存在差异，虚拟空间被扭曲以致于多种虚拟环境能被映射到一个单独的物理环境上。为此，虚拟空间被弯曲，导致在真实和虚拟世界中的用户导向工具的运动之间的差异，这可能不会被终端用户注意到，只要在他的/她的感觉阈值之下。正如本领域技术人员所知道的，弯曲可以通过在其表面上表现3D模型来实现，例如，多边形表面表示，控制该表示并且把该控制的表示转换回改进的3D模型，但是其他的弯曲技术也是可能的。图2示出了这样的例子，其中用户导向的装置100a在真实环境A中的平面110a上以恒定速度移动，并且该平面弯曲成虚拟环境B中的曲面110b。相应地，在虚拟环境中相应的用户导向装置具体化100b的速度不是恒定的以维持运动期间连贯的感觉。在“再定向的接触：弯曲空间以再测量被动式触觉(Redirected touching：warping space to remap passive haptics)，公开在IEEE 3D用户界面专题讨论会，129-130页，2010年”中，Kohli提出用空间弯曲改进虚拟现实训练系统以在给定的真实环境基础上增加训练场景的数量。然而，特别当虚拟环境参数根据要被模拟的混合现实场景随着时间和/或空间改变时，还不适应。

发明内容

这里描述的混合现实仿真方法和系统一方面可以有效地和自动地适应虚拟环境中的仿真场景，另一方面可以跟踪底层的物理环境，同时当他/她与硬件模拟器的物理组件交互时，提供逼真的被动触感反馈作为一致的触觉和视觉提示给终端用户。

注意到尽管这里描述的实施例用于被动式触觉反馈场景，下面说明的系统和方法在一些实施例中也可以应用于主动式触觉反馈场景。

本发明提出了一种用于在显示器上呈现与物理环境相适应的虚拟环境的混合现实场景的混合现实仿真方法，该方法包括：

用传感器获取物理环境对象的位置；

识别物理环境表面和虚拟环境表面之间的错配，所述错配取决于物理环境对象位置和混合现实场景参数；以及

基于识别的错配计算虚拟环境表面的映射位移。

本发明还提出了一种用于在显示器上呈现与物理环境相适应的虚拟环境的混合现实场景的混合现实仿真器系统，该系统包括：

物理对象；

配置获取该物理对象位置的传感器；

显示器；

配置存储虚拟环境的存储器；和

处理器电路，配置为：

从所述传感器接收物理对象的位置；

识别虚拟环境表面和物理环境表面之间的错配，所述错配取决于物理对象位置和混合现实场景参数；以及

基于识别的错配计算虚拟环境表面的映射位移。

当虚拟环境的至少一个参数不匹配相应的物理环境参数时，物理和虚拟环境之间的错配被确定。可以引起视觉和触觉错配的具体参数例子包括对象表面或者体积，但是其他特征也可以引起错配，例如对象纹理。

一种用于跟踪至少一个物理操作器与物理环境中至少一个物理对象的交互并且呈现虚拟环境的混合现实仿真方法，包括提供至少一个虚拟操作器。虚拟环境可以与物理环境分开和/或虚拟操作器可以与物理操作器分开，以这种方式终端用户所感觉的视觉和触觉保持一致。

在一些实施例中，仿真方法可以包括：识别虚拟环境和物理环境表面之间的至少一个错配；基于原始的和弯曲的表面几何形状之间的差异计算至少一个虚拟环境表面的映射位移；推算虚拟环境中操作器具体化的映射位移；把推算到操作器具体化的映射位移加到原始的具体化表面的至少一个差异接触交互点以建模扭曲的具体化表面；以及在仿真显示器上呈现扭曲的操作器具体化和静态空间弯曲虚拟环境对象给终端用户。

从原始到扭曲的虚拟现实具体化的映射可以通过自适应的空间弯曲实现。最大扭曲模型和物理复制模型之间的扭曲量进一步可以由附加的参数控制，例如但不限于标量参数或者复合参数。

操作器可以是工具或者用户身体的一部分。操作器具体化表面上的交互接触差异点可以在运行时间作为操作器与真实环境中的物理对象交互的函数被识别。

在一些实施例中，匹配的交互点可以根据运行时的用户交互从离周围对象表面最近的真实交互接触点中选择。在混合现实场景需要移除或者增加这样的周围对象的情况下，匹配的真实交互点可以在其他周围的表面上逐步选择，以提供逼真的呈现同时维持来自所有下层的物理对象表面的被动式触觉反馈。在一些实施例中，映射函数可以取决于每点的标量参数，该参数基于与在物理环境中所跟踪的物理目标的操作器交互而被识别。在一些实施例中，映射函数可以取决于与混合现实场景和/或物理环境相关联的视觉属性，例如，存在隐藏的表面、狭窄的视野或者吸引终端用户注意远离触觉反馈的感知骗局。

混合现实仿真器系统可以根据上述方法呈现混合现实场景，并且与物理对象交互的操作器可以被位置和/或方向传感器跟踪。

附图说明

图1示出了根据现有技术在真实环境和不同虚拟环境场景中的用户交互之间的可能的接触交互差异。

图2示出了根据现有技术的空间弯曲的例子。

图3示出了根据本发明实施例的外科手术训练应用领域中的混合现实仿真器。

图4示出了根据本发明实施例的操作器具体化在接触点X_c推算的映射位移。

图5示出了根据本发明实施例的虚拟膝关节例子中操作器具体化的推算的映射位移的可能近似值，其是分别参考三个不同周围的表面的三个映射位移的加权和。

图6示出了根据本发明实施例的比膝盖复制品能获得的角度具有更大内翻-外翻角度的膝盖处于其平衡位置、姿态位置和目标位置。

图7示出了根据本发明实施例的在半月板切割手术场景中的半月板和被模拟的最大弯曲半月板。

图8示出了根据本发明实施例在切割手术场景的情况中由混合现实仿真方法实施的映射位移推算。

图9示出了根据本发明实施例的混合现实方法的流程图。

图10示出了根据本发明另一个实施例的混合现实方法的流程图。

具体实施方式

混合现实仿真器

在图3中，示出了用于医疗操作训练的混合现实仿真器推车的例子。典型的混合现实仿真器实施例可以包括数据处理单元300(也就是处理器电路或者其它适合的单元)、屏幕310、和适于接收真实世界模型330的插头320。注意到在一些实施例中，数据处理单元300可以包括多个处理器电路或者其他单元，包括位于远程的单元。如同该例子中所示的，真实世界模型330可以是人体解剖模型/膝关节模型，而且能使用其他模型。混合现实仿真器也能应用于医疗操作训练之外的领域，例如，设计、教育、可视化、评估、娱乐等等。此外，这里描述的仿真系统和方法可以应用于上下文其他部分并且不限于仿真器推车实施例。

混合显示仿真器屏幕310可以是给仿真器终端用户提供视觉提示的任何装置或系统，例如但不限于传统的显示屏幕、笔记本电脑屏幕、触摸屏、平板电脑、TV、显微镜、头戴式显示器、投影屏幕、增强现实(AR)显示器，或者它们的任何组合。

模型330可以是推车整体的一部分，或者可以用不同的方式固定到推车上。在一个可能的实施例中，它可以以容易插拔这样的方式固定，例如用夹子夹在推车上，同时在手术室再现真实的器官位置。在关节镜检查应用领域，除了膝关节之外，其他的关节模型可以使用并且与人体解剖模型330互换，例如肩关节模型、髋关节模型、腕关节模型或者肘关节模型。此外，为了支持关节镜检查之外的其他医疗操作，其他的器官模型可以与解剖模型330互换，例如膀胱、上部躯体、下部躯体或者骨盆模型。解剖模型330的其他例子能在专业解剖模型供应商目录中发现，例如英国布里斯托尔(Bristol)的Limbs&Things。一些模型可以直接水平地插到推车插头320上，例如下部躯体或者骨盆模型。其他的模型可以被固定到插到推车插头320上的垂直底座上。图3的膝关节模型可以由柔性材料例如塑料制成，所以它可以依靠模型把手335操作以再现模型运动和变形，例如膝关节模型例子中的腿部弯曲和不同的外翻-内翻角度。

数据处理单元300可以包括中央处理单元(“CPU”)电路、存储器、控制模块和通讯模块，以进行计算并且在显示屏幕310上显示与选择的混合现实仿真场景相应的真实的混合现实仿真视野。如本领域技术人员所知，许多解决方案能使虚拟模型和解剖模型联合起来。在可能的实施例中，可以使用跟踪真实世界模型位置和方向，但是其他的联合方法也是可能的。跟踪方法可以例如根据标题为“医疗训练系统和方法(Medical Training Systemsand Methods)”的美国专利公开US2013-0189663中描述的方法和系统完成，这里作为参考全文引入，但是跟踪不限于这种方法。

当使用跟踪时，可以使用不同的传感器技术，例如由Ascension或者Polhemus制造商提供的磁性6DOF跟踪传感器、或者光学跟踪传感器。当在通常的医疗操作的情况下，可能要使用测量全部位置和方向六个自由度的传感器，在某些特定情况下可能使用测量少于六自由度的简单的传感器。例如，在真实世界模型构建在某个位置和/或方向的情况下，测量一个自由度例如转动角度也是可能的。在本申请的余下部分，使用术语“位置”、“位置测量”、“位置跟踪”而不管根据位置或者方向的实际自由度，其是面向应用的。

模型可以包括一个或多个传感器。依照作为例子的实施例，传感器可以跟踪物理环境模型的每个刚性部分相对于那个特定模型中另一个刚性部分移动，例如在膝盖关节镜检查案例中的股骨和胫骨。相比之下，遭受不同病理情况建模的器官的组织和部分，例如韧带和半月板，可以用与不同类型病人例如成人或者儿童，和/或不同的病理训练情况相应的各种不同的虚拟模型仿真。另外，没有传感器的刚性和非刚性结构的位置和方向也可以基于来自其它已知结构的信息补入，因此实际上传感器的选择和放置可以根据给定应用的精度和成本需求来执行。

图3还示出了可以附在混合现实仿真器上的工具350，以使用户能在操作它时得到训练。在许多医疗操作仿真中，需要至少一个成像工具，例如通过探查器官进行诊断。成像工具的例子是通过天然的孔或者通过小切口直接插入到器官的内窥镜，或者成像探头例如也能外用的超声探头。出于举例的目的，在膝关节镜检查仿真的情况下，图3的医疗工具350表示能通过门360插入关节解剖模型330的关节内窥镜，门360选自已知的医疗入口，例如，在膝关节的情况下，前医疗入口、前侧入口、后医疗入口、后侧入口、辅助医疗入口或者后辅助医疗入口。在作为例子的实施例中，成像工具350可以是适于各种医疗操作的标准手术室工具，例如，一般性地适合膝关节、肩关节或者肘关节内镜检查的关节内窥镜，其适于包括至少一个位置跟踪传感器。取决于使用的解剖模型，入口可能已经包括在模型中或者可能由操作者在任何方便的位置建立。

数据处理单元300可以根据模型传感器的测量和工具传感器的测量计算虚拟模型的位置和方向，并且在显示器屏幕310上显示虚拟模型的位置和方向。能沿着至少一个自由度独立移动的真实世界模型的物理部分需要精确的跟踪以确定训练操作期间物理工具与物理模型的真实世界碰撞，根据与混合现实场景相应的各种可能的虚拟模型，例如在医疗训练应用中不同的病人、不同的器官和不同的病理。这样，传感器可以集成到每个这样的部分。传感器关于物理模型部分的相对位置和方向需要精确的测量。各种解决方案能到达这种结果，例如但不限于，预校准每个传感器，如在标题为“医疗训练系统和方法(MedicalTraining Systems and Methods)”的美国专利公开US2013-0189663中描述的方法和系统所公开的。

为了在关节镜检查仿真器的情况下进行图示，用于膝关节镜检查的标准关节镜检查工具350展示在图3中。包括骨骼、半月板和韧带的高保真虚拟环境可以被数据处理单元300仿真。除了和/或除了关节内窥镜之外，根据应用，不同的工具(没有示出)可以附加到混合现实仿真器上。工具可以包括，例如，推拉组织的钩子、剃刀、把手、触诊钩、各种类型的穿孔器(直的、略微上弯、上弯、左弯、右弯和/或90°)、柄、具有流体控制的剃刀机头和/或脚踏开关实体。终端用户也可以用他的/她的手直接与模型交互。在本申请的余下部分，术语“操作器”通常用于表示任何种类的工具或者用于与物理环境交互的用户身体的一部分，能引起终端用户的触感和动觉提示。一般情况下，操作器的位置可以通过传感器跟踪，并且操作器可以包括至少一个能通过至少一个接触点接触物理模型的刚性部分，例如，工具的尖端。

虚拟膝关节和虚拟操作器两者都可以根据跟踪的位置和物理环境中它们的副本配置设置在虚拟环境的视图中。例如，虚拟关节内窥镜的内窥镜视野可以由数据处理单元300合成并且呈现在显示屏幕310上。

通过空间弯曲实现的有效的混合现实映射

现在将更详细地描述根据本发明实施例的一种映射虚拟和物理环境之间不一致的差异的方法。在虚拟环境(VE)中使用的被动式触觉表示在虚拟世界中的触摸事件同时伴随着触感。用户可以通过任何种类的操作器与VE交互，操作器可以由VE中的具体化来表示。操作器能使用户身体的一部分，例如，他的/她的手指或者他的/她的整个身体，但也可以是任何种类的用户导向的工具，例如内窥镜检查手术工具。虚拟操作器具体化和它相配的物理环境工具可以具有一对一匹配或者不同的几何形状。更普遍的是，虚拟环境对象和它们的物理环境匹配物，例如在膝关节镜检查的例子中的骨头，可以具有一对一匹配的几何形状或者不同的几何形状。在本申请的余下部分，术语“几何形状”、“形状”、“壁”、“表面”或者“体积”将一般性使用而不管实际的底层几何空间维度。物理和虚拟环境几何形状之间显著的错配可以呈现。例如，物理环境中的一个对象在虚拟环境中不具有匹配物(例如切下的半月板)也可能发生，或者相反，虚拟环境中的一个对象在物理环境中不具有匹配物(例如钙化病理)。

为了强制发生被动式触觉，虚拟环境中和物理环境中的触摸事件可以更同时地发生。也就是说，当物理操作器触摸物理环境的壁时，操作器具体化可以在与对应的VE的壁的接触中可见。尽管这可以显而易见地确保使虚拟和物理环境相符，但是如果考虑虚拟和物理组件之间的不一致，可以使用空间扭曲。为了实现这个，映射函数F可以被定义，其提供VE表面(例如壁)的从物理对象相应的形状S到期望的形状S’的映射，相当于VE中原始表面的表现。需要的形状能来自不同的来源，例如，医学扫描、手动建模或者计算，并且可以用不同的方式建模，例如通过但不限于，多边形网格。基于此，在原始形状S上的点x中的原始表面弯曲位移可以被定义为：

Δx＝F(x)-x

其表示原始和扭曲VE之间的差异。

在作为例子的实施例中，如图4中所示的，为了确保触摸事件在物理环境和弯曲的VE中同时发生，当且仅当用户用真实的操作器触摸物理环境表面时操作器具体化可以被限制触摸弯曲的VE表面。假设x_c是具体化表面T接触原始表面S的接触点。对于刚性具体化，对于许多工具来说可能是这种情况，VE的刚性位移可以按如下计算：

Δx_c＝F(x_c)-x_c

为了获得虚拟环境中操作器具体化视觉上平滑的运动，虚拟环境中操作器周围的自由空间也可以被扭曲。这种扭曲可以被认为是映射位移或者弯曲。为了确保光滑的行为，在作为例子的实施例中，C¹连续函数W可以基于具体化表面T和环境表面S之间的最小距离近似计算空间中每个点的映射位移。该空间弯曲近似值可以为实际的仿真场景的典型差异提供满意的结果，同时能实时计算，特别是当与Kohli提出的3D薄板公式相比，或者当与在欧拉网格中的连续函数离散化之后解决弯曲位移的限制变动最小化相比，这是本领域技术人员所知道的。

在一些实施例中，环境表面可以归集成N个组S[k]，k＝1…N，例如，相当于虚拟膝关节情况中的骨头、半月板、韧带和皮肤的离散表面。出于举例的目的，胫骨的环境表面可以被认为是S[1]，全部表面S的子集。

在一些实施例中，操作器具体化表面上的接触点x_c可以对应工具尖端的主交互点y_o。为了获得自由空间中的映射位移，在y_o和环境表面的N个组S[k]，k＝1...N之间的最小欧式几何距离d_k(y_o，S[k])，连同S[k]中最近点x_c[k]的相应的映射位移Δx_c[k]一起可以被计算出，如图5中所示的。具体化上的交互点的推算的映射位移W(y_o)于是可以通过加权和来获得：

这里权重

可以从高斯内核函数获得，在y_o和环境表面组S[k]之间的最小欧式几何距离的基础上计算出，σ₀表示内核的宽度。在一些实施例中，σ₀＝min_k d_k(y_o，S[k])，所以y_o与表面组S[k]中的一个之间的距离越小，内核宽度σ₀越小。最终，作为结果的推算的映射位移Δy_o于是被加到T中所有具体化点y，导致空间弯曲具体化表面T’。

自适应空间弯曲

现在将描述一个实施例，其可以使用变量空间弯曲方法以在需要物理环境和虚拟环境之间重大的几何差异的仿真场景中仿真不同的机械行为，例如，虚拟环境中比原始物理对象复制品大很多或者小很多的操作空间机械地允许进入物理环境。通过取决于控制弯曲量的参变量标量参数s重新定义从原始几何形状S到扭曲的几何形状S’的映射函数，可以计算出以自适应方式的额外弯曲。

实际上，参变量弯曲标量参数可以根据特定的场景应用而定义。在膝关节的情况下，例如，当膝盖的前十字韧带(ACL)撕裂时，于是关节变得比复制品自身能支持的更加柔软并且可以允许更大的外翻/内翻打开。不幸地，普通的膝关节复制品不可以支持这种行为，因为特殊的打开可能需要施加到骨头上同样量的力。然而，通过使空间弯曲方法适应同样可以有效地仿真撕裂的ACL。为了这个目的，扭曲的几何形状S’可以通过把映射函数施加到原始的几何形状S而获得，该映射函数被表示扭曲量的附加标量参数s控制，如同x’＝F(x；s)，其中s可以在[0，1]的范围内，并且当没有扭曲施加时，x＝F(x；0)。

在其他的应用中，参变量的弯曲可以被定义为矢量、一组参数，甚至可能是一组时变参数(例子：根据操作时间而改变，周期性的改变例如在建模跳动的心脏时等等)。扭曲现在是取决于一些变量s的函数，其可以看作自适应扭曲。在作为例子的实施例中，空间弯曲方法可以用来计算自适应扭曲。

现在将进一步详细说明膝关节镜检查仿真情况中的通过空间弯曲而实现自适应扭曲的典型实施例。考虑到相似的转换矩阵T，其表示具有限制最大位移的对象组件的位置和方向，例如在膝盖仿真器情况中的胫骨，相对于它的初始配置T₀[胫骨]：

参考图6，T的每个值可以对应不同的姿态，也就是说，在撕裂的ACL仿真场景中的不同的关节打开，从静止姿态T₀＝I一直到对应于物理对象上的最大姿态范围的关键姿态T＝T_α，例如，膝盖复制品的最大开口。为了模仿撕裂的ACL，虚拟膝盖模型可以代替具有更大开口角度，其可以是对应于最大内翻打开姿态的目标姿态T’_α。实际上，这种姿态可以通过从膝盖复制品移除韧带并记录由此得到的内翻打开姿态而获得，但是其他的方法也是可能的。

矩阵ΔT_α＝(T’_α)^-1T_α可以对应于关键姿态与目标姿态之间的差。

我们现在可以定义

也就是说，映射可以包括不弯曲的当前胫骨几何图形T₀[胫骨]和刚性变形的胫骨之间的内插，其中interp(.)可以是任意的，即线性或者非线性的差值算子。在作为例子的实施例中，变形可以分解成平移部分和转动部分，并且线性插值可以应用到变形的平移部分，同时球面插值可以应用到转动部分。

在一些实施例中，仅当物理对象的当前姿态接近对应于物理对象上最大姿态范围的关键姿态T_α时，才可以应用完全弯曲。这样，在作为例子的实施例中，标量参数s可以被设为与当前姿态T和关键姿态T_α之间的差成比例。s的实际建模可以取决于目标应用；例如，在膝盖撕裂ACL仿真的特定情况下，由于塑料膝盖模型的硬的橡胶韧带，T的转动部分可能占优势。因此，s可以基于角度差而设定：

α＝∠(T，T_α)∈[-π，π]

并且可以使用高斯内核以获得0到1之间的值，按照

其中σ_α＝∠(I，T_α)是内核宽度，取决于静止和关键姿态之间的角度。这可以导致所期望的行为；特别是，当当前的物理姿态接近关键姿态时，可以允许把虚拟膝关节弯曲到VE中所期望的目标姿态。其他的实施例也是可能的。

注意到为了进一步提高弯曲，使用多对(T_α，T’_α)是有益的，每个对应于不同的弯折角度。对此，一个映射函数还可以被定义为：

F_τ(x；s_τ)每对(T_α，T’_α)，(T_b，T’_b)，等等。

这里s_T代表对(T_T，T’_T)的影响。在仿真期间，计算交互点y₀与处于当前姿态T_T的原始胫骨之间的距离，并且收集取决于T和每个关键姿态之间距离的映射位移。在关键姿态对应于45°并且目标姿态是大约10°的例子中，三对可以充分接近真实的模拟撕裂ACL的状态。这样，这里描述的方法可以有效实现同时以逼真的方式提供被动式触觉反馈。

然而在上述实施例中，已经描述了标量参数，归纳该公开的方法以实用多重和/或复合参数也是可能的。

具有用户交互的可变映射

现在将描述在场景中能够用户控制改变的实施例。在一些混合现实场景中，虚拟环境模型的一些部分可以交互修改(增加或移除)。这是有挑战性的任务，在基于没有弯曲的被动式触觉学的仿真器中很难实现。例如，在移除的情况下，特别是物理对象复制品实际的切割可能不可逆地破坏仿真器硬件。不过，如果物理复制品不修改，用户会感受到触觉偏差，因为他/她感到原始对象的触觉提示，然而虚拟对象已经被切除。膝盖仿真器实际的例子是移除损坏的半月板。混合现实场景中要模拟的标准处理可能包括使用切割工具移除半月板损坏区域周围局部的一部分。

为了处理这个问题，暂时的相关性可以被加到映射函数计算中，开始从不扭曲的对象逐渐切换到更多的对象扭曲，取决于虚拟环境中对象位置和移除量。在切割期间，对象几何形状的拓扑可能会改变，先前对象表面的部分可能被移除，并且新的对象表面可以沿着对象表面和刀具表面的交叉线而建立。切割函数可以建模为

cut：S^(I-1)→S^(I)

其中，给出的半月板表面S^(I-1)在I-1之后切除，可以产生新的半月板表面S⁽¹⁾，同时S⁽⁰⁾＝S。由于原始表面随着虚拟环境中用户交互而改变，预先计算或者手动设计原始表面弯曲函数不可能逼真，所以代替它可以基于当前切割状态自动实时确定更合适。正如本领域技术人员所知的，可能的解决方案包括再编织切割的半月板表面S^(I)以使它再次匹配原始半月板S⁽⁰⁾的拓扑，或者相反地再编织原始的半月板几何形状以匹配当前的状态。然而，再编织是本身很困难的问题，并且相应的计算方法也是太复杂而不能实现和/或实时计算太昂贵。原始表面到切割表面上的几何投影可能没有效果，因为识别相应表面特征不是简单明了的。作为代替，映射函数可以基于先前已知的目标表面而推导出。

从对在混合现实场景中仿真用户与内嵌有规则的、完整形状的半月板组件的膝盖复制品交互而进行半月板切除的典型实施例的详细描述，这将更好理解。

在预先计算中，弯曲的半月板S’_max可以相应于最大切割的半月板产生，如图7中所描述的。这可以通过不同的技术实现，例如用造型软件手动实现或者用统计形状模型自动实现。于是，在仿真时刻，可以计算原始几何形状S和最大弯曲几何形状S’_max之间的内插值，以使当前切割的半月板几何形状S^(I)能被估计出。这可以通过考虑移除材料的量和切割位置而实现。

例如，假设V(S)是测量表面S所包围体积的真实数值。对于三角形副本，这个函数可以有效地估算。于是，V^(I)可以是在第I切割后当前的半月板表面所包围的体积。而且，通过比较S^(I)和S^(I-1)的拓扑，可以获得新产生的切割表面的几何形状，产生的切除材料区域的位置x^(I) _cut和几何形状范围h^(I)的信息。

在作为例子的实施例中，VE中的半月板可以通过使用具有测量体积的刀片几何形状的类似冲孔切割工具修改，如图8所示。为了模仿近似于擦拂雕刻(brush-sculpting)的效果，位移可以使用高斯内核折叠，如本领域技术人员所知。估计刀片几何形状的修改过程可以在切除材料区域的位置x^(I) _cut和h^(I)的几何形状范围周围施加。而且，通过引入以适用于在位置x^(I) _cut对于h^(I)的几何形状范围内的标量s的形式的控制参数，可以调节表面点上效果的幅度。在作为例子的实施例中，高斯内核可以用于朝着近似刷子工具的边界消除确定的映射位移。

最后得到的自适应映射函数可以建模成原始表面S和m个点标量的矢量s的函数，这里m是离散的半月板几何形状表面点的数量：

F(x；s)＝(I-diag(s))x+diag(s)x’_max，这里x属于S，x’_max属于S’_max.

为了确保相应于移除材料数量的两个弯曲的几何形状之间的差异，上述自适应映射函数可以以对半搜索矢量s＝(s₁，...，s_m)的方式迭代计算，直到弯曲表面的体积匹配切割半月板表面的当前体积，正如下面举例的算法所描述的：

在使用传统的手术刀工具进行半月板切割场景的例子中，五次或者更少的迭代可以足够收敛，所以该方法可以足够有效以能应用到运行期间用户交互建模。最终得到的当前切割半月板几何形状的弯曲几何形状近似值足够精确以能为用户提供逼真的视觉，与被动式触感提示一致。另外，所述方法非常稳健的，因为该方法可以仅仅依赖[0，1]范围内的每个点标量s_i而不是位移。因此，弯曲不能发散，即使发生猛烈的、不可预知的用户交互。尽管该方法已经描述了用于非进行性切割的测量体积的刀片几何形状，它也能扩展到手术刀类似的刀片。

此外，尽管上述例子已经详述了半月板切割混合现实场景的特定实现，它能扩展到虚拟环境对象组件在运行期间交互式移除或者增加的其它混合现实场景中，这能被本领域技术人员所认识到。

这里描述的系统和方法也能扩展到更多的混合现实场景，其中物理环境对象组件自身在运行期间被终端用户手动或者被附加的机构自动地交互式移除或者增加，与混合现实场景结合在一起。实际上，因为它们空间上和时间上都自适应，所以这里描述的系统和方法能囊括物理和虚拟环境不一致配置的差异，包括复杂的实时交互场景。

组合混合现实映射方法

现在将更详细地描述一般性的混合现实仿真方法。在实际的混合现实场景中，几个地址很远的示例可以组合起来。通常，可能引起虚拟环境和物理环境之间错配的各种虚拟环境参数需要考虑。例如用于膝关节镜检查训练仿真器的混合现实场景可以表示与膝盖复制模型的不同骨头几何形状结合在一起的撕裂的ACL。

可以把静态空间弯曲和自适应空间弯曲组合起来作为可被连续相加的弯曲位移。弯曲位移可以基于膝关节当前和关键姿态之间的距离计算；接着，第二弯曲位移可以基于不弯曲的操作器具体化和原始的胫骨形状之间的距离，与从原始胫骨形状到它的弯曲对应物的映射来计算。第一和第二弯曲位移于是可以相加，这里第一自适应弯曲位移可以由参数s衡量。最终得到的弯曲的胫骨形状于是可以通过自适应空间弯曲插值函数转换静态弯曲的胫骨形状，而不是原始的胫骨形状而获得。

时间上的空间弯曲与静态组合的方法需要以正确的顺序施加适当的步进，例如当模型在原始和最大弯曲形状之间插值时。为了这个目的，可以首先计算映射原始到其弯曲形状的静态空间弯曲函数。通过该位移使所述具体化转化，可以获得弯曲的具体化和静态弯曲对象。切割于是基于弯曲的几何形状进行。代替从原始表面应用刷子，像前面描述的，刷子可以应用到前面计算的静态弯曲表面。最终的映射可以作为静态空间弯曲函数F与在第一地点转换S到S’并且进一步时间上的空间弯曲函数G的组合而得到，函数G根据跟踪的用户交互在没有切割但于第一地点计算的静态弯曲对象S’与最大切割弯曲对象S’_max之间插值，由每点标量参数建模，得到最终呈现给终端用户的正确的弯曲形状S”。

有错觉的混合现实弯曲方法

时间上的空间弯曲方法也可以适用于用户交互的一些特性和/或容易产生错觉的混合现实场景，特别是在任何短暂状态，其中空间弯曲不能平滑呈现，导致具体化的视觉位移与物理操作器的位移之间的错配超过终端用户感知的错配阈值。例如，空间弯曲推算是不连续的可能发生，所以终端用户感受到特殊的转变中的从一个表面到另一个表面的“跳跃”。取决于混合现实场景，通过在虚拟环境显示器中的隐藏区域中的空间弯曲能够隐藏这些转变。例如在内窥镜检查场景中，可能隐藏由于关节内窥镜狭窄的视野引起的转变。隐藏血污之后的转变也能呈现流血区域。也可以引入附加的视觉提示以吸引走终端用户的注意，例如颜色或者纹理的改变、细丝、训练得分更新或者在屏幕上新出现“小心”的警告、可能闪烁或者声音等等。也可以通过预测出现更逼真的隐藏机会并因此延迟显示而在呈现时引入人工延迟。各种其他的实施例也是可能的，取决于混合现实场景的实际特点和待逼真呈现的用户交互。

典型方法1

现在将描述如图9中所详述的所公开方法的一种可能的实施例，参考图3中所描述的混合现实仿真器系统组件。

在步骤1，数据处理单元300可以选择与安装的物理模型复制品和工具相匹配的混合现实仿真场景的一种选择并且显示在显示屏幕310上。在一些实施例中，可以使用触摸屏用于给用户选择输入。其他的实施例也是可能的，例如可以由训练室操作者远程选择混合现实场景。

在步骤2，数据处理单元300可以从物理环境中的跟踪传感器获得物理模型位置。数据处理单元300于是通过跟踪运行期间的物理环境位置可以准备计算并呈现真实的VR仿真图像。

在步骤3，数据处理单元300可以识别虚拟环境和物理环境表面之间的至少一个错配，取决于混合现实场景参数，例如但不限于，空间和/或时间变化的参数和/或用户交互参数。

在步骤4，数据处理单元300可以基于识别的错配计算至少一个虚拟环境表面的映射位移。

在步骤5，数据处理单元300可以把至少一个映射的虚拟环境表面在仿真器显示器310上呈现给终端用户。可选择的实施例也是可能的，例如仿真器数据处理单元可以存储映射的虚拟环境数据以稍后处理或者把结果呈现或通信给远处单元以进行远程处理或呈现。

取决于实际的混合现实场景，可以进行进一步的中间动作。在映射的虚拟环境几何图形超过原始物理环境的几何图形所能支持程度的混合现实场景中，通过增加标量或者复合参数以控制弯曲计算步骤中的弯曲量可以应用自适应空间弯曲。

在映射的虚拟环境几何图形超过原始的几何图形所能支持程度的混合现实场景中，为了限制在终端用户感知的错配阈值之下呈现，可以应用自适应空间弯曲和感知骗局的组合。

在映射的VE几何图形中的原始的几何图形部分可以被移除或者增加的混合现实场景中，根据跟踪的操作器交互，通过把空间上可变标量或者复合参数化应用到静止或者自适应弯曲计算初始步骤之外的空间弯曲表面上来进一步计算时间上的空间弯曲。在一个可能实施例中，可以应用每点标量参数化，但是其他方法也是可能的。

相似地，在运行期间物理环境中原始的几何图形根据自动机构或者手动用户交互而被移除或者增加的混合现实场景中，通过把空间可变标量自适应映射应用到静止或者自适应弯曲计算初始步骤之外的空间弯曲表面上来进一步计算时间上的空间弯曲。

典型方法2

参考图3中所描述的混合现实仿真器系统组件，现在将描述如图10中所详述的公开方法的另一种可能的实施例。

在步骤2，数据处理单元300可以从物理环境中的它们各自的跟踪传感器获得物理模型和操作器位置。数据处理单元300于是通过跟踪运行期间的用户交互可以准备计算并呈现真实的VR仿真图像。在一些实施例中，操作器可以是刚性的工具，但是其他的实施例也是可能的，例如可以直接使用并跟踪用户身体的一部分，例如用户的手指。

在步骤3，数据处理单元300可以识别虚拟环境和物理环境表面之间的至少一个错配，根据要被呈现的混合现实场景和所跟踪的物理环境的当前状态。

在步骤4，数据处理单元300可以基于原始的和弯曲的表面几何图形之间的差计算至少一个虚拟环境表面的映射位移。

在步骤5，数据处理单元300可以推算最终的映射位移以获得在这个自由空间中的具体化操作器的映射位移而扭曲虚拟环境表面之间的自由空间。在一些实施例中，可以使用线性外推的变量，但是其他方法也是可能的。

在步骤6，为了建模扭曲的具体化表面数据处理单元300可以把映射位移加到原始的具体化表面的至少一个差异接触交互点。在可能的实施例中，差异交互接触点可以是在操作器工具的尖端，但是其他位置也是可能的，取决于混合现实场景中的实际对象表面和虚拟环境建模。在一个实施例中，数据处理单元300可以确定操作器具体化的原始表面上的差异交互接触点y₀与原始对象几何图形之间的最小距离；为了确保当具体化接触不弯曲结构时没有弯曲实现，混合现实物理对象的弯曲和不弯曲部分都考虑在这个映射中。

在步骤7，数据处理单元300可以在仿真器显示器310上呈现扭曲的操作器具体化和静态空间弯曲虚拟环境对象给终端用户。可选择的实施例也是可能的，例如仿真器数据处理单元可以存储扭曲的具体化数据以稍后处理或呈现，或者把结果呈现或通信给远处单元以进行远程处理或呈现。同样，在这个例子中，具体化被弯曲而扭曲，但是在其他实施例和/或场景中，具体化可以它的原始形状映射到仿真器显示器310中。例如，具体化可以调整大小，但是在别的方面却不改变，并且呈现。这样，这里使用的“扭曲”不限于弯曲。

取决于实际的混合现实场景，可以进行进一步的中间动作。在VE弯曲的几何图形超过原始的几何图形所能支持程度的混合现实场景中，通过增加标量或者复合参数以控制弯曲计算步骤中的弯曲量可以应用自适应空间弯曲。

在VE弯曲的几何图形超过原始的几何图形所能支持程度的混合现实场景中，为了限制在终端用户感知的错配阈值之下呈现，可以应用自适应空间弯曲和感知骗局的组合。

在VE弯曲的几何图形中原始的几何图形部分可以被移除或者增加的混合现实场景中，根据跟踪的操作器交互，通过把空间上可变标量或者复合参数化应用到静止或者自适应弯曲计算初始步骤之外的空间弯曲表面上来进一步计算时间上的空间弯曲。在一个可能的实施例中，可以应用每点标量参数化，但是其他方法也是可能的。

附加实施例

在附加实施例中，超越混合现实仿真场景的生动呈现，数据处理单元300可以运用各种附加的处理，例如但不限于：记录并回放仿真、评估并排序受训者的表现和进步、收集训练统计数据、发起警告、以及亮显某些场景或场面以引起终端用户的特定注意。

所提出的混合现实仿真器的其他高级应用可以包括把外部装置插入到解剖模型中。这样应用的例子可以包括子宫内避孕器(“IUD”)通过宫颈插入到子宫中的仿真，或者在荧光透视检查下插入冠状动脉支架的仿真。在作为例子的实施例中，外部装置可以被虚拟地仿真。在另一个作为例子的实施例中，可以使用真实的外部装置。在后者的例子中，相似于根据这里公开的所提出的方法中的操作器工具，为了精确跟踪并且建模相关的用户交互，位置传感器可被安装到外部装置上。

尽管所提出的方法可能特别适于主要提供被动式触觉反馈，但是它也可以与主动式触觉解决方案例如力反馈致动器结合起来，正如本领域技术人员所知的。这种主动式触觉解决方案可以提供仿真器的至少一部分功能。它们可以沿着一个或多个机械轴和/或仿真器硬件配置的自由度放置。

应用

所提出的混合现实仿真方法和系统具有很大的优点，例如多个混合现实场景能使用相同的多目的仿真器来仿真，同时提供逼真的被动式触觉反馈，即使在有重大差异的仿真场景中，例如在虚拟现实环境或者物理环境中有更大的机械交互范围或者移除或增加的一些下层对象部分。

特别地，所提出的仿真方法足够有效以能应用到混合现实场景的情况中，其中虚拟环境的规模超过下层物理对象的几何图形。它还可以适合暂时变化的混合现实场景，其中物理对象几何图形在场景中改变，例如具有器官复制品的医疗操作训练混合现实场景的情况。

其他应用

尽管上面详细的说明包含了许多特性，但是这不应该解释为限制实施例的范围，而是仅仅提供一些实施例的举例。例如，可以使用不同的物理对象和操作器。提出的混合现实仿真器的医疗应用领域之外的其它应用也是可能的。对于飞行和驾驶训练，根据提出的方法和系统的混合现实仿真器能与合适的可视化设置一起使用，如本领域技术人员所知的，以为安装在仿真器上的方向盘、齿轮、驾驶舱或仪表盘仿真手柄和按钮这些不同种类的场所提供被动式反馈；如果用户没注意到差异，从一个混合现实场景到另一个场景相应的具体化可以略微不同，从通用仿真器而不是现有技术情形中那样的主动式触觉反馈的多个特定的仿真器为终端用户提供逼真的浸入感，这无疑能导致明显节省仿真器操作的安装和维护成本。游戏应用，特别是在严肃的康复游戏仿真器领域和通用的虚拟现实应用例如探测系统(关键词定向行走等等)也会从所提出的更有效且更低成本的被动式反馈仿真器中受益。

尽管上面已经描述了各种实施例，应该理解为它们是作为例子的方式呈现而不是限制。对本领域技术人员而言在不背离发明精神和范围的情况下能在此作出各种形式和细节上的改变是显而易见的。事实上，在读完上述说明书之后，如何实现可选择的实施例对本领域技术人员是显而易见的。

另外，应该理解任何突出功能和优点的附图是仅仅出于举例的目的而呈现的。公开的方法论和系统是充分灵活的且可配置的，以使它们能以所展示之外的方式使用。

尽管术语“至少一个”通常用在说明书、权利要求和附图中，术语“一”、“一个”、“该”、“所述”等等同样能表示说明书、权利要求和附图中的“至少一个”或者“该至少一个”。

Claims

1.一种用于在显示器上呈现与物理环境相适应的虚拟环境的混合现实场景的混合现实仿真方法，该方法包括：

用至少一个传感器获取物理环境对象的位置；

基于识别的错配计算虚拟环境表面的映射位移。

2.权利要求1所述的方法，其中，所述混合现实场景参数是标量参数。

3.权利要求1所述的方法，其中，所述混合现实场景参数是复合参数。

4.权利要求1所述的方法，其中，所述混合现实场景参数是时间上可变化的参数。

5.权利要求1所述的方法，其中，所述混合现实场景参数是空间上可变化的参数。

6.权利要求1所述的方法，其中，所述混合现实场景参数取决于用户与至少一个操作器的交互。

7.权利要求6所述的方法，其中，所述操作器是工具。

8.权利要求6所述的方法，其中，所述操作器是用户身体的一部分。

9.前述权利要求中任一项所述的方法，还包括：

基于所述映射位移呈现虚拟环境表面。

10.前述权利要求1至8中任一项所述的方法，还包括：

基于映射位移和错觉呈现虚拟环境表面。

11.前述权利要求1至8中任一项所述的方法，其中，所述映射位移被约束以将感觉到的错配限制低于用户感知阈值。

12.前述权利要求9所述的方法，其中，所述映射位移被约束以将感觉到的错配限制低于用户感知阈值。

13.前述权利要求10所述的方法，其中，所述映射位移被约束以将感觉到的错配限制低于用户感知阈值。

14.权利要求1所述的方法，还包括：

基于计算的来自至少两个错配虚拟环境表面的映射位移来推算所述虚拟环境表面的映射位移。

15.权利要求14所述的方法，其中，所述虚拟环境表面是工具表面。

16.权利要求14所述的方法，其中，所述虚拟环境表面是用户身体表面。

17.权利要求14所述的方法，还包括：

基于推算的虚拟环境表面的映射位移呈现弯曲的虚拟环境对象。

18.一种用于在显示器上呈现与物理环境相适应的虚拟环境的混合现实场景的混合现实仿真器系统，该系统包括：

物理对象；

配置获取该物理对象的位置的传感器；

显示器；

配置存储虚拟环境的存储器；和

处理器电路，其配置为：

从所述传感器接收物理对象的位置；

识别虚拟环境表面和物理环境表面之间的错配，该错配取决于物理对象位置和混合现实场景参数；以及

基于识别的错配计算虚拟环境表面的映射位移。

19.权利要求18所述的系统，还包括操作器，所述参数取决于用户与操作器的交互。

20.权利要求19所述的系统，其中，所述操作器是工具。

21.权利要求19所述的系统，其中，所述操作器是用户身体的一部分。