CN106456250B - 解剖项的计算机可视化 - Google Patents

Abstract

一种计算机实现的医学可视化方法包括识别特定哺乳动物的解剖项的三维模型(302)；自动识别通过所述解剖项的三维空间内的开放路径(304)；将光滑曲线拟合至所述开放路径(306)；以及在三维成像系统上向用户显示所述解剖项以及所述光滑曲线的视觉表示(308)。

Description

解剖项的计算机可视化

相关申请

本申请要求均在2013年8月13日提交的名称为“解剖项的计算机建模”的美国临时申请61/865,596和名称为“多点触控界面”的美国临时申请61/865,407的优先权，其内容均通过引用全部并入本文。

技术领域

本文献涉及用于查看和操控身体部分(如人和其他动物器官)的模型以改进计算机操作的系统和技术。

背景技术

医学成像技术允许医师和研究人员对受试动物内体的内部项进行可视化。这种成像技术通常提供了以特定深度通过身体的切片的二维表示或整个身体到二维平面上的投影(例如，用x射线)。典型的现代数字成像技术包括磁共振成像(MRI)和计算机断层成像(CT)扫描。除了产生可着色以更容易进行解释的图像外，这种扫描还可产生可自动分析并以各种方式进行操控的数据文件。例如，成像数据可被用于构建3D夹具以用于特定患者的牙科和矫形术。

发明内容

该文件描述了系统和技术，通过使用该系统和技术，基于计算机的可视化系统的用户可对解剖项，如源于人类和其他动物的器官(例如，心脏和连接的脉管)进行操控和可视化。这种解剖项的模型可通过对实际的受试者进行医学成像而获得，如通过获得磁共振成像(MRI)机器和计算机断层成像(CT)机器生成的数字数据而得到。这种数据可由如成像设备通过该项目一层层地扫描所得的在项目的不同层的多个二维图像来表示。本文描述的系统可从两个不同的医学成像模态识别在解剖项中的图像或模型中的共同位置，可生成数据的组合并可生成基本上反映解剖项尺寸的线或点的3D网。系统随后可根据该网生成3D模型。

此外，成像数据可在解剖项移动中的不同点进行捕获，如在解剖项为心脏的情况下在心跳周期期间的一打或类似的时间点上。从不同时间获得的那些数据可被用于生成用于每个时间点的三维模型，且那些三维模型可结合在一起以创建四维模型(即，三个空间维度加上时间)。

这种模型可允许研究人员或临床医生以方便、相对便宜且直观的方式分析和操控解剖项。作为一个简单的实例，医师可为特定患者定制成像且可以佩戴立体眼镜以从不同角度查看患者的心脏。医师也可将切割平面导入模型中以从里面看到患者的心脏-例如，水平切割整个心房，且随后从顶部向下看到心脏内以看到心脏瓣膜的运动和密封。在一些实施方案中，也可显示相同解剖项的多个模型以有助于用户更好地了解该项目。例如，可在对患者进行手术或其他医疗程序前和后对患者进行成像，如植入医疗器械，如支架或心律转变器。解剖项的三维或四维模型可随后以彼此相邻的方式在3D空间中显示出来且相关于该项目的用户(例如，治疗医师)的动作可同时在两种模型中反映出来。例如，如果用户应用切割平面以在术后模型中在心房内或在某个脉管内进行观看，术前模型则可具有在相同位置应用的平面(模型中的每一个均已相对于共同的基点进行了定位和定向)。同样地，4D模型可与基于相同的成像数据的一种或多种3D模型一同显示(或其中的一些模型可使用源自相同器官或其他身体部分的不同时间段的成像数据)。3D模型可被认为是非移动的，这是因为其不是动画的，然而所有模型均可响应于用户输入而彼此协调地进行平移、缩放、旋转或裁剪。以这种方式，例如，医师可在4D视图中看到对患者心脏瓣膜的操作并同时查看显示瓣膜闭合的心脏的3D视图-因此医师能看到瓣膜闭合的程度且能查看重复循环(类似于循环的GIF文件的显示)以试图机械式确定瓣膜为什么以这种方式闭合-在特点时间点上的3D表示邻近于随时间循环的4D表示。

此外，医师或其他用户可在投影的3D模型上的空间中选择不同的点，且系统可计算在那些点之间的距离，可对齐至接近点的开口的边缘并计算开口的直径、面积或半径和/或可进行其他类似的测量且可将测量与用户进行通信，如用表达测量的字母数字字符注解模型而实现。也可为移动的4D模型表示测量，如经表示越过在用户进行选择的点处的运动范围的最大和最小尺寸的数字进行表示。

此外，模型与被导入模型中的外部物体的交互可进行审查和研究。例如，医疗器械可被导入解剖项，如通过将器械插入在解剖项中的开放通路中而实现。随着器械的移动，医师或研究人员可确定其是否干扰了模型中的组织以及其干扰的程度。例如，系统可被编程为在模型中识别通过通往患者心脏的脉管的开放路径且可插入样条曲线以作为沿路径的中心线的模型化表示。几何构造，如被设计成大约为在计划可植入医疗器械的直径的二维圆形或类似于可弯曲支架(柔性圆柱)的3D模型可沿曲线的长度运行。系统可以跟踪解剖模型的位置以及器械的型号并确定其是否在任何点上相接触。

如果有接触，系统则可注意到它并对围绕接触点的任一个进行机械和材料分析。例如，对于机械分析而言，系统可使组织变形发生在使用有限元分析的模型中并还可改变模型的显示从而显示响应于应力而移动的并可能改变组织的显示颜色的组织，其中新的颜色表示在特定点上的组织上的应力或应变水平。系统还可以响应于所计算的源于组织的力而使器械变形且可在动画中以图形显示变形的器械和/或生成、保存并显示用于在器械和组织上的力的参数以及其中的每一个的变形的字母数字表示。系统可使用计算流体动力学同时计算在器械周围的流体流动且可用流动的视觉表示(例如，具有指示流动的方向和速度的投影流线)补充4D可视模型。对于材料分析而言，系统可识别由解剖项的正常操作而导致的电学和化学变化且可调整那些变化，从而反映导入的医疗器械对组织的影响。作为一个实例，医疗器械可改变通过心脏的电荷传播且可使用FEA或其他技术对电传播进行建模。同样地，当药物被施加至组织时，如通过药物洗脱医疗器械而进行，也可在模型中计算和使用药物对组织的材料特性的影响以指示组织对导入的医疗器械的反应。在类似于下面所讨论的过程中，可通过选择具有不同材料、形状和/或尺寸(例如，不断增加的直径和/或长度)的医疗器械并确定用于每一个此类模拟的机械(例如，应力)、电学或化学值而进行不同的模拟。然后，该过程可以向操作者指示按用于用户所感兴趣的机械、电学和/或化学参数的最高或最低值进行了哪一个模拟。或者用户可以为任何此类参数指定阈值且可进行模拟以确定哪些所提供的输入是合格的。例如，医师可设置当要植入器械时可在组织上放置的医疗器械的最大应力，且可在越来越大的器械的多个尺寸上进行模拟直到满足预定阈值为止。医师可随后采用通过模拟但未超越阈值的最后一个尺寸的器械。

医师、研究人员和其他人员可使用可视化和操控以更好地理解该程序且帮助其他人员更好地理解它。例如，医师可使用这种模型模拟程序以进行实践，从而确定特定的医疗器械是否将很好地密封或很好地安装在患者体内并识别将在患者体内最好地进行工作的器械(例如，心脏瓣膜)的大小。医师可让特定的患者目击他与模拟心脏或其他解剖项的交互，从而就该程序对患者进行教育-例如，在程序发生前进行。同样地，医疗器械公司或专家医师可使用这种模拟以在新程序中培训其他医师，其中，例如，专家医师可最初在模型上进行该程序一次或多次，且可随后邀请实习医师尝试进行该程序。这种模拟在用于特定患者的数据背景之外也可能是有用的，且模型可代表平均或理想化的患者(或多个理想化的患者，如器官具有不同的代表性尺寸和其他参数的5个不同的患者)，如在对新的医疗器械进行检测以获得政府批准期间进行。例如，典型的心脏可使用源于多个不同的患者的大量心脏成像的数据的平均值进行建模，且医疗器械公司可使用这种典型的心脏以向政府许可代理机构证明新器械或技术的可行性。

在某些实施方案中，这种系统和技术可提供一个或多个优点。例如，研究人员和医师可更好地设计医疗器械以与身体进行交互操作或可更好地关于特定的患者身体选择、大小调整或操控特定的医疗器械。这种可视化可被用作用于复杂程序的“空运行”和/或作为向患者解释该程序和/或就该程序的执行而对其他人员进行培训的机会。其中，在这种操作中使用了FEA，患者的组织的顺应性可进行建模以使组织与用户(例如，医师)置于其上的力相交互，如通过响应于将虚拟医疗器械导入身体内而进行变形(例如，从而使研究人员或医师能看到当植入器械时器械就座地多牢固或能看到在器械周围是否存在有会导致泄露的任何间隙)。

在一个实施方案中，公开了一种计算机实现的医学可视化方法，其包括识别特定哺乳动物的解剖项的三维模型；用计算机实现的可视化系统并根据解剖项的识别边界自动识别通过解剖项的三维空间中的路径；识别与路径相对应的光滑曲线；并用三维可视化系统向用户显示解剖项以及沿光滑曲线移动的项目的视觉表示。该方法还可包括向用户显示沿路径与样条曲线相叠加的解剖项，样条曲线是以解剖项的对比色显示出来的。此外，该方法可包括对于沿通过解剖项中的开放空间的路径的多个点中的每一个特定点而言，自动进行下列操作，其包括：共同平面中生成围绕特定点的多个射线；以及确定从特定点至解剖项的边界的多个射线中的每一个的长度。多个射线在一个平面中可围绕特定点彼此成等角度地间隔开来。此外，该方法可包括定位各点，这些点在集中于解剖项的内部空间中的多个射线所指示的多个位置限定光滑曲线。

在一些情况下，解剖项包括心脏的部分，沿光滑曲线移动的项目包括三维医疗器械，且光滑曲线表示用于将医疗器械导入心脏中的路径。此外，沿光滑曲线移动的项目可以是在计算机系统中具有限定的机械特征的限定的三维物体，且限定的机械特征可被用于在沿光滑曲线移动期间计算与项目相关联的值。该方法可额外地包括自动确定沿光滑曲线移动的项目是否与在解剖项的三维模型中的组织相接触。在一些方面中，在确定沿光滑曲线移动的项目与在解剖项的三维模型中的组织相接触后，该方法可立即基于通过在解剖项上具有限定形状的项目所赋予的力进行有限元分析并表示在组织中的变化。

在特定方面中，沿光滑曲线移动的项目是具有沿样条曲线的长度的三维项目。此外，解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成中间的三维表示；以及根据三维中间表示生成三维模型。该方法还可包括显示解剖项的三维模型的动画，该动画由在不同的密切相关的时间对解剖项的实际版本进行成像而获取的帧所组成的，从而显示解剖项的移动。该动画可包括即使当项目未沿光滑曲线移动时与解剖项的移动协调配合的项目沿光滑曲线的显示的运动。此外，该方法可包括接收用户识别解剖项的三维模型的位置的输入并呈现通过所识别的位置表示的在模型中的用户距离。

在下面的附图和说明中阐述了一个或多个实施例的细节。根据说明书、附图和权利要求，其他特性和优点将变得显而易见。

附图说明

图1为显示用户与可视化系统交互的概念图。

图2为说明性可视化系统的方框图。

图3A至3J为用于与在可视化系统上显示的解剖特征相交互的实例过程的流程图。

图4A至4L为与患者身体的部分，如器官一起使用的可视化系统的用户界面的表示。

图4M至4N显示了用于对项目，如解剖项进行操控和可视化的虚拟桌面的表示。

图5A和5B示意性地显示出对从解剖项的边缘至3D样条曲线的距离的计算。

图6显示出可用于实现本文所述的技术的计算机装置的实例。

在各附图中的相同参考符号指相同的元件。

具体实施方式

本文献描述了用于对动物，如人类心脏和脉管系统以及频繁地对其进行医疗程序的其他器官的解剖特征进行可视化的系统和技术。可视化可包括生成3D投影以供佩戴用于逼真的查看3D或动画效果图以及显示出器官的循环，如心脏的完整心跳的4D动画的立体眼镜或其他机构的用户查看，其中4D动画的每一帧可从在对相关的解剖特征进行成像期间在相应的相关时间捕获的数据生成。

用户可按各种方式与动画特征的模型进行交互。例如，用户可缩放并旋转模型，从而使其看起来好像从不同角度和不同距离查看模型一样。他们可将切割平面应用至模型，包括多个同时非平行的平面，从而使他们能够看到模型的内部横截面-例如，用于看到脉管的内部或心脏或肺的内部工作。他们可在模型上“画画”，如通过使系统添加围绕和通过模型的几何构造而实现。例如，系统可建立通过模型中的脉管并通至心脏内的样条曲线。用于模型的这种额外的几何构造和其他元数据可由与模型相关的系统存储，从而当模型被关闭且随后在计算机系统上打开时，元数据可立即进行显示(例如，作为模型上的图形和/或字母数字注解)或至少可立即用于用户而无需重新定义数据(例如，可保存样条曲线的路径，可能是用于要沿样条曲线移动的医疗器械的参数，从而当用户打开模型以进行后续会话时使那些特征可预先存在)。

在其他实例中，系统可以创建最佳拟合记录(best-fit registration)并将其与在每个数据组中具有三个或多个标记的限定的坐标系相对齐，包括使多个数据组同步的能力。例如，用户可在心脏上选择三个参照点以与坐标系相关联，可对另一个心脏做同样的事情，且系统可使用这种选择以在共同的坐标系中使两个心脏一起协调地进行显示和移动。换句话说，可锁定这两个心脏以进行操控，从而使一个模型的平移或旋转可使另一个模型进行相同的平移或旋转。在某些情况下，模型之一可以是4D的，且另一个为3D的，如源于4D动画的固定帧。

在另一个实例中，多个动画模型可被显示出来并同时与用户进行交互。例如，健康器官的模型可在邻近用于特定患者器官(例如，心脏或肺)的模型的动画中显示出来。两个模型可以彼此锁定，即在如上面所讨论的位置上(例如，如果用户旋转一个，另一个则以相同的方式自动旋转)以及例如其循环的位置和时机上，从而使两个心脏的模型开始同时收缩和/或舒张(其中动画通过一个心跳或一组设定数量的心跳反复地循环并随后再次开始)。医师可使用这两种模型的动态动作的显示以更好地看到在患者器官内的异常。

图1为显示用户与可视化系统100的交互的概念图。通常，系统100提供了一种环境，通过该环境，用户110可查看解剖项的模型的3D表示112，如以人类心脏为形式的人类器官。3D表示是由在计算机系统104的控制下将计算机生成的图像投影在屏幕102上而生成的。用户110可通过可水平安装在屏幕102前且可包括对项目的额外显示的触摸平板电脑106与计算机系统104进行交互，同时有多个菜单选项可被该用户110利用。例如，一条或多条线可被呈现在触摸平板电脑106上，且用户可通过触摸特定线的一端并保持与触摸平板电脑106的屏幕相接触的方式进行拖动而使线滑过触摸平板电脑106。这种拖动可能会使线与模型的3D或3D表示进行交互，且可使计算机系统104将切割平面应用至模型，从而使用户110能看到模型的内部。

可被实现为对准用户110的摄像头和用户110佩戴的立体眼镜108的传感器114可被用于跟踪用户头部的位置从而使模型的3D表示对于用户来说更加逼真。例如，传感器114可认出用户110何时倾斜他或她的头部或在屏幕102前横向移动。例如，这样感测的运动可导致计算机104调整模型112的显示，如当用户110被确定为已移向左侧时将显示旋转至右侧，从而使用户接收他已在模型周围稍稍地移至左侧的视觉表示且能够更好地向下看到模型的部分中。

除了触摸平板电脑106以外的各种机构也可被用于获得源于用户110的输入。例如，手写笔116可由用户110抓握且其位置可由传感器114或其他传感机构而感测到。例如，手写笔116可使其位置被识别且系统100可投影虚拟线，该虚拟线在用户110看来如同该线从手写笔116的一端延伸出来一样。用户110可移动该虚拟线与模型相接触并进行选择，如通过点击在手写笔116的一侧上的按钮而实现，从而抓住模型112。在按住按钮的同时由手写笔116的用户采用的后续运动可使模型在用户110前的空间中移动。例如，如果在按住按钮的同时用户110将手写笔116拉向其脸部，则可使模型变大，从而看起来其被拉到更接近用户110的脸部。作为一个替代方案，如果用户在按住手写笔116上的按钮的同时旋转其手腕，可在类似的方向上旋转模型，从而使用户可操控模型以看到模型112的其他区域(之前对于用户来说不可见)。其他直观的手势也可被用户110用于操控模型。例如，用户可使用手写笔116在模型112的区域中画线、曲线或其他几何构造，如通过画出通过心脏的开放区域的线以限定通过心脏的通路。这种线可由与所呈现的模型112的颜色成对比的颜色呈现出来，从而使用户110可容易地看到这些线以及用户110已添加至总体模型的其他几何构造。

然而，其他机构也可被用于与系统100进行交互。例如，用户110可佩戴充当类似于手写笔116作用的手套。例如，用户可伸出以用手套抓住模型112，且模型112的显示可使其对用户110来说看起来好像用户110实际抓紧模型一样，从而使用户可以，例如，将模型向左或右旋转或将模型推离他或推向他。这种输入机构也可设有将触觉反馈施加至用户的机构。例如，手写笔116或手套可具有触觉点击机构，当用户被确定为已抓住模型或已从模型上的一个区域移至另一个时对其进行激励，从而向用户110确认系统已对用户的这种动作进行了注册。在下面将看到在图5A和5B中被更详细地讨论的特定实施方案。

图2为说明性可视化系统200的方框图。系统200可实现图1中所示的系统100的组件，但在这里更详细地示出了用于生成多维渲染的计算机系统的特定结构组件以实现额外的清楚解释。

在这个实例中，系统200包括计算机系统202，其驱动成像系统204，成像系统采用具有3D显示能力的标准投影电视系统的形式。这种驱动的结果是在用户，如临床医师或医疗研究人员或患者可观看模型且可按各种方式，如那些在上面和下面所讨论的方式与模型进行交互的区域中显示3D模型206。为了允许这种显示和交互时，计算机系统202包括多个彼此进行交互的结构。

实时模型208是在访问关于一个或多个解剖项，如人类或其他动物的心脏或其他器官的模型的数据并对模型进行二次计算以生成能够产生模型的准确视觉呈现的数据的系统200中的模块。例如，实时模型208可包括用于接受对模型的定义并对模型进行各种操作，如扭曲模型、裁剪模型、将模型与其他模型混合和其他类似操作的机构。

源于实时模型208的信息可被提供至渲染引擎(render engine)212，其可被实现为软件、硬件或两者的组合。例如，渲染引擎212可包括一个或多个图形处理单元和相关联的电路，如被安装在以个人计算机或微型计算机所提供的市售的图形处理卡上的。渲染引擎212可根据用于对2D、3D进行建模的标准协议和定义以及用于4D显示(4D表示)的动画材料进行操作。例如，渲染引擎212可应用描影和其他已知的技术以生成模型206的逼真显示。

在解剖项需要具有顺应性的情况下，实时模型208可参考有限元分析、计算流体动力学(CFD)分析器210，从而使用户在项目上施加的应力以在计算上可预测的方式产生项目的变形或产生解剖项的组织的变形。例如，系统200的用户可调用医疗器械，如支架或类似器械的3D模型并可移动或使器械移动通过模型206或被置于模型206中的特定位置上。这种放置或移动可导致器件接触模型206中的组织，且分析器210可被用于计算由器械在组织上所施加的力以及组织对这种力的反应。例如，网支架的模型可抵靠患者脉管模型的壁扩张，且由系统200所做出的显示中的脉管颜色可改变以突出壁上应力或应变为最高值或最低值的地方，如通过生成其不同的颜色表示特定程度的应力或应变的热图而实现。

有限元分析/计算流体动力学分析器210可同时进行机械、电学和化学分析且可按使其相互影响的方式将那些分析关联起来。例如，可在确定源于导入医疗器械的机械应力和应变的过程中使用组织顺应性。组织的电活动可进行建模以用于其自身的目的且还可用于确定组织(例如，心脏组织)的固有运动会如何影响其将如何变形或以其他方式对导入医疗器械做出反应。同样地，导入化学物质，如药物的局部或全身给药可能会影响组织的动作，如通过改变其机械顺从性或改变通过其的电传播发生的方式而实现。这种化学物质的导入可因此也被包括在确定组织将如何做出反应的模型中。

系统200还可被编程为递归进行多次模拟，其涉及使用本文所描述的计算和建模技术使模拟的医疗器械自动通过一个或多个解剖项。这种模拟可以采用有限元分析/计算流体力学分析器210来识别这种模拟动作的结果，包括由机械、电学和化学活性所表达的结果。例如，越来越大尺寸的支架可被移动通过并被置于一个或多个解剖项中，且当器械所发生运动时可计算应力和其他因素。机械、电学或化学参数的阈值可由系统200的用户或通过其他人(例如，分析软件的开发者)进行设置以限定可接受的与不可接受的性能，例如，指示组织上的机械应力何时太高的阈值，或电传播阈值-其中的任一个均可被超越，例如，一旦模拟装置变得过大时。然后，系统200可识别合适的装置以作为一系列未超越进入不可接受区域的阈值的每一个尺寸增大的装置中的最后一个。

已讨论的各种结构可依赖于一种或多种类型的数据以进行上面和下面所述的动作。例如，器官模型214可表示受试者的一个或多个器官，其中受试者可以是已对其身体进行一次或多次医学成像的患者。除了有关组织顺应性和其他用于患者或其他受试者的类似信息外，器官模型214可包括表示在解剖项的一部分中的空间关系的数据。

交互元数据216可表示响应于医师或其他用户与患者模型的交互而生成的数据。例如，用户可对模型进行各种测量且那些测量的位置和数值可进行存储以便用户之后可很容易地进行检索。同样地，用户可形成各种几何构造，如线、圆弧和其它在空间上与模型206相关的构造。例如，用户可画出通过在器官或其他解剖项中通路的线或样条。系统还可以自动创建这种构造，如通过下列步骤而进行：用户指向其想使所画样条通过的通路，随后系统识别通路的边界并构造大致通过通路的中心的样条-例如，计算在多个不同位置的通路的中心并随后将样条曲线拟合至多个被这么识别的中心点。同样地，用户可在器官或其他结构中插入特定CAD块(包括被绑定在一起并表示复杂的真实世界物体的多个立体构造的CAD表示)，如表示要在解剖项中实施的医疗器械的块。用于那些块的定义和相对于模型206的块的位置和取向可同样被保存在交互元数据216中，从而使用户可很容易地在之后与系统200的会话期间在模型206中将该块显示到位。

物理数据218可以包括用于表示用户与模型206的物理交互所必需的数据。例如，组织顺应性信息可被存储在用于典型类型的组织的物理数据218中，如用于各种退化状态或患者年龄的脉管和心脏组织。因而，在系统200采用有限元分析的情况下，可使用源于物理数据218的特定组织值，而不是可能特定于特定患者的数值。同样地，物理数据218可包括用于对电活性和化学活性的影响进行建模的数据。

计算机系统202还可以经网络220，其可包括局域网和互联网的部分从外部来源获得数据。例如，计算机系统可以通过访问基于云的存储系统获得用于特定患者的成像数据，其中进行成像的公司存储其数据以供可提供用于访问数据的适当凭证的用户进行访问。

以这种方式，然后，系统200可以提供各种机构以将模型单独显示或与其他模型一起显示以及用于各种用户与模型进行交互。系统200可允许用户更好地进行可视化且从而能够更好地理解相对复杂的生理交互并察知发生于身体内和正常的人类视线之外的动作。

图3A至3J为用于与在可视化系统上显示的解剖特征相交互的实例过程的流程图。通常，除了在图4A至4L中所表示的系统和用户界面外，可使用类似于图1中所示系统100和/或图2中的系统200的系统进行该过程。这些都是涉及用户与多维基于计算机的可视化系统的交互的实例过程。通常，该过程将被描述为在医师所治疗或分析的特定人员的人类心脏上进行，但应理解的是其他生理项也可进行建模和表示，包括源于非人类动物(例如，用于作为用于医疗器械的工程开发研究的一部分的猪心)，且用于各种用户进行分析和用于各种目的(例如，医师实践、用于特定患者的医疗器械的大小调整、教育、监管审批等)。

图3A为用于识别和使用通过解剖项的路径的过程的流程图。通常，该过程涉及显示模型的视图的系统，且该系统配合用户以限定通过模型的一部分的路径以用于各种目的。

该过程开始于方框300，其中对患者进行成像，且产生用于该患者的成像数据。例如，可使用多个不同的成像模态，包括MRI和CT扫描成像而进行这种成像。由这种成像所产生的数据可采用数字形式且可表示通过患者的一部分的在不同高度的切片。在这种图像中的线可被用于识别在图像中所捕获的解剖项的边缘和其他项目。

3D模型的生成可通过各种机制而发生，包括等值面提取。等值面提取可与可视化系统的用户进行交互。例如，这样的提取可包括涉及使用与3D显示相耦联的触控式2D界面生成并精细化3D表示的多个步骤。在第一步骤中，计算机系统可从堆叠的成像切片生成3D表面，其中每个切片包括从成像模态(例如，CT、MRI等)获得的医学图像。在下一步骤中，该系统可使用在计算机图形处理单元(GPU)上运行的等值面提取渲染在3D显示上的3D表面以创建允许用户在视觉上触及切片的可视化表示的界面。在这个实例中，等值面提取可基于从堆叠的切片获得的等值。响应于从操作界面的用户接收与切片进行交互的用户输入，系统可计算精细化的等值，其被用于基于该输入的等值面计算。系统可随后基于用于等值面的精细化的等值对3D表面进行精细化。当用户经界面与显示的模型进行交互时，这个过程可连续循环。在方框302，可产生在成像中捕获的解剖项的3D和4D模型。例如，这种模型的产生可能会通过识别在特定切片的图像中的线并沿图像改变强度或颜色的这种线的间隔位置上放置用于网的点或顶点。顶点随后可进行连接以形成网，且网可被改变成表示解剖项的实体模型。该模型的某些区域可被识别为被填充的，换言之，其是具有源于解剖项的组织的位置。其它位置可被标识为空隙，例如在心脏内或通过脉管的室或类似于患者体内的开放空间。

在方框304，接收用户输入以识别在解剖项中的开放路径。这种输入可包括用户画出通过被显示在计算机系统上的解剖项的横截面的路径。替代地，输入可通过以下方式而进行：用户指示计算机系统自动找到通过该解剖项的最好路径，以及计算机系统识别在模型中的空隙并通过这些空隙将曲线从第一限定的位置拟合至第二限定的位置，如通过主动脉并进入心脏的一个或多个腔室。在一些实施方案中，医师经常使用的一些共同路线可按列表被呈现给用户，用户可选择一个这种路径(例如，用于输送支架或心脏闭塞装置的路径)，且系统可自动生成并显示沿该路径的用于特定模型的样条-例如，通过识别其尺寸和形状大致适合于用于解剖项的这部分的模板的特定模型中的开放空间(例如，特定直径和特定曲率，如用于主动脉和心脏腔室)。

在方框306，系统自动识别通过该解剖项的路径并将曲线拟合至该路径。例如，可识别初始路径，且在沿路径的多个间隔开的位置识别沿路径的在空隙中心点的点。随后，可使用几何CAD工具将曲线以最好的拟合方式拟合至那些点。在已形成曲线之后，该系统还可以确认曲线未通过解剖项中的任何组织。其他机制可同样地被用于识别通过适当地留在解剖项中空隙内的路径的曲线。下面将关于图5A和5B更详细地讨论用于做出这种判断的特定细节且该特定细节可被并入本文所述的过程中。

在方框308，沿解剖项显示曲线。例如，可按不同深浅的红色显示解剖项以按真实的方式表示组织，且曲线可被表示为与组织的颜色成视觉对比色的蓝或绿线。可按模型的样子在相同的3D空间中限定曲线，从而使操控模型，如使其自身围绕模型旋转的用户也可围绕曲线以类似的方式旋转(即，曲线与模型一起移动并留在关于模型的相同的3D位置上)。

在方框309，装置被显示为沿路径行进。装置可以像沿曲线滑动的具有限定直径(由用户所提供的)的圆形一样简单。更复杂的模型，如表示支架或其他医疗器械的3D模型的块可沿曲线移动且可弯曲或随着其移动以其他方式变形，从而接近于被导入患者体内的真实的支架的形状。例如，装置的这种显示可由医师使用，该医师可选择用于支架或类似的可植入装置的不同直径且可通过模型模拟将不同的直径插入患者体内(例如，用于确定应为特定程序选择医疗器械的哪个尺寸)。医师因此可更容易地看到哪个尺寸的装置可为患者最好地工作且可避免反复试验，在其他方式中，在对患者进行实际的程序中反复试验可能是必需的。

装置也可被限定为具有某种机械、电学和化学特征。例如，装置可具有某些应力/应变特征，从而使沿样条进行弯曲需要额外的力。同样地，装置可涂覆有药物洗脱材料，这种材料的形态可进行建模，从而对使装置移过解剖项的模拟也可指示从装置通往该解剖项的药物水平。

此外，移动通过样条并沿该样条的事物可简单地是虚拟摄像头，可视化系统的用户可使用上面和下面描述的硬件和软件操控该虚拟摄像头。摄像头可被锚接至样条从而简化用户输入，如通过用户的一只手用于沿样条向前和向后摇摄像头所采用的运动以及使用户的另一只手完成摄像头的视场的旋转所采用的运动而实现。

其中，解剖项的模型随时间移动(四维模型)，如跳动的心脏，装置和样条可进行移动以在时间上相对于解剖项保持其位置(例如，从而使样条和装置保持位于开放区域，如心脏腔室或脉管中)。此外，这种运动可改变被计算用于模型的机械、电学和化学参数，如上面和下面所描述的。

图3B为用于识别围绕解剖项的模型的力和动作的过程的流程图。通常，该过程涉及识别解剖项的模型，识别对模型所施加的力，如通过识别被导入解剖项中并与解剖项中的表面进行交互的医疗器械并使用有限元分析技术对解剖项中的组织的反应进行建模而进行。然后，将这种交互呈现给计算机可视化系统的用户，如通过显示彩色的热图而实现，其中不同的颜色表示在解剖项上的相对较大或较小程度的应力或应变。

该过程开始于方框310，其中在医疗保健机构对患者进行成像，且生成用于该患者的成像数据。这种成像数据的产生可按与图3A中所讨论的相类似的方式发生。在方框312，产生用于患者的所成像解剖项的3D和4D模型。例如，可按如上所述的方式制备3D模型，而4D模型则可按类似的方式进行制备，但可随时间以按顺序出现的多个不同模型存在，其中多个不同模型中的每一个表示在该时间段的患者的单独成像，其中该时间段相对较短，并获得单个成像会话。例如，时间段可以是单个心跳的周期，如在一秒的量级上。

在方框314，接收用户输入，并识别被施加至解剖项的组织的力。可使用标准有限元分析技术，如通过识别在解剖项的通路中的医疗器械的移动模型中的干扰以及移动装置使解剖项中的组织位移的距离而实现。装置本身也可以是顺应性的，从而随其移动通过解剖项使其响应于源于组织的压力而发生扭曲。

在方框316，可使用有限元分析计算在组织上和在装置上的应力和应变。可使用有关组织和医疗器械顺应性的数据按传统的方式进行这种计算，如应用到示出组织和器械移动程度的信息。

除了作为其特性不发生变化的静态项的组织上的有限元分析外，也可并入其他分析，其包括电学和化学分析。例如，通过作为组织的心脏的电能传播可进行建模(例如，使用有限元分析)，且该电能传播可被用于影响组织的顺应性以及被施加在组织上以及通过组织施加的力。例如，由于心脏是肌肉，其可能生成其自身抵靠医疗器械的力且这种力每秒均在一个周期内发生变化。对于这种活动，可为系统生成动态模型，电传播通过该系统被用于确定肌肉收缩并随后对源于心脏以及在心脏上的力以及源于医疗器械以及在医疗器械上的力进行建模。

在方框318，在解剖项中以及围绕医疗器械的流体流动因子可使用计算流体动力学进行计算。例如，在人体脉管中的血流压力的量和时机(因为心脏是不断变化的)可被建模并且可进行调整以匹配用于特定患者的预期流动(例如，通过经血压测量和其他测量而进行确定，在特定位置的流动和患者的心血管系统的强度)。随后则可确定在沿建模路径的特定点的开放横截面区域，如围绕被插入建模脉管中的医疗器械的周长。根据这种数据，可进行流动计算。随后，在循环期间，如在心跳周期期间，可更新计算以用于多个时间段。

在方框319，用所计算值的视觉表示显示一个解剖项或多个解剖项。例如，在解剖项上具有较大应力或应变的区域可按接近色谱的红色端的颜色进行显示，然而较低水平的应力或应变则可按接近色谱的蓝色端的颜色进行显示。同样地，在流体流动的解剖项的空隙中，如在心脏的腔室中，流动线可按3D表示或动画4D表示进行显示，其示出用于特定位置的流动的方向和量值，这很像气象学家在地图上显示流动线以用于显示在特定地理位置的风的方向和幅度。

图3C为用于协调多个模型的显示的过程的流程图。通常，该过程涉及同时显示相同的解剖项的两种表示以提高用户对模型正与用户进行交互的部分进行可视化的能力。

在方框320，对患者进行成像且产生成像数据，如在如上所述的多模态成像和建模中的一样。在方框322，如按如上所讨论的方式根据由成像过程所创建的数据产生3D和4D模型。

在方框324，基于计算机的可视化系统显示一个或多个解剖项的移动动画，且同时显示该项目的一个或多个非移动的视图。非移动的视图可以是非动画的3D模型并是从特定角度且可用所施加的特定切割平面或源于按两维呈现的成像数据的切片进行观看。该4D表示的显示与3D表示的同时显示的组合可允许用户基本上同时地实现动态和静态视图。例如，用户可以查看模型的动画表示以获得对解剖项通常是如何工作的理解并找到对解剖项所具有的问题的暗示，以及随后可快速地将其注意力切换至模型的非移动版本或视图中的一个，从而集中于模型的一部分并更容易地在不移动的呈现中对其进行感测。用户也可单步调试用于3D模型的帧(而4D模型则继续循环)以获得最感兴趣的时间点，如当主动脉瓣被完全关闭时。用户同样可暂停4D表示并且可使系统复制作为已暂停表示的一部分的3D表示，从而使复制的表示替换之前已在动画4D表示旁显示的3D表示。

在方框326，系统接收用户与模型的交互，如用户将虚拟医疗器械导入解剖项的模型中。在方框328，系统计算在解剖项的组织上的力，如按上面和下面所述的方式进行。在方框329，同时关于用于解剖项的4D表示和3D表示改变显示。例如，如果像组织瓣膜或机械瓣膜的装置被插入心脏中，动画可发生改变以显示瓣膜的开闭以及心脏组织围绕瓣膜周界的移动。此外，非移动表示可发生改变以显示落座到位的瓣膜且还可显示对组织的着色以表示在特定位置上由于存在有在其植入状态中的瓣膜而在组织上所施加的应变。

图3D为协调多个模型的显示的过程的流程图。通常，该过程涉及同时显示解剖项的多个模型，其中解剖项以用于患者的两个不同会话进行成像。在一个典型的实例中，会话中的一个可能已是术前的，且另一个可能已是术后的，从而使该比较允许医师看到解剖项是如何对该程序作出反应的以及确定患者可能需要的后续行动。

在方框330，以在不同的时间点上(例如，相距超过一天)的两个不同会话对患者进行成像且从如上面所讨论的方式进行的成像过程生成成像数据。

在方框332，在基于计算机的可视化系统上显示用于第一成像会话的模型，且在方框334，同时显示用于根据第二会话成像的模型。例如，可在屏幕的左侧显示术前模型，且可在右侧显示术后模型。

在方框336，接收用于操控模型中的一个或两个的用户输入。例如，佩戴触觉手套的用户可伸出以抓住模型中的一个以旋转它。响应于这种用户输入，在方框338，系统根据单个用户输入确定用于两个模型的变化。例如，如果用户抓住人类心脏的右侧表示并将其顺时针旋转90度，系统可确定心脏的两种显示的模型应顺时针旋转90°。

在方框339，如刚才所讨论的，响应于用户输入显示两个模型。随后使用该过程，医师或其他用户可容易地显示患者的器官或其他项目好像其存在于两个不同的时间点上一样，且可容易地与解剖项的那些所显示的模型进行交互，从而确定该解剖项在两个时间点之间是如何发生变化的-例如，在生理学上恶化或改善或植入医疗器械。作为另一个实例，项目可包括其中有肿瘤的患者身体的一部分，且医师可操控在肿瘤周围的区域，如通过在视觉上在肿瘤周围进行平移而实现，从而更好地理解肿瘤是如何生长或收缩的并更好地确定关于该肿瘤应采用什么类型的动作。

图3E为用于提供模型的测量的过程的流程图。通常，该过程涉及用户在解剖项的模型的3D显示或4D显示中进行选择，且系统基于那些选择进行各种测量。

在方框340，患者经历了医学成像且根据这种过程，如采用上面所讨论的方式而产生成像数据。在方框342，可产生在成像中捕获的解剖项的3D和4D模型。在方框344，在基于计算机的可视化系统接收用户输入，其中用户输入限定接近于所显示的模型的位置。例如，用户可采用手写笔在脉管的一个壁并随后在脉管的相对的壁上点出虚拟线。该系统可进行编程以理解这种相对的位置指出了用户要确定在选择位置或接近所选位置的通路的直径的愿望。然后，可询问该模型以识别在所选的点之间的两个或三个尺寸中的距离，这是在识别邻近用户所选的那些点的点，其限定了垂直于通过通路的线的线(从而即使用户未指向直接相对的位置，直径测量也可使用直接相对的点)后而进行的。这样的距离可对应于在真实世界中的解剖项内的实际距离，如当模型对于观看者来说看起来像横过几英尺一样时其为小于一英寸的量级，这是因为观看者已对模型进行放大以作为可视化会话的一部分。也可进行其他类似的2D或3D或4D测量，包括计算心脏腔室的体积，计算脉管的横截面面积并进行医师或其他用户可能需要的其他测量。

在方框348，模型显示出指示已确定的尺寸的数据。可按多个不同的方式进行这种显示。例如，可越过用户已选的通路的直径画出箭头，且数据可被叠加在箭头表示上，按毫米、厘米或英寸所表示的通路的直径。单独地，可在可视化表示中远离模型本身的显示的其他地方显示注解框。例如，可生成小的电子表格并进行显示，其表示响应于用户输入而由系统计算的测量-例如，沿用户限定的路径每x毫米进行的直径测量。

在方框349，可在模型为动画的可视化系统内进行额外的表示。例如，在用户试图确定通路的直径的情况下，在动画模型中直径可不断地发生变化。如此，系统可进行编程以识别在动画中每一帧中的直径并向用户提供与这种确定一致的反馈。例如，可在4D模型中进行选择，且系统可生成邻近于4D模型的3D模型，其中3D模型以尺寸作注解。这种注解可包括用于每个这个尺寸的两个数字，其中一个数字是在动画所表示的循环期间，如跳动的心脏的单个循环中的最大值，且另一个数字是最小值。

图3F是用于生成解剖项的实体模型的过程的流程图。通常，该过程涉及从多个成像模态捕获数据，关联和分析数据并随后根据源于多个成像模态的这种协调数据建立多维模型。

该过程开始于方框350，其中使用多个模态对患者进行成像，其中模态是用于成像的特定样式。典型的这种模态包括磁共振成像(MRI)和计算机断层(CT)成像。由于某些模态可具有相对于其他成像模态的特定长处，因此可使用多种模态。

在方框352，对源于多种模态的数据进行协调。例如，可对源于数据的图像进行解析以识别解剖项在两个不同成像模态之间相同的位置。这种解析可包括识别解剖项的轮廓并将其与源于具有类似轮廓的另一种模态的图像相匹配。如果一个人根据成像数据得知特定解剖项进行成像的方向并将其在两种模态之间进行匹配，即两种模态从相同方向上对该项目进行成像，则可对这种匹配进行简化。

在方框354，通过在第三维度对图像数据进行分层创建点的网。例如，可按其在实际解剖项的堆叠顺序对切片进行分析，用可沿每个切片的边界识别用于该网的节点。随后，该节点可在上下维度中进行堆叠且可一起形成基本上限定解剖项的网。

在方框356，根据网创建实体模型，且在方框358，显示已根据多个成像模态而创建的模型。这种根据网生成实体模型的过程可根据多个已知的方式而发生。

图3G为用于与解剖项的模型协调元数据的过程的流程图。通常，该过程涉及沿3D或4D模型保存元数据。该过程开始于方框360，其中对患者进行成像，且根据这种成像产生成像数据。

在方框362，可产生源于成像的解剖项的3D和4D模型并对其进行显示。在方框364，接收用户输入以识别项目以与模型一起显示。这种项目与解剖项相分离且可包括要被导入解剖项的模型内并从而在视觉表示中向用户注解该模型的几何构造和医疗器械。

在方框366，可按与模型和共同的空间参照系相关联的方式保存关于额外项目的数据。特别地，在保存模型处的文件可索引到保存额外数据处的文件，从而当在稍后的日期重新打开模型时，也可用模型打开额外的项目。共同的参照系允许项目位于相对于模型的相同位置上。例如，在器官中通过开放路径的样条可在下次打开用于器官的模型时在其合适的位置上进行重置。

在方框368，接收用户选择以显示该模型。在这个实例中，用户选择是在稍后的会话期间，可能在用户已关闭可视化系统或用可视化系统看其他模型后发生。由于额外的数据是按在方框366中所限定的方式进行保存的，因此模型可当其稍后被打开时显示有额外的项目，如在方框369中所示。

图3H为用于切割模型的过程的流程图。通常，该过程涉及显示沿多个平面被切割以提供对模型内部的可能复杂的视图。

该过程开始于方框370，其中对患者进行成像，且产生用于该患者的成像数据。在方框372，产生由成像所捕获的解剖项的3D和4D模型。在方框374，可显示模型的一个或多个视图。例如，动画4D视图可在邻近模型的非动画3D视图处进行显示。在这个实例中，两个视图均可以简单地示出心脏的外表面，且用户可能想获得心脏内部的更好的视图。单个切割平面可能不足以提供这种视图，这是因为该区域的壁可能阻挡了用户想要看到的模型内的完整视图。

其结果是，在方框376，用户提供限定多维切割平面的输入。例如，患者心脏可被显示在可视化系统中且用户可在所显示的心脏模型上滑动多个表示以便限定切割出心脏的一个拐角的三个切割平面。在方框378，模型显示有由所限定的切割平面移除的部分。例如，如果用户在心脏心房的拐角上移动切割平面，心脏模型的后续显示则可示出移除的心房拐角的一部分。如果示出心脏的多个不同模型(例如，根据用于患者的发生在不同时间的成像会话)，则可响应于用户将其施加至第一表示而将一组切割平面自动施加至第二表示。

图3I是用于建立解剖项的一个或多个模型的过程的流程图。通常，该过程涉及将解剖项分解成子部分并允许用户很容易地与那些子部分进行交互。例如，器官的部分，如心脏的腔室可在建立心脏的模型时进行识别，从而使用户可容易地个别改变腔室的颜色或改变那些腔室的其他可视的特性。有效地，心脏的部分被表示为能作为单独组进行操控的层，如在视觉上将其打开和关闭、对其着色等。

该过程开始于方框380，其中对患者进行成像，且图像数据被采集。在方框382，识别源于成像数据的解剖项的部分。例如，系统可被编程为根据在数据中的切片识别围绕心脏腔室的壁且可将在根据切片生成的网中的特定节点分配至用于腔室中的一个或多个的层。由于网是在三个维度中进行限定的，网中顶点中额外的一些可根据其对应的腔室进行限定，如在方框384中所示。

在方框386，3D实体模型是根据网中的顶点而生成的且可继承被分配至与实体模型的那些部分相对应的顶点的部分标识符。例如，在实体模型中的区域可进行识别并与层中的特定一些相关联。

在方框388中，显示实体模型。这样的显示可以包括在视觉上识别在前面的步骤中所识别的解剖项的不同部分，如向心脏的各个腔室提供不同的着色或深浅而实现。在方框389，接收关于模型中特定层的用户输入，如用户希望仅看到心脏细胞层并排除心脏中的所有其他层。在该实例中的层的概念类似于用于CAD和GIS应用中的层的概念，其中某些层可被打开或关闭或可以根据所有被识别为在特定层中的项目被分配特性，如将层中的所有项目改变为所分配颜色的颜色特性。

图3J是用于提供解剖项的可视化的过程的流程图。通常，该过程涉及当用户观看解剖项的实际的真实世界的表示的同时提供解剖项的模型的显示。在一个典型的实例中，可在对患者的器官进行手术的同时向外科医生显示特定患者的心脏或其他器官的模型。在某些实例中，显示可在用户的正常视觉上进行叠加，如使用类似于GOOGLE GLASS硬件所表示的硬件而实现，其可补充有一种应用以从医院信息系统获得成像数据并对用于操控所显示的模型的医师语音命令做出响应。

该过程开始于方框390，其中对患者进行成像，且根据如按上面所讨论的方式进行的这种动作产生成像数据。在方框392，可产生在成像中一个或多个解剖项的3D和4D模型。在方框394，从观看该程序的用户接收输入以显示模型。例如，可以显示人类心脏的3D模型，其竖直向下切割中部以使外科医生能看到在模型中的心脏的内部。所显示的心脏可以是根据在当时位于外科医生前面的患者的成像所生成的模型。

在方框396，用户与患者交互可被识别出来且模型的显示可相应地进行更新。例如，患者的脉管系统和心脏可在用于血管成形术或某个类似程序的准备过程中进行成像和建模。外科物品，如血管成形术球囊的插入深度可从患者体外进行监控且这种插入深度可被提供至显示模型的可视化计算机系统。随后，该装置的单独模型可通过这种系统相对于脉管和心脏的模型而进行显示，从而使医师可在其眼角外并在其平视显示器上看到到达其最终目的地的医疗器械的相对进展。这样的位置信息可使用在该程序中采用的其他标准成像技术进行确认，如在患者体外使用成像技术跟踪医疗器械的仪器化部分。

在方框398，模型的显示可用实时信息进行注解。例如，系统可显示表示医疗器械在患者体内的插入深度的数字(例如，以英寸为单位)。同样地，随着医师导入医疗器械并与心脏的壁进行交互，可在模型中模拟类似的交互，且可在平视显示上提供注解以向医师指示在那一刻被施加至组织的应力或应变的水平。也可提供其他注解以帮助医师，如提供当前为该患者进行测量的心率和血压。此外，源于辅助人员的注释可使用设有用于平视显示的操作系统的通知界面被显示给医师。

在方框399，该程序的视频记录与叠加的模型一起进行保存，从而可保持在程序期间医师所能看到的表示。这种记录可被提供用于对其他医师进行培训，可由医师本身进行研究以提高他的技术或可以多个其他方式进行使用。视频可显示源于医师所佩戴的一副眼镜，如GOOGLE GLASS前方的摄像头视图，并且在所记录视频的一个拐角，可显示出表示在医师观看该程序的同时示出表示由可视化系统呈现给医师的显示(例如器官的模型和/或字母数字和图形注释数据)。

因此，已描述了各种过程以用3D和4D表示指示用于表示解剖项，如心脏和脉管的模型的成像系统的用途。这样的过程可在手术期间由医师所使用，在用于手术的准备过程中由医师所使用(例如，用于识别要用于特定患者的医疗器械的合适的尺寸)，在向患者解释他或她要进行的手术的过程中由医师所使用，由医师或销售员所使用以培训另一个医师或向医师解释特定器械或手术的好处，在用于解释新的手术的会议上由医疗器械制造商所使用以及用于多种其他常用用途。

下面的讨论提出了用于在医疗器械交互中使用的更为普遍的虚拟原型工具，其包括基于计算机的可视化系统的用户界面，该系统生成医疗器械相关于人体部分的视图并允许用户操控这种虚拟器械并接收关于这种操控的基于图像和基于字母数字数据的反馈，例如，除了观看提供那些力的字母数字描述的表格外，还观看“热图”显示，其以作为被虚拟医疗器械施加在虚拟组织上的力的函数而改变所显示的组织的颜色(这仅作为一个实例)。

系统可包括3D触摸桌面VR全息成像系统或市售的VR系统，如购自加利福尼亚州森尼韦尔的zSpace的系统，其可设有额外的编程以进行上面和下面所描述的操作。这种系统的特征可包括：(a)用于图像序列和三角形网格的综合文件加载；(b)对加载和与多个网格进行交互的支持；(c)对在单个链接的坐标系内加载多个网格的支持；(d)对环境内多个样条的支持；(e)对加载和将样条保存至盘的支持；(f)用于改变网格/样条的颜色的定制化工具；(g)对沿样条使视图窗口飞过的摄像头路径支持；(h)支持在3D TV上的外部立体观看的视频记录功能；(i)源于加载的图像序列的实时等值面提取；(j)用于保存程序的整个状态的项目加载/保存；(k)如果网格丢失了进行的视图重置；(l)用于设置装置的半径以理解其是如何适合几何学的装置大小调整选项；(m)即使对于新手用户而言也可使界面直观的交互式视觉反馈和小控件。

这种编程和实施的系统的额外功能可包括：(a)将FEA数据加载至两个系统中；(b)网格的每个顶点的着色；(c)在固定且不会随用户控制的缩放而缩放的投影机屏幕的左上角的三个视图(矢状面的、冠状的、横向的)；(d)观看和控制/操控4D解剖数据集；(e)用于旋转切割平面的能力；(f)用于切换打开和关闭切割平面的能力；(g)用于切换打开和关闭边界框的能力；(h)测量能力，如至样条(例如，至在人类器官的样条的表示中的样条周围的组织)中心和相对于网格的中心点的平均距离。

为此目的，下面的附图讨论了用于沉浸式多点触控工作台设置的一个实例中软件和硬件并提供了对用于各种系统组件的一种配置和实例设置的概述。该描述讨论了所选系统组件并提供了用于配置系统的程序。第一部分描述了一般的系统设置，其详细介绍了操作系统的设置。第二部分详细介质了用于跟踪用户头部位置的摄像头硬件和软件。第三部分描述了用于向系统提供触摸输入的多点触摸屏。第四部分包括对自定义模型查看器软件的描述。

总系统设置：本主题的不同实例可包括各种触摸硬件设置。一个实例设置包括投影机且各种设置可包括两个屏幕或第三屏幕(显示器)。这里的描述可充当指南，且各个配置可从定制调谐受益。该部分描述了计算机和外围设备以及相关的Windows OS设置(然而，系统也可使用各种操作系统进行操作)。在实例系统中有三个视频输出：(1)在竖直屏幕上显示的投影机；(2)在水平触摸平面上显示的大型平板显示器(例如，LCD)；以及(3)被定位至其他显示器的一侧并旨在用于桌面使用的计算机显示器。适当的视频卡可被用于生成坐标方式的这种图形。

头部跟踪摄像头和软件：头部跟踪子系统的实例包括被安装在系统上方的四个IR摄像头、被连接至每个摄像头的USB集线器以及运行摄像头的软件。该系统通过跟踪被固定至用户头部，如在用户佩戴的耳机上的反射标记而识别用户头部的位置。在一个实例中，标记使用眼镜被固定在头部上。系统使头部位置的位置和取向流至模型查看软件。因此，软件可在模型查看器软件开启前运行。用于该软件的开启程序是在已对其进行校准后而进行的。因此，摄像头应处于稳定的位置中且不应该需要重新调整。然而，随着时间的推移，可能由于设置受到冲击或主配置文件的损失，该系统可能需要进行校准。

多点触控屏：触摸屏位于大的水平TV显示器的顶部上并检测触摸接触且将其以与使头部跟踪数据流至计算机中的相类似的方式重新发送至计算机。其经USB电缆连接至计算机并具有用于供电的单独电缆。除了将触摸输入信息发送至模型查看器软件，触摸屏还与操作系统进行交互，这就是当触摸表面时甚至当未运行该程序时图标和光标为什么会弹出的原因。通过这种方式，输入也可充当用于系统的鼠标。用于覆盖软件的选项可通过作为“十字”图标的在屏幕的右下方的工具盘菜单进行访问，如在图4A中所示。

模型查看器软件：在一个实例中，模型查看器软件支持加载两种不同类型的数据(其通常是相互链接的)：(a)3D三角形网格(通常是标准的Tessellation语言{STL}文件格式)；以及(b)限定体积的医学成像文件的序列(DICOM/png图像堆栈)。系统支持将任意数量的图像堆栈和/或三角形网格加载至软件中。当软件打开时，加载默认数据集。新的数据可进行加载以替换这些现有的集。该系统是通过支持多个“帧”而进行工作的，其中每一帧可包含多个三角形网格和单个链接的图像堆栈(即体积)。由于在它们中加载的所有数据共享单个坐标系原点，因此这些被称为“帧”。因此，当操控该帧时，所有包含的网格和图像堆栈则一起进行操控。这些帧中的每一个均可由示出其范围的红色边界框在视觉上进行描绘。图4B示出这种多个帧的实例，其是由红色边界框所指出的，且每一个均含有3D心脏几何图形。

当帧含有一起的三角形风格和成像堆栈时，模型查看器软件是有效的。然而，为了使这起效，这两种数据源要进行注册以使其正确对齐。该软件是通过做出关于三角形网格的坐标系的某些假定以及图像堆栈是如何映射至3D中的约定而完成该操作的。以下段落概述了这些假定和约定。有多种用于满足这些约定的方式。例如，在用于对几何形状进行分割的软件的导出过程中，其能够保持一致。然而，在使用不符合假定的现有数据的情况下，为了加载数据，对改变坐标系有帮助的一个软件是被称之为MeshLab的自由3D三角形网格软件。

用于整个虚拟环境的全局坐标系是由具有指向上的正Y轴的一般笛卡儿坐标系所限定的。当加载三角形网格时，其将默认为匹配这个取向(然而，其本地帧之后也可进行旋转)，如在图4C中所示。该图示出了加载一系列Dicom切片的顺序，第一图像(在此被示为000)是在体积的底部进行加载的，且最后一个图像(在此被标记为XXX)是在顶部进行加载的。应保持该顺序以用网格对体积进行合适的定向。图像堆栈被假定为在正Y轴方向上进行堆叠。因此，加载网格的正Y方向应与图像堆栈中的增加序列相关联的方向相匹配。

为了注册网格和图像堆栈，软件可使用两种不同的方法。当网格的和图像堆栈的范围(即，边界框)完全相同时，使用第一种方法(基本的)。当范围不匹配且必须输入额外的信息以正确地注册数据时，使用第二种方法(高级的)。这两种方法是通过其中加载数据的顺序进行区分的。如果先加载三角形网格且随后对其指定图像堆栈，则使用了基本的方法。如果先加载图像堆栈，则使用更高级的方法以正确地设置体积，在这之后，可将网格加载至注册的坐标系中。在下面的附图中详细描述了这两个过程。

图4D示出了基本的加载过程。该网格首先被限定(在左图中)-其局部坐标原点基本上可位于任何地方且其范围将由红色边界框所指出。在已加载网格后，图像堆栈可进行应用(在右图中所示)且将适合于完全匹配范围。只有在网格的范围完全与加载体积的范围相匹配的情况下该策略才会有效。

图4E示出高级的加载过程。加载该体积-其局部坐标原点被固定至在边界框的角落(其必须通过额外的输入进行限定)的背面的左下部(最小)。可加载额外的网格，且如果其共享该共同的坐标系，则其将被正确地进行注册。如果仅对图像堆栈的子集进行分割，那么这种技术则是有益的。

程序控制(触控硬件)：模型查看器软件使用微缩模型(World-In-Miniature，WIM)比拟以进行导航并与模型进行交互。WIM充当在桌面上方浮动的较小世界的地图，如在下图中所示。在世界内的当前位置是由“查看窗口”相对于WIM而进行指示的。该视图的较大比例的版本则被示于在WIM之后的“详细世界”中。最后，两个控件被投影在用户与其进行交互的桌面上。首先，“阴影控件”是WIM向下至桌上的垂直投影。其次，“切片控件”是视图窗口至桌上的垂直投影。在图4F中以图形示出该比拟。阴影控件被用于直接控制WIM本身，将其定位和缩放至不同的位置或大小或对其进行旋转和定向以从不同的方向查看环境。使用一组手势以进行每个动作，如在下图中所示。这些手势可在桌面上的任何地方进行制定(除了切片控件外)。这些手势可通过在物体的阴影的顶部或在屏幕上的其他地方进行交互而用于各个帧或所有的帧。

图4G示出用于在桌面的平面中平移、缩放和旋转WIM的手势(a)以及用于倾斜和滚动的手势(b)。切片控件可被用于直接控制详细世界的当前位置和比例。桌子上的绿线投影提供了一种用于抓住浮动的视图窗口的端部的手柄。这些手柄由在切片控件的端部的蓝色圆圈所表示，如下面所示。这些手柄中的每一个可单独地进行抓握并操控以改变视图窗口的位置。为了改变缩放级别，窗口可进行缩放以变得更大或更小。黄线表示当前至详细世界的观看方向。视图窗口的竖直高度可通过将拇指在以红色表示的双向箭头的附近移动而进行调整。通过按住在切片控件中心的旋转箭头，WIM可通过在将视图窗口固定到位以将模型进行翻转以从另一方面进行观看的同时在桌面上移动第二根手指而旋转起来。接近每个手柄的锁定图标可被用于通过轻敲锁定图标以循环通过选项的方式改变WIM的观看特性。在默认模式下，打开锁定，WIM将仅当用户与其进行交互时出现。在锁定模式下，由闭合的锁所表示，WIM将总是可见的。在隐藏模式中，由空圆圈所表示，WIM将总是不可见的，即使当进行交互时。第四个模式将总隐藏视图的缩放并仅显示WIM。

图4H显示切片控件。手柄(在线两端上的圆圈)被用于将视图窗口定位在微锁模型的内部。水平切片的高度可通过在接近图的右下部的双箭头处拖动拇指而进行上调或下调。

一个可用的特性是在患者的解剖结构，即在特定的解剖项中指定曲线和体积。将手指向下置于切片控件的中心处并从该处拖出将创建一个3D点。该点可通过绕桌子进行拖动而在平行于桌面的平面中进行移动。为了改变3D点的竖直＝高度，第二手指，通常是另一只手的，在桌子上进行按压且“虚拟字符串”被连接在用户的手指和在桌子上浮动的3D点之间。两根手指汇集会松开该字符串，这允许3D点继续变得更高。同样地，移动两根手指以使其分开可降低3D点。最终，以这种方式按下两个手指，且在桌子上竖直移动第三根手指，通常为拇指将在该点使曲线充胀或缩放以包含一个体积。在图4I中以图形示出这种手势。在那里，在3D空间中相对于微缩模型指定点。多个点进行组合以形成曲线且可经额外的触摸手势可扩张以限定广义圆柱体。

本文所描述的软件可在zSpace硬件平台上进行操作。在那里，主要的输入装置是代替2D触摸输入表面的6自由度的手杖。跟踪该手杖的平移和旋转，且在触摸硬件中所描述的所有操控是通过使用结合有在其上面的三个按钮的手杖而进行重复的。为了保留不具有第二显示的“桌子”的概念，水平桌面向后移动越过成角度的zSpace显示并仅存在于虚拟空间中。此外，在zSpace版本中移除在启用触摸的硬件设置中使用的微缩模型的视觉和交互。只有微型图被示出并由用户进行操控，且不使用视图窗口。

图4J是在zSpace硬件上的模型查看器软件组件的图示。竖直屏幕以与其所坐落的桌子成60度角的方式进行搁置。在窗口后拉动虚拟桌子且阴影被投影至其上面。由坐标系和黄线所指出的手写笔装置被用于与虚拟环境进行交互。所跟踪的手写笔(或手杖)被用作虚拟光标以与模型查看器软件进行交互。其可被用于向下指并使射线与桌子相交叉而在桌面上模拟触摸事件。当被按下时，与手写笔的运动相结合的该按钮将在虚拟桌子上模拟触摸事件。以这种方式，可进行用于触摸硬件中的所有单点交互。除了这个基本能力外，还支持其他更高级的3D交互(其可能另外需要一个以上的触摸点)。在手写笔上的大的主按钮充当“抓握”按钮。通过使手写笔指向每个帧的边界框并点击抓握按钮，可跟随手写笔的位置和取向以一一映射的方式移动网格。还有可用抓握按钮进行操控的其他特性；例如，水平切片可被抓住并向上或向下移动以改变在虚拟桌子上的阴影中所示的视图。在虚拟桌子的左侧上还具有垂直“翼”，其可向前、向后、向上和向下移动以改变竖直裁剪平面的距离。抓握按钮可被用于抓至样条的控制点的位置上以将其定位在3D中。

在手写笔上的右侧按钮充当“缩放”按钮。通过指向边界框并随后进行点击和拖动动作，该按钮可被用于通过移动远离或移向框的中心而使边界框的框架中所含数据(例如，网格或实体模型)按比例放大或缩小。还可按相同的方式使用缩放按钮以改变由样条所创建的管的半径。该缩放按钮还具有额外的特性，其可用于使虚拟桌子向上旋转，其在zSpace显示的前端上具有铰链。这对于与桌面更容易地进行交互来说是有益的，当使用之后在该文件中所描述的2D桌控件时是有益的。这可通过将手写笔向下指向桌子、按下缩放按钮并将手写笔向上移动而执行。该按钮的另一个功能涉及之前提及的“翼”。通过点击翼并按下此按钮，翼可旋转以改变裁剪平面的角度以使其不是完全竖直的。

在手写笔左侧上第三按钮充当“光标”按钮。点击该按钮将创建用于在最近帧中样条的新的3D光标。这是按与在触摸硬件中如上所述的拖动操作一样的方式进行工作的。在点击后，光标将进行定位并将在释放按钮后保持固定。

图4K示出具有停靠在屏幕右侧的可拖动触摸控件的虚拟桌子的显示。这些控件中的每一个均可被移出至桌子上并被用于改变虚拟环境的设置。许多额外的特性均可用于模型查看器软件，其包括加载和保存文件或改变虚拟物体的虚拟设置的能力。软件利用触摸控件比拟以实现这些特性。一组控件停靠在屏幕的右侧上。这些中的每一个可被拖出至虚拟桌上(经触摸或手写笔交互)。这些控件可随后进行交互以进行各种动作。通常，这些动作取决于在虚拟桌上的控件的位置。例如，如果控件位于网格的特定阴影上，其将改变用于该特定网格的设置。下列部分将更详细地逐一介绍这些控件中的每一个，其描述了它们能做什么以及如何使用它们。

除了表示触摸控件的视觉方形图标外，每个控件可具有四个不同的特性，这些特性在所有的控件中具有一致的功能。在图4L中标记出这四个特性。箭头中的每一个可进行点击且将扩张以含有更多的控制。如果控件含有焦点箭头，那么由箭头尖端所指出的位置则对应于哪些数据元素是通过改变设置而进行修改的或对应于在完成加载操作后所加载的文件将位于的地方。

使用程序退出器控件以关闭程序。简单地将其拖出至桌子上并对其进行双击以退出软件。

视图重置器控件被用于对当前加载的帧加上视图窗口进行重设和定心。当虚拟物体丢失时，通常是由触控表面上的外来输入而导致的，这是有益的。其将重设物体的比例以使其很好地安装在屏幕上并沿虚拟桌的中心轴线水平地进行排列。颜色选择器控件被用于设置在帧内的各个网格的颜色。在其已被置于桌子上后，其将显示与圆形调色板相结合的画笔图标。将选择其中心最接近于画笔尖端的网格。选择后，可使用调色板内的触控点拖动和改变被施加至网格的颜色。

删除工具控件被用于从软件移除/卸载现有的帧(即网格和图像堆栈)。简单地在要删除的帧的顶部上移动焦点箭头并双击控件以将其删除。

样条工具控件被用于修改、加载并保存已使用之前所描述的样条生成交互所创建的3D样条(曲线)。用于保持样条信息的文件类型是可容易地被读入电子表格软件中的逗号分隔值(csv)文件。其具有两个部分。第一部分列出了用于创建样条的精确控制点的位置。第二部分列出了对样条曲线的数学表示进行均匀采样而产生的点。这些中的每一个均使用四列而列出-前三列限定了每个点X、Y和Z位置。第四列限定了在控制点的样条的管的半径。为了保存样条，拖动控件以使焦点箭头在桌子上选择曲线。随后，通过扩张保存窗口并选择目录，将用创建文件的时间进行标记的自动生成文件名创建csv文件。

为了从盘加载样条，将控件拖至要加载样条的帧中，在控件的左侧上扩张加载窗口并选择.csv以进行加载。样条将在该帧中重新创建并可随后进行修改。还有一组可用于改变样条形态的控件设置以及与每个样条相关联的信息，其可通过扩张在控件底部上的箭头而看到。

这些元件的描述如下所述：(a)总样条长度-报告当前所选样条的整个长度；(b)当前段长度-报告在最后一个控制点和之前的控制点之间的距离长度；(c)到壁的平均距离-报名从样条的中心至从样条沿径向向外找到的最近边界的平均距离。当按下下述按钮时按需要计算该值；(d)冻结(复选框)-如果选中，样条将被锁定到位且控制点无法再进行操控；(e)跟踪缓存(复选框)-如果选中，仅有样条的最后三个控制点将是可修改的，其充当跟踪缓存。如果样条含有许多点，从而使其由于杂乱而变得难以单独进行选择，这则是有益的；(f)中心样条(按钮)-当被点击时，整个样条将相对于围绕其的表面进行定中心；(g)计算平均距离(按钮)-当被点击时，从样条至最近的壁的平均距离将通过沿样条进行径向搜索而找到。在上面所提及的文本框中报告该值；(h)产生径向样条(按钮)-该按钮被用于生成符合表面的精确形状的新的样条。其使用现有样条以播种生成新的样条。该种样条必须与竖直壁表面的平面相交叉。样条所交叉的点被用于在竖直表面的平面中发射射线且控制点位于这些射线的交叉点。例如，如果样条是遵循动脉的中心线而进行放置的且旋转视图使该样条在竖直平面进行裁剪，在选中该按钮后，位于竖直平面中的新的样条则将遵循动脉内部的轮廓而进行创建。

动画工具控件被用于控制已被加载至软件中的时间数据集的设置。这包括4D网格和4D图像堆栈。在帧已加载这些类型的数据中的任意一种后，该工具可被拖动至其阴影上且下列信息/设置均是可用的：(a)总的动画时间-用于完成整个序列的加载动画以及改变该设置以匹配所需动画速度的以秒计的当前时间；(b)体积数-报告在所选帧的当前加载的体积序列中的体积数量；(c)动画间隔时间-在序列中连续体积之间的时间步长。总动画时间＝体积数*动画间隔时间；(d)网格动画时间-有时在帧内的各个网格序列具有不同于其他网格(或加载的体积序列)的定时。该设置控制用于最接近焦点箭头的各个网格序列的时机。默认情况下，所有加载的网格序列均与总动画时间相匹配，然而，其可通过修改该值而进行改变；(e)网格数量-报告最接近于焦点箭头网格序列中的网格数量；(f)网格动画间隔时间-类似于上面的“动画间隔时间”，但却用于各个网格序列；(g)重放速度-播放动画的速度，默认为用于实时重放的速度，但却可调整以加快或减慢动画的速度。此外，该控件具有可在周围移动的额外的时间轴窗口。该时间轴具有被附至其的播放/暂停按钮以开启或停止当前所选帧的动画。该时间轴显示了关于当前显示在动画中播放了多少的指标。时间轴是交互式的，通过沿其进行拖动，可改变当前的时间步长。

体积工具控件被用于配置加载的图像堆栈的尺寸，以及用于改变可视化设置的几种控制。该工具被用于正确地设置位于图像堆栈3D边界框的最小角处的坐标系(如在部分5.3中所述)。随着用户改变输入，体积的边界框将进行更新。其将不断地调整大小以使其不会变得太大或太小以至于不再能被看到。尽管如此，框的边界仍会改变(且缩放因子也会因此而发生改变)。必须正确地设置边界框以使后续加载的网格处于正确的位置和比例上。在该部分中的设置应被配置成匹配其中要被加载的后续网格进行了限定的单位/坐标系。可用的设置为：

以米计的体积缩放控件被用于设置网格/体积使用的单位，当乘以该缩放因子，单位应以米计。例如，如果网格和体积将使用mm作为其单位而导出，那么该缩放因子应被设置为“0.001”。该因子依次被用于确保按其正确的单位报告显示输出(在不使用该因子的情况下单位是不知道的)。各种复选框的操作如下：(a)根据体积的纹理化开启/关闭在网格上的3D纹理化。操作如果开启，图像堆栈将被视为“大理石块”且由堆栈所限定的在体积中含有的颜色将被映射至网格表面上；(b)显示实体切片开启/关闭用于所选网格的实体建模。如果开启，网格将被视为具有限定的内部和外部的实体物体，当被剪切时，内部将在剪切平面被渲染成平的，从而使内部对于剪切来说是为隐藏的(即，背面是不可见的)。这仅应被用于水密性且界限清楚的网格上，其中正面和背面都是一致的；(c)显示阴影切片开启/关闭通过网格的当前水平切片的阴影表示；以及(d)纹理WIM开启/关闭在WIM上的3D纹理化操作，3D纹理已进行了设置。

装置调整大小工具控件被用于配置可用于测量出在虚拟环境中的直径的装置调整大小工具。在视图窗口的阴影上的红线可被移动以直接控制该虚拟装置的半径。除了该基本控制外，该控件允许对大小进行精确的设置。下列的设置均是可用的：(a)冻结装置宽度(复选框)-当被选中时，装置的宽度将被冻结且不能再进行修改；(b)始终显示装置(复选框)-当被选中时，将始终显示圆形装置指标，从而代替仅当与其进行交互时显示的默认行为；(c)从不显示装置(复选框)-当被选中时，圆形装置指标将永不会被显示出来；(d)装置宽度(mm)-允许用户精确地以mm设置装置的宽度(直径)。

摄像头路径工具控件被用于沿样条的路径将摄像头(即，视图窗口)制成动画。首先，必须在所需环境中创建样条。随后，该控件可被拖动至样条的阴影上。在定位至样条上后，摄像头可使用额外一组按钮进行控制。最左侧的按钮(直角)被用于将视图窗口摆正，从而使其垂直于样条的方向。在摆正后，可按下“播放”和“倒退”按钮以沿路径在任一方向上开启摄像头。如果当在进行制成动画时按下相反的一个，摄像头则将暂停。此外，可按下最右侧的按钮以使摄像头的运动加快或减慢。

等值面提取控件被用于从图像堆栈对等值面进行实时提取。如果导入新的图像堆栈但还没使用其他软件从其分割网格，这则是有益的。这控件将进行简单的移动立方体算法的等值分割例程以在特定值提取表面。该值的使用是通过焦点箭头指向在桌子上的显示图像切片而进行设置的。紧接在箭头的尖端下方的值将被用作等值且将提取在该值的表示边界的表面。下列额外的控制均是可用的：(a)有效提取(复选框)-如果被选中，每次移动控件时都将不断地提取等值面。这是由于在非常高分辨率的图像堆栈上的计算可以密集的事实；(b)反转(复选框)-如果在提取后，网格上的法线不正确(即，背面应是前面或照明看起来不正确)，该复选框则可被用于切换法线的方向以使下一个提取为正确的；(c)选择(按钮)-如果被按下，则将按如上所述的方法提取等值面。每一帧仅存在有一个等值面，如果在该帧中存在等值面，其将被替换。

屏幕记录器控件被用于从屏幕捕获视频用于在交互式会话后在外部进行重放。文件名是根据时间戳而自动生成的，额外地，其将在其名字中具有修饰词语(右、右或桌面)以指示其是左眼立体画面，右眼立体画面还是对桌面的捕获。为了捕获交互，渲染的帧被编码为视频。该编码具有将进行视频回放的相关联的帧速率。对于要在适当的实时速度进行回放的视频而言，编码的帧速率应理想地与渲染图形的帧速率相匹配。使用关闭默认值，但根据正被记录的内容和其他系统负载，这个值可发生改变。因此，理想地是，视频帧速率应被手动设置为合适的值。可经控件得到对该帧速率的控制和其他相关的设置：(a)平均FPS-该字段将报告当前渲染的帧速率的运行平均值，其理想地为应被输入编码FPS字段中的值。然而，该值在记录开始后将会下降，这是因为渲染时间给系统添加了显著的额外负载，从而导致减速；(b)以立体方式记录(复选框)-如果被选中，左眼和右眼视图将被保存至两个单独的视频文件中。然后，第三方软件(例如Bino)可被用于组成这两个视频文件并以立体的方式对其进行回放。如果未选中，则仅保存左眼的；(b)记录桌子(复选框)-如果被选中，则将创建捕获在桌面上进行渲染的图形的视频文件；(c)编码FPS-告知视频编码器要在什么帧速率上进行编码的可修改字段，理想地是这应与在平均FPS字段中报告的值相匹配(然而要注意的是，在开始记录后，该值将下降)；(d)开始/停止记录(按钮)-当被点击时，将启动视频记录。当未被点击时，则停止记录且将视频保存至盘。

网格加载器控件被用于将新的三角形网格加载至软件中。这些三角形网格可被添加至现有的帧中或可创建新的帧以含有其自身单独的网格。使用扩张的加载窗口，可浏览和选择文件，且在进行选择后，将读取该文件并将显示网格。一次仅能加载单个文件，为了加载多个网格，要相继加载每一个。主要支持的文件格式为STL，大多数CAD包均支持导出至这种格式。此外，也可使用许多其他三角形网格格式，例如波前OBJ文件。

时间网格加载器控件被用于加载在时间上为连续的三角形网格的序列。序列是通过指定要加载的三角形网格文件的列表而简单地进行加载的(其中文件名的顺序在时间上是连续的)。这个控件几乎与“网格加载器”相同，然而在加载窗口应选择限定序列的的多个文件，而非仅一个文件。

体积加载器控件被用于将图像堆栈(即，体积)加载至帧中。每一帧可加载正好一个图像堆栈(或图像堆栈的序列)。如果堆栈被加载至现有帧中，其将替换任何现有的图像堆栈，否则将创建新的帧。加载窗口可扩张且可选择含有要加载的图像堆栈的文件列表。Dicom图像是被支持的，但大多数其他图像形式也是被支持的，且png文件(也支持颜色)通常是更稳健的。将按图像在文件浏览器中所列顺序加载图像(该顺序是按字母顺序进行排序的)。在文件浏览器窗口顶部的箭头可被用于使文件名的排序反转。此外，还有“书挡”特性，其中可选择开始文件和结束文件，且在顶部按下该“书挡”按钮后，将选择在该文件之间的所有文件。最后，也可用该控件加载图像堆栈的时间上的序列。要做到这一点，每个堆栈应含有完全相同数量的图像，且组成所有连续图像堆栈的图像应位于单个文件夹中，从而使在后续堆栈中的第一个图像紧跟在前一堆栈中的最后一个图像。然后，使用额外的设置，可指定如何分解这个大的文件列表的间隔。特定的额外设置如下：(a)加载空(按钮)-如果被按下，将创建具有空体积的新帧；(b)时间量(复选框)-如果被选中，文件列表将被加载作为时间上的序列，如上所述；(c)每个时间步长的切片-将连续的图像堆栈彼此进行区分的间隔，例如，如果加载了200个图像且其中有10个连续的体积，在这里则应输入20。

项目加载器控件被用于保存系统当前所在的整个状态。如果已加载多个网格和体积，且已应用不同的设置并且你希望保存它以在另一个稍后的时间进行显示，这则是有用的。通过扩张保存窗口和选择目录，.proj文件将被保存，其含有按与其保存时完全相同的状态重新加载软件所需的所有信息。该.proj文件是纯文本格式且如果你想手动改变一些个别设置，则可在文本编辑器中进行检查。为了重新加载保存的项目文件，扩张加载窗口、浏览该窗口并进行选择。这可能需要几分钟以加载所有在该项目中链接的文件。为了使项目加载成功，当.proj被保存时使用的文件必须驻留在完全相同的位置上。此外，有时某些文件名可能会破坏用于加载这个文件的解析器。如果无法重新加载项目文件，则很可能是由于文件名在其路径中具有一些破坏解析的不寻常的字符(或空格)。出于这个原因，建议使用简单的文件名和目录。

正交切片查看器控件被用于查看当前体积的三个正交、坐标对齐的2D切片。当被激活时，这三个视图将被显示在桌面的左侧上。这三个视图的取向被锁定至虚拟物体的本地帧，即，当物体相对于全局进行旋转时，2D切片仍保持为相同的。视图窗口的当前中心点确定了这三个切片中每一个的3D位置。这单个点将总使所有三个切片相交。由于用户经视图窗口进行导航，正交切片响应于该点的变化而进行动态更新。当其为活动的时，将在微缩模型中示出这些切片的精确的3D位置以作为三个单独的帧。下列设置可用于该控件：(1)显示切片(复选框)-当被选中时，切片是活动的且将被显示出来；(2)壁上的镜像(复选框)-如果被选中，切片查看器是活动的，且2D切片视图将是在竖直表面上的镜像。

时间FEA加载器控件被用于载入符合PLT格式的FEA数据。该格式列出元件和其连接，后面是一系列的包含所有元件的顶点以及与这些顶点相关联的若干数据字段的位置的时间步长。文件加载窗口被用于浏览至PLT文件的位置且在选择后，从文件加载一组时变网格。在加载后，这些网格的视觉显示可通过改变下列设置而进行修改：(a)本地色图(复选框)-当被选中时，网格是被着色的，从而使值的范围被映射至用于当前时间步长的最大和最小字段值。如果关闭，则使用全局色图，其中范围是通过由所有时间步长确定的字段而限定的；(b)平面着色(复选框)-如果被选中，当PLT文件被加载时，使用每个三角形的本地平面着色而非平滑着色而进行计算法线，如果网格含有锋利的边缘，这则是有益的；(c)网格照明开启(复选框)-当未被选中时，禁用对当前所显示的FEA网格所进行的照明；(d)线框图开启(复选框)-当被选中时，开启用于当前所显示的FEA网格的线框图渲染；(e)显示字段(下拉)-含有从PLT文件加载的所有字段的列表。在选择后，更新所显示的字段以反映该字段；(f)色图(下拉)-含有当渲染所显示的字段时要使用的可能的颜色映射的列表。在选择后，更新在网格上的字段的颜色；(7)跳跃间隔-可能的情况是，被包含在PLT文件中的该组所有FEA网格太大了以至于无法一次加载至PC的存储器中。为了能够仍然加载整个数据集的表示，可设置跳跃间隔且时间步长将被跳跃以减少加载的数据量。

下列部分描述了根据一个实例的程序的所选方面。

用于控件/控制3D触控系统的低级别的策略：一个实例允许加载并同时显示多个数据集。为了实现支持加载和同时显示多个数据集(例如，3D表面、体积FEA数据)的特性，要注意的是许多控件一次仅影响一个数据集。这意味着无论何时激活控件，其都需要与其应作用的特定数据集相关联，。加载和同时显示多个数据集的功能包括新的界面。为了在控件和数据集之间进行关联，用户将控件从工具栏拖至适当的数据集的阴影上。然后，控件在该位置，就在数据集阴影的顶部上进行激活。在一个实例中，通过拖动控件并将其放在桌面上的任何位置(而不必是数据集的顶部)而激活适用于所有数据集的控件(例如，加载和保存整个项目、将屏幕录制至电影文件中)。在一个实例中，用于加载新的数据集的控件是通过将其拖动至桌子上的一个新位置和释放而激活的，且随后，将在桌子上的这个位置加载新的数据集。同样地，在摄像头的路径工具中，通过将摄像头控件拖动至3D曲线的阴影上而使摄像头与特定3D曲线相关联以飞行。

相对于解剖结构对3D曲线进行定心；在一个实例中，样条可相对于所选的解剖结构进行定中心。为了支持已在3D解剖结构的腔室内绘制的样条(3D曲线)进行定心的特性，算法通过样条的每个控制点而进行迭代，确定在垂直于样条的所有方向上从该点至最近的表面的距离并随后基于这些计算的距离而对控制点进行定心。在一个实例中，算法被配置为计算沿样条的长度从样条至解剖结构的平均距离。

实时交互式等值面提取：在将新的数据集代入工具中需要显著的时间量。该时间中的一些与使用外部工具以从医学图像堆栈提取等值面相关联。本主题的一个实例包括消除在访问外部工具上所花费的时间的等值面提取器控件。该控制被配置成进行简单的移动立方体算法的等值分割以在特定值提取表面。该值的使用是通过焦点箭头指向在桌子上的显示图像切片而进行设置的。紧接在箭头的尖端下方的值被用作等值且提取在该值的表示边界的表面。在“有效提取”的模式中，在每次移动控件时连续地提取等值面，以使其为用于数据探索的实时接口。

生成符合解剖结构的轮廓的3D曲线：一个实例包括对解剖数据集中3D表面的腔室和轮廓进行映射的工具。该工具执行一个算法，其使用现有的用户创建的样条以选择与垂直表面的交叉点。三维射线源于该交叉点并沿径向向外投影以找到与解剖结构的交叉点。使用作为一组控制点的三个交叉点创建新的样条。

体积数据的三轴对齐的正交2D视图平面：一个实例包括用于支持传统的三轴对齐的(矢状面的、冠状的、横向的)视图的可视化的工具。该工具被配置成在桌面的左手侧上显示三个切片。这些切片中的每一个的3D位置是通过使三者交叉的单个点所确定的。该点是随着用户使用切片WIM比拟进行导航而由用户所设置的且是由视图窗口(如在桌面上控件所指出的)的底部中心的3D位置所确定的。

具有装置半径大小调整的解剖穿越：一个实例被配置成支持摄像头相对于设置的装置尺寸穿越。该工具允许将摄像头控件附接至用户创建的样条。在附接摄像头控件后，用户可通过暂停、使方向反转并使动画加速或减速而控制穿越的回放。通过根据样条的运动而使WIM移“过”而在穿越期间设置该视图，以这种方式，视图窗口保持为固定的且几何形状移过该窗口，从而给出视图运动的效果。此外，可设置用户定义的半径，其在屏幕上以圆形显示装置的大小。用户可相对于该装置大小解释几何形状以确定交叉点和配合。

图4M至4N显示了用于对项目，如解剖项进行操控和可视化的虚拟桌面的表示。通常，表示显示出特性，通过该特性，用户可在升高的桌面上操控视觉表示，而其他项目，如图标则被向下投影至虚拟子桌面上，随后使项目从子项目进行视觉上的转换以使其能更方便地进行交互。

如在图4M中所示，计算机可视化系统的人类用户402位于系统上且使用手写笔404与升高的桌面406进行交互。升高的桌面406被实现作为计算机显示器，如可被连接至硬件，如上述和下述的用于对解剖项进行建模和可视化的那个硬件的LCD显示器。以3D图形绘制“虚拟桌子”408，从而使其看起来像位于真实桌面410的平面中，该真实桌面410位于在相对于水平真实的桌面410成角度的位置上的升高的桌面的下方。当虚拟桌子408处于该水平位置上时，其提供了用于在虚拟桌子408上进行3D可视化的视觉接地背景。其还提供了3D表面，在其上用户402可查看有用的交互控件(按钮、颜色选择器等)。这些项目在被操控的项目后是可见的(例如，对用户402来说看起来像其浮动在升高的桌面406处的空间中或在围绕升高的桌面406的平面处的人类心脏的3D模型)。因此，可在不堵塞任何数据可视化的情况下呈现控件。

如在图4N中所示，虚拟桌子已通过3D表示的视觉操控而自动向上旋转以使其现在看起来像处于升高的桌面的平面中而不是在真实的桌面410的平面中。当在视觉上位于真实的桌面410上的控件由于其看起来离物理显示表面有几英寸远而变得难以进行选择以用于该用户402时，这种操控则可能是优选的。由于用户402不能伸手并直接触摸这些小工具控件，“虚拟激光指针”技术通常被用于选择这种够不着的物体，但这种指针的控制对于一些用户来说可能是有挑战性的。通过允许用户402选择用户可选的显示项目，且作为响应，使控件和其他菜单项目的显示在视觉上从较低的显示位置向上旋转至与用户402所触摸的位置更直接相关的更高的位置，对于用户402来说，该界面则更易于使用。

在使用中的这种桌面系统的一个实施方案中，一种方法可包括：在位于非竖直和非水平取向的倾斜的物理装置上显示对用户来说看起来像位于物理装置上或在物理装置前的三维模型；在视觉上位于物理装置后的第一虚拟表面上显示多个用户选择的项目，其包括图标、菜单或这两者；接收用户输入以改变用户可选项目的显示位置；且响应于接收用户输入，将用户可选项目从第一虚拟表面进行转换以使被显示为看起来像在倾斜的物理装置的表面上一样。第一虚拟表面可以是水平表面，如倾斜的物理装置所在的物理台面。第一虚拟表面也可在三维模型后进行显示以当三维模型在视觉上与第一虚拟表面相重叠时，使三维模型至少部分地阻挡第一虚拟表面的显示。第一虚拟表面也可以被显示为平面或曲面。所显示的项目在改变三维模型的显示的方式上是用户可选择的。该模型可采用上述和下述的三维和四维模型的形式且可用本文所述的桌面系统采用上述和下述的用户交互和过程。

图5A和5B示意性地显示出对从解剖项的边缘至3D样条曲线的距离的计算。在附图中所反映的这些步骤可自动地通过可视化系统，如上面和下面所讨论的那些而进行，从而自动地将样条置于最方便的物理位置上，从而表示可沿其引导医疗器械，如支架通过解剖项的路径的中心点。本文所描述的技术可被用于确定现有样条与解剖项，如脉管的内壁的距离或对要相对于内壁而处于限定位置上的样条，如要在脉管的长度上进行定心的样条进行定位。

图5A示出样条上的一个点506A，在该点上要进行测量以确定至脉管壁502或人类心脏的内壁的距离。在该实例中的计算方法将点506A识别为沿样条曲线的点并在该样条的点以与样条成垂直角的方式在样条周围生成多个射线。(注意解剖项的第二个壁未示出，但其将被定位于样条的左侧)。在样条周围每n度便可生成射线，其中n通常可被均匀地分成360，如每10、30、60或120度。在射线之间的间隔也可以是不均匀的。从点506A至解剖项的壁的距离可被计算用于每个这种射线并进行存储。如在图5B中所示，可重复该测量过程以用于沿样条长度的另一个点，点506B。在每种情况下，射线可在点，如508A和508B画出解剖项的形状的内部轮廓。该过程可随后进行重复以用于沿样条的所识别的点中的每一个，其中点可以是沿样条的n个等间隔或不等间隔的点。

以这种方式，可进行各种计算和确定。例如，可确定项目的横截面形状和面积，其中横截面大致垂直于在该点的通路，而不是可能无法充分表示该项目的几何形状的通过该项目的水平切片。这种几何形状也可被用于确定在医疗器械和围绕医疗器械的组织之间在相关位置上的交互，该医疗器械可随后位于沿样条的每个相关的点上以对通过解剖项的器械的移动进行建模。

样条可按类似的方式被自动拟合至通路。仅作为一个实例，用户可标识其希望通过其生成样条，如紧跟在通路中部的样条的通路。然后，系统可一层层地单步调试项目的模型并经标准技术计算在该层的开口的中心(用于脉管的开口可大致为圆形)。这样的步骤可沿通路的长度创建多个点且初步样条可被拟合至那些点。然而，如果其沿其长度弯曲，那么这样的样条则可能无法最好地跟踪项目的中心线。其结果是，可将刚刚描述的技术应用至初步样条，且限定样条的点被调整到位直到射线在围绕样条的长度中大致相等为止。可从那些点生成最终的样条，那些点与在沿样条的每个相关点上与垂直于样条轴线的平面中的样条的距离是相等的而不是简单地与水平面中的项目壁的距离为相等的。

图6示出可用于实施本文所述技术的计算机系统的一个实例。系统600可用于根据一个实施方案进行与之前所述的计算机实现的方法中的任一个相关联的所述操作。系统600旨在包括各种形式的数字计算机，如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。系统600还可以包括移动装置，如个人数字助理、蜂窝电话、智能手机以及其它类似的计算装置。此外，系统可包括便携式存储介质，如，通用串行总线(USB)闪存驱动器。例如，USB闪存驱动器可以存储操作系统和其它应用。USB闪存驱动器可以包括输入/输出组件，如无线发射器或USB连接器，其可以被插入另一个计算装置的USB端口中。

系统600包括处理器610、存储器620、存储装置630以及输入/输出装置640。组件610、620、630和640中的每一个使用系统总线650而互连。处理器610能够处理用于在系统600内执行的指令。处理器可使用一些架构中的任一个而进行设计。例如，处理器610可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或MISC(最小指令集计算机)处理器。

在一个实施方案中，处理器610是单线程处理器。在另一个实施方案中，处理器610是多线程处理器。处理器610能够处理被存储在存储器620中或在存储装置630上用于显示用于在输入/输出装置640上的用户界面的图形信息的指令。

存储器620存储系统600内的信息。在一个实施方案中，存储器620是计算机可读介质。在一个实施方案中，存储器620是易失性存储器单元。在另一个实施方案中，存储器620是非易失性存储器单元。

存储装置630能够提供用于系统600的大量存储。在一个实施方案中，存储装置630是计算机可读介质。在各种不同的实施方案中，存储装置630可以是软盘装置、硬盘装置、光盘装置或磁带装置。

输入/输出装置640提供用于系统600的输入/输出操作。在一个实施方案中，输入/输出装置640包括键盘和/或指示装置。在另一个实施方案中，输入/输出装置640包括用于显示图形用户界面的显示单元。

所描述的特性可在数字电子电路或在计算机硬件、固件、软件或其组合中予以实施。该器械可在信息载体，例如用于通过可编程处理器执行的机器可读存储装置中可触知地进行具体化的计算机程序产品中予以实施，且方法的步骤可通过可编程处理器进行的，该可编程处理器通过对输入数据进行操作并生成输出而执行指令的程序以进行所述实施方案的功能。所描述的特性可有利地在一个或多个计算机程序中予以实施，该计算机程序可在包括被联接的以在至少一个输入装置和至少一个输出装置从数据存储系统接收数据和指令并将数据和指令发送至数据存储系统的至少一个可编程处理器的可编程系统上执行。计算机程序是一组可直接或间接在计算机中使用的以进行某种活动或产生某种结果的指令。计算机程序可按任何形式的编程语言，包括编译或解释语言写入，且其可按任何形式，包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其他单元而进行布置。

举例来说，用于执行指令的程序的合适的处理器包括通用和专用微处理器，以及任何种类的计算机中的唯一的处理器或多个处理器中的一个。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器。通常，计算机还将包括或者可操作性地进行联接以与用于存储数据文件的一个或多个大量存储装置进行通信；这种装置包括磁盘，如内部硬盘和可移动盘；磁-光盘；和光盘。适合于可触知地使计算机程序指令和数据进行具体化的存储装置包括所有形式的非易失性存储器，举例来说，包括半导体存储器装置，如EPROM、EEPROM和闪存装置；磁盘，如内部硬盘和可移动盘；磁-光盘；和CD-ROM和DVD-ROM盘。处理器和存储器可由ASIC(专用集成电路)进行补充或被并入ASIC中。

为了提供与用户的交互，该特性可在计算机上实现，计算机具有用于向用户显示信息的显示装置，如CRT(阴极射线管)或LCD(液晶显示器)监视器，以及用户可通过其而向计算机提供输入的键盘和指示装置，如鼠标或轨迹球。此外，这样的活动可经触摸屏的平板显示器和其他适当的机构而实现。

该特性可在包括后端组件，如数据服务器或包括中间件组件，如应用服务器或互联网服务器或包括前端组件，如具有图形用户界面的客户端组件或互联网浏览器或它们的任何组合的计算机系统中而实现。系统的组件可通过任何形式或介质的数字数据通信，如通信网络而进行连接。通信网络的实例包括局域网(“LAN”)、广域网(“WAN”)、对等网络(具有点对点或静态成员)、网格计算基础设施以及互联网。

计算机系统可包括客户端和服务器。客户端和服务器通常远离彼此且通常通过网络，如所描述的一个进行交互。客户端和服务器的关系是依靠运行在各自的计算机上并彼此具有客户端-服务器关系的计算机程序而产生的。

虽然本说明书包含许多特定的实施细节，但这些不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定发明的特定实施方案所特定的特性的描述。该说明书中在单独的实施方案的背景下所描述的某些特性也可在单个实施方案中以组合的方式进行实施。相反地，在单个实施方案的背景下描述的各种特性也可单独地或以任何适当的子组合的方式在多个实施方案中予以实施。此外，虽然特性可在上面被描述为在某些组合中起作用以及甚至最初要求对其进行保护，但是源于所要求保护的组合的一个或多个特性仍可在一些情况下从组合中去除，且所要求保护的组合可用于子组合或子组合的变型。

同样地，虽然操作在附图中是按特定的顺序进行描述的，但这不应被理解成要求按所示的特定顺序或按连续顺序进行这种操作，或要求进行所有所示的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实施方案中的各种系统组件的分离不应被理解为要求在所有的实施方案中进行这种分离，且应当理解的是，所描述的程序组件和系统一般可被集成在单个软件产品中或被打包至多个软件产品中。

其他特性也可使用如上面所讨论的特性而实现，但是其也可能不是最初提交的权利要求的一部分。例如，公开了一种计算机实现的医学可视化的方法，其包括：识别特定哺乳动物的解剖项的三维模型；识别被施加至解剖项的组织的力；使用对三维模型的有限元分析确定在解剖项的组织上的应力和应变；并显示解剖项和作为所识别的力的结果的被确定用于解剖项的组织的应变的视觉表示。解剖项可包括心脏的部分且被施加至解剖项的力是基于通过心脏的虚拟医疗器械的移动而进行识别的。虚拟医疗器械可包括被建模成在至少一个维度上具有柔性的三维模型。该方法还可以包括：随着虚拟医疗器械相对于心脏的三维模型的移动自动确定虚拟医疗器械是否与解剖项的三维模型中的组织相接触。该方法可以额外地或替代地包括对在心脏的三维模型的医疗器械周围流动的流体进行计算流体动力学分析。

在一些方面，解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。初始方法还可以包括显示解剖项的三维模型的动画，该动画由在不同的密切相关的时间对解剖项的实际版本进行成像而获取的帧所组成的，从而显示解剖项的移动。该方法还可以包括显示在通过有限元分析计算的帧中的特定帧之间的解剖项中的差异并替代地或额外地从用户接收识别解剖项的三维模型中位置的输入并向用户显示由所识别的位置所表示的在模型中的用户距离。显示作为所识别的力的结果的被确定用于解剖项的组织的应变的视觉表示可包括以每一个均表示特定应变水平的不同颜色显示解剖项。

在另外的实施方案中，一种计算机实现的医学可视化方法可被实现且包括：识别特定哺乳动物的解剖项的三维模型；显示三维模型的移动动画，移动动画是由在短时间段上源于所述解剖项成像的多个帧所创建的以捕获解剖项的移动；在显示移动动画的同时显示三维模型的一个或多个非移动的视图；以及响应于源于用户的输入，改变所显示的移动动画以及与其相协调配合的一个或多个非移动的视图。该方法还可包括通过在移动动画和一个或多个非移动的视图之间的协调配合，显示移动通过解剖项的器械。该器械可包括由三维模型所表示的医疗器械，其移动通过在解剖项中的开放通路且解剖项可包括心脏。该方法可额外地包括显示基于器械通过解剖项的移动而被施加在解剖项上的力。所显示的力是通过对用于解剖项的组织模型应用有限元分析而确定的。此外，初始过程可包括随着医疗器械相对于解剖项的三维模型移动而自动确定医疗器械是否与解剖项中的组织相接触。该方法可额外地包括为在解剖项的医疗器械周围流动的流体进行计算流体动力学分析并向用户显示表示计算流体动力学分析的结果的信息。

在某些方面，解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。此外，移动动画可由在不同的密切相关的时间对解剖项的实际版本进行成像而获取的帧所组成，从而显示解剖项的移动。此外，第一非移动的视图显示在第一成像会话期间的解剖项，且第二非移动的视图显示在第二成像会话期间的解剖项。而且，第一成像会话可以是术前成像会话，且第二成像会话可以是术后成像会话。

在另一个实施方案中，公开了一种计算机实现的医学可视化方法，其包括：识别特定哺乳动物的解剖项的第一三维模型和第二三维模型，其中第一模型是由在第一成像会话获取的成像数据形成的，且第二模型是由在分离的第二成像会话获取的成像数据形成的；在计算机生成的视觉显示上显示第一模型；并在显示第一模型的同时在计算机生成的视觉显示上显示第二模型。该方法还可包括接收用户输入以操控第一或第二模型或两者并响应于所接收的用户输入改变相协调配合的第一模型的视图和第二模型的视图。第一三维模型可表示术前解剖项，且第二三维模型可表示术后解剖项。解剖项可包括心脏或其他器官。

在一些方面，该方法还包括将第一和第二三维模型显示为示出解剖项的运动的动画，其中动画是按时间上彼此协调配合的方式显示出来的。动画可被显示为重复、循环的动画，且所显示的模型的视图响应于用户输入而发生变化。该方法还可包括显示基于虚拟器械通过解剖项的模型中的一个或多个的移动而被施加在解剖项上的力。在一些方面，解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。

在另一个实施方案中，公开了一种计算机实现的医学可视化方法，其包括：识别特定哺乳动物的解剖项的三维模型；在基于计算机的可视化系统上显示三维模型的视图；从用户接收识别在三维模型的所显示视图上的至少两个点的输入；并向用户提供指出基于所识别的至少两点的测量的数据，该测量表示在解剖项上的度量。该方法还可包括选择根据测量而调整大小的器械并在解剖项中显示该器械。在解剖项中显示该器械可包括沿在三维模型的开放通路中限定的路径移动该器械。此外，该器械可包括由三维模型所表示的医疗器械，其移动通过在解剖项中的开放通路且解剖项可包括心脏或其他动物(例如，人类)器官。该方法还可以包括显示基于器械通过解剖项的移动而被施加在解剖项上的力，且所显示的力可通过对用于解剖项的组织模型进行有限元分析而确定。此外，该方法可以包括显示三维模型的移动动画并向用户呈现作为动画动作的变化的测量。

在一些情况下，测量表示在解剖项中的开放空间的半径、直径、面积或体积。此外，解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。

在另一个实施方案中，公开了一种计算机实现的医学可视化方法，其包括：识别表示特定哺乳动物的解剖项的第一数据，该第一数据是通过第一类型的医学成像而获得的；识别表示解剖项的第二数据，该第二数据是通过不同于第一类型的医学成像的第二类型的医学成像而获得的；并使用第一数据和第二数据的结合建立解剖项的三维实体模型。第一数据可表示在多个不同高度的解剖项的切片且第二数据可表示在多个不同高度的解剖项的幻灯片。此外，第一数据和第二数据可表示被确定为基本上彼此平行的切片。第一类型的医学成像可包括磁共振成像且第二类型的医学成像可包括计算机断层成像。该方法还可包括协调地显示根据三维实体模型生成的解剖项的移动动画和根据三维实体模型生成的解剖项的非移动视图，并基于计算机可视化系统所接收的用户输入改变动画的视图以及非移动视图。解剖项可包括心脏或其他器官。该方法还可包括显示基于器械通过解剖项的移动而被施加在解剖项上的力。此外，所显示的力可通过对解剖项的组织模型应用有限元分析而确定。

在一些方面，解剖项的三维模型是由下列操作生成的，其包括：获得表示由第一和第二类型的医学成像捕获的解剖项的成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。该方法还可包括使用在第一类型的医学成像和第二类型的医学成像的分开的会话中所捕获的数据建立解剖项的第二三维模型，其中分开的会话不同于被用于生成用于初始三维模型的数据的会话。

在另一个实施方案中，公开了一种计算机实现的医学可视化的方法，其包括：识别特定哺乳动物的解剖项的三维模型；在基于计算机的可视化系统上显示三维模型；从用户接收输入以将项目按与三维模型成位置关系的方式进行添加；并存储限定与三维模型相关联的所添加项目的元数据，从而当在未来访问该三维模型时，可自动地将所添加的项目与三维模型一起显示出来。解剖项的三维模型是由下列操作生成的，其可包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。

在另一个实施方案中，计算机实现的医学可视化方法包括识别特定哺乳动物的解剖项的三维模型；在基于计算机的可视化系统上显示三维模型；从用户接收限定多个非平行切割平面的输入；并显示按多个非平行切割平面所限定的移除三维模型中的部分的三维模型。多个非平行切割平面可限定与三维模型的一部分相叠加的盒子的角落从而在视觉上将角落切成三维模型。解剖项可包括心脏，且解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。

在另一个实施方案中，公开了一种计算机实现的医学可视化的方法，其包括：识别特定哺乳动物的解剖项的三维模型；基于由不同的子部分所起的生理作用识别三维模型的不同子部分；在基于计算机的可视化系统上显示三维模型；并基于所识别的不同子部分呈现用于操控三维模型的用户可选的控制。将不同的子部分分配至可分别激活、用限定的颜色进行着色或两者兼而有之的三维模型的限定层。解剖项可包括心脏，且解剖项的三维模型是由下列操作生成的，其包括：获得表示由一个或多个医学成像系统所捕获的解剖项的所成像的二维切片的数据；根据在二维切片中识别的点生成三维网格；以及根据三维网格生成三维模型。

在另一个实施方案中，公开了一种计算机实现的医学可视化的方法，其包括：识别特定哺乳动物的解剖项的三维模型；在正查看实际解剖项的用户的基于计算机的可视化系统上显示三维模型；并响应于用户与实际解剖项的交互而自动地改变三维模型的显示。基于计算机的可视化系统可以包括由用户佩戴的电子眼镜，并且用户所进行的交互可包括将医疗器械插入特定的哺乳动物中，且改变显示包括示出在内部推进至解剖项的器械的有关进展的表示。解剖项可包括循环系统的一部分，且器械的进展可包括在循环系统中的一个位置上推进可植入心脏器械的进展。解剖项可包括心脏或其他器官，或脉管的一部分。

因此，已描述了主题的特定实施方案。其他实施方案则位于下列权利要求的范围中。在一些情况下，在权利要求中所描述的动作可按不同的顺序进行且仍可实现期望的结果。此外，在附图中描绘的过程不一定要求所示的特定顺序或连续顺序以实现期望的结果。在某些实施方案中，多任务和并行处理可能是有利的。

Claims (23)

1.一种计算机实现的医学可视化方法，其包括：

识别特定哺乳动物的解剖项的三维模型，其中所述解剖项的三维模型包括限定的机械特征；

用计算机实现的可视化系统并根据所述解剖项的识别边界自动识别通过所述解剖项的三维空间中的路径；

通过执行以下步骤识别与所述路径相对应的光滑曲线：

对于沿着通过所述解剖项的三维空间中的路径的多个点中的每个特定点，自动进行下列操作，包括：

生成围绕所述特定点的在共同平面中的多个射线；和

确定所述多个射线中的每一个从所述特定点至所述解剖项的边界的长度；

在显示器上显示所述解剖项的三维模型的至少一部分；

将物体的虚拟模型的视觉表示叠加到所显示的解剖项的三维模型上；以及

用三维可视化系统向用户显示沿所述光滑曲线移动的所述物体的虚拟模型。

2.根据权利要求1所述的方法，其还包括向用户显示沿所述路径与样条曲线相叠加的所述解剖项，所述样条曲线是以所述解剖项的对比色显示出来的。

3.根据权利要求1所述的方法，其中所述多个射线围绕所述特定点在一个平面中彼此成相等n角度地间隔开来。

4.根据权利要求1所述的方法，其还包括定位各点，该各点在集中于所述解剖项的内部空间中的所述多个射线指示的位置上限定所述光滑曲线。

5.根据权利要求1所述的方法，其中：

所述解剖项包括心脏的部分，

所述物体的虚拟模型包括三维医疗器械，且

所述光滑曲线表示用于将所述医疗器械导入该心脏的路径。

6.根据权利要求1所述的方法，其中所述物体的虚拟模型是在计算机系统中具有限定机械特征的限定三维物体，且其中所述限定机械特征被用于计算在沿所述光滑曲线移动期间与所述物体的虚拟模型相关联的值。

7.根据权利要求6所述的方法，其还包括自动确定所述物体的虚拟模型是否与在所述解剖项的所述三维模型中的组织形成接触。

8.根据权利要求7所述的方法，其中在确定所述物体的虚拟模型与在所述解剖项的所述三维模型中的组织相接触后，基于通过具有限定形状的所述物体的虚拟模型赋予在所述解剖项上的力进行有限元分析并表示在所述组织中的变化。

9.根据权利要求1所述的方法，其中所述物体的虚拟模型是具有沿所述光滑曲线的长度的项目三维模型。

10.根据权利要求1所述的方法，其中所述解剖项的所述三维模型是由下列操作生成的，其包括：

获得表示由一个或多个医学成像系统所捕获的所述解剖项的所成像的二维切片的数据；

根据在所述二维切片中识别的点生成中间的三维表示；以及

根据所述中间的三维表示生成所述三维模型。

11.根据权利要求1所述的方法，其还包括显示所述解剖项的所述三维模型的动画，所述动画由在不同的密切相关的时间对所述解剖项的实际版本进行成像而获取的帧所组成的，从而显示所述解剖项的移动。

12.根据权利要求11所述的方法，其中所述动画包括即使当所述虚拟模型未沿所述光滑曲线移动时与所述解剖项的移动协调配合的所述物体的虚拟模型的显示的运动。

13.根据权利要求1所述的方法，其还包括从所述用户接收识别所述解剖项的所述三维模型的位置的输入，并呈现给所述用户通过所识别的位置表示的在所述模型中的距离。

14.一种计算机实现的医学可视化系统，其包括：

一个或多个计算机处理器；以及

与所述一个或多个计算机处理器进行通信并存储指令的存储器，当所述指令通过所述一个或多个计算机处理器执行时，所述指令会导致下列操作执行，其包括：

识别特定哺乳动物的解剖项的三维模型，其中所述解剖项的三维模型包括限定的机械特征；

用计算机实现的可视化系统并根据所述解剖项的识别边界自动识别通过所述解剖项的三维空间中的路径；

通过执行以下步骤识别与所述路径相对应的光滑曲线：

对于沿着通过所述解剖项的三维空间中的路径的多个点中的每个特定点，自动进行下列操作，包括：

生成围绕所述特定点的在共同平面中的多个射线；和

确定所述多个射线中的每一个从所述特定点至所述解剖项的边界的长度；

在显示器上显示所述解剖项的三维模型的至少一部分；

将物体的虚拟模型的视觉表示叠加到所显示的解剖项的三维模型上；以及

用三维可视化系统向用户显示沿所述光滑曲线移动的所述物体的虚拟模型。

15.根据权利要求14所述的系统，其中所述操作还包括向用户显示沿所述路径与样条曲线相叠加的所述解剖项，所述样条曲线是以所述解剖项的对比色显示出来的。

16.根据权利要求14所述的系统，其中：

所述解剖项包括心脏的部分，

所述物体的虚拟模型包括三维医疗器械，且

所述光滑曲线表示用于将所述医疗器械导入该心脏的路径。

17.根据权利要求15所述的系统，其中所述物体的虚拟模型是在计算机系统中具有限定机械特征的限定三维物体，且其中所述限定机械特征可被用于计算在沿所述光滑曲线移动期间与所述物体的虚拟模型相关联的值。

18.根据权利要求17所述的系统，其中所述操作还包括自动确定所述物体的虚拟模型是否与在所述解剖项的所述三维模型中的组织相接触。

19.根据权利要求18所述的系统，其中在确定所述物体的虚拟模型与在所述解剖项的所述三维模型中的组织相接触时，基于通过具有限定形状的所述物体的虚拟模型所赋予在所述解剖项上的力进行有限元分析并表示在所述组织中的变化。

20.根据权利要求15所述的系统，其中所述物体的虚拟模型是具有沿所述光滑曲线的长度的三维模型。

21.根据权利要求15所述的系统，其中所述解剖项的所述三维模型是由下列操作生成的，其包括：

获得表示由一个或多个医学成像系统所捕获的所述解剖项的所成像的二维切片的数据；

根据在所述二维切片中识别的点生成中间的三维表示；以及

根据所述中间的三维表示生成所述三维模型。

22.根据权利要求15所述的系统，其中所述操作还包括显示所述解剖项的所述三维模型的动画，所述动画由在不同的密切相关的时间对所述解剖项的实际版本进行成像而获取的帧所组成，从而在视觉上显示所述解剖项的移动。

23.根据权利要求15所述的系统，其中所述操作还包括从用户接收识别所述解剖项的所述三维模型中位置的输入，并将通过所识别的位置表示的在所述模型中的距离呈现给用户。