CN105796052B - 3d重构相片和内部医学扫描的联合可视化 - Google Patents

Abstract

3D重构相片和内部医学扫描的联合可视化。在医学成像中将内部扫描和外部照片联合可视化。一个或多个照相机被安装到内部医学扫描仪，从而允许在患者的内部区域被扫描的时候或者时间上接近患者的内部区域被扫描时拍摄相片。呈现将外部相片与患者的内部区域相关联的图像以辅助诊断。归因于空间和时间接近性，图像可以是通过将相片和内部扫描数据进行组合而形成的可视化。

Description

3D重构相片和内部医学扫描的联合可视化

背景技术

本实施例涉及医学成像。在医学成像中，患者的内部被扫描。用于扫描的各种方法都是可能的，诸如磁共振（MR）、计算机断层摄影术（CT）、x-射线、荧光透视法、超声、正电子发射断层摄影术（PET），或者单光子发射计算机断层摄影术（SPECT）。从扫描所得到的数据被用来生成患者内部的图像。三维（3D）可视化是评估和记录患者的内部状况的常规做法。这样的内部图像可能缺少关于患者的表面状况的信息。表面状况在患者评估中可能是有帮助的。

患者表面的局部表示通常不被记录。观察可以由主治医生来执行并被记录为口头或书面描述。在稀少情况下，可以在一般检查期间利用手持照相机来拍摄患者的照片。

发明内容

作为介绍，下面描述的优选实施例包括用于医学成像中的联合可视化的方法、系统、指令和计算机可读介质。一个或多个照相机被安装到内部医学扫描仪，从而允许在患者的内部区域被扫描的时候或时间上接近患者的内部区域被扫描时拍摄相片。将外部相片与患者的内部区域相关联的一个或多个图像被呈现以帮助诊断。归因于空间和时间的接近，图像可以是通过将相片和内部扫描数据结合而形成的可视化。

在第一方面中，提供一种用于医学成像中的联合可视化的系统。一种医学成像系统被配置成扫描患者的内部区域。该医学成像系统具有在扫描期间使患者位于其中的患者区域。一个或多个照相机被连接到该医学成像系统以使得照相机被定向成将患者区域中的患者捕获在一个或多个相片中。处理器被配置成根据该相片和来自扫描的扫描数据来生成图像。显示器被配置成显示该图像。

在第二方面中，提供一种用于医学成像中的联合可视化的方法。医学成像扫描仪扫描患者。一个或多个照相机获取患者在医学成像扫描仪中的一个或多个摄影影像。处理器从扫描重构患者的内部区域的第一三维表示并且从一个或多个摄影影像重构患者的第二三维表示。处理器登记（register）该第一和第二三维表示并且根据如所登记的该第一和第二三维表示来再现联合可视化的图像。该联合可视化的图像被显示。

在第三方面中，一种具有在其中存储的数据的计算机可读存储介质，所述数据表示由用于医学成像中的联合可视化的编程处理器可执行的指令。该存储介质包括用于下面的指令：从由安装到医学成像扫描仪的（多个）照相机拍摄的相片来形成具有纹理（texture）的3D多边形表面，该相片是患者的；利用来自医学成像扫描仪的扫描数据来重构体积，该体积包括患者的内部部分；根据3D多边形表面、纹理和体积来再现图像；以及显示该图像。

本发明由下面的权利要求限定，并且此章节中的任何事物都不应该被看作是对那些权利要求的限制。下面结合优选实施例来讨论本发明的更多方面和优点并且后面可以独立地或者相结合地被要求保护。

附图说明

部件和图不一定按照比例，而是将重点放在说明本发明的原理上。此外，在图中，相似的参考数字指代遍及不同视图的对应部分。

图1是用于在医学成像中进行联合可视化的系统的一个实施例的框图；

图2图示出被扫描的患者的示例实施例；以及

图3是用于在医学成像中进行联合可视化的方法的一个实施例的流程图图表。

具体实施方式

提供3D重构患者照片和医学图像扫描的逼真联合可视化。一个或多个照相机与医学扫描仪相连接。该（多个）照相机在患者被定位以用于医学图像扫描的时候从多个视点捕获患者的多个照片。该照片和医学图像扫描被用于生成具有以逼真方式表示患者表面的至少一些位置的图像。具有患者的表面视图可以提供患者的更全面图像检查并且可以改进图像数据的真实性。

图1示出用于医学成像中的联合可视化的系统10。外部与患者的内部被逼真地联合可视化。

系统10包括医学成像系统14、照相机16、处理器26、存储器27和显示器28。另外，可以提供不同或较少的部件。例如，提供网络或网络连接，诸如用于与医学成像网络或数据档案系统联网。作为另一示例，提供不同类型的照相机或附加照相机。在另一示例中，提供用户接口和对应的输入设备。在又一示例中，一个或多个光或闪光源连接到医学成像系统14的构台（gantry）或者被连接的别处但指向患者区域。光源允许捕获处于期望照明的照片和/或模拟用于光阶方法（lightstage approach）的不同照明条件。

处理器26、存储器27和显示器28是医学成像系统14的一部分。替代地，处理器26、存储器27和显示器28是档案和/或图像处理系统的一部分，诸如与医学记录数据库工作站或服务器相关联。在其它实施例中，处理器26、存储器27和显示器28是个人计算机，诸如桌上型计算机或膝上型计算机、工作站、服务器、网络或其组合。处理器26、存储器27和显示器28可以是不同系统的部分，诸如存储器27处于照片档案和通信系统（PACS）中，处理器26是工作站的一部分，和/或显示器28是成像系统14或放射学显示器。

医学成像系统14被配置成扫描患者的内部区域。患者的表面或皮肤也可能被扫描或者可能不被扫描。患者的任何部分或范围可以被扫描，诸如器官、躯干、四肢或整个身体的扫描。扫描获取表示患者的内部的数据。被表示的部分包括体积或来自患者的响应的三维分布。

可以使用任何医学成像系统14。例如，该医学成像系统14是CT、MR、超声、x射线、荧光透视法或发射断层摄影术（即功能成像，诸如PET或SPECT）系统。医学成像系统14是任何现在已知或稍后开发的用于扫描患者内部的医学成像系统。

图2示出示例，其中医学成像系统14包括围绕患者22定位的构台或检测器18。患者22在被医学成像系统14扫描期间被定位于床20上。床20是固定的。替代地，床20在扫描期间移动。在患者22处于患者区域24中以进行扫描的情况下执行扫描。患者22靠在处于构台或检测器18之内、之上或与其邻近的患者扫描区域24中的床20上。例如，在CT中，构台18支撑x射线源和用于至少部分围绕患者22旋转的相对检测器。例如，在MR中，作为检测器18的体线圈围绕患者定位，但是替代地可以使用局部线圈或者也可以使用局部线圈。在又一示例中，检测器18的环围绕患者来定位以用于PET。对于SPECT示例，平面伽玛照相机与构台18相连接以用于在位于相对于患者22的不同角度处的时候接收发射。在其它实施例中可以使用开放或非圆柱结构。

医学成像系统14从患者22的内部区域获取信号。扫描获取表示内部区域的数据。例如，CT或MR数据被获取。该数据表示组织。

在图1中，示出单个照相机16。在图2中，示出三个照相机16。可以使用任何数目的照相机16。照相机16中的每个是相同或不同类型的。

可以使用多种照相机类型选择。例如，提供多个标准数字静止照相机16。可以使用电荷耦合设备（CCD）、互补金属氧化物半导体（CMOS）或者其它具有或不具有透镜的数字照相机。替代地或另外地，使用飞行时间照相机16。激光或超声被用来用照相机16捕获对象（例如患者22）的深度信息。到照相机16的视场中的不同位置的距离被确定。因此，在三维中的患者22的表面被确定。

参考图2，一个或多个照相机16被连接到医学成像系统14。例如，照相机16被连接到构台或检测器18。在其它示例中，照相机16利用一个或多个臂或其它结构连接到医学成像系统14的基座或其它结构。

可以使用任何连接，诸如栓紧的、夹紧的或锁住的。连接是固定的、永久的、可释放的或可移动的。在一个实施例中，照相机16被集成在构台或检测器18上的外壳之内。在该外壳中提供窗户或开口以用于捕获照片。在另一实施例中，照相机16连接在接头或其它固定装置上，从而允许照相机16相对于医学成像系统14自动或手动旋转和/或平移。

将照相机16连接成使得该照相机16被定向成将患者区域24中的患者22捕获在相片中。照相机16的视场被设置或选择成在医学成像系统14的扫描范围内或比其更大的范围内捕获患者22的外部。替代地，照相机16具有比医学成像扫描仪更小的视场。医学成像系统14获取表示照相机16不能进行的患者的部位（例如靠着床20的内部和/或侧面）的数据。视场的范围轴向地和/或侧对侧地（side-to-side）沿着患者的表面。对于一个或多个照相机16一起和医学成像系统14来说，视场大致相同（例如在20%之内），但是可以是不同的。

在为了扫描而躺在床20上的时候照相机16捕获患者22。床20妨碍靠着床20的患者22的照片的基于照相机的捕获。替代地，床20是透明的，从而允许一个或多个照相机16捕获靠着床20的患者22。

在使用多个照相机16的情况下，不同的照相机16可以捕获照相机16的整个视场的不同部分或视图。基于照相机16的位置，照相机16可以被不同地定向成捕获总体表示摄影视场的不同但重叠的视场。照相机16处于相对于患者22的不同角度以从不同方向为患者22摄影（参见图2）。围绕患者22获取一系列数字照片以从多个周围的角度收集患者22的表面视图。替代地，照相机16被定向成具有重叠的相似视场，每个捕获同一视场的大部分（例如80%）。

在数字静止照相机16的情况下，仅获取面的彩色或者黑色和白色表示。由照相机16来获取相片。术语照片或相片包括来自作为视频的一系列相片或扩展相片的变体（诸如具有深度信息的相片）的一个或多个帧。对于飞行时间照相机16来说，到照相机16的表面（包括患者表面）之间的深度也被获取以作为附加的深度图。每个照片或图都是信息的二维阵列。该深度图表示在二维视场上分布的不同深度。

照相机16中的一个、多个或没有一个可以测量光。例如，光阵列或其它照明被用来照亮患者。不同位置处（诸如患者的表面上）的光级被捕获。光位置和/或强度可以被测量。照相机16除了捕获照片之外还可以测量光级。替代地，捕获的照片可以被处理以确定不同光源的强度和位置或光级。替代地，不同光源的强度和位置是已知的，因为灯与医学成像系统14集成。在又一些实施例中，与照相机16分开的传感器被用来测量光级、光源位置和/或光强度。在又一些实施例中，实际照明状况未被测量。

参照图1，处理器26是通用处理器，中央处理单元、控制处理器、图形处理器、数字信号处理器、三维再现处理器，图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或其它现在已知或稍后开发的用于从数据再现图像的设备。处理器26是串行、并行或分开进行操作的单个设备或多个设备。处理器26可以是计算机（诸如膝上型或桌上型计算机）的主处理器，或者可以是用于在较大系统中（诸如在成像系统中）处理一些任务的处理器。处理器26由硬件、固件和/或软件来配置。

处理器26被配置成由照相机16来触发获取。控制线或无线通信路径从处理器26延伸到照相机16。由处理器26与扫描同步地触发相片获取。例如，相片被触发成在由医学成像系统14进行扫描期间出现。替代地或附加地，相片被触发成仅在由医学成像系统14进行扫描之前、之后或者其中断中出现。例如，在扫描开始或停止的1秒之内获取相片。通过在时间上与扫描靠近地获取相片，患者移动是有限的或被避开。在替代实施例中，使用其它触发器（例如床上的重量传感器）和/或在扫描之前或之后的更大时间获取相片。

处理器26还触发医学成像系统14以扫描或接收指示该医学成像系统14将要进行扫描、已经开始扫描或已经结束扫描的定时脉冲。替代地，提供单独的触发设备。该单独的触发设备触发照相机16和/或医学成像系统14以同步地进行操作。

在数据获取之后，提供表示患者的外部的一个或多个相片以及表示患者的至少内部部分的一个或多个体积（例如表示在三维中分布的位置的数据集）。数据被储存在存储器27中，但是可以使用单独的储存器。

处理器26从扫描以及一个或多个相片独立地重构患者的三维表示。患者是三维的。扫描数据和相片表示三维患者。

为了从相片进行重构，处理器26实施任何现在已知或稍后开发的重构过程来重构三维患者表面。3D模型重构算法从一个或多个相片来创建3D多边形表面和纹理。使用照明变化、梯度或来自不同角度处的相片的比较，处理器26确定三维中的患者的表面。到患者22上的投射网格的相片可以被用来确定三维中的表面。替代地或附加地，使用来自飞行时间或其它深度图的深度信息。

可以使用任何网格。例如，多边形表面是三角形的网格。可以使用任何纹理。例如，相片像素值被用作用于多边形表面的多边形的纹理。所得到的三维中的多边形表面和纹理是患者的表面在3D中的重构。在替代实施例中，可以使用其它重构表示，诸如其它表面或体积表示（例如，适合三维模型或形状）。

相片可以包括床的表示、医学成像系统14的其它部件和/或其它背景。为了避免或限制对重构患者的3D表面的背景贡献，背景被移除或减少。例如，在患者不在的情况下拍摄患者区域24的一个或多个相片。此一个或多个相片表示背景。通过从患者22的一个或多个相片减去这个或这些相片，背景被移除或限制。因为照相机捕获患者床视场，所以在没有任何患者的情况下的一组背景图像可以被用作参考图像模型以自动地减掉背景。背景减去的结果被用于重构患者的3D表面以及生成患者的所得到的图像。

在替代实施例中，成像处理被用来移除背景。因为照相机16被安装在大概已知位置处的扫描仪上或其周围，所以照相机16的视场是已知的。使用此空间信息，背景可以被掩盖（mask out）。成像处理可以被用来找到患者的颜色或其它指示符以使得背景被移除。对于飞行时间照相机16，深度图简档可以被用来帮助更准确地检测背景。可选地，可以执行图像的手动处理以使不准确的背景检测最小化或者找到背景位置。

扫描数据可以被输出为表示体积的数据或3D重构。替代地，所获取的扫描数据被重构以便表示该体积。例如，将傅立叶处理应用于MR中的k空间数据以重构该体积。作为另一示例，计算机断层摄影术被用来重构该体积（例如，SPECT或CT）。在又一示例中，处于扫描格式中的表示三维的数据被内插到常规或其它网格，诸如笛卡尔坐标网格。每个数据被与患者体积中的不同体积位置（体素）相关联并且被指定标量强度。在数据集内每个体积位置是相同的大小和形状。沿着维度具有不同大小、形状或数目的体积位置可以被包括在相同的数据集中。

独立于来自相片的表面来重构如由医学成像系统14所获取的医学信号。在扫描数据的重构中不使用相片数据，并且反之亦然。在替代实施例中，相片数据被用于从扫描数据进行重构（例如在计算机断层摄影术中先前使用的表面），或者反之亦然（例如来自扫描数据的表面，其被用来识别其中纹理来自于相片的表面）。

处理器26用来自扫描数据的体积在空间上登记来自相片的表面。所重构的三维表示以空间方式被登记。确定用以将一个重构变换成其它的的平移、旋转和/或缩放。

在一个实施例中，照相机16的位置和相片相对于医学成像系统14的放大被用于登记。照相机16的视场被校准以使得空间对准是已知的。

在其它实施例中，将数据比较以进行登记，因为患者可能移动（例如主动的、心脏或呼吸）。用来自扫描数据的体积重构来登记来自相片的重构的3D表面。最佳拟合方法可以被用来将表面登记在体积中。用3D医学图像体积内隐式表示的对应患者表面来登记所重构的3D表面。替代地，扫描数据体积内表示的患者的表面被专门定位并且被用来自相片的3D表面登记。在大多数医学图像形态中，空气的强度与患者和其它材料的不同。应用强度或基于梯度的阈值来在扫描数据中识别患者表面以用于然后登记。

可以使用用于一起登记表面或在体积中拟合表面的任何配准技术（registrationtechnique）。示例技术包括表面匹配技术（例如将两个表面之间的差异最小化）、互信息技术、基于点的技术（例如使网格的点之间的差异最小化）、基于特征的技术（例如识别两个表面上的相同特征并且登记该特征）或统计技术。在一个实施例中，计算与不同相对位置处的表面的相似性或相关性（例如绝对差异的和）。与最大相似性（例如最小和或最大相关性）的对准指示配准。

由处理器26来确定使表面最佳对准的平移、旋转和/或缩放。配准的结果是表示为矩阵的网格变换。不同3D表示的坐标可以被对准或变换以使得表示相同组织的每个集合中的空间位置具有相同或可确定的位置。

对于需要较长时间的某些医学扫描，患者可能移动。为了处理患者移动，可以确定非网格变换。可变形配准识别体积到表面、表面到表面、或表面到体积的变形。

处理器26被配置成根据相片和扫描数据生成图像。该图像是使用两种类型的数据（例如被再现为一个数据集或被单独再现和叠加）的患者的单一表示。替代地，该图像包括两个单独表示，一个来自扫描数据并且另一个来自并排地或同时地显示的相片）。在其它实施例中，患者的多于一个的表示或多于两个的表示可以被包括在图像中，诸如使用摄像和扫描数据两者以及来自扫描数据的多平面重构图像进行再现。

处理器26被配置成由再现或其它图像生成来生成图像。例如，从相片和扫描数据的组合来再现图像。基于配准或所得到的变换来组合三维重构。对于由相片纹理表示的体素（voxel），使用相片纹理。对于其它体素，使用扫描数据。替代地，求和、求平均、阿尔法（alpha）混合、最大值选择、最小值选择或其它处理被用来组合或选择每个体素。经过组合的数据集被再现为三维表示。处理器26从经过组合的数据集来再现图像。可以使用任何体积再现。

在其它实施例中，处理器26从相片数据和扫描数据分开再现并且组合该再现（例如并排地或重叠）。使用任何基于纹理的再现或表面再现来再现来自相片的表面。使用体积再现（例如阿尔法混合）来再现来自扫描数据的体积，但是可以使用表面再现。在一个方法中，可以使用表面体积混合再现来同时地再现来自相片的3D表面和来自扫描数据的体积，其中该表面被再现并被用照相机照片纹理映射，并且同时地使用体积再现技术来再现医学扫描。

为了避免在医学扫描中沿着3D表面模型和隐性患者表面之间的患者表面的装饰性的人工制品免受医学扫描内的噪声、配准误差和局部体积效应，基于来自相片的3D表面模型沿着查看射线的再现可能终止射线。空间配准使3D表面相对于扫描数据的体积而定位。对于来自扫描数据的再现，仅在已经被再现的表面的第一采样之后的体素被使用。可以通过比较深度缓冲来执行射线终止。

在替代方法中，对于在由相片表面使用空间跳跃壳体（space skipping hull）限定的体素处的扫描数据，利用射线线终止来再现图像。3D表面被用作用于射线追踪或路径追踪的空的空间跳跃壳体。射线在射线与表面的第一交叉处开始或被初始化并且以射线与表面的最后交叉结束。

处理器26生成具有或不具有添加遮蔽（shade）的图像。相同的遮蔽被应用到图像的所有部分或图像中患者的至少所有表示。替代地，不同遮蔽被应用到不同部分，诸如一个类型的遮蔽用于内部区域的体素位置或图像（即来自扫描数据）并且另一类型的遮蔽用于来自皮肤表面的体素位置或图像（即来自相片数据）。例如在逼真再现中，可以应用路径追踪方法。双向反射分布函数（BRDF）表面遮蔽被应用到对表示患者外部或表面的图像的贡献，并且双向散射分布函数（BTDF）遮蔽被应用到对表示患者的内部区域的图像的贡献。在光被测量的情况下，可以如在光级方法中那样使用所测量的光信息对BRDF进行建模。所测量的照明被用于再现中的遮蔽。表面下散射也可以被应用来提供患者皮肤的更实际照明。表面下散射可以使用由医学成像扫描仪14获取的软组织信息来被计算和/或可以使用皮肤表面下散射估计来被近似。用于体积数据的BTDF信息可以使用针对不同类型的组织提供不同光交互的人体的模型。

处理器26使用相片和扫描数据生成图像。该图像通过传输或加载到显示缓冲中而被输出。

显示器28被配置成显示图像。显示器28是监视器、LCD、投影仪、等离子体显示器、CRT、打印机或其它现在已知或稍后开发的用于输出视觉信息的设计。通过从处理器26、存储器27、医学成像系统14、或照相机16接收图像、图形或其它信息来配置显示器28。

显示器28接收从两个不同重构再现的图像。该图像被输出给用户。该图像包括来自患者内部的信息以及用于患者表面的信息两者。来自患者表面的信息是至少部分地基于照片的，所以在所再现的图像中提供真实感。在与用于患者内部的扫描信息的时间和/或空间对准中可获得摄影信息，从而为诊断提供更多信息。

在一个实施例中，图像随着时间而改变，诸如归因于用户交互。例如，最初示出患者表面的再现。此再现仅来自于相片数据，但是可以包括或示出来自扫描数据的患者的内部区域的部分。因为用户位于一个或多个剪切平面，所以患者体积的不同部分被遮蔽。患者的更靠近观察者的外表面可以被移除。因此，再现示出来自扫描数据的内部区域以及来自没有被剪切或与剪切平面相交的相片的任何外部区域。用内部区域的表示示出在修剪之后仍表示的任何皮肤表面。效果就像是呈现患者的3D逼真视图，但是当应用任何剪切时，利用如由医学扫描仪获取的示出患者的内部结构的医学扫描来揭示患者的内部部分。

在另一实施例中，半透明地示出皮肤表面。来自相片的数据仅部分地遮掩扫描数据。观察者看到皮肤表面表示，但是可以通过皮肤表面进行观察以看到患者的内部区域的表示。可以提供其它再现以及从两个类型数据所得到的图像。

图像可以由应用任何传递函数和/或分段的处理器26产生。传递函数被应用到体积数据和/或皮肤表面数据以使患者的内部和外部的不同解剖特征可视化。分段可以被用来着色、隐藏、显示、突出显示（highlight）或改变解剖特征和/或针对不同组织应用不同BTDF。可以以不同方式将表面数据与体积再现合成，诸如将皮肤再现为玻璃状的表面，其中内部解剖（例如骨头或器官）可看见。

存储器27是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、缓存存储器、硬盘驱动器、光学介质、磁介质、闪盘驱动器、缓冲器、数据库、其组合或其它现在已知或稍后开发的用于存储相片、扫描数据或视频信息的存储器设备。存储器27是医学成像系统14的一部分、与处理器26相关联的计算机的一部分、数据库的一部分、另一系统的一部分或者独立设备。

存储器27存储不同三维表示（例如患者体积和表面）的数据集。相片、医学扫描数据、经组合的数据集、重建、再现和/或图像被存储。用于成像的任何数据（诸如光测量结果）或者在处理的开始、中间或最后阶段中的数据被存储以用于由处理器26访问。

存储器27或其它存储器是存储表示由用于在医学成像中进行联合可视化的编程处理器26可执行的指令的数据的计算机可读存储介质。用于实施这里讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器上，诸如缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其它计算机可读存储介质。计算机可读存储介质包括各种类型的易失和非易失存储介质。响应于存储在计算机可读存储介质中的或其上的一个或多个指令集合来执行在图中图示的或这里描述的功能、动作或任务。该功能、动作或任务独立于特定类型的指令集合、存储介质、处理器或处理策略并且可以由单独或组合地操作的软件、硬件、集成电路、固件、微代码等等来执行。类似地，处理策略可以包括多处理、多任务、并行处理等等。

在一个实施例中，指令被存储在可移动介质设备上以用于由本地或远程系统进行读取。在其它实施例中，指令被存储在远程位置中以用于通过计算机网络或通过电话线传输。在又一些实施例中，指令被存储在给定计算机、CPU、GPU或系统之内。

图3示出用于医学成像中患者的外部和内部的联合可视化的方法。该方法由图1的系统10或另一系统来实施。例如，由医学扫描仪来执行动作30，利用照相机和/或传感器来执行动作32和46，由处理器、计算机和/或医学扫描仪来执行动作34-44，并且由显示器来执行动作48。动作中的任何一个或多个可以由不同的设备来执行。

按照所示出的顺序或其它顺序来执行动作。例如，按照任一顺序或同时地执行动作30和32。按照任一顺序或同时地执行动作38和40。可以在动作32之前或之后执行动作46。

可以提供附加的、不同的或更少的动作。例如，不提供显示动作48，但是替代地，图像被保存或传输。作为另一示例，用户输入被提供以用于选择显示、控制再现、控制配准或其它目的。

在动作30中，利用医学成像扫描仪扫描患者。患者的内部被扫描，诸如利用MR、x射线（例如CT）或发射断层摄影术（例如PET或SPECT）。以任何格式来执行扫描，诸如沿着响应的线来检测发射、获取在磁梯度限定的位置处的k空间数据、或者利用来自不同方向的x射线获取通过患者的投射。由于扫描，获取表示患者的内部的数据。

在动作32中，利用照相机来获取患者的一个或多个摄影影像。在患者正在被医学成像扫描仪扫描、已经被医学成像扫描仪扫描或将要被医学成像扫描仪扫描时和/或情况下该照相机指向患者。照相机可以与医学成像扫描仪连接或者可以是分开的（不被连接）。

患者是脱去衣服的以便摄影影像是患者的皮肤的。替代地，利用毫米波来操作照相机，或者照相机是热照相机（thermal camera）以通过衣服对患者的皮肤进行成像。

可以获取来自相对于患者的不同方向的相片。照相机移动以从不同角度获取和/或使用多个照相机。用于不同图像的视场叠加或不叠加。

动作30和32的获取是同步的以在同一时间或在彼此一秒之内发生。医学扫描可以花费数秒或数分钟。在医学扫描期间、仅之前和/或仅之后，照相机捕获图像。可以使用任何同步，诸如使用通用或校准时钟的获取调度或触发脉冲。

在动作34中，从摄影影像中移除背景。可以使用任何移除。图像处理检测患者的边界，并且移除该边界之外的数据。可以从患者的图像减去没有患者的空间的摄影影像以移除背景。可以使用人工、自动或半自动裁剪。深度信息可以被用来识别背景以用于移除。

在背景移除之后所得到的摄影影像仅表示患者。此所得到的图像被用来重构患者的皮肤或外表面的三维表示。

在动作36中，由处理器（诸如图形处理单元）来重构患者的表示。摄影影像和来自扫描仪的扫描数据可用于重构。对应的（例如两个）重构被执行以三维地表示患者。执行动作38和40以创建对应的重构。使用相同或不同数据的其它重构可以被使用。

在动作38中，处理器重构至少部分地表示患者的内部部分的体积。可以使用来自扫描数据的任何重构。重构确定用于以三维分布的多个体素中的每个的标量值。替代地，使用表面重构，诸如识别和重构用于不同器官的三维表面。

在动作40中，由相同或不同的处理器来重构患者的外部表面。任何表面表示可以被重构，诸如多边形表面或其它网格。利用来自摄影影像的纹理和/或标量值来填充网格。

外部表面的表示是3D的。使用深度映射、来自在相对于患者的不同角度处拍摄的相片的图像处理、投影网格中的变形或其它过程，患者的3D外部表面被重构。形成具有来自由安装到医学成像扫描仪的照相机拍摄的相片的纹理的3D多边形表面。

在动作42中，重构的表面和体积被登记。确定最佳空间拟合体积中的表面或体积到表面的平移、旋转和/或缩放。处理器登记两个三维表示。在一个实施例中，在来自扫描数据的重构的体积中表示的患者的外部表面被识别。阈值或其它图像处理被应用以定位外部表面或由扫描数据表示的外部表面的一部分。然后登记两个表面。使用相似性度量、互信息、成本函数最小化或其它过程，找到空间上将两个表示彼此相关的变换。

配准是刚性的（rigid）或仿射的（affine）。替代地，可以使用非网格或可变形配准。表示内的体素的空间关系可以被改变。

在动作44中，由三维表示来再现图像。处理器或另一处理器使用扫描和摄影数据两者来再现图像。根据3D多边形表面、来自相片的纹理和扫描体积来再现图像。

可以使用任何再现，诸如体积和/或表面再现。组合的表面和体积可以是使用投射再现的体积。替代地，体积中的表面可以被识别，并且摄影表面和体积表面的表面再现被执行。在其它实施例中，表面再现被用于摄影表面，并且体积再现被用于扫描体积。

如所登记的三维表示被组合以用于再现。替代地，执行分开的再现，并且基于配准将所得到的表示对准以用于叠加或并排显示。

在一个实施例中，重构被组合。从所组合的数据再现患者的单个表示。一些像素可以仅对来自相片的重构的表面进行响应，并且其它像素可以仅对来自扫描数据的重构的体积进行响应。在相片数据和/或扫描数据是半透明的情况下，一些像素可以对两个类型的数据进行响应。

再现可以使用遮蔽。相同或不同遮蔽被应用到不同像素。在像素更响应于扫描数据（更大权重）的情况下，使用一种类型的遮蔽。在像素更响应于摄影数据的情况下，使用不同类型的遮蔽。替代地，作为再现的一部分，将遮蔽应用到体素数据，因此以一种方式对摄影数据的体素进行遮蔽并且在组合或再现之前以另一方式对扫描数据的体素进行遮蔽。

在一个实施例中，房间中的实际照明被用于遮蔽。在动作46中，照相机或其它传感器测量患者所经受的光。使用照相机或其它传感器，遮蔽可能适合于患者所在的、已经被扫描或者将被扫描的房间的照明。替代地，从存储器获取局部光信息。处理器以对实际照明进行建模的方式（诸如设置光入射在患者上的一个或多个方向、设置光的强度、或者基于测量设置环境光的量）来执行遮蔽。

在动作48中，由处理器在显示器上显示所再现的图像。图像使用摄影和扫描信息两者来表示患者。结合患者的内部的至少一部分的医学扫描表示来提供患者的外部的逼真表示。归因于剪切平面设置或其它再现设置，可以在其它时间表示患者的仅内部或仅外部。

虽然上文已经参考各种实施例描述了本发明，但是应该理解在不偏离本发明范围的情况下可以进行许多改变和修改。因此，本文意图将前面的详细描述视为说明性的而不是限制，并且应理解意图限定本发明的精神和范围的是下面的权利要求（包括所有等同物）。

Claims (19)

1.一种用于医学成像中的联合可视化的系统，该系统包括：

医学成像系统，其被配置成扫描患者的内部区域，该医学成像系统具有患者在扫描期间位于其中的患者区域；

照相机，其被连接到所述医学成像系统，该照相机被连接成使得该照相机被定向成将所述患者区域中的患者捕获在相片中；

处理器，其被配置成根据所述相片和来自所述扫描的扫描数据来生成图像，其中所述处理器被配置成独立地从所述扫描重构所述患者的第一三维表示以及从所述相片重构所述患者的第二三维表示，并且空间地将第一三维表示的第一表面与第二三维表示的第二表面配准；以及

显示器，其被配置成显示所述图像。

2.根据权利要求1所述的系统，其中所述医学成像系统包括磁共振系统、计算机断层摄影术系统或发射断层摄影术系统。

3.根据权利要求1所述的系统，其中所述照相机包括数字静止照相机。

4.根据权利要求1所述的系统，还包括连接到所述医学成像系统的至少一个不同的照相机，其被定向成相比于所述相片从相对于所述患者的不同角度将所述患者区域中的所述患者捕获在另一相片中；

其中所述处理器被配置成从所述相片和其它相片重构三维患者表面。

5.根据权利要求1所述的系统，其中所述照相机包括飞行时间照相机，其被配置成确定从所述患者的患者表面上的不同位置到所述飞行时间照相机的深度。

6.根据权利要求1所述的系统，其中所述处理器被配置成与所述扫描同步地触发所述相片的获取，其中获取所述相片和所述扫描的时间的分离小于一秒。

7.根据权利要求1所述的系统，其中所述处理器被配置成从所述患者的相片减去没有患者的患者区域的相片，结果被用于生成所述图像。

8.根据权利要求1所述的系统，其中所述处理器被配置成从所述相片和所述扫描数据的组合来再现所述图像。

9.根据权利要求1所述的系统，其中所述处理器被配置成从所述相片的再现和所述扫描数据的再现来生成所述图像。

10.根据权利要求1所述的系统，其中所述处理器被配置成对于在由所述相片限定的体素处的扫描数据利用射线线终止来再现所述图像。

11.根据权利要求1所述的系统，其中所述图像对应于通过表示所述患者的体积的剪切平面、在由所述相片表示的剪切平面处的皮肤表面以及在由所述扫描数据表示的剪切平面处的内部区域。

12.根据权利要求11所述的系统，其中所述处理器被配置成利用用于所述内部区域的图像位置的第一类型的遮蔽和用于所述皮肤表面的图像位置的第二不同类型的遮蔽来生成所述图像。

13.根据权利要求1所述的系统，其中所述处理器被配置成利用由半透明地示出的相片表示的皮肤表面结合由所述扫描数据表示的内部区域的至少一部分来再现所述图像。

14.一种用于医学成像中的联合可视化的方法，该方法包括：

利用医学成像扫描仪来扫描患者；

利用照相机来获取所述患者在所述医学成像扫描仪中的摄影影像；

由处理器从所述扫描重构所述患者的第一三维表示并且从所述摄影影像重构所述患者的第二三维表示；

由所述处理器配准第一和第二三维表示；

由所述处理器根据如所配准的第一和第二三维表示来再现联合可视化图像；以及

显示所述联合可视化图像。

15.根据权利要求14所述的方法，还包括从所述摄影影像减去所述患者不在情况下的来自所述照相机的第三图像，该减去的结果被用于第二三维表示的重构。

16.根据权利要求14所述的方法，其中重构第二三维表示包括从所述摄影影像生成具有纹理的多边形表面，并且其中配准包括将该多边形表面与从第一三维重构提取的表面配准。

17.根据权利要求14所述的方法，其中再现包括将所述联合可视化图像再现为响应于第一和第二三维表示的所述患者的单个表示。

18.根据权利要求14所述的方法，还包括测量所述医学成像扫描仪处的光，并且其中再现包括利用由所测量的光建模的遮蔽来进行再现。

19.一种计算机可读存储介质，具有其中存储的表示由编程处理器可执行的用于医学成像中的联合可视化的指令的数据，该存储介质包括用于下列的指令：

从由安装到医学成像扫描仪的照相机拍摄的相片形成具有纹理的3D多边形表面，所述相片是患者的；

利用来自所述医学成像扫描仪的扫描数据来重构体积，所述体积包括所述患者的内部部分；

将所述3D多边形表面与所述体积配准；

根据所述3D多边形表面、所述纹理和所述体积来再现图像；以及

显示所述图像。