CN102727236A - 通过使用3d模型产生身体器官的医疗图像的方法和设备 - Google Patents

Abstract

一种通过使用3D模型产生身体器官的图像的方法和设备。一种产生器官的图像的方法包括：基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；输出选择的匹配图像。

Description

通过使用3D模型产生身体器官的医疗图像的方法和设备

本申请要求在2011年3月29日提交的第61/468,754号美国临时申请和在2011年8月29日在韩国知识产权局提交的第10-2011-0086694号韩国专利申请的利益，所述申请的公开全部包含于此以资参考。

技术领域

本公开涉及一种通过使用三维(3D)模型产生身体器官的医疗图像的方法和设备。

背景技术

在诊断和治疗疾病的传统方法中，在执行了剖腹手术后用肉眼确认疾病的状态，然后使用大型外科器械对病变执行切割或者外科手术。然而，最近，因为由于医疗技术的进步可获得高分辨率的医疗图像并且还可精细地控制医疗器械，所以已经研发了不用对病人的身体进行切割来治疗疾病的方法。

在该方法中，在对病人的皮肤中扎小孔之后直接将导管或者医疗针插入血管或者身体部位，然后通过使用医疗成像设备观察病人身体内部的同时执行疾病的治疗。这种方法被称作“使用图像的外科手术”、“基于介入式图像的外科手术”或者“基于中间图像的外科手术”。

在该方法中，外科医生通过图像确定内部器官或病变的位置。而且，外科医生需要知道在外科手术期间由于病人的呼吸或运动而引起的任何改变。因此，外科医生需要基于实时图像准确而快速地确定病人的呼吸或运动以执行外科手术，但是用肉眼不容易确定内部器官或病变的形状。因此，为了解决这个问题，已经研发出允许外科医生实时确定内部器官的形状和位置的方法和设备。

发明内容

根据一方面，一种产生器官的图像的方法包括：基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；并输出选择的匹配图像。

产生3D模型的步骤可包括：基于所述至少一个器官的医疗图像产生示出病人的所述至少一个器官的形状的3D模型。

选择的步骤可包括：基于示出病人的当前身体状况的实时医疗图像选择多个匹配图像中的一个匹配图像；所述多个图像和实时医疗图像可以是超声波图像。

产生所述多个匹配图像的步骤可包括：基于所述至少一个器官的形状的改变修改3D模型；使3D模型的坐标轴与所述多个图像的坐标轴一致。

产生所述多个匹配图像的步骤还可包括：通过以预定亮度重叠所述多个图像的像素或体元值来产生所述多个匹配图像。

选择的步骤可包括：选择所述多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中与病人的实时医疗图像最相似的一个图像相应，所述实时医疗图像示出病人的当前身体状况。

选择的步骤可包括：计算所述多个图像的每个图像中的横膈膜的位置和实时医疗图像中的横膈膜的位置之间的差，并选择多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中的一个图像相应，其中，所述一个图像是在所述多个匹配图像中的所有匹配图像中计算的差最小的图像。

产生3D模型的步骤可包括：从医疗图像中提取所述至少一个器官的边界和内部构造的位置坐标信息；在位置坐标信息中指定界标点的坐标；基于界标点的坐标产生所述至少一个器官的平均器官3D模型。

产生3D模型的步骤还可包括：将统计学的外表3D模型改变为反映病人的所述至少一个器官的形状特征的3D模型。

产生3D模型的步骤还可包括：将病人的所述至少一个器官的形状特征反映到所述至少一个器官的医疗图像中。

所述形状特征可包括所述至少一个器官的病变的形状和位置。

提取位置坐标信息的步骤可包括：将医疗图像中亮度值改变最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。

提取位置坐标信息的步骤可包括：将医疗图像中离散时间傅里叶变换(DTFT)的频率值最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。

提取位置坐标信息的步骤可包括：基于用户输入的坐标确定所述至少一个器官的边界和内部构造的位置坐标信息。

所述多个图像可以是在病人的呼吸周期期间以预定间隔捕捉的图像。

所述至少一个器官的医疗图像可以是通过使用计算断层扫描(CT)方法捕捉的图像。

所述至少一个器官的医疗图像可以是通过使用磁共振(MR)方法捕捉的图像。

产生3D模型的步骤可包括：在开始治疗病人的准备之前，预先产生3D模型；在开始治疗病人的准备之前，在数据库中存储预先产生的3D模型；作为治疗病人的准备的一部分，检索在数据库中存储的预先产生的3D模型。

根据一方面，一种非暂时性计算机可读存储介质可存储用于控制处理器执行如上所述的产生器官的图像的方法的程序。

根据一方面，一种产生器官的图像的设备，所述设备包括：器官模型产生单元，被配置为基于病人的至少一个器官的医疗图像产生所述至少一个器官的3D模型；图像匹配单元，被配置为通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；图像搜索单元，被配置为基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像，并输出选择的匹配的图像。

所述设备可包括：附加调整单元，被配置为根据用户的输入进一步调整所述多个匹配图像。

根据一方面，一种产生器官的图像的方法包括：基于器官的多个医疗图像产生器官的平均三维(3D)模型；基于器官的平均3D模型和特定病人的器官的至少一个医疗图像来产生所述病人的器官的个人3D模型；通过将所述病人的器官的多个图像和器官的个人3D模型匹配产生多个匹配图像，在所述病人的器官的多个图像中，病人的器官的形状由于病人的身体活动而改变；基于反映病人的当前身体状况的病人的器官的实时医疗图像选择匹配图像中的一个图像；输出选择的匹配图像。

所述选择的步骤可包括选择匹配图像中的一个匹配图像，所述一个匹配图像与病人的器官的多个图像中的一个图像相应，在所述一个图像中，病人的器官的位置和/或形状与病人的器官的实时医疗图像中的病人的器官的位置和/或形状最相似。

所述器官的多个医疗图像和病人的器官的医疗图像可以是计算断层扫描(CT)图像或磁共振(MR)图像；所述病人的器官的多个图像和病人的器官的实时医疗图像可以是超声波图像。

病人的身体活动可以是呼吸；并且可以在病人的一个完整的呼吸周期期间以预定间隔捕捉病人的器官的多个图像。

通过使用所述方法和设备，可通过将实时医疗图像和器官的图形模型结合然后输出结合的图像以在外科手术期间准确快速地追踪器官的位置。

在下面的说明书中将部分地阐述另外方面，部分地，从说明书中将是清楚的，或者可通过实施描述的示例来了解所述另外方面。

附图说明

从下面结合附图对示例的描述，上述和/或其他方面将会更清楚并更容易被理解，其中：

图1是示出根据本发明的示例的用于产生身体器官的图像的系统的配置的示图；

图2是示出图1的图像匹配装置的结构的框图；

图3是解释从外部医疗图像提取器官的边界和内部构造的位置坐标信息的处理的示图；

图4是示出图2的图像匹配单元使被修改以反映器官的改变的个人3D身体器官模型与多个超声波图像中的每个超声波图像中的器官的位置一致的处理的流程图；

图5示出了在二维(2D)图像中应用仿射变换函数的处理；

图6示出了通过图2的图像匹配单元执行的匹配图像的处理；

图7是示出横膈膜的绝对位置的上下移动的曲线图；

图8是示出基于三维(3D)身体器官模型追踪动态的器官和病变的方法的流程图。

具体实施方式

现在将参照附图更全面地描述本发明的示例。在下面的描述中，将不对已知功能或结构进行详细描述以避免在不必要的细节上模糊本发明。

图1是示出根据本发明的示例的产生身体器官的图像的系统的配置的示图。参照图1，所述系统包括图像检测装置10、图像匹配装置20和图像显示装置30。图像检测装置10通过使用通过将图像检测装置10的探头11产生的源信号发送到病人身体的目标部位而产生的响应，来产生图像数据。源信号可以是比如超声波信号、X射线等的信号。下面将描述这样的示例：图像检测装置10是通过使用超声波来捕捉病人身体的三维(3D)图像的超声波检查机器。

在超声波检查机器中，探头11通常是压电传感器的形式。如果2MHz至8MHz范围中的超声波信号从图像检测装置10的探头11发送到病人身体内部的部位，则将从各种不同组织之间的层部分地反射超声波信号。具体地讲，将从身体内部密度改变的部位(例如，血浆的血细胞、小构造的器官等)反射超声波。反射的超声波振动探头11的压电传感器，压电传感器输出由于振动引起的电脉冲。通过图像检测装置10将电脉冲转换为图像。

图像检测装置10可输出二维(2D)图像，也可输出3D图像。图像检测装置10输出3D图像的方法如下所示。在改变病人身体上的探头11的位置和方位的同时，图像检测装置10捕捉病人身体的部位的多个横截面图像。图像检测装置10累积所述多个截面图像，并从横截面图像产生三维地表示病人身体的部位的3D立体图像数据。以这种方式，通过累积横截面图像产生3D立体图像数据的方法被称作多平面重建(MPR)方法。

然而，尽管可实时获得通过图像检测装置10获得的图像(例如，超声波图像)，但是通过超声波图像难于清楚地识别器官或病变的边界和内部构造。

在计算断层扫描(computed tomography，CT)图像或磁共振(MR)图像中，可清楚地识别器官或病变的位置。然而，当病人在外科手术期间呼吸或移动时，器官或病变的形状会变形或者器官或病变的位置会改变，通过使用CT图像或MR图像不能获得反映该实时改变的图像。也就是说，因为CT图像通过使用辐射而获得，并且由于对病人或外科医生有长时间的辐射接触的危险因此需要短时间拍摄，因此，不能实时输出CT图像。因为需要花费较长时间来捕捉MR图像，因此，不能实时输出MR图像。

因此，有必要提供一种可实时捕捉图像并可清楚地识别器官或病变的边界和内部构造的方法和设备。因此，下面将解释的示例提供了如下所述的方法，其中，可通过输出实时检测的图像与器官或病变的模型匹配的图像，来正确地识别器官或病变的位置或变形。

图2是示出图1的图像匹配装置20的结构的框图。参照图2，图像匹配装置20包括医疗图像数据库(DB)201、平均模型产生单元202、个人模型产生单元203、图像匹配单元204、图像搜索单元205、附加调整单元206和存储器207。可将下面详细描述的各种单元202、203、204、205和206实施为硬件组件、软件组件或作为硬件和软件的组合的组件。

平均模型产生单元202通过接收病人的各种医疗图像然后对它们进行处理来产生器官的平均模型。在这个示例中，通过使用个人模型(即病人的个性化模型)来追踪病人的器官。作为产生个人模型的准备步骤，通过平均模型产生单元202产生平均模型。这是因为，由于对于每个个体的人，器官的特点(比如形状和大小)不同，因此需要反映每个个体的特点以提供精确的外科手术环境。每个个体的各种图像信息可被用于获得精确的平均模型。另外，可获得呼吸的各种时刻的图像以反映根据呼吸改变的器官的形态。

更详细地讲，平均模型产生单元202从拍摄设备或者从图像存储介质直接接收医疗专家为病人的诊断已经捕捉的图像(下面，称作“外部医疗图像”)。因此，期望接收外部医疗图像，所述外部医疗图像能够容易地对器官或病变的边界或者器官内部的特点进行分析。例如，CT图像或MR图像可作为外部医疗图像输入。

在医疗图像DB 201中存储外部医疗图像，平均模型产生单元202接收存储在医疗图像DB 201中的外部医疗图像。医疗图像DB 201可存储可通过拍摄设备捕捉或可从图像存储介质输入的各种个体的医疗图像。当从医疗图像DB 201接收外部医疗图像时，平均模型产生单元202可根据用户的选择从医疗图像DB 201接收一些外部医疗图像或所有外部医疗图像。

平均模型产生单元202将3D主动形状模型(active shape model，ASM)算法应用于接收的外部医疗图像。为了应用3D ASM算法，平均模型产生单元202通过分析接收的外部医疗图像从接收的外部医疗图像提取器官的形状、大小和解剖特征，并对它们取平均以产生器官的平均模型。T.F.Cootes、A.Hill、C.J.Taylor和J.Haslam在1994年7月“Image and Vision Computing”的第6期第12卷的第355至366页的论文“The Use of Active Shape Models ForLocating Structures in Medical Images”中详细描述了3D ASM算法，该论文全部包含于此以资参考。可通过应用3D ASM算法获得器官的平均形状，并且可通过修改变量来对器官的平均形状进行变形。

图3是解释从外部医疗图像(例如CT图像或MR图像)提取器官的边界和内部构造的位置坐标信息的处理的示图。例如，肝脏的内部构造可包括肝动脉、肝静脉、肝管和它们之间的边界。当外部医疗图像被输入到平均模型产生单元202时，平均模型产生单元202执行下述操作：通过根据外部医疗图像是2D图像还是3D图像使用不同方法来提取器官的边界和内部构造的位置坐标信息。

如果2D图像作为外部医疗图像输入，则平均模型产生单元202通过累积多个横截面图像获得三维地表示目标部位的3D立体图像，以产生3D模型。在图3的左侧示出获得3D立体图像的方法。更详细地讲，在累积多个横截面图像之前，从多个横截面图像的每个横截面图像提取器官的边界和内部构造的位置坐标信息。然后，可通过将累积多个横截面图像的方向的轴的坐标信息添加到提取的信息来获得3D坐标信息。例如，由于在图3的右侧示出的图像是其Z轴值为1的图像，因此从该图像提取的边界的位置坐标的Z值总是1。也就是说，在图3的右侧示出的图像的3D坐标信息是[x，y，1]。因此，因为在图3的左侧示出的横截面图像的坐标信息是2D坐标信息[x，y]，所以提取Z轴的坐标值和2D坐标信息[x，y]以获得在图3的左侧示出的图像的位置坐标信息。然后，图像的位置坐标信息将是3D坐标信息[x，y，z]。

如果3D图像作为外部医疗图像输入，则以预定间隔提取3D图像的横截面以获得横截面图像，然后执行与2D图像作为外部医疗图像输入的情况相同的处理，从而获得3D位置坐标信息。

在该处理中，可使用算法来自动地或半自动地获得2D图像中的器官的边界的位置坐标信息，并且还可由用户参照输出图像信息手动输入2D图像中的器官的边界的位置坐标信息。例如，在自动获得器官的边界的位置坐标信息的方法中，可获得图像的亮度突然改变的部位的位置坐标信息，还可通过使用离散时间傅里叶变换(DTFT)提取频率值最大的位置作为边界位置。

在半自动地获得器官的边界的位置坐标信息的方法中，如果用户输入关于图像的边界点的信息，则可基于边界点提取边界的坐标位置，这与自动获得位置坐标信息的方法类似。由于器官的边界是连续的并且具有闭环的曲线形状，所以可通过使用该特性来获得关于器官的整个边界的信息。由于半自动地获得位置坐标信息的方法不需要搜索整个图像，因此，与自动获得位置坐标信息的方法相比，可快速地获得结果。

在手动获得器官的边界的位置坐标信息的方法中，用户可在观看图像时直接指定边界的坐标。此时，由于指定边界的坐标的间隔可能不是连续的，因此，可针对不连续的部分执行插值来连续地提取边界。如果在将与位置坐标相应的体元(voxel)的亮度值设置为预定值之后，输出通过使用上述方法获得的器官或病变的位置坐标信息，则用户可确定三维地和图形地表示的器官或病变的形状。例如，如果目标器官的边界坐标的亮度值被设置为最小值，即最黑的值，则目标器官的图像在输出图像中将具有黑的形态。如果目标器官的亮度值被设置为白色和黑色之间的中间值，并且病变的亮度值被设置为黑色，则可用肉眼容易地区分病变和目标器官。可将通过使用上述方法获得的多个器官的边界和内部构造的位置坐标信息定义为数据集合，并可将所述位置坐标信息用于执行3DASM算法。下面将解释3DASM算法。

为了应用3D ASM算法，使多个器官的边界和内部构造的位置坐标的坐标轴相互一致。使坐标轴相互一致表示使多个器官的重心与一个原点和所述多个器官的排列方向一致。因此，在多个器官的边界和内部构造的位置坐标信息中确定界标点(landmark point)。所述界标点是应用3D ASM算法所使用的基本点。通过使用下面的方法来确定界标点。

第一，将明显反应目标的特征的点确定为界标点。例如，所述点可包括肝脏的血管的分支点、心脏的右心房和左心房之间的边界，主静脉和心脏外壁(outer wall)之间的边界等。

第二，将预定坐标系中的目标的最高点或最低点确定为界标点。

第三，沿着边界以预定间隔将用于在第一确定的点和第二确定的点之间插值的点确定为界标点。

可通过使用二维中的X轴和Y轴的坐标来表示确定的界标点，并且可使用三维中的X轴、Y轴和Z轴的坐标来表示确定的界标点。因此，如果每个界标点的坐标被表示为三维中的向量x₀，x₁，…x_n-1(其中，n是界标点的个数)，则向量x₀，x₁，…x_n-1可由下面的等式1来表示。

x_i0＝[x_i0，y_i0，z_i0]

x_i1＝[x_i1，y_i1，z_i1]

·

·

·

x_in-1＝[x_in-1，y_in-1，z_in-1]                            (1)

下标i表示在第i图像中获得的器官的边界和内部构造的位置坐标信息。在一些情况下，可增加位置坐标信息的数量，因此，位置坐标信息可以被表示为单个向量以方便计算。然后，用单个向量表示所有界标点的界标点向量可以由下面的等式2定义：

x_i＝[x_i0，y_i0，z_i0，x_i1，y_i1，z_i1，…，x_in-1，y_in-1，z_in-1]^T(2)

向量x_i的大小是3n×1。如果数据集合中图像的数量是N，则用于数据集合中所有图像的界标点的平均值可被表示为下面的等式3：

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i---\left(3\right)$

向量

的大小是3n×1。平均模型产生单元202使用等式3来获得界标点的平均值

并基于界标点的平均值

产生模型，所述模型成为平均器官模型。3D ASM算法可不仅产生平均器官模型，而且还可通过调整多个参数而仅改变平均器官模型的形态。因此，平均模型产生单元202不仅计算平均器官模型，而且还使用等式，从而可应用多个参数。下面将解释应用多个参数的等式。

下面的等式4可表示界标点x_i和界标点的平均值

之间的差。在等式4中，下标i表示第i图像。因此，等式4表示每个图像i的界标点x_i和数据集合中所有图像的界标点的平均值

之间的差。

${\mathrm{dx}}_i=x_i-\stackrel{\‾}{x}---\left(4\right)$

通过使用该差，可如下面的等式5所示来定义三个变量x、y和z的协方差矩阵。获得协方差矩阵的原因在于获得多个参数的单位特征向量以应用3DASM算法。

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{dx}}_i{\mathrm{dx}}_i^T---\left(5\right)$

协方差矩阵S的大小是3n×3n。如果协方差矩阵S的单位特征向量是p_k(k＝1，2，......3n)，则单位特征向量p_k表示通过使用3D ASM算法产生的模型的改变。例如，如果与单位特征向量p₁相乘的参数b₁在

(将在下面定义λ₁)的范围内改变，则可改变模型的宽度。如果与单位特征向量p₂相乘的参数b₂在

(将在下面定义λ₂)的范围内改变，则可改变模型的高度。可从下面的等式6来获得具有大小3n×1的单位特征向量p_k。

Sp_k＝λ_kp_k    (6)

在等式6中，λ_k是S的第k特征值，其中，λ_k≥λ_k+1。

最后，可如下面的等式7所示，通过使用界标点的平均向量来计算应用模型的改变的界标点向量x。

$x=\stackrel{\‾}{x}+\mathrm{Pb}---\left(7\right)$

p＝(p₁，p₂，…p_t)表示t个单位特征向量(这里，p_k的大小是3n×1，P的大小是3n×t)，b＝(b₁，b₂，…b_t)^T是用于t个单位特征向量的每个单位特征向量的权重的向量(这里，b的大小为t×1)。

平均模型产生单元202通过使用所述等式来计算表示平均器官模型的形态的

(其大小为3n×1)和用于通过使用3D ASM算法应用模型的改变的向量p＝(p₁，p₂，…p_t)(其大小为3n×t)。

个人模型产生单元203从平均模型产生单元202接收平均器官模型

和向量p＝(p₁，p₂，…p_t)，然后通过3D ASM算法的参数处理产生个人模型。由于病人的器官的形状和大小根据个体病人不同，因此如果按原样使用平均器官模型则会降低准确度。例如，与其他病人的器官相比，病人的器官可具有更长、更宽、更厚或更薄的形态。另外，如果病人的器官包括病变，则个人模型产生单元203可将病变的位置包括在器官的模型中以准确地捕捉病变的形状和位置。因此，个人模型产生单元203从外部图像拍摄设备或者存储器207接收个体病人的外部医疗图像，分析个体病人的器官的形状、大小和位置，如果存在病变，则个人模型产生单元203分析病变的形状、大小和位置。以下将针对器官解释个人模型产生单元203的操作，但是可针对病变使用相同的过程。

个人模型产生单元203基于可清楚地捕捉器官的形状、大小和位置的医疗图像(诸如CT图像或MR图像)确定个体病人的3D ASM算法的单位特征向量的权重(向量b)。因此，首先，个人模型产生单元203接收个体病人的外部医疗图像并获得器官的边界和内部构造的位置坐标信息。为了获得器官的边界和内部构造的位置坐标信息，个人模型产生单元203使用通过平均模型产生单元202执行的图3的处理，即，分析外部医疗图像的处理。此外，通过与应用3D ASM算法时使用的方法相同的方法确定界标点的坐标信息，可获得作为个体病人的个人界标点集合的向量x(其大小是3n×1)。基于向量x产生的器官模型可以是个人模型。如果在等式7中使用单位特征向量和逆函数的特征

可获得下面的等式8。通过等式8来确定b＝(b₁，b₂，…b_t)^T的值。

$b=P^T(x-\stackrel{\‾}{x})---\left(8\right)$

通过平均模型产生单元202确定的向量

和p可作为目标器官的平均模型的数据库被存储在存储器207中，并且，如果必要，向量

和p可被重复地使用。另外，当在另一病人的医疗检查和治疗期间确定存储在数据库中的平均模型时，可附加地使用输入到个人模型产生单元203的个体病人的外部医疗图像。

当图像匹配单元204从个人模型产生单元203接收向量x，p，b时，图像匹配单元204将该向量与在预定时间段内接收的病人的医疗图像进行匹配。该匹配操作表示使用3D ASM算法获得的模型与超声波医疗图像中的器官的位置重叠以将输出图像输出。更详细地讲，匹配操作表示可用预定亮度替换或重叠与通过使用3D ASM算法获得的模型的坐标信息相应的像素或体元值。如果执行替换操作，则从原始超声波医疗图像中去除器官部位并且仅输出个人模型。如果执行重叠操作，则可输出原始超声波医疗图像与个人模型重叠的图像。可通过区分重叠的图像的颜色和另一图像的颜色而用肉眼容易地识别重叠的图像。例如，可通过使用蓝色来重叠个人模型和黑白超声波图像而用肉眼容易地识别图形外形。

医疗图像可以是实时捕捉的图像，例如，可以是超声波图像。医疗图像可以是2D图像或3D图像。所述预定时间段可以是一个呼吸周期。这是因为在身体的呼吸周期期间也产生器官的改变。例如，如果病人的一个呼吸周期是5秒，则当以每秒20帧产生超声波图像时，可在一个呼吸周期期间产生具有100帧的超声波图像。

在图像匹配单元204中执行的匹配处理可被划分成两个操作。这两个操作包括：修改3D身体器官模型以反映在预定时间段期间输入的超声波图像中将由呼吸引起的器官的改变的操作；通过执行旋转、平行移位和大小控制将修改的3D身体器官模型与超声波图像中的目标器官对齐的操作。

将由呼吸引起的器官的改变反映到3D身体器官模型的操作如下所述。在将超声波图像与医疗图像匹配之前，通过获得超声波图像的每帧的器官的位置和改变来控制作为3D ASM算法的每个单位特征向量的权重的向量b的值。此时确定的向量b的值与在平均模型产生单元202中确定的向量b的值并不具有大的差别。这是因为只是由呼吸引起的改变被反映在图像匹配单元204中，并且与其他个体的改变相比，由呼吸引起的改变较小。因此，当确定向量b的值时，基于在平均模型产生单元202中确定的向量b的值，在预定有限范围内执行修改。另外，可在确定下一帧的向量b的过程中反映先前帧的向量b。这是因为，由于在呼吸期间器官的改变是连续的，所以在短时间段内不会有大的改变。如果确定了向量b的值，则可针对每帧产生个人模型，在所述个人模型中，通过使用3D ASM算法的计算在每个超声波图像中反映器官的修改。

图4是示出图像匹配单元204通过旋转、平行移位和大小控制使被修改以反映器官的改变的个人3D身体器官模型与多个超声波图像中的每个超声波图像中的器官的位置一致的处理的流程图，在个人模型中，对于每个图像反映了器官的变形。更详细地讲，图4是示出当确定作为每帧的每个单位特征向量的权重的向量b时对每帧执行一对一的仿射注册(affine registration)的处理。如果帧的数量是N并且n是帧号，则从n＝1到n＝N执行一对一匹配。通过使用超声波图像的界标点集合和模型的界标点集合对每帧执行迭代最近点(CIP)算法获得仿射变换函数，并且通过使用仿射变换函数来获得3D身体器官模型图像。ICP算法是这样一种算法：基于一个图像对其他图像执行旋转、平行移位和大小控制以在多个图像中对齐(align)一个目标。在1994年10月的“International Journal of Computer Vision”第2期第13卷第119至152页，Zhengyou Zhang的“Iterative Point Matching for Registration ofFree-form Curves and Surfaces”中详细描述了ICP算法，该文章全部包含于此以资参考。

图5示出了在2D图像中应用仿射变换函数的处理。图解501示出在应用仿射变换之前的状态，图解502示出了在应用仿射变换之后的状态。尽管应该执行旋转、平行移位和大小控制以应用所述变换，但是考虑到仿射变换使用一对一点对应，可通过下面的等式9获得第一坐标和最后坐标来确定仿射变换函数的矩阵T_affine的系数。

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\end{array}\right]=T_{\mathrm{affine}}\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{c}{a}_1{b}_1{c}_1\\ a_2{b}_2{c}_2\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(9\right)$

仿射变换函数在本领域中是公知的，因此为了简便将不在这里详细描述。

下面的等式10是将在三维中获得的仿射变换函数应用到每个帧中的等式。

x_ICP(n)＝T_effine(n)×x_ASM(n)    (10)

这里，n是表示第n帧的整数(1≤n≤N)。x_ASM(n)表示界标点向量，其中，在图像匹配单元204中改变作为权重的向量b。x_ICP(n)包括对于每帧反映修改的器官边界和内部构造的位置坐标信息。如果当将位置坐标信息与超声波图像匹配时，在超声波图像中用预定亮度值替换或者重叠与位置坐标相应的体元值，则可用肉眼确认器官的图形外形。

图6示出图像匹配单元204执行的匹配图像的处理。图6示出了如下所述的处理：图像匹配单元204将在一个呼吸周期期间输入的多个超声波图像与被修改以反映在呼吸期间器官的改变的个人3D身体器官模型进行匹配以产生多个超声波匹配图像。在图6中，输入的超声波图像被布置在图6的左侧，在输入的超声波图像中的标记*表示界标点。输入的超声波图像可反映从吸气到呼气的呼吸的各个阶段。

将根据呼吸期间器官的改变修改在个人模型产生单元203中产生的个人3D身体器官模型。然而，根据呼吸的修改将比由于个体之间的差异所引起的修改小。因此，当根据呼吸期间器官的改变修改个人3D身体器官模型时，与重新执行3D ASM算法相比，可更快更容易地调整个人模型产生单元203确定的参数值。通过使用已经反映了修改的界标点和超声波图像的器官的界标点，通过ICP算法应用仿射变换函数T_affine。通过仿射变换，可修改个人3D身体器官模型的大小和位置以与超声波图像中的器官的大小和位置匹配。可通过用预定值替换或重叠与模型的位置相应的超声波图像的像素或体元值的方法，来执行修改的模型与超声波图像的结合。匹配图像被称作超声波模型匹配图像并可被存储在存储器207中。

图像搜索单元205执行外科手术的处理。在外科手术中，在屏幕上输出实时输入的超声波图像中器官的图形形状，然后，外科医生在用肉眼确认器官的图形形状的同时执行外科手术。这个处理的详细操作如下所述。首先，接收病人的实时医疗图像。此时，实时医疗图像可以是与通过图像匹配单元204接收的图像相同的图像。因此，例如，如果接收到实时超声波图像，则通过将实时超声波图像与在预定时间段期间输入到图像匹配单元204的医疗图像进行比较，确定与实时超声波图像最相似的图像，并在存储器207中搜索与确定的图像相应的超声波模型匹配图像，然后输出找到的超声波模型匹配图像。

作为图像搜索单元205在超声波图像中搜索相似图像的示例，有一种通过检测横膈膜的位置来确定图像的方法。如果在实时超声波图像中横膈膜的位置是X，则所述方法包含：通过计算位置X和在预定时间段期间输入到图像匹配单元204的每个医疗图像中的横膈膜的位置之间的差来搜索具有最小差的图像。

图7是示出横膈膜的绝对位置的上下移动的曲线图。在分析所述曲线图时，可确认横膈膜的位置在呼吸周期中有规律地改变。在捕捉在预定时间段期间输入到图像匹配单元204的医疗图像和输入到图像搜索单元205的实时医疗图像时，可固定探头11的位置和病人的位置。这是因为：如果探头11的位置或者病人的位置改变，则图像中的器官的相对位置可被改变，并且如果所述器官的相对位置改变，则不可能在比较图像时准确而快速地执行搜索操作。

作为图像搜索单元205在超声波图像中搜索相似图像的另一示例，有一种通过使用像素之间的亮度差来确定图像的方法。也就是说，该方法包含使用最相似的图像之间的亮度差最小的事实。更详细地讲，当在预定时间段期间输入的医疗图像(第一图像)中搜索与实时医疗图像的一帧的图像(第二图像)相似的图像以用于匹配操作时，计算第一图像之一的像素和第二图像的像素之间的亮度差，然后获得亮度差的离散度(dispersion)。接下来，还计算第一图像的其他图像的像素和第二图像的像素之间的亮度差，然后获得亮度差的离散度。然后，可将离散度最小的图像确定为最相似的图像。

如果用户在观看输出图像时调整仿射变换函数T_affine和3D ASM算法的参数，则附加调整单元206可输出调整后的最终结果。也就是说，用户可在用肉眼观看输出图像的同时执行准确的变换。

图8是示出基于3D身体器官模型追踪动态的器官和病变的方法的流程图。操作802和803的结果可被存储在图2的医疗图像数据库(DB)201中。在操作802，接收个体的多种呼吸周期的CT图像或MR图像。在操作803，基于接收的图像产生3D身体器官模型。此时，如上所述，可使用3D ASM算法。

在操作801，接收个体病人的CT图像或MR图像。在操作804，基于接收的个体病人的图像修改在操作803中产生的3D身体器官模型。可将产生修改的3D身体器官模型(即个人3D身体器官模型)的处理作为准备处理在外科手术室外执行。在操作805，接收在病人的一个呼吸周期期间捕捉的超声波图像(第一超声波图像)，然后将第一超声波图像与个人3D身体器官模型进行匹配。匹配图像被称作超声波模型匹配图像，并可被存储在临时存储器或比如图2的存储器207的存储介质中。操作805可作为准备处理在外科手术室中执行。在操作805，可固定病人的位置。另外，在操作806，可固定探头的位置。在操作806，作为外科手术室中的实际操作，如果实时输入了病人的超声波图像(第二超声波图像)，则确定第一超声波图像中与第二超声波图像最相似的图像，然后输出与确定的第一超声波图像相应的超声波模型匹配图像。

可使用硬件组件和/或软件组件来实现图2中的各种单元202、203、204、205和206。可通过处理装置来实现软件组件，其中，可通过使用一个或多个通用或专用的计算机(比如处理器、控制器和算术逻辑单元)、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置来实现所述处理装置。所述处理装置可运行操作系统(OS)和一个或多个在OS上运行的软件应用程序。所述处理装置还可响应于软件的执行而访问、存储、操作、处理和创建数据。为了简单的目的，处理装置的描述作为单数而被使用；然而，本领域的技术人员应该理解处理装置可包括多个处理部件和多种类型的处理部件。例如，处理装置可包括多处理器或者包括一个处理器和一个控制器。另外，不同的处理配置是可行的，比如并行处理器。

如这里所使用的，用于实现功能A的处理装置包括被编程以运行特定软件的处理器。另外，用于实现功能A、功能B和功能C的处理装置可包括如下所述的配置，比如，被配置为实现功能A、B和C的一个处理器；被配置为实现功能A的第一处理器和被配置为实现功能B和C的第二处理器；被配置为实现功能A和B的第一处理器和被配置为实现功能C的第二处理器；被配置为实现功能A的第一处理器、被配置为实现功能B的第二处理器和被配置为实现功能C的第三处理器；被配置为实现功能A、B、C的第一处理器和被配置为实现功能A、B、C的第二处理器等。

软件可包括计算机程序、一段代码、指令或者它们的一些组合，以独立地或共同地命令或配置处理装置如上所述地操作。可永久或临时地以机器、组件、物理或虚拟设备、计算机存储介质或装置中的任何类型，或者以传播的信号波来实现软件和数据，所述信号波能够向处理装置提供指令或数据或者能够被所述处理装置解释。所述软件还可以分布在联网的计算机系统中，从而以分布式方式来存储和执行软件。

具体地讲，可由一个或多个非暂时性计算机可读存储介质存储所述软件和数据。所述非暂时性计算机可读存储介质可包括可存储稍后能被计算机系统或处理装置读取的数据的任何数据存储装置。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。此外，基于并使用图1中的框图和图2至图7中的流程图以及这里提供的它们的相应描述，示例所属领域的编程技术人员可容易地构造用于实现这里公开的示例的功能程序、代码和代码段。尽管已经参照各种示例具体示出和描述了本发明，但是本领域的普通技术人员应该理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可对这些示例进行形式和细节上的各种改变。示例应该被认为只是描述的意义而不为了限制的目的。因此，不是由发明的详细描述而是由权利要求及其等同物来限定发明的范围，落入权利要求及其等同物的范围内的所有改变将被解释为包含在本发明中。

Claims (23)

1.一种产生器官的图像的方法，所述方法包括：

基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维模型；

通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的三维模型匹配来产生多个匹配图像；

基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；

输出选择的匹配图像。

2.如权利要求1所述的方法，其中，产生三维模型的步骤包括：基于所述至少一个器官的医疗图像产生示出病人的所述至少一个器官的形状的三维模型。

3.如权利要求2所述的方法，其中，选择的步骤包括：基于示出病人的当前身体状况的实时医疗图像选择所述多个匹配图像中的一个匹配图像；

所述多个图像和实时医疗图像是超声波图像。

4.如权利要求1所述的方法，其中，产生所述多个匹配图像的步骤包括：

基于所述至少一个器官的形状的改变修改三维模型；

使三维模型的坐标轴与所述多个图像的坐标轴一致。

5.如权利要求4所述的方法，其中，产生所述多个匹配图像的步骤还包括：通过以预定亮度重叠所述多个图像的像素或体元值来产生所述多个匹配图像。

6.如权利要求1所述的方法，其中，选择的步骤包括：选择所述多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中与病人的实时医疗图像最相似的一个图像相应，所述实时医疗图像示出病人的当前身体状况。

7.如权利要求6所述的方法，其中，选择的步骤包括：计算所述多个图像的每个图像中的横膈膜的位置和实时医疗图像中的横膈膜的位置之间的差；

选择所述多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中的一个图像相应，其中，所述一个图像是在所述多个匹配图像中的所有匹配图像中计算的差最小的图像。

8.如权利要求1所述的方法，其中，产生三维模型的步骤包括：

从医疗图像中提取所述至少一个器官的边界和内部构造的位置坐标信息；

在位置坐标信息中指定界标点的坐标；

基于界标点的坐标产生所述至少一个器官的平均器官三维模型。

9.如权利要求8所述的方法，其中，产生三维模型的步骤还包括：将平均器官三维模型改变为反映病人的所述至少一个器官的形状特征的三维模型。

10.如权利要求9所述的方法，其中，产生三维模型的步骤还包括：将病人的所述至少一个器官的形状特征反映到所述至少一个器官的医疗图像中。

11.如权利要求10所述的方法，其中，所述形状特征包括所述至少一个器官的病变的形状和位置。

12.如权利要求9所述的方法，其中，所述形状特征包括所述至少一个器官的病变的形状和位置。

13.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括：将医疗图像中亮度值改变最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。

14.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括：将医疗图像中离散时间傅里叶变换的频率值最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。

15.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括：基于用户输入的坐标确定所述至少一个器官的边界和内部构造的位置坐标信息。

16.如权利要求1所述的方法，其中，所述多个图像是在病人的呼吸周期期间以预定间隔捕捉的图像。

17.如权利要求1所述的方法，其中，所述至少一个器官的医疗图像是通过使用计算断层扫描方法捕捉的图像。

18.如权利要求1所述的方法，其中，所述至少一个器官的医疗图像是通过使用磁共振方法捕捉的图像。

19.如权利要求1所述的方法，其中，选择的步骤包括：基于示出病人的当前身体状况的实时医疗图像选择所述多个匹配图像中的一个匹配图像；

所述多个图像和所述实时医疗图像是超声波图像。

20.如权利要求1所述的方法，其中，产生三维模型的步骤包括：

在开始治疗病人的准备之前，预先产生三维模型；

在开始治疗病人的准备之前，在数据库中存储预先产生的三维模型；

作为治疗病人的准备的一部分，检索在数据库中存储的预先产生的三维模型。

21.一种产生器官的图像的设备，所述设备包括：

器官模型产生单元，被配置为基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维模型；

图像匹配单元，被配置为通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的三维模型匹配来产生多个匹配图像；

图像搜索单元，被配置为基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像，并输出选择的匹配的图像。

22.如权利要求21所述的设备，还包括：附加调整单元，被配置为根据用户的输入进一步调整所述多个匹配图像。

23.一种产生器官的图像的方法，所述方法包括：

基于器官的多个医疗图像产生器官的平均三维模型；

基于器官的平均三维模型和特定病人的器官的至少一个医疗图像来产生所述病人的器官的个人三维模型；

通过将所述病人的器官的多个图像和器官的个人三维模型匹配产生多个匹配图像，在所述病人的器官的多个图像中，所述病人的器官的形状由于所述病人的身体活动而改变；

基于反映所述病人的当前身体状况的所述病人的器官的实时医疗图像选择所述多个匹配图像中的一个匹配图像；

输出选择的匹配图像。

Images