CN107633531A - 图像处理装置、图像处理方法以及计算机可读介质 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法以及计算机可读介质。该图像处理装置包括：获得第一三维图像和第二三维图像的图像获得单元、获得两个图像之间的变形的变形信息获得单元、生成第一断面图像和第二断面图像的断面图像生成单元、获得第一断面图像中的目标位置的目标位置获得单元、基于变形信息获得第二三维图像中的与目标位置相对应的对应位置的对应位置获得单元。

Description

图像处理装置、图像处理方法以及计算机可读介质

技术领域

本发明涉及图像处理装置、图像处理方法以及计算机可读介质。

背景技术

在医学领域中，医生、技师等可以将多个图像彼此进行比较。多个图像是例如使用不同的摄像设备(在下文中被称为器械(modality))或不同的摄像参数拍摄的图像、在不同的时间拍摄的图像、或者示出不同的身体姿势的被检体的图像。在某些情况下，被检体的形状在图像之间不同。当被检体是例如活体时，多个器械难以拍摄被检体在体位和形状上完全一致的图像。

即使在这种情况下，为了更精确地将病变区域彼此进行比较，能够在不同的图像之间进行配准，并且同时地或可切换地一次显示两个或各个图像。作为选择，也可以显示图像之间的差分图像。有一种被称为可变形配准的方法，其估计在多个图像中观察到的被检体的变形，并且使图像中的一个变形以生成如下图像，在该图像中，被检体具有与图像中的另一个图像中的被检体的形状类似的形状。能够通过例如基于局部区域之间的图像类似度将多个图像中的对应位置(示出被检体的同一部位的特征点)彼此相关联，来进行可变形配准的处理。

日本特开2013-000398号公报公开了使三维图像和二维断层图像经受可变形配准，并且同时显示两个图像或者一次可切换地显示图像中的各个。另一方面，日本特开2011-125570号公报公开了一种根据被检体的变形状态生成断面图像的方法。

专利文献1：日本特开2013-000398号公报

专利文献2：日本特开2011-125570号公报

发明内容

然而，根据在日本特开2013-000398号公报中描述的显示方法，有时可能难以在图像之间进行比较。特别地，当将三维图像彼此进行比较时，可能难以识别个体图像中的对应位置及其之间的对应关系。

鉴于前述问题来实现本发明。本发明的目的是提供一种用于将多个被检体图像成功地彼此进行比较的技术。

本发明提供一种图像处理装置，其包括：

图像获得单元，其被构造为获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得单元，其被构造为获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成单元，其被构造为根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得单元，其被构造为获得所述第一断面图像中的目标位置；

对应位置获得单元，其被构造为基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制单元，其被构造为控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，所述断面图像生成单元生成包括所述对应位置的断面图像作为所述第二断面图像。

本发明还提供一种图像处理装置，其包括：

图像获得单元，其被构造为获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得单元，其被构造为获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成单元，其被构造为根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得单元，其被构造为获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得单元，其被构造为基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制单元，其被构造为控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，所述断面图像生成单元生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

所述显示控制单元调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。

本发明还提供一种图像处理方法，其包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得步骤，获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一断面图像中的目标位置；

对应位置获得步骤，基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述对应位置的断面图像，作为所述第二断面图像。

本发明还提供一种图像处理方法，其包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得步骤，获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得步骤，基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

在所述显示控制步骤中，调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。

本发明还提供一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得步骤，获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一断面图像中的目标位置；

对应位置获得步骤，基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述对应位置的断面图像，作为所述第二断面图像。

本发明还提供一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得步骤，获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得步骤，基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

在所述显示控制步骤中，调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。

根据本发明，能够提供一种用于将多个图像成功地彼此进行比较的技术。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据实施例1的图像处理装置的功能构造的示例的图；

图2是示出根据实施例1的处理的示例的流程图；

图3是示出由根据实施例1的图像处理装置显示的画面的示例的图；

图4是示出由根据实施例1的图像处理装置显示的画面的示例的图；

图5是示出由根据实施例1的图像处理装置显示的画面的示例的图；

图6是示出由根据实施例1的图像处理装置显示的画面的示例的图；

图7是示出由根据实施例1的变型例的图像处理装置显示的画面的示例的图；

图8是示出由根据实施例1的变型例的图像处理装置显示的画面的示例的图；

图9是示出根据实施例2的图像处理装置的功能构造的示例的图；

图10是示出根据实施例2的处理的示例的流程图；

图11是示出由根据实施例2的图像处理装置显示的画面的示例的图；

图12是示出根据实施例3的图像处理装置的功能构造的示例的图；

图13是示出根据实施例3的处理的示例的流程图；

图14是示出根据实施例4的图像处理装置的功能构造的示例的图；

图15是示出根据实施例4的处理的示例的流程图；

图16是示出由根据实施例4的图像处理装置显示的画面的示例的图；

图17是示出根据实施例的图像处理装置的硬件构造的示例的图；

图18是示出根据实施例5的图像处理装置的功能构造的示例的图；以及

图19是示出根据实施例5的处理的示例的流程图。

具体实施方式

现在参照附图，以下将描述本发明的优选实施例。然而，下面描述的部件的尺寸、材料和形状及其相对定位等根据本发明应用到的装置的构造和各种条件适当地改变，并且不旨在将本发明的范围限制为以下描述。

本发明涉及一种对被检体进行摄像以形成被检体中的目标区域的图像并且显示所形成的图像的技术。因此，本发明被认为是图像处理装置或图像处理系统、其控制方法、图像处理方法、信号处理方法或信息处理方法。本发明也被认为是被检体信息获得装置、其控制方法或被检体信息获得方法。本发明还被认为是用于使包括诸如CPU和存储器等的硬件资源的信息处理装置实现上述方法中的各个的程序或者由其中存储有该程序的计算机可读的非暂时性存储介质。

根据本发明的装置可以具有获得被检体的图像数据的功能或者仅具有对由另一装置获得的图像数据进行处理的功能。基于各个位置的特征信息，获得被检体的图像数据作为二维特征信息或三维特征信息的分布。特征信息也可以不获得为数值数据，而是获得为关于被检体中的个体位置的分布的信息。

作为在本发明中要处理的目标被检体的三维图像的数据源，能够使用各种器械。各种器械的示例包括光声断层摄影装置(PAT)、核磁共振摄像装置(MRI)、X射线计算断层摄影装置(CT)、超声波诊断装置(US)、正电子发射断层摄影装置(PET)、单光子发射断层摄影装置(SPECT)和光学相干断层摄影装置(OCT)。通过使用各个器械拍摄图像，能够获得示出被检体中的三维区域中的、与各个器械对应的特征信息的分布信息的图像数据。

通常当将由光声断层摄影装置获得的图像数据与由核磁共振摄像装置获得的图像数据进行比较时，使用本发明。光声断层摄影装置通过用光照射被检体来接收在被检体中产生的声波，并且获得被检体的特征信息作为图像数据。作为特征信息，能够获得被检体中的初始声压、光吸收系数、组分材料的浓度、氧饱和度等。核磁共振摄像装置使用通过向被检体施加高频磁场而产生的核磁共振现象，来对被检体的内部进行摄像。核磁共振摄像装置能够主要将与被检体中的氢有关的信息可视化。然而，器械的组合不限于此。

在以下描述中，作为被检体的示例，使用乳房。然而，本发明中的被检体不限于此。诸如手、腿或躯干等的活体的其他部位、除人以外的诸如老鼠等的动物、可变形的非生物材料等也能够用作要摄像的目标被检体。

[实施例1]

在实施例1中，将给出对如下的示例的描述：排列显示通过对被检体进行摄像而获得的第一三维图像、通过根据第二三维图像使第一三维图像变形而获得的第一变形图像、第二三维图像以及通过根据第一三维图像使第二三维图像变形而获得的第二变形图像。注意，在实施例1中，假设已经预先进行了使第一三维图像经受可变形配准使得其位置和形状与第二三维图像的位置和形状匹配的计算(变形估计)，并且已经预先获得了代表第一三维图像与第二三维图像之间的变形的变形信息(变形参数)。注意，本实施例中的第一三维图像和第二三维图像的示例包括通过使用多个器械对同一被检体进行摄像而获得的图像和通过使用同一器械在不同的时间对同一被检体进行摄像而获得的图像。

这里，如果目的是对第一三维图像和第二三维图像的可变形配准和观察，则可以使用任何图像作为第一三维图像和第二三维图像。第一三维图像和第二三维图像不限于通过对同一被检体进行摄像而拍摄的图像。例如，能够许可使正被观察的被检体的图像作为第一三维图像，并且使要与其进行比较的正常患者的图像作为第二三维图像。此外，能够许可使用根据多个被检体的三维图像生成的标准图像或人造图像。

(装置构造)

图1示出了根据实施例1的图像处理装置100的功能构造的示例。实施例1中的图像处理系统1包括图像处理装置100、数据服务器150和显示器172。

数据服务器150保持被检体的第一三维图像和第二三维图像。这里要注意的是，用于获得第一三维图像的摄像和用于获得第二三维图像的摄像在摄像时间、器械、变形程度等方面是不同的。例如，为了后续观察目的，也可以在给定时间段之后使用与用来获得第一三维图像相同的器械来获得第二三维图像。例如，为了从多阶段观点进行诊断，也可以在同一天使用不同的器械对同一被检体进行摄像。例如，为了获得多个深度处的图像，也可以在不同的按压状态下多次进行摄像。

数据服务器150保持代表第一三维图像与第二三维图像之间的变形的变形信息。实施例1中的变形信息是关于变形场的信息，包括从第二三维图像的个体单位区域的位置至第一三维图像上的对应位置的位移向量。注意，当如在本实施例中将本发明应用到三维图像时，单位区域是体素。以下将描述这种情况。另一方面，当将本发明应用到二维图像时，单位区域是像素。

注意，作为相关信息，各个三维图像包括图像的大小和清晰度、用来对三维图像进行摄像的器械的类型、摄像信息、医疗案例信息、图像间对应信息等。摄像信息是示出例如三维图像的摄像参数、其摄像部位、其身体姿势等的信息。医疗案例信息的示例包括患者信息、测试信息、诊断信息、器官区域信息和关注区域信息。根据需要，将这样的相关信息与三维图像一起发送到图像处理装置100。

图像处理装置100包括三维图像获得单元102、变形信息获得单元104、变形图像生成单元106、断面设置单元108、断面图像生成单元110、目标位置指定单元112、对应位置计算单元114和显示控制单元116。

三维图像获得单元102从数据服务器150获得被检体的第一三维图像和第二三维图像。

变形信息获得单元104从数据服务器150获得代表第一三维图像与第二三维图像之间变形的变形信息。

变形图像生成单元106使用所获得的变形信息使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配以生成第一变形图像。变形图像生成单元106还使用所获得的变形信息使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配以生成第二变形图像。

断面设置单元108设置要将第一三维图像和第二三维图像以及第一变形图像和第二变形图像切割成的各断面。

断面图像生成单元110根据第一三维图像和第二三维图像以及第一变形图像和第二变形图像按所设置的断面生成断面图像。根据第一三维图像和第二三维图像生成的各断面图像能够被称为第一断面图像和第二断面图像。根据第一变形图像和第二变形图像生成的各断面图像能够被称为第一变形断面图像和第二变形断面图像。

目标位置指定单元112基于由用户的操作而输入的信息，来指定第二三维图像的断面图像上的目标位置。用户能够使用图17中所示的操作单元1709来进行这样的输入操作。

对应位置计算单元114计算与第二三维图像的断面图像上的目标位置相对应的第一三维图像上的对应位置。

显示控制单元116进行用于在用作显示单元的显示器172上显示第一三维图像和第二三维图像以及第一变形图像和第二变形图像的各断面图像以及用于向用户报告其他信息的画面的控制。

(硬件构造)

图17示出了图像处理装置100的硬件构造的示例。图像处理装置100包括CPU1701、ROM 1702、RAM 1703、HDD 1704、USB 1705、通信电路1706、GPU板1707以及HDMI 1708。这些部件通过内部总线连接以彼此通信。

中央处理单元(CPU)1701是综合地控制图像处理装置100和与其连接的个体单元的控制电路。CPU 1701通过执行ROM 1702中存储的程序来进行控制。CPU 1701还执行作为用于控制显示器172(用作显示单元)的软件的显示驱动器，以对显示器172进行显示控制。CPU 1701还对操作单元1709进行输入/输出控制。

只读存储器(ROM)1702存储其中存储有CPU 1701的控制的过程的程序以及数据。

随机存取存储器(RAM)1703是存储用于进行图像处理装置100和与其连接的各个单元中的处理的程序以及在图像处理中使用的各种参数的存储器。RAM 1703存储要由CPU1701执行的控制程序，并且当CPU 1701进行各种控制时暂时存储各种数据。

硬盘驱动器(HDD)1704是存储诸如X射线图像数据等的各种数据的辅助存储设备。

通用串行总线(USB)1705连接到操作单元1709。作为操作单元1709，能够使用鼠标、键盘等。

通信电路1706是用于与图像处理系统1中包括的每个部件进行通信的电路。通信电路1706可以根据预期的通信形式包括多个部件。

GPU板1707是包括GPU和视频存储器的多功能图形板。GPU板1707的配设允许在不需要专用硬件的情况下进行图像处理的高速算术运算和图像显示。在实施例1中的构造中，从数据服务器150获得变形图像和误差图像。因此，图像处理装置100不需要包括GPU板1707。

高分辨率多媒体接口(注册商标)(HDMI)1708连接到用作显示单元的显示器172。

与图像处理装置100类似，数据服务器150能够由具有CPU和存储器的信息处理装置形成并且根据程序进行操作。注意，图像处理装置100还可以从诸如光声断层摄影装置或核磁共振摄像装置等的实际器械，而不是从数据服务器150，接收三维图像。数据服务器150和图像处理装置也可以由物理上相同的信息处理装置形成。

作为显示器172，能够使用诸如液晶显示器或有机EL显示器等的任何显示设备。通过使用触摸面板，显示器172也能够用作操作单元1709。

(处理流程)

图2是示出由图像处理装置100进行的处理的示例的流程图。通过进行图2中所示的处理，图像处理装置100显示以拼片(tile)的形式排列的第一三维图像和第二三维图像以及第一变形图像和第二变形图像。

在步骤S2000中，三维图像获得单元102从数据服务器150获得被检体的三维图像中的各个。然后，三维图像获得单元102将所获得的图像发送到变形图像生成单元106和断面图像生成单元110中的各个。

在步骤S2010中，变形信息获得单元104从数据服务器150获得代表三维图像之间的变形的变形信息。在实施例1中，变形信息获得单元104获得包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息。然后，变形信息获得单元104将所获得的变形信息发送到变形图像生成单元106。

在步骤S2020中，变形图像生成单元106通过使用在步骤S2010中获得的变形信息使第一三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配，来生成第一变形图像。变形图像生成单元106还通过使第二三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配，来生成第二变形图像。然后，变形图像生成单元106将所生成的第一变形图像和第二变形图像发送到断面图像生成单元110。

在第一变形图像的生成中，使第一三维图像变形以生成第二三维图像，代表从第二三维图像至第一三维图像的变形的变形信息是关于逆向变形的信息。通过进行计算以基于逆向变形确定要从中获得值的第一三维图像的体素，来实现从第一三维图像获得第一变形图像的各个体素的值的处理。

另一方面，在第二变形图像的生成中，使第二三维图像变形以生成第一三维图像，代表从第二三维图像至第一三维图像的变形的变形信息是关于前向变形的信息。因此，变形图像生成单元106根据在步骤S2010中获得的变形信息，生成代表从第一三维图像至第二三维图像的变形的逆向变形信息。然后，变形图像生成单元106使用逆向变形信息生成第二变形图像。具体地，变形图像生成单元106基于在步骤S2010中获得的关于变形场的信息，探索性地计算从第一三维图像的各个体素的位置至第二三维图像上的对应位置的位移向量。计算所有体素的位置的位移向量的结果用作关于逆向变形场的信息，即逆向变形信息。

在步骤S2030中，断面设置单元108设置在步骤S2000中获得的三维图像要被切割成的各断面以及在步骤S2020中生成的变形图像要被切割成的各断面。然后，断面设置单元108将关于各个所设置的断面的信息发送到断面图像生成单元110。

在初始状态下，例如，设置通过个体三维图像的各中心的轴向断面。另一方面，当从稍后描述的步骤S2070转变到该处理步骤时，通过对在步骤S2030中的先前进行的处理之后的个体断面应用在步骤S2070中设置的断面改变参数，来设置新的断面。

当从稍后描述的步骤S2100转变到该处理步骤时，设置第一三维图像和第二变形图像要被切割成的、包括在步骤S2100中计算的对应位置的各断面。基于示出在步骤S2070中设置的断面的取向的信息，来设置断面的取向。注意，当从步骤S2100转变到该处理步骤时，不需要改变第二三维图像和第一变形图像要被切割成的各断面。

在步骤S2040中，断面图像生成单元110从在步骤S2000中获得的各三维图像和在步骤S2020中生成的各变形图像中切出在步骤S2030中设置的断面，以形成其各断面图像。然后，断面图像生成单元110将所生成的断面图像中的各个发送到目标位置指定单元112和显示控制单元116中的各个。

在步骤S2050中，显示控制单元116进行用于在显示器172上显示在步骤S2040中生成的各个断面图像的控制。在本实施例中，按2×2构造以拼片的形式布置个体断面图像。此时，第一三维图像和第二三维图像的各断面图像被布置成位于对角线上(在左上位置和右下位置处或在左下位置和右上位置处)。然后，第一变形图像和第二变形图像被设置在其他剩余位置处。此时，根据关于断面的取向的信息和关于主变形的方向的信息，来确定第一变形图像和第二变形图像的各位置。例如，当在图像之间观察到的主变形的方向是从乳头至胸大肌的方向时并且当显示轴向断面时，第一变形断面图像被设置在与第一断面图像的列相同的列(在上部位置或下部位置)中，而第二变形断面图像被设置在与第二断面图像的列相同的列中。也就是说，当第一断面图像被设置在左上位置处时，第一变形断面图像被设置在左下位置处(在第一断面图像下方)，而第二变形断面图像被设置在右上位置处(在第二断面图像上方)(图3)。另一方面，当显示相同图像的矢状(sagittal)断面时，第一变形断面图像被设置在与第一断面图像的行相同的行(在左侧或右侧)中，而第二变形断面图像被设置在与第二断面图像的行相同的行中。也就是说，当第一断面图像被设置在左上位置处时，第一变形断面图像被设置在右上位置处(在第一断面图像的右侧)，而第二变形断面图像被设置在左下位置处(在第二断面图像的左侧)(图4)。

图3示出了在显示器172上显示的被检体的第一三维图像的断面图像301、被检体的第二三维图像的断面图像302、第一变形图像的断面图像303以及第二变形图像的断面图像304的示例。图3示出了被检体是乳房，断面的取向是轴向断面的取向并且主变形的方向是从乳头至胸大肌的方向的情况。这里假设关于主变形的方向的信息作为变形信息项目之一被预先保持在数据服务器150中。

在实施例1中，以拼片的形式布置个体断面图像，使得第一三维图像的断面图像301和第二三维图像的断面图像302位于对角线上。在图3的示例中，第一断面图像301被设置在左上位置处，第二断面图像302被设置在与第一断面图像301的位置对角的右下位置处。另一方面，第一变形断面图像303被设置在左下位置处，第二变形断面图像304被设置在右上位置处。当在稍后描述的步骤S2090中指定了目标位置并且在步骤S2100中计算了对应位置时，优选地调整断面图像的各显示位置，使得目标位置与显示器172上的对应位置一致。也就是说，在图3中，进行调整，使得示出与第二断面图像上的目标位置312相同的位置的、第一变形断面图像303上的位置313在横向方向上与第一断面图像301上的对应位置311一致。此外，优选地进行调整，使得示出与第一断面图像301上的对应位置311相同的位置的、第二变形断面图像304上的位置314在横向方向上与第二断面图像302上的目标位置312一致。

在稍后描述的步骤S2070中获得示出断面的取向为矢状断面的取向的信息的情况下，如图4中所示，优选地将第一变形图像的断面图像403和第二变形图像的断面图像404的各位置彼此切换。

即使在也获得示出断面的取向为轴向断面的取向的信息的情况下，当主变形的方向为乳房的横向方向时，如图5中所示，优选地也将第一变形图像的断面图像503和第二变形图像的断面图像504的各位置彼此切换。

注意，当断面的取向为矢状断面的取向并且主变形的方向为乳房的横向方向时的画面的布局，优选地与断面的取向为轴向断面的取向并且主变形的方向为从乳头至胸大肌的方向的情况下的布局相同，如图6中所示。同样在这种情况下，优选地调整断面图像的各显示位置，使得目标位置与显示器172上的对应位置一致。

在步骤S2060中，图像处理装置100确定是否改变各个三维图像的断面。例如，基于用户是否使用操作单元1709进行了与断面的改变相关联的预定操作，来输入关于改变的确定的结果。将在步骤S2070的描述中示出与断面的改变相关联的预定操作的具体示例。当接收到表示改变的输入时，处理进入步骤S2070。另一方面，当没有接收到表示改变的输入时，处理进入步骤S2080。

在步骤S2070中，断面设置单元108根据由用户使用操作单元1709进行的操作来设置断面改变参数，并且将所设置的断面改变参数发送到断面图像生成单元110。然后，处理返回步骤S2030。

在实施例1中，作为断面改变参数，设置了将各个断面的位置在断面的法线方向上移动的移动量L。例如，当按下“f”键时，设置移动量L＝1mm。当按下“b”键时，设置移动量L＝-1mm。作为选择，作为断面改变参数，设置示出各个断面的取向的信息。例如，当按下“a”键时，设置示出各个断面为轴向断面的信息。当按下“s”键时，设置示出各个断面为矢状断面的信息。当按下“c”键时，设置示出各个断面是冠状(coronal)断面的信息。

注意，断面改变参数不限于各个断面的移动量L或取向。作为断面改变参数，也可以设置关于针对各个断面的旋转的旋转轴、旋转角度等的信息。作为选择，也可以将各个断面的厚度(在下文中被称为板坯厚度)设置为断面改变参数。断面改变参数也可以不响应于预定键的按下而设置，而是响应于移动鼠标的操作、旋转鼠标滚轮的操作等。

注意，断面的更新可以针对所有图像同时(相关联地)进行，或者也可以个体地进行。也能够仅更新彼此对准的图像的断面(即，第一三维图像和第二变形图像，以及第二三维图像和第一变形图像)。还能够的是，当更新关注的给定图像的断面时，计算并更新与所更新的断面相对应(最接近)的各个其他图像的断面。此时，能够基于变形信息进行对应断面的计算。注意，当关注的图像的断面是正交断面时，优选地获得各个其他图像的对应断面作为正交断面，并且当关注图像的断面为任意断面时，也优选地获得各个其他图像的对应断面作为任意断面。

在步骤S2080中，图像处理装置100确定是否指定目标位置。例如，基于用户是否操作了未示出的鼠标并且将鼠标光标定位在第二三维图像的断面图像上，来输入关于改变的确定的结果。当接收到表示改变的输入时，处理进行到步骤S2090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S2110。

在步骤S2090中，目标位置指定单元112基于通过用户操作输入的信息来指定第二三维图像的断面图像上的目标位置，并且将所指定的目标位置发送到对应位置计算单元114和断面设置单元108中的各个。在实施例1中，用户操作未示出的鼠标以将鼠标光标定位在断面图像上，因而指定目标位置。在图3中，312表示代表第二三维图像的断面图像302上的目标位置的图，而313表示代表与目标位置312相同的、第一变形图像的断面图像303上的位置的图。

在步骤S2100中，对应位置计算单元114计算与步骤S2090中指定的目标位置相对应的、第一三维图像上的对应位置，并且将计算出的相应位置发送到断面设置单元108。然后，处理返回到步骤S2030。具体地，使用包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息(变形信息)，对应位置计算单元114确定与第二三维图像的断面图像上的目标位置相对应的第一三维图像上的对应位置。在图3中，311表示代表第一三维图像上的对应位置的图，而314表示代表与对应位置311相同的、第二变形图像上的位置的图。

在步骤S2110中，图像处理装置100确定是否结束整个处理。例如，图像处理装置100根据诸如检测操作者是否用未示出的鼠标点击了置于显示器172上的结束按钮的方法，来确定是否结束整个处理。当确定结束处理时，图像处理装置100的整个处理结束。另一方面，当未确定结束处理时，处理返回到步骤S2050。

如上所述，在实施例1中，排列显示通过对被检体进行摄像而获得的第一三维图像、通过根据第二三维图像使第一三维图像变形而获得的第一变形图像、第二三维图像以及通过根据第一三维图像使第二三维图像变形而获得的第二变形图像。这允许用户容易地将图像彼此进行比较。

[变型例]

在实施例1中，通过示例的方式描述了在第二三维图像的断面图像上指定目标位置的情况。然而，目标位置的指定不限于此。也可以在第一变形图像上指定目标位置。在这种情况下，适当的是，将在第一变形图像的断面图像上指定的目标位置处理为第二三维图像上的目标位置。

作为选择，也可以在第一三维图像的断面图像上指定目标位置。在这种情况下，在步骤S2100中，使用包括从第一三维图像的个体体素的位置至第二三维图像上的对应位置的位移向量的、关于逆向变形场的信息(逆向变形信息)，可以适当地确定与第一三维图像的断面图像上的目标位置相对应的第二三维图像上的对应位置。又作为选择，也可以在第二变形图像上指定目标位置。在这种情况下，可以将在第二变形图像的断面图像上指定的目标位置适当地处理为第一三维图像上的目标位置。

在实施例1中，通过示例的方式描述了变形信息是包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息的情况。然而，变形信息不限于此，并且也可以包括如下的信息二者：包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的关于变形场的信息，以及包括从第一三维图像的个体体素的位置至第二三维图像上的对应位置的位移向量的关于变形场的信息。在这种情况下，在步骤S2020中，不需要计算关于逆向变形的信息。

同样，在实施例1中，通过示例的方式描述了以排列的拼片的形式显示第一三维图像的断面图像301、第二三维图像的断面图像302、第一变形图像的断面图像303以及第二变形图像的断面图像304的情况。然而，断面图像的显示不限于此。也可以可切换地显示四个断面图像当中的预定数量的断面图像。同时显示的图像的数量、设置个体图像的位置以及在可切换显示的情况下一次显示的预定数量的图像也没有限制。另外，各个显示模式中的图像的组合是任意的。预定数量的图像也可以通过用户的操作来改变。这同样适用于稍后描述的图像数量是除4以外的情况。

例如，也能够基于通过用户操作输入的信息，在显示两个图像(即，第一三维图像的断面图像301和第二变形图像的断面图像304)的模式与显示两个图像(即，第二三维图像的断面图像302和第一变形图像的断面图像303)的显示模式之间切换。

也能够基于通过用户操作输入的信息，在显示两个图像(即，第一三维图像的断面图像301和第一变形图像的断面图像303)的显示模式与显示两个图像(即，第二三维图像的断面图像302和第二变形图像的断面图像304)的显示模式之间切换。作为选择，还可以基于通过用户操作输入的信息，来连续地可切换地显示四个断面图像。

图像的显示不限于实施例1中描述的示例。如图7中所示，也能够排列显示通过将第二变形图像的断面图像叠置在第一三维图像的断面图像上而获得的叠置图像701以及通过将第一变形图像的断面图像叠置在第二三维图像的断面图像上而获得的叠置图像702。作为选择，也可以可切换地显示这些图像。

又作为选择，还能够的是，在按2×2构造的以拼片的形式的显示区域中，将第一三维图像和第二三维图像的各断面图像布置成对角地定位，然后将通过将第一变形图像的断面图像叠置在第二三维图像的断面图像上而获得的叠置图像和通过将第二变形图像的断面图像叠置在第一三维图像的断面图像上而获得的叠置图像设置在其他剩余位置处，代替第一变形图像和第二变形图像。仍作为选择，还能够的是，代替第一变形图像和第二变形图像，设置为显示第二三维图像与第一变形图像之间的差分图像的断面图像以及第一三维图像与第二变形图像之间的差分图像的断面图像。又作为选择，还能够允许用户选择变形图像、叠置图像和差分图像中的哪一个要被显示在关注位置处，并且将所显示的图像切换为所选择的图像。

图像的显示不限于实施例1中描述的示例。如图8中所示，还能够的是，与在实施例1中描述的要按3×2的构造以拼片的形式显示的四个断面图像一起排列通过将第二变形图像的断面图像804叠置在第一三维图像的断面图像801上而获得的叠置图像805和通过将第一变形图像的断面图像803叠置在第二三维图像的断面图像802上而获得的叠置图像806。作为选择，代替叠置图像，还可以显示差分图像。还能够允许用户选择要显示图像中的哪些，并且允许所选择的图像可切换地显示。也能够允许用户经由操作单元在上述的各种显示模式当中进行选择。作为与第一图像(第一三维图像)的变形相关联地显示的图像(基于第一变形图像的图像)，存在第一变形图像自身、通过将第一变形图像叠置在第二图像上而获得的图像、第二图像与第一变形图像之间的差分图像等。另外，作为与第二图像(第二三维图像)的变形相关联地显示的图像(基于第二变形图像的图像)，存在第二变形图像自身、通过将第二变形图像叠置在第一图像上而获得的图像、第一图像与第二变形图像之间的差分图像等。

[实施例2]

在实施例2中，将给出对如下的示例的描述：通过对被检体进行摄像而获得的三个三维图像各自根据其他三维图像而变形以生成变形图像，并且排列显示变形图像。注意，在实施例2中，假设已经预先获得了代表三维图像之间的变形的变形信息。以下将描述根据实施例2的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。

图9示出了根据实施例2的图像处理装置900的功能构造的示例。实施例2中的图像处理系统9包括图像处理装置900、数据服务器950和显示器172。注意，与图1中相同的部分由相同的附图标记/符号表示，并且省略其描述。

除了其第一三维图像和第二三维图像以外，实施例2中的数据服务器950还保持被检体的第三三维图像。数据服务器950还保持代表三维图像之间的变形的变形信息。实施例2中的变形信息是关于变形场的信息，所述关于变形场的信息针对各个三维图像，示出与各个三维图像的个体体素的位置相对应的其他三维图像上的各位置。

三维图像获得单元902从数据服务器150获得被检体的三维图像中的各个。变形信息获得单元904从数据服务器150获得代表三维图像之间的变形的变形信息。变形图像生成单元906针对各个三维图像，使用变形信息使其他三维图像变形，使得其位置和形状与各个三维图像的位置和形状匹配，以生成六个变形图像。

在此提及的六个变形图像是：

·通过使第二三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配而获得的变形图像；

·通过使第三三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配而获得的变形图像；

·通过使第一三维图像变形使得其位置和形状与第三三维图像的位置和形状匹配而获得的变形图像；

·通过使第一三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配而获得的变形图像；

·通过使第二三维图像变形使得其位置和形状与第三三维图像的位置和形状匹配而获得的变形图像；以及

·通过使第三三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配而获得的变形图像。

断面设置单元908设置三维图像及其变形图像要被切割成的各断面。断面图像生成单元910根据个体三维图像及其变形图像，生成在所设置的断面中的断面图像。目标位置指定单元912基于通过用户操作输入的信息，来指定三维图像中的任何一个的断面图像上的目标位置。对应位置计算单元914针对三维图像中的任何一个，计算与三维图像中的任何一个的断面图像上的目标位置相对应的其他三维图像上的各对应位置。显示控制单元916进行用于在显示器172上显示个体断面图像和用于向用户报告其他信息的画面的控制。

图10是示出由图像处理装置900进行的处理的示例的流程图。图像处理装置900以排列的拼片的形式显示被检体的三个三维图像及其变形图像。由于步骤S10040、S10060、S10070和S10110中的处理与实施例1中的步骤S2040、S2060、S2070和S2110中的处理相同，因此在此省略其描述。

在步骤S10000中，三维图像获得单元902从数据服务器950获得被检体的三个三维图像。然后，三维图像获得单元902将所获得的图像发送到变形图像生成单元906和断面图像生成单元910中的各个。

在步骤S10010中，变形信息获得单元904从数据服务器950获得关于变形场的信息，作为代表三维图像之间的变形的变形信息，所述关于变形场的信息针对各个三维图像，示出与各个三维图像的个体体素的位置相对应的其他三维图像上的各位置。然后，变形信息获得单元904将所获得的变形信息发送到变形图像生成单元906。

在步骤S10020中，变形图像生成单元906针对各个三维图像，使用在步骤S10010中获得的变形信息使其他三维图像变形，使得其位置和形状与各个三维图像的位置和形状匹配，以生成上述的六个变形图像。然后，变形图像生成单元906将所生成的六个变形图像发送到断面图像生成单元910和目标位置指定单元912中的各个。

在步骤S10030中，断面设置单元908设置在步骤S10000中获得的三维图像要被切割成的各断面以及在步骤S10020中生成的变形图像要被切割成的各断面，并且将关于所设置的断面中的各个的信息发送到断面图像生成单元910。由于设置断面的方法与实施例1中的相同，因此省略其描述。

在步骤S10050中，显示控制单元916进行用于在显示器172上显示在步骤S10040中生成的断面图像中的各个的控制。在本实施例中，按3×3构造以拼片的形式布置个体断面图像。此时，第i个三维图像被设置在穿过所布置的拼片的对角线上的位置(i，i)处。另外，通过根据第j个三维图像使第i个三维图像变形而获得的变形图像被设置在所布置的拼片上的位置(i，j)处。

图11示出了在显示器172上显示的被检体的三个三维图像的断面图像1101、1102和1103以及六个变形图像的断面图像1104、1105、1106、1107、1108和1109的示例。如图11中所示，在实施例2中，以拼片的形式布置个体断面图像，使得三个三维图像的断面图像1101、1102和1103对角地定位。另一方面，六个断面图像1104、1105、1106、1107、1108和1109被设置在不定位于对角线的各适当位置处。

在步骤S10080中，图像处理装置900确定是否指定目标位置。例如，能够通过检测用户是否操作了未示出的鼠标并且将鼠标光标定位在三维图像中的任何一个的断面图像上，来确定是否存在改变。当接收到表示改变的输入时，处理进入步骤S10090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S10110。

在步骤S10090中，目标位置指定单元912基于通过用户操作输入的信息来指定三维图像中的任何一个的断面图像上的目标位置，并且将所指定的目标位置发送到对应位置计算单元914和断面设置单元908中的各个。

在步骤S10100中，对应位置计算单元914针对三维图像中的任何一个，计算与三维图像中的任何一个的断面图像上的目标位置相对应的其他三维图像上的各对应位置，并且将计算出的对应位置发送到断面设置单元908。然后，处理返回到步骤S10030。由于具体的计算方法与实施例1中相同，因此省略其描述。

如上所述，在实施例2中，通过根据其他三维图像使通过对被检体进行摄像而获得的三个三维图像中的各个变形来生成变形图像，并且将其排列显示。这允许用户容易地将这三个图像彼此进行比较。

[变型例]

在实施例2中，通过示例的方式描述了以排列的拼片的形式显示被检体的三个三维图像的断面图像1101、1102和1103以及六个变形图像的断面图像1104、1105、1106、1107、1108和1109的情况。然而，断面图像的显示不限于此。也可以可切换地显示这九个断面图像。在可切换地显示中一次显示的图像的数量可以是1、3或其他数量。

另外，在实施例2中，通过示例的方式描述了通过对被检体进行摄像而获得的三维图像的数量为3的情况。然而，三维图像的数量不限于此，并且也可以是4个或更多。

另外，在实施例2中，通过示例的方式描述了在三维图像中的任一个的断面图像上指定目标位置的情况。然而，目标位置的指定不限于此。也可以在变形图像中的任何一个的断面图像上指定目标位置。

[实施例3]

实施例3的特性特征涉及第一三维图像和第二三维图像的断面图像的取向。具体地，在专门以正交断面显示图像的模式与允许图像以任意断面显示的模式之间切换断面图像的显示。以下将描述根据实施例3的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。

图12示出了根据实施例3的图像处理装置1200的功能构造的示例。实施例3中的图像处理系统12包括图像处理装置1200、数据服务器1250和显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。

实施例3中的断面设置单元1208设置第一三维图像和第二三维图像以及第一变形图像和第二变形图像要被切割成的各断面。在实施例3中，作为断面改变参数，设置如下的信息：示出是断面的取向被限制为正交断面的取向，还是也允许任意断面的取向。

图13是示出由图像处理装置1200进行的处理的示例的流程图。图像处理装置1200针对各个断面图像，以正交断面显示正交断面图像或者以任意断面显示任意断面图像。由于步骤S13000至S13020、S13040至S13060以及步骤S13080至S13110中的处理与实施例1中的步骤S2000至S2020、S2040至S2060以及S2080至S2110中的处理相同，因此在此省略其描述。

在步骤S13030中，断面设置单元1208设置在步骤S10000中获得的三维图像要被切割成的各断面以及在步骤S10020中生成的变形图像要被切割成的各断面。然后，断面设置单元1208将关于所设置的断面中的各个的信息发送到断面图像生成单元110。

在该处理步骤的初始状态下的处理以及当从步骤S13070转变到该处理步骤时的处理与实施例1中相同，因此省略其描述。另一方面，当从步骤S13100转变到该处理步骤时，基于在步骤S13070中设置的、示出是断面的取向被限制为正交断面的取向还是也允许任意断面的取向的信息，来设置包括在步骤13090中指定的目标位置的、第二三维图像和第一变形图像要被切割成的断面，以及包括在步骤S13100中计算出的对应位置的、第一三维图像和第二变形图像要被切割成的断面。

当作为计算出对应位置的第一三维图像要被切割成的断面，也允许任意断面时，根据例如在日本特开2011-125570号公报中所描述的方法，计算与第二三维图像的断面图像相对应的第一三维图像的任意断面，作为第三断面图像。然后，将计算出的任意断面图像设置为第一三维图像要被切割成的断面。

另一方面，当第一三维图像要被切割成的断面被限制为正交断面时，选择三个正交断面(即，轴向断面、矢状断面和冠状断面)中的、与上述的任意断面最接近的一个来设置。作为选择，预先指定正交断面中的任何一个来设置。关于预先指定的断面的信息可以包括在由图像处理装置1200获得的信息中，或者包括在由操作单元从用户接收的输入信息中。

当第一三维图像的断面图像要被切割成的断面被限制为正交断面，并且作为第二三维图像的断面图像要被切割成的断面也允许任意断面时，再次计算与第一三维图像的正交断面相对应的第二三维图像的任意断面，以作为第二三维图像要被切割成断面来再次设置。

在步骤S13070中，断面设置单元1208响应于由用户使用操作单元1709进行的操作来设置断面改变参数，并且将所设置的断面改变参数发送到断面图像生成单元110。然后，处理返回到步骤S13030。在实施例3中，除了在步骤S2070中描述的断面改变参数以外，还设置如下的信息作为断面改变参数：针对第一三维图像和第二三维图像的断面图像中的各个，示出是断面的取向被限制为正交断面的取向，还是也允许任意断面的取向。

例如，当按下“t”键时，第一三维图像的断面图像的断面被限制为正交断面，并且当按下“T”键时，第二三维图像的断面图像的断面被限制为正交断面。另一方面，当按下“u”键时，也允许任意断面作为第一三维图像的断面图像的断面，并且当按下“U”键时，也允许任意断面作为第二三维图像的断面图像的断面。当三维图像中的一个的断面图像的断面被限制为正交断面时，其他三维图像的断面图像的断面也可以被自动地限制为正交断面。同样，当允许任意断面作为三维图像中的一个的断面图像的断面时，作为其他三维图像的断面图像的断面，也可以自动允许任意断面。注意，也可以将示出任意断面是与其他断面相对应的弯曲断面、还是通过用平面对弯曲断面进行近似而获得的断面、或者是通过将弯曲断面投影到平面上而获得的断面的信息，设置为断面改变参数。

如上所述，在实施例3中，在第一三维图像和第二三维图像的断面图像中的各个的取向方面，在专门以正交断面显示图像的模式与允许图像也以任意断面显示的模式之间切换图像的显示。这允许用户在图像容易地可比较的断面的取向上容易地将图像彼此进行比较。

[变型例]

在实施例3中，给出了对如下示例的描述：在将用来显示图像的断面限制为正交断面的模式与也允许任意断面被用来显示图像的模式之间切换图像的显示。然而，图像的显示不限于此。正交断面和任意断面二者也可以同时被用来显示图像。

[实施例4]

在实施例4中，将给出对如下示例的描述：基于通过用户操作输入的信息，来校正与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置，以更新变形信息。以下将描述根据实施例4的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。

图14示出了根据实施例4的图像处理装置1400的功能构造的示例。实施例4中的图像处理系统14包括图像处理装置1400、数据服务器1450和显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。

作为代表第一三维图像与第二三维图像之间的变形的变形信息，数据服务器1450保持关于第一三维图像和第二三维图像中的多组对应点的信息。变形信息获得单元1404从数据服务器1450获得关于第一三维图像和第二三维图像中的多组对应点的信息。变形信息获得单元1404还将如下的对应点的组添加到关于多组对应点的信息，所述对应点的组包括在第二三维图像的断面图像上指定的目标位置和基于通过用户操作输入的信息而校正的第一三维图像上的对应位置。变形信息获得单元1404还使用关于多组对应点的信息，来导出代表第一三维图像和第二三维图像之间的变形的变形信息。变形图像生成单元1406使用所获得的变形信息使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配以生成第一变形图像。变形图像生成单元1406还使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配以生成第二变形图像。

显示控制单元1416进行用于在显示器172上显示第一三维图像和第二三维图像以及第一变形图像和第二变形图像的各断面图像、以及用于向用户报告其他信息的画面的控制。显示控制单元1416还进行如下的控制：在所有断面上以不同的显示形式，显示代表从数据服务器1450获得的多组对应点的位置的图以及代表新添加的对应点的组的位置的图。对应位置校正单元1418基于通过用户操作输入的信息，来校正与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置。

图15是示出由图像处理装置1400进行的处理的示例的流程图。图像处理装置1400基于对应位置的校正来更新变形信息。步骤S15000、S15110、S15030至S15040、S15060至S15100中的处理与实施例1中的步骤S2000、S2110、S2030至S2040、S2060至S2100中的处理相同，因此在此省略其描述。

在步骤S15010中，变形信息获得单元1404从数据服务器1450获得关于第一三维图像和第二三维图像中的多组对应点的信息。当从稍后描述的步骤S15107转变到该处理步骤时，将如下的对应点的组添加到关于多组对应点的信息，所述对应点的组包括在第二三维图像的断面图像上指定的目标位置和基于通过用户操作输入的信息而校正的第一三维图像上的对应位置。然后，变形信息获得单元1404使用所获得的关于多组对应点的信息，导出代表第一三维图像与第二三维图像之间的变形的变形信息。对于从多组对应点导出变形信息的处理，能够使用任何已知的方法。然后，变形信息获得单元1404将所导出的变形信息发送到变形图像生成单元1406。

在步骤S15020中，使用在步骤S15010中获得的变形信息，变形图像生成单元1406使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配，以生成第一变形图像。对于变形处理，能够使用任何已知的方法。然后，变形图像生成单元1406计算包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息。变形图像生成单元1406还计算用于使第二三维图像变形的逆向变形信息，使得其位置和形状与第一三维图像的位置和形状匹配，然后使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配，以生成第二变形图像。

在步骤S15050中，显示控制单元1416进行用于在显示器172上显示在步骤S14040中生成的各个断面图像的控制。图16示出了在显示器172上显示的被检体的第一三维图像的断面图像1601、第二三维图像的断面图像1602、第一变形图像的断面图像1603和第二变形图像的断面图像1604的示例。在实施例4中，还在所有断面图像上以不同的显示形式显示代表新添加的对应点的组的位置的图(1611、1612、1613和1614)和代表从数据服务器1450获得的多组对应点的位置的图(1621、1622、1623、1624、1631、1632、1633和1634)。

在步骤S15015中，图像处理装置1400确定是否校正对应点的组。例如，通过检测用户是否操作了未示出的鼠标并且在第一三维图像的断面图像上点击，图像处理装置1400确定改变的有无。当接收到表示改变的输入时，处理进入步骤S15107。另一方面，当没有接收到表示改变的输入时，处理返回到步骤S15030。

在步骤S15107中，对应位置校正单元1418将与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置，校正为用户通过操作未示出的鼠标而点击的第一三维图像的断面图像上的位置。然后，对应位置校正单元1418将校正的对应位置发送到变形信息获得单元1404和显示控制单元1416中的各个。

如上所述，在实施例4中，通过基于通过用户操作而输入的信息对与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置进行校正，来更新变形信息。这允许用户容易地识别图像之间的配准的适当性，并且根据需要校正配准。

[实施例5]

在实施例5中，将给出对如下的示例的描述：在用于排列显示第一三维图像和第二三维图像的图像处理装置中，允许更容易地识别第一三维图像和第二三维图像之间的对应关系。具体地，当指定个体图像中的对应已知点的组中的点之一作为目标点时，根据第二三维图像生成包括目标点的位置(目标位置)的断面图像，同时根据第一三维图像生成包括与目标点相对应的对应点的位置(对应位置)的断面图像。以下将描述实施例5，重点在于其与实施例1不同的部分。对于与实施例1中相同的部分，省略其详细描述。

图18是示出根据实施例5的图像处理装置1800的功能构造的示例的图。实施例5中的图像处理系统18包括图像处理装置1800、数据服务器1850以及显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。

数据服务器1850保持被检体的第一三维图像和第二三维图像。数据服务器1850还保持第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。

对应点信息获得单元1803从数据服务器1850获得第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。

断面设置单元1808基于稍后描述的目标位置，设置第二三维图像要被切割成的断面。断面设置单元1808还基于稍后描述的对应位置设置第一三维图像要被切割成的断面。

断面图像生成单元1810根据第一三维图像和第二三维图像以所设置的断面生成断面图像。

目标位置获得单元1812基于通过用户操作输入的信息来指定第二三维图像的断面图像上的位置。用户能够使用图17中所示的操作单元1709进行这样的输入操作。目标位置获得单元1812基于所指定的位置和第二三维图像上的已知点的组的位置来选择已知点的组中的点之一作为目标点，并且获得所选择的目标点的位置作为目标位置。

对应位置获得单元1814从关于已知点的组的信息中获得与第二三维图像上的目标点相对应的第一三维图像上的对应点的位置(对应位置)。

显示控制单元1816进行用于在显示器172上显示第一三维图像和第二三维图像的各断面图像和用于向用户报告其他信息的画面的控制。第一三维图像的断面图像能够被称为第一断面图像。第二三维图像的断面图像能够被称为第二断面图像。此时，显示控制单元1816进行控制，使得在显示画面上，第二三维图像上的目标点的位置(目标位置)与第一三维图像上的对应点的位置(对应位置)在横向方向或竖直方向上一致。为此目的，显示控制单元1816使用将对应点的显示位置定位在目标点的显示位置处的这样的方法，来调整第一三维图像的断面图像的显示位置。此时，显示控制单元1816调整第二断面图像的位置，使得在显示单元的画面上调整后的对应位置与调整前的目标位置在竖直方向或横向方向上一致，并且显示断面图像。

图19是示出由图像处理装置1800进行的处理的示例的流程图。图像处理装置1800显示包括目标点的断面图像和包括对应点的断面图像，使得在显示画面上目标点的位置(目标位置)与对应点的位置(对应位置)一致。步骤S19000、S19060、S19070和S19110中的处理与实施例1中的步骤S2000、S2060、S2070和S2110中的处理相同，因此在此省略其描述。

在步骤S19005中，对应点信息获得单元1803从数据服务器1850获得第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。然后，对应点信息获得单元1803将所获得的对应点信息发送到目标位置获得单元1812和对应位置获得单元1814中的各个。

在步骤S19030中，断面设置单元1808设置在步骤S19000中获得的个体三维图像要被切割成的各断面。当从稍后描述的步骤S19100转变到该处理步骤时，设置通过在步骤S19090中获得的目标位置的、第二三维图像要被切割成的断面。也就是说，当第二三维图像要被切割成的断面不通过目标位置时，将断面在与断面垂直的方向上平移以便通过目标位置。另外，设置通过在步骤S19100中获得的对应位置的、第一三维图像要被切割成的断面。当从步骤S19020或步骤S19070转变到该处理步骤时的处理与当从步骤S2020或S2070转变到步骤S2030时的处理相同，因此省略其描述。

在步骤S19040中，断面图像生成单元1810从在步骤S19000中获得的各三维图像切割在步骤S19030中设置的断面，以生成个体断面图像。然后，断面图像生成单元1810将所生成的断面图像中的各个发送到目标位置获得单元1812和显示控制单元1816中的各个。

在步骤S19050中，显示控制单元1816进行用于在显示器172上排列显示在步骤S19040中生成的各个断面图像的控制。此时，当在后续阶段的处理中已经获得目标位置和对应位置时，显示控制单元1816调整在步骤S19040中生成的断面图像的各显示位置，使得在显示器172上目标位置和对应位置彼此一致。

具体地，首先，显示第二三维图像的断面图像，使得第二三维图像的断面图像中的目标位置与在稍后描述的步骤S19090中计算出的投影位置相同。

接下来，当以横向排列显示个体断面图像时，在竖直方向上平移第一三维图像的断面图像，以被显示为使得在显示器172上第二三维图像中的目标位置与第一三维图像中的对应位置在竖直方向上一致。

另一方面，当以垂直排列显示个体断面图像时，在横向方向上平移第一三维图像的断面图像，以被显示为使得在显示器172上第二三维图像中的目标位置与第一三维图像中的对应位置在横向方向上一致。

注意，当在显示器172上设置断面图像的各显示区域时，可以适当地平移第一三维图像的断面图像，以被显示为使得各个显示区域中的坐标系中的目标点和对应点的各坐标彼此匹配。

在步骤S19080中，图像处理装置1800确定是否指定目标位置。例如，依据用户是否操作了未示出的鼠标并且将鼠标光标定位在距第二三维图像中的已知点的组中的任何一个的预定距离内的位置，来输入关于改变的确定的结果。当接收到表示改变的输入时，处理进入到步骤S19090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S19110。

在步骤S19090中，目标位置获得单元1812基于通过用户操作输入的信息来指定第二三维图像的断面图像上的位置，基于所指定的位置来确定目标位置，并且将目标位置发送到对应位置获得单元1814和断面设置单元1808中的各个。

在本实施例中，当从已知点至断面的三维距离在预定距离内时，在从已知点延伸至断面的垂直线与断面的交点的位置(投影位置)处显示代表已知点的位置的图(例如，圆)。当用户点击未示出的鼠标的按钮，同时参照图的显示以指定断面图像上的位置时，选择位于距所指定的位置预定距离(在此为三维距离)内的、第二三维图像上的已知点的组中的最接近的一个作为目标点。将所选择的目标点的位置设置为目标位置。

注意，上述的预定距离不限于三维距离。例如，预定距离也可以是从投影位置(从已知点延伸至断面的垂直线与断面的交点的位置)至所指定的位置的距离(断面上的二维距离)。

在步骤S19100中，对应位置获得单元1814获得与在步骤S18090中计算出的目标位置相对应的第一三维图像上的对应位置，并且将所获得的对应位置发送到断面设置单元1808。具体地，对应位置获得单元1814从关于已知点的组的信息中获得与第二三维图像上的目标点相对应的第一三维图像上的对应点的位置，并且将所获得的位置设置为对应位置。

因此，在实施例5中，当对应已知点的组中的点之一被指定为目标位置时，根据第二三维图像生成包括目标点的位置(目标位置)的断面，同时根据第一三维图像生成包括与目标点相对应的对应点的位置(对应位置)的断面图像。这允许用户容易地将包括对应点的两个三维图像的断面图像彼此进行比较。

注意，对应点不限于用于配准的点。对应点可以是在图像中设置的任何对应点。也能够不从服务器获得对应点，而是由用户在断面图像上指定对应点。

在本实施例中，通过示例的方式描述了排列显示第一三维图像和第二三维图像的情况。然而，第一三维图像和第二三维图像的显示不限于此。也能够以与实施例1中相同的方式生成并排列显示第一变形图像和第二变形图像。当如图3中所示排列显示个体断面图像时，优选地平移第一三维图像的断面图像、第一变形图像的断面图像(第一变形断面图像)和第二变形图像的断面图像(第二变形断面图像)并将其显示为满足以下四个条件：

·第二三维图像中的目标位置应在显示器上与第二变形图像中的对应位置在竖直方向上一致；

·第一变形图像中的目标位置应在显示器上与第一三维图像中的对应位置在竖直方向上一致；

·第二三维图像中的目标位置应在显示器上与第一变形图像中的对应位置在横向方向上一致；以及

·第一变形图像中的目标位置应在显示器上与第二三维图像中的对应位置在横向方向上一致。

另一方面，当如图5中所示的排列显示个体断面图像时，优选地平移第一三维图像的断面图像、第一变形图像的断面图像和第二变形图像的断面图像并将其显示为满足以下四个条件：

·第二三维图像中的目标位置应在显示器上与第二变形图像中的对应位置在横向方向上一致；

·第一变形图像中的目标位置应在显示器上与第一三维图像中的对应位置在横向方向上一致；

·第二三维图像中的目标位置应在显示器上与第一变形图像中的对应位置在竖直方向上一致；以及

·第一变形图像中的目标位置应在显示器上与第二三维图像中的对应位置在竖直方向上一致。

<其他实施例>

还能够由通过读取和执行记录在存储设备中的程序实现上述实施例的功能的系统或装置中的计算机(或诸如CPU或MPU等的设备)来实现本发明。还能够通过包括由通过读取和执行记录在存储设备中的程序实现上述实施例的功能的系统或装置中的计算机进行的步骤的方法来实现。还能够由实现一个或更多个功能的电路(例如，ASIC)来实现本发明。为此目的，从能够用作前述存储设备的各种类型的记录介质(即，非暂时性保持数据的计算机可读记录介质)通过例如网络向前述计算机提供前述程序。因此，前述计算机(包括诸如CPU或MPU等的设备)、前述方法、前述程序(包括程序代码和程序产品)中的任一者以及非暂时性保持前述程序的计算机可读记录介质包括在本发明的类别中。

上述各个实施例中的信息处理装置可以被实现为单个装置，或者也可以是将多个装置组合为彼此通信以进行上述处理的形式。在任一种情况下，装置包括在本发明的实施例中。上述处理也可以由共同服务器设备或服务器组来进行。包括在信息处理装置和信息处理系统中的多个单元以预定的通信速率进行通信就足够了。包含在信息处理装置和信息处理系统中的多个单元不需要存在于同一设施或同一国家中。

本发明的实施例包括如下的形式：将实现上述实施例的功能的软件程序提供给系统或装置，并且系统或装置中的计算机读取所提供的程序的代码并且执行程序。

因此，安装在计算机中以使计算机执行根据实施例的处理的程序代码也是本发明的实施例之一。上述实施例的功能还能够由在计算机等中操作的OS基于由计算机读取的程序中包括的指令而进行的实际处理的一部分或整个来实现。

适当地组合上述实施例的形式也包括在本发明的实施例中。

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行本发明的上述实施例中的一个或更多个的功能的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能而进行的方法，来实现本发明的实施例。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或更多个，并且可以包括分开的计算机或分开的处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，其包括：

图像获得单元，其被构造为获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得单元，其被构造为获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成单元，其被构造为根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得单元，其被构造为获得所述第一断面图像中的目标位置；

对应位置获得单元，其被构造为基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制单元，其被构造为控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，所述断面图像生成单元生成包括所述对应位置的断面图像作为所述第二断面图像。

2.根据权利要求1所述的图像处理装置，其中，所述显示控制单元显示所述第一断面图像和所述第二断面图像，使得在所述显示单元的画面上，所述第一断面图像中的所述目标位置与所述第二断面中的所述对应位置在竖直方向或横向方向上一致。

3.根据权利要求1或2所述的图像处理装置，其中，所述断面图像生成单元生成正交断面图像、以及与所述第一断面图像相对应的任意断面中的任意断面图像，作为所述第二断面图像，并且

所述显示控制单元同时显示所述正交断面图像和所述任意断面图像，或者在所述正交断面图像与所述任意断面图像之间切换。

4.根据权利要求1所述的图像处理装置，其中，所述断面图像生成单元生成正交断面图像作为所述第二断面图像，并且根据所述第一三维图像生成包括所述目标位置并且与所述正交断面图像相对应的任意断面中的任意断面图像，作为第三断面图像，并且

所述显示控制单元显示所述第三断面图像和所述第二断面图像。

5.根据权利要求3所述的图像处理装置，其中，所述任意断面图像是沿所述任意断面的弯曲断面中的图像、或通过用平面对所述任意断面进行近似而获得的断面中的图像。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括操作单元，所述操作单元被构造为接收来自用户的输入。

7.根据权利要求6所述的图像处理装置，其中，所述操作单元接收所述目标位置的输入。

8.根据权利要求6所述的图像处理装置，其中，所述显示控制单元基于从所述操作单元输入的信息，在所述显示单元上同时显示的图像的数量和组合不同的多个显示模式之间切换。

9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括变形图像生成单元，所述变形图像生成单元被构造为，通过基于所述变形信息，根据所述第二三维图像而使所述第一三维图像变形，来生成第一变形图像，并且基于所述变形信息，根据所述第一三维图像而使所述第二三维图像变形，来生成第二变形图像，

其中，所述显示控制单元控制在所述显示单元上显示所述第一三维图像和所述第二三维图像、以及所述第一变形图像和所述第二变形图像。

10.根据权利要求1所述的图像处理装置，其中，所述第一三维图像和所述第二三维图像至少在摄像器械或摄像时间上不同。

11.一种图像处理装置，其包括：

图像获得单元，其被构造为获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得单元，其被构造为获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成单元，其被构造为根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得单元，其被构造为获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得单元，其被构造为基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制单元，其被构造为控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，所述断面图像生成单元生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

所述显示控制单元调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。

12.一种图像处理方法，其包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得步骤，获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一断面图像中的目标位置；

对应位置获得步骤，基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述对应位置的断面图像，作为所述第二断面图像。

13.一种图像处理方法，其包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得步骤，获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得步骤，基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

在所述显示控制步骤中，调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。

14.一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

变形信息获得步骤，获得代表所述第一三维图像与所述第二三维图像之间的变形的变形信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一断面图像中的目标位置；

对应位置获得步骤，基于所述变形信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述对应位置的断面图像，作为所述第二断面图像。

15.一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：

图像获得步骤，获得第一三维图像和与所述第一三维图像不同的第二三维图像；

对应信息获得步骤，获得关于所述第一三维图像和所述第二三维图像中的各组彼此对应的点的信息；

断面图像生成步骤，根据所述第一三维图像生成第一断面图像，并且根据所述第二三维图像生成第二断面图像；

目标位置获得步骤，获得所述第一三维图像中的多组点中的一组点，作为目标位置；

对应位置获得步骤，基于关于多组点的信息，获得所述第二三维图像中的与所述目标位置相对应的对应位置；以及

显示控制步骤，控制在显示单元上显示所述第一断面图像和所述第二断面图像，

其中，在所述断面图像生成步骤中，生成包括所述目标位置的断面图像作为所述第一断面图像，并且生成包括所述对应位置的断面图像作为所述第二断面图像，并且

在所述显示控制步骤中，调整所述第二断面图像的位置，使得在所述显示单元的画面上，调整之后的所述对应位置与调整之前的所述目标位置在竖直方向或横向方向上一致，并且显示所述第一断面图像和所述第二断面图像。