CN102727258A - 图像处理装置、超声波摄影系统及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置、超声波摄影系统及图像处理方法。所述图像处理装置包括：三维图像获得单元，通过对俯卧位的被检体进行摄影来获得俯卧位三维图像，并通过将俯卧位三维图像变形来获得仰卧位三维图像；超声波图像获得单元，依次获得通过对仰卧位的被检体进行摄影而获得的二维超声波图像；生成单元，根据二维超声波图像的摄像断面，生成仰卧位三维图像的第一断面和俯卧位三维图像的第二断面；断面图像获得单元，获得与第一断面相关联的第一断面图像并获得与第二断面相关联的第二断面图像；以及显示控制器，以并排的方式显示二维超声波图像、第一断面图像以及第二断面图像。

Description

图像处理装置、超声波摄影系统及图像处理方法

技术领域

本发明涉及超声波图像和显示超声波图像的参照图像的图像处理装置、超声波摄影装置、图像处理方法及程序。

背景技术

在医疗领域或者非破坏检查领域中，将通过拍摄检查对象(例如活体或者其它物体)获得的图像显示在监视器中，检查者观察显示的图像，从而检测病变或者问题。这种图像的绝大部分是目标物体内部的断层图像(3D图像)。用来拍摄断层图像的图像收集装置(医疗器械)的示例包括超声波图像诊断装置(超声波装置)、光学相干断层计(OCT装置)、磁共振成像扫描仪(MRI装置)以及X射线计算机断层摄影装置(X射线CT装置)。

通过显示诸如与超声波断层图像相对应的MRI图像的断面图像，来支援由超声波装置进行的病变部位的摄像，使得能够通过相互比较多个图像来进行检查。在日本特开2003-260056号公报中，在用来拍摄人体的图像的超声波摄影装置中，当使用超声波探头在与体轴正交的断面中进行超声波扫描时，将与超声波图像相对应的3D图像数据的断面图像显示为参照图像。此外，在上述限制下，即使当拍摄图像时超声波探头倾斜，通常也以使得从背部到腹部的方向与向上方向相对应的方式显示参照图像。

在检查中，识别与病变或者问题相对应的特定位置，之后，识别特定位置与检查对象之间的位置关系。由此，使得能够进行详细的检查。

然而，如果由于超声波摄像位置的改变，在超声波图像和参照图像中看不到特定位置，则识别特定位置变得困难，搜索特定位置负担极大。

此外，当参照图像的方向与超声波摄像断面的方向一致时，难以从图像中识别整个检查对象的摄影位置。

发明内容

根据本发明的实施例，提供了一种图像处理装置，所述图像处理装置包括：三维图像获得单元，其被配置为通过使用三维摄影装置对俯卧位的被检体进行摄影来获得俯卧位三维图像，并通过将所述俯卧位三维图像变形来获得仰卧位三维图像；超声波图像获得单元，其被配置为依次获得通过使用超声波摄影装置对仰卧位的被检体进行摄影而获得的二维超声波图像；生成单元，其被配置为根据所获得的二维超声波图像的摄像断面，生成所述仰卧位三维图像的第一断面和所述俯卧位三维图像的第二断面，所述第一断面包括预先使用俯卧位的三维图像指定的关注位置，并且与所述二维超声波图像的摄像断面基本平行，所述第二断面通过用近似0度来替换由基准方向和所述第一断面定义的角度来获得；断面图像获得单元，其被配置为基于所述仰卧位三维图像获得与所述第一断面相关联的第一断面图像并基于所述俯卧位三维图像获得与所述第二断面相关联的第二断面图像；以及显示控制器，其被配置为以并排的方式显示所述二维超声波图像、所述第一断面图像以及所述第二断面图像。

根据本发明的另一实施例，提供了一种图像处理方法，所述图像处理方法包括如下步骤：通过使用三维摄影装置对俯卧位的被检体进行摄影来获得俯卧位三维图像，并通过将所述俯卧位三维图像变形来获得仰卧位三维图像；依次获得通过使用超声波摄影装置对仰卧位的被检体进行摄影而获得的二维超声波图像；根据所获得的二维超声波图像的摄像断面，生成所述仰卧位三维图像的第一断面和所述俯卧位三维图像的第二断面，所述第一断面包括预先使用所述俯卧位三维图像指定的关注位置，并且与所述二维超声波图像的摄像断面基本平行，所述第二断面通过用近似0度来替换由基准方向和所述第一断面定义的角度来获得；基于所述仰卧位三维图像获得与所述第一断面相关联的第一断面图像并基于所述俯卧位三维图像获得与所述第二断面相关联的第二断面图像；以及以并排的方式显示所述二维超声波图像、所述第一断面图像以及所述第二断面图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的图像处理装置的配置的图。

图2是示出图像处理装置的硬件配置的图。

图3是示出根据第一实施例的整个处理过程的流程图。

图4是示出拍摄仰卧位的乳房的超声波断层图像的状态的图。

图5是示出超声波断层图像的图。

图6是示出MRI图像的图。

图7是示意性地示出由MRI图像生成与超声波断层图像相对应的断面图像的处理的图。

图8是示出在显示控制器的控制下显示在显示单元中的画面的图。

具体实施方式

以下，参照附图描述本发明的实施例。

第一实施例

在第一实施例中，将由在与超声波图像的体位不同的体位下摄影的3D图像获得断面图像描述为示例。在该示例中，基准方向与重力方向相对应。

现在描述根据本实施例的图像处理系统。

请注意，虽然在本实施例中，术语“摄影”和术语“摄像”具有相同的含义，但是当强调包括设置条件的处理到获得图像的处理的一系列处理时，使用术语“摄影”，而当特别强调图像的获得时，使用术语“摄像”。

图1示出了根据本实施例的图像诊断系统1的配置。如图1所示，本实施例的图像处理装置100连接到第一摄像装置180、数据服务器190、显示单元186以及操作单元188。

超声波摄像装置被用作第一摄像装置180，并通过探头发送和接收超声波信号，由此拍摄被检体的图像。通过该摄像，获得超声波图像或者超声波断层图像。特别是当强调图像表示被检体的内部结构时，使用术语“断层图像”。图4是示出使用第一摄像装置180拍摄仰卧位的乳房的超声波断层图像的状态的图。图5是示出超声波断层图像的图。将通过使探头411接触仰卧位的乳房表面401接触而获得的超声波断层图像501经由断层图像获得单元(超声波图像获得单元)102依次输入图像处理装置100。

假定数据服务器190存储通过使用MRI装置(用作第二摄像装置182)拍摄俯卧位的被检体的乳房的图像而获得的MRI图像，并且还存储MRI图像中的关注病变区域的中心位置。图6是示出MRI图像的图。将存储在数据服务器190中的MRI图像601通过3D图像获得单元106提供给图像处理装置100。此外，将存储在数据服务器190中的关注病变区域603的中心位置(以下，称为“病变位置”)通过关注点指定单元107提供给图像处理装置100。

位置/姿势测量装置184测量包括在超声波装置(用作第一摄像装置180)中的探头411的位置和姿势。位置/姿势测量装置184例如由美国Polhemus公司的FASTRAK等构成，并测量探头411在传感器坐标系420(被位置/姿势测量装置184定义为基准坐标系)中的位置和姿势。请注意，位置/姿势测量装置184可以以任意方式构成，只要位置/姿势测量装置184能够测量探头411的位置和姿势即可。将测量的探头411的位置和姿势通过位置/姿势获得单元104依次提供给图像处理装置100。

图像处理装置100包括以下部件。

断层图像获得单元102依次获得以预定帧速率依次拍摄并提供给图像处理装置100的超声波断层图像501。断层图像获得单元102将超声波断层图像501发送到形状数据计算单元108、网格点组设置单元112以及图像合成单元122。

位置/姿势获得单元104依次获得要提供给图像处理装置100的探头411的位置和姿势，并将位置和姿势发送到形状数据计算单元108以及对应点组计算单元114。

3D图像获得单元106获得通过拍摄俯卧位的被检体的图像获得并被输入到图像处理装置100的3D MRI图像601，并将3D MRI图像601提供给物理转换规则计算单元110。请注意，3D MRI图像可以是由MRI图像获得的被检体的3D体数据，或者可以是2D MRI断面图像组。

关注点指定单元107预先指定在俯卧位下拍摄并被输入到图像处理装置100的MRI图像601中检测到的病变位置作为关注点的位置，并将关于关注点位置的信息提供给关注点转换单元113、近似平面生成单元116以及断面生成单元118。请注意，这种位置的指定由例如操作单元188来进行。此外，“预先指定”表示在生成稍后描述的对应断面之前已经完成指定。

形状数据计算单元108根据超声波断层图像501以及探头411的位置和姿势，计算仰卧位的乳房400的形状数据，并向物理转换规则计算单元110提供形状数据。

物理转换规则计算单元110计算用于将仰卧位的乳房表面401的形状转换为与俯卧位的MRI图像的表面602的形状基本相同的形状的物理转换规则，并将物理转换规则提供给关注点转换单元113和对应点组计算单元114。

网格点组设置单元112在由超声波断层图像501表示的范围中设置网格点组，并将网格点组的信息提供给对应点组计算单元114。

关注点转换单元113根据物理转换规则，将在俯卧位的MRI图像601中指定的病变位置转换为仰卧位的位置，并将转换的位置提供给对应点组计算单元114和断面生成单元118。

对应点组计算单元114通过根据物理转换规则移动网格点的位置，来计算对应点组，并将关于对应点组的信息提供给近似平面生成单元116和断面生成单元118。近似平面生成单元116和断面生成单元118生成与超声波图像相对应的对应断面。在此，对应断面是通过对摄像断面(摄影断面)进行预定转换获得的平面，并且是用来从3D MRI图像获得该平面的2D MRI断面图像的断面，所述摄像断面是包括2D超声波图像的平面。术语“对应”表示在一定限制下获得的超声波图像的位置和姿势与在另一限制下获得的对应断面的位置和姿势相互一致。例如，当单指与超声波图像相对应的3D图像的断面时，表示与包括超声波图像的断面相同位置和相同倾度的断面。然而，本实施例的对应断面不是简单的对应，而是被固定在特定位置并且沿与基准方向平行的方向固定。

近似平面生成单元116计算包括病变位置并且近似对应点组的平面，并向断面生成单元118提供关于平面的信息。

断面生成单元118计算通过用固定值来替换近似平面的多个姿势参数而获得的替换的断面，并通过估计平面内的移动分量来生成对应断面。之后，断面生成单元118将关于对应断面的信息提供给断面图像获得单元120。由此，可以获得如下对应断面：所述对应断面与基准方向平行，通过关注点指定单元107预先指定的位置，并且具有与包括超声波图像的平面交叉并且与基准方向正交的线。此外，对应断面与通过用0度替换由超声波图像的摄像断面和基准方向定义的角度而获得的平面平行，并且通过由关注点指定单元107预先指定的位置。

在此，假定由对应断面和基准方向定义的角度表示由与基准方向平行的任意线和对应断面定义的最小角度。此外，在此进行的替换处理表示将摄像断面投影到与基准方向平行并且与形成由基准方向和摄像断面定义的角度的线正交的面的处理。

断面图像获得单元120通过从被检体的3D图像中提取计算出的断面中的预定范围，来获得断面图像。断面图像获得单元120将获得的断面图像提供给图像合成单元122。

图像合成单元122将超声波断层图像和断面图像相互合成，以获得要显示的图像。显示控制器124控制监视器206，使得监视器206显示图像。

例如，在乳腺科领域中，可以按如下顺序进行图像诊断：在通过使用MRI装置拍摄乳房获得的图像中识别病变部位的位置，之后，通过超声波装置拍摄该部位的状态以进行观察。在此，在乳腺科的一般摄影规程中，在许多情况下，以俯卧位进行使用MRI装置的摄像，以仰卧位进行使用超声波装置的摄像。在这种情况下，医生考虑由摄影姿势的差异产生的乳房的变形，从以俯卧位拍摄的MRI图像中识别的病变部位的位置，估计仰卧位的病变部位的位置，并且之后使用超声波装置拍摄估计的病变部位的位置。

然而，由于由摄影姿势的差异产生的乳房的变形相当大，因此医生估计的仰卧位的病变部位的位置可能与实际位置差别很大。为了解决该问题，可以使用通过对俯卧位的MRI图像进行变形处理来生成虚拟仰卧位MRI图像的已知方法。可以根据关于从俯卧位到仰卧位的变形的信息计算虚拟仰卧位MRI图像中的病变部位的位置。作为选择，可以通过对生成的虚拟仰卧位MRI图像进行解释，来直接获得图像中的病变部位的位置。如果变形处理的精度高，则仰卧位的实际病变部位位于虚拟仰卧位MRI图像的病变部位的附近。

因此，在图像诊断系统1中，根据通过拍摄第一物理变形状态下的对象物体获得的超声波断层图像、通过拍摄第二物理变形状态下的对象物体获得的3D图像的基准方向以及包括在3D图像中的关注位置，来设置包括关注位置的断面。接着，从3D图像中提取设置的断面的图像，以与超声波断层图像并排显示。由此，在使得与3D图像中的关注位置相对应的超声波断层图像中的位置的搜索容易的同时，能够容易地识别3D图像的断面的图像与对象物体之间的位置关系。在本实施例中，作为示例描述如下情况：将被检体的乳房设置为对象物体并将通过使用MRI装置拍摄俯卧位的乳房获得的MRI图像用作3D图像。此外，在本实施例中，作为示例，描述如下情况：将拍摄MRI图像时获得的重力方向设置为基准方向并将包括在MRI图像中的关注病变区域的中心位置设置为关注位置。此外，在本实施例中，假定对象物体在第一物理变形状态下相对重力方向处于仰卧位的状态，而在第二物理变形状态下相对重力方向处于俯卧位的状态。

将参照图7描述由上述图像处理系统实现的处理的概要。在该处理中，为了进行MRI图像和超声波断层图像的定位，将超声波断层图像和从与超声波断层图像相对应的MRI图像生成的断面图像相互合成，并在监视器206中显示得到的图像。在图7中的左上部中，示出了表示仰卧位的对象物体(乳房)的长方体以及探头411。此外，在图7中的中上部中，虚线表示近似根据超声波断层图像和病变位置计算的断面(曲面)的平面720。在图7中的右上部，虚线表示用0替换倾斜角(俯仰角)获得的替换断面721。在图7的下部中，示出获得的超声波断层图像501以及从俯卧位的MRI图像601生成的断面图像722的显示状态。

请注意，倾斜角或者俯仰角表示超声波图像的摄像断面在超声波探头接触的体表上的位置处的入射角。此外，方位角由当超声波探头呈直角接触体表时获得的超声波探头的方向定义。虽然拍摄的超声波图像的方位角与获得的2D MRI断面图像的方位角相互一致，但是其倾斜角相互不一致。

操作者(医生或者技师)在对象物体400上按下探头411，以获得仰卧位的对象物体400的超声波断层图像501。在图7的左上部中，实线表示超声波断层图像501的摄像区域502，而虚线表示包括摄像区域502的平面。摄像区域502包括在由探头411获得的摄像断面中。由于探头411的位置和姿势由位置/姿势测量装置184测量，因此能够获得关于超声波断层图像501相对于对象物体400的位置和姿势的信息。由于每当探头411的位置和姿势改变时，第一摄像装置180拍摄不同的图像，因此可以通过近似平面生成单元116和断面生成单元118改变对应断面。在这种情况下，根据超声波图像的摄像断面的方向，将由基准方向和指定的位置固定的对应断面的方向改变为以卧位(recumbent posture)基准方向为轴的旋转方向。

由此，由于对应断面的倾斜角被固定，而根据超声波探头411的方向角改变对应断面的方向角，因此能够获得容易与超声波图像比较的图像。

另一方面，在俯卧位的MRI图像601中，指定包括在关注病变区域603中的中心位置(病变位置)703。操作者参照包括在俯卧位的MRI图像601中指定的病变位置703的断面图像722，在通过操作探头411拍摄仰卧位的对象物体获得的超声波断层图像501中，搜索与关注病变区域603相对应的病变区域。

当接收到超声波断层图像501的位置和姿势以及病变位置703时，上述的图像处理系统根据这些信息，从MRI图像601中生成断面图像722。首先，以与超声波断层图像501相同的姿势获得包括被转换为仰卧位的病变位置的平面。接下来，获得包括在MRI图像601中并与计算出的平面相对应的断面(曲面)，并通过近似曲面来获得包括病变位置703的平面720。在此，由于当拍摄超声波断层图像501时获得的物理变形状态和当拍摄MRI图像601时获得的物理变形状态相互差别很大，因此平面720的姿势与超声波断层图像501的姿势可能差别很大。因此，不容易识别平面720与对象物体之间的位置关系。从而，在本实施例中，通过用0来替换近似平面720的倾斜角(俯仰角)，来计算包括病变位置703的断面图像722。在断面图像722中，重力方向与画面中的向下方向相对应。通过上述处理，可以不考虑探头411的姿势，来显示包括病变位置703并具有与画面中的向下方向相对应的重力方向的断面图像722。结果，能够使得与关注病变区域相对应的超声波断层图像中的病变区域的搜索容易。此外，由于能够预先识别断面图像的方向，因此医生可以容易地识别断面图像与对象物体之间的位置关系。此外，由于在表示乳房的简单形状的体位标记中，能够通过简单的线来表示断面图像的位置，因此能够容易地识别位置和对象物体(俯卧位的乳房)之间的位置关系。

生成的MRI图像的断面图像722和超声波断层图像501(具体地说，摄像区域502)被分别显示在监视器206中。操作者能够在改变探头411抵接的位置的同时，通过确定包括在各个图像中的关注病变区域是否相互一致，来进行定位。

图8是示出通过将超声波断层图像和断面图像相互合成获得的图像的图。在图8的右上部中，示出了超声波断层图像501。此外，在图8的左上部中，示出了包括病变位置并且从3D MRI图像获得的断面图像(第一MRI断面图像)，所述3D MRI图像通过将俯卧位的被检体的3DMRI图像转换为仰卧位的被检体的3D MRI图像来获得。该MRI图像是与超声波图像的摄像断面平行并且包括指定的病变位置的对应断面的断面图像(第一MRI断面图像)。在图8的左下部中，示出了俯卧位的MRI图像。俯卧位的MRI图像示出了包括病变位置的断面，并且还示出了通过用0来替换倾斜角(俯仰角)获得的图像(第二MRI断面图像)。

图8的右上部中的超声波断层图像501和图8的左上部中的仰卧位的MRI断面图像801两者都是仰卧位的对象物体的断面图像。由此，医生能够在容易地识别两个断面图像的内部组织构造之间的关系的同时，在超声波断层图像中容易地搜索病变区域。另一方面，图8的左下部中的俯卧位的MRI图像601在姿势上与图8的右上部中的超声波断层图像501差别不大，并且重力方向通常与画面的向下方向相对应。因此，医生能够识别两个断面图像之间的关系并且能够容易地识别俯卧位的对象物体与断面图像之间的位置关系。从而，医生能够根据图8所示的三个断层图像识别俯卧位的对象物体与断面图像之间的位置关系，并能够容易地在仰卧位的超声波断层图像中搜索病变区域。

图3是示出了由图像处理装置100进行的处理的整个过程的流程图。

(S3000)MRI图像的获得

在步骤S3000中，作为由3D图像获得单元106进行的处理，图像处理装置100获得从数据服务器190提供给图像处理装置100的俯卧位的乳房的MRI图像601。在本实施例中，定义MRI坐标系600。MRI坐标系600具有与MRI图像601中包括的某个点相对应的原点、与表示人体的从右向左方向的轴相对应的X轴、与表示人体的从腹部侧向背部侧的方向的轴相对应的Y轴，以及与表示人体的从脚到头的方向的轴相对应的Z轴。此外，将MRI坐标系600的Y轴的方向(重力方向)确定为基准方向。请注意，在本实施例中，基准方向可以是Y轴的正方向或者负方向。

(S3005)关注点的获得

在步骤S3005中，作为由关注点指定单元307进行的处理，图像处理装置100获得从数据服务器190提供给图像处理装置100的俯卧位的MRI图像601中包括的关注病变区域603的中心位置xsL(病变位置703)。

(S3010)超声波断层图像的获得

在步骤S3010中，作为由断层图像获得单元102进行的处理，图像处理装置100获得从第一摄像装置180依次提供给图像处理装置100的超声波断层图像501。假定超声波断层图像501的各个像素的位置由超声波图像坐标系500(被定义为具有XY平面和Z轴的坐标系，其中XY平面与表示超声波断层图像的平面相对应，Z轴对应与XY平面正交的轴)表示。在本实施例中，将超声波断层图像501的中心位置确定为超声波图像坐标系500的原点。请注意，超声波断层图像501的各个像素的位置仅包括在满足以下等式的平面中：Z＝0。

(S3020)探头位置和姿势的获得

在步骤S3020中，作为由位置/姿势获得单元104进行的处理，图像处理装置100获得从位置/姿势测量装置184依次提供给图像处理装置100的探头411的位置和姿势。

(S3030)形状的计算

在步骤S3030中，作为由形状数据计算单元108进行的处理，图像处理装置100获得仰卧位的乳房形状。具体地说，在当操作者操作探头以使得探头的尖端的中央部412与仰卧位的乳房表面401的多个部位接触的时刻获得位置坐标矢量。仰卧位的乳房形状被表示为位置坐标矢量的组。

(S3040)物理转换规则的计算

在步骤S3040中，作为由物理转换规则计算单元110进行的处理，图像处理装置100计算用于将仰卧位的乳房形状转换为与俯卧位的乳房形状基本一致的乳房形状的物理转换规则。首先，根据仰卧位的乳房的刚体部分(例如超声波断层图像501中的肋骨504)以及俯卧位的乳房的刚体部分(例如MRI图像601中的肋骨605)，来计算四行四列的转换矩阵，所述转换矩阵表示从仰卧位的乳房到俯卧位的乳房的刚体转换的规则。针对该计算，可以使用诸如迭代最近点方法(ICP方法)的已知方法。接着，计算用于考虑物理变形将仰卧位的乳房形状转换为与俯卧位的乳房形状基本一致的乳房形状的非刚体转换规则。非刚体转换规则由3D位移矢量组表示，所述3D位移矢量组表示MRI坐标系600中包括的网格点(通过将包括仰卧位的整个乳房400的长方体区域分割为网格获得的交点)的、由从仰卧位的网格点到俯卧位的网格点的转换产生的移动量。此外，还计算表示由从俯卧位到仰卧位的转换产生的移动量的3D逆位移矢量的组。请注意，针对非刚体转换规则的计算，可以使用在Y.Hu，D.Morgan，H.U.Ahmed，D.Pendse，M.Sahu，C.Allen，M.Emberton and D.Hawkes，″A statistical motion model based onbiomechanical simulations，″proc.miccai 2008，Part I，LNCS 5241，pp.737-744，2008中公开的基于重力变形模拟的方法。本实施例中从仰卧位向俯卧位的物理转换规则包括上述刚体转换规则和非刚体转换规则。此外，图像处理装置100根据探头411的位置和姿势以及从仰卧位的乳房向俯卧位的乳房的刚体转换的规则，来计算用来将超声波图像坐标系500转换为MRI坐标系600的转换矩阵Tis。该转换矩阵表示超声波断层图像501在MRI坐标系600中的位置和姿势。

(S3045)关注点的转换

在步骤S3045中，作为由关注点转换单元113进行的处理，图像处理装置100进行以下处理。具体地说，通过根据在步骤S3040中计算的3D逆位移矢量组，移动表示俯卧位的MRI图像601中的病变位置703的中心位置xsL，来计算仰卧位的病变位置xsL’，从而将俯卧位转换为仰卧位。

(S3050)网格点组的设置

在步骤S3050中，作为由网格点组设置单元112进行的处理，图像处理装置100首先将表示超声波断层图像501的范围的矩形区域分割为具有等间隔的网格形状，并将网格的交点的组设置为网格点组(未示出)。假定，网格点至少包括超声波图像坐标系500的原点以及表示超声波断层图像501的范围的矩形区域的四个顶点((-Xmin，-Ymin)，(Xmin，-Ymin)，(-Xmin，Ymin)，(Xmin，Ymin))。此外，假定网格点还包括超声波图像坐标系500的X轴和Y轴的端点((-Xmin，0)，(Xmin，0)，(0，-Ymin)，(0，Ymin))。

(S3060)对应点组的计算

在步骤S3060中，作为由对应点组计算单元114进行的处理，首先，图像处理装置100将在步骤S3050中设置的所有网格点在Z轴方向上移动相同距离，以使得网格点的位置和病变位置位于同一平面。之后，图像处理装置100根据物理转换规则，将仰卧位的网格点的位置转换为俯卧位的网格点的位置，以获得对应点组。以下，将描述该步骤的详细处理。

首先，根据通过将病变位置xsL转换为仰卧位的病变位置而获得的病变位置xsL’以及用来将超声波图像坐标系500转换为MRI坐标系600的转换矩阵Tis，通过以下表达式来获得超声波图像坐标系500中的病变位置xiL.

xiL＝xsL′·Tis-1      (1)

接着，将在步骤S3050中设置的所有网格点的z坐标设置为超声波图像坐标系500中的病变位置xiL的z坐标值。由此获得的网格点的位置与当在保持探头411的姿势的同时将探头411虚拟平行移动到病变位置时设置的网格点的位置相对应。接着，通过以下等式获得MRI坐标系600中的网格点的位置。

xsn＝xin·Tis              (2)

在此，表达式“xin＝[xin yin ziL 1]T”表示在超声波图像坐标系500的第n个网格点(n＝1至N：N为网格点的总数)的位置的3D空间中的齐次坐标表现。在此，“ziL”表示超声波图像坐标系500中的病变位置xiL的z坐标值。此外，表达式“xsn＝[xsn ysn zsn 1]T”表示MRI坐标系600中的第n个网格点的位置。

接着，根据在步骤S3040中获得的3D位移矢量组对获得的网格点的位置xsn进行物理转换，从而获得与在网格点组的转换之后获得的位置相对应的、俯卧位的MRI图像601中的点组(对应点组)的位置xdn(n＝1到N)。请注意，由于拍摄超声波断层图像501时获得的物理变形状态与拍摄MRI图像601时获得的物理变形状态相互不同，因此组中的对应点通常不位于同一平面。

(S3070)近似平面的计算

在步骤S3070中，作为由近似平面生成单元116进行的处理，图像处理装置100根据MRI图像601中包括的点组(对应点组)的位置以及俯卧位的病变位置xsL，获得近似对应点组的平面。具体地说，通过诸如最小平方方法或者最大似然估计方法的已知平面拟合方法来获得平面(近似平面)720，平面720在平面720包括俯卧位的病变位置xsL的限制条件下，与最多的对应点xdn(n＝1到N)相匹配。

(S3080)断面的计算

在步骤S3080中，作为由断面生成单元118进行的处理，图像处理装置100进行以下处理。首先，通过欧拉角(Euler angle)获得MRI坐标系600中近似平面720的姿势。具体地说，获得MRI坐标系600中近似平面720的偏转角(yaw angle)、俯仰角(pitch angle)以及滚转角(roll angle)。接着，通过用0来替换俯仰角获得断面，并使断面平行移动，从而获得包括表示俯卧位的MRI图像601中包括的病变区域603的病变位置xsL的替换断面721。通过进行上述该步骤中的处理，获得包括病变位置703和与基准方向(MRI坐标系600的Y轴的方向，即重力方向)正交的法线的替换断面721。

在此，由于在上述处理中获得的替换断面721在面中的位置和旋转上具有自由度，因此图像处理装置100估计替换断面721的面内移动分量。具体地说，确定当从替换断面721提取断面图像722时使用的特定范围。首先，使替换断面坐标系(包括表示替换断面721并被定义为XY面的面、以及与XY面正交并被定义为Z轴的轴的坐标系)中包括的病变位置xsL在平面内平行移动，以使得病变位置xsL与超声波图像坐标系500中的病变位置xiL一致。以这种方式，确定替换断面在面内的位置。接着，使替换断面坐标系的Y轴与MRI坐标系600的Y轴(基准方向)匹配，从而确定替换断面坐标系的面内旋转。

此外，图像处理装置100计算具有顶点(-Xmin1，-Ymin1)，(Xmin1，-Ymin1)，(-Xmin1，Ymin1)，(Xmin1，Ymin1)并且包括从对应点组xdn延伸至替换断面721的垂线的所有垂足的矩形的顶点坐标。接着，在下一步骤中，将矩形确定为用来提取断面图像722的特定范围。请注意，当例如操作者使用鼠标205点击在监视器206上布置的放大按钮时，可以放大特定范围，从而在替换断面721中指定更大的范围。

(S3090)断面图像的生成

在步骤S3090中，作为由断面图像获得单元120进行的处理，图像处理装置100通过从MRI图像601中提取在步骤S3080中计算的替换断面721的特定范围，来生成断面图像722。在此，由于使用从3D图像生成指定平面中的特定范围的图像的已知方法，因此省略其详细描述。

(S3100)图像合成

在步骤S3100中，作为由图像合成单元122进行的处理，图像处理装置100生成如图7的下部所示包括相互邻接布置的超声波断层图像501和断面图像722的图像，并将图像显示在监视器206上。

(S3100)结束？

在步骤S3110中，图像处理装置100确定整个处理是否结束。例如，操作者点击布置在监视器206上的结束按钮，以输入对处理的结束的确定。当确定为肯定时，结束图像处理装置100的整个处理。另一方面，当确定为否定时，处理返回步骤S3010，并对新获得的超声波断层图像501以及探头411的位置和姿势数据，再次进行从步骤S3010至步骤S3100的处理。

以这种方式，进行图像处理装置100的处理。

如上所述，在本实施例的图像处理装置中，能够不考虑探头的姿势，而根据基准方向(使得重力方向的方向与向下方向相对应)来显示包括MRI图像的病变位置的断面的图像。结果，能够容易地识别MRI图像的断面的图像与对象物体之间的位置关系。

请注意，虽然作为本实施例的示例，描述了将人体的乳房设置为对象物体的情况，但是本发明的实施例不限于此，可以任意地确定对象物体。此外，虽然作为本实施例的示例，描述了将MRI图像中指定的病变位置确定为关注位置的情况，但是本发明的实施例不限于此，例如可以将表示MRI图像中的活组织检查(biopsy)的治疗疤痕的区域的中心位置、或者表示血肿的区域的中心位置确定为关注位置。

第二实施例

在第二实施例中，当超声波断层图像相对重力方向的倾斜大于预定角度时，生成超声波对应断面图像。系统配置与第一实施例的相同，因此，省略其描述。

在第一实施例中，作为示例，描述了如下情况：获得近似平面的偏转角、俯仰角以及滚转角，并用0来替换俯仰角，从而获得替换断面。然而，本发明的实施例不限于此，例如当超声波断层图像相对基准方向(重力方向)的倾斜程度大于预定阈值(例如45度)时，不用0替换俯仰角。在这种情况下，近似平面生成单元116和断面生成单元118仅生成断面的2D MRI断面图像，所述断面与超声波图像的摄像断面相对应，包括指定位置，并且包括与摄像断面平行的对应断面(和其它对应断面)。

另一方面，当超声波断层图像相对基准方向的倾斜程度小于或者等于预定阈值时，进行第一实施例的处理。根据该变形，当超声波断层图像相对基准方向的倾斜大时，防止超声波断层图像与对应于超声波图像的摄像面的断面之间的关系复杂。

第三实施例

在第三实施例中，以并排的方式显示俯卧位MRI图像、仰卧位变形MRI图像和US(超声波)图像。系统配置与第一实施例的相同，因此省略其描述。

在第一实施例中，虽然作为示例描述了生成俯卧位的MRI图像的断面图像并将生成的图像与超声波断层图像一起以并排的方式显示的情况，但是本发明的实施例不限于此。例如，可以根据物理转换规则从俯卧位的MRI图像601生成仰卧位的MRI图像，可以生成超声波断层图像501的范围的断面图像，并且可以将生成的图像与MRI图像601的断面图像以及超声波断层图像一起以并排的方式显示。

第四实施例

在第四实施例中，显示仰卧位的MRI图像、俯卧位的MRI图像以外的MRI图像、或者不是由重力变形而是由线圈的压迫、探头的压迫等变形的MRI图像。系统配置与第一实施例的相同，因此省略其描述。

虽然作为第一实施例的示例，描述了在第一变形状态下乳房相对重力方向处于仰卧位状态、而在第二变形状态下乳房相对重力方向处于俯卧位状态的情况，但是本发明的实施例不限于此。第一和第二变形状态不限于仰卧位和俯卧位，而可以是包括侧位、立位或者坐位的任意状态。此外，第一和第二变形状态可以彼此相同。

此外，变形状态不仅可以因重力方向，而且可以因用于MRI摄像的乳房线圈(未示出)的压迫或超声波摄像时探头411对乳房的压迫，而彼此不同。当因探头411对乳房的压迫产生变形时，使用能够测量逐渐改变的乳房的形状的距离测量装置。

第五实施例

在第五实施例中，显示MRI图像和US(超声波)图像以外的图像。系统配置与第一实施例的相同，因此省略其描述。

虽然作为第一实施例的示例描述了使用MRI装置作为第二摄像装置182的情况，但是本发明的实施例不限于此。例如，可以使用X射线CT装置、光声断层装置、OCT装置、PET/SPECT或者3D超声波装置。

第六实施例

在第六实施例中，显示例如相对图像的中心旋转的图像。系统配置与第一实施例的相同，因此省略其描述。

虽然作为第一实施例的示例描述了计算包括病变位置的替换断面的情况，但是本发明的实施例不限于此，可以与病变位置无关地计算替换断面。在这种情况下，无需步骤S3005和步骤S3405。此外，在步骤S3050中设置的网格点的z坐标不改变，即为0。接着，在步骤S3070中，无需近似平面包括病变位置的限制条件，来计算近似平面。此外，当在步骤S3080中计算断面时，将从超声波图像坐标系500的原点的对应点延伸的垂线的垂足确定为替换断面坐标系的原点。

第七实施例

在第七实施例中，不仅用0度来替换俯仰角(倾斜角)，而且用0度来替换偏转角。系统配置与第一实施例的相同，因此省略其描述。

在第一实施例中，作为示例描述了如下情况：获得MRI坐标系600中的近似平面的偏转角、俯仰角和滚转角并用0替换俯仰角，从而获得MRI坐标系600中的替换断面。然而，本发明的实施例不限于此。还可以用0来替换偏转角，从而计算与当拍摄MRI图像601时获得的原始断层图像平行的替换断面。在本实施例中，例如，当操作者在超声波断层图像501中指定与MRI图像601中的病变位置相对应的候选位置时，可以将不用0替换偏转角的模式切换为用0替换偏转角的模式。在这种情况下，能够指定超声波图像中的任意位置的位置指定单元123响应于来自操作单元188的输入，指定候选位置。当位置指定单元123指定候选位置时，显示控制器124在显示单元186中显示获得的断面图像。以这种方式，显示控制器124改变显示单元186中的显示。在这种情况下，能够通过返回参照拍摄MRI图像601时获得的断层图像，来确定在超声波断层图像501中指定的对应病变候选是否为与在MRI图像601中指定的病变相同的病变。此外，当操作者取消候选位置的指定时，可以将用0替换偏转角的模式切换到本实施例中的不用0替换偏转角的模式。具体地说，可以根据与病变位置相对应的位置的获得的状态，改变断面的设置。

第八实施例

在第八实施例中，将重力方向以外的方向确定为基准方向。系统配置与第一实施例的相同，因此省略其描述。

虽然作为第一实施例中的示例，描述了将重力方向确定为基准方向的情况，但是本发明的实施例不限于此。例如，可以将MRI图像601中从乳头606到病变区域603的中心的方向确定为基准方向。由此，断面图像肯定包括病变区域和乳头。因此，能够对医生显示与超声波断层图像501相对应的MRI图像601的断面图像，以使得医生能够容易地识别断面图像和对象物体之间的位置关系。

作为另一示例，断面生成单元118用作根据拍摄MRI图像时获得的摄影体位来设置基准方向的设置单元。例如，当通过拍摄俯卧位或者仰卧位的被检体的图像获得MRI图像时，可以将重力方向确定为基准方向，而当通过拍摄立位或者坐位的被检体的图像获得MRI图像或者CT图像时，可以将体轴方向确定为基准方向。

通过获得由包括预先指定的位置并且与基准方向平行的对应断面构成的断面图像，搜索和识别使用图像指定的位置变得容易，此外，识别检查对象和图像之间的位置关系变得容易。以这种方式，检查者能够容易地进行详细的检查。

(其它实施例)虽然作为上述实施例的示例描述了将本发明应用到拍摄作为被检体的活体的图像的超声波摄影装置的情况，但是本发明的实施例不限于此，本发明可以应用到对活体以外的物体进行非破坏检查的超声波摄影装置。

此外，虽然考虑由不同摄影体位产生的被检体的变形状态，生成对应断面，但是本发明可以应用到对不变形的被检体摄影的情况。

可以提供整体具有图像处理装置100和超声波摄像装置的功能的装置。在这种情况下，由图像处理装置进行的超声波图像或者MRI图像的术语“获得”包含通过摄像进行的超声波图像的获得的意思。

虽然如上所述对应断面与通过用0度来替换由对应断面和基准方向定义的角度而获得的平面平行，但是角度精确为0度的情况不是必需的，可以接受少量的误差(即基本0度)。也就是说，当用户查看时，能够将图像识别为沿基准方向的图像即可。角度也可以精确为0度。此外，在平行方面，也接受不影响检查者的少量误差(基本平行)。“基本平行”不仅指精确平行，也指具有一定度数(例如不大于5度)的容许误差的大致平行，“基本0度(近似0度)”具有类似的涵义。该误差是由如下原因所导致的：由于图像重构中的不精确或者测量系统的误差，因此断面无法在严格的数学意义下的系统中恒定平行。即使断面无法在系统中精确平行，也能够实现本发明的实施例的目的，只要能够将被检体的图像的断面识别为基本平行即可。对于术语“正交”和术语“一致”同样包含容差。

如以上实施例中所描述由图像处理装置100进行的对应断面中包括的断面图像的“获得”包括将关于对应断面的信息发送到具有3D图像的外部图像处理装置以及响应该发送的断面图像的获得。

本发明可以被实现为诸如系统、装置、方法、程序以及存储介质的其它实施例。具体地说，本发明可以应用于分布式的系统(包括具有图像处理装置的功能的多个装置)或者可以应用于单个装置。

安装在计算机中以通过计算机实现本发明的功能和处理的程序代码也实现本发明。

图2是示出通过将软件和硬件结合操作来实现图1所示的单元的功能的硬件的配置的图。图像处理装置200包括CPU 201、RAM 202、ROM203、存储单元207、存储介质驱动器208以及I/F 209，并连接到键盘204、鼠标205以及监视器206。

CPU 201使用存储在RAM 202和ROM 203中的、用来实现上述图3所示的处理的程序和数据，来控制整个计算机。此外，CPU 201控制各单元中的软件的执行，以实现各单元的功能。RAM 202包括临时存储为实现如上所述的图3所示的处理而从存储单元207和存储介质驱动器208加载的程序和数据的区域，并且还包括CPU 201用来进行各种处理的工作区域。ROM 203通常存储计算机的程序和设置数据。键盘204和鼠标205是输入设备并且操作者使用键盘204和鼠标205来向CPU201输入各种指令。

监视器206由CRT或者液晶显示器构成并显示超声波断层图像、断面图像等。此外，监视器206能够显示要显示的消息、GUI等。

存储单元207用作诸如硬盘驱动器的大容量信息存储单元、并存储由OS(操作系统)和CPU 201执行的、用来实现如上所述的图3所示的处理的程序。此外，在本实施例中描述的“已知信息”存储在存储单元207中并在适当的情况下将该信息加载到RAM 202。

存储介质驱动器208响应CPU 201发出的指令，读取存储在诸如CD-ROM或者DVD-ROM的存储介质中的程序和数据，并将程序和数据提供给RAM 202或者存储单元207。

I/F 209包括诸如模拟视频端口或者IEEE 1394的数字输入/输出端口以及用来向外部输出各种信息的以太网端口。输入的数据通过I/F 209提供给RAM 202。断层图像获得单元102、位置姿势获得单元104、3D图像获得单元106以及关注点指定单元107的一些功能由I/F 209实现。上述部件通过总线210彼此连接。

如上所述，本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或微处理单元(MPU)等的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

本发明的实施例提供了一种图像处理装置，该图像处理装置包括：超声波图像获得单元，其被配置为通过使用超声波拍摄被检体，来获得超声波图像；生成单元，其被配置为生成对应断面，所述对应断面与所述超声波图像的摄像断面相对应，与基准方向基本平行，并且包括预先从所述被检体的三维图像中指定的关注位置；以及断面图像获得单元，其被配置为从所生成的对应断面获得所述三维图像的断面图像。

优选地，所述生成单元根据所述摄像断面的改变，通过依据所述摄像断面相对沿所述基准方向延伸的轴的旋转来旋转所述对应断面，新生成对应断面。

优选地，所述生成单元根据所述摄像断面的改变，通过依据所述摄像断面相对沿所述基准方向延伸的轴的旋转来旋转所述对应断面，新生成对应断面，不依据所述摄像断面相对应所述基准方向的倾斜的移动，来旋转所述新生成的对应断面。

优选地，所述生成单元生成所述对应断面，所述对应断面与所述基准方向基本平行，包括预先指定的关注位置，并且具有与所述超声波图像的摄像断面交叉且与所述基准方向基本正交的线。

优选地，所述生成单元根据由所述基准方向和所获得的超声波图像定义的角度来确定是否生成所述对应断面。

优选地，当由所述基准方向和所获得的超声波图像定义的角度等于或者小于阈值时，所述生成单元生成所述对应断面，而当所述角度大于所述阈值时，所述生成单元不生成所述对应断面。

优选地，当不生成所述对应断面时，所述生成单元生成与包括所述超声波图像的平面基本平行并且包括预先指定的关注位置的另一对应断面，并且所述断面图像获得单元从所述被检体的所述三维图像获得所述另一对应断面的断面图像。

优选地，所述图像处理装置还包括：显示控制单元，其被配置为显示所述超声波图像和所述断面图像。

优选地，所述显示控制单元根据由所述基准方向和所述超声波图像定义的角度，来改变要显示的断面图像。

优选地，所述图像处理装置还包括：显示控制单元，其被配置为显示另一对应断面的第一MRI断面图像，并且以并排的方式显示所生成的对应断面的第二MRI断面图像，所述第一MRI断面图像是通过将俯卧位的三维MRI图像转换为仰卧位的三维MRI图像获得的三维MRI图像，与所述超声波图像平行，并且包括预先指定的关注位置。

优选地，所述图像处理装置还包括：设置单元，其被配置为根据当对所述被检体的三维图像进行摄影时获得的所述被检体的体位，来设置所述基准方向。

优选地，所述断面图像通过对俯卧位的所述被检体进行摄影而获得，并且所述超声波图像通过对所述俯卧位以外的姿势的所述被检体进行摄影而获得。

优选地，所述图像处理装置还包括：指定单元，其被配置为在所述超声波图像中指定任意位置。

优选地，所述图像处理装置还包括：显示控制单元，其被配置为根据由所述指定单元进行的指定，来显示所获得的断面图像。

本发明的另一实施例提供了一种图像处理方法，所述图像处理方法包括如下步骤：通过使用超声波拍摄被检体，来获得超声波图像；生成对应断面，所述对应断面与所述超声波图像的摄像断面相对应，与基准方向基本平行，并且包括预先从所述被检体的三维图像中指定的关注位置；以及从所生成的对应断面获得所述三维图像的断面图像。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (14)

1.一种图像处理装置，所述图像处理装置包括：

三维图像获得单元，其被配置为通过使用三维摄影装置对俯卧位的被检体进行摄影来获得俯卧位三维图像，并通过将所述俯卧位三维图像变形来获得仰卧位三维图像；

超声波图像获得单元，其被配置为依次获得通过使用超声波摄影装置对仰卧位的被检体进行摄影而获得的二维超声波图像；

生成单元，其被配置为根据所获得的二维超声波图像的摄像断面，生成所述仰卧位三维图像的第一断面和所述俯卧位三维图像的第二断面，所述第一断面包括预先使用所述俯卧位三维图像指定的关注位置，并且与所述二维超声波图像的摄像断面基本平行，所述第二断面通过用近似0度来替换由基准方向和所述第一断面定义的角度来获得；

断面图像获得单元，其被配置为基于所述仰卧位三维图像获得与所述第一断面相关联的第一断面图像并基于所述俯卧位三维图像获得与所述第二断面相关联的第二断面图像；以及

显示控制器，其被配置为以并排的方式显示所述二维超声波图像、所述第一断面图像以及所述第二断面图像。

2.根据权利要求1所述的图像处理装置，其中，所述生成单元根据所获得的二维超声波图像的所述摄像断面的改变，通过依据所述摄像断面相对沿所述基准方向延伸的轴的旋转来旋转所述第一断面，新生成所述第一断面。

3.根据权利要求1或2所述的图像处理装置，其中，所述生成单元根据由所述基准方向和所获得的二维超声波图像定义的角度来确定是否生成所述第一断面。

4.根据权利要求3所述的图像处理装置，其中，当由所述基准方向和所获得的二维超声波图像定义的角度等于或者小于阈值时，所述生成单元生成所述第一断面，而当所述角度大于所述阈值时，所述生成单元不生成所述第一断面。

5.根据权利要求4所述的图像处理装置，其中，当不生成所述第一断面时，所述生成单元生成与包括所述二维超声波图像的平面基本平行并且包括预先指定的所述关注位置的另一断面，并且

所述断面图像获得单元基于所述仰卧位三维图像获得与所述另一断面相关联的断面图像。

6.根据权利要求1所述的图像处理装置，其中，所述显示控制器根据由所述基准方向和所获得的二维超声波图像定义的角度，来改变要显示的断面图像。

7.根据权利要求1所述的图像处理装置，其中，所述显示控制器显示与所述第一断面相关联的第一MRI断面图像，并且以并排的方式显示与所述第二断面相关联的第二MRI断面图像，其中，所述第一MRI断面图像是通过所述断面图像获得单元基于所述仰卧位三维图像中获得的，所述第二MRI断面图像是通过所述断面图像获得单元基于所述俯卧位三维图像中获得的。

8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

设置单元，其被配置为根据当对所述被检体的三维图像进行摄影时获得的所述被检体的体位，来设置所述基准方向。

9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

指定单元，其被配置为在所述二维超声波图像中指定任意位置。

10.根据权利要求9所述的图像处理装置，其中，所述显示控制器根据由所述指定单元进行的指定，来显示所获得的第一断面图像和第二断面图像。

11.根据权利要求1所述的图像处理装置，其中，所述基准方向与重力方向相对应。

12.根据权利要求1所述的图像处理装置，其中，所述预先指定的关注位置是病变位置、表示疤痕的区域和表示血肿的区域的位置中的一个。

13.一种超声波摄影系统，所述超声波摄影系统包括：

根据权利要求1所述的图像处理装置；

显示单元，其被配置为显示所述二维超声波图像、所述第一断面图像以及所述第二断面图像；以及

超声波单元，其被配置为通过对所述被检体进行摄影获得所述二维超声波图像。

14.一种图像处理方法，所述图像处理方法包括如下步骤：

通过使用三维摄影装置对俯卧位的被检体进行摄影来获得俯卧位三维图像，并通过将所述俯卧位三维图像变形来获得仰卧位三维图像；

依次获得通过使用超声波摄影装置对仰卧位的被检体进行摄影而获得的二维超声波图像；

根据所获得的二维超声波图像的摄像断面，生成所述仰卧位三维图像的第一断面和所述俯卧位三维图像的第二断面，所述第一断面包括预先使用所述俯卧位三维图像指定的关注位置，并且与所述二维超声波图像的摄像断面基本平行，所述第二断面通过用近似0度来替换由基准方向和所述第一断面定义的角度来获得；

基于所述仰卧位三维图像获得与所述第一断面相关联的第一断面图像并基于所述俯卧位三维图像获得与所述第二断面相关联的第二断面图像；以及

以并排的方式显示所述二维超声波图像、所述第一断面图像以及所述第二断面图像。

Images