CN103460245B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN103460245B
CN103460245B CN201280017555.6A CN201280017555A CN103460245B CN 103460245 B CN103460245 B CN 103460245B CN 201280017555 A CN201280017555 A CN 201280017555A CN 103460245 B CN103460245 B CN 103460245B
Authority
CN
China
Prior art keywords
image
existence range
unit
information
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280017555.6A
Other languages
English (en)
Other versions
CN103460245A (zh
Inventor
远藤隆明
佐藤清秀
石川亮
石田卓也
宫狭和大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103460245A publication Critical patent/CN103460245A/zh
Application granted granted Critical
Publication of CN103460245B publication Critical patent/CN103460245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

根据本发明的信息处理设备被配置为将三维图像(例如，MRI图像或X射线CT图像)中的给定区域(例如，关注区域或关注病变部)投影到包括被检体的二维图像(超声波图像)的平面上，并且使显示单元将包括投影区域的由投影引起的误差范围(关注区域在二维图像中的相应区域可能存在的范围、还称为搜索范围)以叠加在二维图像上的方式来进行显示。因此，用户能够在二维图像中高效地搜索与三维图像中的关注区域相对应的相应区域。

Description

信息处理设备和信息处理方法
技术领域
本发明涉及一种用于高效地搜索诸如医学影像、摄像位置以及摄像日期和时间等的摄像条件不同的图像中的关注区域的相应区域的信息处理设备。背景技术
在医疗领域，医生将被检体的医学图像(包括表示被检体内部的三维信息的断层图像的三维图像数据)显示在监视器上并且解读(或读取)所显示的图像以诊断病变部。医学摄像时使用的医学图像收集装置(以下称为“医学影像设备”)的示例包括超声波诊断摄像设备、磁共振摄像(MRI)设备和X射线计算机断层扫描(CT)设备。
观察各医学影像设备所拍摄到的医学图像并不足以对病变部的状态作出正确诊断。因此，已经尝试通过比较多个医学影像设备所拍摄到的医学图像中或按不同日期和时间所拍摄到的医学图像中的病变部的相应区域来正确地诊断病变部的状态。
为了使用多个种类的医学图像来进行诊断，识别(或关联)各医学图像中的病变部等的相应区域很重要。由于因诸如医学影像设备的差异和被检体变形等的原因而导致难以通过使用图像处理来自动识别这些区域，因此诸如医生等的操作员通常在观看这些图像的同时进行用于识别这些区域的手动操作。操作员在观看一个医学图像(以下称为“参考图像”)中已经指出的要关注的关注病变部的图像的同时，基于病变部的形状、病变部的周围的外观和其它特性的相似性，在另一医学图像(以下称为“对象图像”)中搜索并识别病变部的相应区域(以下称为“相应病变部”)。在用于呈现医学图像的设备具有根据参考图像的坐标系中的关注病变部的位置来估计对象图像的坐标系中所 表示的相应病变部的位置并且呈现该估计位置的功能的情况下，操作员能够基于该估计位置来搜索相应病变部。
因此，已经尝试测量超声波探测器的位置和姿势以确定对象图像或超声波断层图像的坐标系与参考图像的坐标系之间的关系，并且估计超声波断层图像的坐标系(超声波坐标系)中的相应病变部的位置以引导该探测器工作。例如，专利文献1公开了：计算从当前超声波断层图像到参考图像(X射线CT设备或MRI设备等所获得的三维图像的断面图像)中所设置的目标(关注病变部)的中心的距离和方向，并且显示基于所计算出的距离和方向的三维箭头图像和数值。因而，操作员能够从视觉上确定从当前超声波断层图像到目标的距离，因此容易地确定参考图像和超声波断层图像之间的对应关系(位置关系)。
专利文献2公开了：在根据过去获取到的超声波断层图像(体或片)给出所选择的图像追踪点(关注病变部)的情况下，将大小和颜色基于相对于当前获取到的超声波断层图像的距离和方向的正方形作为面内指示符以叠加方式显示在当前获取到的超声波断层图像上。因此，在对甲状腺结节的数量、肝脏中的转移的数量或其它项的数量进行计数的情况下，即使探测器针对被检体的角度或位置改变，用户也可以判断当前可视结构是新识别的还是已经识别的并且进行计数。
引用文献列表
专利文献
专利文献1：日本特开2008-246264
专利文献2：日本特开2008-212680
发明内容
测量超声波探测器的位置和姿势的精度并不完美，并且在拍摄参考图像 时和拍摄超声波断层图像时之间被检体的形状可能改变。因此，超声波断层图像的坐标系中的相应病变部的估计位置可能包含误差，并且可能偏离相应病变部的实际位置。
然而，专利文献1和专利文献2中所公开的基于距离和方向的指示符并没有考虑到这种位置偏离。根据位置偏离的程度，用户可能甚至基于这些指示符也无法识别(或找出)实际相应病变部。因此，用户不得不在整个超声波断层图像中搜索实际相应病变部，并且搜索效率变低。
在本发明的方面中，一种信息处理设备，包括二维图像获取单元和显示控制单元。所述二维图像获取单元用于获取被检体的二维图像。所述显示控制单元用于使显示单元将误差范围以叠加在所述二维图像上的方式来进行显示。所述误差范围包括通过将所述被检体的三维图像中的给定区域投影到包括所述二维图像的平面上所获得的投影区域并且所述误差范围是由投影引起的。
根据本发明，可以将三维图像(例如，MRI图像或X射线CT图像)中的给定区域(例如，关注区域或关注病变部)投影到包括被检体的二维图像(例如，超声波图像)的平面上。还可以使显示单元以将包括投影区域的由投影引起的误差范围(关注区域在二维图像中的相应区域可能存在的范围，还被称为搜索范围)叠加在二维图像上的方式显示该误差范围。这使得用户能够确定对二维图像中的实际相应区域进行搜索的搜索范围，因此高效地搜索并识别该实际相应区域。
附图说明
图1是示出根据第一实施例的信息处理设备的处理过程的流程图。
图2是示出根据第二实施例的信息处理设备的结构的框图。
图3是示出根据第二实施例的信息处理设备的处理过程的流程图。
图4是示出根据第二实施例的信息处理设备中的用于在搜索模式中合成图像的处理过程的流程图。
图5A是示出根据第一实施例的信息处理设备中的用于显示断层图像和存在范围的方法的图。
图5B是示出根据第二实施例的信息处理设备中的用于显示断层图像和存在范围的方法的图。
图6A是示出第一区域和第二区域的示例的图。
图6B是示出第一区域和第二区域的另一示例的图。
图7是示出根据第三实施例的信息处理设备的装置结构的图。
图8是示出根据第四实施例的信息处理设备的装置结构的图。
图9是示出根据第三实施例的信息处理设备的处理过程的流程图。
图10是示出根据第四实施例的信息处理设备的处理过程的流程图。
图11是示出根据第五实施例的信息处理设备的装置结构的图。
图12是示出根据第五实施例的信息处理设备的处理过程的流程图。
图13是示出三维存在范围中的超声波断层图像的位置信息的图。
图14A是示出相对位置信息与颜色表的关联的图。
图14B是示出相对位置信息与颜色表的关联的图。
图15A是示出存在范围显示信息的图。
图15B是示出存在范围显示信息的图。
图15C是示出存在范围显示信息的图。
图15D是示出存在范围显示信息的图。
图16A是示出叠加显示有存在范围显示信息的超声波断层图像的图。
图16B是示出叠加显示有存在范围显示信息的超声波断层图像的图。
图16C是示出叠加显示有存在范围显示信息的超声波断层图像的图。
图16D是示出叠加显示有存在范围显示信息的超声波断层图像的图。
图17是示出能够利用软件来实现根据实施例的信息处理设备的各单元的计算机的基本结构的图。
具体实施方式
以下将参考附图来详细说明根据本发明的信息处理系统(信息处理设备)的典型实施例。应当注意，本发明不限于以下实施例。
第一实施例
根据第一实施例的信息处理设备被配置为将三维图像(例如，MRI图像或X射线CT图像)中的特定区域(例如，关注区域或关注病变部)投影到包括被检体的二维图像(例如，超声波图像)的平面上，并且将包括投影区域的由上述投影引起的误差范围(关注区域在二维图像中的相应区域可能存在的范围，还被称为搜索范围)以叠加在二维图像上的方式显示在显示单元上。这使得用户能够确定在二维图像中搜索实际相应区域的搜索范围，并且高效地搜索并识别该实际相应区域。
本实施例提供了基于上述投影的技术。具体地，除非由于上述投影而产生了误差，否则该投影使得能够将与给定区域相对应的区域连续地叠加显示在被检体的二维图像上。然而，例如由于由以下所述的坐标变换引起的误差，因此并非必须将与给定区域相对应的区域显示在被检体的二维图像上。将误差范围显示在二维图像上使得用户能够容易地搜索与给定区域相对应的区域。
这里，给定区域的位置可能经过从三维图像的三维坐标系到二维图像的三维坐标系(例如，位置姿势传感器的基准坐标系)的坐标变换(关联、位置对准)。因此，可以基于由坐标变换引起的误差来计算由投影引起的误差范围。另外，可以通过在三维图像中设置比给定区域(第一区域)大并且包括该给定区域的区域(第二区域)、然后对该区域(第二区域)的位置进行坐标变换来计 算由投影引起的误差范围。可以基于由坐标变换引起的误差来设置第二区域的大小。例如，如图6A所示，在将第一区域701定义为无大小的点的情况下，第二区域702可以是以第一区域701为中心并且半径等于由坐标变换引起的误差的球体。此外，如图6B所示，在将第一区域703定义为具有大小的封闭区域的情况下，第二区域704可以是由如下封闭曲线包围的区域，其中该封闭曲线被定义成该封闭曲线和第一区域703的最近邻点之间的距离等于由坐标变换引起的误差。
接着，将参考图1来说明根据本实施例的信息处理系统。图1是示出根据本实施例的信息处理设备的处理过程的流程图。
首先，在步骤S1中，误差获取单元将误差原因信息输入至信息处理设备。误差原因信息的示例包括超声波探测器与位置姿势传感器之间的距离。通常，该距离越长，由投影(例如，坐标变换)引起的误差越大。
然后，在步骤S2中，断层图像获取单元获取断层图像(例如，超声波断层图像)。
在步骤S3中，误差获取单元获取误差(由上述投影引起的误差)。例如，在步骤S1中获取到的误差原因信息是超声波探测器与位置姿势传感器之间的距离的情况下，可以通过利用预先存储的表(以下称为“用于计算误差的信息”)，使用该距离来确定误差。
在步骤S4中，获取关注区域(关注病变部)可能存在的范围(由上述投影引起的误差范围、搜索范围)。具体地，获取包括通过将三维图像中的给定区域投影到包括超声波断层图像的平面上所获得的投影区域并且是由上述投影引起的误差范围。在这种情况下，例如，绘制以投影区域为中心并且半径等于作为误差所确定的距离的圆，并且获取该圆与超声波断层图像重叠的区域。
在步骤S5中，将该重叠区域以叠加在超声波断层图像上的方式显示在显 示单元上。例如，将图5A所示的图像显示在显示单元上。在这种情况下，可以利用圆来表示相应病变部501可能存在的范围(存在范围)502，可以以包围该圆的方式应用半透明掩模，并且可以正常显示该圆内侧的区域中的超声波断层图像。因而，可以清楚地识别对关注区域的实际相应区域进行搜索的搜索范围。另外，用户可以容易地搜索该实际相应区域并且可以实现高效搜索。还可以仅利用圆的线来绘制相应区域可能存在的范围。可以对相应区域可能存在的范围内侧的区域着色。在这种情况下，该区域可以足够透明以进行搜索。
在图5A中，用户可以在由超声波断层图像上的投影所引起的误差范围内指定给定位置作为相应区域的位置。例如，可以将表示相应区域(给定区域在二维图像中的相应区域)的标记(例如，圆或十字形记号)以叠加在二维图像的给定位置上的方式显示在显示单元上。这样使得能够容易地识别二维图像中的相应区域的位置，从而提高诊断效率。此外，可以基于所指定的给定位置和投影区域之间的差异来校正由二维图像中的投影所引起的误差。因此，可以在与再次获取到的二维图像中的给定位置相对应的位置处连续显示标记。
在图5A中，在用户没有指定给定位置的情况下，重复进行超声波断层图像的获取。由投影引起的误差范围的大小根据各超声波断层图像的位置和姿势而改变。在给定区域(第一区域)和投影区域(第一区域在超声波断层图像中的相应区域)处于同一位置的情况下(在超声波断层图像的扫描部分通过给定区域的情况下)，由投影引起的误差范围的大小变为最大。如图5B所示，可以始终将具有最大大小的误差范围804显示在超声波图像503上，从而将误差范围804与实际误差范围502区分开。
第二实施例
根据第二实施例的信息处理系统被配置为将三维图像数据中的关注区 域(例如，关注病变部)可能存在的区域显示在实时拍摄到的超声波断层图像上。这使得操作员(诸如医生或工程师等)能够容易地将与三维图像数据中的关注区域相对应的相应区域(相应病变部)绘制到超声波断层图像上。在本实施例中，将说明将表示被检体内部的三维信息的断层图像群作为三维图像数据来处理的情况。现在将说明根据本实施例的信息处理系统。
图2示出根据本实施例的信息处理系统的结构。如图2所示，根据本实施例的信息处理系统100包括断层图像获取单元(还称为“二维图像获取单元”)110、位置姿势获取单元112、三维图像数据获取单元(还称为“三维图像获取单元”)120、关注区域获取单元122、误差获取单元123、断面图像生成单元(还称为“断面图像获取单元”)130、存在范围计算单元135、图像合成单元140和显示控制单元150。信息处理设备100连接至用于保持三维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器190。信息处理设备100还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置180的超声波诊断摄像设备。
三维图像数据的输入
数据服务器190中所保持的三维图像数据表示通过使用诸如MRI设备或X射线CT设备等的第一医学图像收集装置170预先拍摄被检体的图像所获得的参考断层图像群。在以下说明中，例如，使用MRI设备作为第一医学图像收集装置170，并且使用人体乳房作为要拍摄图像的被检体。
利用三维图像数据来表示MRI设备所拍摄到的参考断层图像群，并且将各断层图像的位置和姿势表示为MRI设备坐标系中的位置和姿势。如这里所使用的术语“MRI设备坐标系”是指将原点定义为以MRI设备为基准的空间内的一个点的坐标系。使用MRI设备坐标系所表示的三维图像数据被三维图像数据获取单元120获取并且被输入至信息处理设备100。三维图像数据获取单元120根据参考断层图像群来生成以各三维体素表示亮度值的三维体数据， 并且保持所生成的三维体数据。三维图像数据获取单元120响应于来自断面图像生成单元130的请求来将所保持的三维体数据输出至断面图像生成单元130。
数据服务器190还保持预先指定的病变部(关注病变部)的位置作为三维图像数据中的关注区域。例如可以通过将参考断层图像群顺次显示在图像浏览器(未示出)上、提示操作员选择这些参考断层图像中的关注病变部出现的参考断层图像、并且在该关注病变部上点击鼠标(未示出)，来指定关注病变部的位置。数据服务器190中所保持的关注病变部的位置被关注区域获取单元122获取并且被输入至信息处理设备100。关注区域获取单元122还将所保持的关注病变部的位置输出至误差获取单元123、存在范围计算单元135和图像合成单元140。在以下说明中，与三维图像数据相同，还使用MRI设备坐标系来表示关注病变部的位置。
误差估计值的获取：第二实施例
数据服务器190还保持用于计算三维图像数据中的病变部的位置的误差的信息。用于计算误差的信息是用于在投影期间计算超声波断层图像中的与三维图像数据中的病变部相对应的相应区域(相应病变部)的位置所涉及的误差的程度的信息。换句话说，用于计算误差的信息是用于计算三维图像数据和超声波断层图像之间的位置对准的误差(相应病变部的存在范围)的信息。在本实施例中，位置姿势获取单元112计算MRI设备坐标系中的超声波断层图像的位置和姿势，由此实现三维图像数据和超声波断层图像之间的位置对准。在以下说明中，将用于计算误差估计值的信息称为(以下将详细说明的)“误差原因信息”。将数据服务器190中所保持的误差原因信息经由误差获取单元123输入至信息处理设备100。误差获取单元123根据该误差原因信息来计算三维图像数据和超声波断层图像之间的位置对准的误差估计值(相应病变部的存在范围)。误差获取单元123将所计算出的误差估计值输出至存在 范围计算单元135。在这种情况下，存在范围计算单元135计算通过沿着超声波断面切割以关注病变部的位置为中心并且半径等于误差的球体所获得的圆，并且将所计算出的圆作为表示相应病变部的存在范围的信息输出至图像合成单元140。
断层图像的获取：第二实施例
用作第二医学图像收集装置180的超声波诊断摄像设备实时地拍摄被检体的超声波断层图像。这些超声波断层图像被断层图像获取单元110获取并且被顺次输入至信息处理设备100。断层图像获取单元110根据需要进一步将获取到的超声波断层图像转换成数字数据，并且将这些超声波断层图像与从位置姿势获取单元112获取到的位置和姿势相关联地进行保持。断层图像获取单元110响应于来自图像合成单元140的请求来将所保持的超声波断层图像输出至图像合成单元140。
通常，操作员在根据期望移动用手把持的超声波探测器的同时利用该超声波探测器拍摄被检体的图像。该超声波探测器用作超声波诊断摄像设备中的摄像单元(未示出)。使用该超声波探测器，可以检测超声波并且可以获取超声波断层图像。在这种情况下，超声波断层图像没有清楚地表示在以被检体为基准的空间中拍摄到的位置和姿势。因此，在本实施例中，使用安装至超声波诊断摄像设备的位置姿势传感器(未示出)来测量超声波探测器的位置和姿势。该位置姿势传感器例如可以是Polhemus Incorporated,Colchester,USA所研发的FASTRAK(注册商标)传感器。可以使用能够测量超声波探测器的位置和姿势的任何类型的位置姿势传感器。
以上述方式获得的超声波探测器的位置和姿势被位置姿势获取单元112获取并且被输入至信息处理设备100。例如可以将超声波探测器的位置和姿势表示为基准坐标系中的位置和姿势。如这里所使用的术语“基准坐标系”是指将原点定义为以被检体为基准的空间中的一个点的坐标系。此外，位置姿 势获取单元112获取基准坐标系中的超声波探测器的位置和姿势，并且根据获取到的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。位置姿势获取单元112响应于来自断面图像生成单元130的请求来将所计算出的位置和姿势输出至断面图像生成单元130。该计算处理是基于超声波探测器和超声波断层图像之间的相对位置关系以及基于基准坐标系和MRI设备坐标系之间的相对位置关系、通过使用已知的坐标变换计算而进行的。在本实施例中，与以上相位位置关系有关的信息(以下为校准数据)是使用已知的校准方法预先推导出的，并且作为已知值保持在位置姿势获取单元112内的存储器中。
断面图像的生成：第二实施例
断面图像生成单元130接收从三维图像数据获取单元120输出的三维体数据、从位置姿势获取单元112输出的超声波断层图像的位置和姿势、以及从关注区域获取单元122输出的关注病变部的位置。断面图像生成单元130基于接收到的数据来根据三维体数据而生成断面图像(第二二维断面图像)，并且将该断面图像输出至图像合成单元140。断面图像生成单元130根据以下所述的两个操作模式进行不同的处理。图像合成单元140从存在范围计算单元135获取表示相应病变部的存在范围(第二区域)的信息，并且将该第二区域以叠加方式绘制在从断层图像获取单元110获取到的超声波断层图像上。图像合成单元140进一步将由此得到的图像与从断面图像生成单元130获取到的断面图像进行合成以生成合成图像，并且将该合成图像输出至显示控制单元150或外部装置。可以将相应病变部的存在范围叠加在超声波断层图像上的图像和给定区域(第一区域)叠加在断面图像上的图像并排显示在显示单元上。显示控制单元150获取从图像合成单元140输出的合成图像，并且使该合成图像显示在显示单元160上。
可以将图2所示的各单元(即，断层图像获取单元110、位置姿势获取单 元112、三维图像数据获取单元120、关注区域获取单元122、误差获取单元123、断面图像生成单元130、存在范围计算单元135、图像合成单元140和显示控制单元150)中的至少一部分作为独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并且使用该计算机中的中央处理单元(CPU)执行用于实现这些单元的功能的软件，利用该软件来实现这些个体单元。在本实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
计算机的基本结构：第二实施例
图17是示出执行软件以实现断层图像获取单元110、位置姿势获取单元112、三维图像数据获取单元120、关注区域获取单元122、误差获取单元123、断面图像生成单元130、存在范围计算单元135、图像合成单元140和显示控制单元150各自的功能的计算机的基本结构的图。
CPU1001使用存储在随机存取存储器(RAM)1002或只读存储器(ROM)1003中的程序和数据来控制计算机的整体操作。CPU1001还控制软件的执行以实现断层图像获取单元110、位置姿势获取单元112、三维图像数据获取单元120、关注区域获取单元122、误差获取单元123、断面图像生成单元130、存在范围计算单元135、图像合成单元140和显示控制单元150各自的功能。
RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的程序和数据的区域，并且还具有在CPU1001进行各种处理时使用的工作区域。
ROM1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005是输入装置，并且操作员可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
显示单元1006可以由阴极射线管(CRT)显示器、液晶显示器或任何其它适当显示器构成，并且与显示单元160相对应。显示单元1006可以显示诸如 消息和图形用户界面(GUI)等的针对图像处理要显示的项、以及图像合成单元140所生成的合成图像。
外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并且存储操作系统(OS)和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在外部存储装置1007中并且根据需要载入RAM1002。
存储介质驱动器1008根据来自CPU1001的指示来读取诸如致密盘ROM(CD-ROM)或数字多功能盘ROM(DVD-ROM)等的存储介质中所存储的程序和数据，并且将所读取的程序和数据输出至RAM1002和外部存储装置1007。
接口(I/F)1009包括模拟视频端口或诸如电气和电子工程师协会(IEEE)1394端口等的数字输入/输出端口、以及将诸如合成图像等的信息输出至外部所利用的Ethernet(注册商标)端口。输入至各端口的数据经由I/F1009被获取至RAM1002。断层图像获取单元110、位置姿势获取单元112、三维图像数据获取单元120、关注区域获取单元122、误差获取单元123的功能中的一部分由I/F1009来实现。
上述各结构元件经由总线1010彼此连接。
搜索模式和连动模式
上述的信息处理系统具有搜索模式(用于搜索相应病变部的模式)和连动模式(用于观察并检查关联病变部的模式)这两个操作模式。在给出超声波断层图像的位置和姿势以及关注病变部的位置的情况下，基于上述信息，根据当前模式，从MRI三维图像数据生成(获取)断面图像。搜索模式中生成的断面图像是与包括上述超声波断层图像的平面平行并且通过关注病变部的断面图像。通过以上述方式生成断面图像，可以与超声波探测器的姿势无关地始终以对准方式显示超声波探测器相对于两个断面图像(超声波断层图像和MRI断面图像)中的被检体的倾斜(姿势)。结果，操作员可以仅需使超声波探测器压抵的位置与MRI数据中的位置一致。由于不再需要用于使倾斜彼此对 准的费时费力操作，因此操作员可以容易地实现位置对准。通过在超声波断层图像中指定相应病变部并且指出该相应病变部的位置来进行搜索模式和连动模式之间的切换。在连动模式中，显示通过从MRI三维图像数据中切出与超声波断层图像的断面相同的断面所获得的图像作为MRI断面图像。在连动模式中，操作员能够在同时观看超声波断层图像以及与超声波探测器的位置和姿势连动的关注病变部的周围的MRI断面图像的同时，观察病变部的扩散等。
将超声波断层图像和MRI断面图像显示在显示单元160上。在搜索模式中，操作员能够通过在改变超声波探测器压抵的位置的同时比较各图像中出现的特征以判断这两者是否一致来进行位置对准。在连动模式中，操作员能够在观看位置对准后的各图像的同时观察病变部的周围。
图3是示出信息处理设备100的处理过程的流程图。在本实施例中，通过利用CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之前，基于该流程图的程序代码已从例如外部存储装置1007被载入RAM1002。
S3000：数据的输入
在步骤S3000中，作为三维图像数据获取单元120的处理，信息处理设备100从数据服务器190获取参考断层图像群作为三维图像数据。然后，信息处理设备100通过对各断层图像的各像素进行三维配置和插值来根据参考断层图像群生成以各三维体素表示亮度值的三维体数据。此外，作为关注区域获取单元122的处理，信息处理设备100从数据服务器190获取关注病变部的位置。
S3005：误差原因信息的输入
在步骤S3005中，作为误差获取单元123的处理，信息处理设备100从数据服务器190获取计算误差估计值要使用的(以下所述的)各种误差原因信息。
S3010：断层图像的获取
在步骤S3010中，作为断层图像获取单元110的处理，信息处理设备100从第二医学图像收集装置180获取超声波断层图像。此外，作为位置姿势获取单元112的处理，信息处理设备100从第二医学图像收集装置180获取在获得超声波断层图像时所获得的超声波探测器的位置和姿势。然后，信息处理设备100通过使用作为已知值预先存储的上述校准数据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。在保持位置对准所用的校正参数的情况下，信息处理设备100利用与该校正参数相对应的量来校正所计算出的超声波断层图像的位置值，以使关注病变部与相应病变部精确对准。通过步骤S3000中的关注病变部的位置的获取以及步骤S3010中的超声波断层图像的位置和姿势的计算，来估计关注病变部(关注区域)和断层图像之间的相对关系。
S3015：误差估计值的获取
在步骤S3015中，作为误差获取单元123的处理，信息处理设备100基于步骤S3005中获取到的计算误差所使用的各种数据来计算误差估计值。
在本实施例中，通过刚性体变换来表示MRI设备坐标系和基准坐标系之间的关系。然而，在拍摄MRI图像时所获得的MRI设备坐标系中的被检体的位置和姿势与在进行超声波摄像时所获得的基准坐标系中的被检体的位置和姿势之间并非必须设置准确的刚性体变换。因此，在通过刚性体变换来表示这些坐标系之间的关系的情况下，可能存在误差。在这些坐标系之间的被检体的位置和姿势的差异提供了准确的刚性体变换的情况下，实际上难以正确地确定刚性体变换并且可能存在误差。可能存在的误差还包括位置姿势获取单元112所获取到的位置姿势测量值的误差(位置姿势测量误差)。
例如可以基于被配置为测量第二医学图像收集装置180的超声波探测器的位置和姿势的位置姿势传感器的特性来执行用于计算误差估计值的处理。 例如，可以针对位置姿势传感器的各测量方法预先确定误差基准值，并且可以根据要使用的传感器的测量方法来选择值。例如，与光学传感器相比，磁性传感器的测量精度通常较低。因此，在从数据服务器190获取到表示光学传感器处于使用中的信息作为误差原因信息的情况下根据获取到的信息所计算出的误差估计值比使用磁性传感器的情况下所计算出的误差估计值小。另外，与位置姿势传感器的测量方法之间的差异无关地，可以根据相对于位置姿势传感器的测量标准的空间位置和姿势的关系来计算误差估计值。例如，在位置姿势传感器是磁性传感器的情况下，可以将误差估计值定义为磁性发生器或测量标准与超声波探测器之间的距离的函数，并且在该距离大的情况下，可以计算出大的值作为误差估计值。此外，在位置姿势传感器是光学传感器的情况下，可以根据测量标准和超声波探测器之间的距离、超声波探测器的姿势等来计算误差估计值。
还可以基于被检体内的关注病变部存在的部位等来计算误差估计值。例如，在关注病变部存在于被检体的乳房等的软组织中的情况下，预料到在MRI图像的拍摄时刻和超声波图像的拍摄时刻之间的时间段内被检体的该部位可能变形。因此，在关注病变部存在于上述部位中的情况下，可以计算出大的误差估计值。此外，针对由于心搏而导致位置大幅改变的心脏区域或心脏附近区域或者由于呼吸而导致位置大幅改变的肺区域或肺附近区域，可以计算出大的误差估计值。具体地，可以获取到表示被检体内的关注病变部存在的部位(器官名称或器官内的位置)的信息、以及示出该部位和误差大小之间的对应关系的数据(表)作为误差原因信息，并且可以基于以上信息来计算误差估计值。
另外，可以获取到与用作MRI设备坐标系和基准坐标系之间进行校准时的指标的部位的位置等有关的信息作为误差原因信息，并且可以基于这些部位和关注病变部的位置之间的关系来计算误差估计值。例如，在使用被检体 的剑状突起作为校准所使用的指标的情况下，可以将误差估计值计算作为MRI图像中的剑状突起的位置与关注病变部之间的距离的函数。此外，在使用乳头的位置作为校准所使用的指标的情况下，可以将误差估计值计算作为MRI图像中的乳头的位置与关注病变部之间的距离的函数。可选地，可以通过使用以上举例说明的方法中的多个方法以复合方式估计误差，来获取误差估计值。
S3020：搜索模式的判断
在步骤S3020中，信息处理设备100判断当前操作模式是搜索模式还是连动模式。在操作模式是搜索模式的情况下，该处理进入步骤S3030；在操作模式是连动模式的情况下，该处理进入步骤S3070。在本实施例中，假定初始操作模式是搜索模式。
S3030：搜索模式中的图像的生成和显示
在步骤S3030中，信息处理设备100在搜索模式中生成图像，并且显示所生成的图像。以下将参考图4所示的流程图来说明步骤S3030的处理的详细内容。
在操作员在超声波断层图像中指定相应病变部的位置的情况下，信息处理设备100进行以下处理(步骤S3040和S3050)以校正关注病变部的位置和相应病变部实际存在的位置之间的偏移。
S3040：断层图像中的相应病变部的位置的指定
在步骤S3040中，作为位置姿势获取单元112的处理，信息处理设备100判断是否指定了超声波断层图像中的相应病变部的位置。例如可以通过操作员在显示单元160上所显示的超声波断层图像中的相应病变部的位置上点击鼠标1005来指定相应病变部的位置。在指定了相应病变部的位置的情况下，信息处理设备100根据超声波断层图像中的相应病变部的位置和超声波断层图像的位置和姿势来计算MRI设备坐标系中的相应病变部的位置。然后，该 处理进入步骤S3050。在没有指定这些位置的情况下，该处理进入步骤S3100。例如，在超声波断层图像中没有显示相应病变部的情况下，在步骤S3010中，用户在无需指定位置的情况下再次获取超声波断层图像。
S3050：校正值的计算
在步骤S3050中，作为位置姿势获取单元112的处理，信息处理设备100计算步骤S3040中获取到的相应病变部的位置和步骤S3000中获取到的关注病变部的位置之间的偏移(校正值)。然后，将所获得的值作为位置对准所用的校正参数保持在存储器中。在保持了校正参数的情况下，位置姿势获取单元112将S3010中新获取到的超声波断层图像转换成MRI设备坐标系中的超声波断层图像，并且将所获得的坐标系中的超声波断层图像的位置校正(减去)了与该校正参数(偏移)相对应的量。因此，可以校正位置姿势传感器的测量误差、被检体的变形等的影响。
S3060：从搜索模式向着连动模式的切换
在步骤S3060中，信息处理设备100将系统的操作模式从搜索模式切换至连动模式，并且该处理进入步骤S3100。在连动模式中，可以在无需进行从超声波断层图像中指定位置的步骤的情况下连续获取以上述方式校正后的超声波断层图像。例如，用户可能希望观察病变部的扩散从而获得要通过手术切除的病变部的大小。在这种情况下，可以使用校正后的超声波断层图像来观察相应病变部的周围。
S3070：连动模式中的图像的生成和显示
在步骤S3070中，信息处理设备100在连动模式中生成图像，并且显示所生成的图像。具体地，作为断面图像生成单元130的处理，信息处理设备100根据断层图像的位置和姿势，来生成通过从三维体数据中切出与步骤S3010中获得的超声波断层图像的断面相同的断面所获得的断面图像。然后，作为图像合成单元140的处理，信息处理设备100将步骤S3010中获得的超声波断 层图像与步骤S3070中获得的断面图像进行合成。例如，可以生成以上图像沿水平方向并排排列的图像。在断面图像的平面内存在关注病变部的位置的情况下，可以将表示关注病变部的矩形标记等以叠加在各图像上的方式绘制在超声波断层图像和断面图像中的相应位置处。此外，作为显示控制单元150的处理，信息处理设备100将合成图像显示在显示单元160上。
S3080：针对从连动模式向着搜索模式的切换的判断
在步骤S3080中，信息处理设备100判断是否将系统的操作模式从连动模式切换至搜索模式。例如，获取操作员通过例如按下键盘1004上的预定键(操作模式切换键)所输入的切换指示。在判断为要切换操作模式的情况下，该处理进入步骤S3090；在判断为不切换操作模式的情况下，该处理进入步骤S3100。例如，在正显示与相应病变部的图像相似的图像的情况下，存在在S3040中用户指定了与实际相应病变部的区域不同的区域的可能性。在这种情况下，用户可以使用在连动模式中再次获取到的超声波断层图像来观察相应病变部的周围。在用户找出实际相应病变部的情况下，用户可以在步骤S3080中将操作模式切换至搜索模式，并且可以再次获取相应病变部的位置。
S3090：从连动模式向着搜索模式的切换
在步骤S3090中，信息处理设备100将系统的操作模式从连动模式切换至搜索模式，并且该处理进入步骤S3100。
S3100：针对整个处理的终止的判断
在步骤S3100中，信息处理设备100判断是否终止整个处理。例如，获取操作员通过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处理的情况下，信息处理设备100的整个处理结束。在判断为不终止该处理的情况下，该处理返回至步骤S3010，并且对新拍摄到的超声波断层图像再次执行步骤S3010及其后续步骤的处理。
因此，执行了信息处理设备100的处理。
搜索模式中的图像的生成和显示
接着，将参考图4的流程图来说明步骤S3030中在信息处理设备100中进行的用于在搜索模式中生成要显示的图像的处理的详细内容。
S4000：断面图像的获取
在步骤S4000中，作为断面图像生成单元130的处理，信息处理设备100根据步骤S3000中获得的三维体数据及关注病变部的位置、以及步骤S3010中所获得的超声波断层图像的位置和姿势，来生成搜索模式中的断面图像。
首先，断面图像生成单元130基于关注病变部的位置和超声波断层图像的姿势来计算断面(平面)。具体地，首先，对断面坐标系(表示断面的位置和姿势的坐标系)的位置和姿势进行初始化。然后，使断面转动以使得该断面的姿势与超声波断层图像的姿势一致。然后，使断面平移以使得关注病变部位于该断面上。如此计算出的断面是包括关注病变部(即，表示断面通过关注病变部的平面)并且具有与超声波断层图像的姿势相同的姿势(与超声波断层图像平行)的断面。最后，计算在断面上要生成断面图像的范围。例如，基于超声波断层图像的位置和姿势来计算超声波断层图像的四个角处的点的位置，并且使用包括从各点向着断面的垂线的垂足的四个点来确定要生成的断面图像的范围。因此，随着超声波断层图像的姿势的移动，断面图像的姿势也相应地移动，由此使得用户能够实现容易的观察。
最后，断面图像生成单元130通过从三维体数据切出与以上述方式确定的断面相对应的图像来生成该图像。用于通过从三维体数据切出指定断面的图像来生成该图像的方法是已知的，因而省略了针对该方法的详细说明。
S4010：关注病变部的存在范围的获取
在步骤S4010中，作为存在范围计算单元135的处理，信息处理设备100计算步骤S3010中所获得的超声波断层图像中的相应病变部的存在范围。在本实施例中，将三维空间中的相应病变部的存在范围定义为以步骤S3000中 所获得的关注病变部的位置为中心并且半径等于步骤S3015中所获得的误差估计值的球体。此外，将超声波断层图像中的相应病变部的存在范围定义为作为表示三维空间中的相应病变部的存在范围的球体与断层图像相交的区域(球体的断面)的圆。因此，图像合成单元140计算该圆在超声波断层图像中的中心位置和半径。用于计算三维空间中所定义的球体与平面相交的区域的方法是已知的，因而省略了针对该方法的说明。在表示存在范围的球体与超声波断层图像没有相交的情况下，存储表示“在断面中无存在范围”的信息。
S4020：在断层图像中绘制关注病变部的存在范围
在步骤S4020中，作为图像合成单元140的处理，信息处理设备100将表示步骤S4010中计算出的超声波断层图像中的相应病变部的存在范围的信息以叠加方式绘制在该超声波断层图像上。在这种情况下，可以利用圆来表示相应病变部可能存在的范围，可以以包围该圆的方式应用半透明掩模，并且可以正常显示该圆内侧的区域中的超声波断层图像。因而，可以清楚地识别出对实际相应病变部进行搜索的搜索区域。另外，用户可以容易地搜索到实际相应病变部，并且可以实现高效搜索。还可以仅利用圆的线来绘制相应病变部可能存在的范围。可以对相应区域可能存在的范围内侧的区域着色。在这种情况下，该区域可以足够透明以进行搜索。作为步骤S4020的处理的结果，生成了图5A所示的、相应病变部501的存在范围502叠加在断层图像上的超声波断层图像503。要注意，在步骤S4010中判断为“在断面中无存在范围”的情况下，不执行步骤S4020的处理。
S4030：断层图像和断面图像的合成
在步骤S4030中，作为图像合成单元140的处理，信息处理设备100将步骤S4000中获得的断面图像与步骤S4020中获得的超声波断层图像(具体为相应病变部的存在范围叠加在断层图像上的图像)进行合成以生成合成图像。例如，可以生成以上图像沿水平方向并排排列的图像。然后，作为显示控制 单元150的处理，信息处理设备100将该合成图像显示在显示单元160上。还根据需要将该合成图像经由I/F1009输出至外部装置，并且还存储在RAM1002中从而其它应用程序可利用。
因此，向操作员呈现如下合成图像，其中在该合成图像中，将具有与超声波断层图像相同的姿势并且包括关注病变部的断层图像与绘制有相应病变部的存在范围的超声波断层图像进行合成。
因此，在根据本实施例的信息处理设备中，将考虑到位置对准的误差的相应病变部的存在范围呈现在超声波断层图像上以帮助操作员搜索该相应病变部。呈现相应病变部的存在范围可以减少在比所需范围大的范围内进行搜索的不期望工作并且可以减轻搜索操作期间施加于操作员的负担。另外，由于可以限制搜索范围，因此可以降低操作员可能进行误关联的风险。
在上述实施例中，在将相应病变部的存在范围以叠加方式呈现在超声波断层图像上的情况下，呈现具有与超声波断层图像相同的姿势并且包括关注病变部的断面图像作为MRI断面图像。然而，要呈现的MRI断面图像可以采用任何其它形式。例如，与根据本实施例的连动模式相同，可以显示与超声波断层图像的位置和姿势这两者连动的(通过切出与超声波断层图像相同的断面所获得的)断面图像。另外，可以将医生所指定的MRI断面图像作为静止图像(而不存在姿势的连动)进行显示。例如，可以显示医生指出了关注病变部的MRI断面图像。此外，并非必须显示MRI断面图像。
另外，在显示与超声波断层图像的位置和姿势这两者连动的断面图像的情况下，关注病变部的数量可以是多个。在这种情况下，针对各关注病变部将三维空间中的相应病变部的存在范围定义为球体。因而，可以确定各球体和超声波断层图像相交的区域，并且可以显示该区域作为该断层图像中的相应病变部的存在范围。
第三实施例
根据第三实施例的信息处理系统被配置为将三维图像数据(参考图像)中的关注区域(例如，关注病变部)的相应区域(相应病变部)可能存在的区域显示在实时拍摄到的超声波断层图像(对象图像)中。这使得操作员(诸如医生或工程师等)能够在超声波断层图像中容易地搜索并识别该相应区域。现在将说明根据本实施例的信息处理系统。
图7示出根据本实施例的信息处理系统的结构。如图7所示，根据本实施例的信息处理设备900包括断层图像获取单元(还称为“二维图像获取单元”)910、位置姿势获取单元912、三维图像数据获取单元(还称为“三维图像获取单元”)920、关注区域获取单元922、误差获取单元923、断面图像生成单元(还称为“断面图像获取单元”)930、存在范围计算单元935、图像合成单元940和显示控制单元950。信息处理设备900连接至用于保持三维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器990。信息处理设备900还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置980的超声波诊断摄像设备。
三维图像数据的获取：第三实施例
数据服务器990中所保持的三维图像数据可以是通过使用诸如MRI设备或X射线CT设备等的第一医学图像收集装置970预先拍摄被检体的图像所获得的图像。在以下说明中，例如，使用MRI设备作为第一医学图像收集装置970。在本实施例中，将三维图像数据表示为以各三维体素表示亮度值的三维体数据。另外，使用MRI设备坐标系来表示各体素的坐标。数据服务器990中所保持的三维图像数据被三维图像数据获取单元920获取并且被输入至信息处理设备900。
关注区域的获取：第三实施例
数据服务器990还保持(以下将详细说明的)表示三维图像数据中的关注区域的信息。数据服务器990中所保持的表示关注区域的信息被关注区域获 取单元922获取并且被输入至信息处理设备900。在以下说明中，例如，与三维图像数据相同，还使用MRI设备坐标系来表现表示关注区域的信息。
断层图像的获取：第三实施例
用作第二医学图像收集装置980的超声波诊断摄像设备实时地拍摄被检体的超声波断层图像。这些超声波断层图像被断层图像获取单元910获取并且被顺次输入至信息处理设备900。超声波探测器的位置和姿势是使用位置姿势传感器(未示出)来测量的，被位置姿势获取单元912获取到，并且被输入至信息处理设备900。将超声波探测器的位置和姿势表示为例如以被检体为基准的基准坐标系中的位置和姿势。位置姿势获取单元912获取基准坐标系中的超声波探测器的位置和姿势，并且根据获取到的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。
存在范围的计算：第三实施例
存在范围计算单元935基于关注区域获取单元922获取到的表示关注区域的信息以及位置姿势获取单元912获取到的超声波断层图像的位置和姿势，在超声波坐标系中估计与关注区域相对应的区域(相应区域)。如这里所使用的术语“超声波坐标系”是指以超声波断层图像为基准的三维坐标系，并且例如可被定义为x轴和y轴设置在断层图像的平面中并且z轴设置在与该平面垂直的方向上的、原点被定义为断层图像中的一个点的坐标系。存在范围计算单元935基于估计出的相应区域和如以下将说明的误差获取单元923所获取到的误差估计值来计算超声波断层图像中的相应区域的存在范围(第二区域)。
误差估计值的获取：第三实施例
除了上述信息以外，数据服务器990还保持用于计算相应区域的误差估计值的信息(如以下将详细说明的误差原因信息)。换句话说，误差原因信息是用于计算超声波断层图像中的相应区域的存在范围的信息。将数据服务器 990中所保持的误差原因信息经由误差获取单元923输入至信息处理设备900。误差获取单元923基于所获取到的误差原因信息来计算相应区域的误差估计值。将所计算出的误差估计值输出至存在范围计算单元935。
断面图像的生成：第三实施例
断面图像生成单元930接收从三维图像数据获取单元920输出的三维体数据以及从位置姿势获取单元912输出的超声波断层图像的位置和姿势。断面图像生成单元930基于接收到的数据来根据三维体数据生成与超声波断层图像相对应的断面图像，并且将所生成的断面图像输出至图像合成单元940。图像合成单元940从存在范围计算单元935获取表示相应病变部的存在范围(第二区域)的信息，并且将该第二区域以叠加方式绘制在从断层图像获取单元910获取到的超声波断层图像上。图像合成单元940进一步将由此得到的图像与从断面图像生成单元930获取到的断面图像进行合成(例如，沿水平方向并排排列这些图像)以生成合成图像，并且将该合成图像输出至显示控制单元950或外部装置。显示控制单元950获取从图像合成单元940输出的合成图像，并且将该合成图像显示在显示单元960上。
可以将图7所示的各单元(即，断层图像获取单元910、位置姿势获取单元912、三维图像数据获取单元920、关注区域获取单元922、误差获取单元923、断面图像生成单元930、存在范围计算单元935、图像合成单元940和显示控制单元950)中的至少一部分作为独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并且使用该计算机中的CPU执行用于实现这些单元的功能的软件，利用该软件来实现这些单元。在本实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
计算机的基本结构：第三实施例
图17是示出执行软件以实现断层图像获取单元910、位置姿势获取单元912、三维图像数据获取单元920、关注区域获取单元922、误差获取单元923、 断面图像生成单元930、存在范围计算单元935、图像合成单元940和显示控制单元950各自的功能的计算机的基本结构的图。
CPU1001使用存储在RAM1002或ROM1003中的程序和数据来控制计算机的整体操作。CPU1001还控制软件的执行以实现断层图像获取单元910、位置姿势获取单元912、三维图像数据获取单元920、关注区域获取单元922、误差获取单元923、断面图像生成单元930、存在范围计算单元935、图像合成单元940和显示控制单元950各自的功能。
RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的程序和数据的区域，并且还具有在CPU1001进行各种处理时使用的工作区域。
ROM1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005是输入装置，并且操作员可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
显示单元1006可以由CRT显示器、液晶显示器或任何其它适当显示器构成，并且与显示单元960相对应。显示单元1006可以显示诸如消息和GUI等的针对图像处理要显示的项、以及图像合成单元940所生成的合成图像。
外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并且存储OS和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在外部存储装置1007中并且根据需要载入RAM1002。
存储介质驱动器1008根据来自CPU1001的指示来读取诸如CD-ROM或DVD-ROM等的存储介质中所存储的程序和数据，并且将所读取的程序和数据输出至RAM1002和外部存储装置1007。
I/F1009包括模拟视频端口或诸如IEEE1394端口等的数字输入/输出端口、以及将诸如合成图像等的信息输出至外部所利用的Ethernet(注册商标)端口。输入至各端口的数据经由I/F1009被获取至RAM1002。断层图像获取 单元910、位置姿势获取单元912、三维图像数据获取单元920、关注区域获取单元922和误差获取单元923的功能中的一部分由I/F1009来实现。
上述各结构元件经由总线1010彼此连接。
图9是示出信息处理设备900的整个处理过程的流程图。在本实施例中，通过利用CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之前，基于该流程图的程序代码例如已从外部存储装置1007被载入RAM1002。
S11000：数据的输入
在步骤S11000中，作为三维图像数据获取单元920的处理，信息处理设备900从数据服务器990获取三维图像数据。此外，作为关注区域获取单元922的处理，信息处理设备900从数据服务器990获取表示关注区域的信息。表示关注区域的信息例如可以是关注病变部的位置(该区域的重心)、或者位于关注病变部的边界区域的点群的坐标。
S11010：误差原因信息的输入
在步骤S11010中，作为误差获取单元923的处理，信息处理设备900从数据服务器990获取计算误差估计值要使用的(以下所述的)各种误差原因信息。
S11020：断层图像的获取
在步骤S11020中，作为断层图像获取单元910的处理，信息处理设备900从第二医学图像收集装置980获取超声波断层图像。此外，作为位置姿势获取单元912的处理，信息处理设备900从第二医学图像收集装置980获取在拍摄超声波断层图像时所获得的超声波探测器的位置和姿势。然后，信息处理设备900通过使用作为已知值预先存储的校准数据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。
S11030：误差估计值的获取
在步骤S11030中，作为误差获取单元923的处理，信息处理设备900基于步骤S11010中获取到的各种误差原因信息(计算误差所使用的各种数据)来计算误差估计值。
在本实施例中，通过刚性体变换来表示MRI设备坐标系和基准坐标系之间的关系。然后，在拍摄MRI图像时所获得的MRI设备坐标系中的被检体的位置和姿势与在进行超声波摄像时所获得的基准坐标系中的被检体的位置和姿势之间并非必须设置准确的刚性体变换。因此，在通过刚性体变换来表示这些坐标系之间的关系的情况下，可能存在误差。在这些坐标系之间的被检体的位置和姿势的差异提供了准确的刚性体变换的情况下，实际上难以正确地确定刚性体变换并且可能存在误差。可能存在的误差还包括位置姿势获取单元912所获取到的位置姿势测量值的误差(位置姿势测量误差)。
例如可以基于被配置为测量第二医学图像收集装置980的超声波探测器的位置和姿势的位置姿势传感器的特性来执行用于计算误差估计值的处理。例如，可以针对位置姿势传感器的各测量方法预先确定误差基准值，并且可以根据要使用的传感器的测量方法来选择值。例如，与光学传感器相比，磁性传感器的测量精度通常较低。因此，在从数据服务器990获取到表示光学传感器处于使用中的信息作为误差原因信息的情况下基于获取到的信息所计算出的误差估计值比使用磁性传感器的情况下所计算出的误差估计值小。另外，与位置姿势传感器的测量方法之间的差异无关地，可以根据相对于位置姿势传感器的测量标准的空间位置和姿势的关系来计算误差估计值。例如，在位置姿势传感器是磁性传感器时，可以将误差估计值定义为磁性发生器或测量标准与超声波探测器之间的距离的函数，并且在该距离大的情况下，可以计算出大的值作为误差估计值。
此外，在位置姿势传感器是光学传感器的情况下，使用该光学传感器来测量配置在超声波探测器上的多个指标(标记)的位置，并且基于测量到的位 置来计算超声波探测器的位置和姿势。在多个指标的分布相对于用作测量标准的光学传感器存在偏移的情况下，位置和姿势的误差大。因此，可以将误差估计值定义为光学传感器和超声波探测器之间的距离的函数，并且在该函数的值大的情况下，可以计算出大的误差估计值。另外，可以将误差估计值定义为从光学传感器指向超声波探测器的矢量与相对于多个指标所配置的平面的法线之间的角度的函数，并且在该函数的值大的情况下，可以计算出大的误差估计值。
还可以基于被检体内的关注病变部存在的部位等来计算误差估计值。例如，在关注病变部存在于被检体的乳房等的软组织中的情况下，预料到在MRI图像的拍摄时刻和超声波图像的拍摄时刻之间的时间段内被检体的该部位可能变形。因此，在关注病变部存在于上述部位中的情况下，可以计算出大的误差估计值。此外，针对由于心搏而导致位置大幅改变的心脏区域或心脏附近区域、或者由于呼吸而导致位置大幅改变的肺区域或肺附近区域，可以计算出大的误差估计值。具体地，可以获取表示被检体内的关注病变部存在的部位(器官名称或器官内的位置)的信息、以及示出该部位和误差大小之间的对应关系的数据(表)作为误差原因信息，并且可以基于以上信息来计算误差估计值。
还可以以针对各轴方向具有不同值的方式计算误差估计值。例如，在关注病变部存在于被检体的乳房等的软组织中的情况下，在超声波探测器的操作方向上有可能发生经受按压力的变形。因而，(与针对垂直于操作方向的两个方向相比)，针对操作方向可以计算出较大的误差估计值。可以基于超声波探测器的当前和过去(例如，100毫秒以前)的位置和姿势、使用已知方法来计算超声波探测器的操作方向。在这种情况下，可以将误差估计值表现为表示方向和大小的三个垂直矢量。
另外，可以获取到与用作MRI设备坐标系和基准坐标系之间进行校准所 用的指标的部位的位置等有关的信息作为误差原因信息，并且可以基于这些部位和关注病变部的位置之间的关系来计算误差估计值。例如，在使用被检体的剑状突起作为校准所使用的指标的情况下，可以将误差估计值计算作为MRI图像中的剑状突起的位置与关注病变部之间的距离的函数。此外，在使用乳头的位置作为校准所使用的指标的情况下，可以将误差估计值计算作为MRI图像中的乳头的位置与关注病变部之间的距离的函数。可选地，可以通过使用以上举例说明的方法中的多个方法以复合方式估计误差，来获取误差估计值。
S11040：断面图像的获取
在步骤S11040中，作为断面图像生成单元930的处理，信息处理设备900生成与步骤S11020中获得的超声波断层图像相对应的参考图像的断面图像。具体地，根据步骤S11020中获得的超声波断层图像的位置和姿势，来生成通过从步骤S11000中获得的三维体数据中切出与超声波断层图像相同的断面所获得的断面图像。
S11050：存在范围的获取
在步骤S11050中，作为存在范围计算单元935的处理，信息处理设备900计算步骤S11020中所获得的超声波断层图像中的相应区域的存在范围。
具体地，首先，存在范围计算单元935估计关注区域在超声波坐标系中的相应区域。例如，在给出关注病变部的位置作为表示关注区域的信息的情况下，估计出超声波坐标系中的相应病变部的位置作为表示相应区域的信息。在给出位于关注病变部的边界区域的点群的坐标作为表示关注区域的信息的情况下，作为表示相应区域的信息，在超声波坐标系中估计位于相应病变部的边界区域的点群的坐标。以上估计可以基于位置姿势获取单元912所获取到的超声波断层图像的位置和姿势。
然后，存在范围计算单元935基于估计出的相应区域和步骤S11030中获 取到的误差估计值来计算超声波断层图像中的相应区域的存在范围。
在表示相应区域的信息是相应病变部的位置并且误差估计值不依赖于轴方向的情况下，将超声波坐标系中的相应病变部的三维存在范围定义为以估计出的相应病变部的位置为中心并且半径等于误差估计值的球体。另外，将超声波断层图像中的相应病变部的存在范围定义为作为该球体和该断层图像相交的区域(球体的断面)的圆。因此，存在范围计算单元935计算该圆在超声波断层图像中的中心位置和半径作为相应病变部的存在范围。用于计算三维空间中所定义的球体和平面相交的区域的方法是已知的，因而省略了针对该方法的说明。在球体和断层图像没有相交的情况下，存储表示“在断面中无存在范围”的信息。
在表示相应区域的信息是相应病变部的位置并且针对各轴方向给出误差估计值的情况下，将超声波坐标系中的相应病变部的三维存在范围定义为以估计出的相应病变部的位置为中心并且各轴方向上的半径等于相应轴方向上的误差估计值的椭圆体。因此，存在范围计算单元935计算该椭圆体和该断层图像相交的区域(椭圆体的断面)作为超声波断层图像中的相应病变部的存在范围。
另一方面，在表示相应区域的信息是位于相应病变部的边界区域的点群的坐标的情况下，使用上述方法来针对各点确定半径是误差估计值的球体或椭圆体，并且可以将被定义为该球体或椭圆体的集合并集的区域定义为相应区域的三维存在范围。因此，存在范围计算单元935计算该区域和超声波断层图像相交的区域作为断层图像中的相应区域的存在范围。
S11060：在断层图像中绘制存在范围
在步骤S11060中，作为图像合成单元940的处理，信息处理设备900将表示步骤S11050中计算出的超声波断层图像中的相应病变部的存在范围的信息以叠加方式绘制在超声波图像上。在这种情况下，可以利用封闭曲线表示 相应病变部可能存在的范围，可以以包围该封闭曲线的方式应用半透明掩模，并且可以正常显示该封闭曲线内侧的区域中的超声波断层图像。因而，可以清楚地识别对实际相应病变部进行搜索的搜索区域。另外，用户可以容易地搜索实际相应病变部，并且可以实现高效搜索。还可以仅利用封闭曲线的线来绘制相应病变部可能存在的范围。可以对相应病变部可能存在的范围的内侧的区域着色。在这种情况下，该区域可以足够透明以进行搜索。作为步骤S11060的处理的结果，生成图5A所示的、相应病变部501的存在范围502叠加在断层图像上的超声波断层图像503。要注意，在步骤S11050中判断为“在断面中无存在范围”的情况下，不执行步骤S11060的处理。
此外，可以判断断层图像与步骤S11050中所确定的相应区域是否相交，并且在断层图像与相应区域相交的情况下，可以将断层图像中的交叉区域以重叠方式显示在该断层图像上。
S11070：断层图像和断面图像的合成
在步骤S11070中，作为图像合成单元940的处理，信息处理设备900生成相应病变部的存在范围叠加在步骤S11040中所获得的断面图像和步骤S11060中所获得的超声波断层图像上的图像。例如，可以生成以上图像沿水平方向并排排列的图像。然后，作为显示控制单元950的处理，信息处理设备900将合成图像显示在显示单元960上。还根据需要将该合成图像经由I/F1009输出至外部装置，并且还存储在RAM1002中从而其它应用程序可利用。
S11080：针对整个处理的终止的判断
在步骤S11080中，信息处理设备900判断是否终止整个处理。例如，获取操作员通过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处理的情况下，信息处理设备900的整个处理结束。在判断为不终止该处理的情况下，该处理返回至步骤S11020，并且对新拍摄到的超声波断层图像再次执行步骤S11020及其后续步骤的处理。
因此，执行了信息处理设备900的处理。
因此，在根据本实施例的信息处理设备中，将考虑到位置估计的误差的相应病变部的存在范围呈现在超声波断层图像上以帮助操作员搜索该相应病变部。呈现相应病变部的存在范围可以减少在比所需范围大的范围内进行搜索的不期望工作并且可以减轻搜索操作期间施加于操作员的负担。另外，由于可以限制搜索范围，因此可以降低操作员可能进行误关联的风险。
在上述实施例中，将通过从用作参考图像的三维图像数据切出与超声波断层图像相同的断面所获得的断面图像与该超声波断层图像并排呈现。然而，并非必须显示断面图像。在这种情况下，并非必须进行用于获取用作参考图像的三维图像数据并且生成断面图像的处理。
第四实施例
根据第三实施例的信息处理系统是基于在拍摄三维图像数据时和在进行超声波摄像时之间被检体的形状没有改变(即，被检体是刚性体)这一假设。此外，通过测量超声波探测器相对于被检体的位置和姿势来估计关注区域在超声波坐标系中的相应区域(及其存在范围)。作为对比，根据第四实施例的信息处理系统被配置为通过估计从拍摄三维图像数据时所获得的被检体的形状向着进行超声波摄像时所获得的被检体的形状的变形来确定相应区域，其中考虑到变形估计的不确定性来估计相应区域的存在范围。将关注与第三实施例的不同之处来说明根据本实施例的信息处理系统。
图8示出根据本实施例的信息处理系统的结构。在图8中，向与图7中的组件大致相同的组件赋予相同的附图标记或符号，并且省略了针对这些组件的说明。如图8所示，根据本实施例的信息处理设备1000连接至形状测量装置1085。
用作形状测量装置1085的范围传感器测量进行超声波摄像时所获得的被检体的表面形状以获得表面形状数据。形状测量装置1085可以具有任何结 构，只要形状测量装置1085能够测量对象物体的形状即可，并且例如可以是立体图像测量装置。
形状获取单元1027获取输入至信息处理设备1000的被检体的表面形状数据，并且将该表面形状数据输出至变形估计单元1028。
变形估计单元1028基于形状获取单元1027所获取到的表面形状数据来估计被检体的变形状态。此外，变形估计单元1028计算(以下将详细说明的)变形参数的变化范围，并且将所计算出的范围输出至存在范围计算单元1035。此外，变形估计单元1028使三维图像数据变形为进行超声波摄像时所获得的被检体的形状以生成变形三维图像，并且将该变形三维图像输出至断面图像生成单元1030。
存在范围计算单元1035基于关注区域获取单元922获取到的表示关注区域的信息和变形估计单元1028估计出的变形参数的变化范围来计算超声波断层图像中的相应区域的存在范围。
断面图像生成单元1030基于从变形估计单元1028输出的变形三维图像以及从位置姿势获取单元912输出的超声波断层图像的位置和姿势、根据变形三维图像来生成与该超声波断层图像相对应的断面图像，并且将所生成的断面图像输出至图像合成单元940。
图10是示出根据本实施例的信息处理设备1000的整个处理过程的流程图。
S12000：数据的输入
在步骤S12000中，信息处理设备1000进行与根据第三实施例的步骤S11000的处理相同的处理以获取三维图像数据和表示关注区域的信息。此外，作为形状获取单元1027的处理，信息处理设备1000从形状测量装置1085获取被检体的表面形状数据。
S12005：变形估计
在步骤S12005中，作为变形估计单元1028的处理，信息处理设备1000基于步骤S12000中获取到的表面形状数据来估计被检体的变形状态。信息处理设备1000例如使用日本特开2011-092263所述的变形估计方法来根据三维图像数据生成被检体的变形模型，并且将该变形模型应用于形状数据以估计变形参数。信息处理设备100根据估计出的变形参数来进一步使三维图像数据变形为进行超声波摄像时所获得的被检体的形状，以生成变形三维图像。
S12010：变形参数的变化范围的计算
在步骤S12010中，作为变形估计单元1028的处理，信息处理设备1000计算变形参数的变化范围。该变形参数的变化范围是指如下参数范围，其中该参数范围被定义成：在变形参数的值在估计值附近改变的情况下，形状数据和变形形状之间的相似性的评价值落在特定范围内。该变化范围表示变形参数的估计值的不确定性。
S12015：三维空间中的存在范围的计算
在步骤S12015中，作为存在范围计算单元1035的处理，信息处理设备1000基于变形估计的解的不确定性来计算三维空间中的相应区域的存在范围。具体地，信息处理设备1000使变形参数在步骤S12010中所确定的变化范围内改变，并且计算由于改变变形参数所引起的相应区域的移位。此外，使用包含作为移位的结果所获得的所有区域的区域作为三维空间中的相应区域的存在范围。例如，推导出包含作为移位的结果所获得的所有区域的最小椭圆体，并且使用该最小椭圆体作为相应区域的存在范围。
S12020：断层图像的获取
在步骤S12020中，信息处理设备1000进行与根据第三实施例的步骤S11020的处理相同的处理以获取超声波断层图像及其位置和姿势。
S12040：断面图像的获取
在步骤S12040中，作为断面图像生成单元1030的处理，信息处理设备 1000生成与步骤S12020中所获得的超声波断层图像相对应的变形三维图像的断面图像。
S12050：断面图像中的存在范围的获取
在步骤S12050中，作为存在范围计算单元1035的处理，信息处理设备1000计算超声波断层图像中的相应区域的存在范围。具体地，步骤S12015中所计算出的三维空间中的相应区域的存在范围是沿着超声波断面所截取的以计算二维平面中的相应区域的存在范围。
步骤S12060、S12070和S12080的处理分别与根据第三实施例的步骤S11060、S11070和S11080的处理相同，因而省略了针对这些处理的说明。
因此，根据本实施例的信息处理设备被配置为通过估计从拍摄三维图像数据时所获得的被检体的形状向着进行超声波摄像时所获得的被检体的形状的变形来确定相应区域，其中考虑到变形估计的不确定性来估计该相应区域的存在范围。因而，即使关注病变部存在于被检体的乳房等的软组织中，用户也能够获得针对二维图像中的实际相应区域的更加精确的搜索范围，从而对该实际相应区域进行更加高效的搜索。
第四实施例的第一变形例
在本实施例中，已经在基于估计变形参数时所获得的解周围的参数的变化范围的方法的情形下说明了用于通过考虑到变形估计的不确定性来计算相应区域的存在范围的方法。然而，本发明不限于该实施例。
例如，可以基于通过多个变形模拟所获得的关注区域的移位的变化来计算相应区域的存在范围。例如，在关注病变部的重心因各种变形模拟而移位之后，可以计算包括作为移位的结果所获得的所有位置的多面体(例如，所有位置的凸包)或者封闭面(例如，椭圆体)，并且可以使用该多面体或封闭面作为相应病变部的存在范围。
第四实施例的第二变形例
另外，即使在与第四实施例相同考虑到变形的情况下，与第三实施例相同，也可以获取到误差估计值，并且可以基于该误差估计值来计算相应区域的存在范围。
例如，可以基于针对过去病例的变形估计的误差分布来计算相应区域的存在范围。例如，可以分别针对乳房的各大小和病变部的存在部位，将误差的统计值保持在数据服务器中。在这种情况下，可以从图像获取与被检体的乳房的大小和病变部的存在部位有关的信息，可以基于获取到的信息来获取相关统计值，并且可以使用获取到的统计值作为误差估计值来计算存在范围。
还可以基于变形估计单元1028估计变形参数时所获得的残差(或者进行超声波摄像时所获得的被检体的形状和变形三维图像的形状之间的偏差量)来计算误差估计值。例如，在残差大的情况下，可以计算出大的误差估计值。
还可以根据要使用的变形估计方法来改变误差估计值。例如，在要使用高精度的变形估计方法的情况下可以计算出小的误差估计值，并且在要使用简易的变形估计方法的情况下可以计算出大的误差估计值。
可选地，可以计算超声波探测器的表面位置和断面图像中的体表位置之间的差异，并且可以基于该差异来计算误差估计值。例如，在该差异大的情况下，可以计算出大的误差估计值。
还可以基于作为变形估计的预处理要进行的诸如体表检测等的图像分析的可靠度来计算误差估计值。例如，在图像分析的可靠度低的情况下，可以计算出大的误差估计值。
在本变形例中，在要计算一个误差估计值的情况下，与第三实施例相同，可以将相应病变部的存在范围定义为以关注病变部的位置为中心并且半径等于误差估计值的球体。
第五实施例
根据上述实施例，可以通过考虑到位置估计的误差来计算包括与三维图像(参考图像)数据中的给定部位(关注区域、关注病变部)相对应的部位(相应部位、相应病变部)的三维存在范围内的、超声波断层图像中的相应病变部可能存在的范围(二维区域)。如这里所使用的术语“三维存在范围”是指相应病变部可能存在的三维区域，并且使用与超声波断层图像(对象图像)的空间相同的空间(坐标系)来进行表示。将该存在范围呈现在超声波断层图像上从而帮助用户搜索相应病变部。这使得用户能够获得对相应病变部进行搜索的范围(搜索范围)，并且高效地搜索并识别相应病变部。
然而，在上述实施例中，仅显示相应病变部的三维存在范围的一个断面。因此，难以容易地识别截取了三维存在范围的哪部分。例如，在以球体的形式给出三维存在范围的情况下，与超声波断层图像与三维存在范围中的哪部分相交无关地，始终以圆形显示断层图像中的二维存在范围。因此，对于不了解球体的大小的用户而言，进行当前相交位置是位于球体的中心附近的部分还是球体的边缘附近的部分的判断并不容易。
因此，除了表示二维区域(相交区域)的信息(显示形态)以外，根据第五实施例的信息处理系统被配置为还显示表示已经截取三维存在范围中的哪个位置作为超声波断层图像的信息(例如，与断层图像的位置信息相关联的颜色信息)。在这种情况下，根据断层图像的位置信息，显示形态改变单元(显示信息生成单元1137的示例)将当前显示形态改变为表示与该位置信息相关联的二维区域的显示形态。这使得用户能够容易地掌握三维存在范围(三维区域)的整体视图并且高效地搜索并识别相应病变部。可以设置被配置为手动或自动指定三维图像中的关注区域的指定单元(未示出)。另外，可以设置被配置为确定与关注区域相对应的相应区域存在的存在范围作为给定区域的确定单元(显示信息生成单元1137的示例)。
图11示出根据本实施例的信息处理系统的结构。根据本实施例的信息处 理设备1100包括断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元1120(还称为“三维图像获取单元”)、关注区域获取单元1122、误差获取单元1123、断面图像生成单元1130、三维存在范围计算单元(还称为“三维区域获取单元”)1135、二维存在范围获取单元(还称为“二维区域获取单元”或“相交区域获取单元”)1134、位置信息计算单元1136、图像合成单元1140和显示控制单元1150。信息处理设备1100连接至用于保持三维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器1190。信息处理设备1100还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置1180的超声波诊断摄像设备。
三维图像数据的获取：第五实施例
数据服务器1190中所保持的三维图像数据可以是通过使用诸如MRI设备或X射线CT设备等的第一医学图像收集装置1170预先拍摄被检体的图像所获得的图像。在以下说明中，例如，使用MRI设备作为第一医学图像收集装置1170。在本实施例中，将三维图像数据表示为以各三维体素表示亮度值的三维体数据。另外，使用MRI设备坐标系来表示各体素的坐标。数据服务器1190中所保持的三维图像数据被三维图像数据获取单元1120获取并且被输入至信息处理设备1100。
关注区域的获取：第五实施例
数据服务器1190还保持(以下将详细说明的)表示三维图像数据中的关注区域的信息。数据服务器1190中所保持的表示关注区域的信息被关注区域获取单元1122获取并且被输入至信息处理设备1100。在以下说明中，例如，与三维图像数据相同，还使用MRI设备坐标系来表现表示关注区域的信息。
断层图像的获取：第五实施例
用作第二医学图像收集装置1180的超声波诊断摄像设备实时地拍摄被检体的超声波断层图像。这些超声波断层图像被断层图像获取单元1110获取 并且被顺次输入至信息处理设备1100。超声波探测器的位置和姿势是使用位置姿势传感器(未示出)来测量的，被位置姿势获取单元1112获取到，并且被输入至信息处理设备1100。将超声波探测器的位置和姿势表示为例如以被检体为基准的基准坐标系中的位置和姿势。位置姿势获取单元1112获取基准坐标系中的超声波探测器的位置和姿势，并且根据获取到的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。
三维存在范围的计算
三维存在范围计算单元1135基于关注区域单元1122获取到的表示关注区域的信息以及位置姿势获取单元1112获取到的超声波断层图像的位置和姿势，在超声波坐标系中估计与关注区域相对应的区域(相应区域)。如这里所使用的术语“超声波坐标系”是指以超声波断层图像为基准的三维坐标系，并且例如可被定义为x轴和y轴设置在断层图像的平面中并且z轴设置在与该平面垂直的方向上的、原点被定义为断层图像中的一个点的坐标系。三维存在范围计算单元1135基于估计出的相应区域和以下将说明的误差获取单元1123获取到的误差估计值来计算超声波坐标系中的相应区域的三维存在范围(本实施例中的三维区域)。
二维存在范围的计算
二维存在范围获取单元1134基于三维存在范围计算单元1135所计算出的三维存在范围来确定超声波断层图像和三维存在范围之间的相交区域，并且将所确定的相交区域作为超声波断层图像中的相应区域的二维存在范围输出至显示信息生成单元1137。
位置信息的计算
位置信息计算单元1136基于从三维存在范围计算单元1135获取到的表示超声波坐标系中的相应区域的三维存在范围的信息以及与超声波断层图像的位置和姿势有关的信息来计算超声波断层图像相对于三维存在范围的 相对位置信息。位置信息计算单元1136将所计算出的相对位置信息输出至显示信息生成单元1137。
与存在范围有关的显示信息的生成
显示信息生成单元1137基于从二维存在范围获取单元1134获取到的与二维存在范围有关的信息以及从位置信息计算单元1136获取到的与超声波断层图像有关的相对位置信息，来生成添加有相对位置信息的二维存在范围的显示信息。
误差估计值的获取：第五实施例
除了上述信息以外，数据服务器1190还保持用于计算相应区域的误差估计值的信息(如以下将详细说明的误差原因信息)。换句话说，误差原因信息是用于计算超声波断层图像中的相应区域的三维存在范围的信息。将数据服务器1190中所保持的误差原因信息经由误差获取单元1123输入至信息处理设备1100。误差获取单元1123基于获取到的误差原因信息来计算相应区域的误差估计值。将所计算出的误差估计值输出至三维存在范围计算单元1135。
断面图像的生成：第五实施例
断面图像生成单元1130接收从三维图像数据获取单元1120输出的三维体数据以及从位置姿势获取单元1112输出的超声波断层图像的位置和姿势。断面图像生成单元1130基于接收到的数据来根据三维体数据生成与超声波断层图像相对应的断面图像，并且将所生成的断面图像输出至图像合成单元1140。图像合成单元1140从显示信息生成单元1137获取与二维存在范围有关的显示信息，并且将该二维存在范围以叠加方式绘制在从断层图像获取单元1110获取到的超声波断层图像上。图像合成单元1140进一步将由此得到的图像与从断面图像生成单元1130获取到的断面图像进行合成(例如，沿水平方向并排排列这些图像)以生成合成图像，并且将该合成图像输出至显示控制单元1150或外部装置。显示控制单元1150获取从图像合成单元1140输出的合成 图像，并且将该合成图像显示在显示单元1160上。
可以将图11所示的各单元(即，断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像生成单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算单元1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150)中的至少一部分作为独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并且使用该计算机中的CPU执行用于实现这些单元的功能的软件，利用该软件来实现这些单元。在本实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
计算机的基本结构：第五实施例
图17是示出执行软件以实现断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像生成单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算单元1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150各自的功能的计算机的基本结构的图。
CPU1001使用存储在RAM1002或ROM1003中的程序和数据来控制计算机的整体操作。CPU1001还控制软件的执行以实现断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像生成单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算单元1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150各自的功能。
RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的程序和数据的区域，并且还具有CPU1001进行各种处理时使用的工作区域。
ROM1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005 是输入装置，并且用户可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
显示单元1006可以由CRT显示器、液晶显示器或任何其它适当显示器构成，并且与显示单元1160相对应。显示单元1006可以显示诸如消息和GUI等的针对图像处理要显示的项、以及图像合成单元1140所生成的合成图像。
外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并且存储OS和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在外部存储装置1007中并且根据需要载入RAM1002。
存储介质驱动器1008根据来自CPU1001的指示来读取诸如CD-ROM或DVD-ROM等的存储介质中所存储的程序和数据，并且将所读取的程序和数据输出至RAM1002和外部存储装置1007。
I/F1009包括模拟视频端口或诸如IEEE1394端口等的数字输入/输出端口、以及将诸如合成图像等的信息输出至外部所利用的Ethernet(注册商标)端口。输入至各端口的数据经由I/F1009被获取至RAM1002。断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元1120、关注区域获取单元1122和误差获取单元1123的功能中的一部分由I/F1009来实现。
上述各结构元件经由总线1010彼此连接。
图12是示出信息处理设备1100的整个处理过程的流程图。在本实施例中，通过利用CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之前，基于该流程图的程序代码例如已从外部存储装置1007被载入RAM1002。
S13000：数据的输入
在步骤S13000中，作为三维图像数据获取单元1120的处理，信息处理设备1100从数据服务器1190获取三维图像数据。此外，作为关注区域获取单元1122的处理，信息处理设备1100从数据服务器1190获取表示关注区域的信 息。表示关注区域的信息例如可以是关注病变部的位置(区域的重心)、或者位于关注病变部的边界区域的点群的坐标。
S13010：误差原因信息的输入
在步骤S13010中，作为误差获取单元1123的处理，信息处理设备1100从数据服务器1190获取计算误差估计值要使用的各种误差原因信息。误差原因信息可以是用于计算超声波断层图像中的相应区域的存在范围的信息。例如，从数据服务器1190获取表示测量超声波探测器的位置和姿势要使用的位置姿势传感器(诸如传感器A或传感器B等)的类型的信息作为误差原因信息。
S13020：断层图像的获取
在步骤S13020中，作为断层图像获取单元1110的处理，信息处理设备1100从第二医学图像收集装置1180获取超声波断层图像。此外，作为位置姿势获取单元1112的处理，信息处理设备1100从第二医学图像收集装置1180获取拍摄超声波断层图像时所获得的超声波探测器的位置和姿势。然后，信息处理设备1100通过使用作为已知值预先存储的校准数据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超声波断层图像的位置和姿势。
S13030：误差估计值的获取
在步骤S13030中，作为误差获取单元1123的处理，信息处理设备1100基于步骤S13010中获取到的各种误差原因信息(计算误差所使用的各种数据)来计算误差估计值，并且将所计算出的误差估计值输出至三维存在范围计算单元1135。
例如可以基于被配置为测量超声波探测器的位置和姿势的位置姿势传感器的特性来执行用于计算误差估计值的处理。可以针对位置姿势传感器的各类型预先确定误差基准值，并且可以根据要使用的传感器的类型来选择值。例如，在步骤S13010中所获得的误差原因信息是表示作为光学传感器的 传感器A处于使用中的信息的情况下，与在作为磁性传感器的传感器B处于使用中的情况下所计算出的误差估计值相比，可以计算出较小的误差估计值。可以使用任何其它方法来进行用于估计误差的处理。
S13040：断面图像的获取
在步骤S13040中，作为断面图像生成单元1130的处理，信息处理设备1100生成与步骤S13020中所获得的超声波断层图像相对应的参考图像的断面图像。具体地，根据步骤S13020中所获得的超声波断层图像的位置和姿势，来生成通过从步骤S13000中所获得的三维体数据中切出与超声波断层图像相同的断面所获得的断面图像。
S13050：三维存在范围的获取
在步骤S13050中，作为三维存在范围计算单元1135的处理，信息处理设备1100计算步骤S13020所获得的超声波断层图像的超声波坐标系中的相应区域的三维存在范围(三维区域)。
具体地，首先，三维存在范围计算单元1135估计关注区域在超声波坐标系中的相应区域。例如，在给出关注病变部的位置作为表示关注区域的信息的情况下，估计超声波坐标系中的相应病变部的位置作为表示相应区域的信息。
然后，三维存在范围计算单元1135基于估计出的相应区域和步骤S13030中获取到的误差估计值来计算超声波坐标系中的相应区域的三维存在范围。例如，在表示相应区域的信息是相应病变部的位置并且误差估计值不依赖于轴方向的情况下，可以将超声波坐标系中的相应病变部的三维存在范围计算作为以估计出的相应病变部的位置为中心并且半径等于误差估计值的球体。
S13051：二维存在范围的获取
在步骤S13051中，作为二维存在范围获取单元1134的处理，信息处理设备1100基于三维存在范围计算单元1135所计算出的三维存在范围来确定超 声波断层图像和三维存在范围之间的相交区域(二维存在范围)，并且将该相交区域输出至显示信息生成单元1137。在三维存在范围是球体的情况下，将二维存在范围定义为作为该球体和断层图像相交的区域(该球体的断面)的圆。因此，二维存在范围获取单元1134计算该圆在超声波断层图像中的中心位置和半径，作为二维存在范围。用于计算三维空间中所定义的球体与平面之间的相交区域的方法是已知的，因为省略了针对该方法的说明。在球体和断层图像没有相交的情况下，存储表示“在断面中无存在范围”的信息。
S13052：断层图像上的位置信息的计算
在步骤S13052中，作为位置信息计算单元1136的处理，信息处理设备1100从三维存在范围计算单元1135获取三维存在范围和超声波断层图像的位置信息，并且计算超声波断层图像相对于三维存在范围的相对位置信息。要注意，在步骤S13051中判断为“在断面中无存在范围”的情况下，不执行步骤S13052的处理。现在将说明具体计算方法。
图13是示出超声波断层图像在三维存在范围中的位置信息的图。附图标记301表示步骤S13050中所计算出的三维存在范围，附图标记302表示超声波断层图像，并且附图标记303表示通过利用超声波断层图像302截取三维存在范围301所获得的二维存在范围。
信息处理设备1100在三维空间中设置与超声波断层图像302平行的平面(以下称为“平行平面”)。在所设置的平行平面沿着与超声波断层图像302垂直的轴平移的情况下，计算该平行平面开始与三维存在范围301相交的位置和该相交结束的位置。将相交开始的位置定义为开始位置(给定位置的示例)，并且将相交结束的位置定义为结束位置(给定位置的示例)。附图标记304表示开始位置并且附图标记305表示结束位置。
然后，信息处理设备1100沿着与超声波断层图像302垂直的轴标绘与超声波断层图像302相对应的位置、与开始位置相对应的位置和与结束位置相 对应的位置，并且将这些位置分别定义为断层图像相应位置、开始相应位置和结束相应位置。附图标记Ax表示与超声波断层图像302垂直的正交轴，附图标记Ps表示断层图像相应位置，附图标记P0表示开始相应位置，并且附图标记P1表示结束相应位置。计算位于开始相应位置P0和结束相应位置P1之间的断层图像相应位置Ps的相对位置(位置关系)作为相对位置信息。在本实施例中，在进行标准化以使得例如沿着轴Ax的位置P0和P1的坐标分别等于0和1的情况下，将这两者之间的断层图像相应位置Ps的坐标(例如，0.3)定义为相对位置信息。
这样，沿着与超声波断层图像302垂直的轴来确定三维存在范围301的开始位置304和结束位置305，并且计算位置304和305之间的超声波断层图像302的相对位置信息。这意味着：在使当前显示的超声波断层图像302的姿势固定的同时使超声波探测器平移的情况下，用户确定当前的超声波断层图像302相对于超声波探测器开始与三维存在范围相交的位置和该相交结束的位置的相对位置信息。因此，用户能够容易地确定在使超声波断层图像302的姿势固定的状态下使超声波探测器平移时，通过沿哪个方向并以何种程度平移超声波探测器而使得该超声波探测器到达三维存在范围301的哪一侧的端部。
应当理解，用于计算开始位置和结束位置的方法不限于使平行平面沿着与超声波断层图像垂直的轴平移的方法。例如，可以通过使平行平面沿着任意轴平移并且计算平行平面开始与三维存在范围301相交的位置和该相交结束的位置，来确定开始位置和结束位置。
将所计算出的相对位置信息发送至显示信息生成单元1137。
S13054：与具有位置信息的存在范围有关的显示信息的生成
在步骤S13054中，作为显示信息生成单元1137的处理，信息处理设备1100基于从二维存在范围获取单元1134获取到的表示二维存在范围的轮廓 的形状信息和从位置信息计算单元1136获取到的与超声波断层图像有关的相对位置信息，来生成将相对位置信息添加至二维存在范围的显示信息。要注意，在步骤S13051中判断为“在断面中无存在范围”的情况下，不执行步骤S13054的处理。现在将说明具体生成方法。
首先，信息处理设备1100使超声波断层图像的相对位置信息与颜色表相关联，由此获得与三维存在范围中的超声波断层图像的位置相对应的颜色信息。
图14A是示出相对位置信息与颜色表的关联的图。附图标记Ax、Ps、P1和P2表示与图13所示的项相同的项。设置沿着轴Ax在位置P0和P1之间颜色根据位置而改变的颜色表。在本实施例中，例如，设置特定颜色的强度连续改变的颜色表，以使得离位置P0越近，颜色越浅，并且离位置P1越近，颜色越深。然后，获取颜色表上的与步骤S13054中在位置P0和P1之间的范围内进行了标准化的超声波断层图像的相对位置信息相对应的颜色信息。附图标记T1表示颜色表，并且附图标记C1表示与相对位置信息相对应的颜色信息。例如，在颜色表T1表示蓝色的强度改变的颜色表(在从位置P0向着位置P1的方向上，浅蓝色变为深蓝色)并且位置Ps的相对位置信息是0.3的情况下，将位置Ps映射到颜色表T1上的位置P0附近的位置。因此，以略浅的蓝色表示颜色信息C1。通过参考该颜色信息，用户可以直观地理解断层图像相应位置Ps相对接近位置P0。
然而，用于设置颜色表的方法不限于上述方法。例如，可以使用特定颜色的强度不是连续改变而是逐级改变(例如，10级)的颜色表。可选地，可以使用如下颜色表，其中在该颜色表中，代替单个颜色，将多个典型颜色按特定间隔配置在位置P0和P1之间，并且在相邻颜色之间发生连续变化(例如，在从位置P0向着位置P1的方向上，黑色→蓝色→绿色→黄色→红色→白色)。还可以使用将位置P0和P1之间的距离分割成各自分配有不同颜色的多个区 段的颜色表。
然后，信息处理设备1100基于与获取到的超声波断层图像的相对位置信息相对应的颜色信息，来生成与二维存在范围的形状信息相关联的显示信息。将所生成的显示信息称为存在范围显示信息。在本实施例中，获得将获取到的颜色信息添加至二维存在范围的轮廓形状的显示信息。
图15A～15D是示出存在范围显示信息的图。图15A示出将颜色信息添加至存在范围的轮廓形状(轮廓线)的显示信息。在图15A中，附图标记S1表示添加有颜色信息的存在范围的轮廓形状(轮廓线)。例如，在相对位置信息是0.3并且如上所述被映射到略浅的蓝色上的情况下，轮廓形状(轮廓线)S1被着色成略浅的蓝色。
然而，用于生成存在范围显示信息的方法不限于上述方法。例如，代替将超声波断层图像的相对位置信息作为颜色信息添加至二维存在范围的形状信息，表示形状的曲线可以利用点线来表示，并且可以利用点线的密度来表示。在这种情况下，代替颜色表，预先设置点线的密度根据位置而在位置P0和P1之间改变的表(例如，在从位置P0向着位置P1的方向上，粗的点线改变为细的点线)，并且将位置Ps映射到该表上。图15B示出将点线密度信息添加至存在范围的轮廓形状的显示信息。在图15B中，附图标记S2表示添加有点线密度信息的存在范围的形状。例如，在相对位置信息也为0.3并且被映射到略粗的点线上的情况下，利用略粗的点线来绘制轮廓形状S2。
添加有超声波断层图像的相对位置信息的对象不限于二维存在范围的轮廓形状。例如，可以对二维存在范围的内部区域着色。图15C示出将颜色信息添加至存在范围的内部区域的显示信息。在图15C中，附图标记R1表示添加有颜色信息的存在范围的内部区域。例如，如上所述，在将相对位置信息映射到呈略浅的蓝色上的情况下，内部区域R1是略带浅蓝色的区域。另一方面，也可以对二维存在范围的外部区域着色。图15D示出将颜色信息添加至存在范围的外部区域的显示信息。在图15D中，附图标记R2表示添加有颜色信息的存在范围的外部区域。映射到与上述颜色相同的颜色上将会使得能够将外部区域R2着色成略浅的蓝色。将所生成的存在范围显示信息发送至图像合成单元1140。
S13060：在断层图像中绘制存在范围
在步骤S13060中，作为图像合成单元1140的处理，信息处理设备1100将向从显示信息生成单元1137获取到的相应病变部的二维存在范围添加超声波断层图像的相对位置信息的存在范围显示信息以叠加方式绘制在超声波图像上。要注意，在步骤S13051中判断为“在断面中无存在范围”的情况下，不执行步骤S13060的处理。
图16A～16D是示出叠加显示有存在范围显示信息的超声波断层图像的图。图16A示出其上叠加显示有将相对位置信息作为颜色信息添加至二维存在范围的轮廓形状的显示信息的超声波断层图像。在图16A中，附图标记601表示超声波断层图像，附图标记602表示相应病变部，并且附图标记S1表示与图15A所示相同的存在范围显示信息。由于存在范围显示信息S1叠加在超声波断层图像601上，因此可以清楚地识别对实际的相应病变部进行搜索的搜索区域。另外，用户可以容易地搜索实际相应病变部，并且可以实现高效搜索。
通过参考添加至存在范围的轮廓形状的颜色信息，用户可以直观地理解超声波断层图像601在三维存在范围中的相对位置信息。与图15A相同，在以略浅的蓝色表示颜色信息的情况下，可以容易地判断出超声波断层图像601相对于三维存在范围位于图13所示的开始位置304附近的位置。
要以叠加方式绘制在超声波断层图像上的存在范围显示信息不限于以上参考图16A所述的显示信息。例如，可以将利用表示二维存在范围的轮廓形状的曲线的密度来表示相对位置信息的显示信息以叠加方式绘制在超声 波断层图像上。图16B示出其上叠加显示有利用轮廓形状的密度来表示相对位置信息的二维存在范围的超声波断层图像。在图16B中，附图标记601和602分别表示与图16A所示相同的超声波断层图像和相应病变部，并且附图标记S2表示与图15B所示相同的存在范围的形状。
如从图16B可以发现，通过参考添加至存在范围的轮廓形状的点线密度信息，用户可以直观地理解超声波断层图像601在三维存在范围中的相对位置信息。在对轮廓形状着色的情况下，颜色变得越浅，轮廓形状可能越不太可见。在这种情况下，可以将表示轮廓形状的颜色设置为可见性高的颜色，由此使得即使点线的密度改变、用户也能够容易地识别点线。与图15B相同，在使用略粗的点线的情况下，可以容易地判断出超声波断层图像601相对于三维存在范围位于图13所示的开始位置304附近的位置。
可以通过将对二维存在范围的内部区域着色的显示信息以叠加方式绘制在超声波断层图像来获得表示相对位置信息的颜色信息。图16C示出其上叠加有内部区域中绘制了相对位置信息的二维存在范围的超声波断层图像。在图16C中，附图标记601和602分别表示与图16A所示相同的超声波断层图像和相应病变部，并且附图标记R1表示与图15C所示相同的内部区域。
如从图16C可以发现，通过参考存在范围的内部区域内的以彩色示出的颜色信息，用户可以直观地理解超声波断层图像601的相对位置信息。另外，对内部区域着色使得颜色信息与通过对轮廓形状着色所获得的颜色信息相比更加可见。在这种情况下，内部区域对于用户而言可以是足够透明的以搜索相应病变部602。
与图16C相反，可以通过将对二维存在范围的外部区域着色的显示信息以叠加方式绘制在超声波断层图像上来呈现表示相对位置信息的颜色信息。图16D示出其上叠加有将相对位置信息绘制在外部区域中的二维存在范围的超声波断层图像。在图16D中，附图标记601和602分别表示与图16A所示相 同的超声波断层图像和相应病变部，并且附图标记R2表示与图15D所示相同的区域。
如从图16D可以发现，通过参考对存在范围的外部区域着色的颜色信息，用户可以直观地理解超声波断层图像601的相对位置信息。另外，由于没有对内部区域着色，因此与对内部区域着色的情况相比，用户可以更加容易地观察该内部区域，并且可以容易地搜索相应病变部。在这种情况下，外部区域对于用户而言可以是足够透明的以观察在二维存在范围的外部区域中超声波断层图像呈现何种状态。
可以判断断层图像与步骤S1350中所确定的相应区域是否相交，并且在断层图像与该相应区域相交的情况下，可以将断层图像上的相交区域叠加显示在断层图像上。
S13070：断层图像和断面图像的合成
在步骤S13070中，作为图像合成单元1140的处理，信息处理设备1100将步骤S13040中所获得的断面图像与步骤S13060中所获得的相应病变部的存在范围叠加在超声波断层图像上的图像进行合成。例如，可以生成以上图像沿水平方向并排排列的图像。然后，作为显示控制单元1150的处理，信息处理设备1100将合成图像显示在显示单元1160上。还根据需要将该合成图像经由I/F1009输出至外部装置，并且还存储在RAM1002中从而其它应用程序可利用。
S13080：针对整个处理的终止的判断
在步骤S13080中，信息处理设备1100判断是否终止整个处理。例如，获取用户通过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处理的情况下，信息处理设备1100的整个处理结束。在判断为不终止该处理的情况下，该处理返回至步骤S13020，并且对新拍摄到的超声波断层图像再次执行步骤S13020及其后续步骤的处理。因此，执行了信息处 理设备1100的处理。
因此，根据本实施例的信息处理设备将添加有当前显示的超声波断层图像的相对位置信息的二维存在范围显示在超声波断层图像上，由此使得用户能够在关注超声波断层图像上的二维存在范围的状态下容易地确定超声波断层图像相对于三维存在范围的当前位置。因此，用户可以容易地确定要搜索的存在范围剩余的程度，并且可以高效地搜索并识别相应病变部。
第六实施例
根据第五实施例的信息处理系统被配置为根据三维存在范围的开始位置和结束位置来将超声波断层图像的位置信息映射到颜色表上。作为对比，根据第六实施例的信息处理系统被配置为除了上述的开始位置和结束位置以外，还根据表示三维存在范围的位置信息(还称为作为给定位置的示例的代表位置)来将超声波断层图像的位置信息映射到颜色表上。除了第五实施例中的显示信息生成单元1137的处理中的一部分以外，根据本实施例的信息处理系统具有与图11所示相同的结构。除了第五实施例中的步骤S13054的处理中的一部分以外，根据本实施例的信息处理系统的处理流程与图12所示的处理流程相同。将关注与第五实施例的不同之处来说明根据本实施例的信息处理系统。
在步骤S13054中，作为显示信息生成单元1137的处理，根据第六实施例的信息处理设备1200基于从三维存在范围计算单元1135获取到的表示二维存在范围的轮廓的形状信息、从位置信息计算单元1136获取到的超声波断层图像的位置信息、以及表示三维存在范围的位置信息，来生成将相对位置信息添加至二维存在范围的显示信息。将说明具体生成方法。在本实施例中，将通过使用三维存在范围的重心相应位置来说明表示三维存在范围的位置信息。
首先，显示信息生成单元1137设置用于反映三维存在范围的重心位置的 颜色表，并且使超声波断层图像的相对位置信息与该颜色表相关联。
图14B是示出相对位置信息和反映重心相应位置的颜色表之间的关联的图。附图标记Ax、P0、P1和Ps表示与图13所示相同的项。附图标记Pg表示上述的重心相应位置。沿着轴Ax在位置P0和P1之间设置颜色表，其中在位置P0和Pg之间以及位置Pg和P1之间，颜色根据位置而连续改变。具体地，设置如下颜色表，其中在该颜色表中，颜色强度在位置Pg处变为最大，并且在从位置Pg向着位置P0和从位置Pg向着位置P1的方向上减小。在步骤S13054中，获取颜色表中的与位置P0和P1之间进行了标准化的断层图像相应位置Ps的相对位置信息相对应的颜色信息。
附图标记T2表示反映重心相应位置Pg的位置的颜色表，并且附图标记C2表示与相对位置信息相对应的颜色信息。例如，在颜色表T2是蓝色的强度改变的颜色表并且断层图像相应位置Ps的相对位置信息为0.3的情况下，将断层图像相应位置Ps映射到颜色表上的重心相应位置PG的0.5的位置附近的位置上。因而，以略深蓝色表示颜色信息C2。通过参考颜色信息C2，用户可以直观地理解超声波断层图像相对接近三维存在范围的重心位置。
还可以设置如下颜色表，其中在该颜色表中，针对位置P0、Pg和P1设置不同的典型颜色，并且在位置P0、Pg和P1之间颜色根据位置而连续改变。例如，设置如下颜色表，其中在该颜色表中，针对位置P0设置红色，针对位置Pg设置绿色，针对位置P1设置蓝色，并且颜色在位置P0和Pg之间从红色改变为绿色并且在位置Pg和P1之间从绿色改变为蓝色。因而，用户可以直观地理解超声波断层图像接近位置P0、Pg和P1中的哪个位置。另外，由于在位置P0和Pg以及位置Pg和P1之间设置不同的颜色，因此用户可以容易地确定超声波断层图像相对于三维存在范围的重心位置位于位置P0还是P1侧。在位置Ps的相对位置信息是0.3的情况下，以红色和绿色之间的接近绿色的颜色来表示颜色信息C2。应当理解，还可以使用将位置P0和Pg之间以及位置Pg和P1之 间的距离分割成各自分配有不同颜色的多个区段的颜色表。
然后，与第五实施例相同，信息处理设备1200基于与获取到的超声波断层图像的相对位置信息相对应的颜色信息来生成与二维存在范围的形状信息相关联的存在范围显示信息。
表示三维存在范围的位置信息不限于重心位置。例如，在使与超声波断层图像302平行的平面沿着正交轴Ax平移的情况下，可以确定三维存在范围301和超声波断层图像302相交的区域(二维存在范围303)的面积最大的情况下所获得的平面的位置，并且可以使用通过将所确定的平面的位置标绘到正交轴Ax上所获得的位置作为表示三维存在范围的位置信息。
因此，用户可以读取三维存在范围中的超声波断层图像的位置与三维存在范围的重心位置的接近程度，并且可以更直观地掌握该位置。
变形例
上述的第五实施例和第六实施例已经通过相应病变部可能存在的三维存在范围是三维区域的示例进行了说明。然而，这些实施例不限于该示例。例如，可以使用X射线CT图像或MRI图像中的表示诸如病变部或器官等的关注部位的区域作为三维区域。这可以通过利用当前显示的切片图像替换前述实施例中的步骤S13020获取到的超声波断层图像、并且进一步利用关注部位的三维区域替换步骤S13050获取到的三维存在范围来实现。
因此，在解读(或读取)X射线CT图像或MRI图像时，医生可以直观地理解当前显示的切片图像中出现的关注部位位于切片图像的垂直方向上的关注部位的三维区域中的哪个位置。由于可以容易地识别要解读(或读取)的关注部位的三维区域残留的程度，因此可以高效地解读(或读取)X射线CT图像或MRI图像。
其它实施例
本发明还可以通过执行以下处理来实现：将实现前述实施例的功能的软 件(程序)经由系统或各种存储介质供给至系统或设备，并且该系统或设备中的计算机(CPU或微处理单元(MPU)等)读取并执行该程序。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2011年4月6日提交的日本专利申请2011-084495、2012年1月18日提交的日本专利申请2012-008205和2012年2月24日提交的日本专利申请2012-038883的优先权，在此通过引用包含这些专利申请的全部内容。

Claims (10)

1.一种信息处理设备，包括：
二维图像获取单元，用于获取被检体的二维图像；
存在范围计算单元，用于计算所述二维图像和三维存在范围之间的相交区域作为存在范围，所述三维存在范围由所述被检体的三维图像中的给定区域的相应区域和添加至所述相应区域的周围的误差范围所组成，以及
显示控制单元，用于使显示单元将所述存在范围显示在所述二维图像上。
2.根据权利要求1所述的信息处理设备，其中，还包括：
坐标变换单元，用于对所述给定区域的位置进行从所述三维图像的三维坐标系向着所述二维图像的三维坐标系的坐标变换；以及
计算单元，用于根据由所述坐标变换引起的误差来计算所述误差范围。
3.根据权利要求2所述的信息处理设备，其中，还包括：
设置单元，用于在所述三维图像中，设置比所述给定区域大、并且包括所述给定区域的区域，
其中，所述坐标变换单元对该区域的位置进行从所述三维图像的三维坐标系向着所述二维图像的三维坐标系的坐标变换。
4.根据权利要求1所述的信息处理设备，其中，还包括：
指定单元，用于在所述二维图像中指定给定部位；以及
校正单元，用于根据所述给定部位和所述相应区域之间的差异来对所述二维图像中的误差进行校正。
5.根据权利要求4所述的信息处理设备，其中，所述显示控制单元使所述显示单元将表示所述相应区域的标记以叠加在所述二维图像中的所述给定部位上的方式来进行显示。
6.根据权利要求5所述的信息处理设备，其中，还包括：
切换单元，用于将所述信息处理设备的操作模式切换为如下的模式，其中在该模式中，在利用所述校正单元对所述误差进行了校正时，再次获取所述被检体的二维图像并且不将所述存在范围显示在所获取到的二维图像上，而在将所述给定部位显示在该二维图像上时，将所述标记以叠加在该二维图像上的方式显示在所述显示单元上。
7.根据权利要求1所述的信息处理设备，其中，还包括：
断面图像获取单元，用于根据所述三维图像中的所述给定区域的位置和所述二维图像的姿势来获取所述三维图像的断面图像，其中所述断面图像是通过所述给定区域并且与所述姿势相对应的图像。
8.根据权利要求7所述的信息处理设备，其中，还包括：
超声波探测器，用于检测来自所述被检体的超声波以获取所述二维图像；以及
位置姿势获取单元，用于获取所述超声波探测器的位置和姿势，
其中，根据所述超声波探测器的位置和姿势来获取所述二维图像的姿势。
9.根据权利要求7所述的信息处理设备，其中，所述显示控制单元使所述显示单元显示如下的两个图像：通过将所述存在范围叠加在所述二维图像上所获得的图像；以及通过将所述给定区域叠加在所述断面图像上所获得的图像。
10.一种信息处理方法，包括以下步骤：
二维图像获取步骤，用于获取被检体的二维图像；
存在范围计算步骤，用于计算所述二维图像和三维存在范围之间的相交区域作为存在范围，所述三维存在范围由所述被检体的三维图像中的给定区域的相应区域和添加至所述相应区域的周围的误差范围所组成，以及
显示控制步骤，用于使显示单元将所述存在范围显示在所述二维图像上。
CN201280017555.6A 2011-04-06 2012-03-30 信息处理设备和信息处理方法 Active CN103460245B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2011-084495 2011-04-06
JP2011084495 2011-04-06
JP2012008205 2012-01-18
JP2012-008205 2012-01-18
JP2012-038883 2012-02-24
JP2012038883A JP5950619B2 (ja) 2011-04-06 2012-02-24 情報処理装置
PCT/JP2012/002227 WO2012137451A2 (en) 2011-04-06 2012-03-30 Information processing apparatus

Publications (2)

Publication Number Publication Date
CN103460245A CN103460245A (zh) 2013-12-18
CN103460245B true CN103460245B (zh) 2017-01-18

Family

ID=46022598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280017555.6A Active CN103460245B (zh) 2011-04-06 2012-03-30 信息处理设备和信息处理方法

Country Status (6)

Country Link
US (2) US9867541B2 (zh)
EP (1) EP2695139B1 (zh)
JP (1) JP5950619B2 (zh)
KR (1) KR101553283B1 (zh)
CN (1) CN103460245B (zh)
WO (1) WO2012137451A2 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916855B1 (ko) * 2011-10-17 2019-01-25 삼성전자주식회사 병변 수정 장치 및 방법
KR101899866B1 (ko) * 2011-11-03 2018-09-19 삼성전자주식회사 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치
JP5995449B2 (ja) 2012-01-24 2016-09-21 キヤノン株式会社 情報処理装置及びその制御方法
CN104303184B (zh) * 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
KR20140035747A (ko) * 2012-09-14 2014-03-24 삼성전자주식회사 초음파 영상 장치 및 그 제어방법
JP6182045B2 (ja) * 2013-10-11 2017-08-16 キヤノン株式会社 画像処理装置およびその方法
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
KR20150078845A (ko) * 2013-12-31 2015-07-08 삼성전자주식회사 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법
JP6431342B2 (ja) * 2014-01-16 2018-11-28 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3108456B1 (en) * 2014-02-19 2020-06-24 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20160032586A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
JP2016073409A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 情報処理装置、情報処理方法及び手術顕微鏡装置
JP6541334B2 (ja) * 2014-11-05 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6491466B2 (ja) * 2014-12-04 2019-03-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
AU2015360491B2 (en) 2014-12-10 2018-10-04 Elekta, Inc. Magnetic resonance projection imaging
JP6632361B2 (ja) * 2015-12-15 2020-01-22 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム。
US20210217172A1 (en) * 2016-03-15 2021-07-15 Sony Corporation Information processing device, information processing method, program, and information processing system
JP6689666B2 (ja) * 2016-05-12 2020-04-28 株式会社日立製作所 超音波撮像装置
JP6559917B2 (ja) * 2016-06-07 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波システム並びに乳房組織の撮像及び乳房超音波画像のアノテーション方法
US20200205749A1 (en) * 2016-12-22 2020-07-02 Canon Kabushiki Kaisha Display control apparatus, display control method, and non-transitory computer-readable medium
JP6996203B2 (ja) * 2017-03-17 2022-01-17 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
JP7039179B2 (ja) * 2017-04-13 2022-03-22 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20210287454A1 (en) * 2017-09-15 2021-09-16 Multus Medical, Llc System and method for segmentation and visualization of medical image data
US11158047B2 (en) * 2017-09-15 2021-10-26 Multus Medical, Llc System and method for segmentation and visualization of medical image data
US10896503B2 (en) * 2018-03-23 2021-01-19 International Business Machines Corporation Identification of areas of interest in imaging applications
JP6643416B2 (ja) * 2018-08-01 2020-02-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
CN109367693B (zh) * 2018-10-25 2022-03-15 上海船舶工艺研究所(中国船舶工业集团公司第十一研究所) 一种船用大型设备基座的无余量安装方法
CN111325077B (zh) * 2018-12-17 2024-04-12 同方威视技术股份有限公司 一种图像显示方法、装置、设备及计算机存储介质
CN109949899B (zh) * 2019-02-28 2021-05-28 未艾医疗技术(深圳)有限公司 图像三维测量方法、电子设备、存储介质及程序产品
JP7427497B2 (ja) * 2020-03-26 2024-02-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび超音波診断装置
US20220292655A1 (en) * 2021-03-15 2022-09-15 Canon Medical Systems Corporation Medical image processing apparatus, x-ray diagnostic apparatus, and method of medical image processing
CN112908451B (zh) * 2021-04-16 2023-12-26 千乘镜像(北京)科技有限公司 图像处理方法、装置和存储介质
JP2023019930A (ja) * 2021-07-30 2023-02-09 キヤノン株式会社 情報処理装置、移動体、情報処理装置の制御方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007025608A1 (de) * 2005-09-01 2007-03-08 Tomtec Imaging Systems Gmbh Verfahren und vorrichtung zur navigation und messung in einem mehrdimensionalen bilddatensatz

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289153B2 (en) * 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
WO2003009762A1 (en) * 2001-07-24 2003-02-06 Sunlight Medical, Ltd. Joint analysis using ultrasound
US7787932B2 (en) * 2002-04-26 2010-08-31 Brainlab Ag Planning and navigation assistance using two-dimensionally adapted generic and detected patient data
US8221322B2 (en) * 2002-06-07 2012-07-17 Verathon Inc. Systems and methods to improve clarity in ultrasound images
JP2004105256A (ja) * 2002-09-13 2004-04-08 Fuji Photo Film Co Ltd 画像表示装置
EP2460473B1 (en) 2003-05-08 2017-01-11 Hitachi, Ltd. Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
WO2005009220A2 (en) * 2003-07-21 2005-02-03 Johns Hopkins University Registration of ultrasound to fluoroscopy for real time optimization of radiation implant procedures
JP4677199B2 (ja) * 2004-04-14 2011-04-27 株式会社日立メディコ 超音波診断装置
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8303502B2 (en) 2007-03-06 2012-11-06 General Electric Company Method and apparatus for tracking points in an ultrasound image
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置
JP5394622B2 (ja) * 2007-07-31 2014-01-22 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US8009891B2 (en) * 2007-09-27 2011-08-30 General Electric Company Systems and methods for image processing of 2D medical images
US20090129650A1 (en) 2007-11-19 2009-05-21 Carestream Health, Inc. System for presenting projection image information
CN105844586A (zh) * 2007-12-18 2016-08-10 皇家飞利浦电子股份有限公司 基于特征的2d/3d图像配准
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP5479353B2 (ja) * 2008-10-14 2014-04-23 株式会社日立メディコ 超音波診断装置
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5400466B2 (ja) * 2009-05-01 2014-01-29 キヤノン株式会社 画像診断装置、画像診断方法
US20110184684A1 (en) * 2009-07-21 2011-07-28 Eigen, Inc. 3-d self-correcting freehand ultrasound tracking system
JP5436125B2 (ja) * 2009-09-30 2014-03-05 富士フイルム株式会社 診断支援装置およびその作動方法並びに診断支援プログラム
JP2011084495A (ja) 2009-10-14 2011-04-28 Tokyo Institute Of Technology シリル化ヌクレオシド合成法
JP5586917B2 (ja) 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20120203108A1 (en) * 2009-10-28 2012-08-09 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and image construction method
JP5641791B2 (ja) 2010-06-22 2014-12-17 東京応化工業株式会社 樹脂パターンの製造方法
JP2012038883A (ja) 2010-08-06 2012-02-23 Nippon Electric Glass Co Ltd 光発電ガラスブロック
JP5980776B2 (ja) * 2011-04-20 2016-08-31 株式会社日立製作所 医用画像表示装置、医用画像表示方法
CA2776186C (en) * 2011-09-09 2021-10-12 Calgary Scientific Inc. Image display of a centerline of tubular structure
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP5995449B2 (ja) * 2012-01-24 2016-09-21 キヤノン株式会社 情報処理装置及びその制御方法
WO2014168249A1 (ja) * 2013-04-12 2014-10-16 日立アロカメディカル株式会社 超音波診断装置及び超音波三次元画像作成方法
JP6397269B2 (ja) * 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102273020B1 (ko) * 2014-06-18 2021-07-05 삼성전자주식회사 의료 영상 정합 방법 및 그 장치
IL236003A (en) * 2014-11-30 2016-02-29 Ben-Yishai Rani Model and method for registering a model
JP6467221B2 (ja) * 2014-12-22 2019-02-06 キヤノン株式会社 画像処理装置および方法
US20160225180A1 (en) * 2015-01-29 2016-08-04 Siemens Medical Solutions Usa, Inc. Measurement tools with plane projection in rendered ultrasound volume imaging
GB201502877D0 (en) * 2015-02-20 2015-04-08 Cydar Ltd Digital image remapping
JP6591203B2 (ja) * 2015-06-01 2019-10-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置
EP3444781B1 (en) * 2016-01-15 2020-03-18 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007025608A1 (de) * 2005-09-01 2007-03-08 Tomtec Imaging Systems Gmbh Verfahren und vorrichtung zur navigation und messung in einem mehrdimensionalen bilddatensatz

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A quick 3D-2D registration method for a wide-range of application;Kita Y et al.;《Processing of the International Conference on Pattern Recognition，2000》;20000903;第2节、图1 *

Also Published As

Publication number Publication date
WO2012137451A3 (en) 2012-12-27
WO2012137451A2 (en) 2012-10-11
US9867541B2 (en) 2018-01-16
EP2695139B1 (en) 2019-11-20
JP5950619B2 (ja) 2016-07-13
CN103460245A (zh) 2013-12-18
US20180092537A1 (en) 2018-04-05
EP2695139A2 (en) 2014-02-12
US10537247B2 (en) 2020-01-21
JP2013165936A (ja) 2013-08-29
WO2012137451A4 (en) 2013-03-21
KR20140002028A (ko) 2014-01-07
US20140037177A1 (en) 2014-02-06
KR101553283B1 (ko) 2015-09-15

Similar Documents

Publication Publication Date Title
CN103460245B (zh) 信息处理设备和信息处理方法
CN106981098B (zh) 虚拟场景组分的视角表示
JP5430203B2 (ja) 画像処理装置、画像処理方法
US8907952B2 (en) Reparametrized bull's eye plots
US8335357B2 (en) Image processing apparatus
CN106456125B (zh) 用于将医学图像中的特征链接到解剖结构模型的系统以及其操作方法
US20170032533A1 (en) Image processing apparatus, imaging system, and image processing method
JP6670595B2 (ja) 医用画像処理装置
US20030179308A1 (en) Augmented tracking using video, computed data and/or sensing technologies
CN109584350A (zh) 医学诊断成像中的测量点确定
KR20150090117A (ko) 제 1 랜더링된 투영 및 제 2 랜더링된 투영간의 전이를 사용자에게 디스플레이하는 방법 및 시스템
JP2013223792A (ja) 画像処理装置、画像処理方法
JP2015217120A (ja) 画像診断支援装置、その処理方法及びプログラム
KR101517752B1 (ko) 진단 영상 장치 및 그 동작 방법
JP6548798B2 (ja) 情報処理装置、情報処理方法、プログラム
CN106028943A (zh) 超声虚拟内窥成像系统和方法及其装置
CN111145877A (zh) 交互方法、信息处理方法、显示方法及存储介质
CN106204623A (zh) 多对比度图像同步显示和定位标定的方法及装置
CN106296707A (zh) 医学图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant