CN107633478A - 图像处理装置、图像处理方法以及计算机可读介质 - Google Patents

图像处理装置、图像处理方法以及计算机可读介质 Download PDF

Info

Publication number
CN107633478A
CN107633478A CN201710590609.2A CN201710590609A CN107633478A CN 107633478 A CN107633478 A CN 107633478A CN 201710590609 A CN201710590609 A CN 201710590609A CN 107633478 A CN107633478 A CN 107633478A
Authority
CN
China
Prior art keywords
image
deformation
section
view
deformation pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710590609.2A
Other languages
English (en)
Other versions
CN107633478B (zh
Inventor
远藤隆明
佐藤清秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107633478A publication Critical patent/CN107633478A/zh
Application granted granted Critical
Publication of CN107633478B publication Critical patent/CN107633478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供图像处理装置、图像处理方法以及计算机可读介质。所述图像处理装置包括：图像获得单元，其获得第一图像和与第一图像不同的第二图像；变形信息获得单元，其获得代表第一图像与第二图像之间的变形的变形信息；变形图像生成单元，其生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像；以及显示控制单元，其显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像。

Description

图像处理装置、图像处理方法以及计算机可读介质
技术领域
本发明涉及图像处理装置、图像处理方法以及计算机可读介质。
背景技术
在医学领域中，医生、技师等可以将多个图像彼此进行比较。多个图像是例如使用不同的摄像设备(在下文中被称为器械(modality))或不同的摄像参数拍摄的图像、在不同的时间拍摄的图像、或者示出不同的身体姿势的被检体的图像。在某些情况下，被检体的形状在图像之间不同。当被检体是例如活体时，多个器械难以拍摄被检体在体位和形状上完全一致的图像。
即使在这种情况下，为了更精确地将病变区域彼此进行比较，能够在不同的图像之间进行配准，并且同时地或可切换地一次显示两个或各个图像。作为选择，也可以显示图像之间的差分图像。有一种被称为可变形配准的方法，其估计在多个图像中观察到的被检体的变形，并且使图像中的一个变形以生成如下图像，在该图像中，被检体具有与图像中的另一个图像中的被检体的形状类似的形状。能够通过例如基于局部区域之间的图像类似度将多个图像中的对应位置(示出被检体的同一部位的特征点)彼此相关联，来进行可变形配准的处理。
日本特开2013-000398号公报公开了使三维图像和二维断层图像经受可变形配准，并且同时显示两个图像或者一次可切换地显示图像中的各个。另一方面，日本特开2011-125570号公报公开了一种根据被检体的变形状态生成断面图像的方法。
专利文献1：日本特开2013-000398号公报
专利文献2：日本特开2011-125570号公报
发明内容
然而，根据在日本特开2013-000398号公报中描述的显示方法，有时可能难以在图像之间进行比较。特别地，当将三维图像彼此进行比较时，可能难以识别个体图像中的对应位置及其之间的对应关系。
鉴于前述问题来实现本发明。本发明的目的是提供一种用于将多个被检体图像成功地彼此进行比较的技术。
本发明提供一种图像处理装置，所述图像处理装置包括：
图像获得单元，其被构造为获得第一图像和与第一图像不同的第二图像；
变形信息获得单元，其被构造为获得代表第一图像与第二图像之间的变形的变形信息；
变形图像生成单元，其被构造为基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像；以及
显示控制单元，其被构造为控制在显示单元上显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像。
本发明还提供了一种图像处理方法，所述图像处理方法包括：
获得第一图像和与第一图像不同的第二图像的步骤；
获得代表第一图像与第二图像之间的变形的变形信息的步骤；
基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像的步骤；以及
控制显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的步骤。
本发明还提供一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：
获得第一图像和与第一图像不同的第二图像的步骤；
获得代表第一图像与第二图像之间的变形的变形信息的步骤；
基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像的步骤；以及
控制显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的步骤。
本发明还提供一种图像处理装置，所述图像处理装置包括：
图像获得单元，其被构造为获得彼此不同的多个图像；
变形信息获得单元，其被构造为获得代表所述多个图像之间的变形的变形信息；
变形图像生成单元，其被构造为基于所述变形信息，生成所述多个图像各自根据其他图像变形的多个变形图像；以及
显示控制单元，其被构造为控制在显示单元上显示所述多个图像以及基于所述多个变形图像的图像。
根据本发明，能够提供一种用于将多个图像成功地彼此进行比较的技术。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据实施例1的图像处理装置的功能构造的示例的图；
图2是示出根据实施例1的处理的示例的流程图；
图3是示出由根据实施例1的图像处理装置显示的画面的示例的图；
图4是示出由根据实施例1的图像处理装置显示的画面的示例的图；
图5是示出由根据实施例1的图像处理装置显示的画面的示例的图；
图6是示出由根据实施例1的图像处理装置显示的画面的示例的图；
图7是示出由根据实施例1的变型例的图像处理装置显示的画面的示例的图；
图8是示出由根据实施例1的变型例的图像处理装置显示的画面的示例的图；
图9是示出根据实施例2的图像处理装置的功能构造的示例的图；
图10是示出根据实施例2的处理的示例的流程图；
图11是示出由根据实施例2的图像处理装置显示的画面的示例的图；
图12是示出根据实施例3的图像处理装置的功能构造的示例的图；
图13是示出根据实施例3的处理的示例的流程图；
图14是示出根据实施例4的图像处理装置的功能构造的示例的图；
图15是示出根据实施例4的处理的示例的流程图；
图16是示出由根据实施例4的图像处理装置显示的画面的示例的图；
图17是示出根据实施例的图像处理装置的硬件构造的示例的图；
图18是示出根据实施例5的图像处理装置的功能构造的示例的图；以及
图19是示出根据实施例5的处理的示例的流程图。
具体实施方式
现在参照附图，以下将描述本发明的优选实施例。然而，下面描述的部件的尺寸、材料和形状及其相对定位等根据本发明应用到的装置的构造和各种条件适当地改变，并且不旨在将本发明的范围限制为以下描述。
本发明涉及一种对被检体进行摄像以形成被检体中的目标区域的图像并且显示所形成的图像的技术。因此，本发明被认为是图像处理装置或图像处理系统、其控制方法、图像处理方法、信号处理方法或信息处理方法。本发明也被认为是被检体信息获得装置、其控制方法或被检体信息获得方法。本发明还被认为是用于使包括诸如CPU和存储器等的硬件资源的信息处理装置实现上述方法中的各个的程序或者由其中存储有该程序的计算机可读的非暂时性存储介质。
根据本发明的装置可以具有获得被检体的图像数据的功能或者仅具有对由另一装置获得的图像数据进行处理的功能。基于各个位置的特征信息，获得被检体的图像数据作为二维特征信息或三维特征信息的分布。特征信息也可以不获得为数值数据，而是获得为关于被检体中的个体位置的分布的信息。
作为在本发明中要处理的目标被检体的三维图像的数据源，能够使用各种器械。各种器械的示例包括光声断层摄影装置(PAT)、核磁共振摄像装置(MRI)、X射线计算断层摄影装置(CT)、超声波诊断装置(US)、正电子发射断层摄影装置(PET)、单光子发射断层摄影装置(SPECT)和光学相干断层摄影装置(OCT)。通过使用各个器械拍摄图像，能够获得示出被检体中的三维区域中的、与各个器械对应的特征信息的分布信息的图像数据。
通常当将由光声断层摄影装置获得的图像数据与由核磁共振摄像装置获得的图像数据进行比较时，使用本发明。光声断层摄影装置通过用光照射被检体来接收在被检体中产生的声波，并且获得被检体的特征信息作为图像数据。作为特征信息，能够获得被检体中的初始声压、光吸收系数、组分材料的浓度、氧饱和度等。核磁共振摄像装置使用通过向被检体施加高频磁场而产生的核磁共振现象，来对被检体的内部进行摄像。核磁共振摄像装置能够主要将与被检体中的氢有关的信息可视化。然而，器械的组合不限于此。
在以下描述中，作为被检体的示例，使用乳房。然而，本发明中的被检体不限于此。诸如手、腿或躯干等的活体的其他部位、除人以外的诸如老鼠等的动物、可变形的非生物材料等也能够用作要摄像的目标被检体。
[实施例1]
在实施例1中，将给出对如下的示例的描述：排列显示通过对被检体进行摄像而获得的第一三维图像、通过根据第二三维图像使第一三维图像变形而获得的第一变形图像、第二三维图像以及通过根据第一三维图像使第二三维图像变形而获得的第二变形图像。注意，在实施例1中，假设已经预先进行了使第一三维图像经受可变形配准使得其位置和形状与第二三维图像的位置和形状匹配的计算(变形估计)，并且已经预先获得了代表第一三维图像与第二三维图像之间的变形的变形信息(变形参数)。注意，本实施例中的第一三维图像和第二三维图像的示例包括通过使用多个器械对同一被检体进行摄像而获得的图像和通过使用同一器械在不同的时间对同一被检体进行摄像而获得的图像。
这里，如果目的是对第一三维图像和第二三维图像的可变形配准和观察，则可以使用任何图像作为第一三维图像和第二三维图像。第一三维图像和第二三维图像不限于通过对同一被检体进行摄像而拍摄的图像。例如，能够许可使正被观察的被检体的图像作为第一三维图像，并且使要与其进行比较的正常患者的图像作为第二三维图像。此外，能够许可使用根据多个被检体的三维图像生成的标准图像或人造图像。
(装置构造)
图1示出了根据实施例1的图像处理装置100的功能构造的示例。实施例1中的图像处理系统1包括图像处理装置100、数据服务器150和显示器172。
数据服务器150保持被检体的第一三维图像和第二三维图像。这里要注意的是，用于获得第一三维图像的摄像和用于获得第二三维图像的摄像在摄像时间、器械、变形程度等方面是不同的。例如，为了后续观察目的，也可以在给定时间段之后使用与用来获得第一三维图像相同的器械来获得第二三维图像。例如，为了从多阶段观点进行诊断，也可以在同一天使用不同的器械对同一被检体进行摄像。例如，为了获得多个深度处的图像，也可以在不同的按压状态下多次进行摄像。
数据服务器150保持代表第一三维图像与第二三维图像之间的变形的变形信息。实施例1中的变形信息是关于变形场的信息，包括从第二三维图像的个体单位区域的位置至第一三维图像上的对应位置的位移向量。注意，当如在本实施例中将本发明应用到三维图像时，单位区域是体素。以下将描述这种情况。另一方面，当将本发明应用到二维图像时，单位区域是像素。
注意，作为相关信息，各个三维图像包括图像的大小和清晰度、用来对三维图像进行摄像的器械的类型、摄像信息、医疗案例信息、图像间对应信息等。摄像信息是示出例如三维图像的摄像参数、其摄像部位、其身体姿势等的信息。医疗案例信息的示例包括患者信息、测试信息、诊断信息、器官区域信息和关注区域信息。根据需要，将这样的相关信息与三维图像一起发送到图像处理装置100。
图像处理装置100包括三维图像获得单元102、变形信息获得单元104、变形图像生成单元106、断面设置单元108、断面图像生成单元110、目标位置指定单元112、对应位置计算单元114和显示控制单元116。
三维图像获得单元102从数据服务器150获得被检体的第一三维图像和第二三维图像。
变形信息获得单元104从数据服务器150获得代表第一三维图像与第二三维图像之间变形的变形信息。
变形图像生成单元106使用所获得的变形信息使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配以生成第一变形图像。变形图像生成单元106还使用所获得的变形信息使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配以生成第二变形图像。
断面设置单元108设置要将第一三维图像和第二三维图像以及第一变形图像和第二变形图像切割成的各断面。
断面图像生成单元110根据第一三维图像和第二三维图像以及第一变形图像和第二变形图像按所设置的断面生成断面图像。根据第一三维图像和第二三维图像生成的各断面图像能够被称为第一断面图像和第二断面图像。根据第一变形图像和第二变形图像生成的各断面图像能够被称为第一变形断面图像和第二变形断面图像。
目标位置指定单元112基于由用户的操作而输入的信息，来指定第二三维图像的断面图像上的目标位置。用户能够使用图17中所示的操作单元1709来进行这样的输入操作。
对应位置计算单元114计算与第二三维图像的断面图像上的目标位置相对应的第一三维图像上的对应位置。
显示控制单元116进行用于在用作显示单元的显示器172上显示第一三维图像和第二三维图像以及第一变形图像和第二变形图像的各断面图像以及用于向用户报告其他信息的画面的控制。
(硬件构造)
图17示出了图像处理装置100的硬件构造的示例。图像处理装置100包括CPU1701、ROM 1702、RAM 1703、HDD 1704、USB 1705、通信电路1706、GPU板1707以及HDMI 1708。这些部件通过内部总线连接以彼此通信。
中央处理单元(CPU)1701是综合地控制图像处理装置100和与其连接的个体单元的控制电路。CPU 1701通过执行ROM 1702中存储的程序来进行控制。CPU 1701还执行作为用于控制显示器172(用作显示单元)的软件的显示驱动器，以对显示器172进行显示控制。CPU 1701还对操作单元1709进行输入/输出控制。
只读存储器(ROM)1702存储其中存储有CPU 1701的控制的过程的程序以及数据。
随机存取存储器(RAM)1703是存储用于进行图像处理装置100和与其连接的各个单元中的处理的程序以及在图像处理中使用的各种参数的存储器。RAM 1703存储要由CPU1701执行的控制程序，并且当CPU 1701进行各种控制时暂时存储各种数据。
硬盘驱动器(HDD)1704是存储诸如X射线图像数据等的各种数据的辅助存储设备。
通用串行总线(USB)1705连接到操作单元1709。作为操作单元1709，能够使用鼠标、键盘等。
通信电路1706是用于与图像处理系统1中包括的每个部件进行通信的电路。通信电路1706可以根据预期的通信形式包括多个部件。
GPU板1707是包括GPU和视频存储器的多功能图形板。GPU板1707的配设允许在不需要专用硬件的情况下进行图像处理的高速算术运算和图像显示。在实施例1中的构造中，从数据服务器150获得变形图像和误差图像。因此，图像处理装置100不需要包括GPU板1707。
高分辨率多媒体接口(注册商标)(HDMI)1708连接到用作显示单元的显示器172。
与图像处理装置100类似，数据服务器150能够由具有CPU和存储器的信息处理装置形成并且根据程序进行操作。注意，图像处理装置100还可以从诸如光声断层摄影装置或核磁共振摄像装置等的实际器械，而不是从数据服务器150，接收三维图像。数据服务器150和图像处理装置也可以由物理上相同的信息处理装置形成。
作为显示器172，能够使用诸如液晶显示器或有机EL显示器等的任何显示设备。通过使用触摸面板，显示器172也能够用作操作单元1709。
(处理流程)
图2是示出由图像处理装置100进行的处理的示例的流程图。通过进行图2中所示的处理，图像处理装置100显示以拼片(tile)的形式排列的第一三维图像和第二三维图像以及第一变形图像和第二变形图像。
在步骤S2000中，三维图像获得单元102从数据服务器150获得被检体的三维图像中的各个。然后，三维图像获得单元102将所获得的图像发送到变形图像生成单元106和断面图像生成单元110中的各个。
在步骤S2010中，变形信息获得单元104从数据服务器150获得代表三维图像之间的变形的变形信息。在实施例1中，变形信息获得单元104获得包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息。然后，变形信息获得单元104将所获得的变形信息发送到变形图像生成单元106。
在步骤S2020中，变形图像生成单元106通过使用在步骤S2010中获得的变形信息使第一三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配，来生成第一变形图像。变形图像生成单元106还通过使第二三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配，来生成第二变形图像。然后，变形图像生成单元106将所生成的第一变形图像和第二变形图像发送到断面图像生成单元110。
在第一变形图像的生成中，使第一三维图像变形以生成第二三维图像，代表从第二三维图像至第一三维图像的变形的变形信息是关于逆向变形的信息。通过进行计算以基于逆向变形确定要从中获得值的第一三维图像的体素，来实现从第一三维图像获得第一变形图像的各个体素的值的处理。
另一方面，在第二变形图像的生成中，使第二三维图像变形以生成第一三维图像，代表从第二三维图像至第一三维图像的变形的变形信息是关于前向变形的信息。因此，变形图像生成单元106根据在步骤S2010中获得的变形信息，生成代表从第一三维图像至第二三维图像的变形的逆向变形信息。然后，变形图像生成单元106使用逆向变形信息生成第二变形图像。具体地，变形图像生成单元106基于在步骤S2010中获得的关于变形场的信息，探索性地计算从第一三维图像的各个体素的位置至第二三维图像上的对应位置的位移向量。计算所有体素的位置的位移向量的结果用作关于逆向变形场的信息，即逆向变形信息。
在步骤S2030中，断面设置单元108设置在步骤S2000中获得的三维图像要被切割成的各断面以及在步骤S2020中生成的变形图像要被切割成的各断面。然后，断面设置单元108将关于各个所设置的断面的信息发送到断面图像生成单元110。
在初始状态下，例如，设置通过个体三维图像的各中心的轴向断面。另一方面，当从稍后描述的步骤S2070转变到该处理步骤时，通过对在步骤S2030中的先前进行的处理之后的个体断面应用在步骤S2070中设置的断面改变参数，来设置新的断面。
当从稍后描述的步骤S2100转变到该处理步骤时，设置第一三维图像和第二变形图像要被切割成的、包括在步骤S2100中计算的对应位置的各断面。基于示出在步骤S2070中设置的断面的取向的信息，来设置断面的取向。注意，当从步骤S2100转变到该处理步骤时，不需要改变第二三维图像和第一变形图像要被切割成的各断面。
在步骤S2040中，断面图像生成单元110从在步骤S2000中获得的各三维图像和在步骤S2020中生成的各变形图像中切出在步骤S2030中设置的断面，以形成其各断面图像。然后，断面图像生成单元110将所生成的断面图像中的各个发送到目标位置指定单元112和显示控制单元116中的各个。
在步骤S2050中，显示控制单元116进行用于在显示器172上显示在步骤S2040中生成的各个断面图像的控制。在本实施例中，按2×2构造以拼片的形式布置个体断面图像。此时，第一三维图像和第二三维图像的各断面图像被布置成位于对角线上(在左上位置和右下位置处或在左下位置和右上位置处)。然后，第一变形图像和第二变形图像被设置在其他剩余位置处。此时，根据关于断面的取向的信息和关于主变形的方向的信息，来确定第一变形图像和第二变形图像的各位置。例如，当在图像之间观察到的主变形的方向是从乳头至胸大肌的方向时并且当显示轴向断面时，第一变形断面图像被设置在与第一断面图像的列相同的列(在上部位置或下部位置)中，而第二变形断面图像被设置在与第二断面图像的列相同的列中。也就是说，当第一断面图像被设置在左上位置处时，第一变形断面图像被设置在左下位置处(在第一断面图像下方)，而第二变形断面图像被设置在右上位置处(在第二断面图像上方)(图3)。另一方面，当显示相同图像的矢状(sagittal)断面时，第一变形断面图像被设置在与第一断面图像的行相同的行(在左侧或右侧)中，而第二变形断面图像被设置在与第二断面图像的行相同的行中。也就是说，当第一断面图像被设置在左上位置处时，第一变形断面图像被设置在右上位置处(在第一断面图像的右侧)，而第二变形断面图像被设置在左下位置处(在第二断面图像的左侧)(图4)。
图3示出了在显示器172上显示的被检体的第一三维图像的断面图像301、被检体的第二三维图像的断面图像302、第一变形图像的断面图像303以及第二变形图像的断面图像304的示例。图3示出了被检体是乳房，断面的取向是轴向断面的取向并且主变形的方向是从乳头至胸大肌的方向的情况。这里假设关于主变形的方向的信息作为变形信息项目之一被预先保持在数据服务器150中。
在实施例1中，以拼片的形式布置个体断面图像，使得第一三维图像的断面图像301和第二三维图像的断面图像302位于对角线上。在图3的示例中，第一断面图像301被设置在左上位置处，第二断面图像302被设置在与第一断面图像301的位置对角的右下位置处。另一方面，第一变形断面图像303被设置在左下位置处，第二变形断面图像304被设置在右上位置处。当在稍后描述的步骤S2090中指定了目标位置并且在步骤S2100中计算了对应位置时，优选地调整断面图像的各显示位置，使得目标位置与显示器172上的对应位置一致。也就是说，在图3中，进行调整，使得示出与第二断面图像上的目标位置312相同的位置的、第一变形断面图像303上的位置313在横向方向上与第一断面图像301上的对应位置311一致。此外，优选地进行调整，使得示出与第一断面图像301上的对应位置311相同的位置的、第二变形断面图像304上的位置314在横向方向上与第二断面图像302上的目标位置312一致。
在稍后描述的步骤S2070中获得示出断面的取向为矢状断面的取向的信息的情况下，如图4中所示，优选地将第一变形图像的断面图像403和第二变形图像的断面图像404的各位置彼此切换。
即使在也获得示出断面的取向为轴向断面的取向的信息的情况下，当主变形的方向为乳房的横向方向时，如图5中所示，优选地也将第一变形图像的断面图像503和第二变形图像的断面图像504的各位置彼此切换。
注意，当断面的取向为矢状断面的取向并且主变形的方向为乳房的横向方向时的画面的布局，优选地与断面的取向为轴向断面的取向并且主变形的方向为从乳头至胸大肌的方向的情况下的布局相同，如图6中所示。同样在这种情况下，优选地调整断面图像的各显示位置，使得目标位置与显示器172上的对应位置一致。
在步骤S2060中，图像处理装置100确定是否改变各个三维图像的断面。例如，基于用户是否使用操作单元1709进行了与断面的改变相关联的预定操作，来输入关于改变的确定的结果。将在步骤S2070的描述中示出与断面的改变相关联的预定操作的具体示例。当接收到表示改变的输入时，处理进入步骤S2070。另一方面，当没有接收到表示改变的输入时，处理进入步骤S2080。
在步骤S2070中，断面设置单元108根据由用户使用操作单元1709进行的操作来设置断面改变参数，并且将所设置的断面改变参数发送到断面图像生成单元110。然后，处理返回步骤S2030。
在实施例1中，作为断面改变参数，设置了将各个断面的位置在断面的法线方向上移动的移动量L。例如，当按下“f”键时，设置移动量L＝1mm。当按下“b”键时，设置移动量L＝-1mm。作为选择，作为断面改变参数，设置示出各个断面的取向的信息。例如，当按下“a”键时，设置示出各个断面为轴向断面的信息。当按下“s”键时，设置示出各个断面为矢状断面的信息。当按下“c”键时，设置示出各个断面是冠状(coronal)断面的信息。
注意，断面改变参数不限于各个断面的移动量L或取向。作为断面改变参数，也可以设置关于针对各个断面的旋转的旋转轴、旋转角度等的信息。作为选择，也可以将各个断面的厚度(在下文中被称为板坯厚度)设置为断面改变参数。断面改变参数也可以不响应于预定键的按下而设置，而是响应于移动鼠标的操作、旋转鼠标滚轮的操作等。
注意，断面的更新可以针对所有图像同时(相关联地)进行，或者也可以个体地进行。也能够仅更新彼此对准的图像的断面(即，第一三维图像和第二变形图像，以及第二三维图像和第一变形图像)。还能够的是，当更新关注的给定图像的断面时，计算并更新与所更新的断面相对应(最接近)的各个其他图像的断面。此时，能够基于变形信息进行对应断面的计算。注意，当关注的图像的断面是正交断面时，优选地获得各个其他图像的对应断面作为正交断面，并且当关注图像的断面为任意断面时，也优选地获得各个其他图像的对应断面作为任意断面。
在步骤S2080中，图像处理装置100确定是否指定目标位置。例如，基于用户是否操作了未示出的鼠标并且将鼠标光标定位在第二三维图像的断面图像上，来输入关于改变的确定的结果。当接收到表示改变的输入时，处理进行到步骤S2090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S2110。
在步骤S2090中，目标位置指定单元112基于通过用户操作输入的信息来指定第二三维图像的断面图像上的目标位置，并且将所指定的目标位置发送到对应位置计算单元114和断面设置单元108中的各个。在实施例1中，用户操作未示出的鼠标以将鼠标光标定位在断面图像上，因而指定目标位置。在图3中，312表示代表第二三维图像的断面图像302上的目标位置的图，而313表示代表与目标位置312相同的、第一变形图像的断面图像303上的位置的图。
在步骤S2100中，对应位置计算单元114计算与步骤S2090中指定的目标位置相对应的、第一三维图像上的对应位置，并且将计算出的相应位置发送到断面设置单元108。然后，处理返回到步骤S2030。具体地，使用包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息(变形信息)，对应位置计算单元114确定与第二三维图像的断面图像上的目标位置相对应的第一三维图像上的对应位置。在图3中，311表示代表第一三维图像上的对应位置的图，而314表示代表与对应位置311相同的、第二变形图像上的位置的图。
在步骤S2110中，图像处理装置100确定是否结束整个处理。例如，图像处理装置100根据诸如检测操作者是否用未示出的鼠标点击了置于显示器172上的结束按钮的方法，来确定是否结束整个处理。当确定结束处理时，图像处理装置100的整个处理结束。另一方面，当未确定结束处理时，处理返回到步骤S2050。
如上所述，在实施例1中，排列显示通过对被检体进行摄像而获得的第一三维图像、通过根据第二三维图像使第一三维图像变形而获得的第一变形图像、第二三维图像以及通过根据第一三维图像使第二三维图像变形而获得的第二变形图像。这允许用户容易地将图像彼此进行比较。
[变型例]
在实施例1中，通过示例的方式描述了在第二三维图像的断面图像上指定目标位置的情况。然而，目标位置的指定不限于此。也可以在第一变形图像上指定目标位置。在这种情况下，适当的是，将在第一变形图像的断面图像上指定的目标位置处理为第二三维图像上的目标位置。
作为选择，也可以在第一三维图像的断面图像上指定目标位置。在这种情况下，在步骤S2100中，使用包括从第一三维图像的个体体素的位置至第二三维图像上的对应位置的位移向量的、关于逆向变形场的信息(逆向变形信息)，可以适当地确定与第一三维图像的断面图像上的目标位置相对应的第二三维图像上的对应位置。又作为选择，也可以在第二变形图像上指定目标位置。在这种情况下，可以将在第二变形图像的断面图像上指定的目标位置适当地处理为第一三维图像上的目标位置。
在实施例1中，通过示例的方式描述了变形信息是包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息的情况。然而，变形信息不限于此，并且也可以包括如下的信息二者：包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的关于变形场的信息，以及包括从第一三维图像的个体体素的位置至第二三维图像上的对应位置的位移向量的关于变形场的信息。在这种情况下，在步骤S2020中，不需要计算关于逆向变形的信息。
同样，在实施例1中，通过示例的方式描述了以排列的拼片的形式显示第一三维图像的断面图像301、第二三维图像的断面图像302、第一变形图像的断面图像303以及第二变形图像的断面图像304的情况。然而，断面图像的显示不限于此。也可以可切换地显示四个断面图像当中的预定数量的断面图像。同时显示的图像的数量、设置个体图像的位置以及在可切换显示的情况下一次显示的预定数量的图像也没有限制。另外，各个显示模式中的图像的组合是任意的。预定数量的图像也可以通过用户的操作来改变。这同样适用于稍后描述的图像数量是除4以外的情况。
例如，也能够基于通过用户操作输入的信息，在显示两个图像(即，第一三维图像的断面图像301和第二变形图像的断面图像304)的模式与显示两个图像(即，第二三维图像的断面图像302和第一变形图像的断面图像303)的显示模式之间切换。
也能够基于通过用户操作输入的信息，在显示两个图像(即，第一三维图像的断面图像301和第一变形图像的断面图像303)的显示模式与显示两个图像(即，第二三维图像的断面图像302和第二变形图像的断面图像304)的显示模式之间切换。作为选择，还可以基于通过用户操作输入的信息，来连续地可切换地显示四个断面图像。
图像的显示不限于实施例1中描述的示例。如图7中所示，也能够排列显示通过将第二变形图像的断面图像叠置在第一三维图像的断面图像上而获得的叠置图像701以及通过将第一变形图像的断面图像叠置在第二三维图像的断面图像上而获得的叠置图像702。作为选择，也可以可切换地显示这些图像。
又作为选择，还能够的是，在按2×2构造的以拼片的形式的显示区域中，将第一三维图像和第二三维图像的各断面图像布置成对角地定位，然后将通过将第一变形图像的断面图像叠置在第二三维图像的断面图像上而获得的叠置图像和通过将第二变形图像的断面图像叠置在第一三维图像的断面图像上而获得的叠置图像设置在其他剩余位置处，代替第一变形图像和第二变形图像。仍作为选择，还能够的是，代替第一变形图像和第二变形图像，设置为显示第二三维图像与第一变形图像之间的差分图像的断面图像以及第一三维图像与第二变形图像之间的差分图像的断面图像。又作为选择，还能够允许用户选择变形图像、叠置图像和差分图像中的哪一个要被显示在关注位置处，并且将所显示的图像切换为所选择的图像。
图像的显示不限于实施例1中描述的示例。如图8中所示，还能够的是，与在实施例1中描述的要按3×2的构造以拼片的形式显示的四个断面图像一起排列通过将第二变形图像的断面图像804叠置在第一三维图像的断面图像801上而获得的叠置图像805和通过将第一变形图像的断面图像803叠置在第二三维图像的断面图像802上而获得的叠置图像806。作为选择，代替叠置图像，还可以显示差分图像。还能够允许用户选择要显示图像中的哪些，并且允许所选择的图像可切换地显示。也能够允许用户经由操作单元在上述的各种显示模式当中进行选择。作为与第一图像(第一三维图像)的变形相关联地显示的图像(基于第一变形图像的图像)，存在第一变形图像自身、通过将第一变形图像叠置在第二图像上而获得的图像、第二图像与第一变形图像之间的差分图像等。另外，作为与第二图像(第二三维图像)的变形相关联地显示的图像(基于第二变形图像的图像)，存在第二变形图像自身、通过将第二变形图像叠置在第一图像上而获得的图像、第一图像与第二变形图像之间的差分图像等。
[实施例2]
在实施例2中，将给出对如下的示例的描述：通过对被检体进行摄像而获得的三个三维图像各自根据其他三维图像而变形以生成变形图像，并且排列显示变形图像。注意，在实施例2中，假设已经预先获得了代表三维图像之间的变形的变形信息。以下将描述根据实施例2的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。
图9示出了根据实施例2的图像处理装置900的功能构造的示例。实施例2中的图像处理系统9包括图像处理装置900、数据服务器950和显示器172。注意，与图1中相同的部分由相同的附图标记/符号表示，并且省略其描述。
除了其第一三维图像和第二三维图像以外，实施例2中的数据服务器950还保持被检体的第三三维图像。数据服务器950还保持代表三维图像之间的变形的变形信息。实施例2中的变形信息是关于变形场的信息，所述关于变形场的信息针对各个三维图像，示出与各个三维图像的个体体素的位置相对应的其他三维图像上的各位置。
三维图像获得单元902从数据服务器150获得被检体的三维图像中的各个。变形信息获得单元904从数据服务器150获得代表三维图像之间的变形的变形信息。变形图像生成单元906针对各个三维图像，使用变形信息使其他三维图像变形，使得其位置和形状与各个三维图像的位置和形状匹配，以生成六个变形图像。
在此提及的六个变形图像是：
·通过使第二三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配而获得的变形图像；
·通过使第三三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配而获得的变形图像；
·通过使第一三维图像变形使得其位置和形状与第三三维图像的位置和形状匹配而获得的变形图像；
·通过使第一三维图像变形使得其位置和形状与第二三维图像的位置和形状匹配而获得的变形图像；
·通过使第二三维图像变形使得其位置和形状与第三三维图像的位置和形状匹配而获得的变形图像；以及
·通过使第三三维图像变形使得其位置和形状与第一三维图像的位置和形状匹配而获得的变形图像。
断面设置单元908设置三维图像及其变形图像要被切割成的各断面。断面图像生成单元910根据个体三维图像及其变形图像，生成在所设置的断面中的断面图像。目标位置指定单元912基于通过用户操作输入的信息，来指定三维图像中的任何一个的断面图像上的目标位置。对应位置计算单元914针对三维图像中的任何一个，计算与三维图像中的任何一个的断面图像上的目标位置相对应的其他三维图像上的各对应位置。显示控制单元916进行用于在显示器172上显示个体断面图像和用于向用户报告其他信息的画面的控制。
图10是示出由图像处理装置900进行的处理的示例的流程图。图像处理装置900以排列的拼片的形式显示被检体的三个三维图像及其变形图像。由于步骤S10040、S10060、S10070和S10110中的处理与实施例1中的步骤S2040、S2060、S2070和S2110中的处理相同，因此在此省略其描述。
在步骤S10000中，三维图像获得单元902从数据服务器950获得被检体的三个三维图像。然后，三维图像获得单元902将所获得的图像发送到变形图像生成单元906和断面图像生成单元910中的各个。
在步骤S10010中，变形信息获得单元904从数据服务器950获得关于变形场的信息，作为代表三维图像之间的变形的变形信息，所述关于变形场的信息针对各个三维图像，示出与各个三维图像的个体体素的位置相对应的其他三维图像上的各位置。然后，变形信息获得单元904将所获得的变形信息发送到变形图像生成单元906。
在步骤S10020中，变形图像生成单元906针对各个三维图像，使用在步骤S10010中获得的变形信息使其他三维图像变形，使得其位置和形状与各个三维图像的位置和形状匹配，以生成上述的六个变形图像。然后，变形图像生成单元906将所生成的六个变形图像发送到断面图像生成单元910和目标位置指定单元912中的各个。
在步骤S10030中，断面设置单元908设置在步骤S10000中获得的三维图像要被切割成的各断面以及在步骤S10020中生成的变形图像要被切割成的各断面，并且将关于所设置的断面中的各个的信息发送到断面图像生成单元910。由于设置断面的方法与实施例1中的相同，因此省略其描述。
在步骤S10050中，显示控制单元916进行用于在显示器172上显示在步骤S10040中生成的断面图像中的各个的控制。在本实施例中，按3×3构造以拼片的形式布置个体断面图像。此时，第i个三维图像被设置在穿过所布置的拼片的对角线上的位置(i，i)处。另外，通过根据第j个三维图像使第i个三维图像变形而获得的变形图像被设置在所布置的拼片上的位置(i，j)处。
图11示出了在显示器172上显示的被检体的三个三维图像的断面图像1101、1102和1103以及六个变形图像的断面图像1104、1105、1106、1107、1108和1109的示例。如图11中所示，在实施例2中，以拼片的形式布置个体断面图像，使得三个三维图像的断面图像1101、1102和1103对角地定位。另一方面，六个断面图像1104、1105、1106、1107、1108和1109被设置在不定位于对角线的各适当位置处。
在步骤S10080中，图像处理装置900确定是否指定目标位置。例如，能够通过检测用户是否操作了未示出的鼠标并且将鼠标光标定位在三维图像中的任何一个的断面图像上，来确定是否存在改变。当接收到表示改变的输入时，处理进入步骤S10090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S10110。
在步骤S10090中，目标位置指定单元912基于通过用户操作输入的信息来指定三维图像中的任何一个的断面图像上的目标位置，并且将所指定的目标位置发送到对应位置计算单元914和断面设置单元908中的各个。
在步骤S10100中，对应位置计算单元914针对三维图像中的任何一个，计算与三维图像中的任何一个的断面图像上的目标位置相对应的其他三维图像上的各对应位置，并且将计算出的对应位置发送到断面设置单元908。然后，处理返回到步骤S10030。由于具体的计算方法与实施例1中相同，因此省略其描述。
如上所述，在实施例2中，通过根据其他三维图像使通过对被检体进行摄像而获得的三个三维图像中的各个变形来生成变形图像，并且将其排列显示。这允许用户容易地将这三个图像彼此进行比较。
[变型例]
在实施例2中，通过示例的方式描述了以排列的拼片的形式显示被检体的三个三维图像的断面图像1101、1102和1103以及六个变形图像的断面图像1104、1105、1106、1107、1108和1109的情况。然而，断面图像的显示不限于此。也可以可切换地显示这九个断面图像。在可切换地显示中一次显示的图像的数量可以是1、3或其他数量。
另外，在实施例2中，通过示例的方式描述了通过对被检体进行摄像而获得的三维图像的数量为3的情况。然而，三维图像的数量不限于此，并且也可以是4个或更多。
另外，在实施例2中，通过示例的方式描述了在三维图像中的任一个的断面图像上指定目标位置的情况。然而，目标位置的指定不限于此。也可以在变形图像中的任何一个的断面图像上指定目标位置。
[实施例3]
实施例3的特性特征涉及第一三维图像和第二三维图像的断面图像的取向。具体地，在专门以正交断面显示图像的模式与允许图像以任意断面显示的模式之间切换断面图像的显示。以下将描述根据实施例3的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。
图12示出了根据实施例3的图像处理装置1200的功能构造的示例。实施例3中的图像处理系统12包括图像处理装置1200、数据服务器1250和显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。
实施例3中的断面设置单元1208设置第一三维图像和第二三维图像以及第一变形图像和第二变形图像要被切割成的各断面。在实施例3中，作为断面改变参数，设置如下的信息：示出是断面的取向被限制为正交断面的取向，还是也允许任意断面的取向。
图13是示出由图像处理装置1200进行的处理的示例的流程图。图像处理装置1200针对各个断面图像，以正交断面显示正交断面图像或者以任意断面显示任意断面图像。由于步骤S13000至S13020、S13040至S13060以及步骤S13080至S13110中的处理与实施例1中的步骤S2000至S2020、S2040至S2060以及S2080至S2110中的处理相同，因此在此省略其描述。
在步骤S13030中，断面设置单元1208设置在步骤S10000中获得的三维图像要被切割成的各断面以及在步骤S10020中生成的变形图像要被切割成的各断面。然后，断面设置单元1208将关于所设置的断面中的各个的信息发送到断面图像生成单元110。
在该处理步骤的初始状态下的处理以及当从步骤S13070转变到该处理步骤时的处理与实施例1中相同，因此省略其描述。另一方面，当从步骤S13100转变到该处理步骤时，基于在步骤S13070中设置的、示出是断面的取向被限制为正交断面的取向还是也允许任意断面的取向的信息，来设置包括在步骤13090中指定的目标位置的、第二三维图像和第一变形图像要被切割成的断面，以及包括在步骤S13100中计算出的对应位置的、第一三维图像和第二变形图像要被切割成的断面。
当作为计算出对应位置的第一三维图像要被切割成的断面，也允许任意断面时，根据例如在日本特开2011-125570号公报中所描述的方法，计算与第二三维图像的断面图像相对应的第一三维图像的任意断面，作为第三断面图像。然后，将计算出的任意断面图像设置为第一三维图像要被切割成的断面。
另一方面，当第一三维图像要被切割成的断面被限制为正交断面时，选择三个正交断面(即，轴向断面、矢状断面和冠状断面)中的、与上述的任意断面最接近的一个来设置。作为选择，预先指定正交断面中的任何一个来设置。关于预先指定的断面的信息可以包括在由图像处理装置1200获得的信息中，或者包括在由操作单元从用户接收的输入信息中。
当第一三维图像的断面图像要被切割成的断面被限制为正交断面，并且作为第二三维图像的断面图像要被切割成的断面也允许任意断面时，再次计算与第一三维图像的正交断面相对应的第二三维图像的任意断面，以作为第二三维图像要被切割成断面来再次设置。
在步骤S13070中，断面设置单元1208响应于由用户使用操作单元1709进行的操作来设置断面改变参数，并且将所设置的断面改变参数发送到断面图像生成单元110。然后，处理返回到步骤S13030。在实施例3中，除了在步骤S2070中描述的断面改变参数以外，还设置如下的信息作为断面改变参数：针对第一三维图像和第二三维图像的断面图像中的各个，示出是断面的取向被限制为正交断面的取向，还是也允许任意断面的取向。
例如，当按下“t”键时，第一三维图像的断面图像的断面被限制为正交断面，并且当按下“T”键时，第二三维图像的断面图像的断面被限制为正交断面。另一方面，当按下“u”键时，也允许任意断面作为第一三维图像的断面图像的断面，并且当按下“U”键时，也允许任意断面作为第二三维图像的断面图像的断面。当三维图像中的一个的断面图像的断面被限制为正交断面时，其他三维图像的断面图像的断面也可以被自动地限制为正交断面。同样，当允许任意断面作为三维图像中的一个的断面图像的断面时，作为其他三维图像的断面图像的断面，也可以自动允许任意断面。注意，也可以将示出任意断面是与其他断面相对应的弯曲断面、还是通过用平面对弯曲断面进行近似而获得的断面、或者是通过将弯曲断面投影到平面上而获得的断面的信息，设置为断面改变参数。
如上所述，在实施例3中，在第一三维图像和第二三维图像的断面图像中的各个的取向方面，在专门以正交断面显示图像的模式与允许图像也以任意断面显示的模式之间切换图像的显示。这允许用户在图像容易地可比较的断面的取向上容易地将图像彼此进行比较。
[变型例]
在实施例3中，给出了对如下示例的描述：在将用来显示图像的断面限制为正交断面的模式与也允许任意断面被用来显示图像的模式之间切换图像的显示。然而，图像的显示不限于此。正交断面和任意断面二者也可以同时被用来显示图像。
[实施例4]
在实施例4中，将给出对如下示例的描述：基于通过用户操作输入的信息，来校正与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置，以更新变形信息。以下将描述根据实施例4的图像处理装置，重点在于其与实施例1中的图像处理装置不同的部分。对于与实施例1中相同的部分，省略其详细描述。
图14示出了根据实施例4的图像处理装置1400的功能构造的示例。实施例4中的图像处理系统14包括图像处理装置1400、数据服务器1450和显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。
作为代表第一三维图像与第二三维图像之间的变形的变形信息，数据服务器1450保持关于第一三维图像和第二三维图像中的多组对应点的信息。变形信息获得单元1404从数据服务器1450获得关于第一三维图像和第二三维图像中的多组对应点的信息。变形信息获得单元1404还将如下的对应点的组添加到关于多组对应点的信息，所述对应点的组包括在第二三维图像的断面图像上指定的目标位置和基于通过用户操作输入的信息而校正的第一三维图像上的对应位置。变形信息获得单元1404还使用关于多组对应点的信息，来导出代表第一三维图像和第二三维图像之间的变形的变形信息。变形图像生成单元1406使用所获得的变形信息使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配以生成第一变形图像。变形图像生成单元1406还使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配以生成第二变形图像。
显示控制单元1416进行用于在显示器172上显示第一三维图像和第二三维图像以及第一变形图像和第二变形图像的各断面图像、以及用于向用户报告其他信息的画面的控制。显示控制单元1416还进行如下的控制：在所有断面上以不同的显示形式，显示代表从数据服务器1450获得的多组对应点的位置的图以及代表新添加的对应点的组的位置的图。对应位置校正单元1418基于通过用户操作输入的信息，来校正与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置。
图15是示出由图像处理装置1400进行的处理的示例的流程图。图像处理装置1400基于对应位置的校正来更新变形信息。步骤S15000、S15110、S15030至S15040、S15060至S15100中的处理与实施例1中的步骤S2000、S2110、S2030至S2040、S2060至S2100中的处理相同，因此在此省略其描述。
在步骤S15010中，变形信息获得单元1404从数据服务器1450获得关于第一三维图像和第二三维图像中的多组对应点的信息。当从稍后描述的步骤S15107转变到该处理步骤时，将如下的对应点的组添加到关于多组对应点的信息，所述对应点的组包括在第二三维图像的断面图像上指定的目标位置和基于通过用户操作输入的信息而校正的第一三维图像上的对应位置。然后，变形信息获得单元1404使用所获得的关于多组对应点的信息，导出代表第一三维图像与第二三维图像之间的变形的变形信息。对于从多组对应点导出变形信息的处理，能够使用任何已知的方法。然后，变形信息获得单元1404将所导出的变形信息发送到变形图像生成单元1406。
在步骤S15020中，使用在步骤S15010中获得的变形信息，变形图像生成单元1406使第一三维图像变形，使得其位置和形状与第二三维图像的位置和形状匹配，以生成第一变形图像。对于变形处理，能够使用任何已知的方法。然后，变形图像生成单元1406计算包括从第二三维图像的个体体素的位置至第一三维图像上的对应位置的位移向量的、关于变形场的信息。变形图像生成单元1406还计算用于使第二三维图像变形的逆向变形信息，使得其位置和形状与第一三维图像的位置和形状匹配，然后使第二三维图像变形，使得其位置和形状与第一三维图像的位置和形状匹配，以生成第二变形图像。
在步骤S15050中，显示控制单元1416进行用于在显示器172上显示在步骤S14040中生成的各个断面图像的控制。图16示出了在显示器172上显示的被检体的第一三维图像的断面图像1601、第二三维图像的断面图像1602、第一变形图像的断面图像1603和第二变形图像的断面图像1604的示例。在实施例4中，还在所有断面图像上以不同的显示形式显示代表新添加的对应点的组的位置的图(1611、1612、1613和1614)和代表从数据服务器1450获得的多组对应点的位置的图(1621、1622、1623、1624、1631、1632、1633和1634)。
在步骤S15015中，图像处理装置1400确定是否校正对应点的组。例如，通过检测用户是否操作了未示出的鼠标并且在第一三维图像的断面图像上点击，图像处理装置1400确定改变的有无。当接收到表示改变的输入时，处理进入步骤S15107。另一方面，当没有接收到表示改变的输入时，处理返回到步骤S15030。
在步骤S15107中，对应位置校正单元1418将与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置，校正为用户通过操作未示出的鼠标而点击的第一三维图像的断面图像上的位置。然后，对应位置校正单元1418将校正的对应位置发送到变形信息获得单元1404和显示控制单元1416中的各个。
如上所述，在实施例4中，通过基于通过用户操作而输入的信息对与在第二三维图像的断面图像上指定的目标位置相对应的第一三维图像上的对应位置进行校正，来更新变形信息。这允许用户容易地识别图像之间的配准的适当性，并且根据需要校正配准。
[实施例5]
在实施例5中，将给出对如下的示例的描述：在用于排列显示第一三维图像和第二三维图像的图像处理装置中，允许更容易地识别第一三维图像和第二三维图像之间的对应关系。具体地，当指定个体图像中的对应已知点的组中的点之一作为目标点时，根据第二三维图像生成包括目标点的位置(目标位置)的断面图像，同时根据第一三维图像生成包括与目标点相对应的对应点的位置(对应位置)的断面图像。以下将描述实施例5，重点在于其与实施例1不同的部分。对于与实施例1中相同的部分，省略其详细描述。
图18是示出根据实施例5的图像处理装置1800的功能构造的示例的图。实施例5中的图像处理系统18包括图像处理装置1800、数据服务器1850以及显示器172。注意，与图1中相同的部分由相同的附图标记/符号来表示，并且省略其描述。
数据服务器1850保持被检体的第一三维图像和第二三维图像。数据服务器1850还保持第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。
对应点信息获得单元1803从数据服务器1850获得第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。
断面设置单元1808基于稍后描述的目标位置，设置第二三维图像要被切割成的断面。断面设置单元1808还基于稍后描述的对应位置设置第一三维图像要被切割成的断面。
断面图像生成单元1810根据第一三维图像和第二三维图像以所设置的断面生成断面图像。
目标位置获得单元1812基于通过用户操作输入的信息来指定第二三维图像的断面图像上的位置。用户能够使用图17中所示的操作单元1709进行这样的输入操作。目标位置获得单元1812基于所指定的位置和第二三维图像上的已知点的组的位置来选择已知点的组中的点之一作为目标点，并且获得所选择的目标点的位置作为目标位置。
对应位置获得单元1814从关于已知点的组的信息中获得与第二三维图像上的目标点相对应的第一三维图像上的对应点的位置(对应位置)。
显示控制单元1816进行用于在显示器172上显示第一三维图像和第二三维图像的各断面图像和用于向用户报告其他信息的画面的控制。第一三维图像的断面图像能够被称为第一断面图像。第二三维图像的断面图像能够被称为第二断面图像。此时，显示控制单元1816进行控制，使得在显示画面上，第二三维图像上的目标点的位置(目标位置)与第一三维图像上的对应点的位置(对应位置)在横向方向或竖直方向上一致。为此目的，显示控制单元1816使用将对应点的显示位置定位在目标点的显示位置处的这样的方法，来调整第一三维图像的断面图像的显示位置。此时，显示控制单元1816调整第二断面图像的位置，使得在显示单元的画面上调整后的对应位置与调整前的目标位置在竖直方向或横向方向上一致，并且显示断面图像。
图19是示出由图像处理装置1800进行的处理的示例的流程图。图像处理装置1800显示包括目标点的断面图像和包括对应点的断面图像，使得在显示画面上目标点的位置(目标位置)与对应点的位置(对应位置)一致。步骤S19000、S19060、S19070和S19110中的处理与实施例1中的步骤S2000、S2060、S2070和S2110中的处理相同，因此在此省略其描述。
在步骤S19005中，对应点信息获得单元1803从数据服务器1850获得第一三维图像和第二三维图像中的对应已知点的组的三维坐标值。然后，对应点信息获得单元1803将所获得的对应点信息发送到目标位置获得单元1812和对应位置获得单元1814中的各个。
在步骤S19030中，断面设置单元1808设置在步骤S19000中获得的个体三维图像要被切割成的各断面。当从稍后描述的步骤S19100转变到该处理步骤时，设置通过在步骤S19090中获得的目标位置的、第二三维图像要被切割成的断面。也就是说，当第二三维图像要被切割成的断面不通过目标位置时，将断面在与断面垂直的方向上平移以便通过目标位置。另外，设置通过在步骤S19100中获得的对应位置的、第一三维图像要被切割成的断面。当从步骤S19020或步骤S19070转变到该处理步骤时的处理与当从步骤S2020或S2070转变到步骤S2030时的处理相同，因此省略其描述。
在步骤S19040中，断面图像生成单元1810从在步骤S19000中获得的各三维图像切割在步骤S19030中设置的断面，以生成个体断面图像。然后，断面图像生成单元1810将所生成的断面图像中的各个发送到目标位置获得单元1812和显示控制单元1816中的各个。
在步骤S19050中，显示控制单元1816进行用于在显示器172上排列显示在步骤S19040中生成的各个断面图像的控制。此时，当在后续阶段的处理中已经获得目标位置和对应位置时，显示控制单元1816调整在步骤S19040中生成的断面图像的各显示位置，使得在显示器172上目标位置和对应位置彼此一致。
具体地，首先，显示第二三维图像的断面图像，使得第二三维图像的断面图像中的目标位置与在稍后描述的步骤S19090中计算出的投影位置相同。
接下来，当以横向排列显示个体断面图像时，在竖直方向上平移第一三维图像的断面图像，以被显示为使得在显示器172上第二三维图像中的目标位置与第一三维图像中的对应位置在竖直方向上一致。
另一方面，当以垂直排列显示个体断面图像时，在横向方向上平移第一三维图像的断面图像，以被显示为使得在显示器172上第二三维图像中的目标位置与第一三维图像中的对应位置在横向方向上一致。
注意，当在显示器172上设置断面图像的各显示区域时，可以适当地平移第一三维图像的断面图像，以被显示为使得各个显示区域中的坐标系中的目标点和对应点的各坐标彼此匹配。
在步骤S19080中，图像处理装置1800确定是否指定目标位置。例如，依据用户是否操作了未示出的鼠标并且将鼠标光标定位在距第二三维图像中的已知点的组中的任何一个的预定距离内的位置，来输入关于改变的确定的结果。当接收到表示改变的输入时，处理进入到步骤S19090。另一方面，当没有接收到表示改变的输入时，处理进入步骤S19110。
在步骤S19090中，目标位置获得单元1812基于通过用户操作输入的信息来指定第二三维图像的断面图像上的位置，基于所指定的位置来确定目标位置，并且将目标位置发送到对应位置获得单元1814和断面设置单元1808中的各个。
在本实施例中，当从已知点至断面的三维距离在预定距离内时，在从已知点延伸至断面的垂直线与断面的交点的位置(投影位置)处显示代表已知点的位置的图(例如，圆)。当用户点击未示出的鼠标的按钮，同时参照图的显示以指定断面图像上的位置时，选择位于距所指定的位置预定距离(在此为三维距离)内的、第二三维图像上的已知点的组中的最接近的一个作为目标点。将所选择的目标点的位置设置为目标位置。
注意，上述的预定距离不限于三维距离。例如，预定距离也可以是从投影位置(从已知点延伸至断面的垂直线与断面的交点的位置)至所指定的位置的距离(断面上的二维距离)。
在步骤S19100中，对应位置获得单元1814获得与在步骤S18090中计算出的目标位置相对应的第一三维图像上的对应位置，并且将所获得的对应位置发送到断面设置单元1808。具体地，对应位置获得单元1814从关于已知点的组的信息中获得与第二三维图像上的目标点相对应的第一三维图像上的对应点的位置，并且将所获得的位置设置为对应位置。
因此，在实施例5中，当对应已知点的组中的点之一被指定为目标位置时，根据第二三维图像生成包括目标点的位置(目标位置)的断面，同时根据第一三维图像生成包括与目标点相对应的对应点的位置(对应位置)的断面图像。这允许用户容易地将包括对应点的两个三维图像的断面图像彼此进行比较。
注意，对应点不限于用于配准的点。对应点可以是在图像中设置的任何对应点。也能够不从服务器获得对应点，而是由用户在断面图像上指定对应点。
在本实施例中，通过示例的方式描述了排列显示第一三维图像和第二三维图像的情况。然而，第一三维图像和第二三维图像的显示不限于此。也能够以与实施例1中相同的方式生成并排列显示第一变形图像和第二变形图像。当如图3中所示排列显示个体断面图像时，优选地平移第一三维图像的断面图像、第一变形图像的断面图像(第一变形断面图像)和第二变形图像的断面图像(第二变形断面图像)并将其显示为满足以下四个条件：
·第二三维图像中的目标位置应在显示器上与第二变形图像中的对应位置在竖直方向上一致；
·第一变形图像中的目标位置应在显示器上与第一三维图像中的对应位置在竖直方向上一致；
·第二三维图像中的目标位置应在显示器上与第一变形图像中的对应位置在横向方向上一致；以及
·第一变形图像中的目标位置应在显示器上与第二三维图像中的对应位置在横向方向上一致。
另一方面，当如图5中所示的排列显示个体断面图像时，优选地平移第一三维图像的断面图像、第一变形图像的断面图像和第二变形图像的断面图像并将其显示为满足以下四个条件：
·第二三维图像中的目标位置应在显示器上与第二变形图像中的对应位置在横向方向上一致；
·第一变形图像中的目标位置应在显示器上与第一三维图像中的对应位置在横向方向上一致；
·第二三维图像中的目标位置应在显示器上与第一变形图像中的对应位置在竖直方向上一致；以及
·第一变形图像中的目标位置应在显示器上与第二三维图像中的对应位置在竖直方向上一致。
<其他实施例>
还能够由通过读取和执行记录在存储设备中的程序实现上述实施例的功能的系统或装置中的计算机(或诸如CPU或MPU等的设备)来实现本发明。还能够通过包括由通过读取和执行记录在存储设备中的程序实现上述实施例的功能的系统或装置中的计算机进行的步骤的方法来实现。还能够由实现一个或更多个功能的电路(例如，ASIC)来实现本发明。为此目的，从能够用作前述存储设备的各种类型的记录介质(即，非暂时性保持数据的计算机可读记录介质)通过例如网络向前述计算机提供前述程序。因此，前述计算机(包括诸如CPU或MPU等的设备)、前述方法、前述程序(包括程序代码和程序产品)中的任一者以及非暂时性保持前述程序的计算机可读记录介质包括在本发明的类别中。
上述各个实施例中的信息处理装置可以被实现为单个装置，或者也可以是将多个装置组合为彼此通信以进行上述处理的形式。在任一种情况下，装置包括在本发明的实施例中。上述处理也可以由共同服务器设备或服务器组来进行。包括在信息处理装置和信息处理系统中的多个单元以预定的通信速率进行通信就足够了。包含在信息处理装置和信息处理系统中的多个单元不需要存在于同一设施或同一国家中。
本发明的实施例包括如下的形式：将实现上述实施例的功能的软件程序提供给系统或装置，并且系统或装置中的计算机读取所提供的程序的代码并且执行程序。
因此，安装在计算机中以使计算机执行根据实施例的处理的程序代码也是本发明的实施例之一。上述实施例的功能还能够由在计算机等中操作的OS基于由计算机读取的程序中包括的指令而进行的实际处理的一部分或整个来实现。
适当地组合上述实施例的形式也包括在本发明的实施例中。
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行本发明的上述实施例中的一个或更多个的功能的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能而进行的方法，来实现本发明的实施例。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或更多个，并且可以包括分开的计算机或分开的处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种图像处理装置，所述图像处理装置包括：
图像获得单元，其被构造为获得第一图像和与第一图像不同的第二图像；
变形信息获得单元，其被构造为获得代表第一图像与第二图像之间的变形的变形信息；
变形图像生成单元，其被构造为基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像；以及
显示控制单元，其被构造为控制在显示单元上显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像。
2.根据权利要求1所述的图像处理装置，其中
基于第一变形图像的图像是第一变形图像自身、将第一变形图像叠置在第二图像上的图像、或第二图像和第一变形图像的差分图像，并且
基于第二变形图像的图像是第二变形图像自身、将第二变形图像叠置在第一图像上的图像、或第一图像和第二变形图像的差分图像。
3.根据权利要求1或2所述的图像处理装置，其中，所述显示控制单元同时地或以切换方式一次预定数量地在所述显示单元上显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像。
4.根据权利要求1所述的图像处理装置，其中，所述变形信息示出被检体的形状在第一图像与第二图像之间的对应关系。
5.根据权利要求4所述的图像处理装置，其中，所述变形信息是包括从第二图像的个体单位区域的位置至第一图像上的对应位置的位移向量的、关于变形场的信息。
6.根据权利要求4所述的图像处理装置，其中，所述变形图像生成单元基于所述变形信息，通过根据第二图像中的被检体的形状使第一图像中的被检体变形来生成第一变形图像，并且通过根据第一图像中的被检体的形状使第二图像中的被检体变形来生成第二变形图像。
7.根据权利要求1所述的图像处理装置，其中，所述显示控制单元在所述显示单元中以2×2的拼片状的方式布置第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像。
8.根据权利要求7所述的图像处理装置，其中，所述显示控制单元将第一图像和第二图像按对角方式布置在所述显示单元中。
9.根据权利要求1所述的图像处理装置，其中
所述第一图像和所述第二图像是三维图像，并且
所述显示控制单元在所述显示单元上显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的对应断面的断面图像。
10.根据权利要求9所述的图像处理装置，其中，所述显示控制单元根据被检体的断面图像的取向和所述变形信息中的至少任一者，来控制在所述显示单元上布置第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的位置。
11.根据权利要求9所述的图像处理装置，所述图像处理装置还包括被构造为接收来自用户的输入的操作单元。
12.根据权利要求11所述的图像处理装置，其中，所述变形图像生成单元基于从所述操作单元输入的信息来改变断面图像的位置。
13.根据权利要求11所述的图像处理装置，其中，所述变形图像生成单元基于从所述操作单元输入的信息，获得第一图像中的目标位置和目标位置在第二图像中的对应位置，并且使用关于目标位置和对应位置的信息来生成第一变形图像和第二变形图像。
14.根据权利要求13所述的图像处理装置，其中，所述显示控制单元将示出目标位置的信息叠置在第一图像和基于第二变形图像的图像上并进行显示，并且将示出对应位置的信息叠置在第二图像和基于第一变形图像的图像上并进行显示。
15.根据权利要求9所述的图像处理装置，其中，所述显示控制单元基于从所述操作单元输入的信息，在所述显示单元上同时显示的图像的数量和组合不同的多个显示模式之间切换。
16.根据权利要求1所述的图像处理装置，其中，所述第一图像和所述第二图像至少在摄像器械或摄像时间上不同。
17.一种图像处理方法，所述图像处理方法包括：
获得第一图像和与第一图像不同的第二图像的步骤；
获得代表第一图像与第二图像之间的变形的变形信息的步骤；
基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像的步骤；以及
控制显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的步骤。
18.一种存储使计算机执行图像处理方法的程序的计算机可读介质，所述图像处理方法包括：
获得第一图像和与第一图像不同的第二图像的步骤；
获得代表第一图像与第二图像之间的变形的变形信息的步骤；
基于所述变形信息，生成根据第二图像变形的第一图像的第一变形图像、以及根据第一图像变形的第二图像的第二变形图像的步骤；以及
控制显示第一图像、第二图像、基于第一变形图像的图像以及基于第二变形图像的图像的步骤。
19.一种图像处理装置，所述图像处理装置包括：
图像获得单元，其被构造为获得彼此不同的多个图像；
变形信息获得单元，其被构造为获得代表所述多个图像之间的变形的变形信息；
变形图像生成单元，其被构造为基于所述变形信息，生成所述多个图像各自根据其他图像变形的多个变形图像；以及
显示控制单元，其被构造为控制在显示单元上显示所述多个图像以及基于所述多个变形图像的图像。
20.根据权利要求19所述的图像处理装置，其中，所述显示控制单元在所述显示单元中，将第i个图像显示在拼片状布置的对角位置(i，i)，并且将基于第i个图像根据第j个图像变形的变形图像的图像，显示在拼片状布置的位置(i，j)。
CN201710590609.2A 2016-07-19 2017-07-19 图像处理装置、图像处理方法以及计算机可读介质 Active CN107633478B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-141220 2016-07-19
JP2016141220A JP6840481B2 (ja) 2016-07-19 2016-07-19 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN107633478A true CN107633478A (zh) 2018-01-26
CN107633478B CN107633478B (zh) 2022-12-06

Family

ID=60988687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710590609.2A Active CN107633478B (zh) 2016-07-19 2017-07-19 图像处理装置、图像处理方法以及计算机可读介质

Country Status (3)

Country Link
US (1) US10699424B2 (zh)
JP (1) JP6840481B2 (zh)
CN (1) CN107633478B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142821A (zh) * 2019-12-26 2020-05-12 联想(北京)有限公司 一种处理方法、装置、电子设备及输出设备
CN112348735A (zh) * 2020-09-30 2021-02-09 深圳市阅影科技有限公司 动态图像变形过程的确定方法、确定装置与处理器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6934734B2 (ja) 2017-03-17 2021-09-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP7022554B2 (ja) 2017-10-03 2022-02-18 キヤノン株式会社 画像処理装置およびその制御方法、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375379A2 (en) * 2010-03-31 2011-10-12 Fujifilm Corporation Medical image processing apparatus and method, and computer readable recording medium on which is recorded program for the same
CN103020976A (zh) * 2012-12-31 2013-04-03 中国科学院合肥物质科学研究院 一种基于带权模糊互信息的三维医学图像配准方法及系统
US20150030226A1 (en) * 2013-07-26 2015-01-29 Fujifilm Corporation Diagnosis assistance apparatus, method and program
CN104414666A (zh) * 2013-08-28 2015-03-18 柯尼卡美能达株式会社 胸部诊断支援系统
CN104470419A (zh) * 2012-07-09 2015-03-25 皇家飞利浦有限公司 用于自适应图像引导的介入的方法和系统
CA2908728A1 (en) * 2015-09-25 2015-12-17 Synaptive Medical (Barbados) Inc. Method and system for medical data display
US20160063695A1 (en) * 2014-08-29 2016-03-03 Samsung Medison Co., Ltd. Ultrasound image display apparatus and method of displaying ultrasound image

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4667111B2 (ja) 2005-04-21 2011-04-06 キヤノン株式会社 画像処理装置、画像処理方法
JP4914039B2 (ja) 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
JP2008073305A (ja) * 2006-09-22 2008-04-03 Gifu Univ 超音波乳房診断システム
US20090129650A1 (en) * 2007-11-19 2009-05-21 Carestream Health, Inc. System for presenting projection image information
US20110144500A1 (en) * 2008-07-22 2011-06-16 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and method for calculating coordinates of scanned surface thereof
WO2010017356A2 (en) * 2008-08-08 2010-02-11 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Establishing compatibility between two-and three dimensional optical coherence tomography scans
JP5147656B2 (ja) * 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5538862B2 (ja) 2009-12-18 2014-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5737858B2 (ja) * 2010-04-21 2015-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5661382B2 (ja) 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
JP5822554B2 (ja) * 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
WO2013047882A1 (en) 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
CN103249354B (zh) * 2011-12-02 2015-11-25 株式会社东芝 医用图像观察装置
CN104105442B (zh) * 2012-03-01 2016-01-20 株式会社日立医疗器械 医用图像显示装置及医用图像显示方法
JP5745444B2 (ja) * 2012-03-05 2015-07-08 富士フイルム株式会社 医用画像表示装置および医用画像表示方法、並びに、医用画像表示プログラム
JP6304970B2 (ja) * 2013-08-09 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
WO2015081213A1 (en) * 2013-11-27 2015-06-04 Children's National Medical Center 3d corrected imaging
US9420996B2 (en) * 2014-01-30 2016-08-23 General Electric Company Methods and systems for display of shear-wave elastography and strain elastography images
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
JP6393106B2 (ja) 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP6467221B2 (ja) * 2014-12-22 2019-02-06 キヤノン株式会社 画像処理装置および方法
JP6541363B2 (ja) * 2015-02-13 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10362362B2 (en) * 2015-07-08 2019-07-23 Verizon Patent And Licensing Inc. Multi-dimensional hierarchical content navigation
JP6971544B2 (ja) 2015-08-06 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6711715B2 (ja) 2016-07-19 2020-06-17 キヤノン株式会社 画像処理装置および画像処理方法
JP6886260B2 (ja) * 2016-09-07 2021-06-16 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375379A2 (en) * 2010-03-31 2011-10-12 Fujifilm Corporation Medical image processing apparatus and method, and computer readable recording medium on which is recorded program for the same
CN104470419A (zh) * 2012-07-09 2015-03-25 皇家飞利浦有限公司 用于自适应图像引导的介入的方法和系统
CN103020976A (zh) * 2012-12-31 2013-04-03 中国科学院合肥物质科学研究院 一种基于带权模糊互信息的三维医学图像配准方法及系统
US20150030226A1 (en) * 2013-07-26 2015-01-29 Fujifilm Corporation Diagnosis assistance apparatus, method and program
CN104414666A (zh) * 2013-08-28 2015-03-18 柯尼卡美能达株式会社 胸部诊断支援系统
US20160063695A1 (en) * 2014-08-29 2016-03-03 Samsung Medison Co., Ltd. Ultrasound image display apparatus and method of displaying ultrasound image
CA2908728A1 (en) * 2015-09-25 2015-12-17 Synaptive Medical (Barbados) Inc. Method and system for medical data display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARISTEIDIS SOTIRAS .ETC: "Deformable Medical Image Registration: A Survey", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
刘青芳等: "基于加权互信息的医学图像配准方法", 《测试技术学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142821A (zh) * 2019-12-26 2020-05-12 联想(北京)有限公司 一种处理方法、装置、电子设备及输出设备
CN112348735A (zh) * 2020-09-30 2021-02-09 深圳市阅影科技有限公司 动态图像变形过程的确定方法、确定装置与处理器

Also Published As

Publication number Publication date
US20180025501A1 (en) 2018-01-25
US10699424B2 (en) 2020-06-30
CN107633478B (zh) 2022-12-06
JP6840481B2 (ja) 2021-03-10
JP2018011635A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107633531A (zh) 图像处理装置、图像处理方法以及计算机可读介质
JP2021523784A (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
CN113129308B (zh) 图像分割方法、装置和非暂态计算机可读存储介质
CN107633478A (zh) 图像处理装置、图像处理方法以及计算机可读介质
CN107072625A (zh) 治疗程序规划系统和方法
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
CN1488127A (zh) 模拟外科过程的方法和系统
US11423554B2 (en) Registering a two-dimensional image with a three-dimensional image
JP2015173856A (ja) 画像処理装置、およびプログラム
WO2019146358A1 (ja) 学習システム、方法及びプログラム
CN110300547A (zh) 医疗信息虚拟现实服务器系统，医疗信息虚拟现实程序，医疗信息虚拟现实系统，医疗信息虚拟现实用数据的创建方法，以及医疗信息虚拟现实用数据
CN109215104B (zh) 一种用于经颅刺激治疗的脑结构图像显示方法及装置
CA2778599C (en) Bone imagery segmentation method and apparatus
CN113197665A (zh) 一种基于虚拟现实的微创外科手术模拟方法、系统
CN112789659A (zh) 伪放射摄影图像根据光学图像的生成
CN106599600B (zh) 放疗计划报告和医学影像检查报告的电子显示方法和电子设备
US10074198B2 (en) Methods and apparatuses for image processing and display
CN114859279A (zh) 用于肌腱套撕裂诊断的直观显示
US20120007851A1 (en) Method for display of images utilizing curved planar reformation techniques
US20150121276A1 (en) Method of displaying multi medical image and medical image equipment for performing the same
CN112488289A (zh) 预测数据组的提供
US20090128304A1 (en) Method and apparatus for tactile interface for reviewing radiological images
Bichlmeier et al. The visible korean human phantom: Realistic test & development environments for medical augmented reality
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant