CN105303550A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN105303550A
CN105303550A CN201510434250.0A CN201510434250A CN105303550A CN 105303550 A CN105303550 A CN 105303550A CN 201510434250 A CN201510434250 A CN 201510434250A CN 105303550 A CN105303550 A CN 105303550A
Authority
CN
China
Prior art keywords
corresponding point
fiduciary level
image
sufficient degree
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510434250.0A
Other languages
English (en)
Other versions
CN105303550B (zh
Inventor
高间康文
佐藤清秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105303550A publication Critical patent/CN105303550A/zh
Application granted granted Critical
Publication of CN105303550B publication Critical patent/CN105303550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像处理装置及图像处理方法。图像处理装置包括：对应点信息获取单元，用于获取为图像间的对准而输入的对应点信息；充足度获取单元，用于基于所述对应点信息获取所述对应点信息的充足度；以及呈现控制单元，用于控制关于所述充足度的信息的呈现。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置及图像处理方法。
背景技术
在利用医学图像(例如表示关于被摄体内部的信息的三维层析图像)的摄像诊断中，医生在比较由多个摄像装置(模式)在不同时间、在多个身体姿势下利用摄像参数等所拍摄的图像的同时进行诊断。然而，由于图像之间在被摄体的姿势和形状上不同，因此很难进行病变部位的识别和比较。因此，尝试多个图像间的对准。能够在一个图像上进行姿势的转换和变形以生成与其他图像一致的图像。因此，医生能容易地在多个图像间进行病变部位的识别和比较。即使在除了医学领域之外的领域，为了检查被摄体的内部状态，也可以进行类似的操作。
作为在多个图像间进行对准的方法，日本特开第2011-142974号公报公开了一种利用手动设置的图像之间的对应点信息的方法。另外，日本特开第2011-142974号公报公开了一种基于对准图像间的相似度而评估对准结果的质量并根据评估结果呈现促使校正的消息的技术。
然而，在日本JP特开2011-142974号公报所公开的技术中，即使对准结果的质量很差，但原因却不确定。因此，用户不能确定如何改善对准结果，导致很难提高对准精度。
发明内容
考虑到上述问题而提出本发明，并且本发明提供了一种提高图像间对准精度的技术。
根据本发明的一方面，提供了一种图像处理装置，所述图像处理装置包括：对应点信息获取单元，用于获取为图像间的对准而输入的对应点信息；充足度获取单元，用于基于所述对应点信息获取所述对应点信息的充足度；以及呈现控制单元，用于控制关于所述充足度的信息的呈现。
根据本发明的一方面，提供了一种图像处理装置，所述图像处理装置包括：对应点信息获取单元，用于获取为图像间的对准而输入的对应点信息；可靠度获取单元，用于基于图像上的各个关注点和各自的对应点间的距离，获取所述图像上多个关注点处的对准的可靠度来作为分布；以及呈现控制单元，用于呈现表示所述可靠度的所述分布的信息。
根据本发明的一方面，提供了一种图像处理方法，所述图像处理方法包括：对应点信息获取步骤，用于获取为图像间的对准而输入的对应点信息；充足度获取步骤，用于基于所述对应点信息获取所述对应点信息的充足度；以及呈现控制步骤，用于控制关于所述充足度的信息的呈现。
根据本发明的一方面，提供了一种图像处理方法，所述图像处理方法包括：对应点信息获取步骤，用于获取为图像间的对准而输入的对应点信息；可靠度获取步骤，用于基于图像上的各个关注点和各自的对应点间的距离，获取所述图像上多个关注点处的对准的可靠度来作为分布；以及呈现控制步骤，用于呈现表示所述可靠度的所述分布的信息。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据第一实施例的图像处理装置的配置的示例的框图。
图2是例示根据第一实施例的图像处理装置执行的处理程序的流程图。
图3是示出根据第一实施例的对应点输入画面的示意图。
图4是示出根据第一实施例的用于获取对准可靠度的处理的步骤的示意图。
图5是示意性地示出根据第一实施例的确定表的示例的表格。
图6是示出根据第一实施例在所显示的层析图像上可靠度地图的重叠显示的示意图。
图7是示出根据第一实施例在追加对应点时可靠度地图的示意图。
图8是示出根据第一实施例、用于呈现对应点充足的方法的示意图。
图9示出根据第一实施例、警告对应点不充足的显示示例的示意图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。应当注意，除非另外特殊说明，否则这些实施例中提出的部件的相关配置、数字表达式及数值并不限定本发明的保护范围。
第一实施例
根据本实施例的图像处理装置是在多个三维层析图像间进行对准、基于对准的可靠度而计算所获取的图像间的对应点信息的充足度(满意度，satisfactiondegree)、并向用户呈现计算结果的装置。充足度是表示在三维层析图像空间中用于对准的对应点的数量的信息。可靠度是表示在三维层析图像空间中任意坐标(关注点)处的对准的精度的信息。以下将描述根据本实施例的图像处理装置。
<1.图像处理装置的配置>
图1是示出根据本实施例的图像处理装置的配置的示例的框图。图像处理装置1包括图像获取单元110、对应点信息获取单元120、可靠度获取单元130、充足度获取单元140、确定单元150、呈现控制单元160以及对准单元170。图像处理装置1与数据库2和显示器3连接。数据库2存储通过各种模式拍摄的被摄体的三维层析图像的图像信息以及附加信息。
各个图像的附加信息包括图像的尺寸和分辨率、模式类型、摄像信息以及病例信息。摄像信息是摄像部位和摄像身体姿势的信息。摄像部位的信息表示例如乳房、肝脏或脑。摄像身体姿势的信息表示例如仰卧姿势或俯卧姿势。病例信息包括例如年龄和性别等患者信息、表示目标部位的尺寸和要对准的区域(例如关注的器官的区域)的信息以及表示图像空间中诸如病变等的关注的区域的信息。
图像获取单元110从数据库2中获取作为要对准的三维层析图像的第一和第二图像的图像信息以及附加信息。对应点信息获取单元120在第一和第二图像的各个的图像坐标系统中获取对应点信息。基于第一和第二图像的各个的三维层析图像上的对应点的信息，可靠度获取单元130获取图像上的关注点处的对准的可靠度。可靠度获取单元130生成表示可靠度的分布的可靠度地图。
充足度获取单元140基于可靠度获取单元130获取的可靠度获取对应点信息的充足度。基于充足度获取单元140获取的对应点信息的充足度，确定单元150确定对应点信息获取单元120获取的对应点信息对于图像间的对准是否十分地充足。呈现控制单元160进行控制以在显示器3上显示充足度获取单元140获取的充足度和确定单元150获取的确定结果(高/低充足度)作为充足信息。呈现控制单元160也进行控制以在显示器3上显示可靠度获取单元130获取的可靠度地图。对准单元170基于对应点信息获取单元120获取的对应点信息来执行图像间的对准处理。
<2.处理次序>
以下将参照图2中示出的流程图描述根据本实施例的图像处理装置1所执行的处理过程。
(步骤S200；获取图像)
在步骤S200中，图像获取单元110从数据库2中获取第一和第二图像的图像信息(作为要对准的三维层析图像)以及附加信息。所获取的图像信息被传输给呈现控制单元160，且层析图像被显示在显示器3上。根据需要，所获取的附加信息被传输给可靠度获取单元130和充足度获取单元140。
(步骤S201；获取对应点信息)
在步骤S201中，对应点信息获取单元120获取第一和第二图像中的各个的图像坐标系统中的对应点信息。如果数据库2保持对应点信息，则获取该信息。如果用户追加输入对应点信息，则获取该信息。所获取的对应点信息被传输给可靠度获取单元130、对准单元170以及呈现控制单元160。
图3是示出用户用来输入对应点的画面的示意图。在比较作为显示在显示器3的对应点输入画面300上的三维层析图像的层析图像301和302的同时，用户通过点击鼠标等在相应图像上输入解剖学上被视为相同位置的位置来作为对应点303。这里，层析图像301是例如CT图像或MRI图像，层析图像302是例如超声波图像。注意，可以通过图像分析处理而自动获取对应点信息。例如，可以从各自的图像中检测特征点，并可以基于图像图案间的相似性来自动获取对应点。另外，可以将通过图像分析处理而自动获取的对应点设置为候选，并可以将用户手动校正的点设置为最终对应点位置。注意，稍后将描述图3中示出的重叠显示按钮310和对准按钮320的功能。
(步骤S202；获取可靠度)
在步骤S202中，可靠度获取单元130基于各个三维层析图像上的对应点的信息而计算图像上预定点(各关注点)处的对准的可靠度，并生成表示可靠度的分布的可靠度地图。根据本实施例的可靠度地图是容积图像(volumeimage)，在该容积图像中，三维图像上的各关注点的体素值表示该点处的对准的可靠度。在本实施例中，针对第一和第二图像中的各个而执行可靠度地图生成处理。所生成的可靠度地图被传输给充足度获取单元140和呈现控制单元160。
以下将描述根据本实施例获取对准的可靠度的方法。在基于对应点的对准中，通常，在较靠近对应点的点处对准较为准确，而在离对应点较远的点处对准较为不准。在本实施例中，针对图像上的各个点(关注点)，以关注点的位置为基准导出局部区域中获取的信息的对应点的数量。这相当于导出该位置处的对应点的局部充足度。假定根据对应点的局部充足度确定对准的可靠度，并且将局部充足度定义为该位置处的对准的可靠度。就是说，基于关注点和靠近其的各对应点间的位置关系而计算关注点处的对准的可靠度。例如，计算关注点和各自的对应点间的三维距离，并基于计算出的三维距离而计算图像上的关注点的位置处的对准的可靠度。例如，基于距离中的最短距离d_min而计算可靠度。
图4是示出第一图像400上的对应点401(第一图像400及与其对应的第二图像(未示出)上设置的一对对应点中的第一图像400侧上的点)、对应点403和405以及关注点410的示意图。这四个点在第一图像400的坐标系中并不总是位于相同平面上。
可靠度获取单元130计算关注点410和对应点401、403及405之间的三维距离(距离411、413及415)。基于这些距离中的最短距离d_min，计算关注点410处的可靠度。例如，1/(1+d_min)被定义为可靠度，并被计算。此时，如果d_min＝0，则可靠度为1.0。随着最短距离d_min变长，可靠度的取值更接近0。可选择地，随着最短距离d_min变长，可以计算可靠度为线性减小。就是说，可以将可靠度定义为在对应点的坐标与图像坐标一致时变为最高(例如1.0)，可靠度随着对应点的坐标远离图像坐标而减小，且在对应点的坐标离开图像坐标给定距离或更远距离时可靠度变为0.0。
注意，可靠度获取方法不需要基于从关注点到各自对应点的三维距离的最小值(最短距离)。例如，可以基于距离的平均值或中值来计算可靠度。可选择地，可以基于第N个(N是预定自然数)最短距离来计算可靠度。可以基于最短距离上面N个(N是预定自然数)距离的平均值来计算可靠度。可以使用多个指数的组合(加权平均值)。此外，可以使用除欧几里德距离(Euclideandistance)之外的任意距离标尺作为距离。另外，可以基于各个位于等于或短于预定阈值的距离处的对应点的数量来计算可靠度。可以根据步骤S200中图像获取单元110从数据库2获取的图像的附加信息(摄像部位信息等)而改变可靠度获取方法。
例如，与像乳房那样变形较大的情况相比，如果像肝脏那样变形较小，那么即使远离对应点，对准仍相对准确。至于肝脏，线性地计算可靠度，从而对准的可靠度在离开对应点的方向上逐渐并不断地减小。至于乳房，在从对应点的给定范围内的可靠度被设置为1.0，且可靠度与该范围之外的距离成反比。通过根据摄像部位来改变可靠度获取方法，能够考虑到变形的大小而计算可靠度。至于乳房，变形的大小也根据患者年龄和乳房尺寸而改变，因此可以考虑到它们来计算可靠度。
注意，被计算可靠度的区域可以是整个图像，或者是诸如关注器官区域或病变的关注区域。在后者的情况下，参照在步骤S200中由图像获取单元110从数据库2获取的器官区域或关注区域的信息。利用图像阈值处理或现有区域提取方法来获取器官区域或病变区域。可选择地，获取用户指定的图像上的关注区域。然后，该区域中的各个点被设置为关注点，并针对各个关注点计算可靠度。这能够省略后续阶段的处理所不需要的计算。此外，可以在区域内的所有体素处或是以预定间隔(例如每第六个体素)来设置关注点。这就能够缩短可靠度计算时间。
(步骤S203；获取充足度)
在步骤S203中，充足度获取单元140基于步骤S202中获取的可靠度来获取对应点信息的充足度。所获取的充足度被传输给确定单元150和呈现控制单元160。
例如，所计算出的可靠度(即两个可靠度地图)的最小值(多个关注点的可靠度的最小值)能被用作充足度。可选择地，可以使用多个关注点的可靠度的平均值或中值。可以使用第M个(M是预定自然数)最低可靠度值。可以基于最低可靠度之上的M个(M是预定自然数)的平均值来计算充足度。此外，具有等于或高于预定阈值的可靠度的关注点的比率可以被定义为充足度，并被计算。根据离图像上关注区域的距离的可靠度的加权平均值可以被使用。此时，被执行计算处理的范围可以是整个图像、关注器官区域或用户指定的关注区域。关注区域中的代表位置(例如重心位置)处的可靠度可以被用作充足度。可以仅基于一个可靠度地图来计算充足度。
(步骤S204；确定充足度)
在步骤S204中，基于步骤S203中获取的对应点信息的充足度，确定单元150确定步骤S201中获取的对应点信息是否充足。更具体地，确定单元150通过将所获取的充足度与阈值进行比较而确定充足度是高还是低。确定结果被传输给呈现控制单元160。
确定单元150保持事先对摄像部位、摄像身体姿势及病例信息的各组设置的阈值作为确定表。图5示出了确定表的示例。当使用确定表时，基于图像的摄像部位501、摄像身体姿势502及病例信息503而设置充足度阈值504。例如，如果摄像部位501是像乳房那样变形大，则需要设置高充足度，因此阈值被设置为大。相反，如果摄像部位501是像肝脏或脑那样变形小，则充足度可以低，因此阈值被设置为小。
即使是在像乳房那样被认为变形大的情况下，如果要被比较的图像的摄像身体姿势502相同，那么目标形状也几乎彼此相等，因此充足度阈值504可以相对小。然而，如果像仰卧姿势和俯卧姿势那样图像的摄像身体姿势彼此不同，则变形大，且目标形状彼此大为不同。因此，将阈值504设置的大。乳房的柔软度根据年龄而不同。可以根据病例信息503的患者年龄5031和乳房尺寸5032来改变阈值504。由于年龄越年轻，乳房越硬，变形越小，因此阈值504被设置的越小。由于年龄越老，乳房越软，变形越大，因此阈值504被设置的越大。由于乳房越小，变形越小，因此阈值504被设置的越小。由于乳房越大，变形越大，因此阈值504被设置的越大。如上文所述，基于摄像部位501、摄像身体姿势502以及病例信息503的患者年龄5031和乳房尺寸5032，确定单元150参照确定表来获取充足度阈值504。就是说，根据图像的附加信息而改变充足度确定方法。
注意，可以通过将可靠度地图的各个体素值与阈值相比较来获得确定各个位置处的可靠度是高还是低的结果，并可以生成具有值的第二可靠度地图。
(步骤S205；显示可靠度地图)
在步骤S205中，呈现控制单元160进行控制，以在显示器3上显示步骤S202中获取的可靠度地图。
图6和图7是当在对应点输入画面300中可靠度图像604和605(704和705)分别与层析图像301和302重叠显示时的示意图。可靠度图像604和605(704和705)是通过沿与层析图像301和302对应的断面裁切步骤S202中获取的可靠度地图而获取的层析图像。
各个图像的亮度值是通过转换可靠度地图的体素值而获得的值。例如，通过例如将可靠度1.0转换成亮度值255以及将可靠度0.0转换成亮度值0而创建灰度可靠度地图。伪色彩被分配给该可靠度地图，且该可靠度地图被显示为伪色彩地图。如图6中所示，当输入一个对应点时，在可靠度地图中，以同心球形分布可靠度。在此情况下，在可靠度图像604和605的每个中，对应点303处于同心球体的中心，且图像由表明较靠近对应点的可靠度较高、离对应点较远的可靠度较低的像素值表示。此外，如图7中所示，当追加一个对应点时，如可靠度图像704或705那样，通过将对应点303和对应点703置于中心而以同心球形分布可靠度。
注意，可以在层析图像旁边显示可靠度图像，或是与层析图像重叠地显示可靠度图像。可以通过例如用户打开/关闭对应点输入画面300上显示的重叠显示按钮310来控制重叠显示。当重叠显示按钮310关闭时，可靠度图像被设置为非显示状态，只有层析图像被显示。当重叠显示按钮310开启时，可靠度图像和层析图像彼此重叠地显示。通过与层析图像重叠地显示可靠度图像，用户能够轻松地在层析图像上把握可靠度低的区域，即对应点不充足的区域。
注意，如果在步骤S204的处理中生成第二可靠度地图，则该信息可以与层析图像重叠地显示。例如，可以与可靠度等于或低于阈值的体素重叠地、半透明地显示红色等，从而用户能够更明确地确认具有低可靠度的部位。用户会能够选择将要通过重叠显示的可靠度地图。
(步骤S206；显示充足信息)
在步骤S206中，呈现控制单元160进行控制，以显示步骤S203中获取的充足度和步骤S204中确定充足度是高还是低的结果来作为显示器3上的充足信息。
例如，如图6、7或8中所示，所获取的充足度的数值和表示对应点是否充足的信息被呈现给用户作为对应点输入画面300上的充足度信息606(充足信息706或806)。此时，可以在充足度旁边显示用于步骤S204中的确定处理的阈值504。可以显示充足度与阈值的比率(到达率)。注意，充足信息呈现方法并不限于字符的显示。例如，如图8中所示，当确定对应点充足时，可以采用例如强调并显示层析图像301和302的外框的显示模式。可以通过声(声音或蜂鸣器)或振动来表现充足信息。
(步骤S207；对准执行确定)
在步骤S207中，图像处理装置1从用户处获取关于执行对准处理的指令，并根据指令将处理分支。例如，确定用户是否已按下图3中所示的对准按钮320。如果图像处理装置1获取了对准处理执行指令，则将处理推进至步骤S208。另一方面，如果图像处理装置1没有获取执行指令，则将处理返回至步骤S201以接受新对应点信息的追加输入。
以上处理允许用户通过参照所显示的可靠度地图和充足信息来确定是否要继续输入对应点。如果继续对应点的输入，则使可靠度低的区域可视化。因此，通过将对应点输入到区域，能够有效提高可靠度。可靠度的提高能够提高充足度，并引导用户朝向完成对应点输入处理。
(步骤S208；充足确定)
在步骤S208中，图像处理装置1根据对应点信息是否充足而使处理分支。就是说，如果在步骤S208中确定对应点信息充足，则处理推进至步骤S211；反之，则处理推进至步骤S209。
(步骤S209；显示消息)
在步骤S209中，呈现控制单元160进行控制，以在显示器3上显示对应点信息不充足。例如，向用户呈现图9中所示的警告消息(通知窗口900)。提示用户指示他/她是接受返回至对应点输入操作的警告、还是忽略警告以执行对准处理。更具体地，显示用于获取指令的GUI(例如图9中的否定按钮910(“忽略”)和肯定按钮920(“返回”)。
(步骤S210；确定是否要返回)
在步骤S210中，图像处理装置1获取关于是否要执行对准处理的用户指令，并根据该指令使处理分支。就是说，如果图像处理装置1获取了接受警告以返回至对应点输入操作的指令(图9中示出的肯定按钮920已被按下)，则处理返回至步骤S201以接受新对应点信息的追加输入。另一方面，如果图像处理装置1获取了忽略警告以执行对准处理的指令(图9中示出的否定按钮910已被按下)，则处理推进至步骤S211。
(步骤S211；对准)
在步骤S211中，对准单元170基于所获取的对应点信息而执行两个图像的对准处理。然后，通过对第二图像执行坐标转换以使第二图像与第一图像相一致，对准单元170生成新的图像，并显示/保存所生成的图像。注意，基于对应点信息的图像的对准处理是众所周知的，将省略对其的详细描述。例如，能够使用任何使对准后的对应点间的距离最小化的方法，例如利用刚性变换估计、仿射变换估计或者自由形态变形(FFD，Free-FormDeformation)的变形对准。然后，结束图2中示出的流程图的各个处理。
如上文所述，根据本实施例的图像处理装置1包括用于获取为图像(层析图像301、302、400)间的对准而输入的对应点信息(对应点303、401、403、405、703)的对应点信息获取单元130、用于基于对应点信息而获取对应点信息的充足度(充足信息606、706及806)的充足度获取单元140、以及用于控制关于充足度的信息(诸如充足度信息606、706或806等所获取的充足度的数值以及表示信息是否充足的信息)的呈现的呈现控制单元160。
另外，根据本实施例的图像处理装置1包括用于获取为图像(层析图像301、302、400)间的对准而输入的对应点信息(对应点303、401、403、405及703)的对应点信息获取单元130、用于基于图像上的关注点410和各个对应点401、403或405间的距离411、413或415而获取图像上的多个关注点处的对准的可靠度来作为分布的可靠度获取单元以及用于呈现表示可靠度的分布的信息(可靠度图像604、605、704、705)的呈现控制单元160。
这就允许用户在执行多个图像间的对准时知晓对应点的充足信息(对应点是否充足)。用户能够参照信息来确定是否要终止对应点信息的输入操作。由于可以在开始对准处理之前确认充足度，因此能够节省在处理结束后再次输入对应点信息的不必要时间。就是说，能够避免使用不充足的对应点信息的对准。
此外，用户能够参照对准的可靠度地图来确认可靠度低的区域，并通过向该区域追加对应点来提高对准的可靠度。因此，能够提高图像间的对准的精度。
此外，在日本专利特开第2011-142974号公报中描述的确定对准结果的质量的结果表明对准结果不正确的情况下，能够确定在对应点的充足度方面是否有问题。如果对应点充足但对准不正确，则能够确定在输入对应点信息方面有误。
(变形例1-1)
在步骤S202的处理中，可靠度地图的生成并不总是不可或缺的。例如，可以仅获取关注区域中的一个代表性位置(例如，重心位置)处的可靠度。在此情况下，在步骤S205中，不显示可靠度地图。在步骤S203中，所获取的可靠度用作充足度。这能在很大程度上减少计算量。
第二实施例
在第一实施例中，解释了基于对准的可靠度获取充足度的示例。然而，充足度的获取并不总是需要基于对准的可靠度。在本实施例中，将描述基于从对应点信息中获取的其他信息而获取充足度的示例。此外，在本实施例中，将描述基于类似的过去病例中对应点信息的输入的示例来确定充足度是高还是低的示例。
<1.图像处理装置的配置>
以下将解释根据本实施例的图像处理装置的、与第一实施例中不同的部件。注意，根据本实施例的图像处理装置1、数据库2以及显示器3的配置与第一实施例中相同，因此将省略对其描述。假定针对过去病例(图像组)执行对准处理(对应点信息的输入)的记录被保存为根据本实施例的数据库2中的示例，并且图像的附加信息(摄像部位、摄像身体姿势以及病例信息)和对应点信息被彼此相关联地存储。此外，根据本实施例的图像处理装置1中不存在可靠度获取单元130，并且由对应点信息获取单元120获取的对应点信息被传输给充足度获取单元140。
<2.处理次序>
以下将参照图2中示出的流程图描述根据本实施例的图像处理装置1的各单元的操作和处理程序。注意，在本实施例中，不执行与获取并显示可靠度相关联的步骤S202和S205中的处理。注意，除步骤S203和S204中的处理之外的处理与第一实施例中相同，因此省略对其描述。
(步骤S203；获取充足度)
在步骤S203中，充足度获取单元140基于步骤S201中获取的对应点信息来获取对应点信息的充足度。在本实施例中，所获取的对应点的数量被设置为充足度。所计算出的充足度被传输给确定单元150和呈现控制单元160。
(步骤S204；确定充足度)
在步骤S204中，基于步骤S203中获取的对应点信息的充足度，确定单元150确定步骤S201中获取的对应点信息是否充足。确定结果被传输给呈现控制单元160。
在本实施例中，利用基于摄像部位、摄像身体姿势以及病例信息而检索类似的过去病例的结果来设置用于确定充足度的基准。为此，确定单元150首先将与作为对准目标的病例(即第一和第二图像)类似的过去病例(图像组)与摄像部位和摄像身体姿势相组合，并基于作为病例信息的患者年龄和乳房尺寸检索数据库2。任何现有方法被用作检索类似病例的方法。然后，获取与最相似病例相关联的对应点(在病例的对准时间输入的对应点)的数量，并将该数量设置为阈值，从而确定充足度是高还是低。
如上文所述，根据本实施例的图像处理装置基于所获取的对应点的数量获取充足度。这就能够节省可靠度计算时间，并以高速呈现充足信息。此外，通过基于检索类似病例的结果而确定充足度，能够基于预计以相同方式变形的病例的对应点的数量而确定充足度。
(变形例2-1)
可以通过其他方法提供用于在步骤S204中确定充足度是高还是低的阈值。例如，与第一实施例类似，可以利用确定表提供阈值，或者可以利用与图像的附加信息无关的预定固定值来提供阈值。
根据本发明，可以提高图像间对准的精度。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (16)

1.一种图像处理装置，所述图像处理装置包括：
对应点信息获取单元，用于获取为图像间的对准而输入的对应点信息；
充足度获取单元，用于基于所述对应点信息获取所述对应点信息的充足度；以及
呈现控制单元，用于控制关于所述充足度的信息的呈现。
2.根据权利要求1所述的装置，其中，
所述充足度获取单元，获取表示对应点数量的充足度。
3.根据权利要求1所述的装置，所述装置还包括：
确定单元，用于基于所述充足度来确定所获取的对应点信息对于执行所述图像间的对准来说是否充足，
其中，所述呈现控制单元呈现所述确定单元的确定结果。
4.根据权利要求1所述的装置，所述装置还包括：
可靠度获取单元，用于基于所述图像上的关注点和各对应点间的距离，获取所述图像上的所述关注点处的对准的可靠度，
其中，所述充足度获取单元基于所述可靠度获取所述充足度。
5.根据权利要求4所述的装置，其中，所述充足度获取单元获取多个关注点的可靠度的最小值作为所述充足度。
6.根据权利要求4所述的装置，其中，所述充足度获取单元获取多个关注点的可靠度的平均值作为所述充足度。
7.根据权利要求4所述的装置，其中，所述充足度获取单元根据离所述图像上的关注区域的距离，获取可靠度的加权平均值。
8.根据权利要求4所述的装置，其中，所述可靠度获取单元获取所述图像上的各个关注点处的对准的可靠度，并生成表示所述可靠度的分布的可靠度地图。
9.根据权利要求8所述的装置，其中，
所述图像是三维图像，以及，
所述可靠度地图是地图，在该地图中所述三维图像的各个体素的体素值表示所述体素的位置处的对准的可靠度。
10.根据权利要求8所述的装置，其中，所述呈现控制单元呈现所述可靠度地图以与所述图像重叠。
11.根据权利要求4所述的装置，其中，所述可靠度获取单元根据所述图像的附加信息来改变获取所述可靠度的方法。
12.根据权利要求3所述的装置，其中，所述确定单元根据所述图像的附加信息来改变充足度确定方法。
13.根据权利要求1所述的装置，所述装置还包括：
对准单元，用于基于所述对应点信息执行图像间的对准。
14.一种图像处理装置，所述图像处理装置包括：
对应点信息获取单元，用于获取为图像间的对准而输入的对应点信息；
可靠度获取单元，用于基于图像上的各个关注点和各自的对应点间的距离，获取所述图像上多个关注点处的对准的可靠度来作为分布；以及
呈现控制单元，用于呈现表示所述可靠度的所述分布的信息。
15.一种图像处理方法，所述图像处理方法包括：
对应点信息获取步骤，用于获取为图像间的对准而输入的对应点信息；
充足度获取步骤，用于基于所述对应点信息获取所述对应点信息的充足度；以及
呈现控制步骤，用于控制关于所述充足度的信息的呈现。
16.一种图像处理方法，所述图像处理方法包括：
对应点信息获取步骤，用于获取为图像间的对准而输入的对应点信息；
可靠度获取步骤，用于基于图像上的各个关注点和各自的对应点间的距离，获取所述图像上多个关注点处的对准的可靠度来作为分布；以及
呈现控制步骤，用于呈现表示所述可靠度的所述分布的信息。
CN201510434250.0A 2014-07-24 2015-07-22 图像处理装置及图像处理方法 Active CN105303550B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014151043A JP6393106B2 (ja) 2014-07-24 2014-07-24 画像処理装置、画像処理方法およびプログラム
JPJP2014-151043 2014-07-24

Publications (2)

Publication Number Publication Date
CN105303550A true CN105303550A (zh) 2016-02-03
CN105303550B CN105303550B (zh) 2019-05-03

Family

ID=55167117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510434250.0A Active CN105303550B (zh) 2014-07-24 2015-07-22 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (2) US9767562B2 (zh)
JP (1) JP6393106B2 (zh)
CN (1) CN105303550B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6971544B2 (ja) 2015-08-06 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6840481B2 (ja) 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6711715B2 (ja) 2016-07-19 2020-06-17 キヤノン株式会社 画像処理装置および画像処理方法
JP7013144B2 (ja) 2016-10-12 2022-01-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2018110615A (ja) 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
JP6934734B2 (ja) 2017-03-17 2021-09-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US11138735B2 (en) * 2017-10-17 2021-10-05 Canon Medical Systems Corporation Image processing apparatus and medical image taking apparatus
JP7153261B2 (ja) * 2017-11-16 2022-10-14 国立大学法人九州大学 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム
JP7297439B2 (ja) 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5954650A (en) * 1996-11-13 1999-09-21 Kabushiki Kaisha Toshiba Medical image processing apparatus
CN101783019A (zh) * 2008-12-26 2010-07-21 佳能株式会社 被摄体跟踪设备及其控制方法、摄像设备以及显示设备
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560354B1 (en) * 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
US6868172B2 (en) * 2001-10-03 2005-03-15 Eastman Kodak Company Method for registering images in a radiography application
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4914039B2 (ja) 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
EP1949335A1 (en) * 2005-11-10 2008-07-30 Philips Intellectual Property & Standards GmbH Adaptive point-based elastic image registration
JP5587614B2 (ja) * 2010-01-13 2014-09-10 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
JP5661382B2 (ja) 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
JP5995408B2 (ja) * 2011-04-01 2016-09-21 キヤノン株式会社 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
WO2013047882A1 (en) 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US10347380B2 (en) * 2013-03-14 2019-07-09 Think Surgical, Inc. Intra-operative registration of anatomical structures
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5954650A (en) * 1996-11-13 1999-09-21 Kabushiki Kaisha Toshiba Medical image processing apparatus
CN101783019A (zh) * 2008-12-26 2010-07-21 佳能株式会社 被摄体跟踪设备及其控制方法、摄像设备以及显示设备
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures

Also Published As

Publication number Publication date
US20160027179A1 (en) 2016-01-28
US10424067B2 (en) 2019-09-24
US9767562B2 (en) 2017-09-19
CN105303550B (zh) 2019-05-03
US20170337694A1 (en) 2017-11-23
JP6393106B2 (ja) 2018-09-19
JP2016022337A (ja) 2016-02-08

Similar Documents

Publication Publication Date Title
CN105303550A (zh) 图像处理装置及图像处理方法
US10769791B2 (en) Systems and methods for cross-modality image segmentation
CN109589170B (zh) 医学成像中的左心耳闭合引导
CN106709930B (zh) 三维医学图像的感兴趣体积分割方法及装置
CN109754396B (zh) 图像的配准方法、装置、计算机设备和存储介质
US8498459B2 (en) System and method for verifying registration accuracy in digital medical images
US10635924B2 (en) System and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation
CN103985147A (zh) 终端用户特定诊断用医学图像读取的标志检测模型的现场学习的方法和系统
CN104160424A (zh) 用于改进多模态图像融合中的配准准确度的智能标志选择
CN109102490A (zh) 自动图像注册质量评估
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
KR102130963B1 (ko) 두부이미지 분석 장치 및 이미지 분석 방법
US9576361B2 (en) Image processing apparatus and image processing method
KR101645292B1 (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
KR20160110194A (ko) 의료 이미지들의 분할 불확실성의 계산 및 시각화를 위한 시스템들 및 방법들
CN106462974A (zh) 用于分割图像的参数优化
US20230401706A1 (en) Method for detecting a rib with a medical image, device, and medium
US8306354B2 (en) Image processing apparatus, method, and program
CN111091539B (zh) 网络模型训练、医学图像处理方法、装置、介质及设备
US9983848B2 (en) Context-sensitive identification of regions of interest in a medical image
CN110674885A (zh) 一种病灶匹配方法及装置
US10176612B2 (en) System and method for retrieval of similar findings from a hybrid image dataset
CN116524158A (zh) 基于图像配准的介入导航方法、装置、设备和介质
US12046356B2 (en) System and method of scribble based segmentation for medical imaging using machine learning
Agomma et al. Automatic detection of anatomical regions in frontal X-ray images: Comparing convolutional neural networks to random forest

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant