CN105246409B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN105246409B
CN105246409B CN201380076740.7A CN201380076740A CN105246409B CN 105246409 B CN105246409 B CN 105246409B CN 201380076740 A CN201380076740 A CN 201380076740A CN 105246409 B CN105246409 B CN 105246409B
Authority
CN
China
Prior art keywords
mentioned
image
point
floating
floating image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380076740.7A
Other languages
English (en)
Other versions
CN105246409A (zh
Inventor
黎子盛
栗原恒弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105246409A publication Critical patent/CN105246409A/zh
Application granted granted Critical
Publication of CN105246409B publication Critical patent/CN105246409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种图像处理装置，实施参照图像与浮动图像的对位，图像处理装置为了将浮动图像变形而对浮动图像设置控制栅格。图像处理装置从浮动图像和参照图像分别提取特征点。从参照图像和浮动图像中分别搜索与所提取的特征点对应的位置。使用搜索出的位置，设定设置在浮动图像上的控制栅格中的控制点的初始位置。提取出的特征点在参照图像和浮动图像各自中相互对应，是在各个图像中特征性的部分。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法，特别涉及在多个图像之间进行对位的图像处理装置及图像处理方法。
背景技术
在二维或三维的多个(以下也有称作多张的情况)图像之间进行对位的技术被用在各种领域中，是重要的技术。例如，在医疗用图像的领域中，取得CT(ComputedTomography)图像、MR(Magnetic Resonance)图像、PET(Positron Emission Tomography)图像、超声波图像等各种三维图像。对所取得的各种三维图像而言，为了能够对位并重合显示而利用图像的对位技术。这样的显示方法被称作融合图像显示，能够进行利用图像的特征的显示。例如，CT图像适合于显示详细的形状，PET图像适合于显示代谢或血流等身体的功能。
进而，在医疗领域中，为了观察同一患者的经过，通过在以时间序列取得的多张医疗用图像之间进行对位，以时间序列观察病变部的状态，能够容易地实施疾病的有无及进展状况的诊断。在多个图像之间进行对位的情况下，将被固定的图像称作参照图像，将为了对位而被坐标变换的图像称作浮动图像。
在多个图像之间进行对位的技术可以分类为刚体对位法和非刚体对位法。在刚体对位方法中，对图像进行平行移动和旋转，实施图像的对位。该方法适合于骨骼等不易变形的部位的图像。另一方面，在非刚体对位法中，对图像进行包括局部变形的复杂的变形，求出图像之间的对应关系。因此，适用于对于在治疗计划及/或经过观察中取得的多张医疗用图像的对位、或者在标准的人体-内脏模型与个别的模型之间进行医疗用图像之间的对位等，其应用范围幅度较大。
在通常周知的非刚体对位法中，在浮动图像上配置控制栅格，通过使该控制栅格中的控制点移动，使浮动图像变形。在变形后的浮动图像与参照图像之间求出图像类似度，进行基于求出的图像类似度的优化计算，求出控制栅格中的控制点的移动量(变形量)。在此情况下，控制栅格中的控制点间的像素的移动量通过配置在该像素的周围的控制点的移动量的插补来计算。使用得到的各像素的移动量进行浮动图像的坐标变换，实施使图像局部地变形那样的对位。此外，通过使控制点的间隔即栅格数变化，能够实施多重分辨率的变形。
在专利文献1中示出了不是使用栅格状的控制点、而是在浮动图像中将对应于与参照图像类似的部位的界标作为控制点来使用，并使用该控制点将图像进行瓦片(tile)分割而进行变形。在求出局部性的变形的情况下，在分割出的瓦片中追加界标，再将瓦片分割而实施对位。
现有技术文献
专利文献
专利文献1：特表2007－516744号公报
发明内容
发明要解决的问题
在上述使用控制栅格的对位中，控制栅格中的控制点的数量达到几千或几万左右。因此，求出各个控制点的移动量的优化计算变得复杂。因此，对位的精度依存于控制栅格中的控制点的初始位置。使用上述刚体对位法，能够设定各个控制点的大体的初始位置。但是，在因软组织或内脏的老化等而发生了复杂的变形的情况下，刚体对位法本身有可能不能适用。因此，难以求出正确的初始位置。
此外，在将对位的结果进行修正的情况下，要求将上述控制栅格中的多个控制点1个点1个点地向对应的位置移动。该作业非常繁琐。
另一方面，在专利文献1所记载的技术中，在求出复杂的局部变形的情况下，要求依次追加界标、将瓦片分割的处理。但是，如果通过分割的处理而瓦片区域的面积减小，则在已有的瓦片中，解剖性的部位中的高精度的对应点搜索变困难。此外，在界标的依次性的追加处理中，使用界标整体的一致度的确实的误对应排除处理也较困难。
本发明的目的是提供一种对位处理的精度较高的图像处理装置及图像处理方法。
本发明的上述及其他目的和新的特征通过本说明书的记述及附图会变得清楚。
用于解决问题的手段
将本申请所公开的发明中的代表性的技术方案的概要简单说明如下。
即，为了将浮动图像变形，在浮动图像中设置控制栅格。此外，从浮动图像和参照图像的各自中提取特征点(以下也称作界标)。从参照图像和浮动图像的各自中搜索与提取出的特征点对应的位置的点。使用搜索出的点的位置，设定设置在浮动图像中的控制栅格中的控制点的初始位置。提取出的特征点在参照图像和浮动图像的各自中相互对应(成对)，在各自的图像中是特征性的部分。由此，将与相互对应的特征点分别对应的位置(参照图像和浮动图像中的位置)反映到控制点的初始位置。在为了对位而将浮动图像变形之前，能够将控制点配置到更正确的位置，能够提高对位的精度。
此外，在一技术方案中，以手动进行特征点的输入(编辑)。控制栅格根据其结果变形，能够将对位的结果进行修正，能够实现修正的容易化。
发明效果
根据一技术方案，能够提供一种对位处理的精度较高的图像处理装置及图像处理方法。
附图说明
图1是表示有关实施方式1的图像处理装置的逻辑结构的框图。
图2是表示有关实施方式1的图像处理装置的硬件结构的框图。
图3是表示有关实施方式1的对位处理的流程图。
图4是以三维图像为例表示有关实施方式1的特征点的数据构造的数据构造图。
图5是表示有关实施方式1的对位部的处理的流程图。
图6是表示有关实施方式2的图像处理装置的逻辑性的结构的框图。
图7是表示有关实施方式2的关注区域提取部的处理的流程图。
图8的(A)～(C)是表示有关实施方式2的图像处理装置处理的图像的例子的说明图。
图9是表示有关实施方式3的图像处理装置的逻辑结构的框图。
图10的(A)及(B)是人体的腹部横截面层的示意图。
图11的(A)及(B)是带有界标的人体的腹部横截面层的示意图。
图12的(A)及(B)是表示控制栅格与人体的腹部横截面层的关系的示意图。
图13是表示由控制栅格变形后的人体的腹部横截面层的示意图。
图14的(A)及(B)是明示采样点的例子的人体的腹部横截面层的示意图。
图15的(A)及(B)是带有界标、控制栅格的人体的腹部横截面层的示意图。
图16是表示有关各实施方式的对应点对的数据构造的数据构造图。
具体实施方式
以下，基于附图详细地说明本发明的实施方式。另外，在用来说明实施方式的全部图中，对于相同部分在原则上赋予相同的标号，其重复的说明省略。
(实施方式1)
<概要>
在参照图像和浮动图像各自中，提取相互对应的特征点作为对。从参照图像和浮动图像各自中提取这些特征点对的位置信息，使用提取出的位置信息，决定在对位处理中使用的控制栅格中的各控制点的初始位置。由此，能够更正确地实施用来求出控制点的移动量的优化计算。作为其结果，能够实现稳定且高精度的对位处理。
<结构及动作>
图1是表示有关实施方式1的图像处理装置的逻辑结构的框图。在该图中，11是参照图像，12是浮动图像。浮动图像12如上述那样，是在实施对位时被变形的图像。图像处理装置进行参照图像11与浮动图像12之间的对位。参照图像11和浮动图像12各自的内容根据进行对位的对象图像而变化。为了使说明变容易，在该图中也表示了参照图像11和浮动图像12，但作为图像处理装置，应理解为不包含参照图像和浮动图像。
图像处理装置具备图像采样部13、特征点检测及对应建立部14、控制栅格变形部16、对位部10及浮动图像变形部17。另外，在该图中，18表示由图像处理装置完成了对位的浮动图像。
特征点检测及对应建立部14将参照图像11和浮动图像12分别接受，提取各个图像中的特征点，从参照图像11和浮动图像12提取与所提取的特征点各自对应的位置。将提取出的位置的信息作为与提取出的特征点分别对应的点的位置信息(以下也称作对应点位置信息)15输出。控制栅格变形部16使用从特征点检测及对应建立部14输出的对应点位置信息15使控制栅格变形，决定控制栅格中的控制点的初始位置。将所决定的控制点的初始位置向对位部10供给。
图像采样部13接受参照图像11，提取在图像类似度计算中使用的参照图像11的图像采样点和采样数据，向对位部10供给。对位部10按照从各部接受到的图像数据和控制栅格实施对位，将其结果向浮动图像变形部17供给。浮动图像变形部17按照被供给的对位的结果将浮动图像12变形，将其结果作为已对位浮动图像18输出。关于这些动作，在说明图像处理装置的硬件结构后详细地叙述。
图2是表示有关实施方式1的图像处理装置的硬件结构的框图。图2所示的硬件结构在以下所述的多个实施方式中共同使用。
此外，有关实施方式的图像处理装置能够安装到通常的计算机上，可以设置在医疗施设等中。或者，也可以在数据中心设置图像处理装置，经由网络将图像对位的结果向客户端终端发送。在此情况下，也可以经由网络从客户端终端将要对位的对象图像向数据中心内的图像处理装置供给。以下，以在设置在医疗施设中的计算机中安装有图像处理装置的情况为例进行说明。
在图2中，40是CPU(处理器)，41是ROM(非易失性存储器：读出专用的存储介质)，42是RAM(易失性存储器：能够进行数据的读写的存储介质)，43是存储装置，44是图像输入部，45是介质输入部，46是输入控制部，47是图像生成部。CPU40、ROM41、RAM42、存储装置43、图像输入部44、介质输入部45、输入控制部46及图像生成部47通过数据总线48相互连接。虽然没有被特别限制，但设置在医疗施设中的计算机具备这些装置。
在ROM41和RAM42中，存储有为了由计算机实现图像处理装置所需要的程序和数据。通过由CPU40执行存储在该ROM41或RAM42中的程序，实现图像处理装置中的各种处理。上述存储装置43是保存输入图像等的磁存储装置。存储装置43也可以具备非易失性半导体存储介质(例如，闪存存储器)。此外，也可以利用经由网络等连接的外部存储装置。
也可以是，CPU40执行的程序保存在存储介质50(例如光盘)中，介质输入部45(例如光盘驱动器)将该程序读入并向RAM42保存。此外，也可以在存储装置43中保存该程序，从存储装置43将该程序装载到RAM42中。此外，也可以在ROM41中预先存储该程序。
图像输入部44是被输入由图像摄像装置49拍摄的图像的接口。CPU40使用从图像摄像装置49输入的图像执行各处理。介质输入部45将存储在存储介质50中的数据及程序读出。从存储介质50读出的数据及程序被CPU40向RAM42或存储装置43保存。
输入控制部46是受理由用户从输入装置51(例如键盘)输入的操作输入的接口。输入控制部46接受到的操作输入由CPU40处理。图像生成部47例如根据由图1所示的浮动图像变形部17变形后的浮动图像12生成图像数据，将所生成的图像数据向显示器52发送。显示器52将该图像进行画面显示。
接着，使用图1所示的图像处理装置和图3所示的流程图，说明有关实施方式1的图像处理装置的动作。这里，图3是表示图1所示的图像处理装置的动作的流程图。
开始处理(在图3中，开始)，在步骤S101中分别输入参照图像11和浮动图像12。特征点检测及对应建立部14在步骤S102中从各个图像提取图像的特征点，检测相互对应的特征点的对。在步骤S102中，还基于检测出的特征点的对提取对应点对。
特征点在图像中被赋予给特征性的图像部分。关于特征点在后面使用图4详细地说明，各个特征点具有特征量。在参照图像中的特征点与浮动图像中的特征点之间，求出特征量的距离。将求出的特征量的距离最小的两个特征点作为相互对应的特征点(特征点的对)。即，将其具有的特征量间的距离最小处的1对特征点作为特征点的对。基于构成特征点对之处在参照图像中的特征点，从参照图像提取与该特征点对应的位置。同样，基于构成相同的特征点对之处在浮动图像中的特征点，从浮动图像提取与该特征点对应的位置。该提取出的位置为与特征点的对对应之处的对。
在步骤S102中，这样进行多个特征点的对的提取。即，进行多个对应点对的提取。在提取出的多个特征点的对中，也存在例如特征量间的距离比较大的特征点的对。这样的特征点的对由于可靠性较低，所以作为误对应点对在步骤S103中排除。通过步骤S103，形成除去了误对应点对的对应点位置信息15。
控制栅格变形部16使用对应点位置信息15，使控制栅格变形，决定处于控制栅格上的控制点的初始位置(步骤S104)。将所决定的初始位置作为控制点移动量信息1001(图1)向对位部10供给。图像采样部13从参照图像11提取在图像类似度计算中使用的图像采样点和采样数据(步骤S105)，向对位部10供给。
上述对位部10如图1所示，具备坐标几何变换部1002、图像类似度计算部1003和图像类似度最大化部1004。对于对位部10内的坐标几何变换部1002，供给参照图像11的采样点、采样数据、浮动图像12和控制点移动量信息1001。对位部10使用控制点移动量信息1001对浮动图像进行坐标变换。这里，求出与参照图像11中的采样点对应的、浮动图像12上的采样点，进行浮动图像的坐标变换，以取得求出的采样点的采样数据(步骤S106)。
对于对位部10的图像类似度计算部1003(图1)，供给参照图像11的采样数据、和与参照图像11中的采样点对应的、浮动图像12的采样数据。即，供给相互对应的采样点的采样数据。图像类似度计算部1003计算参照图像11和浮动图像12各自的对应的图像样本(采样数据)间的图像类似度(步骤S107)。
图像类似度最大化部1004(图1)动作，以将上述的图像类似度最大化。在步骤S108中，进行图像类似度是否已最大化的判定，在判定为没有最大化的情况下，将控制点移动量信息1001更新以使图像类似度成为最大(步骤S109)，再次执行步骤S106、S107及S108。重复这些处理直到成为最大。
另一方面，在判定图像类似度最大的情况下，对位部10将使图像类似度最大化时的控制点移动量信息1001向浮动图像变形部17输出。浮动图像变形部17使用控制点移动量信息1001对浮动图像12实施几何变换，生成已对位浮动图像18并输出(步骤S110)。
关于这些各部，以下分别更详细地说明。
<特征点检测及对应建立部>
特征点检测及对应建立(对应点设定)部14检测参照图像11和浮动图像12各自的图像特征点，将各特征点的特征量记录。使用图4说明记录形式的例子。
在图4中表示由特征点检测及对应建立部14提取出的图像特征点的数据构造，在该图中，表示将三维图像作为对象例提取时的数据构造。在图4中，列C1表示特征点的号码，列C2表示特征点的坐标，列C3表示特征量向量Vi。在该图中，特征点有1至L，将各个特征点的三维坐标用x坐标、y坐标及z坐标表示。此外，将各个特征点的特征量向量Vi表示为V1至VL。例如，关于特征点1，其三维坐标是(x坐标：72.16，y坐标：125.61，z坐标：51.23)，其特征量向量是V1。
关于图像特征点的检测方法和特征量的记述方法可以使用周知的方法。作为周知的方法，例如可以使用SIFT(Scale－Invariant Feature Transform)特征点检测及SIFT特征量记述。在该实施方式中，由于作为对位对象的图像是三维图像，所以图像特征点的检测和特征量记述方法从二维扩展到三维。
接着，特征点检测及对应建立部14搜索与参照图像11中的特征点对应的、浮动图像12上的特征点。具体说明如下，如果设参照图像11中的某个特征点Pr与浮动图像12中的某个特征点Pf的特征量(特征量向量)分别为Vr和Vf，则特征量间欧几里德距离d通过式(1)计算。这里，M是特征量的维度。
[数式1]
特征点检测及对应建立部14关于参照图像11中的某1点的特征点的特征量，计算与浮动图像12中包含的全部特征点的特征量之间的距离d，检测其中距离d为最小的特征点彼此作为相互对应的点(作为对)。
由于能够判断为该特征量间的距离d较大的特征点的对可靠性较低，所以特征点检测及对应建立部14在步骤S103(图3)中进行将这样的可靠性较低的特征点的对作为误对应点对而除去的处理。虽然没有特别限制，但误对应点对的排除处理以两个阶段实施。首先，将具有超过实验性地设定的阈值的距离的特征点的对作为误对应对，从以后的处理对象中排除。进而，对于其余的特征点的对，例如使用作为周知的方法的RANSAC(RandomSample Consensus)法，确实地将误对应对排除。特征点检测及对应建立部14将这样得到的特征点的对(对应点对)的位置信息作为对应点位置信息15向控制栅格变形部16输出。
在图16中表示对应点对的数据构造的例子。在该图中，列C6是特征点的对的号码，列C4是参照图像中的特征点的坐标(位置)，列C5是浮动图像中的特征点的坐标。与图4所示的例子同样，在图16中表示作为对象而对三维的参照图像及浮动图像求出了特征点的情况。
与图4不同，在图16中，特征量不包含在数据构造中。这是因为，由于判明了是相互对应的特征点，所以也可以不特别将特征量包含在数据构造中。此外，在图16中表示了相互对应的点，所以在列C6中记载的号码也可以理解为对应点对的号码。与图4同样，在图16中，特征点(对应点对)表示了1至L，参照图像和浮动图像各自中的位置被用三维坐标表示。即，关于对应点对的号码和构成由该号码表示的对应点对的特征点，在图16中表示了参照图像中的位置和浮动图像中的位置。例如，号码1的对应点对由参照图像中的其位置是三维坐标(x坐标：72.16，y坐标：125.61，z坐标：51.23)的特征点、和浮动图像中的其位置是三维坐标(x坐标：75.34，y坐标：120.85，z坐标：50.56)的特征点构成。
向控制栅格变形部16输出的对应点位置信息15包含图16所示的对应点(特征点)对的信息。
在特征点检测及对应建立部14中，还能够将对应点对进行编辑(将追加、删除也包括在内)。例如，可以使用图1所示的输入装置51将图16所示的对应点对的信息进行编辑。例如，也可以通过使用经验知识将对应点对进行编辑，使对位的精度提高。
<控制栅格变形部>
控制栅格变形部16使用对应点位置信息15，使在对位处理中使用的控制栅格变形(初始位置设定)。虽然没有特别限制，但在控制栅格变形部16中，在浮动图像12上配置为了将该图像变形而使用的控制栅格(控制点设定)。将配置在浮动图像12上的控制栅格中的栅格状的控制点看作三维网格的顶点，使用上述对应点间的几何距离使控制点网格变形。这里，可以使用周知的方法，例如MLS(Moving Least Squares)法。在MLS法中，对于控制网格中的某个顶点，以尽可能类似于处于其附近的浮动图像12上的特征点的运动(朝向参照图像11上的对应点的移动)的方式使作为该顶点(上述某个顶点)的控制点移动。因此，控制栅格变形部16对于控制网格能够得到灵活地匹配于其周围的对应点的移动那样的非刚体性的变形(步骤S104)。控制栅格变形部16(图1)从变形后的控制栅格取得控制点移动量信息1001，向对位部10输出。
<图像采样部>
图像采样部13(图1)从参照图像11提取图像采样点和采样数据，向对位部10输出。这些图像样本用于对位处理中的图像类似度的计算。
采样也可以将作为对位处理的对象的图像区域的全部像素作为采样点来进行。但是，为了提高对位处理的速度，也可以在图像上放置栅板(grid)，仅使用栅板的节点(nod)处的像素作为采样点。此外，也可以在采样对象区域中随机地生成规定数量的坐标，使用得到的坐标处的亮度值作为采样点的亮度值。作为医疗用的图像处理装置，为了处理速度的提高而优选的是使用亮度值作为采样数据，但根据使用图像处理装置的用途，采样数据也可以为颜色信息。
<对位部>
对位部10(图1)如上述那样，具备坐标几何变换部1002、图像类似度计算部1003、图像类似度最大化部1004。接着，使用图5说明这些各功能部的动作。图5是说明对位部10的处理的流程图。
坐标几何变换部1002(图1)取得参照图像11的采样数据和浮动图像12(步骤S201及S202)。进而，坐标几何变换部1002在所取得的浮动图像12上配置控制栅格，从控制栅格变形部16(图1)取得控制点移动量信息1001(图1)，基于该控制点移动量信息1001，设定上述控制栅格中的控制点的初始位置(步骤S203)。
此外，坐标几何变换部1002对于参照图像11的采样点的坐标，使用控制点移动量信息1001实施坐标变换(步骤S204)。该步骤用于计算与参照图像11的采样点的坐标对应的地方的、浮动图像12的图像数据的坐标。这里，对于某个采样点的坐标，基于其周围的控制点的位置，例如使用周知的B－spline函数进行坐标的插补，计算浮动图像12中的对应采样点的坐标。
接着，坐标几何变换部1002对于浮动图像12的各对应采样点(与参照图像11的各采样点对应的采样点)，例如通过线性插补运算计算该对应采样点的亮度值(步骤S205：提取)。由此，求出随着控制点的移动而变化的动图像的坐标(采样点)、和该坐标(采样点)处的亮度值。即，在该变换部1002中进行伴随着控制点的移动的浮动图像的变形。
图像类似度计算部1003(图1)取得参照图像11的采样点处的数据(采样数据)、和几何变换后的浮动图像12的对应采样点处的数据(在步骤S205中生成的数据)。图像类似度计算部1003对于这些采样点处的数据，使用规定的评价函数，运算参照图像11与浮动图像12之间的图像类似度(步骤S206)。作为图像类似度可以使用周知的相互信息量。
图像类似度最大化部1004(图1)取得图像类似度计算部1003计算出的、参照图像11与浮动图像12之间的图像类似度。这里，为了求出参照图像11与浮动图像12之间的图像类似度为最大(或极大)那样的各控制点的移动量而实施收敛计算(步骤S207)。在步骤S207中图像类似度不收敛的情况下，为了得到更高的图像类似度，图像类似度最大化部1004将控制点移动量信息1001更新(步骤S208)。并且，使用更新后的控制点移动量信息1001，重新实施步骤S204～S207。
另一方面，在步骤S207中图像类似度收敛的情况下，对位部10将求出的控制点移动量信息1001向浮动图像变形部17输出(步骤S209)。通过以上的处理，对位部10的处理完成。
<浮动图像变形部>
浮动图像变形部17(图1)取得浮动图像12和控制点移动量信息1001。浮动图像变形部17对于浮动图像12的全部像素，基于控制点移动量信息1001，通过与上述步骤S204同样的插补运算计算各像素的坐标。接着，浮动图像变形部17通过与上述步骤S205同样的插补运算，计算上述求出的坐标处的亮度，生成已对位浮动图像18。
根据该实施方式，根据相互对应的特征点的对(对应点对)，求出参照图像及浮动图像各自中的位置。使用求出的位置，设定在进行参照图像与浮动图像之间的对位时使用的控制点的初始值(位置)。由此，能够将控制栅格的初始值设定为更适当的值，能够使对位的精度提高。此外，还能够实现对位所需要的时间的缩短。
<应用例>
接着，使用图10至图15，说明应用到医疗用图像中的情况下的应用例。以下，以人体的腹部横截面层为例进行说明，但为了避免用于说明的图面变复杂，使用腹部横截面层的示意图进行说明。
图10的(A)及(B)是腹部横截面层的示意图。在图10的(A)及(B)的各自中，上侧是人体的肚子侧，下侧是人体的后背侧。在图10的(A)及(B)的各自中，在中央的下侧存在背骨部分，在左侧存在肝脏部分，在右侧存在脾脏部分。此外，在中央及中央上侧存在胰脏－大血管。
图10的(A)所示的腹部横截面层没有被特别限制，是治疗前的腹部横截面层，图10的(B)所示的腹部横截面层是治疗后的腹部横截面层。因此，在图10的(A)与(B)之间，腹部横截面层中的内脏等的位置及/或其形状不同。如果沿着上述实施方式叙述，则通过将关于这两个腹部横截面层的图像的相互的位置对准，能够确认治疗的效果。将图10的(A)及(B)所示的腹部截面层的图像中的一方作为参照图像，将另一方作为浮动图像。在该实施方式中没有特别限制，以将图10的(A)所示的图像(即，治疗前的关于腹部横截面层的图像)作为参照图像、将图10的(B)所示的图像(即，治疗后的关于腹部横截面层的图像)作为浮动图像的情况为例进行说明。
将图10的(A)及(b)所示的图像(关于腹部横截面层的图像)作为参照图像和浮动图像，在步骤S101(图3)中输入。从输入的图像中，提取在该图像中特征性的部分(部位)作为特征点，进行对应建立(图3的步骤S102)。这里，由于输入的图像是医疗用的图像，所以作为特征性的部位，例如将内脏中的特征性的形状部分或血管部分作为特征性的部位。从图10的(A)及(B)分别找到特征性的部位，进行特征点的提取，进行对应建立。
在图11的(A)及(B)中，表示从图10的(A)及(B)所示的图像(关于腹部横截面层的图像)找到特征性的部位并进行特征点的提取、并进行了对应建立的腹部横截面层。这里，图11的(A)表示与图10的(A)相同的腹部横截面层，图11的(B)表示与图10的(B)相同的腹部横截面层。作为内脏中的特征性的部位，在图11的(A)及(B)中没有特别限制，但作为内脏的特征性的部分找出。将该特征性的部位作为特征点提取。在图11的(A)及(B)各自中，将该特征性的部位用记号TA(图11的(A))及记号TB(图11的(B))表示。
将图11的(A)及(B)各自中的特征性的部位TA及TB作为特征点P及P’提取。提取出的特征点具有如图4所示的坐标(x，y，z)和特征量向量(Vi)。这里，坐标是图像中的特征性的部位T的坐标。另外，在图11的(A)及(B)中，在特征性的部位TA(TB)和与其对应的特征点P(P’)之间，表示的位置处的○标记的尺寸不同，但为了使附图容易观察，仅改变了尺寸，尺寸并没有意义。
在图11的(A)及(B)所示的腹部横截面层中，不仅是上述特征性的部位TA、TB，还存在表示内脏的特征的许多特征性的部位，但在图11的(A)及(B)中，为了避免图面的复杂化而省略。关于没有图示的特征性的部位也作为特征点提取。如在图3的步骤S102及S103中说明那样，使用各特征点所具有的特征量向量Vi，将相互对应的特征点作为特征点的对(对应点对)提取。在图11的(A)及(B)中，表示多个特征点及由其构成的多个对应点对中的、与特征性的部位TA及TB对应的特征点P及P’。假设该特征点P和P’是通过使用特征量向量的运算被判定为成对的特征点。即，由特征点P和P’构成特征点的对(对应点对)。
将特征点的对P和P’如图16所示作为数据登记。即，将与特征点对P、P’中的作为参照图像上的特征点的特征点P对应的部位TA的坐标、和与作为浮动图像上的特征点的特征点P’对应的部位TB的坐标，向图16所示的数据构造登记。此时，将特征点的对(对应点对)的号码也例如作为P赋予。当然，将由特征点P和P’构成的特征点的对以外的特征点的对也同样向图16所示的数据构造登记。图16所示的对应点对的信息包含在对应点位置信息15中，供给至将使用对应点的控制栅格变形的步骤S104(图3)。
图12的(A)是被配置到浮动图像上的控制栅格1201的图。控制栅格1201具有分别以纵向及横向配置的多个控制线(虚线)、和作为控制线间的交点的多个控制栅格点(控制点)1202。控制栅格被配置到浮动图像之上。在配置之前，控制栅格点的间隔没有被特别限制，但在纵向及横向上为等间隔。
关于控制栅格1201，在关于控制栅格变形部16的说明中以进行了叙述，通过将控制栅格变形，能够将浮动图像变形。即，在该实施例中，如图11的(B)所示配置到腹部横截面层的图像之上，通过将控制栅格1201变形，将作为浮动图像的腹部横截面层的图像变形。在该实施方式中，配置在浮动图像(腹部横截面层的图像)上的控制栅格1201的控制点1202的位置在控制栅格变形部16(图1)中基于对应点位置信息15(图1)移动，控制栅格1201变形。即，将控制点1202的位置基于对应点位置信息15进行初始设定。换言之，基于对应点位置信息15将控制栅格1201预先变形(初始设定)。
图12的(B)是表示配置初始设定后的控制栅格1201、其图像被变形后的腹部横截面层的图像的示意图。即，在图12的(B)中表示在图11的(B)所示的腹部横截面层的图像之上配置图12的(A)所示的控制栅格1201、基于对应点位置信息15将控制栅格1201初始设定后的图像。在图12的(B)所示的例子中，控制栅格1201被变形为，整体上向右上升、在右上部存在变形的控制栅格的部分。通过初始设定，使控制点1202的位置移动，通过将控制栅格1201变形，浮动图像也变形。
在控制栅格1201的初始设定后，通过坐标几何变换部1002(图1)、图像类似度计算部1003(图1)及图像类似度最大化部1004(图1)将控制栅格1201进一步变形，以使参照图像(例如图11的(A))与浮动图像之间的图像类似度最大化。在图13中表示该进一步的变形过程中的浮动图像和控制栅格1201的例子。如果将图12的(B)与图13比较，则在该变形过程中，控制栅格1201为了使图像类似度最大化，例如在图13中，相对于图12的(B)，各个栅格从正方形进一步变形。这样，进行图像类似度的最大化。
在使类似度最大化的过程中，坐标几何变换部1002(图1)取得图像的采样点和这一点处的采样数据。在图14的(A)及(B)中，表示了将该采样点表示为图像上的多个点1401、1402的腹部横截面层的图像。图14的(A)是参照图像。此外，在图14的(B)中示意地表示上述变形过程中的浮动图像中的采样点1402。变形过程中的浮动图像中的采样点及该点处的采样数据在该实施方式中通过使用坐标变换和插补等的运算求出。在图像类似度计算部1003中，将求出的采样点和该采样点处的采样数据用于计算类似度。
图15的(A)及(B)是表示配置有控制栅格1201的腹部横截面层的图像的图。在图15的(A)中，表示与图11的(B)所示的腹部横截面层类似的腹部横截面层。作为在该腹部横截面层中是特征性的点的特征点，作为例示而表示了特征点P2至P5。在该例中，作为特征点P2，将看起来为两根血管交叉的部位作为特征性的部位，提取为特征点，特征点P3至P5分别从内脏的特征性的部位提取为特征点。为了说明通过将控制栅格1201变形而将浮动图像变形，在图15的(A)中表示配置在图像上的控制栅格为正方形的状态的情况。
P2至P5和P2’至P5’是对应的特征点。对应点位置信息15可根据上述对应点对得到。控制栅格变形部16基于上述对应点位置信息15使控制栅格1201变形。图15的(B)的控制栅格1201是变形后的控制栅格。图15的(B)的浮动图像是变形前的图像。如果使用图15的(B)的变形后的控制栅格1201、即被更适当地设定的控制点的初始值使浮动图像变形，则能够实现对位的精度的提高。
在对控制栅格1201实施初始设定后，控制栅格1201也在对位部10(图1)中被变形。此时的变形基于参照图像中的采样数据与从浮动图像提取的对应的采样点处的采样数据的比较来进行。即，将控制栅格1201变形为使参照图像与浮动图像之间的类似度最大化，并将浮动图像变形。
(实施方式2)
<概要>
从参照图像11和浮动图像12的各自中，提取作为对位对象的区域。在提取出的区域中，进行特征点及对应点对的提取。使用对应点对的位置信息，将在对位处理中使用的控制栅格变形。由此，能够对使用图像处理装置的人所关注的区域(关注区域)高速地进行对位。此外，从上述区域提取出的对应点的位置信息还用于对位处理的优化计算。由此，其优化计算能够更正确且高速地收敛。
<结构及动作>
在实施方式2中，使用从作为对位对象的规定的区域提取出的对应点对，使控制栅格变形，将变形后的控制栅格用于对位处理。上述规定的区域由使用图像处理装置的人指定为例如所关注的区域(关注区域)。此外，将在对位处理中使用的图像采样点也从关注区域中提取。进而，提取出的对应点对的位置信息用于图像类似度的计算。由此，能够使关注区域中的对位的精度及鲁棒性进一步提高。以下，以与实施方式1的不同点为中心进行说明。因此，关于与实施方式1相同的构成要素，原则上在实施方式1与本实施方式之间赋予相同的标号，其详细的说明省略。
图6是有关实施方式2的图像处理装置的功能框图。除了在实施方式1中说明的构成要素以外，还在比图像采样部13和特征点检测及对应建立部14更靠前段的位置，追加了执行从参照图像11和浮动图像12的各自中提取关注区域的处理的关注区域提取部19和关注区域提取部20。其他结构与实施方式1是同样的。关注区域提取部19和关注区域提取部20具备的各功能部可以使用实现这些功能的电路设备等硬件构成。此外，也可以通过由CPU等运算装置执行安装了这些功能的程序，构成关注区域提取部19和关注区域提取部20所具备的各功能。
关注区域提取部19和20分别从参照图像11和浮动图像12中提取作为对位对象的区域，例如与内脏或包含在内脏中的管状区域对应的图像区域。作为对象的区域例如由使用图像处理装置的使用者确定。
从参照图像11和浮动图像12各自中提取内脏区域的方法例如可以使用周知的图形切割法。图形切割法是将区域分割问题作为能量最小化来掌握，以在从图像制作的图形中所定义的能量最小的方式，使用将图形切断算法来求出区域边界的方法。除了图形切割法以外，也可以使用区域扩展法(region growing)或阈值处理等方法。
关注区域提取部19和20也可以不是从内脏整体、而是从提取出的内脏区域中提取管状区域。所谓管状区域，例如如果该内脏是肝脏则是相当于血管部分的区域，如果该内脏是肺则是相当于支气管部分的区域。以下，说明将存在肝脏的图像区域作为对位的对象进行处理的例子。即，关注区域提取部19和20从参照图像11和浮动图像12中将各自的肝脏区域分割，进而提取包含有肝脏血管的图像区域。
作为对位对象的区域优选的是使用在解剖学上为特征性的图像数据。在肝脏区域中，作为具有特征性的图像数据的图像区域，可以考虑包括肝脏血管和其周边区域(与血管相邻的肝实质区域)的图像区域。即，关注区域提取部19和20的处理内容不是仅提取肝脏血管区域，而是将肝脏血管和相邻于血管的肝实质区域同时提取。因此，不需要高精度的区域分割等处理。
图7是表示关注区域提取部19和20各自的处理的流程图。以下使用图7说明提取肝脏血管和其相邻区域的处理。
关注区域提取部19和20分别从参照图像11和浮动图像12中提取包括肝脏区域的图像区域(步骤S301)。将提取出的肝脏区域图像的像素值按照下述式(2)变换，以使其包含在规定范围内(步骤S302)。例如进行变换，以使其包含在0～200HU(Hounsfield Unit：CT值的单位)的范围内。这里，式(2)的I(x)和I’(x)分别是变换前和变换后的像素值，Imin和Imax分别是变换范围的最小值例如为0(HU)、和最大值例如为200(HU)。
[数式2]
.....式(2)
接着，对于肝脏区域图像，例如使用高斯滤波器进行平滑化处理(步骤S303)。接着，计算平滑化后的肝脏区域图像的像素值的平均值μ和标准偏差σ(步骤S304)。接着，在步骤S305中，计算分段(segmentation)处理用的阈值。该计算例如使用式(3)计算阈值T。
[数式3]
T＝μ+1.0×σ.....式(3)
使用所取得的阈值T，进行对于表示肝脏区域图像的数据的像素值的阈值处理(步骤S306)。即，将各像素的像素值与阈值T进行比较，提取具有超过阈值T的像素值的像素，提取为成为血管区域的候选的图像区域内的像素。最后，对得到的图像区域，在步骤S307中进行膨胀(dilation)处理和腐蚀(erosion)处理这样的形态学(Morphology)运算处理。通过该运算处理，进行分别孤立的像素的除去或不连续的像素间的连接等处理。通过以上那样的处理，提取作为对位的采样处理及特征点的提取处理的候选区域(对象区域)的肝脏血管区域。从参照图像11和浮动图像12的各自中提取的肝脏血管区域被向图像采样部13(图6)和特征点提取及对应建立部14(图6)输出(步骤S308)。
图8的(A)至(C)是表示有关实施方式2的图像处理装置处理的各图像的例子的图。在图8的(A)中表示人体的腹部截面。即，表示包括肝脏及其以外的内脏的图像。
在图8的(A)中，1101是包括肝脏区域和其以外的内脏区域的输入图像(参照图像11及/或浮动图像12)。在图8的(B)中，1102是从图像1101中提取了肝脏区域的结果的图像。此外，在图8的(C)中，1103是从提取了肝脏区域的图像1102中提取了血管区域的结果的图像。这样，从输入图像中提取关注区域(肝脏区域及/或血管区域)。
图像采样部13从关注区域提取部19取得与内脏区域或管状区域对应的图像区域，实施采样处理。
另一方面，特征点提取及对应建立部14对于从关注区域提取部19和20分别取得的与内脏区域(在该例中是肝脏区域)或/及管状区域对应的图像区域，实施特征点的提取及对应建立处理。结果，生成对应点位置信息15，向控制栅格变形部16和对位部10输出。对应点位置信息15的生成已在实施方式1中详细说明，所以省略。
在实施方式2中，控制栅格变形部16和对位部10各自的处理也原则上与实施方式1相同。但是，相对于实施方式1，在本实施方式中，对应点位置信息15在对位部10内的图像类似度计算部1003中也被使用。即，在实施方式2中，为了使对位处理的精度提高，在参照图像11与浮动图像12之间的图像类似度为最大的优化计算中，也使用从特征点提取及对应建立部14取得的对应点位置信息15。
例如，使作为图像类似度的相互信息量最大化的同时，对于浮动图像12上的特征点，基于对应点位置信息15进行坐标变换，使变换后的坐标与参照图像11上的对应点坐标的几何距离最小化。在上述优化计算中，例如，使式(4)所示的成本函数C(R，F，U(x))最小化。
[数式4]
这里，R、F是参照图像11和浮动图像12，U(x)是通过优化计算得到的各像素的移动量。S(R，F，U(x))表示参照图像11与变换后的浮动图像12之间的图像类似度。此外，P是由特征点提取及对应建立部14得到的特征点的集合。V(x)是由特征点提取及对应建立部14得到的各对应点的移动量。Σx∈P||U(x)－V(x)||2表示在上述特征点的集合中通过优化计算得到的各像素的移动量与由特征点提取及对应建立部14得到的各像素的移动量的几何距离。此外，μ是实验性地决定的权重。
通过使该成本函数C最小化，对位处理的优化计算能够更正确且高速地收敛。这样，通过在最小化的成本函数C的计算中取入关于特征点的位置的信息，将在初始设定中设定的控制栅格也反映到优化计算中，在优化计算的过程中，能够限制从通过初始设定给出的特征点的位置较大地变化。即，通过初始设定决定的特征性的部位(图像中的特征性的部位)在优化计算的过程中也被考虑。
如以上这样，有关实施方式2的图像处理装置从参照图像11和浮动图像12分别提取作为对位对象的关注区域，从这些关注区域进行特征点的提取和对应建立，使用该对应点的位置信息，使对位处理中的控制栅格变形。由此，进行特征点的提取和对应建立的区域被限定，所以能够实现处理的高速化或高精度化。此外，将从上述关注区域提取出的对应点的位置信息还用于对位处理的优化计算。由此，该优化计算能够更正确且高速地收敛。
(实施方式3)
<概要>
将参照图像11、参照图像11中的关注区域、已对位浮动图像18、已对位浮动图像中的关注区域在画面中重叠显示。使用图像处理装置的人(用户)能够一边确认该显示一边编辑。另外，在本说明书中，编辑只要没有特别限定，则还包括追加、修正及删除。
<结构及动作>
在实施方式3中，将对位的结果和关注区域的提取结果在画面中重叠显示。用户从画面中目视确认各结果，将参照图像11和浮动图像12中的对应的界标(特征点)以手动编辑。由此，能够将对位的结果编辑。
除了将对位结果编辑的事项以外，其他结构与上述实施方式1及2是同样的，以下以不同点为中心进行说明。另外，为了记载的方便，以下以对作为实施方式2说明的结构追加了编辑对位结果的功能的结构为例进行说明。当然，对于作为实施方式1说明的结构也同样能够追加。
图9是表示有关实施方式3的图像处理装置的逻辑结构的框图。图9所示的图像处理装置除了在上述实施方式2中说明的结构以外，还具备图像显示部21、界标手动修正及输入部22。另外，在图9中，对位部10被省略了构成它的各构成要素(在图6中是1001至1004)，但应理解为包含这些各构成要素。
对于图像显示部21，供给参照图像11、浮动图像12、对应点位置信息15及已对位浮动图像18。进而，对于图像显示部21，从关注区域提取部19及20供给关于关注区域的信息。图像显示部21按照被供给的参照图像11和已对位浮动图像18，将参照图像11和已对位浮动图像18重叠显示。此时，图像显示部21将提取出的参照图像11中的关注区域改变其颜色而透射性地重叠显示在参照图像11之上。此外，图像显示部21按照被供给的浮动图像12、对应点位置信息15及已对位浮动图像18，使用对位的结果对浮动图像12的关注区域进行坐标变换，在已对位的浮动图像18之上，将关注区域改变颜色而透射性地重叠在浮动图像12上。这些显示可以相互组合来进行。
进而，图像显示部21将参照图像11、其关注区域和关注区域中的特征点透射性地重叠显示。此外，图像显示部21将浮动图像12、其关注区域和关注区域中的特征点透射性地重叠显示。当透射性地重叠显示时，改变颜色而显示。这样，通过将特征点也重叠显示，能够通过目视来确认特征点提取和对应建立的结果。
医生等用户一边观察显示在图像显示部21上的结果，一边检查是否正确地进行了对位处理。在判断为没有正确地执行对位处理的情况下，用户使用界标手动修正及输入部22，例如对判断为不正确的界标以手动进行编辑。作为通过手动编辑的结果而得到的编辑后的对应点位置信息15被向对位部10输出。对位部10使用所取得的编辑后的对应点位置信息15，使已变形的控制栅格进一步变形，将控制点移动量信息1001(图6)更新而向浮动图像变形部17输出，将对位结果修正。
通过手动编辑，对于图16所示的对应点对，例如在参照图像上编辑特征点坐标及/或浮动图像上的特征点坐标。例如，将号码2的对应点对的特征点坐标编辑。编辑后的对应点位置信息15具有这样被编辑的对应点对的信息。
用户在判断为即使实施上述手动修正也没有正确地执行对位处理的情况下，使用通过手动编辑得到的编辑后的对应点位置信息15将对位处理中的控制点的初始位置修正，重新实施与步骤S104～S110(图3)同样的对位处理。
图像显示部21例如使用图2所示的图像生成部47和显示器52等显示设备构成。此外，界标手动修正及输入部22既可以使用实现该功能的电路设备等硬件构成，也可以通过由CPU等运算装置执行安装了该功能的程序来构成各功能。在此情况下，作为用于编辑的手动输入，使用图2所示的输入装置51、输入控制部46。
这样，在实施方式3中，将参照图像11、其关注区域、已对位浮动图像18和已对位浮动图像中的关注区域重叠显示在画面上。由此，用户一边观察其显示结果一边将界标以手动进行编辑，能够将控制点移动量信息1001进行调整并将对位的结果以手动修正。进而，在判断为即使以手动实施编辑也没有正确地执行对位处理的情况下，能够使用通过手动编辑得到的对应点位置信息15将对位处理中的控制点的初始位置修正而再次实施对位处理。
本发明并不限定于上述实施方式，包含各种变形例。上述实施方式1～3是为了将本发明容易理解地说明而详细说明的，并不限定于必定具备所说明的全部结构。此外，也可以将某个实施方式的结构的一部分替换为其他实施方式的结构。此外，也可以对某个实施方式的结构添加其他实施方式的结构。此外，也可以关于各实施方式的结构的一部分追加、删除、置换其他结构。
上述各结构、功能、处理部、处理机构等也可以通过将它们的一部分或全部例如用集成电路设计等来用硬件实现。此外，上述各结构、功能等也可以通过由处理器将实现各个功能的程序解释并执行，而用软件来实现。实现各功能的程序、表、文件等信息可以保存在存储器、硬盘、SSD(Solid State Drive)等的记录装置、IC卡、SD卡、DVD等记录介质中。
标号说明
10 对位部
11 参照图像
12 浮动图像
13 图像采样部
14 特征点检测及对应建立部
15 对应点位置信息
16 控制栅格变形部
17 浮动图像变形部
18 已对位浮动图像

Claims (9)

1.一种图像处理装置，在多个图像之间进行对位，其特征在于，具备：
对位部，对上述多个图像中的作为浮动图像的图像配置控制栅格，通过使控制栅格中的控制点移动，使上述浮动图像变形，并在与上述多个图像中的作为参照图像的图像之间进行对位；
对应点设定部，从上述浮动图像和上述参照图像分别提取相互对应的特征点，从上述浮动图像和上述参照图像分别求出与上述特征点对应的位置；以及
控制栅格变形部，按照与上述特征点对应的位置，使上述控制栅格变形，决定上述控制点的初始位置，
上述对位部在由上述控制栅格变形部将上述控制栅格变形后，使上述控制点移动而使上述浮动图像变形。
2.如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置具备处理器；
上述对位部、上述对应点设定部及上述控制栅格变形部分别通过在上述处理器中执行的程序实现。
3.一种图像处理装置，进行参照图像与浮动图像之间的对位，其特征在于，具备：
对应点设定部，从上述参照图像和上述浮动图像分别提取特征点，从上述参照图像和上述浮动图像中分别搜索与各自的上述特征点对应的点的位置；
控制点设置部，对上述浮动图像设置控制点，以将上述浮动图像变形；
初始位置设定部，使用上述对应的点的位置，设定上述控制点的初始位置；
变换部，通过将上述浮动图像中的控制点的位置移动，使上述浮动图像变形；
采样部，从上述参照图像提取采样点；
提取部，提取与上述参照图像中的采样点对应的、变形后的上述浮动图像中的采样点；
类似度计算部，使用由上述采样部提取的采样点和由上述提取部提取的采样点，计算上述参照图像与变形后的上述浮动图像之间的类似度；以及
优化部，基于上述类似度，计算将在上述变换部中使用的控制点移动的量，
上述变换部通过使上述控制点从由上述初始位置设定部设定的上述初始位置移动，使上述浮动图像变形。
4.如权利要求3所述的图像处理装置，其特征在于，
上述图像处理装置具备区域提取部，该区域提取部在上述参照图像和上述浮动图像中分别提取作为对位对象的区域；
上述对应点设定部从在上述参照图像和上述浮动图像中分别提取的各自的上述区域提取特征点，并从各自的上述区域中搜索与该特征点对应的点的位置；
上述采样部从上述参照图像中的上述区域提取采样点；
上述类似度计算部使用所提取的采样点，计算上述参照图像中的区域与上述浮动图像中的区域之间的类似度。
5.如权利要求4所述的图像处理装置，其特征在于，
由上述区域提取部提取的区域是在上述参照图像和上述浮动图像中具有关注的关注区域。
6.如权利要求3所述的图像处理装置，其特征在于，
上述对应点设定部具备编辑部，该编辑部输入新的对应的点，将从上述参照图像和上述浮动图像中分别搜索出的对应的点进行修正或删除。
7.如权利要求6所述的图像处理装置，其特征在于，
上述变换部使用由上述编辑部编辑后的对应的点将上述控制点的位置移动，使上述浮动图像变形。
8.一种图像处理方法，在参照图像与浮动图像之间进行对位，其特征在于，具备：
对应点设定步骤，从上述参照图像和上述浮动图像分别提取特征点，从上述参照图像和上述浮动图像中分别搜索与各自的上述特征点对应的点的位置；
控制点设置步骤，对上述浮动图像设置控制点，以将上述浮动图像变形；
初始位置设定步骤，使用各自的上述对应的点的位置，设定上述控制点的初始位置；
变换步骤，通过将上述浮动图像中的控制点的位置移动，使上述浮动图像变形；
采样步骤，从上述参照图像提取采样点；
提取步骤，提取与上述参照图像中的采样点对应的、变形后的上述浮动图像中的采样点；
类似度计算步骤，使用上述参照图像中的采样点和变形后的上述浮动图像中的采样点，计算上述参照图像与上述浮动图像之间的类似度；以及
优化步骤，基于上述类似度，计算在上述变换步骤中使用的控制点移动的量，
在上述变换步骤中，通过使上述控制点从在上述初始位置设定步骤中设定的上述初始位置移动，使上述浮动图像变形。
9.如权利要求8所述的图像处理方法，其特征在于，
上述对应点设定步骤、上述控制点设置步骤、上述初始位置设定步骤、上述变换步骤、上述采样步骤、上述提取步骤、上述类似度计算步骤及上述优化步骤通过由设置在数据中心中的服务器执行程序来实现，图像处理的结果发送至与上述服务器连接的客户端终端。
CN201380076740.7A 2013-06-06 2013-06-06 图像处理装置及图像处理方法 Active CN105246409B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/065737 WO2014196069A1 (ja) 2013-06-06 2013-06-06 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN105246409A CN105246409A (zh) 2016-01-13
CN105246409B true CN105246409B (zh) 2018-07-17

Family

ID=52007741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076740.7A Active CN105246409B (zh) 2013-06-06 2013-06-06 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US20160117797A1 (zh)
JP (1) JP6129310B2 (zh)
CN (1) CN105246409B (zh)
WO (1) WO2014196069A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532206B2 (ja) * 2014-10-01 2019-06-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法
JP6528386B2 (ja) * 2014-11-04 2019-06-12 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6641696B2 (ja) * 2015-02-05 2020-02-05 富士通株式会社 画像表示装置、画像表示プログラム及び画像表示方法
US10105117B2 (en) * 2015-02-13 2018-10-23 Biosense Webster (Israel) Ltd. Compensation for heart movement using coronary sinus catheter images
US10043280B2 (en) 2015-10-19 2018-08-07 Shanghai United Imaging Healthcare Co., Ltd. Method and system for image segmentation
US9760983B2 (en) 2015-10-19 2017-09-12 Shanghai United Imaging Healthcare Co., Ltd. System and method for image registration in medical imaging system
CN106611411B (zh) * 2015-10-19 2020-06-26 上海联影医疗科技有限公司 一种医学图像中肋骨分割的方法及医学图像处理装置
JP6905323B2 (ja) * 2016-01-15 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10255675B2 (en) * 2016-01-25 2019-04-09 Toshiba Medical Systems Corporation Medical image processing apparatus and analysis region setting method of texture analysis
JP6961333B2 (ja) * 2016-01-25 2021-11-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP6929689B2 (ja) * 2016-04-26 2021-09-01 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置
CN108171712B (zh) * 2016-12-07 2022-02-11 富士通株式会社 确定图像相似度的方法和装置
CN107689048B (zh) * 2017-09-04 2022-05-31 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
WO2019155724A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 位置合わせ装置、方法およびプログラム
CN110619944A (zh) * 2018-06-19 2019-12-27 佳能医疗系统株式会社 医用图像处理装置及医用图像处理方法
CN110638477B (zh) * 2018-06-26 2023-08-11 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
US11139069B2 (en) 2018-06-26 2021-10-05 Canon Medical Systems Corporation Medical image diagnostic apparatus, image processing apparatus, and registration method
US10991091B2 (en) * 2018-10-30 2021-04-27 Diagnocat Inc. System and method for an automated parsing pipeline for anatomical localization and condition classification
US11464467B2 (en) * 2018-10-30 2022-10-11 Dgnct Llc Automated tooth localization, enumeration, and diagnostic system and method
JP7568426B2 (ja) 2020-05-25 2024-10-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、ｘ線診断装置及びプログラム
CN115393405A (zh) * 2021-05-21 2022-11-25 北京字跳网络技术有限公司 一种图像对齐方法及装置
CN113936008A (zh) * 2021-09-13 2022-01-14 哈尔滨医科大学 一种用于多核素磁共振多尺度图像配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1890689A (zh) * 2003-12-11 2007-01-03 皇家飞利浦电子股份有限公司 弹性的图像配准
CN101925924A (zh) * 2008-01-24 2010-12-22 皇家飞利浦电子股份有限公司 交互式图像分割
CN102136142A (zh) * 2011-03-16 2011-07-27 内蒙古科技大学 基于自适应三角形网格的非刚性医学图像配准方法
CN102393954A (zh) * 2010-07-05 2012-03-28 佳能株式会社 图像处理设备、放射线成像系统和图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932360B2 (ja) * 2003-03-04 2007-06-20 独立行政法人産業技術総合研究所 ランドマーク抽出装置およびランドマーク抽出方法
US7409108B2 (en) * 2003-09-22 2008-08-05 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration of 2D/3D medical images
JP2009520558A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポイント・ベースの適応的弾性画像登録
US8064664B2 (en) * 2006-10-18 2011-11-22 Eigen, Inc. Alignment method for registering medical images
JP5219129B2 (ja) * 2007-03-20 2013-06-26 国立大学法人静岡大学 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム
US8218909B2 (en) * 2007-08-30 2012-07-10 Siemens Aktiengesellschaft System and method for geodesic image matching using edge points interpolation
JP2011019768A (ja) * 2009-07-16 2011-02-03 Kyushu Institute Of Technology 画像処理装置、画像処理方法、及び画像処理プログラム
JP5587614B2 (ja) * 2010-01-13 2014-09-10 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
JP5458413B2 (ja) * 2010-05-14 2014-04-02 株式会社日立製作所 画像処理装置、画像処理方法、及び、画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1890689A (zh) * 2003-12-11 2007-01-03 皇家飞利浦电子股份有限公司 弹性的图像配准
CN101925924A (zh) * 2008-01-24 2010-12-22 皇家飞利浦电子股份有限公司 交互式图像分割
CN102393954A (zh) * 2010-07-05 2012-03-28 佳能株式会社 图像处理设备、放射线成像系统和图像处理方法
CN102136142A (zh) * 2011-03-16 2011-07-27 内蒙古科技大学 基于自适应三角形网格的非刚性医学图像配准方法

Also Published As

Publication number Publication date
WO2014196069A1 (ja) 2014-12-11
US20160117797A1 (en) 2016-04-28
JPWO2014196069A1 (ja) 2017-02-23
JP6129310B2 (ja) 2017-05-17
CN105246409A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105246409B (zh) 图像处理装置及图像处理方法
Ferrante et al. Slice-to-volume medical image registration: A survey
US10610302B2 (en) Liver disease assessment in medical imaging
CN109074639B (zh) 医学成像系统中的图像配准系统和方法
Schnabel et al. Advances and challenges in deformable image registration: from image fusion to complex motion modelling
Peterlik et al. Fast elastic registration of soft tissues under large deformations
Reinertsen et al. Validation of vessel-based registration for correction of brain shift
KR101711358B1 (ko) 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
AU2007221876B2 (en) Registration of images of an organ using anatomical features outside the organ
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
Hu et al. Reconstruction of a 3D surface from video that is robust to missing data and outliers: Application to minimally invasive surgery using stereo and mono endoscopes
Özgür et al. Preoperative liver registration for augmented monocular laparoscopy using backward–forward biomechanical simulation
Cifor et al. Smoothness-guided 3-D reconstruction of 2-D histological images
CA2670261A1 (en) Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
Ma et al. Segmentation of female pelvic organs in axial magnetic resonance images using coupled geometric deformable models
Ma et al. An integrated platform for image-guided cardiac resynchronization therapy
Fernandez-de-Manuel et al. Organ-focused mutual information for nonrigid multimodal registration of liver CT and Gd–EOB–DTPA-enhanced MRI
Toth et al. 3D/2D Registration with superabundant vessel reconstruction for cardiac resynchronization therapy
JP5925576B2 (ja) 画像処理装置、画像処理方法
Hu et al. Deformable vessel-based registration using landmark-guided coherent point drift
WO2011041475A1 (en) Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods
Xu et al. A novel one-to-multiple unsupervised domain adaptation framework for abdominal organ segmentation
Ma et al. Echocardiography to magnetic resonance image registration for use in image-guided cardiac catheterization procedures
Wang et al. 3D Shape‐Weighted Level Set Method for Breast MRI 3D Tumor Segmentation
CN111566699A (zh) 静态流程前规划数据到动态流程内分割数据的配准

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant