CN101772784B - 解剖结构约束的图像配准 - Google Patents
解剖结构约束的图像配准 Download PDFInfo
- Publication number
- CN101772784B CN101772784B CN2008801016067A CN200880101606A CN101772784B CN 101772784 B CN101772784 B CN 101772784B CN 2008801016067 A CN2008801016067 A CN 2008801016067A CN 200880101606 A CN200880101606 A CN 200880101606A CN 101772784 B CN101772784 B CN 101772784B
- Authority
- CN
- China
- Prior art keywords
- image
- atlas
- transformation
- area
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 claims abstract description 113
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 26
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000001131 transforming effect Effects 0.000 abstract 3
- 238000011524 similarity measure Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006386 neutralization reaction Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000228740 Procrustes Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种用于使来自多维图像图集的图集图像与目标图像配准的系统(100)，所述系统包括：生成单元(105)，其生成用于变换所述图集图像的第一区域的候选变换；变换单元(110)，其用于利用所述候选变换来变换所述图集图像的所述第一区域；相似性单元(120)，用于计算所述图集图像的经变换的第一区域和所述目标图像的对应的第一区域之间的相似性度量；评估单元(130)，其利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估来确定最优变换；扩展单元(140)，其将所述图集图像的所述第一区域的最优变换扩展到所述图集图像的第二区域，其中所述第二区域包括所述第一区域，从而创建配准变换；和配准单元(150)，其利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。有利的是，系统(100)不需要在目标图像中设置界标位置。系统(100)的另一优势在于由于相似性是在本地计算的，即基于图集图像的第一区域计算的，因此配准快速从而对临床应用具有吸引力。
Description
技术领域
本发明涉及图像配准领域，更具体地涉及图集图像与临床图像的配准。
背景技术
对于许多临床应用来说，可变形图像配准是关键技术，例如，当需要对病人解剖结构中的变化监测一段时间或者当需要比较病人解剖结构和解剖结构图集时。所有当前已知的可变形配准方法都有某些限制。J.B.AntoineMetz和Max A.Viergever在名为“A survey of medical image registration”Medical Image Analysis，Vol.2(1998)第1-37页的文章中给出了图像配准方法的概述。特别是基于标准界标的配准技术需要在配准的图像中明确的一对一界标对应。界标的手动设置是一个复杂和冗长的过程，尤其在三维(3D)数据的设置中。另一方面，自动界标设置方法大部分是特定应用的，并且其设计通常需要相当大的工作强度。可替换地，基于强度的可变形配准方法需要待配准的图像中的强度恒定这一强假设。而这些假设常常被违背。
发明内容
获得一种能够使目标图像和图集图像配准而不需要明确的界标设置的系统是有利的。
为了更好解决这一问题，在本发明的一方面中，提供了一种用于使来自多维图像图集的图集图像与目标图像配准的系统，该系统包括：
-生成单元，其用于生成用于变换所述图集图像的第一区域的候选变换；
-变换单元，其用于利用所述候选变换来变换所述图集图像的所述第一区域；
-相似性单元，其用于计算图集图像的经变换的第一区域和所述目标图像的对应的第一区域之间的相似性度量；
-评估单元，其利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估来确定最优变换；
-扩展单元，其将所述图集图像的所述第一区域的最优变换扩展到所述图集图像的第二区域，其中所述第二区域包括所述第一区域，从而创建配准变换；以及
-配准单元，其利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。
一般以如下方式限定所述第一区域：其包括相对容易与对应的多维图像特征匹配的图集图像特征。当图集图像的经变换的第一区域与目标图像的对应的第一区域的相似性度量满足评估标准时，例如，当该相似性度量基本是用于计算相似性度量的相似性函数的最大值时，候选变换就成为最优变换。第一区域的所述最优变换现在可以被扩展到第二区域，例如，扩展到图集图像的面积或体积。配准单元使用所述最优变换的这种扩展(即所述配准变换)来使所述图集图像与所述目标图像配准。有利的是，该系统不需要在所述目标图像中设置界标位置。该系统的另一优势是由于相似性度量是在本地计算的，即在所述图集图像的第一区域中计算，所以配准快速且因此对于临床应用更具吸引力。
在该系统的一实施例中，所述第一区域包括多个界标。所述界标是在目标图像中容易识别的图集图像特征。
在该系统的一实施例中，基于多个训练图像计算所述图集图像，来自所述多个训练图像中的每个训练图像均包括所述多个界标。例如，可以通过以下步骤来计算所述图集图像：基于所述多个训练图像中的界标位置确定所述图集图像中的图集界标位置；使所述图集图像中的界标位置和所述多个训练图像配准；以及计算经配准的多个训练图像的平均值，从而计算出所述图集图像。有利的是，这种图集图像通常在界标周围是清晰的，因此具有良好限定的图集图像特征，尽管如此它远离界标时可能是模糊的。所述图集图像的所述第一区域可以是小而清晰的界标邻域的联合，每个邻域包括多个特征中的一个特征。
在该系统的一实施例中，所述图集图像的所述候选变换是基于由基本变换域限定的候选变换域生成的，其中每个基本变换域是根据在多个训练图像的训练图像中包含的界标相对于所述图集界标位置的位移来得到的。这种基本变换域获取特征位置的典型变化。
在该系统的一实施例中，每个基本变换域都基于对来自多个训练图像的所述训练图像中包含的界标相对于所述图集图像的位移的主成分分析。利用基于主要分析的基本变换能够获取位移的特征模态。
在该系统的一实施例中，该系统还包括图集单元，其用于构建多维图像图集。图集可包括图集图像数据和基本变换域。这允许用户建立用户化的系统以满足用户需求。
在该发明的另一方面中，将根据本发明的系统包括在图像采集装置中。
在该发明的另一方面中，根据本发明的系统被包括在工作站中。
在该发明的另一方面中，提供了一种使来自多维图像图集的图集图像与目标图像配准的方法，该方法包括：
-生成步骤，用于生成用于变换所述图集图像的第一区域的候选变换；
-变换步骤，用于利用所述候选变换来变换所述图集图像的所述第一区域；
-相似性步骤，用于计算图集图像的经变换的第一区域和所述目标图像的对应的第一区域之间的相似性度量；
-评估步骤，用于利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估确定最优变换；
-扩展步骤，用于将所述图集图像的所述第一区域的最优变换扩展到所述图集图像的第二区域，其中所述第二区域包括所述第一区域，从而创建配准变换；以及
-配准步骤，用于利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。
在本发明的另一方面中，提供了要被计算机布置加载的计算机程序产品，该计算机程序产品包括用于使来自多维图像图集的图集图像与目标图像配准的指令，该计算机布置包括处理单元和存储器，该计算机程序产品在被加载后，为所述处理单元提供执行以下任务的能力：
-生成用于变换所述图集图像的第一区域的候选变换；
-利用所述候选变换来变换所述图集图像的所述第一区域；
-计算图集图像的经变换的第一区域与所述目标图像的对应的第一区域之间的相似性度量；
-利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估确定最优变换；
-将所述图集图像的所述第一区域的最优变换扩展到所述图集图像的第二区域，其中所述第二区域包括所述第一区域，从而创建配准变换；以及
-利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。
本领域技术人员将意识到，本发明的上述实施例、实现方式和/或各方面中的两个或更多可以任何有用的方式进行组合。
与描述的该系统的修改和变化相对应的图像采集装置、工作站、方法和/或计算机程序产品的修改和变化可由本领域技术人员基于本说明书实施。
本领域技术人员将意识到，该方法可被应用于由各种采集模态获取的多维图像数据，例如二维、三维或四维图像，其中各种采集模态诸如但不限于标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声成像(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学成像(NM)。
附图说明
本发明的这些和其他方面通过结合下文描述的实现方式和实施例以及参考附图会变得明显并且得到阐述，其中：
图1示意性示出了该系统的示例性实施例的框图；
图2示出了可以在一个示例性图集图像中和三个示例性目标图像中的界标位置；
图3示出了该方法的示例性实现方式的流程图；
图4示意性示出了图像采集装置的示例性实施例；以及
图5示意性示出了工作站的示例性实施例。
相同的附图标记用于表示所有附图中的相似部分。
具体实施方式
图1示意性示出了系统100的示例性实施例的框图，系统100用于使来自多维图像图集的图集图像与目标图像配准，该系统包括：
-生成单元105，其用于生成用于变换图集图像的第一区域的候选变换；
-变换单元110，其用于利用该候选变换来变换该图集图像的第一区域；
-相似性单元120，其用于计算图集图像的经变换的第一区域和该目标图像的对应的的第一区域之间的相似性度量；
-评估单元130，其利用基于所计算的相似性度量的标准来评估该候选变换并且基于对该候选变换的评估确定最优变换；
-扩展单元140，其将该图集图像的第一区域的最优变换扩展到该图集图像的第二区域；其中该第二区域包括该第一区域，从而创建配准变换；以及
-配准单元150，其利用该配准变换来变换该第二区域，从而使该图集图像与该目标图像配准。
系统100的示例性实施例还包括下列单元：
-图集单元155，其用于构建多维图像图集；
-控制单元160，其用于控制系统100内的工作流程；
-用户接口165，其用于与系统100的用户进行通信；以及
-存储器单元170，其用于存储数据。
在系统100的一实施例中，存在用于引入数据的三个输入连接器181、182和183。将第一输入连接器181布置为接收来自数据存储装置的数据，该数据存储装置诸如但不限于硬盘、磁带、闪存或光盘。将第二输入连接器182布置为接收来自诸如但不限于鼠标或触摸屏的用户输入设备的数据。将第三输入连接器183布置为接收来自诸如键盘的用户输入设备的数据。将输入连接器181、182和183连接到输入控制单元180。
在系统100的一实施例中，存在用于引出数据的两个输出连接器191和192。将第一输出连接器191布置为将数据输出到数据存储装置，诸如硬盘、磁带、闪存或光盘。将第二输出连接器192布置为将数据输出到显示设备。输出连接器191和192经由输出控制单元190接收相应的数据。
本领域技术人员将理解，存在多种方式将输入设备连接到系统100的输入连接器181、182和183以及存在多种方式将输出设备连接到系统100的输出连接器191和192。这些方式包括但不限于有线连接和无线连接、诸如但不限于局域网(LAN)和广域网(WAN)的数字网络、因特网、数字电话网络和模拟电话网络。
在系统100的一实施例中，该系统100包括存储器单元170。将该系统100布置为经由输入连接器181、182和183中的任一个接收来自外部设备的输入数据，并且将所接收的输入数据存储在该存储器单元170中。将输入数据加载到存储器单元170中允许系统100的各单元快速访问相关数据部分。例如，输入数据可包括目标图像数据。存储器单元170可由以下设备实现，诸如但不限于，随机存储器(RAM)芯片、只读存储器(ROM)芯片和/或硬盘驱动器和硬盘。还可将存储器单元170布置为存储输出数据。例如，输出数据可包括与目标图像配准的图集图像。也可将存储器单元170布置为经由存储器总线175从系统100的各单元接收数据和将数据传递到系统100的各单元，其中系统100包括生成单元105、变换单元110、相似性单元120、评估单元130、扩展单元140、配准单元150、控制单元160和用户接口165。还将存储器单元170布置为经由输出连接器191和192中任一个使输出数据能够用于外部设备。将来自系统100的各单元的数据存储在存储器单元170中可有利地改善系统100的各单元的性能并且有利地改善将输出数据从系统100的各单元传输到外部设备的传输速率。
可替代地，系统100可不包括存储器单元170和存储器总线175。系统100所用的输入数据可以通过至少一个外部设备提供，诸如连接到系统100的各单元的外部存储器或处理器。同样，系统100产生的输出数据可被供应到至少一个外部设备，诸如连接到系统100的各单元的外部存储器或处理器。可将系统100的各单元布置为经由内部连接或经由数据总线接收彼此的数据。
在系统100的一实施例中，系统100包括用于控制系统100内的工作流程的控制单元160。可将控制单元布置为从系统100的各单元接收控制数据并且将控制数据提供给系统100的各单元。例如，在生成候选变换后，可将生成单元105布置为将控制数据“生成了候选变换”传给控制单元160，并且将控制单元160布置为将控制数据“变换第一区域”提供给变换单元110，从而请求变换单元110变换第一区域。可替代地，控制功能可以在系统100的另一单元中实现。
在系统100的一实施例中，系统100包括用于与系统100的用户进行通信的用户接口165。可将用户接口165布置为获得用户输入，例如显示根据经配准的图集图像计算得出的视图的请求。本领域技术人员将理解更多功能可有利地在系统100的用户接口165中实现。
在系统100的一实施例中，图集图像包括多个界标。通过在图集图像中出现的结构中设置界标，可手动或自动地标注图集图像。例如，可以在描绘脊柱的图集图像中标记诸如椎间盘的突出结构。在描绘心脏的图集图像中的界标示例包括但不限于主心动脉的节段和分支点以及心尖。图集图像的第一区域通常由界标的分布来确定。例如，第一区域可以是界标的邻域(例如球形邻域)的联合。
在系统100的一实施例中，图集图像是基于多个训练图像构建的。通过在训练图像中出现的结构中设置界标，可以手动或自动标注每个训练图像。在系统100的一实施例中，通过采用例如普鲁克分析(Procrustes analysis)而对训练图像进行按比例调节并且对准。普鲁克分析在I.L.Dryden和K.V.Mardia的名为“Statistical Shape Analysis”，John Wiley & Sons；Chichester，UK，1998一书中有描述。基于多个训练图像中的界标位置计算每个界标的平均位置。基于平均界标位置将训练图像带入到共同参考。例如，通过使用由训练图像中的界标位置相对于平均界标位置的位移域限定的变换来变换每个训练图像。训练图像的变换可以通过采用位移域的薄板插值被限定。采用稀疏矢量场的薄板样条插值构建矢量场被描述在F.L.Bookstein的名为“Principal warps：Thin-plate splines and the decomposition of deformations”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.11，第567-585页，1989的文章中，其在下文被作为参考文件1引用。经变换的训练图像的均值限定了图集图像。如上述构建的图集图像的强度值可保证很好地描绘界标附近的图像特征。在其他区域中，图像特征可能是模糊的。
将生成单元105布置为生成用于变换图集图像的第一区域的候选变换。本领域技术人员会意识到生成单元可采用各种变换，包括刚性变换、仿射变换、分段仿射变换和弹性变换。
在系统100的一实施例中，基于由基本变换域限定的候选变换域来生成图集图像的候选变换域，其中每个基本变换域根据在多个训练图像中的某一训练图像中包含的界标相对于图集图像中的界标位置的位移得出。采用对在多个训练图像中的一些训练图像中包含的界标相对于图集界标位置的位移的主成分分析，计算出基本变换域。采用主成分分析描述界标位置的可变性被描述在例如Cristian Lorenz和Nils
的“Generation ofpoint-based 3D statistical shape models for anatomical objects”，ComputerVision and Image Understanding 77(2)，2000，第175-191页的文章中。
在系统100的一实施例中，候选变换是基本变换域的线性组合。将变换单元110布置为采用候选变换来变换图集图像的第一区域。将相似性单元120布置为计算图集图像的经变换的第一区域和目标图像的对应第一区域的相似性度量。目标图像的对应的第一区域是其面积或体积由图集图像的经变换的第一区域限定的目标图像区域，并且是其灰度值由目标图像的灰度值限定的目标图像区域。相似性度量可基于对经变换的图集图像与目标图像进行模板匹配，或者对经变换的图集图像的体素与目标图像的体素进行匹配而实现，其中体素是在目标图像的第一区域(例如在每个界标周围)中随机选择。在下文中术语体积是指多维体积，例如2维(即面积)、3维或4维体积。同样，术语体素是指多维体素，例如2维(即像素)、3维或4维体素。图集图像的经变换的第一区域与目标图像的对应的第一区域的相似性度量取决于候选变换，例如取决于基本域的线性组合的系数。将评估单元130布置为采用基于所计算的相似性度量的标准来评估候选变换并且基于对候选变换的评估确定最优变换。该标准可以是相似性度量等于或大于预定的、系统确定的或用户确定的阈值。另一标准可以是相似性度量为参数空间的最大值，例如在基本域的线性组合的系数空间中的最大值。
如果候选变换满足该标准，则可成为最优变换并且将扩展单元140布置为将图集图像的第一区域的最优变化扩展到图集图像的第二区域，其中第二区域包括第一区域，从而创建配准变换。扩展可以基于由基本变换域的线性组合限定的候选变换域的薄板插值，如参考文件1中所描述。第二区域可包括图集图像的整个体积。将配准单元150布置为采用配准变换来变换第二区域，从而将图集图像与目标图像配准。
如果候选变换不满足该标准，则将生成单元105布置为生成另一候选转换，用以由评估单元130基于相似性单元120计算的相似性度量进行评估。生成单元105可接收来自评估单元的输入，从而生成候选变换。本领域技术人员将理解可以有许多可能的系统100的实施例。可生成单元105、变换单元110、相似性单元120和评估单元130布置为实现用于最优化候选变换的算法，即找出最优变换的算法。这种算法包括但不限于最陡上升或下降路径算法、共轭梯度算法、随机查找算法和单纯形法算法。
图2示出了在脊柱的一个示例性图集图像中和三个示例性目标图片中的示例性界标位置。图像201示出了脊柱的示例性图集图像。黑点指示了示例性图集图像中的界标位置。图像211、212和213示出了带有由系统100计算的界标位置的脊柱的三个目标图像。界标位置由沿脊柱的白点表示。图像221、222和223示出了带有由医学专家手动确定的界标位置的三个相同目标图像。界标位置由沿脊柱的白点表示。图像对211和221、212和222、213和223的对比图示说明了示例性图集图像201与目标图像的配准能够产生满意效果。
在系统100的一实施例中，系统100用于解剖结构图集与三维监视图像的配准以实现自动图像采集规划。
本领域技术人员将进一步理解，本文描述的系统100可以是在医师工作的很多方面辅助医师的有价值的工具。
本领域技术人员将进一步理解，系统100的其他实施例也是可能的。除此之外，重新限定系统的各单元以及重新分配其各自的功能也是可能的。虽然描述的实施例应用于医学图像，但是医学领域之外系统的其他应用也是可能的。
系统100的各单元可通过使用处理器实现。通常，各单元的功能在软件程序产品的控制下执行。在执行过程中，软件程序产品通常被加载到如RAM的存储器，并从此处执行。程序可从诸如ROM、硬盘或磁存储和/或光存储的背景存储器加载，或者可以经由如因特网的网络被加载。任选地，专用集成电路可提供所述的功能性。
图3示出了使来自多维图像图集的图集图像与目标图像配准的方法300的示例性实现方式的流程图。方法300开始于生成步骤305，用以生成变换图集图像的第一区域的候选变换。在生成步骤305之后，方法300继续进行到变换步骤310，用以采用候选变换来变换图集图像的第一区域。变换步骤310之后，方法300继续进行到相似性步骤320，用于计算图集图像的经变换的第一区域和目标图像的对应的第一区域的相似性度量。相似性步骤320之后，方法300继续进行到评估步骤330，用以采用基于所计算的相似性度量的标准来评估候选变换并且基于对候选变换的评估确定最优变换。在评估步骤330后，方法300继续进行到扩展步骤340，用以将图集图像的第一区域的最优变换扩展到图集图像的第二区域，其中第二区域包括第一区域，从而创建配准变换，或者根据候选变换的评估结果继续进行到生成步骤305。如果基于所计算的相似性度量的标准符合要求，则方法300继续进行到生成步骤305。否则方法继续进行到扩展步骤340。在扩展步骤340之后，方法继续进行到配准步骤350，用以采用配准变换来变换第二区域，从而使图集图像与目标图像配准。在配准步骤350后，方法结束。
本领域技术人员可改变一些步骤的顺序或者通过使用线程模型、多处理器系统或多处理器同时执行一些步骤，而不会偏离本发明所要保护的概念。任选地，可以将本发明的方法400的两个或更多步骤组合为一个步骤。任选地，可将本发明的方法400的一个步骤拆分为多个步骤。
图4示意性示出了采用系统100的图像采集装置400的示例性实施例，所述图像采集装置400包括经由内部连接与系统100连接的CT图像采集单元410、输入连接器401和输出连接器402。这样的布置有利地增加了图像采集装置400的性能，为图像采集装置400提供了系统100的有利性能。
图5示意性示出了工作站500的示例性实施例。工作站包括系统总线501。处理器510、存储器520、磁盘输入/输出(I/O)适配器530和用户接口(UI)540被可操作地连接到系统总线501。将磁盘存储设备531可操作地耦连到磁盘I/O适配器530。将键盘541、鼠标542和显示器543可操作地耦连到UI 540。将以计算机程序实现的本发明的系统100存储在磁盘存储设备531中。将工作站500布置为将程序和输入数据加载到存储器520并且在处理器510执行程序。用户可以使用键盘541和/或鼠标542将信息输入到工作站500。将工作站布置为将信息输出到显示设备543和/或磁盘531。本领域技术人员将理解存在本领域公知的工作站500的许多其他实施例，本实施例出于说明本发明的目的，不应被解释为将本发明限制在这个特定实施例。
应注意到，上述实施例说明而不是限制本发明，本领域技术人员将能够设计可替代实施例而不偏离权利要求的保护范围。在权利要求中，括号内的任何附图标记不应视为限制权利要求。词语“包括”并不排除没有列举在权利要求或说明书中的元件或方法。元件前面的词语“一”或“一个”不排除存在多个这样的元件。本发明可通过包含若干不同元件的硬件的方式和编程的计算机的方式实现。在列举若干单元的系统权利要求中，若干个这些单元可以通过一个和相同条目的硬件或软件来实现。词语第一、第二和第三等的使用不表示任何顺序。这些词语应解释为指代名称。
Claims (9)
1.一种用于使来自多维图像图集的图集图像与目标图像配准的系统(100)，所述系统包括：
-生成单元(105)，其用于生成用于变换所述图集图像的第一区域的候选变换；
-变换单元(110)，其用于利用所述候选变换来变换所述图集图像的所述第一区域；
-相似性单元(120)，其用于计算所述图集图像的经变换的第一区域和所述目标图像的对应的第一区域之间的相似性度量；
-评估单元(130)，其利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估确定最优变换；
-扩展单元(140)，其将所述图集图像的所述第一区域的所述最优变换扩展到所述图集图像的第二区域，其中，所述第二区域包括所述第一区域，从而创建配准变换；以及
-配准单元(150)，其用于利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。
2.根据权利要求1所述的系统(100)，其中，所述第一区域包括多个界标。
3.根据权利要求2所述的系统(100)，其中，基于多个训练图像计算所述图集图像，来自所述多个训练图像的每个训练图像均包括所述多个界标。
4.根据权利要求3所述的系统(100)，其中，基于由基本变换域定义的候选变换域生成所述图集图像的所述候选变换，其中，每个基本变换域是根据来自所述多个训练图像的训练图像中包含的界标相对于所述图集图像中的界标位置的位移得出的。
5.根据权利要求4所述的系统(100)，其中，基于对来自所述多个训练图像的所述训练图像中包含的界标相对于图集界标位置的位移的主成分分析，来计算所述每个基本变换域。
6.根据权利要求5所述的系统(100)，还包括用于构建所述多维图像图集的图集单元(155)。
7.一种图像采集装置(400)，其包括如权利要求1所述的系统(100)。
8.一种工作站(500)，其包括如权利要求1所述的系统(100)。
9.一种使来自多维图像图集的图集图像与目标图像配准的方法(300)，所述方法包括：
-生成步骤(305)，其用于生成用于变换所述图集图像的第一区域的候选变换；
-变换步骤(310)，其用于利用所述候选变换来变换所述图集图像的所述第一区域；
-相似性步骤(320)，其用于计算所述图集图像的经变换的第一区域和所述目标图像的对应的第一区域之间的相似性度量；
-评估步骤(330)，其用于利用基于所计算的相似性度量的标准来评估所述候选变换并且基于对所述候选变换的评估确定最优变换；
-扩展步骤(340)，其用于将所述图集图像的所述第一区域的所述最优变换扩展到所述图集图像的第二区域，其中，所述第二区域包括所述第一区域，从而创建配准变换；以及
-配准步骤(350)，其用于利用所述配准变换来变换所述第二区域，从而使所述图集图像与所述目标图像配准。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP07113764 | 2007-08-03 | ||
| EP07113764.0 | 2007-08-03 | ||
| PCT/IB2008/053042 WO2009019630A2 (en) | 2007-08-03 | 2008-07-29 | Anatomically constrained image registration |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101772784A CN101772784A (zh) | 2010-07-07 |
| CN101772784B true CN101772784B (zh) | 2012-07-18 |
Family
ID=40341839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008801016067A Active CN101772784B (zh) | 2007-08-03 | 2008-07-29 | 解剖结构约束的图像配准 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20100272330A1 (zh) |
| EP (1) | EP2186058B1 (zh) |
| CN (1) | CN101772784B (zh) |
| WO (1) | WO2009019630A2 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL179582A0 (en) * | 2006-11-26 | 2007-05-15 | Algotec Systems Ltd | Comparison workflow automation by registration |
| DE102011076233B4 (de) * | 2011-02-09 | 2013-04-18 | Siemens Aktiengesellschaft | Verfahren und Computersystem zur Erkennung einer statistisch relevanten Normvariante der Gefaßstruktur eines Patienten mit Hilfe tomographischer Bilddatensatze |
| US8761543B2 (en) * | 2011-08-30 | 2014-06-24 | Microsoft Corporation | Image processing using bounds adjustment |
| US9336457B2 (en) * | 2012-12-06 | 2016-05-10 | Siemens Medical Solutions Usa, Inc. | Adaptive anatomical region prediction |
| US9256965B2 (en) * | 2013-01-30 | 2016-02-09 | Impac Medical Systems, Inc. | Method and apparatus for generating a derived image using images of different types |
| EP3111373B1 (en) * | 2014-02-27 | 2020-04-08 | Koninklijke Philips N.V. | Unsupervised training for an atlas-based registration |
| JP6510150B1 (ja) * | 2016-05-04 | 2019-05-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 医療アトラス登録 |
| CN110709943B (zh) * | 2017-06-16 | 2023-11-28 | 珀金埃尔默细胞科技德国公司 | 使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法 |
| JP7211725B2 (ja) * | 2018-07-09 | 2023-01-24 | 富士フイルムヘルスケア株式会社 | 自動位置決め機能付き磁気共鳴イメージング装置、磁気共鳴イメージング装置の制御方法、及び、撮像断面自動設定用プログラム |
| US10929714B2 (en) | 2018-11-19 | 2021-02-23 | Ford Global Technologies, Llc | High-throughput automated annotation of visual data for training neural networks used for landmark detection |
| US11308610B2 (en) * | 2019-12-11 | 2022-04-19 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for machine learning based automatic bullseye plot generation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1426021A (zh) * | 2002-12-19 | 2003-06-25 | 上海交通大学 | 遥感图像的非线性配准方法 |
| CN1545061A (zh) * | 2003-11-20 | 2004-11-10 | 上海交通大学 | 刚体变换下基于轮廓的多源图像配准方法 |
| CN1890693A (zh) * | 2003-12-08 | 2007-01-03 | 皇家飞利浦电子股份有限公司 | 基于点的自适应弹性图像配准 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6792071B2 (en) * | 2002-03-27 | 2004-09-14 | Agfa-Gevaert | Method of performing geometric measurements on digital radiological images |
| EP1502237A2 (en) * | 2002-04-03 | 2005-02-02 | Segami S.A.R.L. | Image registration process |
| JP4787171B2 (ja) * | 2003-12-11 | 2011-10-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 弾力的な画像位置合わせ |
| WO2006134565A2 (en) * | 2005-06-15 | 2006-12-21 | Koninklijke Philips Electronics N.V. | Method of model-based elastic image registration for comparing a first and a second image |
| US7680312B2 (en) * | 2005-07-13 | 2010-03-16 | Siemens Medical Solutions Usa, Inc. | Method for knowledge based image segmentation using shape models |
| US7876938B2 (en) * | 2005-10-06 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | System and method for whole body landmark detection, segmentation and change quantification in digital images |
| WO2008022210A2 (en) * | 2006-08-15 | 2008-02-21 | The Board Of Regents Of The University Of Texas System | Methods, compositions and systems for analyzing imaging data |
| US7778488B2 (en) * | 2007-03-23 | 2010-08-17 | Varian Medical Systems International Ag | Image deformation using multiple image regions |
-
2008
- 2008-07-29 US US12/671,519 patent/US20100272330A1/en not_active Abandoned
- 2008-07-29 CN CN2008801016067A patent/CN101772784B/zh active Active
- 2008-07-29 WO PCT/IB2008/053042 patent/WO2009019630A2/en active Application Filing
- 2008-07-29 EP EP08789483.8A patent/EP2186058B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1426021A (zh) * | 2002-12-19 | 2003-06-25 | 上海交通大学 | 遥感图像的非线性配准方法 |
| CN1545061A (zh) * | 2003-11-20 | 2004-11-10 | 上海交通大学 | 刚体变换下基于轮廓的多源图像配准方法 |
| CN1890693A (zh) * | 2003-12-08 | 2007-01-03 | 皇家飞利浦电子股份有限公司 | 基于点的自适应弹性图像配准 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2186058A2 (en) | 2010-05-19 |
| WO2009019630A3 (en) | 2009-08-13 |
| US20100272330A1 (en) | 2010-10-28 |
| EP2186058B1 (en) | 2017-04-26 |
| CN101772784A (zh) | 2010-07-07 |
| WO2009019630A2 (en) | 2009-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101772784B (zh) | 解剖结构约束的图像配准 | |
| CN110047056B (zh) | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 | |
| US10275879B2 (en) | System and method for image registration in medical imaging system | |
| US8639060B2 (en) | System and method for image based multiple-modality cardiac image alignment | |
| Van Ginneken et al. | Segmentation of anatomical structures in chest radiographs using supervised methods: a comparative study on a public database | |
| US11144785B2 (en) | Method and system for processing a task with robustness to missing input information | |
| US9760983B2 (en) | System and method for image registration in medical imaging system | |
| US8837771B2 (en) | Method and system for joint multi-organ segmentation in medical image data using local and global context | |
| US9218542B2 (en) | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy | |
| US8363918B2 (en) | Method and system for anatomic landmark detection using constrained marginal space learning and geometric inference | |
| US8135189B2 (en) | System and method for organ segmentation using surface patch classification in 2D and 3D images | |
| EP3444781B1 (en) | Image processing apparatus and image processing method | |
| US20060093240A1 (en) | Image registration using minimum entropic graphs | |
| US9542741B2 (en) | Method and system for automatic pelvis unfolding from 3D computed tomography images | |
| US20150317788A1 (en) | Method for Registering Deformable Images Using Random Markov Fields | |
| CN102934128A (zh) | 放射摄影图像中的恶性肿块检测和分级 | |
| Wirth et al. | Nonrigid mammogram registration using mutual information | |
| Ciecholewski | Automatic liver segmentation from 2D CT images using an approximate contour model | |
| Sreeja et al. | Image fusion through deep convolutional neural network | |
| Rueckert et al. | Registration and segmentation in medical imaging | |
| JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| US9390549B2 (en) | Shape data generation method and apparatus | |
| Rautela et al. | Dual-modality synthetic mammogram construction for breast lesion detection using U-DARTS | |
| Ručka et al. | Fast reconstruction of image deformation field using radial basis function | |
| Gibney | An Optical Flow Based Approach to Validating Dynamic Structural Finite Element Models of Biological Organs Using 4D Medical Images-the Aortic Valve as an Example |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |