CN1408102A - 图像自动重合/对齐的系统和方法 - Google Patents

Abstract

本发明描述一种用于自动重合三维(“3D”)图像数据体的系统和方法。依据该系统和方法，这样实现对齐：同时在GUI上显示至少，但最好，二个3D的图像数据体，其中一个3D图像数据体保持不变而另一个数据体可以定标、转动和平移，从而对齐同调的解剖特征。该系统和方法会同时显示感兴趣区域的轴向、弧矢、冠平面图。这些平面图是为系统用户设计和配置的数据体，以便把一个体“拉到”或“定位到”一个平面图中的新位置上并且同时在无明显滞后情况下更新另二个平面图中显示的数据体。该系统和方法还包括基于互信息(MI)最大化的自动对齐计算。该系统和方法比现有图像对齐方法更有效和更快地对齐3D。

Description

图像自动重合/对齐的系统和方法

技术领域：

本发明涉及对齐图像数据体(Volume)的系统和方法。更具体地说，本发明涉及对齐三维图像数据体。

背景技术：

在医疗领域中，常常必须利用大量模态(modality)来观察处置者的内部组织。这些模态包括X射线成像、磁共振成像(“MRI”)和计算机体层摄影(“CT”)。还存在其它模态例如磁共振功能性成像(“fMRI”)、单光发射计算机断层扫描(“SPECT”)和正电子发射计算机断层显像(“PET”)，所有这些照片都含有描述活组织的生理信息或代谢信息。

已经知道每种模态产生的图像具有一定的优点和缺点。例如，X射线照相(“X射线”)成像具有高空间高密度分辨率，高细节地示出骨解剖结构并且使用上相对便宜；但是X射线对观看者展示解剖结构重叠的复杂二维(“2D”)视图。X射线照像在处理软组织特征方面也遇到困难。MRI具有以高对比高空间分辨率显示软组织的三维(“3D”)图像的优点，但不能很好地对骨头成像。尽管MRI是观察软组织的优选模态，但基于X射线吸收的CT成像产生骨解剖结构的3D照片并且日益获得对软组织的清晰定界。不过，如果选择并且对齐正确的模态，所得到的组合图像数据会更完整地表达患者的内剖解剖结构。由此，问题就是要发现一种能在合理时间内非常准确地对齐来自二种模态的图像数据的系统和方法。

至少从二次大战起就开始使用作为图像重合科学中的一部分的图像对齐，当时利用时间历程(time course)航摄照片支持战略轰炸。利用闪烁比较器机器通过快递连续地向观看者显示二个不同时刻拍下的图像来叠加这二张照片。当以这种方式显示这些图像时，匹配它们的地形从而量化轰炸破坏结果。

已经使用这种相同的但是带有基于计算机的改进方法的基本比较技术叠加由遥感器，例如航空或卫星传感器，产生的图像，从而对齐不同时刻产生的或者同一时刻传感器的不同信道上产生的图像，这些图像是数字图像。在Castleman，K.R.的“Fundamentals of Digital PictureProcessing”， Prentice-Hall，Englewood Cliffs，New Jersey，1979以及Moik，J.G.的“Digital Processing of Remotely Sensed Images”，NASA SP-431，Washington，D.C.，1980二份文献中报告了刚刚说明的用于遥感器中的图像对齐的技术。

由于由LANDSAT、SPOT以及其它卫星系统产生的图像数量迅速增加，因而使利用计算机实现图像对齐变为必要，并且还需要进行非线性扭曲变换以便匹配从不同的空中到地面的透视所得到的图像。为了实现脑组织图像对齐从而进行有用的和有效的神经生理研究也使利用计算机变为必要。这在Hibbard，L等的 Science，236：1641-1646，1987中得到报告，在Brown，L.G.的“A Survey of Image Registration Technigues”，ACM Computing Surveys，24：325-376，1992以及Van den Elsen，P.A.等的“Medical Image Matching-A Review with Classification”，IEEE Engineering in Medicine and Biology，March 1993，即.26-69中已报告对各种计算机对齐技术的综述。

由于已经发现可以提供更好的肿瘤定界，目前正在放射肿瘤学(radiation onocology)中采用对来自至少二种模态的图像的图像重合，这在Rosenman，J.G.等的“Image Registration：An Essential part ofRadiation Therapy Treatment Planning”， International Journal of Radiation Onocology，Biolology，and Physics，40：197-205，1998中报告。预计会加大对放射治疗计划(“RTP”)中使用的用来实现图像对齐的软件工具以及用来处理并使用所产生的重合图像的显示/画轮廓工具的开发。

图像对齐方法通常分为二类：对要对齐的图像进行直接观察的人工对齐和用某种类型的计算机程序计算数值问题的解的自动对齐。人工对齐(“MA”)是通过目视地匹配二个图像的对应特征完成的。可以在所有提供或号称提供图像重合的RTP系统中实现MA。MA中最常用的机理是目视地设置从其中得出变换的参考点或标志，例如通过使对应的界标点之间的偏差最小二乘方化来实现变换。一种不常使用的实现MA的方法是目视地匹配直接嵌入在要对齐的图像中的对象。

一般利用图形用户接口(“GUI”)进行MA。在大多数情况中GUI同时显示感兴趣区域的轴向视图、弧矢视图和冠视图。GUI必须提供对3维数据的有效导航并且必须对用于对齐或测量的参考标志或其它工具提供准确定位。从而，商用系统已使用UNIX工作站或专用计算机以实现交互式显示大数据量所需要的高速计算和大图形吞吐量。

自动图像对齐(“AIA”)方法涉及通过计算要对齐的图像的特征所得到的变换。这甚至可在无须用户介入情况下通过已编程的计算机动作进行。许多更为成功的AIA方法基于相关和矩(moment)不变量匹配。

相关方法更确切地说涉及图像象素强度(intensity)的互相关或者互协变性。这些方法产生图像的坚固、准确的对齐。在Anuta，P.E.的“SpatialRegistration on Multispectral and Multiemporal Digital Imagery UsingFast Fourier Tranform Techniques”， IEEE Transactions on Geoscience Electronics，8：353-368，1970；Barnea，D.I.等的“A Survey of ImageRegistration Techniques”， IEEE Transactions on Computers，21：179-186，1972；以及Pratt，W.K.的“Correlation Technigues of ImageRegistration”， IEEE Transactions on Aerospace and Electronic Systems，10：353-358，1974中已报告了这种类型的方法。

按照大多数相关方法，相关峰值的位置直接对应于对齐已经具有正确转动对齐的图像所需的平移。可以根据Hibbard，L等的 Science236： 1641-1646，1987中报告的方法通过在极网格坐标上重新对图像采样后再相关它们得到转动对齐。该转动对齐方法依赖于快速付里叶变换的使用。只要图像不要过分不同，相关方法是准确的并且对于噪声和图像内容中的差异是坚固的。因而，对于类型相同的图像的对齐，相关方法是最常采用的方法。

矩不变量方法是用于图像对齐的计算方法。这些方法的一个例子在Jain，A.K.的“Fundamentals of Digtal Picture Processing”， Prentice- Hall，Englewood Cliffs，N.J.，1989中报告。矩不变量方法涉及使用从图像中的一些重要对象的二维(2D)惯性矩阵计算出的主矩组。这些主矩和唯一的一组主向量相对应。通过把一个图像的主向量变换到另一个图像的主向量完成图像对齐。这通常是快速的计算，但是，矩不变量方法依赖于有效地提取出充当矩参考点的对象或对象组的能力。如果图像是复杂的并且不具有用来对齐类型相同或模态相同的图像的单个主特征，则该方法具有明显的问题。

除了刚讨论的矩不变量方法外，还存在其它基于不变量特性的对齐方法。这些其它方法可采用几何不变量和曲率及其它极值的最小值/最大值。在Lavellee，S.的“Registration for Computer Intergrated Surgery：Methodology，State of Art”(Taylor，R.等的 Computer Integrated Surgery，MIT Press，Cambridge，MA，1996，一书中)里报告这些方法中的至少一种。这些方法的特征是速度快，但是易受到噪音和对象间差异的影响。但是，这些系统只利用每个图像集中可使用的全部信息的一小部分来计算重合，所以对精度有一些影响。

实际意义上，在二十世纪80年代后期和90年代初期实现了头的CT和MRI图像的自动对齐。当时使用的各种方法得到一定程度的应用但它们具有各种缺点。这些方法在Pelizzari，C.A.等的“Accurate Three-dimensional Registraton of CT，PET，and/or MR Images of TheBrain”， Journal of Computer Assisted Tomography，13：20-26，1989中报告。

Pelizzari等说明的方法建议通过皮层表面的轮廓线组表达CT和MRI中的脑表面并且建议使二个表面中的相邻点之间的最小二乘方差为最小从而确定对齐变换。后来通过对表面点进行子采样并接着应用简单的最优化确定变换而改进了该方法。最新改进在Van Herk，M.和Kooy，H.M.的“Automatic Three-Dimensional Correlation of CT-CT，CTMRI，andCT-SPECT Using Chamfer Matching”， Medical Physics，21：1163-1178，1994，中报告。已发现该原始方法以及改进方法仅是适用于头的，并且这二种方法都需要首先人工地得到皮层表面的轮廓线。

另一种已经提出的用来重合图像的自动方法的基础是使互信息为最大，该方法于1995年首次报告。该方法来源于信息理论，在信息理论中一个随机变量对另一个随机变量的亲缘(relatedness)取决于变量的熵的度量，其中该熵被称为“互信息”(“MT”)。(参见，Cover.T.和Thomas，J.， Elements of Information Theory，John Wiley and Sons.NewYork，1991)从而，对于二个图像，如果它们是不相关的或者它们相关但未对齐，则MI为小。若改善图像对齐，则它们的MI增大并且当图像几何上对齐时为最大。MI和相关性的差异在于，图像间的会混淆相关性的系统差异实际上增强了利用MI所达到的对齐。在医学上常把MI用于多模态摄象的二维和三维对齐，如在Wells，W.M.等的“Lecture Notes onComputer Science”，Vol.1496，Springer-Verlag，New York，1998，中报告的那样。

MI的应用也是许多研究的主题。例如，它已用于对齐多模态MRI和带有CT的MRI，如下述文献中报告那样：Viola，P.和Wells，W.M.的“Alignment by Maximization of Mutual Information”， Proc.of the Vth Int’l.Conf.on Computer Vision，Cambridge，MA，June 1995，pp.16-23；Collignon，A.等的“Automated Multimodality Medical ImageRegistration Using Information Theory”，该文收入在Bizais，Y.等的Proc.Of the XVth Int’l.Conf.on Computer Vision，Virtual reality，and Robotics in Medicine(CVRMed’95)，Vol 905，Springer-Verlag， Leclure Notes in Computer Science，Nice，France，April 1995，pp.195-204；Meas，E.等的“Multi-Modality Image Registration by Maximization of MutuatInformation”， IEEE Workshop on Mathematical Methods in Biomedical Image Analysis，San Francisco，CA，June 21-22，1996，pp.14-22；以及Studholme，C.等的“Automated 3-D Registration of MR and CT Imagesof the Head”， Medical Image Analysis，1：163-175，196。除其它之外，和MI有关的一个课题是在高效时间方式下完成MI的能力。

在1997年进行了Vanderbilt脑对齐回顾研究。该研究涉及各种对齐计算方法，其目的是评估每个由CT+MRI或PET+MRI数据集组成的头数据集的标准组的误差，在这些数据集中利用骨植入标志测量“金本位”(gold standard)对齐(判断其它对齐的对齐)。该研究中，在把图像送到各参与实验室之前去掉图像中的标志的痕迹。各测试实验室使用的技术包括表面匹配、相关性和MI的各种变型。各结果中的误差变化很大。至少使用了十四种对齐CT和MRI图像的方法。采用MI的实验室中的二个取得MRI脉冲序列模态频谱上的最低总中值误差。第三位最佳结果是通过相关方法得到的。在对使用PET以及MRI的对齐的比较中，第一位和第二位的最低总中值误差是通过单个相关方法然后再应用二个MI方法达到的。总之，MI法和相关法产生最低的误差并且不需要勾勒脑部轮廓、头皮消除或其它交互活动。尽管这些方法显示出一定的成功，但是相信应能在不牺牲精度的情况下下大大改进求解的时间。

发明内容：

本发明提供一种含有一种准确的且比现有技术的系统和方法快得多的自动对齐方法的系统和方法，并且本发明的系统和方法包含一种无需专门或额外配置强力高性能工作站便能达到或超过现有技术的最高性能等级所能取得的速度和细节显示的交互式对齐方法。

本发明是一种用于自动重合尤其是自动重合三维(“3D”)图像数据体的系统和方法。依据本发明的系统和方法，这样实现对齐：同时在GUI显示至少，但最好是，二个3D图像数据体，其中一个3D图像数据体保持不变而另一个数据体可以定标、转动和平移从而对齐同调的解剖特征。该系统和方法会同时显示感兴趣区域的轴向图、弧矢图和冠视图。这些平面图最好是为系统用户设计并配置的数据体，以便把一个体“拉到”或“定位到”一个平面图中的新位置上并同时在无明显滞后时间下更新另二个平面图中显示的数据体。本发明的系统和方法还包括基于互信息(“MI”)最大化的自动对齐计算。本发明的系统和方法利用MI最大化比现有图像对齐方法更有效和更快地对齐3D。

依据本发明的系统和方法，上面所提到的显示和自动对齐具有以下优点：对显示器上的数据体高速更新并同时以全分辨率显示数据。该系统和方法实现下述各特别的策略。首先，用二个齐次矩阵表示二个独立数据体的合成变换，其中这二个矩阵的乘积在一个系统中直接产生与另一系统中的一给定点相对应的点。第二，体数据变换是从实值向量的矩阵相乘到整数向量的相加重算的，其中这些整数向量的分量与实值向量的分量大致相同。第三，为了自动对齐，在进行变换和再取样之前，确定会在显示中看到的或位于固定数据空间内数据的行或列的部分。

依据本发明的重合其特征在于，对感兴趣区域的多种类型的图像进行对齐和组合使用。多种类型图像的组合使用使得能提取不能从其中任何一个图像得到的有关该感兴趣区域的信息。从而，对齐过程是空间匹配各种图像的同调对象的过程以及提取协作得出的信息的过程。

本发明的自动重合是通过初始人工选择要对齐的图像然后利用GUI人工对齐或者自动对齐进行的。可以不受限制地按顺序使用或者以任何顺序重复地使用各种对齐方法。更具体地，这涉及到利用图形用户接口(“GUI”)对图像对象的交互匹配，和利用一种无需用户交互计算二个图像的估算对齐的自动方法进行图像对齐。依据本发明的这些组合动作是互补的，并且所产生的对齐比现有技术更精确和更节约时间。

利用GUI完成二个图像的人工选择和初始叠放。自动对齐利用自动定标的MI最大化计算方法并且找出会产生图像的最佳对应的平移和转动。本发明的至少一个实施例预期施加到可移动数据体的几何变换是涉及六个自由度，即三个平移和三个转动，的线性变换。

在本说明书的剩余部分中将参照各附图更详细地说明本发明的系统和方法。

附图说明：

图1是使用本发明的GUI的透视图，其在横向平面、冠平面和弧矢平面中示出同一个患者的未对齐的CT和MRI图像；

图2是使用本发明的GUI的透视图，其在横向平面、冠平面和弧矢平面中示出来自图1的对齐后的CT和MRI图像；

图3是含有一个图像数据体的CT堆的代表图；

图4是含有一个图像数据体的MRI堆的代表图；

图5是本发明中采用的数据体坐标系的代表图，其示出横向(轴向)平面、冠平面和弧矢平面；

图6示出了具有不同标度的主数据体和次数据体的一个例子；

图7示出了具有定标和平移差异的主数据体和次数据体的一个例子；

图8示出了具有定标、平移和转动差异的主数据体和次数据体的一个例子；

图9示出了在主数据体上对次数据体进行数据内插的一个例子；

图10示出了通过迭代整数向量相加把次数据体变换到主数据体上的一个例子。

具体实施方式：

本发明是一种自动重合三维(“3D”)图像数据体的系统和方法。依据本发明的系统和方法，通过同时在GUI上显示至少，但最好是二个3D图像数据体，并且一个3D图像数据体保持固定而可定标、转动和平移另一个以对齐同调的解剖特征来实现自动重合。该系统和方法会自动地显示感兴趣区域的轴向视图、弧矢视图和冠视图。这些平面图最好显示这些数据体内的2D平面上的体素强度，这些数据体内的2D平面的位置是通过GUI轴向窗口、冠窗口和弧矢窗口内的直线光标的位置规定的，例如“拖拉”任一窗口内的光标规定一个平面图的新位置，并且在对用户不出现滞后的情况下立即更新该平面图。在第二种操作方法下，可以利用光标“拖拉”二个数据体中的一个以便相对于固定的数据体实现转动或平移。这将使所有三个视图，即轴向、弧矢或冠向视图，在对用户无滞后的情况下重新显示。在第三种操作方法下，可移动数据体响应互信息最大化确定期间得到的最新，“最佳”对齐能实时地“跳变”和“扭转”。本发明的自动重合还包括基于互信息(“MI”)最大化的自动对齐计算。本发明的系统和方法利用MI最大化比现有对齐方法更有效地和更快地对齐3D。

本发明的自动重合是这样实现的：首先人工选择要对齐的图像，然后或者利用GUI人工对齐或者自动地对齐。可以不受限制地按顺序使用或以任何顺序重复使用各种对齐方法。即，首先利用图形用户接口(“GUI”)交互式地匹配图像对象，然后存在不必用户交互下计算二个图像的估算对齐的自动方法。这种组合产生比现有技术更准确的对齐。

依据本发明，自动重合涉及通过利用GUI交互式地匹配图像对象以及自动对齐计算来对齐不同的图像体。GUI的使用向系统用户提供待解决的3D数据体的三个视图，并且允许系统用户相对于其它模态平移和转动一种模态的图像数据。例如，可能希望自动重合CT和MRI分析。为达此目的每项分析以数据体为形式。CT图像数据会是GUI的固定位置。而MRI图像数据可以相对于该CT图像数据转动和平移。在这种情况下，把CT图像数据称为主数据集而把MRI图像数据称为次数据集。主、次数据集在GUI上会具有窗口控制和等级控制。GUI上还存在滑动块控制，用于控制窗口中的主、次数据集的强度。

显示(通过GUI)和自动对齐既达到GUI的高速更新又达到在全分辨率下显示数据。本发明的自动重合至少部分地取决于：(i)把二个独立数据体的合成变换表达为一对齐次矩阵，它们的乘积在该变换下直接在次系统中生成一个和主系统中的一给定点同调的点；(ii)把体数据变换从实值向量的矩阵相乘重算成整数向量的相加，其中整数向量的分量接近实向量的分量；以及(iii)在进行变换和再采样之前确定能在显示器上看到的或者位于固定数据的空间内的数据的行或列的部分(用于自动对齐)，从而不进行不必要的变换。

在本发明的实际应用中，自动重合会对齐RIP中使用的二个3D图像数据体。典型地，这将包括对齐一个X射线CT分析集和一个MRI分析集。这些二种模态图像的对齐扩大了带有可在MRI摄像中看到的更强的软组织细节的CT解剖信息：在MRI中显示的软组织器官以及肿瘤要比CT中更好。如果准确地叠加二种模态，在需要处MRI图像可以替代CT图像中看不到或不能良好看的东西。本发明的重合还能使用来自核医学摄像(SPECT、PET)或磁共振功能性成像(fMRI)的特殊组织功能信息，它们可帮助得到更准确和更有效的治疗。

参照图1，其概括地在100处示出本发明中使用的代表性GUI。尽管本发明人预料许多其它应用，本发明优选地用于对齐主(CT)和次(MRI)图像数据以帮助勾述组织。

图1中，在窗口102里示出主、次数据集的横向或轴向平面图。主数据集在104示出，而次数据集在106处示出。在窗口108处示出主、次数据集的冠平面图。主数据集在110处示出，次数据集在112处示出。在窗口114里示出主、次数据集的弧矢平面图。主数据集在116处示出，次数据集在118处示出。在每个窗口中，主、次数据集具有相对照的颜色，或者一个数据集是彩色的而另一个是黑白的。然而，所需要的只是二个数据集是不同颜色的，从而可以区分它们。为了使用户能分辨如何相对于主集转动和平移次集这是必要的。如可方便地通过观察窗口102、108和114以及二个数据集的对照颜色看出那样，主、次数据集是不对齐的。正如后述，在进行MI最大化(此时将显示MI等级)之前按图中的方式保持空白区132。

再次参照图1，在122处示出主窗口控制并在124处示出主等级控制。主窗口控制122用于从要在窗口102、108和114中显示的主数据集选择窗口。因而，数字1301表示要显示范围宽度为1301强度单位、以164的等级值为中心的主数据。主等级控制164用于为要在窗口102、108和114中显示的主数据设定强度等级。这样，数据164就表示要显示范围宽度为1301强度单位，以164的等级值为中心的主数据。

从类似的方法，在126处示出次窗口控制并在128处示出次等级控制。次窗口控制126用于从要在窗口102、108和114中显示的次数据集选择窗口。因而，数字100表示要显示范围宽度为100强度单位、以50的等级值为中心的次数据。次等级控制128用于为要在窗口102、108和114中显示的次数据集设定强度等级。这样，数字50就表示要显示范围宽度为100强度单位，以50的等级值为中心的次数据。

GUI100的底部处是一个滑动块，其二端分别是标志“主”和“次”。移动控制会增加和减小次数据相对于主数据的强度。因此，若用户希望比次数据集更强调主数据集，他或她会把控制移动到更靠近“主”标志；若用户希望比主数据集更强调次数据集，他或她会把控制移动到更靠近“次”标志。在GUI上选择并对齐主、次数据集中，该控制的使用是重要的。

参照图1，窗口102、108和114各具有一个圆光标和二个线光标。更具体地，窗口102具有圆134、垂线光标136和水平线光标138；窗口108具有圆140、垂线光标142和水平线光标144；而窗口114具有圆146、垂线光标148和水平线光标150。每个窗口中的二个线光标描述数据体中另二个平面视图的位置。参照窗口102，水平线光标138示出在窗口108中示出的冠剖面的位置，垂线光标136示出在窗口114中示出的弧矢剖面的位置。类似地，参照窗口108，水平线光标144示出在窗口102中示出的横向或轴向剖面的位置，垂线光标142示出在窗口114中示出的弧矢剖面的位置。最后，参照窗口114，水平线光标150示出在窗口102中示出的横向或轴向剖面的位置，垂线光标148示出在窗口108中示出的冠剖面的位置。

窗口102中垂线光标136的移动会使窗口114中的弧矢平面图扫视，而窗口102中水平线光标138的移动会使窗口108中的冠平面视图扫视。类似地，窗口108中垂线光标142的移动会使窗口114中的弧矢视图扫视，而窗口108中水平线光标144的移动会使窗口102中的横向或轴向视图扫视。最后。窗口114中垂线光标148的移动会使窗口108中的冠平面视图扫视，而窗口114中水平线光标150的移动会使窗口102中的横向或轴向视图扫视。这些线光标的移动允许用户通过利用各线光标的每次移动同时更新受影响的各视图以导航所示出的数据。

窗口102、108和114中的圆134、140和146分别指示其中用户可以啮合一特定的窗口视图从而人工转动或平移次图像的区域。从而，和水平线以及垂线光标不同的GUI光标定位在一圆内或圆外以实现MRI数据集(次数据集)的转动和平移。如果GUI光标在该圆内并啮合，它可用于在该窗口的平面中的二个方向上平移次图像。同时会在另二个视图中表现出该平移。如果GUI光标位于该圆外并啮合，它可用于绕该窗口的平面中心转动次图像。同时会在另二个视图中表现出该转动。

当选择二个要对齐的数据体时，第一个动作是人工操纵未对齐的视图。这将涉及选择适当的主、次窗口视图并为这二个窗口视图选择所希望的强度等级。可以通过滑动块控制130控制主、次图像之间的相对强度。一旦选定了适当的视图和等级，则利用各窗口的各个线光标在每个窗口中得到主、次数据集的适当信息视图。在此之后，把GUI光标定位在每个窗口的圆之中或之外以平移或转动次图像，从而对齐次(可动)图像和主(固定)图像。

利用MI最大化的自动对齐可以在人工对齐之前、之后进行或者替代人工对齐。自动对齐是通过激活图1中152处示出的自动对齐控制而启动的。激活该自动对齐控制可改善次图像对主图像的对齐。

概括地在200处示出的图2示出了主、次图像对齐或重合的窗口102、104和114。图2中和图1中的相同部分具有相同的附图标记。图2中的主、次图像的对齐是依据本发明的自动对齐技术的结果。请注意，同时对全部三个平面图，即横向(轴向)、冠和弧矢平面图发生对齐。

在窗口156中示出该自动对齐方法的进程和准确性，窗口156包含示出互信息值与迭代次数的关系曲线的曲线图158。在窗口156的160处显示MI最大化的最终值。该最终值是主、次图像非常准确的对齐，从而可在例如RTP中使用每个图像的有用信息。当正进行自动对齐时，图像显示不断更新以反映对齐的改进。下面将说明该实现主、次图像的自动对齐的方法。

本发明的显示以及自动对齐都需要快速确定3D主、次数据体中任何位置处的CT或MRI强度。依据本发明，单个窗口里的数据体的平移和转动会导致计算该数据体内的对应平面的位置。相应地，为该平面位置确定强度。由于数据图像数据只出现在有限数量的行、列和片(slice)中，位于行、列或片之间的观察线必须估算强度。类似地，自动对准对数据体的主、次数据重叠部分进行体素对体素的比较。这需要把整数行、列和片坐标处的主体素和主坐标系统中的非整数位置处的变换后的次体素进行比较。因此，本发明能够非常快地，最好以每秒数百万次或更高的速度，确定变换后的位置以及新位置处的强度，以便在不带有可看出的滞后的情况下更新GUI视图。这是通过在高效紧凑表达式中计算几何变换并用整数的串行相加代替耗时的实数(十进制数)相乘达到的。另外，依据本发明，通过促进更快得到结果的“位”移位完成次数据体变换的整数重新定标。

为了改进本发明的方法的时间效率，判定要变换的体数据是否保持在显示域或体数据重叠区中。本发明只对那些对功能有用的体素进行变换。另外，为了提高得出结果的速度，可以在进行变换之前完成扫描线可视性检查，因为这些数据的几何形状以及显示坐标系是已知的无须进行变换。

作为讨论本发明的自动重合的背景，例如最好在RIP中使用的CT和MRI数据集是3D方网格上有规律间隔下患者解剖结构的样本集。CT图像表示从作为穿过患者的投影得到的吸收测量重建的解剖剖面。重建平面画面构成患者的横向或轴向平面视图。通常，在重建的剖面图像中CT分析具有0.7到约为1mm/体素(体元素)的空间分辨率。典型地，CT图像在剖面平面中具有512×512体素的尺寸并且具有40个到多于100个的供分析的剖面。

MRI图像是从体磁化测量重建的。这些图像是沿着和患者的轴垂直的平面重建的，从而通常图像组是在横向或轴向取向下形成的，因此提供了和同一患者的CT影象的比照。在重建图像的平面中MRI的空间分辨率约为1.5至3mm/体素。MRI图像通常在剖面平面中具有256×256体素的尺寸。典型地，MRI分析具有30个到多于100个的剖面。

CT以及MRI图像的最常见代表是一堆图像，这些图像示出和扫描器的轴以及患者的上下轴相垂直的平面中的患者的解剖剖面。在用270概括的图3中示出包含一个数据体的代表性CT堆，而在用272概括的图4中示出包含一个数据体的代表性MRI堆。沿着患者的上下轴的图像称为横穿轴的(或轴向或横向)。与前后方向垂直的平面中的图像是冠图像和弧矢图像，且这些图像位于和中-侧方向垂直的平面中。仅仅为了说明，下面的CT图像和MRI图像数据集的例子用于将使用RIP的患者：上-指向头；下-指向足；前-指向身体的最前面或前方或指向脸；后-指向身体或头的后方；中-指向身体或头的中心；以及，侧-指向身体或头的外侧。

假定当进行CT或MRI扫描以产生图3和4中示出的数据堆时患者取仰卧位置，在用274概括的图5中示出了表示x、y、z轴以及表示横向或轴向平面、弧矢平面和冠平面的数据体坐标系。在图5中，轴向平面示于275处，弧矢平面示于276处，而冠平面示于277处。x、y、z轴概括地示于278处。

图像数据由带有正交坐标轴(x、y、z)的3D正方网格上不变间隔处的标量强度组成。z轴平行于上下轴或垂直于横向或轴向图像剖面。x轴平行于前后轴并垂直于冠图像剖面。最后，y轴平行于中-侧轴并垂直于弧矢图像剖面。x轴和y轴位于横向或轴向图像平面中并且原点位于图像的左上角。x轴平行于中-侧轴并垂直于弧矢图像剖面。y轴平行于前后轴，并垂直于冠图像剖面。

按照本发明处理的图像数据最好是数字数据。由此，用于数据体的CT和MRI数据是数组，其中每个数表示空间中某点处的组织特性的测量或样本。取这些数据点以存在于体素中心处。这些体素是长、宽、高等于数据之间的特征间隔的长方体。数据的几何图形符合具有原点和互相垂直的坐标轴的迪卡儿坐标系。

本发明和自动重合方法的自动对齐部分用于自动地进行次图像变换，在本情况下这意味着可能造成次图像相对于主图像的三种转动和三种平移以最大地重叠同调的解剖点。最优变换F^*和由I(p，F(s))表示的互信息的最大值相对应，其根据式(1)关联主图像数据和变换后的次图像数据： $F^{*}=\underset{F}{\max I}(p,F\left(s\right))---\left(1\right)$ 其中

I＝MI的实数值；

p＝主强度数组；

F(s)＝经F变换后的次强度数组。

在多数情况下，实值的转动和平移把整数索引的次体素再定位到非整数的位置上。因此，必须对次图像数据进行内插以得到主体体素位置处的次体素强度。这些插值的F(s)强度要构成为确定MI所需要的临界概率分布和联合概率分布。

MI最大化的判定取决于以式(1)为基础的变换、内插和概率分布。现在计讨论这些变换、内插和概率分布。

首先必须考虑坐标变换。可以用s_t表示变换后的次数据体素。该值从用s＝(s_x，s_y，s_z)表示的次数据体素的初始状态变换得到。该变换是通过定标、平移和转动操作的组合实现的。该变换由式(2)表示：

             s_t＝R(v·s-t)                   (2)其中

v＝(v_x，v_y，v_z)，主对次轴标度比向量；绕三个轴的转动矩阵；

t＝(t_x，t_y，t_z)，平移向量；

s＝(s_x，s_y，s_z)，定标、平移或转动之前的初始次数据体素坐标。

在300处概括的图6中示出定标或平移之前数据体的主、次数据的代表性关系。在图6中，主、次数据体示成具有302处的相同原点，从而很容易看出不同。主数据在304处示出，次数据在306处示出，还可立即看出，分别在308、310以及312，314处的用于主、次的x以及y的间隔是不同的。图6中主数据体和次数据体之间的不同是由于定标差异造成的。因此，在可作出任何进一步对齐之前，还必须把次数据体定标到主数据体。

已知向量v_x，v_y，v_z是从图像数据的扫描仪校准得到的并且被认为是固定的。从而，一旦完成定标后，只需要改变平移和转动以得到最优对齐。

正如下述的，可以利用矩阵相乘实现必要的坐标变换。在这种情况下，这些变换可以用齐次坐标中的矩阵运算表示，其中向量平移、转动、定标和斜移运算可以组合到一种表示法。在三维数据体中，向量按照式(3)表达成4×1的数组： $s={(s_x,s_y,s_z,1)}^T=\left[\begin{array}{c}{s}_x\\ s_y\\ s_z\\ 1\end{array}\right]---\left(3\right)$ 其中

s＝次数据体素的初始向量；

T＝向量的转置。

研究图6，为比较主图像数据的点a处的强度和次图像数据同一点的强度，需要内插次图像数据值。次矩离D_s对主矩离D_p定标，这可以用式(4)表示； $\frac{D_s}{x_s}=\frac{D_p}{x_p},\frac{D_s}{y_s}=\frac{D_p}{y_p},\frac{D_s}{z_s}=\frac{D_p}{z_p}---\left(4\right)$ 对应的标定分量在式(5)中描述： $v_x=\frac{x_s}{x_p},v_y=\frac{y_s}{y_p},v_z=\frac{z_s}{z_p}---\left(5\right)$ 对应的变换在后面讨论的式(6)中示出。

在线性仿射变换中，平移、转动、定标和斜移是用4×4的矩阵表示的。更具体地，对于定标，它可以通过把4×4矩阵中的定标因子向量v(向量v的分量位于对角线上)和式(3)中示出的4×1矩阵相乘得到。这在式(6)中示出： $\mathrm{vs}=\left[\begin{array}{cccc}{v}_x& 0& 0& 0\\ 0& v_y& 0& 0\\ 0& 0& v_z& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ s_z\\ 1\end{array}\right]\≡\left[\begin{array}{c}{v}_x{s}_x\\ v_y{s}_y\\ v_z{s}_z\\ 1\end{array}\right]=s^{\′}---\left(6\right)$

必须重复地为多个次数据体素确定s_t。因此，为了提高效率，通常按式(6)中示出那样预乘s和v。根据式(6)确定s′作为沿着所有三个轴的次图像数据再采样的等效值，从而和主图像数据中一样次图像数据具有相同的网格间距。

参照320处所概括的图7，图中示出按定标因子以及平移

次数据体和主数据体相差的情况。平移差是沿x和y的分量平移的和，并在图7的338处表示。

考虑到这一点，s_t的确定可以基于次图像数据的一次平移以及绕三轴中的每个的一次转动，如式(7)所示：

             s_t＝R(s′-t)            (7)其中，绕三个轴的转动矩阵；

s′＝v和s的乘积；

t＝(t_x，t_y，t_z)，平移向量。

s′通过向量t＝(t_x，t_y，t_z)的平移是通过利用4×4矩阵T乘以该向量来表示，其中平移分量位于该矩阵的第4列中，如式(8)所述： $s^{\′}-t=\mathrm{Ts}=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s^{\′}}_x\\ {s^{\′}}_y\\ {s^{\′}}_z\\ 1\end{array}\right]\≡\left[\begin{array}{c}{s^{\′}}_x+t_x\\ {s^{\′}}_y+t_y\\ {s^{\′}}_z+t_z\\ 1\end{array}\right]---\left(8\right)$

下一步必须研究次图像数据的转动。参照350处所概括的图8，图中示出由定标、356处的平移 以及358处转动的角θ所造成的组合偏移。在图8中，主体数据示于352处，次体数据示出354处。根据式(9)、(10)和(11)，次图像数据围绕三个坐标轴转动角_x、_y、_z： $R\left({\mathrm{\φ}}_x\right)=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& {\cos \mathrm{\φ}}_x& {-\sin \mathrm{\φ}}_x& 0\\ 0& {\sin \mathrm{\φ}}_x& {\cos \mathrm{\φ}}_x& 0\\ 0& 0& 0& 1\end{array}\right]---\left(9\right)$ $R\left({\mathrm{\φ}}_y\right)=\left[\begin{array}{cccc}{\cos \mathrm{\φ}}_y& 0& {\sin \mathrm{\φ}}_y& 0\\ 0& 1& 0& 0\\ {-\sin \mathrm{\φ}}_y& 0& {\cos \mathrm{\φ}}_y& 0\\ 0& 0& 0& 1\end{array}\right]---\left(10\right)$ $R\left({\mathrm{\φ}}_z\right)=\left[\begin{array}{cccc}{\cos \mathrm{\φ}}_z& -{\sin \mathrm{\φ}}_z& 0& 0\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]---\left(11\right)$ 次图像数据s绕z轴即xy平面中的转动用式(12)表示： $R\left({\mathrm{\φ}}_z\right)s=\left[\begin{array}{cccc}{\cos \mathrm{\φ}}_z& {-\sin \mathrm{\φ}}_z& 0& 0\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ s_z\\ 1\end{array}\right]=\left[\begin{array}{c}{s}_x{\cos \mathrm{\φ}}_z-s_y{\sin \mathrm{\φ}}_z\\ s_x{\sin \mathrm{\φ}}_z+s_y{\cos \mathrm{\φ}}_z\\ s_z\\ 1\end{array}\right]---\left(12\right)$ 对另二个轴，R(φ_x)s和R(φ_y)s，使用相同类型的矩阵相乘。

可以用各个变换矩阵的乘积表示坐标变换的组合。先平移次图像数据然后绕z轴转动的组合变换在式(13)中描述： $s_{\mathrm{tr}}=R\left({\mathrm{\φ}}_z\right)\mathrm{Ts}=\left[\begin{array}{cccc}{\cos \mathrm{\φ}}_z& -{\sin \mathrm{\φ}}_z& 0& 0\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ s_z\\ 1\end{array}\right]$ $=\left[\begin{array}{cccc}{\cos \mathrm{\φ}}_z& {-\sin \mathrm{\φ}}_z& 0& 0\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x{-t}_x\\ s_y-t_y\\ s_z-t_z\\ 1\end{array}\right]---\left(13\right)$ $=\left[\begin{array}{c}(s_x-t_x){\cos \mathrm{\φ}}_z-(s_y-t_y){\sin \mathrm{\φ}}_z\\ (s_x-t_x){\sin \mathrm{\φ}}_z+(s_y-t_y){\cos \mathrm{\φ}}_z\\ s_z-t_z\\ 1\end{array}\right]$

请注意上面在确定S_tr时，由于存在大量的对零和一的乘，除非使用专门设计的硬件系统，否则齐次坐标所需的计算是低效率的。因此本发明采用一种不必在复杂计算水平下便可产生准确结果的方法，从而实现一种高时间效率的方式，这种程度的复杂计算在过去是存在问题的。现在说明该方法。

次图像数据的转动基本上都是二维的，因此可以把转动重新阵述为只含有式(9)、(10)和(11)的正、余弦项的2×2矩阵与x，y，z中一次只取出二个的适当组合的相乘。这些转动还必须参照原点或转动中心进行。转动中心最好不和主、次数据体的原点为同一点。

如已所述，主、次数据体的原点位于各长方体的一个角落处。次图像数据绕其原点的转动会对寻找主、次图像数据的共同特征的最优对齐所进行的尝试引入大的和难以预测的影响。因此，依据本发明，把转动中心设置在次数据体的中心，从而转动会使大量的次体数据叠加在主体数据上。为完成该动作，要涉及二次平移。第一次是把次数据体的中心平移到坐标系统原点，后者最好根据主数据体定义。第二次是把次数据体平移回到它的原始位置。第一次平移用式(14)和(15)表示： $s_t=C^{-1}{\mathrm{RCTs}}^{\′},C=\left[\begin{array}{cccc}1& 0& 0& c_x\\ 0& 1& 0& c_y\\ 0& 0& 1& c_z\\ 0& 0& 0& 1\end{array}\right],C^{-1}=\left[\begin{array}{cccc}1& 0& 0& {-c}_x\\ 0& 1& 0& {-c}_y\\ 0& 0& 1& {-c}_z\\ 0& 0& 0& 1\end{array}\right]---\left(14\right)$ 其中，

s_t＝变换后的次数据体素；

C＝次体数据的平移矩阵，其中心(c_x，c_y，c_z)位于坐标系原点；

C^-1＝矩阵C的逆平移；

绕三个轴的转动矩阵；

s′＝v和s的乘积；

T＝向量的转置。现扩展转动项R以便包含三个轴中的各次转动，从而总变换由式(15)表示：

    s_t＝C^-1R_zR_y1_xCTs′            (15)

如前所述，绕x，y和z轴的转动只涉及该轴的平面中的二个坐标的改变。从而，对于每个轴，被研究的信息是二维的而不是三维的。结果把式(9)、(10)、(11)和(12)中的4×4矩阵的相乘简化成一系列2×2矩阵的相乘，这在式(16)，(17)和(18)中示出： $R_x{s}^{\′}\⇐\left[\begin{array}{cc}{\cos \mathrm{\φ}}_x& {-\sin \mathrm{\φ}}_x\\ {\sin \mathrm{\φ}}_x& {\cos \mathrm{\φ}}_x\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right],u={s^{\′}}_y,v={s^{\′}}_z---\left(16\right)$ $R_y{s}^{\′}\⇐\left[\begin{array}{cc}{\cos \mathrm{\φ}}_y& {\sin \mathrm{\φ}}_y\\ {-\sin \mathrm{\φ}}_y& {\cos \mathrm{\φ}}_y\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right],u={s^{\′}}_x,v={s^{\′}}_z---\left(17\right)$ $R_z{s}^{\′}\⇐\left[\begin{array}{cc}{\cos \mathrm{\φ}}_z& {-\sin \mathrm{\φ}}_z\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right],u={s^{\′}}_x,v={s^{\′}}_y---\left(18\right)$ 其中：

R_x＝y和z平面中绕x轴的转动；

R_y＝x和z平面中绕y轴的转动；

R_z＝x和y平面中绕z轴的转动；

u＝第一分量；

v＝第二分量。

在根据式(16)-(18)把次数据体中心平移到坐标原点上之后，接着还要把次数据体移回到它的原始位置上。这会产生误差值，在剩余的自动对齐步骤中现在可应用该误差值。

正如所述，在进行本发明的自动重合方法的自动对齐部分中，最有可能存在需要对主数据体内插次数据体的最优对齐位置的非整数对齐。从原理上讲，若存在二个实数，例如a和b，其中a＜b，并且第三个数x位于a和b之间，即a≤x≤b，则在此给定条件下，可以通过式(19)根据线性内插确定x的值： $x=a\left(\frac{|x-b|}{b-a}\right)+b\left(\frac{|x-a|}{b-a}\right)---\left(19\right)$ 这样，2D中的线性内插可以用于在主体数据的各平面中重新采样和重建次体数据。为了实现三维体数据的对齐，2D信息可以和最近邻近体素技术相结合以在无需过分的计算时间下得到所需的内插，当然还可以采用其它内插方法。

参照在370处概括的图9，图中表示二维中把次体数据变换到主坐标系之后的情况。点a处的次数据的值S(a)可以通过诸如最近邻近、双线性、B样条内插或更高阶多项式的内插方法确定。在该图中，主体数据示于372处而次体数据示于374处。

通常，最近邻近法需要对感兴趣的次点分配最近的次数据点处的值。这可以通过把实值分量x，y和z化整到最接近的对应整数来完成。本发明最好采用这种内插方法。

在讨论MI之前，先提供一个用来确定变换和内插并进行扫描线分析的方法的例子。首先必须关联二个坐标系统。对齐二个带有不同x，y，z定标因子的三维数据体意味着确定使对应的解剖吻合的平移t_x、t_y、t_z、和转动φ_x、φ_y、φ_z。因为能在数据体基向量矩阵中表达相对于基础笛卡儿坐标系变换后的数据体的完整描述，所以可以利用系统的基向量确定从一个系统(次系统)变换到另一个系统(主系统)的体素位置。因此，考虑带有原点偏移为

并且基向量为 的基矩阵P的CT图像体(主体)，该基矩阵P如下式(20)所述： $P=\left[\begin{array}{cccc}{p}_{1x}& p_{2x}& p_{3x}& o_{\mathrm{Px}}\\ p_{1y}& p_{2y}& p_{3y}& o_{\mathrm{Py}}\\ p_{1z}& p_{2z}& p_{3z}& o_{\mathrm{Pz}}\\ 0& 0& 0& 1\end{array}\right]---\left(20\right)$

在式(20)中示出的在左上角3×3子矩阵中含有累积的定标和转动。如果次体数据的原点和各个轴与主体数据的基础笛卡儿坐标系

重合，则基矩阵如下式(21)所述： $P=\left[\begin{array}{cccc}{p}_{1x}& 0& 0& 0\\ 0& p_{2y}& 0& 0\\ 0& 0& p_{3z}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(21\right)$ 在式(21)中，p_1x、P_2y、P_3z是

向量投影到 轴上的长度。该系统中[行][列][片]＝[l][m][n]处的体素的向量 具有如式(22)中示出的形式： $p={\mathrm{Pp}}_{\mathrm{lmn}}=P\left[\begin{array}{c}l\\ m\\ n\\ 1\end{array}\right]={\mathrm{lp}}_{1x}\stackrel{\→}{i}+{\mathrm{mp}}_{2y}\stackrel{\→}{j}+{\mathrm{np}}_{3z}\stackrel{\→}{k}---\left(22\right)$ 在式(22)中，各坐标是按基向量长度的整数乘示出的。

在式(20)的更广义的系统表达下，可以按式(23)示出向量 ${\stackrel{\→}{p}}_{\mathrm{lmn}}=P\left[\begin{array}{c}l\\ m\\ n\\ 1\end{array}\right]=\left[\begin{array}{cccc}{p}_{1x}& p_{2x}& p_{3x}& o_{\mathrm{Px}}\\ p_{1y}& p_{2y}& p_{3y}& o_{\mathrm{Py}}\\ p_{1z}& p_{2z}& p_{3z}& o_{\mathrm{Pz}}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}l\\ m\\ n\\ 1\end{array}\right]=\left[\begin{array}{c}{\mathrm{lp}}_{1x}+{\mathrm{mp}}_{2x}+{\mathrm{np}}_{3x}+o_{\mathrm{Px}}\\ {\mathrm{lp}}_{1y}+{\mathrm{mp}}_{2y}+{\mathrm{mp}}_{3y}+o_{\mathrm{Py}}\\ {\mathrm{lp}}_{1z}+{\mathrm{mp}}_{2z}+{\mathrm{np}}_{3z}+o_{\mathrm{Pz}}\\ 1\end{array}\right]---\left(23\right)$ 在式23中， 轴上的分量p_lnm是在最后一项中示出的。每个基向量 在所有

上都具有分量，从而需要使用比式(22)更复杂的表达式。式(23)提供了在给定整数l，m，n情况下体素[l][m][n]的物理位置，若矩阵P具有逆矩阵P^-1，则可以用式(24)从体素的物理位置向量 确定其整数位置： ${\stackrel{\→}{p}}_{\mathrm{lmn}}{=P}^{-1}\stackrel{\→}{p}---\left(24\right)$

请注意在该例之前，可以通过式(25)示出的齐次基矩阵S表示次图像： $S=\left[\begin{array}{cccc}{s}_{1x}& s_{2x}& s_{3x}& o_{\mathrm{Sx}}\\ s_{1y}& s_{2y}& s_{3y}& o_{\mathrm{Sy}}\\ s_{1z}& s_{2z}& s_{3z}& o_{\mathrm{Sz}}\\ 0& 0& 0& 1\end{array}\right]---\left(25\right)$ 式(25)反映出原点偏移

和基向量 和主系统一样，通过根据式(26)和(27)的基矩阵建立次系统中的等效物理位置以及次体数据的整数索引的体素： $\stackrel{\→}{s}=S{\stackrel{\→}{s}}_{\mathrm{lmn}}---\left(26\right)$ ${\stackrel{\→}{s}}_{\mathrm{lmn}}{=S}^{-1}\stackrel{\→}{s}---\left(27\right)$ M代表广义齐次仿射变换矩阵。它在式(28)中表示： $M=\left[\begin{array}{cccc}{m}_{1x}& m_{2x}& m_{3x}& t_x\\ m_{1y}& m_{2y}& m_{3y}& t_y\\ m_{1z}& m_{2z}& m_{3z}& t_z\\ 0& 0& 0& 1\end{array}\right]---\left(28\right)$ 其中， $\left[\begin{array}{ccc}{m}_{1x}& m_{2x}& m_{3x}\\ m_{1y}& m_{2y}& m_{3y}\\ m_{1z}& m_{2z}& m_{3z}\end{array}\right]$ ＝含有定标和转动信息的左上3*3子矩阵。

t_x，t_y，t_z＝平移向量。式(28)的M矩阵能通过按m_x，m_y，m_z表示的各矩阵的相乘提供任何数量的变换的组合。

次体数据的变换等同于式(29)中示出的矩阵相乘：

           S′＝MS            (29)变换后的体素向量

的位置

具有在式(30)中描述的基位置： ${\stackrel{\→}{s}}^{\′}=\mathrm{MS}{\stackrel{\→}{s}}_{\mathrm{lmn}}=S^{\′}{\stackrel{\→}{s}}_{\mathrm{lmn}}---\left(30\right)$

为了在主体数据坐标系中显示变换后的次体数据的强度或为了比较次体素强度和主体素强度，必须确定主坐标系统中的位置 。为此，需要用 替代式(24)中的

其结果表达式是式(31)： ${\stackrel{\→}{p}}^{\′}=P^{-1}{\stackrel{\→}{s}}^{\′}=P^{-1}\mathrm{MS}{\stackrel{\→}{s}}_{\mathrm{lmn}}---\left(31\right)$ 式(31)提供在主坐标系中的位置

。这样，由于通过次体数据网格完成本发明方法的各步骤，因此就确定出变换点在主坐标系中的但位于主体数据网格的非整数位置上的对应网格。

式(31)中的基矩阵和变换矩阵的全积是式(32)中的齐次矩阵： $P^{-1}\mathrm{MS}=X=\left[\begin{array}{cccc}{x}_{11}& x_{21}& x_{31}& x_{41}\\ x_{12}& x_{22}& x_{32}& x_{42}\\ x_{13}& x_{23}& x_{33}& x_{43}\\ x_{14}& x_{24}& x_{34}& x_{44}\end{array}\right]---\left(32\right)$

研究前面的式(28)，该表达式在左上角的3*3子矩阵含有绕三个轴的转动的累积乘，并且第四列的前三个元素含有关联次系统对主系统原点的平移的各个分量。另外，前三列的前三个元素是变换后的坐标系相对于主坐标系的 轴的基向量。变换后的次系统相对于主系统的原点偏移为

这在用400概括的图10中示出。在图10中，主体数据位于402，次体数据位于404。由于图10只是x，y平面中的二维表达，从而只示出408处的x偏移和410处的y偏移，从式(32)的X根据式(33)得到原点偏移： ${\stackrel{\→}{o}}_x=x_{41}\stackrel{\→}{i},{\stackrel{\→}{o}}_y=x_{42}\stackrel{\→}{j},{\stackrel{\→}{o}}_z=x_{43}\stackrel{\→}{k}---\left(33\right)$ 三个基向量

以式(34)，(35)，(36)中得到： ${\stackrel{\→}{s}}_x=x_{11}\stackrel{\→}{i}+x_{12}\stackrel{\→}{j}+x_{13}\stackrel{\→}{k}---\left(34\right)$ ${\stackrel{\→}{s}}_y=x_{21}\stackrel{\→}{i}+x_{22}\stackrel{\→}{j}+x_{23}\stackrel{\→}{k}---\left(35\right)$ ${\stackrel{\→}{s}}_z=x_{31}\stackrel{\→}{i}+x_{32}\stackrel{\→}{j}+x_{33}\stackrel{\→}{k}---\left(36\right)$

如图10中所示，式(34)-(36)定义沿变换后的次轴

对

的整数步进偏离。从原点沿着行、列、片步进偏离，则可通过加上相应的向量分量得到相继的次体素位置。从而，412处的a、414处的b、416处的c、418处的d这四个数据点将具有下面指出的位置： $a:1{\stackrel{\→}{s}}_x+0{\stackrel{\→}{s}}_y$ $b:1{\stackrel{\→}{s}}_x+1{\stackrel{\→}{s}}_y$ $c:1{\stackrel{\→}{s}}_x+2{\stackrel{\→}{s}}_y$ $d:1{\stackrel{\→}{s}}_x+3{\stackrel{\→}{s}}_y$ 这样，通过实数向量的迭代相加得到变换后的次位置。另外，可以通过乘以一个大整数例如2¹⁶并接着舍掉小数部分而从实数数据类型改变到整数数据类型来重新定标

向量以节约大量处理时间。其结果是实矩阵-向量相乘转为成整数相加。为了把数据重定标到主坐标系，用与“位”移位得到的相同的因数除变换后的分量。

从主体数据和变换后的次体数据的几何图形，可以看见实际上存在于GUI的视场上的或空间中重叠的体素的强度并且可以处理各体素的强度。在图10中，次体数据周边上的一些体素在主数据的外面，并且它们不会在本发明的自动对齐方法中得到使用。只变换有用的体素，其它体素则不变换。

在讨论了和定标、内插和变换有关的例子后，现讨论MI最大化。

现利用互信息(“MI”)最大化实现次体数据对主体数据的最优对齐。初始，考虑主、次体数据A和B分别具有体素值a和b。体素值是只取有限整数值的随机变量。这些有限值位于值域0≤a≤N_A-1和0≤b≤N_B-1内，其中N_A和N_B是每个数据中观察到的值的数量。A体素具有值a的概率p(a)是用带有值a的体素的数量n(a)除以A中的全部体素数来定义的。这在式(37)中示出： $p\left(a\right)=\underset{i=0}{\overset{\frac{n\left(a\right)}{N_A-1}}{\mathrm{\Σ}}}n\left(i\right)---\left(37\right)$ 所有的概率p(a)的集构成数据集A并且是a的概率分布。此外，还知道A中所有体素值的概率和可以用式(38)表示： $\underset{i=0}{\overset{N_A-1}{\mathrm{\Σ}}}p\left(i\right)=1---\left(38\right)$ 从而，为了从整数体素数据确定p(a)，构建所有n(a)个体素值频率的分布图，然后按照式(37)归一化。

对齐主、次数据体从而使作为主数据A中的一部分的每个体素值a(a∈A)和单个次体素b∈B相关应当根据基于联合概率p(a，b)的使a，b组合一起出现的概率，其中联合概率p(a，b)在式(39)中示出： $p(a,b)=\frac{n(a,b)}{\underset{a\∈A}{\mathrm{\Σ}}\underset{b\∈B}{\mathrm{\Σ}}n(a,b)}---\left(39\right)$ 其中，

n(a，b)＝a，b组合的出现次数。

观测具有值a的体素的概率p(a)是预测该观测中的不确定性的度量。因此，对于具有可能值a∈A的单个随机变量A以及主数据体中一给定体素处的分布p(a)，熵(一随机变量出现中的不确定性的度量)在式(40)中描述： $H\left(A\right)=-\underset{a\∈A}{\mathrm{\Σ}}p\left(a\right)\log p\left(a\right)---\left(40\right)$ 其中，

A＝值为a的随机变量；

logp(a)＝以2为底的对数。

如本文中所使用的那样，熵是分布p(a)的函数，当a的分布均匀时它最大并且若A中的所有体素具有相同的值时它最小。参照式(38)，熵可以被称为1/logp(a)的平均值。因此，对于来自主、次数据体的二个随机变量A和B，联合熵由式(41)确定： $H(A,B)=-\underset{a=0}{\overset{N_{A^{-1}}}{\mathrm{\Σ}}}\underset{b=0}{\overset{N_{B^{-1}}}{\mathrm{\Σ}}}p(a,b)\log p(a,b)---\left(41\right)$ 其中，

A＝代表主数据的随机变量；

B＝代表次数据的随机变量；

a＝随机变量A的实际值；

b＝随机变量B的实际值。

给出二个随机变量，一个位于主数据体中用A表示，另一个位于次数据体中用B表示，它们具有某种不知道的但可确定的关系，可以按照以下将要描述的那样说明该关系。二个随机变量A和B的相关熵是它们的二个概率分布之间的距离的度量。MI是一个分布含有另一个分布的信息量。二个概率分布(p(a)，a∈A和p(b)，b∈B)之间的相关熵用式(42)定义： $D\left(p\left(a\right)\right|\left|p\left(b\right)\right)=\underset{a\∈A}{\mathrm{\Σ}}p\left(a\right)\log \frac{p\left(a\right)}{p\left(b\right)}---\left(42\right)$ 相关熵D看成是一个距离度量，即，对所有a，b而言，当p(a)＝p(b)时D(p(a)‖p(b))＝0且对于所有a，b而言，D(p(a)‖p(b))≥0。

用于本发明的MI是联合分布和临界分布乘积之间的相关熵。从而，考虑式(41)和(42)，MI由式(43)定义： $I(A;B)D=\underset{a\∈A}{\mathrm{\Σ}}\underset{b\∈B}{\mathrm{\Σ}}p(a,b)\log \frac{p(a,b)}{p\left(a\right)p\left(b\right)}---\left(43\right)$

MI，即I(A；B)是因对B的知识而使A中的不确定性的减少。从而，如图2中曲线158处所示，随着自动地出现前面已说明的平移和转动，MI增加直至它到达160处示出的状态。在该点之后，只会在增加计算时间的情况下很小地改善对齐。在自动重合期间依据本发明的对齐处理所需时间通常在30秒到90秒之间。

本文中采用的术语和表达式只是措词和描述，而不是限制。使用这些术语和表达式不意味着要排斥所示出或说明的特征或其各部分的等同物，并且应理解在不背离本发明所要求保护的范围内各种修改都是可能的。

Claims (8)

1.一种自动重合方法，包括下列步骤：

(a)利用第一模态生成结构的第一图像数据体；

(b)利用第二模态生成结构的第二图像数据体；

(c)处理第一图像数据体，从而能选择性地显示第一图像数据体；

(d)处理第二图像数据体，从而能选择性地显示第二图像数据体；

(e)在显示装置的二个不连接位置处选择性地显示第一图像数据体的至少二个不同的平面图；

(f)在显示装置的二个不连接位置处选择性地显示第二图像数据体的至少二个不同的平面图，其中第二图像数据体的平面图和第一图像数据体的平面图为所述结构的相同部分；

(g)把第二图像数据体的平面图定标到第一图像数据体的平面图的标度上；以及

(h)使定标后的第二图像数据体的平面图对齐第一图像数据体的平面图包括以下子步骤：

(1)在每个平面图中把定标后的第二图像数据体的平面图平移到在其上第二图像数据体的各预定点接近第一图像数据体的对应点的位置上；

(2)在每个平面图中把定标后的和平移后的第二图像数据体的平面图转动到在其上第二图像数据体的各预定点接近第一图像数据体的对应点的位置上，其中步骤(h)(2)的接近比步骤(h)(1)的接近具有更靠近的接近；以及

(3)利用相对于第一图像数据体每次的选择移动实质上同时更新第一图像数据体的每个平面图；以及

(4)利用相对于第二图像数据体每次的选择和对齐移动实质上同时更新第二图像数据体的每个平面图。

2.如权利要求1所述的方法，其中所述结构是解剖结构。

3.如权利要求2所述的方法，其中第一模态是计算机体层摄影(CT)成像。

4.如权利要求2所述的方法，其中第二模态是磁共振成像(MRI)。

5.如权利要求1所述的方法，其中步骤(e)包括在显示装置的三个不连接的位置上选择性地显示第一图像数据体的至少三个不同平面图。

6.如权利要求5所述的方法，其中步骤(f)包括在显示装置的三个不连接的位置上选择性地显示第二图像数据体的至少三个不同平面图，其中第二图像数据体的平面图和第一图像数据体的平面图为所述结构的相同部分。

7.如权利要求6所述的方法，其中所述结构的三个不同平面图包括轴向(横向)图、冠图和弧矢图。

8.一种自动重合方法，包括下列步骤：

(a)利用第一模态生成结构的第一图像数据体；

(b)利用第二模态生成结构的第二图像数据体；

(c)处理第一图像数据体，从而能选择性地显示第一图像数据体；

(d)处理第二图像数据体，从而能选择性地显示第二图像数据体；

(e)在显示装置的二个不连接位置处选择性地显示第一图像数据体的至少二个不同的平面图；

(f)在显示装置的二个不连接位置处选择性地显示第二图像数据体的至少二个不同的平面图，

Images