CN103236048B - 一种基于互信息和交互的医学图像拼接方法 - Google Patents

Abstract

本发明提供一种基于互信息和交互的医学图像拼接方法，该方法在寻找图像配准参数的搜索策略上改进为目标区域和比较区域同时增大，并且在水平和竖直两个方向依次进行配准。然后根据得到的配准参数进行图像融合和无缝处理，除了利用线性加权函数平滑过渡重合区域之外，在确定拼接结果图像的区域大小上也进行了改进，实现任意幅图像的自动无缝拼接，最终得到超大视角的医学图像。另外，为了提升拼接速度和适应医生需求，实现时增加了与医生的交互，医生可以人为划定待匹配的区域，按需简化拼接过程。实验证明该方法能取得令人满意的拼接结果，有着重要的临床应用价值和研究意义。

Description

一种基于互信息和交互的医学图像拼接方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体涉及一种医学图像拼接的新方法。

背景技术

近年来，医学图像已经成为医学技术中发展最快的领域之一，特别是计算机技术的发展以及X射线、MRI、CT、PET等新型成像技术和设备的出现，使得医学图像处理技术对医学科研以及临床实践的作用和影响日益增大。然而由于医学成像设备的机械限制，一般只能得到局部的图像，无法得到全景图像。当医生要观察多幅图像的综合信息时，通常只能通过自己的观察将几幅图像在空间上对齐，这种做法常常带有较强的主观性，可靠性不高，重复性也差，误差较大。因此，寻求一种专门针对医学图像特点的拼接方法和为医生开发一个交互式的拼接系统是十分必要的。

医学图像拼接中最重要的一步是配准，只有配准精确才能得到图像之间正确的重叠区域，从而完成拼接。因此配准是目前医学图像分析关注的热点，近些年来，国内外很多知名学者在这方面做了大量的有益成果，这其中的方法主要有：

基于特征的方法：Harris等人在1988年率先使用Harris角点检测方法进行图像配准；Lindeberg等人在1998年提出了一种自动尺度选择的概念；Lowe等人在1999年提出了SIFT特征提取算法，生成描述每一个特征点的描述子；Ke等人2004年在Lowe的基础上提出PCA-SIFT方法，提升了匹配速度；HerbertBay等人在2008年又提出了经典的SURF算法进行图像配准；基于像素灰度值的方法：Hajnal,J.V.等人在1995年提出使用灰度差的平方和作为相似性度量衡量单模态图像匹配度程度；Studholme,C等人在1999年提出了针对多模态图像配准和拼接的互信息法，之后他又在2001年对其进行了改善，提出了归一化的互信息测度。

专利方面，申请号为CN201010154362.8的中国发明专利申请借助二维小波变换实现对PCB图像的快速拼接；申请号为CN201010117300.X的中国发明专利申请利用自然图像边缘信息提取SIFT特征，有效改善了拼接质量；申请号为CN201210261546.3的中国发明专利通过筛选特征点匹配，提升拼接精度的同时还降低了算法的复杂度。申请号为CN201110159291.5的中国发明专利公开了一种用于图像拼接的鱼眼校正方法；申请号为CN201210066218.8的中国发明专利将SURF算法应用于用于水下监测的声纳图像。

相比较于其他图像，医学图像有其本身的特点和特殊的应用。医学图像一般来讲分辨率不高，大多是灰度图，所拍摄的人体骨骼、内脏等物体特征点不明显，并不适合使用基于特征的方法，尤其是所提取的用于配准的关键特征点个数较少；其次，医学图像常常涉及到专业的医学知识，拼接结果是否正确、是否反映出了病理、怎样的结果更利于医生诊断等等这些问题，只依靠专门开发拼接方法的技术人员是不够的，需要有专业的医生配合，因此拼接时的交互功能在开发中也显得非常重要。

发明内容

针对现有技术的缺陷，本发明的目的是提供一种基于互信息和交互的医学图像拼接方法，通过直接利用图像的灰度信息就能够实现配准，并且提供接口，将一定的主动权交给医生，通过这样的交互使得图像拼接，方便医生诊断。

为实现上述目的，本发明采用的技术方案是：将多幅连续拍摄的医学图像进行拼接，总体上说，拼接过程首先是得到待拼接图像中每两幅之间的重叠区域参数，然后一幅接一幅对重合区域进行融合，完成拼接。本发明专门针对医学图像利用互信息，改进配准和融合过程的策略，并加入交互功能，最终得到超大视角的医学图像。在寻找图像配准参数的搜索策略上改进为目标区域和比较区域同时增大，并且在水平和竖直两个方向依次进行配准。然后根据得到的配准参数进行图像融合和无缝处理，除了利用线性加权函数平滑过渡重合区域之外，在确定拼接结果图像的区域大小上也进行了改进，实现任意幅图像的自动无缝拼接，最终得到超大视角的医学图像。另外，为了提升拼接速度和适应医生需求，实现时增加了与医生的交互，医生可以人为划定待匹配的区域，按需简化拼接过程。

一种基于互信息和交互的医学图像拼接方法，包括如下步骤：

第一步，图像预处理：将待拼接图像raw格式数据从二进制16位降为8位；

第二步，图像配准：确定拼接主方向之后，利用互信息度量相似度，分别从水平和竖直方向上进行配准得到配准参数，主拼接方向采用目标区域和比较区域同时增大的策略，另一个方向采用选定固定的比较区域、搜索匹配的目标区域的策略；

第三步，图像融合：利用配准参数，首先采取确定拼接结果图像大小的策略得到最终结果图像的宽和高，然后融合图像数据，重叠区域采取线性加权融合进行平滑过渡；

所述确定拼接结果图像大小的策略，是指：图像采用一幅接一幅拼，即每步把已经拼好的作为新的一幅图和下一幅图去拼，并且以下一幅图的上下边界作为结果的上下边界，在两幅图拼接的时候，拼接结果的宽度为两张图的宽之和减去重合区域的宽度，高度为后面第二张图的高度，并且就以第二张图的上边界和下边界作为拼接结果的边界，拼接好的图和第三张图继续重复上述过程，如此反复直至拼接完成。

优选地，所述图像预处理进一步包括去除图像中的噪声和/或图像增强。

优选地，所述的图像配准，首先在水平和竖直方向依次进行配准，其次在不同方向上采取了不同的搜索策略，具体如下：

待配准的两幅图，在水平方向，采取比较区域和目标区域同时增大的策略，每一次互信息计算迭代之时，都加入新的像素参与计算；而在竖直方向，采取选定固定比较区域、移动搜索匹配目标区域的策略。

更优选地，所述水平方向作为拼接的主方向，使每次迭代参与计算互信息匹配的两块区域同时增大，在选定初始区域大小后，宽度以+2的幅度增加，直到搜索截止条件，得到水平方向上的位移偏移量dx。

所述的图像配准中区域的选取方式为以下两种的任一种：

一种是自动默认的区域选取方式，以源图像的最右边和目标图像的最左边为边界，选取height*(1/10*width)的区域作为起始区域对，每次计算完成互信息计算后宽度以+2的幅度增加，直至宽度增加到1/2*width(50%)截止；

另一种是通过交互的接口自行定义模板对的起始区域和终止区域。

更优选地，所述竖直方向，是指在水平方向搜索到重叠区域的宽度即位移偏移量dx后，采用搜索策略来确定竖直方向的偏移量，在源图像中选定dx*(1/3*height)的比较区域，然后在目标图像中已经通过dx确定的重叠搜索区域范围内移动目标区域，寻找出互信息值最大时对应的竖直方向的位移偏移量dy。

优选地，所述的图像融合，在拼接结果图像的大小确定之后，非重叠区域直接取原图灰度值，重叠区域由两幅图按照权值各自贡献一部分组成新的灰度值，剩余的区域用0填充。

与现有技术相比，本发明具有如下的有益效果：

首先，对任意幅图像都可以实现准确的拼接，方法的稳健性较强；

其次，拼接结果图像的大小精简；

最后，加入交互功能使得拼接过程更加便捷，满足医生需求；

本发明通过对现有医学图像拼接中交互功能、搜索策略的改进以及最后拼接结果图像大小的确定，能取得令人满意的拼接结果，有着重要的临床应用价值和研究意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1水平方向配准时的示意图。

图2为竖直方向配准时的示意图。

图3为水平拼接的三幅图竖直方向位移偏向同一方向时，最后确定结果图像区域大小的示意图。

图4为水平拼接的三幅图竖直方向位移偏向不同方向时，最后确定结果图像区域大小的示意图。

图5为拼接测试样例图。

图6为测试图水平方向配准示意图。

图7为测试图竖直方向配准示意图。

图8为测试图拼接结果。

图9-图12为更多测试图像的拼接结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提出一种专门针对医学图像拼接的方法，该方法首先利用互信息配准得到多幅图像两两之间的重叠区域参数，再对重叠区域进行图像融合和最后的拼接，从而实现了超大视角医学图像的获取。具体可以包括如下步骤：

1、图像预处理。图像序列来源于医院CT成像，均为raw格式原始图像，灰度数据是16位，最重要的一步是将灰度数据降为8位(0-255)，主要是为接下来互信息的计算提供便利。数据范围缩小从而更加集中，不仅利于编程和运算，还会很大程度上避免运算过程中出现的局部极值问题。

16位二进制可表达的像素值范围是0-65536，然而一般的医学图像其像素值分布范围远没有这么宽，所以将其降为8位(0-255)，使得数据更加集中，这主要是便于之后用于计算近似概率密度函数的直方图，而且数据范围缩小也利于互信息计算局部极值的出现和最终编程的实现。

图像预处理还可以进一步包括去除图像中的噪声和图像增强等。图像的获取过程中都存在一定的噪声，而且噪声往往与信号交织在一起，一般采用频域滤波、空间域滤波和形态学滤波等方法。图像增强技术按照提高灰度分辨能力和提高细节分辨能力可分为对比度增强和边缘细节增强。直方图均衡化是常用的一种对比度增强方法，当一幅图像的对比度比较低时，说明它的灰度级别不够多或者分布不均匀，因此需要进行直方图均衡化处理。

由于图像预处理不是本发明的重点，因此这里不做进一步展开。在实施医学图像拼接的过程中，根据所处理图像的性质等选择合适的图像预处理和增强方法，以保证后续的拼接工作更加高质量的实现。

2、重叠区域搜索，这里以两幅图像、拼接方向为水平方向为例进行阐述。此步即为最重要的配准步骤，图像配准是依据相似性度量来决定图像见的变换参数，使不同视角、不同时间获取的同一场景的多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程。

图像配准过程中，本发明通过搜索最佳区域来确定图像重叠区域。设有两幅图像I1和I2，左边的I1为源图像，右边的I2为目标图像。选择区域时可以根据图像的特征来定义，尽量包含重叠区域的主要特征物，一般来讲要拼接的医学图像有5%一25%的重叠区。搜索过程分为水平方向和竖直方向两步：

(1)、水平方向

作为拼接的主方向，要求配准参数精度较高，本发明采取一种不同于传统方法的搜索策略。传统的搜索策略是在源图像I1中选定一块固定的比较区域，在目标图像I2中搜索匹配的对应区域，即比较区域及其大小是不变的，这样做的缺点有二，一来无法确定合适的大小，二来参与计算的像素个数固定，无法提供更多信息。本发明采用的策略是使得每次迭代参与计算互信息匹配的两块区域同时增大，在选定初始区域大小后，宽度以+2的幅度增加，直到搜索截止条件，得到重叠区域(如图1所示)。这样虽然计算时间上略有增加，但每次都有额外的像素加入计算，提升了精度。

对于区域选取本发明提供两种选取方式，一种是自动默认的区域选取方式，基于对大量CT图像的观察和一般重叠度大小的估计，以源图像的最右边和目标图像的最左边为边界，选取height*(1/10*width)的区域作为起始区域对，每次计算完成互信息计算后宽度以+2的幅度增加，直至宽度增加到1/2*width(50%)截止。另一种是由医生自行定义模板对的起始区域和终止区域，由于医生经验丰富，可以人为快速地确定两幅图中重叠区域的大概范围，这样缩小搜索比对区域，避免了大量的无谓计算，该发明在实现时专门为医生留有交互的接口。

(2)竖直方向

在水平方向搜索到重叠区域的宽度dx后，这一步采用传统的搜索策略来确定竖直方向的偏移量。在源图像I1中选定dx*(1/3*height)的比较区域，然后在目标图像I2中已经通过dx确定的重叠搜索区域范围内移动目标区域，寻找出互信息值最大时对应的竖直方向的位移偏移量dy(如图2所示)。

设在源图像中的区域为R，在目标图像中的区域为F，则其灰度相关用互信息I(R,F)来度量，表达式见(1)-(4)所示。

I(R，F)＝H(R)+H(F)-H(R，F)(1)

H(R)＝-∑_rp_R(r)log₂p_R(r)(2)

H(F)＝-∑_fp_F(f)log₂p_F(f)(3)

H(R，F)＝-∑_r，fp_RF(r，f)log₂p_RF(r，f)(4)

其中H(R)、H(F)、H(R,F)分别为区域R的熵、区域F的熵、联合熵；p_R(r)和p_F(f)为R和F的概率密度函数，p_RF(r,f)为两幅图像的联合概率密度函数，具体计算时均以图像的直方图近似作为概率密度函数。互信息值越大说明两区域的相关度越大，即重叠概率越大，所搜到的重叠区域越完整。遍历整个搜索范围，寻找最大相似度，得到最佳匹配区域，即找到待拼接图像的重叠区域。然后进行两幅图像配准，变换到同一坐标中。

3、图像融合与拼接。这一步包含两个任务，一个是图像融合，另一个是确定最终结果图像的大小。

图像融合是图像拼接的一个关键技术。图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术。配准后的图像中，由于光照、旋转和平移等因素的影响，直接拼接出来或者单纯的重叠区域覆盖，效果往往不是很理想，重叠部分有时会产生模糊、鬼影或噪声点，边界处也可能形成明显的拼缝。为了改善拼接图像的视觉效果和客观质量，需要对拼接后的图像进行融合。以重叠区域的两边界为起始位置，本发明按照线性加权方法融合得到新区域。拼接策略如下，非重叠区域直接取原图灰度值，重叠区域由两幅图按照权值各自贡献一部分组成新的灰度值，权值见表达式(5)所示。

$I(x,y)=\left\{\begin{array}{cc}I1(x,y),& (x,y)\∈I1\\ (1-w)*I1(x,y)+w*I2(x,y),& (x,y)\∈(I1\∩I2)\\ I2(x,y),& (x,y)\∈I2\end{array}\right.---\left(5\right)$

其中，I(x,y)表示拼接结果图像的像素值，I1(x,y)、I2(x,y)表示图像I1和I2的像素值，w为权值：x_r为图像I1重叠区域的左边界。

待拼接的多幅图像两两之间水平方向必有位移偏移(因为是水平方向拼接)，竖直方向也可能同时存在位移偏移，而且有的向上偏，有的向下偏，会出现多种情况的组合，这样对最后结果图像的大小的确定构成了一定困难。传统的策略是通过确定偏移量中的最大值来确定最后画布的大小，但是这只能是针对都偏向同一方向的情况，而且一般作为研究大多数情况只研究两幅图像的拼接。本发明针对的是面向应用的，不仅要找到任意多幅图像两两之间的配准参数，还要最后拼接起来，所以采取了一种新的策略。首先大方向是一幅接一幅的拼，而不是多幅图一起拼；其次在两幅图拼接的时候，拼接结果的宽度为两张图的宽之和减去重合区域的宽度，高度为后面第二张图的高度，并且就以第二张图的上边界和下边界作为拼接结果的边界，拼接好的图和第三张图继续重复上述过程，如此反复直至拼接完成。这样的策略不仅依然能够保证图像的主要部分都出现在最后结果而没有被截掉，还最精简地得到了结果图像的大小(如图3、4所示)。

实施例：

为了使得方法效果显示的更加明显，本实施例选取了两幅水平方向和竖直方向都存在位移偏差的医学图像进行拼接(如图5所示，height=width=2021)，主方向是水平方向拼接。这两图对比度比较适宜，也不存在明显的噪声，故略去了预处理环节。

首先进行水平方向的配准。先在源图像I1和目标图像I2中选定初始区域对，开始计算互信息，然后按照箭头的方向，每一次区域的宽度都以+2的幅度增加(注意要保证区域对的两个面积始终相同)，增加一次计算一次互信息，如此反复直至到达搜索终点(程序默认是搜索到1/4宽度，启动交互功能后医生可以自行设定)。互信息达到最大时对应的区域其宽度为dx=922，代表此时来自两幅图的两个区域相似度是最大的，重叠区域就在这个范围内(如图6所示)。

其次是竖直方向的配准。先在源图像I1中选定一个包含主要特征物的比较区域，然后在目标图像I2中以相同大小的目标区域从上向下搜索，直到目标区域到达图像底部为止。互信息达到最大时对应的区域即为与I1中相似度最大的区域，可认为是最终的重叠区域，此时竖直方向的偏移量为dy=268，代表目标图像I2应该在拼接的时候向上移dy的距离(如图7所示)。

接下来需要对重合区域进行图像融合以及最后的拼接。如果不进行融合而直接用目标图像I2去覆盖源图像I1，得到的结果如图所示，有明显的缝存在，但是进行线性加权融合后得到的结果如图所示，这样的结果是比较令人满意的。而确定这幅结果图的大小时，采用的策略见图所示，由于相对源图像I1，目标图像I2向下偏了，拼接的时候需要向上移动，那么在确定最后结果图像大小的时候，就以目标图像I2的上边界和下边界作为结果的边界。可以看到源图像I1中损失的只是靠下的黑色背景部分，这部分本身对诊断也无用，当然上边多出来的部分要用0填充。最终的结果如图8所示(height=2021，width=3120)。

对于多幅图的拼接，就是将上述两幅图的拼接过程迭代重复，图9-图12是更多测试图像的拼接结果，包括了三幅和四幅图拼接的情况，可以看到效果都很令人满意。

为了验证交互功能带来的好处，这里以拼接时间作为评价标准。对于如图9所示的三幅图拼接，当选择默认搜索区域进行拼接时耗时32s；然而对于医生来说，可以快速选择更小的搜索范围，观察发现这三幅图的重叠度在20%左右，只需要搜索到25%即可，可见医生人为的操作可以减少不必要的计算，本实施例最终拼接耗时14s，可以看到有很明显的改善。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于互信息和交互的医学图像拼接方法，其特征在于包括如下步骤：

第一步，图像预处理：将待拼接图像raw格式数据从二进制16位降为8位；

第二步，图像配准：确定拼接主方向之后，利用互信息度量相似度，分别从水平和竖直方向上进行配准得到配准参数，主拼接方向采用目标区域和比较区域同时增大的策略，另一个方向采用选定固定的比较区域、搜索匹配的目标区域的策略；

第三步，图像融合：利用配准参数，首先采取确定拼接结果图像大小的策略得到最终结果图像的宽和高，然后融合图像数据，重叠区域采取线性加权融合进行平滑过渡；

所述确定拼接结果图像大小的策略，是指：图像采用一幅接一幅拼，即每步把已经拼好的作为新的一幅图和下一幅图去拼，并且以下一幅图的上下边界作为结果的上下边界，在两幅图拼接的时候，拼接结果的宽度为两张图的宽之和减去重合区域的宽度，高度为后面第二张图的高度，并且就以第二张图的上边界和下边界作为拼接结果的边界，拼接好的图和第三张图继续重复上述过程，如此反复直至拼接完成。

2.根据权利要求1所述的基于互信息和交互的医学图像拼接方法，其特征在于所述图像预处理进一步包括去除图像中的噪声和/或图像增强。

3.根据权利要求1所述的基于互信息和交互的医学图像拼接方法，其特征在于所述的图像配准，首先在水平和竖直方向依次进行配准，其次在不同方向上采取了不同的搜索策略，具体如下：

待配准的两幅图，在水平方向，采取比较区域和目标区域同时增大的策略，每一次互信息计算迭代之时，都加入新的像素参与计算；而在竖直方向，采取选定固定比较区域、移动搜索匹配目标区域的策略。

4.根据权利要求3所述的基于互信息和交互的医学图像拼接方法，其特征在于所述水平方向作为拼接的主方向，使每次迭代参与计算互信息匹配的两块区域同时增大，在选定初始区域大小后，宽度以+2的幅度增加，直到搜索截止条件，得到重叠区域的宽度。

5.根据权利要求4所述的基于互信息和交互的医学图像拼接方法，其特征在于所述的区域，其选取方式为以下两种的任一种：

一种是自动默认的区域选取方式，以源图像的最右边和目标图像的最左边为边界，选取height*(1/10*width)的区域作为起始区域对，每次计算完成互信息计算后宽度以+2的幅度增加，直至宽度增加到1/2*width截止；

另一种是通过交互的接口自行定义模板对的起始区域和终止区域。

6.根据权利要求3所述的基于互信息和交互的医学图像拼接方法，其特征在于所述竖直方向，是指在水平方向搜索到重叠区域的宽度dx后，采用搜索策略来确定竖直方向的偏移量，在源图像中选定dx*(1/3*height)的比较区域，然后在目标图像中已经通过dx确定的重叠搜索区域范围内移动目标区域，寻找出互信息值最大时对应的竖直方向的位移偏移量dy。

7.根据权利要求1-6任一项所述的基于互信息和交互的医学图像拼接方法，其特征在于所述的图像融合，在拼接结果图像的大小确定之后，非重叠区域直接取原图灰度值，重叠区域由两幅图按照权值各自贡献一部分组成新的灰度值，剩余的区域用0填充。