CN101751659B - 大容量快速图像拼接方法 - Google Patents

Abstract

本发明公开了一种大量图像全局拼接的方法，通过该方法可以拼接数量不限的图像数据，并通过TMAP文件格式对拼接完的数据进行分层存储。该方法包括步骤：初始化全局图像信息，从图像输入设备获取当前图像，并与当前图像周围相邻图像进行拼接，加权得出当前图像在全局图像中的位置。直到所有图像全部拼接完成，然后进行全局的位置校正。具体拼接过程包括步骤：初始化待拼接图像参数，确定可能的重合范围，截取两幅图像重合区域的图像数据进行分析。采用最大相关法由粗到精计算图像拼接位置，并对拼接位置附近的像素点进行加权平滑处理，最后，保存到TMAP格式的文件中用于以后的浏览和分析。

Description

大容量快速图像拼接方法

技术领域

本发明属于图像数据处理技术领域。具体涉及用于大容量图像数据的快速拼接以及实时使用技术。

背景技术

随着计算机技术的发展，各种信息的数字化存储已经逐渐为人们所接受。然而，随着各种信息的增加，海量信息的存储、分析、处理也成为一个值得研究的重要课题。

在各种信息中，用得最多的是文字和图像信息。一般来说，图像更能表达更多的信息。然而，随着人们对图像质量、精度的要求越来越高，大容量图像的存储、分析、浏览已成为一个问题浮现出来。例如，在医疗、半导体、地理系统等领域中，通常的做法是将大容量图像数据分块采集、存储。

在采集图像放大倍率很高的情况下，例如，医学图像放大倍率通常为200倍/400倍。在这样高的放大倍率下，通常的马达移动无法保证如此高的移动精度，通常采用的做法是使相邻两幅图像之间有一定的重合面积，采集完之后再将这些图像拼接成一个大的图像这样一种方式。

然而，在实际的操作过程中发现，大量图像的拼接很容易造成很多地方存在拼接痕迹。这是由于模拟信号到数字信号转换过程中存在信息丢失，以致于任意两幅图像拼接很难达到亚像素精度，均或多或少存在一定的误差。这些误差累积起来，就有可能造成拼接裂缝。本发明采用的图像处理方法可以较好地解决这个问题。

发明内容

本发明定义了一种用于大容量图像的快速图像拼接方法，结合发明专利200610126845.0中定义的TMAP图像格式，就形成了一整套大容量图像处理解决方案。

本发明定义的图像拼接方法，实现了大容量图像数据采集与拼接同步进行，图像采集完成即拼接完成、图像存储完成。可用于后续的图像浏览等需求。

本发明定义的图像拼接方法，使用TMAP图像文件格式存储拼接后的图像。使用该格式存储的图像数据理论上可支持无限容量的图像文件。该文件格式采用分层(Layer)/分块(Tile)的方式对图像数据进行存储。存储时可以选择不同的压缩方式，并可以根据操作系统的要求定义每个数据块文件的最大容量(通常每个数据文件最大为2G)。在生产数据块文件的同时会生成一个索引文件，用于进行数据快速检索。

首先，在本发明中定义以下几个概念。

全局图像

本发明定义的全局图像是指整个拼接过程完成之后形成的整幅图像。通常这个图像具有较大的尺寸，需要定义特定的数据结构来存储。

子图像

本发明定义的子图像是指待拼接的所有图像。这些子图像拼接完成后就形成了完整的全局图像。通常用符号Img[i][j]表示位于全局图像第i行第j列的图像。

相邻图像

相邻图像是指与当前子图像具有重合数据的子图像。具体地说，就是当前图像正上方，正下方，正左方和正右方的四幅图像。

拼接顺序

本发明定义的拼接顺序是指拼接过程读取图像的顺序。通常和图像采集设备采集图像的顺序一致。一般的做法是从左至右，自上而下的顺序进行。但本发明定义的拼接顺序包括但不限于这两种顺序，任何图像读取顺序均可以采用本发明的方案。

拼接可信度

拼接可信度是指两幅图像拼接完成后，评价拼接结果可靠性的一个值，通常可以归一化到0-100之间。0表示拼接结果很不可靠，例如，两幅完全纯色的图像，在任意拼接位置都其重合面积都有最高的相似度。100表示最高的可信度，意味着在两幅图像的重合区域有最高的相似度，并且其它位置的相似度很差。

本发明具体采用以下技术方案：

1、一种大容量快速图像拼接方法，所述方法用于拼接数量不限的图像数据，并通过TMAP文件格式对拼接完的数据进行分层存储；其特征在于，该方法包括步骤：

(1)初始化全局图像信息，包括定义全局图像行数和全局图像列数；

(2)读入图像采集设备分块采集的子图像，该子图像可以由采集设备采集，也可以从存储设备中读取；(3)判断当前读入子图像的相邻子图像是否已经读入；

(4)当当前读入子图像没有相邻的子图像读入时，设置当前读入子图像在全局图像中的位置；

(5)当当前读入子图像已经有相邻子图像读入时，将所述当前读入子图像与其相邻子图像进行拼接；

(6)当前读入子图像拼接完成后，重复步骤(2)-(4)，直到整幅图像拼接完成；

(7)进行子图像位置的全局校正，完成全局图像的拼接，并通过TMAP文件格式进行存储。

本发明定义的图像拼接方法，最大程度上保证了实时性。本方法由整幅图像分块采集而得到的图像序列的第一个图像块采集开始，就进入图像拼接流程。并在图像数据采集过程中，通过由粗至精的自适应相关性计算方法，准确快速定位图像块间的相对位置，进行图像动态位置校正。

本发明定义的图像拼接方法，实现了图像块间的无缝拼接。在图像拼接中，对图像块边缘区域像素点所在的位置分配适宜的权重，并根据权重的大小对边缘区域的像素点进行平滑处理，从而抑制了伪边缘，准确地还原了图像原貌。

本发明定义的图像拼接方法，考虑到图像数据由模拟信号转换成数字信号带来的像素误差，通常这个误差在0.5个像素范围内。然而，这些误差在大量图像拼接累积后可以达到非常大。因此在拼接时需要考虑相邻图像块的相对位置关系，同时对最后形成的整幅图像还需要做全局的位置校正。

附图说明

图1是本发明定义的多图像拼接流程图。

图2是全局图像与子图像的相对位置示意图。

图3是本发明定义的两幅图像拼接流程图。

图4是两幅图像拼接重合位置的关系图。

图5是拼接时平滑过程的示意图。

具体实施方式

下面根据说明书附图并结合优选实施例对本发明的技术方案作进一步详细说明。

本实例选用的计算机系统为普通的PC系统，操作系统为Windows XP HOME版。但是，本领域的技术人员将理解本发明的精神和范围不限于任何一种计算机机型和操作系统，以及特定的通讯协议。

本实例选用的切片图像采集设备为实用新型专利ZL200620139251.9中介绍的切片组织采集系统。该设备可以将显微镜下可观察的切片上的组织图像通过高分辨率的CCD工业相机传给PC，并可在PC上观察或者保存为图像格式的文件。本实例描述了本发明中定义的图像拼接方法在医疗领域中的一个应用。

下面具体介绍拼接的整个实现过程。

基于医疗图像的高分辨率、大容量的特点，图像采集过程中通常采取分块采集的方法。本实例中，以病理切片图像的采集过程为例，说明本发明定义的图像拼接方法的过程及特点。在本实例中，对高分辨率、大容量的病理切片图像进行分块采集，需要将分块采集的小图像拼接成整幅图像。由于机械精密程度的影响，相邻的图像块之间会有边缘像素的重叠，重叠像素的多少是设备相关的。每个图像块与上下左右相邻的图像块之间都存在或多或少的重叠区域，在图像拼接时，必须考虑到重叠部分对拼接效果的影响。

图1是本发明定义的多图像拼接流程图。该流程包括以下几个主要步骤。全局图像信息初始化(101)：

定义了拼接所需要的全局信息，包括但不局限于以下内容：

全局图像行数，在水平方向上由多少子图像构成；

全局图像列数，在竖直方向上由多少子图像构成；

输入采集的下一幅子图像并拼接(102)：

为了实现快速拼接，本发明定义的方法采用了在图像采集的同时进行图像拼接的解决方案。在本实例中，病理切片是分块采集的。由此可以将整个拼接过程分成两个阶段，当采集的图像块位于整幅图像的第一行时，新采集的图像块仅仅需要与左右两边先采集完毕的图像块进行拼接；当采集的图像块位于整幅图像的第二行(含)至最后一行(含)时，新采集的图像块在与其左右两边先采集完毕的图像块进行拼接的同时，还需要与上下两边先采集完毕的图像块进行拼接。实际上，这也是图像对准的过程。

如图2所示，一个个互相连接的子图像组成了全局图像。图2中，黑色的子图像位于全局图像的第三行第二列(在图像的分块采集时，就标识出子图像在原图像中的位置，但该标识出的位置与其在拼接后的全局图像中的位置有一定程度的偏移，因此不等同于其在拼接后的全局图像中的位置，因为采集的子图像间存在重合区域，所以需要图像对准、图像融合等处理，才能确定待拼接图像在全局图像中的确切位置)，于是这个子图像的下标号定义为[3][2]。图像采集设备，每次采集一个子图像的数据信息。从图像采集设备或者磁盘读入一幅待拼接子图像以及它的下标号[i][j]，考察与它相邻的图像(上下左右)是否已经输入。如果与它相邻的图像已经输入，则根据它与相邻图像的位置关系进行两幅图像的拼接，综合考虑所有相邻拼接结果加权确定该子图像在全局图像中的具体位置。例如，对下标号为[i][j]的子图像来说，假设它上方相邻的图像在前面已经输入，根据拼接结果确定当前子图像在全局图像中的位置应该为X1，Y1，其中该处所述拼接结果实际上是指子图像对准的结果，当前子图像与相邻子图像进行对准、拼接后，可以得到当前子图像与相邻子图像的相对位置，进而确定当前子图像在全局图像中的位置，确定当前子图像与相邻子图像拼接可信度为w1，所述拼接可信度就是由当前子图像与其上方相邻图像得到的最大相关性。如果同时当前输入子图像的左方相邻的图像在前面也已经输入，根据拼接结果确定当前子图像在全局图像中的位置应该为X2，Y2，拼接可信度为w2、即由当前图像与其左方相邻图像得到的最大相关性，那么当前子图像(指下标号为[i][j]的子图像)的实际位置计算公式为：

X[i][j]＝(X1*w1+X2*w2)/(w1+w2)；

Y[i][j]＝(Y1*w1+Y2*w2)/(w1+w2)；

其中，X是指该图像在全局图像中的x坐标，Y是指该图像在全局图像中的y坐标，所有单位均为图像像素。

如果该子图像周围的子图像都还没有输入进来，定义该子图像在全局图像中的位置为由该子图像在分块采集时所确定的下标号位置。例如，对下标号为[i][j]的子图像来说，其下标号确定的位置就是

X[i][j]＝i*h；Y[i][j]＝j*w；

其中，X是指该图像在全局图像中的x坐标，Y是指该图像在全局图像中的y坐标，w指子图像的宽度，h指子图像的高度，所有单位均为图像像素。

全局位置调整(103)

拼接过程完成之后，能够拼接在一起的子图像都连在一起形成了一个整体。剩下的由于拼接可信度不高，或者某些位置根本没有输入图像而形成孤立的子图像块。这时候可以根据已经拼接好的图像的位置关系来调整孤立图像的位置关系。对已经拼接好的子图像[i][j]来说，它们下标确定的位置(这个根据下标确定的位置是假设每次采集的子图像块间不存在重叠像素，并无缝相接的情况下，当前子图像块在全局图像中的位置。单位为像素。这是一种理想状态，现实中图像采集设备不可能达到这个精度)是：

X0＝i*h；Y0＝j*w；

拼接完成后，它们在全局图像中的实际位置(由步骤102计算得到)为：

X[i][j]和Y[i][j]

那么，拼接后位置和原来根据下标确定的位置图像的位置关系可以由下列公式确定：

X[i][j]＝X0+a*(j-1)；

Y[i][j]＝Y0+b*(i-1)；(*)

对所有(X，Y)，(X1，Y1)进行HOUGH变换，即对每一个非孤立的置信度大于阈值(所述阈值可由客户定制)的图像进行HOUGH变换，可以求出最佳拼接参数a，b。从而，对于孤立子图像(即置信度低于所述阈值或者由于组织信息太少导致的无法确定置信度的子图像)来说，下标确定的位置X0、Y0是已知的，可以通过公式(*)来确定它们在全局图像中的位置X[i][j]、Y[i][j]。

这就得到了所有子图像在全局图像中的精确位置，即拼接完成。

图3为本发明定义的图像两两拼接流程图。该流程由以下几个部分组成。

子图像信息初始化，此处子图像是指拼接前的子图像，即设备每次采集的图像数据块；

用户自定义子图像信息，包括但不限于以下部分，

子图像基本信息：子图像大小、颜色；

可能重合的像素数A；

可能重合的偏移量B(所述可能重合的偏移量B指的是，对A的估计值可能产生的偏差范围。)；

其中A和B在具体数值上是图像采集设备相关的，对同一个设备而言，基本一致。这也是经验值，用户可以使用此设备拍摄几组图像，通过图像浏览软件进行观察，进而估计A和B的可能值。只要保证实际重合像素在(A-B，A+B)范围内就可以。应用于具体设备时，可由厂商预设默认值。

由图3可知，两幅图像拼接时实际重合像素在(A-B，A+B)范围内。下面结合图3说明两幅图像拼接的具体步骤：

截取候选区域(301)：

此处举例说明，设实际重合像素为Result，则Result的取值范围是(A-B，A+B)，设A为128个像素，B为64个像素，则Result的范围就是(64，192)。对这个区域中的值进行采样，比如每隔16个像素采样，得到64、80、96……192，这就是候选区域。

各个子图像块之间的重叠区域是图像采集设备相关的。也就是说对于一个具体的图像采集设备，采集的子图像块之间的重叠区域的大小大致在一个范围内，这个范围是个经验值。从相邻两幅要拼接的子图像中截取各自的候选区域，必须保证这两个子图像块之间的重叠区域包含于两幅图像的候选区域中。截取候选区域是由粗至精、即采样的像素间隔逐步缩小(比如由16到8，然后4、2、1，这样可以最大限度的降低计算量)，寻找图像对准位置的过程，也是出于实时性的考虑。此处理步骤，将图像处理的计算量，由图像块全体，缩小至包含重叠区域的较小的候选区域。

根据用户自定义的图像信息，截取两幅子图像中可能重合的区域作为候选区域。根据用户自定义的图像信息，可知候选区域为(A-B，A+B)。只需考虑可能重合面积内的图像数据(可能重合面积内的图像数据，即候选区域内的图像数据。此步骤以及后续的图像增强，都是为拼接做的准备工作，拼接所依据的就是图像的最大相关性。在最大相关性的计算中，需要遍历图像中的像素。于是选择的区域越小，计算量就越小。截取候选区域，就是将可能重合的部分截取出来用于后续的最大相关性计算，这样就比计算整个子图像节省时间)。此操作步骤可以大大减轻图像拼接的计算量，从而保证了实时性。

图像增强(302)：

首先将输入子图像转化为灰度图像，进一步减少子图像数据处理量。然后对转化后的灰度图像进行图像增强。根据图像的直方图，对图像做中间拉伸。即忽略直方图中亮度很高或极低的部分，将中间亮度区的图像点的亮度拉伸至整个亮度区域。此操作可以减小光照及背景对图像的影响，突出图像本身的特征。

图像拼接(303)：

本实例采用最大相关性计算方法来计算图像的拼接位置。根据下式计算两个图像块的候选区域之间的相关性，当获得最大相关性时，即认为寻找到图像融合的最佳偏移位置，然后根据此偏移量调整图像块的相对位置，(下面的公式用于最大相关性Corr计算。也就是位置计算公式中的置信度)

$\mathrm{Corr}=\frac{I_1(i,j)*I_2(m,n)}{\sqrt{\underset{i,j}{\mathrm{\Σ}}{I}_1^2(i,j)}*\sqrt{\underset{m,n}{\mathrm{\Σ}}{I}_2^2(m,n)}}$

其中，Corr表示采集的前一幅图像块的候选区域和当前采集的图像块的候选区域的相关性，I₁(i，j)表示子图像I₁第i行j列像素的灰度值，I₂(m，n)表示子图像I₂第m行n列像素的灰度值，水平偏移量和垂直偏移量分别为Corr取得最大值时，i与m的差和j与n的差。

用于计算最大相关性的图像块的候选区域是由粗至精逐步定位的。首先，把图像的重合区域分成很多块，计算出最大相关性所在的块，然后逐步把块细分，直到细分单位是一个像素为止，此时计算出的最大相关性位置就是重合位置。

图像平滑(304)：

本发明定义的方法。在两幅子图像块的重合区域，为了抑制图像块边缘相接处的伪边缘，需要在图像拼接过程中，对图像块边界区域的像素进行平滑处理。本发明中采用分配权重的方法对边界区域的像素点进行平滑。

首先进行两幅子图像块的重合区域图像清晰度C(i，j)的计算。为抑制噪声做准备。

利用当前像素的梯度在水平和垂直两个方向上的分量的平方和来高效准确地对该像素的清晰度进行刻画：

$C(i,j)=\sqrt{{(I(i,j-1)-I(i,j+1))}^2+{(I(i-1,j)-I(i+1,j))}^2}$

其中，C(i，j)表示图像中第i行j列像素的清晰度，I(i，j)表示图像中第i行j列像素的灰度。比较待融合子图像中对应点的C(i，j)值，选择清晰度高的点(值较大的点)作为融合结果，其中图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观察或进一步处理。对于此实例，因为真实图像，也就是拼接后的全局图像中的某些点，在图像采集的时候，实际采集了两次或者多于两次(机械精度相关，并且分布于不同的相邻子图像中)，将这些点合为一点的过程，就是这里所说的图像融合。实际上就是确定该点像素值的过程。下面举例说明：

在图5中，设曲线是拼接后图像中存在的一个边缘。选取曲线上任一点O，设点O在图5-1中对应的灰度值为I_a(i_o，j_o)，在图5-2中对应的灰度值为I_b(i_o，j_o)。图像拼接完成后，点O的灰度值为I_R(i_o，j_o)。

I_R(i_o，j_o)＝I_a(i_o，j_o)*N_a+I_b(i_o，j_o)*N_b

N_a和N_b分别是待拼接的两幅子图像对应像素对O点灰度值的权重。权重由O点的8个邻域点(以O为中心，3*3矩阵内的其余8个像素点)在5-1和5-2两幅图像中的分布状况决定。以图5为例，8个邻域点中，4个分布在图5-1中，其余4个分布在图5-2中。于是，N_a＝4/8；

N_b＝4/8。

代入公式I_R(i_o，j_o)＝I_a(i_o，j_o)*N_a+I_b(i_o，j_o)*N_b

则I_R(i_o，j_o)＝I_a(i_o，j_o)*⁴/₈+I_b(i_o，j_o)*⁴/₈

对边缘区域(边缘点上下左右三个像素范围内)中的每个点，使用上述方法，修正公式取得的像素点的灰度值，得到最终的拼接图像。

$I_R(i,j)=\left\{\begin{array}{cc}{I}_a(i,j)& C_a(i,j)\&GreaterEqual;C_b(i,j)\\ I_b(i,j)& C_a(i,j)<C_b(i,j)\end{array}\right.$

图像存储(305)：

图像在拼接的同时即实时存储为TMAP格式。对后续的图像浏览等操作提供了良好的支持。TMAP格式的图像是一种用于大容量图像存储的图像格式，使用该格式存储的图像数据理论上可支持无限容量的图像文件。该文件格式采用分层(Layer)/分块(Tile)的方式对图像数据进行存储。存储时可以选择不同的压缩方式，并可以根据操作系统的要求定义每个数据块文件的最大容量(通常每个数据文件最大为2G)。在生产数据块文件的同时会生成一个索引文件，用于进行数据快速检索。在发明专利200610126845.0中有具体的说明。

Claims (5)

1.一种大容量快速图像拼接方法，所述方法用于拼接数量不限的图像数据，并通过TMAP文件格式对拼接完的数据进行分层存储；其特征在于，该方法包括步骤：

(1)初始化全局图像信息，包括定义全局图像行数和全局图像列数；

(2)读入需要拼接的子图像，该子图像由采集设备采集，或者从存储设备中读取；

(3)判断当前读入子图像的相邻子图像是否已经读入；

(4)当当前读入子图像没有相邻的子图像读入时，设置当前读入子图像在全局图像中的位置；

(5)当当前读入子图像已经有相邻子图像读入时，将所述当前读入子图像与其相邻子图像进行拼接；

(6)当前读入子图像拼接完成后，重复步骤(2)-(4)，直到整幅图像拼接完成；

(7)进行子图像位置的全局校正，完成全局图像的拼接，并通过TMAP文件格式进行存储。

2.根据权利要求1所述的图像拼接方法，其特征在于，在整幅图像分块采集而得到的图像序列的第一个子图像读入的同时，进入图像拼接流程。

3.根据权利要求1所述的图像拼接方法，其特征在于，在两个子图像拼接时，采用以下步骤：

3.1截取候选区域：所述候选区域为包含两个待拼接的子图像的重叠区域的较小区域；

3.2图像增强：首先将当前输入子图像转化为灰度图像，并对转化后的灰度图像进行图像增强；

3.3采用最大相关性计算方法来计算当前子图像的拼接位置：

根据下式计算两个图像块的候选区域之间的相关性，当获得最大相关性时，即认为寻找到图像融合的最佳偏移位置，然后根据此偏移量调整图像块的相对位置，

$\mathrm{Corr}=\frac{I_1(i,j)*I_2(m,n)}{\sqrt{\underset{i,j}{\mathrm{\&Sigma;}}{I}_1^2(i,j)}*\sqrt{\underset{m,n}{\mathrm{\&Sigma;}}{I}_2^2(m,n)}}$

其中，Corr表示采集的前一幅图像块的候选区域和当前采集的图像块的候选区域的相关性，I₁(i，j)表示图像I₁第i行j列像素的灰度值，I₂(m，n)表示图像I₂第m行n列像素的灰度值，水平偏移量和垂直偏移量分别为Corr取得最大值时，i与m的差和j与n的差；

3.4采用分配权重的方法对拼接的两幅子图像的重合区域图像的像素进行平滑处理。

4.根据权利要求1所述的图像拼接方法，其特征在于，所述子图像位置的全局校正，是指根据已经拼接好的子图像的位置关系来调整孤立图像的位置关系，对所有已经拼接好的子图像的实际拼接位置和根据其下标确定的位置进行HOUGH变换求出最佳拼接参数a，b，由所述最佳拼接参数a，b和孤立子图像下标确定的位置得到确定所述孤立子图像在全局图像中的位置。

5.根据权利要求1所述的图像拼接方法，其特征在于拼接后的图像数据采用TMAP文件格式进行存储。

Images