CN116630164B - 海量显微图像的实时拼接方法 - Google Patents

Abstract

本发明公开了一种海量显微图像的实时拼接方法，包括：实时采集样本的显微图像，并校正；在扫描样本的过程中，实时计算、更新各显微图像在各个方向上的配准度及偏移量；实时计算所述显微图像集中各所述显微图像在各个方向上配准度之和，并搜索初始图像；以初始图像为起点，对显微图像进行实时拼接，且在实时拼接的过程中，持续进行显微图像的采集与校正，直至完成样本扫描；并在实时拼接的过程中，同步展示局部拼接完成的大视野显微图像。本发明应用于图像拼接领域，能够在显微图像采集的同时进行局部显微图像的实时拼接，解决海量显微图像难以进行实时、无缝拼接的问题。

Description

海量显微图像的实时拼接方法

技术领域

本发明涉及图像拼接技术领域，具体是一种海量显微图像的实时拼接方法。

背景技术

显微镜广泛应用于工业检测、医学分析以及激光、半导体等科学研究领域，但是在实际应用中，由于显微镜视野大小的限制，只能采集到待观察样本的部分图像。近年来，随着图像处理技术的快速发展，可以通过图像处理的方式，运用图像拼接技术将待观察样本在显微镜下各个视野的显微图像进行合成，从而获得具有较宽视野、较高分辨率的大视野显微图像。

图像拼接技术在虚拟现实、显微图像处理、遥感技术和军事领域等受到了广泛关注，是目前的研究热点。在显微图像拼接过程中，一方面，由于待拼接图像数量非常多且包含大量的分布不规律的空白视野等特点，导致显微图像拼接时间长、拼接错位以及拼缝明显等问题；另一方面，由于现有的图像拼接技术都是先匹配后融合的拼接方式，也就是说，当所有图像都拼接完成后才能得到最后的大视野显微图像，无法实现显微图像的实时拼接及大视野显微图像的实时预览。在某些应用中，能实时查看大视野显微图像并进行分析能节省大量的时间，提高工作效率。因此，对海量显微图像进行实时、无缝拼接是现在亟需解决的关键问题。

发明内容

针对上述现有技术中对海量显微图像难以进行实时、无缝拼接的问题，本发明提供一种海量显微图像的实时拼接方法，能够在显微图像采集的同时进行局部显微图像的实时拼接。

为实现上述目的，本发明提供一种海量显微图像的实时拼接方法，包括如下步骤：

步骤1，建立显微图像集，以蛇形扫描的方式实时采集样本的显微图像，并实时将校正后的显微图像保存至所述显微图像集，其中，在样本上位置相邻的两所述显微图像部分重叠；

步骤2，在扫描样本的过程中，实时计算、更新所述显微图像集中各所述显微图像在各个方向上的配准度及偏移量；

步骤3，实时计算所述显微图像集中各所述显微图像在各个方向上配准度之和，并实时判断所述显微图像集中是否存在配准度之和大于第一阈值的显微图像；

若是，则将所述显微图像集中配准度之和大于第一阈值的显微图像作为拼接的初始图像；

否则，重复步骤1至步骤3，直至在所述显微图像集中搜索到所述初始图像；

步骤4，以所述初始图像为起点，对所述显微图像集中的显微图像进行实时拼接，且在实时拼接的过程中，持续进行步骤1、步骤2直至完成样本扫描；

其中，在实时拼接的过程中，同步展示局部拼接完成的大视野显微图像。

与现有技术相比，本发明具有如下有益技术效果：

1.本发明可在显微图像采集的同时进行局部显微图像拼接，并将已拼接显微图像进行实时显示；

2.本发明通过事先进行亮度矩阵标定的方式，对采集到的显微图像进行亮度矫正，可有效消除大视野显微图像各部分亮度不一致问题；

3.本发明通过事先对显微物镜和运动平台之间的位置关系进行标定，对采集到的显微图像进行位置矫正，进而有效解决实际应用中显微物镜和运动平台之间不完全垂直的问题；

4.本发明通过采用基于最大配准度的动态搜索方法计算拼接的初始位置，进而解决以空白显微图像或低纹理显微图像为拼接的初始位置而导致的拼接错位等问题；

5.本发明在图像拼接的过程中，采用快速消除累积误差的方法进行图像定位，进而可有效消除拼接过程中累积误差对拼接效果的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中海量显微图像的实时拼接方法的流程图；

图2为本发明实施例中从上至下的蛇形扫描方式的示意图；

图3为本发明实施例中从左至右的蛇形扫描方式的示意图；

图4为本发明实施例中显微图像的邻域匹配的示意图；

图5为本发明实施例中匹配方向=0的匹配示意图；

图6为本发明实施例中匹配方向=1的匹配示意图；

图7为本发明实施例中匹配方向=2的匹配示意图；

图8为本发明实施例中匹配方向=3的匹配示意图；

图9为本发明实施例中显微图像的位置索引示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示为本实施例公开的一种海量显微图像的实时拼接方法，包括如下步骤1至步骤4。

步骤1，建立显微图像集，以蛇形扫描的方式实时采集样本的显微图像，并实时将校正后的显微图像保存至显微图像集，其中，在样本上位置相邻的两显微图像部分重叠。

本实施例中，为了快速获得相互重叠的原始显微图像序列，可采取的扫描方式有两种，分别是从上至下的蛇形扫描方式和从左至右的蛇形扫描方式。假定样本包括3×3个待扫描视野，从上至下的蛇形扫描方式即图2中箭头所示的扫描方向，从左至右的蛇形扫描方式即图3中箭头所示的扫描方向。

对显微图像进行实时校正包括亮度校正与位置校正。

在扫描过程中，考虑到镜头和光源对显微成像的影响，采集到的显微图像会出现亮度不均匀的情况，这会导致生成的大视野显微图像各部分亮度不同，因此在显微图像拼接之前需要对原始的显微图像进行亮度矫正，本实施例中采用的亮度校正方法是利用事先标定好的亮度矫正矩阵乘以原始显微图像，即可完成亮度矫正，即：

，

其中，表示亮度矫正后的显微图像，/>表示原始的显微图像，/>表示亮度矫正矩阵。

亮度矫正矩阵需要事先标定好，且每个显微设备仅需标定一次，考虑到采集的显微图像存在一定的噪声，因此本实施例通过采用多张图像累加求平均的方法进行图像去噪，具体步骤如下：

通过显微设备采集多张空白无杂质的空白显微图像，并对各空白显微图像进行累加求平均，得到标准显微图像；

将标准显微图像转换成灰度图像，并计算灰度图像的亮度平均值，同时在灰度图像中进行遍历查找亮度最大的值/>，再计算得到亮度矫正矩阵，为：

，

其中，表示亮度矫正矩阵/>中/>坐标处的亮度矫正系数，/>表示灰度图像中/>坐标处的灰度值。

在对显微图像进行亮度校正后，再进行位置校正。现有的显微图像拼接方法为了提高拼接的效率，大多数都假定显微物镜与运动平台间的相对位置关系是垂直的，即运动平台坐标系与成像面坐标系是平行的，这样在匹配过程中只需要考虑水平面上的偏移量，从而使得拼接效果不佳。在实际应用中，显微物镜和运动平台之间做不到完全垂直，即运动平台坐标系和成像面坐标系间存在一定的夹角，因此本实施例通过事先对显微物镜和运动平台之间的位置关系进行标定，得到位置变换矩阵，将位置变换矩阵乘以亮度矫正后的显微图像实现位置矫正，即得到位置校正后的显微图像。

其中，位置变换矩阵同样需要事先标定好，且每个显微设备仅需标定一次，标定方法可以采用张正友标定法。当然，在具体应用过程中也可以采用其它方法标定得到位置变换矩阵。

步骤2，在扫描样本的过程中，实时计算、更新显微图像集中各显微图像在各个方向上的配准度及偏移量。

本实施例中，采用基于梯度积分图的模板匹配算法依次计算两两相邻显微图像间的配准度及偏移量。假定样本包括3×3个待扫描区域，扫描区域四个角点处的显微图像有2个与之相邻的显微图像，扫描区域首行、首列、末行以及末列（除去四个角点）处的显微图像有3个与之相邻的显微图像，扫描区域的其他位置处均有与之相邻的四个显微图像，即如图4所示。

本实施例中在步骤1这两个选定的扫描方式为从上至下的蛇形扫描方式，因此在匹配过程中，为了避免重复计算。在采集到当前帧显微图像后，只需要计算当前帧显微图像与前一帧显微图像及其左侧显微图像之间的偏移量和配准度。即只计算当前帧显微图像上方与左侧的偏移量和配准度，至于当前帧显微图像下方与右侧的偏移量和配准度，则等到对应方向相邻的显微图像被采集后进行计算。即采集到当前帧显微图像后，不仅要进行当前帧显微图像上方与左侧的偏移量和配准度计算，还需要对当前帧显微图像左侧相邻显微图像的右侧偏移量和配准度更新，以及对当前帧显微图像上方显微图像的下方偏移量和配准度更新。

在具体实施过程中，计算、更新显微图像集中各显微图像在各个方向上的配准度及偏移量的具体实施方式为：

步骤201，定义待计算、更新配准度及偏移量的显微图像为待匹配图像，定义在方向上与待匹配图像相邻的显微图像为参考图像/>′，其中，/>=0,1,2,3；方向/>=0表示参考图像位于待匹配图像上方，即图5所示；方向/>=1表示参考图像位于待匹配图像左侧，即图6所示；方向/>=2表示参考图像位于待匹配图像下方，即图7所示；方向/>=3表示参考图像位于待匹配图像右侧，即图8所示；

步骤202，根据匹配方向，在参考图像′的重叠区域提取感兴趣区域作为模板图像；其中，当/>=0或/>=2时，重叠区域为参考图像/>′的高度的5%~10%；当/>=1或/>=3时，重叠区域为参考图像/>′的宽度的5%~10%，即图5至图8所示；由于本实施例设定的扫描方式为从上至下的蛇形扫描方式，因此在实际匹配过程中，待匹配图像的匹配方向为0和1或者是2和1；

步骤203，获取感兴趣区域中心点在待匹配图像中的对应位置，以该位置为基准点，按设定的步长沿水平或垂直方向(即沿显微图像宽度或高度的方向)在待匹配图像中移动基准点；

步骤204，每移动一次基准点，以基准点为中心点，在待匹配图像中选取与模板图像大小相同的区域，计算该区域与模板图像的配准度，并计算此时基准点的偏移量，再将计算的配准度、偏移量分别保存在配准度数据集和偏移量数据集中，其中，配准度的计算方法可以采用标准的平方差匹配法、标准的相关匹配法或归一化互相关匹配法等；

步骤205，当基准点运动到设定的边界时停止移动，并将配准度数据集中最大的配准度及其对应的偏移量作为待匹配图像在方向上的配准度及偏移量；

其中，当待匹配图像在显微图像集中不存在参考图像′时，则定义待匹配图像在方向/>上的配准度及偏移量为0，并当扫描至显微图像集中参考图像/>′时更新待匹配图像在方向/>上的配准度及偏移量。

本实施例中，采用梯度积分图的方法来计算感兴趣区域，具体为：

首先，计算参考图像′重叠区域的梯度，具体可采用Sobel算子、Roberts算子、Laplacian算子等计算图像的梯度；

其次，在计算参考图像′重叠区域的梯度后，再计算图像梯度的积分图，积分图的计算公式如下：

，

其中，表示积分图中/>处的积分值，/>表示积分图中/>处的积分值，/>表示积分图中/>处的积分值，/>表示图像梯度中/>处的梯度值；

最后，基于积分图，计算图像梯度中任意位置一定大小的矩形区域的梯度值之和，找到梯度值之和最大的矩形区域的位置，即为感兴趣区域。利用积分图可以极大地加快计算图像梯度中任意矩形区域的梯度值之和，因为只需经过一次计算。

本实施例采用模板匹配方法作为计算相邻两幅显微图像的配准度及偏移量的方法，主要原因是模板匹配方法匹配精度及计算效率非常高，很好的满足了图像拼接过程中效率与精度的平衡。

步骤3，实时计算显微图像集中各显微图像在各个方向上配准度之和，并实时判断显微图像集中是否存在配准度之和大于第一阈值的显微图像；

若是，则将显微图像集中配准度之和大于第一阈值的显微图像作为拼接的初始图像；

否则，重复步骤1至步骤3，直至在显微图像集中搜索到初始图像。

在大多数图像拼接算法中，当所有图像匹配完成后，需要根据匹配过程得到的偏移量按顺序对显微图像序列进行拼接，从而得到大视野显微图像，即计算每幅显微图像在大视野显微图像中的绝对位置。现有技术中通常的做法是从扫描的起始位置开始，按顺序依次对匹配后的显微图像进行融合拼接。但考虑到某些情况下，扫描的起始位置采集到的是空白的显微图像或低纹理显微图像，该显微图像在匹配过程中无法得到有效的配准度和偏移量，不适合将其作为拼接的初始图像。因此本实施例基于一定数量的已匹配完成的显微图像，计算每幅显微图像在各个方向上的配准度之和，将配准度之和的最大值与设定的第一阈值进行比较，如果大于设定的第一阈值，则将配准度之和最大的那个显微图像作为拼接的初始图像，如果小于或等于设定的第一阈值，则动态地增加已匹配完成的显微图像的数量(即重复步骤1、步骤2增加显微图像集中显微图像的数量)，重复上述过程，直到确定拼接的初始图像。

步骤4，以初始图像为起点，对显微图像集中的显微图像进行实时拼接，且在实时拼接的过程中，持续进行步骤1、步骤2直至完成样本扫描。

为了实现实时显微图像拼接并将拼接好的显微图像进行显示，当确定好拼接的初始图像后，即可对显微图像集中的显微图像进行拼接，其具体实施过程为：

首先，计算初始图像在大视野显微图像中的绝对位置坐标，并基于初始图像的绝对位置坐标将初始图像拼接至大视野显微图像，其中，计算初始图像在大视野显微图像中的绝对位置坐标，具体为：

，

，

其中，表示初始图像在大视野显微图像中的绝对位置坐标，/>和/>表示单幅显微图像的宽度和高度，/>和/>表示/>和/>方向上的伸缩系数，/>表示预留回程差的安全值，表示初始图像在/>个待扫描区域的位置索引，即图9所示。

伸缩系数是两个标定参数，需要在拼接前进行标定获得，其计算方法是：选取若干幅内容丰富的显微图像，计算这些显微图像与其相邻的四幅显微图像之间的偏移量，然后计算方向(即显微图像的宽度方向)偏移量的均值以及/>方向(即显微图像的高度方向)偏移量的均值并作为/>和/>方向上的伸缩系数。

在计算得到初始图像在大视野显微图像中的绝对位置坐标后，即可以初始图像为起点对显微图像集中的显微图像进行拼接。考虑到初始图像为显微图像集中第一帧显微图像的可能性非常小，即当搜索到初始图像时，显微图像集中已经具有了一定数量的显微图像。因此，本实施例中将显微图像集中的图像拼接分为两部分：第一部分为对显微图像集中时间戳位于初始图像之前的显微图像进行拼接；当第一部分完成后，再对显微图像集中时间戳位于初始图像之后的显微图像进行拼接。其具体实施过程为：

将显微图像集中时间戳位于初始图像之前的所有显微图像，沿时间戳倒序的方式依次排列，形成第一显微图像序列；

将显微图像集中时间戳位于初始图像之后的所有显微图像，沿时间戳顺序的方式依次排列，形成第二显微图像序列；

计算初始图像在大视野显微图像中的绝对位置坐标，并基于初始图像的绝对位置坐标将初始图像拼接至大视野显微图像；

参考初始图像在大视野显微图像中的绝对位置坐标，以初始图像为起点按序列顺序依次将第一显微图像序列中的各显微图像拼接至大视野显微图像后，再以初始图像为起点按序列顺序依次将第二显微图像序列中的各显微图像拼接至大视野显微图像。

值得注意的是，在对第二显微图像序列中的各显微图像进行拼接时，随着显微图像集中图像数量的增多，第二显微图像序列也是实时更新的，直至完成样本扫描。

当然，在具体实施过程中，对于第一显微图像序列中的显微图像也可以不按照沿时间戳倒序的方式排列，也可以按沿时间戳顺序的方式或随机排列的方式。当第一显微图像序列中的显微图像按沿时间戳顺序的方式或随机排列的方式进行排列时，第一显微图像序列中各显微图像的拼接过程为：

第一步，将当前已拼接至大视野显微图像中的显微图像定义为已拼接显微图像，将当前第一显微图像序列中未拼接至大视野显微图像中的显微图像定义为未拼接显微图像；

第二步，从前往后遍历第一显微图像序列，依次将邻域方向上存在已拼接显微图像的未拼接显微图像，拼接至大视野显微图像中，同时标记为已拼接显微图像；

第三步，再次进行第二步中的遍历拼接过程，如此往复直至第一显微图像序列中所有的显微图像均完成拼接。

当第一显微图像序列中所有的显微图像均完成拼接后，再以初始图像为起点按序列顺序依次将第二显微图像序列中的各显微图像拼接至大视野显微图像。

本实施例中，对于第一显微图像序列或第二显微图像序列中的某一未拼接显微图像，其拼接至大视野显微图像的过程为：

首先，将当前未拼接显微图像定义为显微图像#1，将显微图像#1在=0或/>=1或/>=2或/>=3方向邻域的显微图像定义为显微图像#2；

其中，基于显微图像#1在各个方向上的配准度及偏移量，判断显微图像#1在各个方向上是否匹配正确，其具体实施过程为：

对于显微图像#1在方向上的匹配，若显微图像#1在方向/>上的配准度大于第二阈值，且显微图像#1在方向/>上的偏移量大于第三阈值，则判定显微图像#1在方向/>上匹配正确，否则判定显微图像#1在方向/>上未匹配正确。本实施例将配准度和偏移量分别与第二阈值、第三阈值进行比较是考虑到如下两方面因素：一个是参考图像或待匹配图像的重叠区域无目标或目标物极少时，容易将噪声判断为目标点；另一个是显微图像内容单一，且存在大量相似目标，会产生大量相似目标区域。

然后，根据显微图像#1在各个方向的匹配结果，分别采用不同的方式计算显微图像#1的在大视野显微图像中的绝对位置坐标。其具体实施过程可根据显微图像#1在各个方向的匹配结果分为如下两种情况：

情况一，若显微图像#1在至少一个方向匹配正确，则基于显微图像#2的绝对位置坐标，采用快速消除累积误差的方法得到显微图像#1的绝对位置坐标，并基于显微图像#1的绝对位置坐标将显微图像#1拼接至大视野显微图像，具体包括如下步骤：

步骤1.1，对于未匹配正确或不存在绝对位置坐标已确定的显微图像#2的方向，判定显微图像#1在对应方向的可信度为0；

对于匹配正确且存在绝对位置坐标已确定的显微图像#2的方向，则基于该显微图像#2以及该显微图像#2之前的已拼接好-1帧显微图像计算得到显微图像#1在对应方向的可信度，为：

，

其中，表示显微图像#1在方向/>的可信度，/>表示第/>帧显微图像在第/>个方向上的配准度；

步骤1.2，基于显微图像#1在各个方向上的偏移量及显微图像#2的绝对位置坐标，分别计算显微图像#1各个方向上对应的绝对位置坐标，为：

，

，

，

，

，

，

，

，

其中，、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上对应的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、=2、/>=1、/>=3上对应显微图像#2的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上的偏移量，/>表示显微图像#1在方向/>=0、/>=2的重叠区域，/>表示显微图像#1在方向/>=1、/>=3的重叠区域；

步骤1.3，基于显微图像#1在各个方向上对应的绝对位置坐标以及可信度，计算得到显微图像#1最终的绝对位置坐标，为：

，

，

其中，示显微图像#1的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上的可信度，/>表示显微图像#1在所有方向上的可信度之和。

值得注意的是，在进行步骤1.2时，可能会存在、/>、/>、/>中某一个或两个或三个坐标未知的情况，此时可将未知的坐标定位为/>或其它任意值。因此，若存在某一方向显微图像#2的绝对位置坐标未知，则显微图像#1在该方向的可信度为0，则在步骤1.3的绝对位置坐标计算过程中该未知坐标的对应项为0，因此即便是将未知的坐标定位为/>或其它任意值，也不会对最终的计算结果造成影响。

本实施例考虑到拼接过程中误差的累积效应，因此采用了快速消除累积误差的方法来消除拼接过程中累积误差带来的拼接精度的影响。通过计算未拼接图像邻域各个方向上的可信度，并将其加权到位置信息中，使得可信度高的位置信息对最终的位置贡献大。

情况二，若显微图像#1在四个方向均未匹配正确，则参考上一次拼接完成的显微图像#2在大视野显微图像中的绝对位置坐标，采用机械硬拼的方式得到显微图像#1的绝对位置坐标，并基于显微图像#1的绝对位置坐标将显微图像#1拼接至大视野显微图像。

在获得显微图像的绝对位置坐标后，对相邻两幅显微图像的重叠区域采用线性融合的方式进行图像融合。然后继续遍历显微图像集，直至显微图像集中的所有显微图像拼接完成。同时，在实时拼接的过程中，同步展示局部拼接完成的大视野显微图像。

本实施例中，机械硬拼的方式是指相邻显微图像之间的偏移量为零，基于所要参考图像的绝对位置坐标、单幅图像的尺寸信息、未拼接显微图像的位置索引以及伸缩系数计算未拼接显微图像的位置信息(即上述初始图像计算绝对位置坐标的方式)。当显微图像邻域四个方向上均未正确匹配时，采用上述方法进行拼接可以减小水波纹现象。

作为优选地实施方式，为了实现实时的显微图像拼接，采用并行技术来提高整个拼接流程的运行速度。并行处理是一种能同时执行多个任务的处理机制，它将工作的各部分分配到不同处理进程(线程)中同时运行，这种处理机制能够有效地提高系统的运行速度。本实施例中设计的显微图像拼接方法的整个拼接流程可拆分为图像采集及预处理、图像匹配和图像拼接三个阶段，采用多线程技术使其并行处理以进一步提高运行速度。

综上所述，本发明提出的海量显微图像的实时拼接方法采用了一种改进的显微图像拼接策略，即在显微图像采集的同时进行局部显微图像拼接，并将已拼接显微图像进行实时显示。为了消除大视野显微图像各部分亮度不一致问题，本发明通过事先进行亮度矩阵标定的方式，对采集到的显微图像进行亮度矫正。考虑到实际应用中，显微物镜和运动平台之间不完全垂直的问题，本发明通过事先对显微物镜和运动平台之间的位置关系进行标定，对采集到的显微图像进行位置矫正。为了实现实时的显微图像拼接，本发明采用了基于梯度积分图的模板匹配方法计算相邻图像间的配准度及偏移量。考虑到大多数情况下，扫描的起始视野是空白的或低纹理的，如果以此为拼接的初始位置，会造成拼接错位等问题，基于此，本发明采用了基于最大配准度的动态搜索方法计算拼接的初始位置。考虑到拼接过程中误差的累积效应，本发明采用了快速消除累积误差的方法来消除拼接过程中累积误差对拼接效果的影响。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种海量显微图像的实时拼接方法，其特征在于，包括如下步骤：

步骤1，建立显微图像集，以蛇形扫描的方式实时采集样本的显微图像，并实时将校正后的显微图像保存至所述显微图像集，其中，在样本上位置相邻的两所述显微图像部分重叠；

步骤2，在扫描样本的过程中，实时计算、更新所述显微图像集中各所述显微图像在各个方向上的配准度及偏移量；

步骤3，实时计算所述显微图像集中各所述显微图像在各个方向上配准度之和，并实时判断所述显微图像集中是否存在配准度之和大于第一阈值的显微图像；

若是，则将所述显微图像集中配准度之和大于第一阈值的显微图像作为拼接的初始图像；

否则，重复步骤1至步骤3，直至在所述显微图像集中搜索到所述初始图像；

步骤4，以所述初始图像为起点，对所述显微图像集中的显微图像进行实时拼接，且在实时拼接的过程中，持续进行步骤1、步骤2直至完成样本扫描；

其中，在实时拼接的过程中，同步展示局部拼接完成的大视野显微图像；

步骤1中，所述实时将校正后的显微图像保存至所述显微图像集，具体包括：

首先，获取实时采集的扫描图像，并对其进行亮度矫正，为：

，

其中，表示亮度矫正后的显微图像，/>表示亮度矫正矩阵；

其次，对显微图像进行位置矫正，为：

将显微图像乘以显微物镜和运动平台之间的位置变换矩阵，得到校正后的显微图像；

最后，将校正后的显微图像保存至所述显微图像集；

所述亮度矫正矩阵的获取过程为：

通过显微设备采集多张空白无杂质的空白显微图像，并对各所述空白显微图像进行累加求平均，得到标准显微图像；

将所述标准显微图像转换成灰度图像，计算所述灰度图像的亮度平均值，并在所述灰度图像中进行遍历查找亮度最大的值/>，再计算得到亮度矫正矩阵，为：

，

其中，表示亮度矫正矩阵/>中/>坐标处的亮度矫正系数，/>表示灰度图像中/>坐标处的灰度值。

2.根据权利要求1所述的海量显微图像的实时拼接方法，其特征在于，步骤2中，所述计算、更新所述显微图像集中各所述显微图像在各个方向上的配准度及偏移量，具体为：

步骤201，定义待计算、更新配准度及偏移量的显微图像为待匹配图像，定义在方向上与所述待匹配图像相邻的显微图像为参考图像/>′，其中，/>=0,1,2,3；方向/>=0表示所述参考图像位于所述待匹配图像上方，方向/>=1表示所述参考图像位于所述待匹配图像左侧，方向/>=2表示所述参考图像位于所述待匹配图像下方，方向/>=3表示所述参考图像位于所述待匹配图像右侧；

步骤202，在所述参考图像′的重叠区域提取感兴趣区域作为模板图像；其中，当/>=0或/>=2时，重叠区域为所述参考图像/>′的高度的5%~10%；当/>=1或/>=3时，重叠区域为所述参考图像/>′的宽度的5%~10%；

步骤203，获取所述感兴趣区域中心点在所述待匹配图像中的对应位置，以该位置为基准点，按设定的步长沿水平或垂直方向在所述待匹配图像中移动所述基准点；

步骤204，每移动一次所述基准点，以所述基准点为中心点，在所述待匹配图像中选取与所述模板图像大小相同的区域，计算该区域与所述模板图像的配准度，并计算此时所述基准点的偏移量，再将计算的配准度、偏移量分别保存在配准度数据集和偏移量数据集中；

步骤205，当所述基准点运动到设定的边界时停止移动，并将配准度数据集中最大的配准度及其对应的偏移量作为所述待匹配图像在方向上的配准度及偏移量；

其中，当所述待匹配图像在所述显微图像集中不存在参考图像′时，则定义待匹配图像在方向/>上的配准度及偏移量为0，并当扫描至所述显微图像集中参考图像/>′时更新待匹配图像在方向/>上的配准度及偏移量。

3.根据权利要求2所述的海量显微图像的实时拼接方法，其特征在于，步骤202中，采用梯度积分图计算所述感兴趣区域，具体为：

计算所述参考图像′重叠区域的梯度，并计算得到图像梯度的积分图；

基于所述积分图，计算图像梯度中任意位置一定大小的矩形区域的梯度值之和，找到梯度值之和最大的矩形区域的位置，即为所述感兴趣区域。

4.根据权利要求2所述的海量显微图像的实时拼接方法，其特征在于，步骤4中，所述以所述初始图像为起点，对所述显微图像集中的显微图像进行实时拼接，具体为：

将所述显微图像集中时间戳位于所述初始图像之前的所有显微图像，沿时间戳倒序的方式依次排列或沿时间戳顺序的方式依次排列或随机排列，形成第一显微图像序列；

将所述显微图像集中时间戳位于所述初始图像之后的所有显微图像，沿时间戳顺序的方式依次排列，形成第二显微图像序列；

计算所述初始图像在大视野显微图像中的绝对位置坐标，并基于所述初始图像的绝对位置坐标将所述初始图像拼接至所述大视野显微图像；

当所述第一显微图像序列中的各显微图像沿时间戳倒序的方式排列时，则以所述初始图像为起点按序列顺序依次将所述第一显微图像序列中的各显微图像拼接至所述大视野显微图像；

当所述第一显微图像序列中的各显微图像沿时间戳顺序的方式排列或随机排列时，则循环遍历所述第一显微图像序列，依次将所述第一显微图像序列中邻域方向上存在已拼接显微图像的未拼接显微图像拼接至所述大视野显微图像，直至所述第一显微图像序列中的各显微图像均完成拼接则结束循环遍历；

当所述第一显微图像序列中的所有显微图像拼接完成后，再以所述初始图像为起点按序列顺序依次将所述第二显微图像序列中的各显微图像拼接至所述大视野显微图像，直至遍历所述显微图像集。

5.根据权利要求4所述的海量显微图像的实时拼接方法，其特征在于，所述计算所述初始图像在大视野显微图像中的绝对位置坐标，具体为：

，

，

其中，表示所述初始图像在大视野显微图像中的绝对位置坐标，/>和/>表示单幅显微图像的宽度和高度，/>和/>表示/>和/>方向上的伸缩系数，/>表示所述初始图像在所述大视野显微图像中的位置索引，/>表示预留回程差的安全值。

6.根据权利要求4所述的海量显微图像的实时拼接方法，其特征在于，对于所述第一显微图像序列或所述第二显微图像序列中的某一未拼接显微图像，其拼接至所述大视野显微图像的过程为：

将未拼接显微图像定义为显微图像#1，将显微图像#1在=0或/>=1或/>=2或/>=3方向邻域的显微图像定义为显微图像#2；

基于显微图像#1在各个方向上的配准度及偏移量，判断显微图像#1在各个方向上是否匹配正确；

若显微图像#1在至少一个方向匹配正确，则基于显微图像#2的绝对位置坐标，采用快速消除累积误差的方法得到显微图像#1的绝对位置坐标，并基于显微图像#1的绝对位置坐标将显微图像#1拼接至所述大视野显微图像；

若显微图像#1在四个方向均未匹配正确，则参考上一次拼接完成的显微图像#2在所述大视野显微图像中的绝对位置坐标，采用机械硬拼的方式得到显微图像#1的绝对位置坐标，并基于显微图像#1的绝对位置坐标将显微图像#1拼接至所述大视野显微图像。

7.根据权利要求6所述的海量显微图像的实时拼接方法，其特征在于，所述基于显微图像#1在各个方向上的配准度及偏移量，判断显微图像#1在各个方向上是否匹配正确，具体为：

对于显微图像#1在方向上的匹配，若显微图像#1在方向/>上的配准度大于第二阈值，且显微图像#1在方向/>上的偏移量大于第三阈值，则判定显微图像#1在方向/>上匹配正确，否则判定显微图像#1在方向/>上未匹配正确。

8.根据权利要求6所述的海量显微图像的实时拼接方法，其特征在于，所述采用快速消除累积误差的方法得到显微图像#1的绝对位置坐标，具体为：

分别计算显微图像#1在各个方向上的可信度，为：

对于未匹配正确或不存在绝对位置坐标已确定的显微图像#2的方向，判定显微图像#1在对应方向的可信度为0；

对于匹配正确且存在绝对位置坐标已确定的显微图像#2的方向，则基于该显微图像#2以及该显微图像#2之前的已拼接好-1帧显微图像计算得到显微图像#1在对应方向的可信度，为：

，

其中，表示显微图像#1在方向/>的可信度，/>表示第/>帧显微图像在第/>个方向上的配准度；

基于显微图像#1在各个方向上的偏移量及显微图像#2的绝对位置坐标，分别计算显微图像#1各个方向上对应的绝对位置坐标，为：

，

，

，

，

，

，

，

，

其中，、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上对应的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上对应显微图像#2的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上的偏移量，/>表示显微图像#1在方向/>=0、/>=2的重叠区域，/>表示显微图像#1在方向/>=1、/>=3的重叠区域，/>和/>表示单幅显微图像的宽度和高度；

基于显微图像#1在各个方向上对应的绝对位置坐标以及可信度，计算得到显微图像#1最终的绝对位置坐标，为：

，

，

其中，示显微图像#1的绝对位置坐标，/>、/>、/>、/>分别表示显微图像#1在方向/>=0、/>=2、/>=1、/>=3上的可信度，/>表示显微图像#1在所有方向上的可信度之和。