CN110475123A - 一种用于显微镜视频流的手动实时拼接方法 - Google Patents

Abstract

本发明公开了一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：首先对输入帧进行自动删选；然后利用粗匹配‑精匹配‑再匹配的三步配准法进行图像配准以提高图像匹配的速度和准确度；最后进行参考帧的挑选以及融合拼接。另外，针对动态拼接过程中可能出现的误匹配问题，设计了自动纠错和手动纠错两种方案，确保手动拼接的成功或非连续样本拼图。该手动实时拼接方法能够根据图像匹配质量手动控制拼接速度，既能保证图像拼接精度，又能提高了图像拼接速度。

Description

一种用于显微镜视频流的手动实时拼接方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种用于显微镜视频流的手动实时拼接方法。

背景技术

通过显微镜可以看到微小物体，但在大倍率情况下，显微镜可观察范围很小，大范围的感兴趣区域无法显示在同一视野下，这给显微观测和操作造成了极大不便，尤其在生物和医学显微观测领域。因此需要利用图像拼接技术，将不同视野图像拼成一幅大视野图像，来增大视野范围或提高观测分辨率。

目前的图像拼接算法主要有两种处理方式，一种是纯软件端的处理，重点在研究相邻两幅图像或多幅图像的拼接，在强调准确度的同时却降低了速度上的要求，并没有适合显微镜下视频流的实时精确配准拼接，实时性差，体验感不佳。另一种是利用电机控制XY载物台位置，通过有规律的扫描得到拼接图像，但由于电机工艺上的误差，导致拼接准确度不高，并且不能消除累计拼接误差和回程误差，成本昂贵，不利于普及与推广。

申请公布号为CN108492328A的发明专利申请公开了一种视频帧之间目标匹配方法、装置和实现装置。申请公布号为CN108063941A的发明专利申请公开了一种视频帧匹配方法、装置。这两件专利申请中公开的视频帧匹配方法中均采用纯软件端的处理方法，匹配计算量大，匹配速度慢。

发明内容

本发明的目的就是提供一种用于显微镜视频流的手动实时拼接方法，该手动实时拼接方法能够根据图像匹配质量手动控制拼接速度，既能保证图像拼接精度，又能提高了图像拼接速度。

为实现上述发明目的，本发明提供的技术方案为：

一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：

在获取的显微镜视频流中，选取第一张最清晰的视频帧图像作为参考帧，以更换观察区域时获得的最清晰视频帧图像作为当前匹配帧；

通过基于相位相关性进行当前匹配帧与参考帧的粗匹配；基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量；

根据当前匹配帧相对于参考帧的精确偏移量，对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量；

根据当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度；

根据当前匹配帧的匹配质量以及当前匹配帧与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格，在当前匹配帧具有融合资格后，与整张拼接大图中对应偏移位置的背景区域进行拼接融合；

依据当前匹配帧图像质量和匹配质量，以及相对于当前参考帧的偏移量更新参考帧。

手动实时拼接方法利用粗匹配-精匹配-再匹配的三步配准法进行图像配准以提高图像匹配的速度和准确度，并根据匹配结果进行参考帧的挑选以及融合拼接。另外，针对动态拼接过程中可能出现的误匹配问题，设计了自动纠错和手动纠错两种方案，确保手动拼接的成功。

优先地，所述通过基于相位相关性进行当前匹配帧与参考帧的粗匹配包括：

首先，对参考帧和当前匹配帧在时域上进行周期复制延伸；

然后，利用傅里叶变换将空间域表示的匹配帧和参考帧变换到频率域，在频率域中进行互功率谱计算后，再对互功率谱计算结果进行傅里叶逆变换，将匹配帧和参考帧信号变换回空间域，在空间域上求取当前匹配帧相对于参考帧的初始平移量；

最后，将初始平移量分别在X方向和Y方向加减参考帧图像尺寸的1/2，得到9个偏移量，分别计算参考帧与当前匹配帧在每个偏移量对应的图像重叠区域上的相关度，选择最大相关度对应的偏移量最佳粗匹配结果。

优先地，所述基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量包括：

根据粗匹配获得的偏移量，求取当前匹配帧上重叠区域和参考帧上重叠区域的梯度矩阵，并对两个梯度矩阵分别进行积分图计算，在积分图中快速寻找梯度值的和最大的300*300的矩阵块，作为参考帧区域特征块和匹配帧区域特征块；

通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量。

其中，所述通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量包括：

采用FAST算法提取参考帧区域特征块中的特征点和匹配帧区域特征块中的特征点；

利用RBRIEF描述子对参考帧特征点和匹配帧特征点进行描述，生成256维二进制描述子，为了增加图像旋转不变性，计算参考帧特征点和匹配帧特征点的主方向；

根据描述子，利用汉明距离对参考帧特征点和匹配帧特征点进行匹配，获得与匹配帧特征点唯一匹配的参考帧特征点，形成匹配特征点对；

利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点；

在剩下的参考帧特征点和匹配帧特征点中，根据匹配帧特征点之间距离和与匹配帧特征点匹配的参考帧特征点之间距离的距离误差，挑选匹配质量最好的匹配特征点对集合，以匹配特征点对集合中所有匹配特征点对偏移量的均值作为当前匹配帧相对于参考帧的精确偏移量。

为了获得准确的特征点，需要对FAST算子的阈值进行调整，因此，所述手动实时拼接方法还包括：

在利用FAST算法提取参考帧区域特征块和匹配帧区域特征块中的参考帧特征点和匹配帧特征点时，确定FAST算子的自适应阈值，利用该自适应阈值提取参考帧特征点和匹配帧特征点；

按照以下方法确定FAST算子的自适应阈值：

滑动窗口在图像上按照一定步长移动，每次移动中计算每个像素点与窗口中心点的灰度差值，取所有灰度差值的均值为迭代初始值T₀；

根据迭代初始值T₀将灰度差直方图分为两部分，按照公式(1)计算下一个自适应阈值T_i：

其中，m为每个窗口中像素点和中心像素点的灰度差值，h(m)为整张图像中具有该灰度差值的点的数量，C_max为灰度差值的最大值，每进行一次迭代后进行判断，若︱T_i+1－T_i︱＝0，停止迭代，取T_i作为最后的FAST算子的自适应阈值。

其中，所述利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点包括：

利用公式(2)确定任意图像中特征点之间的对应关系：

其中，和分别表示第r幅图像中第p个特征点和第q个特征点的坐标向量，表示第r幅图像中第p个特征点与第q个特征点的对应关系，当r＝I时，和分别表示匹配帧中第p个参考帧特征点和第q个参考帧特征点的坐标向量；当r＝II时，和分别表示参考帧中第p个匹配帧特征点和第q个匹配帧特征点的坐标向量。表示和的对应关系，表示和的对应关系；

计算和的相似度ε：

其中，当max(·,·)为最大值函数，当ε大于设定相似度阈值时，认为第q个匹配特征点对支持第p个匹配特征点对，即由和组成的第q个匹配特征点对支持由与组成的第p个匹配特征点对；

针对每个匹配特征点对，选取其周围的8个匹配特征点对进行邻域相似度判断，认为支持点数大于等于6的匹配特征点对匹配正确，排除匹配不正确的匹配特征点对，即匹配不正确的参考帧特征点和匹配帧特征点。

其中，按照以下方法挑选匹配质量最好的匹配特征点对集合：

按照公式(4)计算第p个参考帧特征点和第q个参考帧特征点之间距离

其中，和分别为的横坐标和纵坐标，和分别为的横坐标和纵坐标；

按照公式(5)计算第p个匹配帧特征点和第q个匹配帧特征点之间距离

其中，和分别为的横坐标和纵坐标，和分别为的横坐标和纵坐标；

按照公式(6)计算距离和距离之间的距离误差u_pq：

总共选取20对匹配特征点，则整体距离误差为u：

其中，i表示参考帧特征点和匹配帧特征点的索引，u_i(i+1)表示第i和第i+1个参考帧特征之间的距离和第i和第i+1个匹配帧特征之间的距离的误差；

利用最大似然法挑选匹配特征点对，并且选择使距离误差u最小的匹配特征点对集合作为匹配质量最好的匹配特征点对集合。

优先地，所述根据当前匹配帧相对于参考帧的精确偏移量对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量包括：

根据当前匹配帧相对于参考帧的精确偏移量，得到当前匹配帧相对于初始帧有略微偏差的偏移量，在融合的整张大图中，在该偏移位置截取与匹配帧相同尺寸的图片作为背景帧；

计算背景帧梯度图，将梯度图中对应背景帧边缘部分设置为0，然后利用积分图计算得到细节最丰富的区域块；

在区域块中利用光流法快速的得到两个匹配块之间准确的偏移量，与精匹配中偏移量相加得到当前匹配帧相对于初始帧的精确偏移量。

优先地，所述根据当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度包括：

以当前匹配帧相对于参考帧的精确偏移量对应的重叠区域上，参考帧与当前匹配帧的相关度大小作为匹配质量；

当匹配质量小于等于匹配质量阈值K1时，该匹配质量为BAD，不更新当前匹配帧相对于初始帧的偏移位置，输出后退调整信号以提醒用户往回调节观察区域；

当匹配质量介于匹配质量阈值K1与匹配质量阈值K2之间时，该匹配质量为CAUSION，更新当前匹配帧相对于初始帧的偏移位置，即在参考帧相对于初始帧偏移量上加上当前匹配帧相对于参考帧的偏移量；并输出前进调整信号以提示用户继续向前调整观察区域，同时输出降低扫描速度信号以提示用户降低手动调整观察区域速度，K1＜K2；

当配准质量大于等于匹配质量阈值K2时，该匹配质量为GOOD，更新当前匹配帧相对于初始帧的偏移位置，当前匹配帧具有成为参考帧以及送入融合的部分资格，输出加速扫描速度信号以提示用户加快手动调整观察区域速度。

优先地，所述根据当前匹配帧匹配质量以及当前匹配帧与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格包括：

当前匹配帧匹配质量为GOOD且与前一次融合图像的偏移量大于当前匹配帧尺寸的0.8倍时，该当前匹配帧具有拼接融合资格；或，

当前匹配帧匹配质量为GOOD且清晰度大于参考帧清晰度的0.9倍时，该当前匹配帧具有拼接融合资格。

优先地，所述依据当前匹配帧图像质量和匹配质量，以及相对于当前参考帧的偏移量更新参考帧包括：

在当前匹配帧的匹配质量为GOOD的基础上，当前匹配帧清晰度大于参考帧清晰度的0.75倍，且当前匹配帧与参考帧的偏移量大于当前匹配帧尺寸的1/3倍时，将当前匹配帧作为参考帧；

参考帧相对于初始帧的偏移量进行累加。

在另外一个实施方式中，所述手动实时拼接方法还包括：

在拼接出现错误或出现意外故障导致拼接终止时，用户手动挑选扫描图像中与参考帧同等尺寸大小的区域作为新参考帧，进入RESET模式，进行纠错与重新拼接。

在另外一个实施方式中，所述手动实时拼接方法还包括：用户通过选定扫描图像边缘部分作为新拼接起点，实现非连续样本拼图。

与现有技术相比，本发明具有以下技术效果：

该手动实时拼接方法是纯软件端的视频流实时拼接系统，制造成本低；通过粗匹配-精匹配-再匹配的配准三步法使得拼接速度快、精度高；通过参考帧和匹配帧的删选与纠错功能，使得系统使用流畅度高，出现意外的拼接错误时可返回进行重新拼接，容错率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是用于显微镜视频流的手动实时拼接方法的流程框图；

图2是用户自定义参考帧重新拼接的操作图；

图3(a)和图3(b)为两幅待匹配的图像，其中，图3(b)的图像略模糊；

图4是图3(a)和图3(b)两幅待匹配图像的拼接结果图；

图5是包括十亿个像素点的大型病理切片扫描拼接图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，本实施例提供的一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：

步骤1：图像传感器捕捉初始拼接图片送入缓存队列，在图像缓存队列中，选取最清晰的第一张图像作为初始参考帧。

步骤2：在显微镜XY向旋转手轮移动载物台观察切片不同区域的同时，图像传感器不断捕捉当前图像送入缓存队列，在图像缓存队列中，每次取队列中前6张图片进行清晰度计算，选取最清晰的图片作为当前匹配帧图像。

步骤3：将初始参考帧和当前匹配帧缩小十倍，通过相位相关法对参考帧和当前匹配帧快速进行粗匹配，得到相对于参考帧的粗略偏移量和参考帧和当前匹配帧的大致重叠区域。

步骤3的具体过程为：

步骤3.1，参考帧和当前匹配帧在时域上进行周期复制延伸。

理论上傅里叶变换的信号在时域和频域上都是无限的，而实际采样得到的图像长度大小是有限的，这样相当于对信号作了截断处理，所以需要对信号进行延伸。实际采用的离散傅里叶变换对信号进行了周期复制延伸，这样才会得到有限且离散的频域。

步骤3.2，利用傅里叶变换将空间域表示的匹配帧和参考帧变换到频率域，在频率域中进行互功率谱计算后，再对互功率谱计算结果进行傅里叶逆变换，将匹配帧和参考帧信号变换回空间域，在空间域上求取当前匹配帧相对于参考帧的初始平移量。

用f₁(x,y)和f₂(x,y)分别表示参考帧和匹配帧，假设参考帧和匹配帧之间存在平移d(d_x,d_y)，其平移关系可表示为：

f₂(x,y)＝f₁(x-d_x,y-d_y) (1)

将公式(1)左右两边分别进行傅里叶变换，可得到参考帧和匹配帧在频率域的关系，即：

式中，j为虚数常量，等于-1的平方根。

得到两幅图像的互功率谱的表示形式，即：

式中为F₂(u,v)的共轭复函数，在理想情况下，的傅里叶逆变换是一个狄利克雷脉冲函数，这个函数只在平移d(d_x,d_y)处数值不为0，在其余位置的数值均为0。通过寻找脉冲函数的峰值，可以唯一地确定偏移量d_x和d_y。

步骤3.3，由于频谱的周期性，得到的偏移量不一定是正确的偏移量，为此，将初始平移量分别在X方向和Y方向加减参考帧图像尺寸的1/2，得到9个偏移量，分别计算参考帧与当前匹配帧在每个偏移量对应的图像重叠区域上的相似度，选择最大相关度对应的偏移量最为粗匹配结果。

在步骤3.3中得到两幅图像的重叠区域的图像，分别记作T1和T2，按如下方式进行相关度计算：首先分别计算T1和T2的各自平均值；然后将T1与T2中所有像素减去各自平均值得到新图像N1与N2；计算N1与N2的相关程度corr：

步骤4：根据粗匹配结果，确定参考帧区域特征块和匹配帧区域特征块。

具体地，根据粗匹配获得的偏移量，对当前匹配帧上重叠区域和参考帧上重叠区域的进行拉普拉斯计算获得矩阵图像，对矩阵图像求二阶导数，得到梯度矩阵，并对两个梯度矩阵分别进行积分图计算，寻找每个梯度矩阵中值最大的300*300大小的部分，该部分即表示重叠区域中细节最丰富的300*300大小的区域作为参考帧区域特征块和匹配帧区域特征块；

步骤5：通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量和相对于初始帧有略微偏差的偏移量。

步骤5的具体过程为：

步骤5.1，采用FAST算法提取参考帧区域特征块和匹配帧区域特征块中的参考帧特征点和匹配帧特征点。

通过FAST算法提取特征点，运算速度非常快，为了解决提取的特征点数量受阈值影响大的问题，还提出了FAST算子的自适应阈值算法。该算法是基于图像对比度和梯度直方图的信息量得到自适应的阈值，使得对于不同的对比度的图像都能够自适应的计算每个模板内出适合的阈值。具体步骤如下：

首先取5*5的窗口在图像上以数值为1的步长进行移动，每次移动中计算每个像素点与窗口中心点的灰度差值，然后取灰度差值的均值为迭代初始值T₀。根据迭代初始值将灰度差直方图分为两部分，由下式计算下一个迭代值T_i：

其中m为每个窗口中像素点和中心像素点的灰度差值，h(m)为整张图像中具有该灰度差值的点的数量，C_max为灰度差值的最大值。每进行一次迭代后进行判断，若︱T_i+1－T_i︱＝0，那么停止迭代，取T_i作为最后的FAST算子的自适应阈值。

步骤5.2，利用RBRIEF描述子对参考帧特征点和匹配帧特征点进行描述，生成256维二进制描述子，为了增加图像旋转不变性，计算参考帧特征点和匹配帧特征点的主方向。

步骤5.3，根据描述子，利用汉明距离对参考帧特征点和匹配帧特征点进行匹配，获得与匹配帧特征点唯一匹配的参考帧特征点，形成匹配特征点对。

步骤5.4，利用领域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点。

假设M₁、M₂、N₁、N₂分别是两幅图像M和N的特征点，并且M₁和M₂分别和N₁，N₂匹配，那么理论上来说，M₂相对于M₁的位置应该和N₂相对于N₁的位置相似。得到如下表达式：

其中和分别表示第r(r＝I,II)幅图像中第p个特征点和第q个特征点的坐标向量，表示第r(r＝I,II)幅图像中两特征点的对应关系，和的相似度用ε来衡量：

当两对特征点是完全匹配的时候，理想情况下ε＝1，ε越大则特征点匹配越准确。经过实验此处将ε阈值设为0.7，如果ε>0.7则说明第q对特征点支持第p对特征点。对于每对匹配的特征点，选取它周围的8对特征点进行邻域相似性判断，如果支持点数大于等于6则说明这对特征点匹配正确，排除匹配不正确的特征点。

步骤5.5，在剩下的参考帧特征点和匹配帧特征点中，根据匹配帧特征点之间距离和与匹配帧特征点匹配的参考帧特征点之间距离的距离误差，挑选匹配质量最好的匹配特征点对集合，以匹配特征点对集合中所有匹配特征点对偏移量的均值作为当前匹配帧相对于参考帧的精确偏移量。

具体地，在两幅图像中任意选取20个匹配点对，在最理想的情况下，两幅图像中对应两对特征点之间的连接边的距离相等。第r幅图像中两个特征点p、q之间的距离为：

其中和分别表示第r幅图像中第p个特征点和第q个特征点的坐标，两幅图像I，II之间两对特征点p，q之间距离误差为u_pq：

总共选取20对匹配特征点，则整体距离误差u：

其中，在图像I和图像II中，第i和第i+1个特征点之间的距离分别为和u_i(i+1)表示两个距离之间的距离误差。循环80次，取ε最小的匹配特征点对集合作为匹配质量最好的匹配特征点对集合，以匹配特征点对集合中所有匹配特征点对偏移量的均值作为当前匹配帧相对于参考帧的精确偏移量。

该方法的准确度是一个概率，类似随机取样一致性算法，依据最大似然法，错误率为σ：

σ＝(1-w²⁰)⁸⁰ (11)

w表示每次从数据集中选取一个正确匹配点对的概率，上式可知，当w大于0.75时，错误率小于0.7％。

在获得当前匹配帧相对于参考帧的精确偏移量的基础上，将当前匹配帧相对于参考帧的精确偏移量累加到参考帧相对于初始帧的偏移量得到相对于初始帧有略微偏差的偏移量。

步骤6：根据当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度。

具体地，以当前匹配帧相对于参考帧的精确偏移量对应的重叠区域上，参考帧与当前匹配帧的相关度大小作为匹配质量；匹配质量分为GOOD、CAUSION、BAD三个等级；

当匹配质量小于等于匹配质量阈值K1时，该匹配质量为BAD，不更新当前匹配帧相对于初始帧的偏移位置，输出后退调整信号以提醒用户往回调节观察区域；

当匹配质量介于匹配质量阈值K1与匹配质量阈值K2之间时，该匹配质量为CAUSION，更新当前匹配帧相对于初始帧的偏移位置，即在参考帧相对于初始帧偏移量上加上当前匹配帧相对于参考帧的偏移量；并输出前进调整信号以提示用户继续向前调整观察区域，同时输出降低扫描速度信号以提示用户降低手动调整观察区域速度，K1＜K2；

当配准质量大于等于匹配质量阈值K2时，该匹配质量为GOOD，更新当前匹配帧相对于初始帧的偏移位置，当前匹配帧具有成为参考帧以及送入融合的部分资格，输出加速扫描速度信号以提示用户加快手动调整观察区域速度。

步骤7：通过融合资格判断算法，判断当前帧是否有送入融合的资格，若有则送入融合线程，若无则不送入融合线程。

具体地，根据当前匹配帧匹配质量和其与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格，在当前匹配帧具有融合资格后，依据当前匹配帧相对于初始帧的精确偏移量对当前匹配帧与整张拼接大图中对应偏移位置的背景区域进行拼接融合。

步骤7中通过以下方法确定当前匹配帧是否具有拼接融合资格，具体包括：

当前匹配帧匹配质量为GOOD且其与前一次融合图像的偏移量大于当前匹配帧尺寸的1/2，则满足送入融合的部分条件；

当前匹配帧与前一次融合图像的偏移量大于当前匹配帧尺寸的0.8倍时，该当前匹配帧满足送入融合的全部条件；或，

当前匹配帧清晰度大于参考帧清晰度的0.9倍时，该当前匹配帧满足送入融合的全部条件，将满足送入融合条件的当前匹配帧送入融合队列。

步骤8：当前匹配帧满足融合条件时，送入融合队列，和此时背景帧通过光流法进行再配准，得到当前匹配帧相对起始点的精确偏移量，消除累计误差。

步骤8的具体过程为：

步骤8.1，利用精配准得到当前匹配帧相对于初始帧有略微偏差的偏移量，在融合的整张大图中，在该偏移位置截取与匹配帧相同尺寸的图片作为背景帧；

步骤8.2，计算背景帧梯度图，将梯度图中对应背景帧边缘部分设置为0，然后利用积分图计算得到细节最丰富的区域块；

步骤8.3，在区域块中利用光流法快速的得到两个匹配块之间准确的偏移量，与精匹配中偏移量相加得到当前匹配帧相对于初始帧的精确偏移量。

步骤9：通过参考帧判断算法，判断当前帧是否具有成为参考帧的资格，若有则更新参考帧，若无则保留原始参考帧。循环上述步骤二到步骤九，直到扫描拼接结束。

具体过程为：在当前匹配帧的配准质量为GOOD的基础上，当前匹配帧清晰度大于参考帧清晰度的0.75倍，且当前匹配帧与当前参考帧的偏移量大于当前匹配帧尺寸的1/3倍时，将当前匹配帧作为新的参考帧，并且将参考帧相对于初始帧的偏移量进行累加。

在步骤1～9的基础上，手动实时拼接方法还包括：

步骤10，提出NORMAL和RESET模式，如图2所示的用户自定义参考帧重新拼接的操作图，出现意外的拼接错误时，用户手动挑选扫描图像中与参考帧同等尺寸大小的区域作为新参考帧，进入RESET模式，进行纠错与重新拼接。

在步骤1～10的基础上，手动实时拼接方法还包括：

步骤11，如图2所示的用户自定义参考帧重新拼接的操作图，用户可以通过选定新的扫描切片边缘部分作为新的拼接起点，将不同的切片拼接在同一幅大图的不同区域。

图3(a)和是图3(b)是两幅待匹配的图像，其中图3(a)为清晰图像，图3(b)为略模糊的图像。利用上述手动实时拼接方法对图3(a)和是图3(b)进行拼接，图4为拼接结果图，由图4不难发现，该拼接算法对于模糊图像的匹配具有鲁棒性。

图5是包括十亿个像素点的大型病理切片扫描拼接图，由图5不难发现该拼接算法可以拼接非常大的视野的图像，且拼接精度很高。

上述手动实时拼接方法是纯软件端的视频流实时拼接系统，制造成本低；通过配准三步法使得拼接速度快、精度高；通过参考帧和匹配帧的删选与纠错功能，使得系统使用流畅度高，出现意外的拼接错误时可返回进行重新拼接，容错率高。总之，上述手动实时拼接方法能够根据图像匹配质量手动控制拼接速度，既能保证图像拼接精度，又能提高了图像拼接速度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：

在获取的显微镜视频流中，选取第一张最清晰的视频帧图像作为参考帧，以更换观察区域时获得的最清晰视频帧图像作为当前匹配帧；

通过基于相位相关性进行当前匹配帧与参考帧的粗匹配；基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量；

根据当前匹配帧相对于参考帧的精确偏移量对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量；

根据计算得到的当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度；

根据当前匹配帧的匹配质量以及其与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格，在当前匹配帧具有融合资格后，与整张拼接大图中对应偏移位置的背景区域进行拼接融合；

依据当前匹配帧图像质量和匹配质量，以及相对于当前参考帧的偏移量更新参考帧。

2.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述通过基于相位相关性进行当前匹配帧与参考帧的粗匹配包括：

首先，对参考帧和当前匹配帧在时域上进行周期复制延伸；

然后，利用傅里叶变换将空间域表示的匹配帧和参考帧变换到频率域，在频率域中进行互功率谱计算后，再对互功率谱计算结果进行傅里叶逆变换，将匹配帧和参考帧信号变换回空间域，在空间域上求取当前匹配帧相对于参考帧的初始平移量；

最后，将初始平移量分别在X方向和Y方向加减参考帧图像尺寸的1/2，得到9个偏移量，分别计算参考帧与当前匹配帧在每个偏移量对应的图像重叠区域上的相关度，选择最大相关度对应的偏移量最佳粗匹配结果。

3.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量包括：

根据粗匹配获得的偏移量，求取当前匹配帧上重叠区域和参考帧上重叠区域的梯度矩阵，并对两个梯度矩阵分别进行积分图计算，在积分图中快速寻找梯度值的和最大的300*300的矩阵块，作为参考帧区域特征块和匹配帧区域特征块；

通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量。

4.如权利要求3所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量包括：

采用FAST算法提取参考帧区域特征块中的特征点和匹配帧区域特征块中的特征点；

利用RBRIEF描述子对参考帧特征点和匹配帧特征点进行描述，生成256维二进制描述子，为了增加图像旋转不变性，计算参考帧特征点和匹配帧特征点的主方向；

根据描述子，利用汉明距离对参考帧特征点和匹配帧特征点进行匹配，获得与匹配帧特征点唯一匹配的参考帧特征点，形成匹配特征点对；

利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点；

在剩下的参考帧特征点和匹配帧特征点中，根据匹配帧特征点之间距离和与匹配帧特征点匹配的参考帧特征点之间距离的距离误差，挑选匹配质量最好的匹配特征点对集合，以匹配特征点对集合中所有匹配特征点对偏移量的均值作为当前匹配帧相对于参考帧的精确偏移量。

5.如权利要求4所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述手动实时拼接方法还包括：

在利用FAST算法提取参考帧区域特征块和匹配帧区域特征块中的参考帧特征点和匹配帧特征点时，确定FAST算子的自适应阈值，利用该自适应阈值提取参考帧特征点和匹配帧特征点；

按照以下方法确定FAST算子的自适应阈值：

滑动窗口在图像上按照一定步长移动，每次移动中计算每个像素点与窗口中心点的灰度差值，取所有灰度差值的均值为迭代初始值T₀；

根据迭代初始值T₀将灰度差直方图分为两部分，按照公式(1)计算下一个自适应阈值T_i：

其中，m为每个窗口中像素点和中心像素点的灰度差值，h(m)为整张图像中具有该灰度差值的点的数量，C_max为灰度差值的最大值，每进行一次迭代后进行判断，若︱T_i+1－T_i︱＝0，停止迭代，取T_i作为最后的FAST算子的自适应阈值。

6.如权利要求4所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点包括：

利用公式(2)确定任意图像中特征点之间的对应关系：

其中，和分别表示第r幅图像中第p个特征点和第q个特征点的坐标向量，表示第r幅图像中第p个特征点与第q个特征点的对应关系，当r＝I时，和分别表示匹配帧中第p个参考帧特征点和第q个参考帧特征点的坐标向量；当r＝II时，和分别表示参考帧中第p个匹配帧特征点和第q个匹配帧特征点的坐标向量。表示和的对应关系，表示和的对应关系；

计算和的相似度ε：

其中，当max(·,·)为最大值函数，当ε大于设定相似度阈值时，认为第q个匹配特征点对支持第p个匹配特征点对，即由和组成的第q个匹配特征点对支持由与组成的第p个匹配特征点对；

针对每个匹配特征点对，选取其周围的8个匹配特征点对进行邻域相似度判断，认为支持点数大于等于6的匹配特征点对匹配正确，排除匹配不正确的匹配特征点对，即匹配不正确的参考帧特征点和匹配帧特征点。

7.如权利要求4所述的用于显微镜视频流的手动实时拼接方法，其特征在于，按照以下方法挑选匹配质量最好的匹配特征点对集合：

按照公式(4)计算匹配帧中，第p个参考帧特征点和第q个参考帧特征点之间距离

其中，和分别为的横坐标和纵坐标，和分别为的横坐标和纵坐标；

按照公式(5)计算参考帧中，第p个匹配帧特征点和第q个匹配帧特征点之间距离

其中，和分别为的横坐标和纵坐标，和分别为的横坐标和纵坐标；

按照公式(6)计算距离和距离之间的距离误差u_pq：

总共选取20对匹配特征点，则整体距离误差u：

其中，i表示参考帧特征点和匹配帧特征点的索引，u_i(i+1)表示第i和第i+1个参考帧特征之间的距离和第i和第i+1个匹配帧特征之间的距离的误差；

利用最大似然法挑选匹配特征点对，并且选择使距离误差u最小的匹配特征点对集合作为匹配质量最好的匹配特征点对集合。

8.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述根据当前匹配帧相对于参考帧的精确偏移量，对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量包括：

根据当前匹配帧相对于参考帧的精确偏移量，得到当前匹配帧相对于初始帧有略微偏差的偏移量，在融合的整张大图中，在该偏移位置截取与匹配帧相同尺寸的图片作为背景帧；

计算背景帧梯度图，将梯度图中对应背景帧边缘部分设置为0，然后利用积分图计算得到细节最丰富的区域块；

在区域块中利用光流法快速的得到两个匹配块之间准确的偏移量，与精匹配中偏移量相加得到当前匹配帧相对于初始帧的精确偏移量。

9.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述根据当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度包括：

以当前匹配帧相对于参考帧的精确偏移量对应的重叠区域上，参考帧与当前匹配帧的相关度大小作为匹配质量；

当匹配质量小于等于匹配质量阈值K1时，该匹配质量为BAD，不更新当前匹配帧相对于初始帧的偏移位置，输出后退调整信号以提醒用户往回调节观察区域；

当匹配质量介于匹配质量阈值K1与匹配质量阈值K2之间时，该匹配质量为CAUSION，更新当前匹配帧相对于初始帧的偏移位置，即在参考帧相对于初始帧偏移量上加上当前匹配帧相对于参考帧的偏移量；并输出前进调整信号以提示用户继续向前调整观察区域，同时输出降低扫描速度信号以提示用户降低手动调整观察区域速度，K1＜K2；

当配准质量大于等于匹配质量阈值K2时，该匹配质量为GOOD，更新当前匹配帧相对于初始帧的偏移位置，当前匹配帧具有成为参考帧以及送入融合的部分资格，输出加速扫描速度信号以提示用户加快手动调整观察区域速度。

10.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述根据当前匹配帧匹配质量以及当前匹配帧与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格包括：

当前匹配帧匹配质量为GOOD且与前一次融合图像的偏移量大于当前匹配帧尺寸的0.8倍时，该当前匹配帧具有拼接融合资格；或，

当前匹配帧匹配质量为GOOD且清晰度大于参考帧清晰度的0.9倍时，该当前匹配帧具有拼接融合资格。

11.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述依据当前匹配帧图像质量和匹配质量，以及相对于当前参考帧的偏移量更新参考帧包括：

在当前匹配帧的匹配质量为GOOD的基础上，当前匹配帧清晰度大于参考帧清晰度的0.75倍，且当前匹配帧与参考帧的偏移量大于当前匹配帧尺寸的1/3倍时，将当前匹配帧作为参考帧；

参考帧相对于初始帧的偏移量进行累加。

12.如权利要求1～11任一项所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述手动实时拼接方法还包括：

在拼接出现错误或出现意外故障导致拼接终止时，用户手动挑选扫描图像中与参考帧同等尺寸大小的区域作为新参考帧，进入RESET模式，进行纠错与重新拼接。

13.如权利要求1～11任一项所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述手动实时拼接方法还包括：

用户通过选定扫描图像边缘部分作为新拼接起点，实现非连续样本拼图。