CN101596715B - 一种微操作机器人系统显微视野拓展方法 - Google Patents

Abstract

一种微操作机器人系统显微视野拓展方法。该方法包括：确定要观察的目标区域；将选定目标区域分割成大小等同于当前屏幕视野的一组单元格，相邻单元格间需要20％-40％的重叠；通过微操作机器人的电动操作平台折线运动获取目标区域的局部显微图像；在操作平台运动的同时，处理当前采集显微图像，采用基于SIFT特征的拼接方法或基于区域的拼接方法，得到当前图像在整体全局图像中的偏移量，其处理精度可达像素级；通过图像融合方法得到图像拼接结果，也即目标观察区域的全局图。将上述方法应用于改造后的微操作机器人显微视觉系统中，可成功实现显微视野的在线拓展，为微操作机器人系统提供广阔的视觉反馈。

Description

一种微操作机器人系统显微视野拓展方法

【技术领域】：本发明属于微操作机器人技术领域，是机器人技术的一种，特别涉及一种微操作机器人系统显微视野拓展的方法。

【背景技术】：随着现代科学技术的发展，人们对微观领域的研究逐渐深入，操作对象的微小化迫切要求人们加深对微观世界的理解，并开展微操作技术研究。微操作是指对微小物体的整体或部分进行的操作和处理，它处理问题的尺度一般在几微米到几百微米之间。微操作机器人系统作为一种辅助微操作的工具，越来越受到人们的重视，并成为机器人领域新的研究方向^[1-3]。

在微操作过程中，由于操作对象十分微小，必须借助显微镜观察操作物体。显微镜可以看到微小的物体，但同时也存在视野狭小的问题，这限制了微操作机器人的实际操作范围，影响了机器人系统的性能，甚至导致一些操作无法完成。因此，理想的微操作机器人系统应具有广阔的视野范围。

为了实现上述设想，通常可采取两种方法：增加额外的视觉反馈设备，或对现有系统进行改造并通过图像处理拓展视野范围。

在增加额外的视觉系统方面，荷兰赫尔辛基大学开发了一套基于多显微镜的微装配系统^[4]，显微视觉系统由3个显微镜组成：普通的顶视显微镜、侧视显微镜和TIMM电子显微镜，侧视显微镜用来从其它角度观察操作物体，TIMM电子显微镜可自动调整放大率并调焦，用于观察整个操作过程，该系统的最大观察范围可达1mm²。美国明尼苏达州大学设计了一套类似的微装配系统^[5]，系统共使用4个图像设备：1个垂直显微镜(用来观察微装配中的拾起动作)、2个侧面显微镜(用来观察微装配中的插入动作)、1个普通摄像机(用来观察微操作的全景)，该系统将显微镜与普通摄像机结合使用，拓展了微操作系统的视觉反馈范围。在面向生物医学工程的微操作机器人系统中，操作对象一般是具有活性的生物体(如细胞、染色体等)，并放置于保持其活性的溶液中，操作对象的非结构化导致为此类系统加装额外的显微镜十分困难。此外，额外的视觉系统必然会加大整个系统的成本开销，并有可能影响实际应用。

另一方面，自动显微镜^[6-8]的出现使通过图像处理拓展显微视野成为了可能。自动显微镜将载物台、物镜转换器、调焦部件及调光照明装置等显微镜部件改造为电动方式，并通过控制器实现显微镜的自动操作，比较有代表性的产品是Leica公司于2004年推出的Leica DM/DMI系列数字显微镜^[9]。利用自动显微镜的电动载物台，将操作目标的分布区域依次置于显微镜的观察范围并进行分块拍摄，再将获得的局部显微图像拼接成大范围全局视野图，即可实现显微视野的拓展。在微操作机器人系统中，电动操作平台可完成电动载物台的类似功能，可依据同样思路拓展微操作机器人的显微视野，其关键技术在于图像拼接。

图像拼接技术是当前图像处理领域的研究热点^[10，11]，按照使用图像信息的不同，可主要分为基于区域与基于特征两类。基于区域的图像拼接需考虑匹配点邻域的灰度，具有较高精度，但计算量大；基于特征的拼接根据图像特征之间的几何关系确定拼接参数，压缩了图像信息的数据量，较好地保持了图像位移、旋转、比例方面的信息，但其拼接精度往往低于基于区域的图像拼接方法。目前，图像拼接研究主要侧重于全景图拼^[12，13]，并没有重点考虑拼接的效率。如何充分利用显微成像的特点，提高图像拼接质量，实现在线显微图像拼接，目前尚未得到很好解决。

【发明内容】：本发明的目的是解决微操作机器人系统中显微镜观察视野过小的问题，提供一种微操作机器人系统显微视野拓展方法，为面向生物医学工程的微操作机器人系统提供广阔的视觉反馈。

为实现上述目的，本发明通过微操作机器人电动操作平台采集被观察目标的局部显微图像，并使用图像拼接技术将局部显微图像形成全局视野反馈。与一般的图像拼接或全景图拼接问题相比，显微图像拼接需着重考虑相邻图像的匹配与图像拼接的效率。在微操作机器人系统中，操作平台在二维平面内沿X轴或Y轴运动，从而采集局部显微图像。显微图像基本没有形变，图像拼接可忽略采集过程中微小的尺度变化和旋转，只考虑图像间的平移。然而，电动操作平台精度有限，运动过程还受到外界振动的影响，直接将采集到的显微图像“放置到一起”，显然无法满足高精度视觉反馈的要求，需要通过图像匹配建立相邻图像的关系。同时，在生物和医学应用中，考虑到目标的活体特性，还必须提高图像拼接的效率，以减少目标暴露在空气中的时间。

为此，针对不同倍数显微图像的特点，本发明结合上述基于区域与基于特征两类图像拼接方法，使用混合拼接策略完成显微视野的拓展。从实现效率考虑，本发明优先使用基于特征的图像拼接方法，低倍显微镜物镜(4倍和10倍物镜)的观察范围较大，显微图像包含相对多的目标信息，直接通过SIFT特征完成图像拼接。然而，随着显微观察的不断深入，使用的物镜倍数也不断提高，此时观察到的物体细节增加了，视野中的空白区域也越来越多。当从图像提取出的SIFT特征无法满足图像拼接的要求时，换用基于区域的图像拼接方法进行补救。由于之前已经得到了低倍物镜下的图像拼接结果，此时可借助不同倍数显微图像间的匹配得到图像偏移量的搜索范围，从而解决了基于区域的拼接方法效率低的问题，由此减少了图像拼接时间，保证了图像拼接可在线完成。

本发明在保证视野形成时间及观察精度的基础上，扩大了显微视野的范围，为使用者提供了便捷的操作方式。本发明提供的微操作机器人系统显微视野拓展方法的步骤包括：

第一、将操作目标置于改造后的微操作机器人《显微镜自动操作系统》(参见2003101066313号专利)的电动操作平台上，并确定想要观察的目标区域，也即最终的全局视野范围。该范围一般设为矩形，矩形长宽由使用者设定。

第二、选取矩形区域的某个顶点作为扫描的起始点和终点，即扫描结束后平台又回到起始位置。通过平台的折线运动进行扫描路径规划，并按照扫描路径将选定目标区域分割成大小等同于当前屏幕视野的一组单元格，为了完成图像拼接，相邻单元格间需要20％-40％的重叠，视图像内容而定，局部显微图像的采集顺序如附图1所示，由此可确定操作平台移动的次数和待拼接图像的数量。

第三、首先将电动操作平台运动到目标区域(待拼接区域)的起始点，保留当前局部显微图像，之后依次将下一相邻单元格移入显微视野，采集待拼接图像。同时，在平台运动的过程中，处理刚采集到的显微图像，借助基于SIFT特征或区域的拼接方法，得到该图像在整体全局图像中的偏移量。

第四、图像采集结束后，将电动操作平台移回运动的起点，同时处理最后一幅显微图像。此时，各幅局部显微图像在整体图像中的位置都已确定，可通过图像融合方法得到最终的图像拼接结果，也即目标区域的全局图，实现显微视野的拓展。

第三步中所述的基于SIFT特征的拼接方法步骤包括：

1)、在待拼接的显微图像中提取SIFT特征，特征提取过程可参阅《Method and apparatus foridentifying scale invariant features in an image and use of same for locatingan object in an image》(参见6711293号美国专利)，最终可得到SIFT特征位置和128维SIFT特征向量。对于一般显微图像(图像尺寸：576×768)，可将单幅图像检测出的特征数控制在100-300个左右，此时，既不会由于特征过少而造成特征匹配失败，也不会导致处理时间过长。

2)、将当前图像中各特征的SIFT特征向量与其邻接图像中的特征向量进行逐一比较，根据欧式距离判别特征的相似程度，若满足相似性条件，则认为找到一个匹配点对，由此得到当前图像中SIFT特征与邻接图像SIFT特征的对应关系。

3)、由同一SIFT特征在不同图像中的位置变化得到当前图像与其邻接图像间的偏移量，为了提高匹配精度，将多个特征偏移量取平均作为图像最终的偏移量。

4)、确定当前图像在整体全局图像中的位置。设定第一幅采集图像左上角在全局图像中的位置为(0，0)，可由相邻图像间的变换关系(偏移量)求得后续图像的位置。设当前图像编号为i，根据其相邻图像j得到的图像左上角位置为：

$x_i^j=x_j+{\mathrm{\Δx}}_i^j,$ $y_i^j=y_j+{\mathrm{\Δy}}_i^j---\left(1\right)$

其中，(x_j，y_j)是已知的图像j的左上角在全局图像中的位置，(Δx_i ^j，Δy_i ^j)是图像i相对于图像j的偏移量，可由第3)步求出。在当前图像的相邻图像不只一幅时，通过SIFT特征数目加权计算当前图像左上角在全局图像中的最终位置。计算公式如下：

$x_i=\frac{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}{x}_i^j}{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}},$ $y_i=\frac{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}{y}_i^j}{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}}$ (图像i，j邻接)(2)

其中，n_ij代表用于计算图像偏移量的SIFT特征数目。

第三步中，对于高倍显微图像，如果在图像重叠区内提取的SIFT特征数量过少(如少于20个)，则无法通过图像SIFT特征完成图像拼接，按照拼接策略换用基于区域的图像拼接方法进行补救。

第三步所述的基于区域的拼接方法步骤包括：

1)、获取相邻显微图像间的偏移量范围。通过SIFT特征匹配得到当前显微图像在低倍全局图像中的位置，进而得到当前图像与其邻接图像的大致位置关系，按此关系设置基于区域方法的偏移量搜索范围。当不同倍数显微图像间的特征匹配出现错误时，根据电动操作平台的移动精度设定搜索范围。

2)、利用邻接图像重叠区所有象素亮度的一致性估计偏移量参数，使用的算法为归一化的相关系数法，归一化相关系数R可通过公式(3)计算，使R取到最小的偏移量即为所求最终的偏移量。

$R(\mathrm{\Δx},\mathrm{\Δy})=\underset{x,y}{\mathrm{\Σ}}[{I_2}^{\′}(x,y)\·{I_1}^{\′}(x+\mathrm{\Δx},y+\mathrm{\Δy})]/\sqrt{\underset{x,y}{\mathrm{\Σ}}{I_2}^{\′}{(x,y)}^2\·\underset{x,y}{\mathrm{\Σ}}{I_1}^{\′}{(x+\mathrm{\Δx},y+\mathrm{\Δy})}^2}---\left(3\right)$

公式中，图像1和图像2表示两幅相邻的显微图像，I₁(x，y)和I₂(x，y)分别是图像的亮度，w和h是重叠区域的宽度和高度，Δx和Δy为所求图像2相对于图像1的偏移量，如附图2所示。I′(x，y)表示图像的平均亮度，定义如下：

$I^{\′}(x,y)=I(x,y)-\frac{1}{w\·h}\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}I(x^{\′},y^{\′})---\left(4\right)$

R(Δx，Δy)取值越小，则表明图像间的相关程度越大。

3)、采用与基于SIFT特征拼接方法类似的方法，用公式(1)或(2)确定当前图像左上角在整体全局图像中的位置，由于基于区域的匹配方法精度较高，如果偏移量是通过基于区域的方法得到的，则将公式(2)中的n_ij人为赋值为300。

本发明第四步所述的采用图像融合方法进行整体图像拼接的具体过程如下(图像拼接流程如附图3所示)：

1)、设置权值矩阵W，用来度量图像上每点亮度值的可靠性，W的计算公式为：

W(x，y)＝w(x)w(y)              (5)

其中，(x，y)是局部图像沿X、Y方向坐标，w(x)自中心至边缘，从1到0均匀变化。

2)、对于全局图像中的每一个点，根据其在各幅局部图像中的位置，即该点亮度值的“可靠度”，确定各幅局部图像的融合权值矩阵，图像i的融合权值矩阵W_i(x，y)表示为：

$W_i(x,y)=\left\{\begin{array}{cc}1& \mathrm{if\; i}=\underset{j}{\arg \max }{W}^j(x,y)\\ 0& \mathrm{other}\end{array}\right.---\left(6\right)$

其中，j的取值包括编号i及所有与图像i有邻接关系的图像编号。

3)、获取图像i对全局图像I的贡献：

I(x_i+x，y_i+y)＝I_i(x，y)W_i(x，y)     (7)

其中，(x_i，y_i)是通过第三步求得的图像i左上角在全局图像中的位置。

4)将所有局部图像作用于全局图像I，可得到最终的图像融合结果，实现图像拼接。

由本发明提供的微操作机器人系统显微视野拓展方法的步骤可以看出，由于考虑了显微图像的特点，缩短了处理时间，图像拼接的大部分工作都可伴随电动操作平台运动在线完成，电动操作平台运动停止即可得到最终的图像拼接结果，从而扩大了显微视野的范围，为使用者提供了良好的用户感受。

本发明的优点和积极效果：

针对显微图像的成像特点，本发明提出并实现了针对显微图像的拼接方法，与没有考虑显微图像特点的方法相比，该方法可以在线完成，并达到象素级拼接精度。将上述方法应用于改造后的微操作机器人显微镜系统中，可成功实现显微视野的拓展，为微操作机器人系统提供广阔的视觉反馈。

【附图说明】：

图1是显微视野拓展时，采集局部显微图像的顺序示意图；

图2是基于区域的图像拼接中，相邻图像对准的示意图；

图3是图像拼接流程示意图；

图4是实施例1中图像采集顺序示意图；

图5是微操作机器人系统4倍物镜显微视野拓展时，显微图像特征提取的结果；

图6是微操作机器人系统4倍物镜显微视野拓展时，显微图像特征匹配的结果；

图7是微操作机器人系统4倍物镜显微视野拓展的结果；

图8是微操作机器人系统40倍物镜显微视野拓展时，显微图像特征提取的结果；

图9是微操作机器人系统40倍物镜显微视野拓展时，40倍显微图像特征匹配的结果，特征匹配失败；

图10是微操作机器人系统40倍物镜显微视野拓展时，20倍显微图像与40倍显微图像特征匹配结果，特征匹配结果可用于确定区域的搜索范围；

图11是微操作机器人系统40倍物镜显微视野拓展的结果。

【具体实施方式】：

发明实验装置

在实施例中，使用的实验系统是NKTYMR微操作机器人系统，该系统通过电动操作平台(参见2003101066313号专利)带动被观察目标沿X、Y方向运动，移动精度2μm，运动范围为10cm×10cm，最快的移动速度为1500μm/s。系统配备Olympus CK40显微镜，其物镜包括4倍、10倍、20倍、40倍四种，局部显微图像的象素尺寸为768×576。

下面以4倍物镜和40倍物镜为例，说明微操作机器人系统显微视野拓展的过程。

实施例1：

4倍显微镜物镜下的显微视野拓展

在微操作机器人系统中，4倍显微镜物镜下的显微视野拓展步骤如下：

a)将操作目标置于微操作机器人的电动操作平台上，设定拓展后的视野范围为0.62cm×0.45cm，并将扫描开始位置设在扫描范围的左上角。

b)设定图像的重叠范围为图像大小的20％。

在4倍显微镜物镜下，1象素约为1μm，且单幅显微图像的象素尺寸为768×576，为达到设定的视野范围，需拼接10×10幅显微图像，电动操作平台每次移动的距离为600μm(X方向)或460μm(Y方向)，图像采集顺序如附图4所示，图中标出了全局图像的原点位置及坐标方向。设定电动操作平台的运动速度为150μm/s，每次移动平台后，采集当前视野下的显微图像。

c)对于每一幅采集到的局部显微图像，获取其全局图像位置。下面以编号为22号的图像为例，获取其全局图像位置的过程如下：

i.提取当前图像的SIFT特征，如附图5所示，检测出的SIFT特征数量为292。

ii.和其左侧的邻接图像(21号图像)进行SIFT特征匹配，匹配结果如附图6所示，成功匹配的特征数为17个。对比成功匹配特征的位置，可以得到当前图像与邻接图像的偏移量为(581，-13)象素。

iii.同理得到该图像与所有邻接图像的匹配特征数和偏移关系，如表1所示，表1还给出了邻接图像左上角的全局位置，根据公式(1)和公式(2)可计算出当前图像左上角在全局图像中的象素位置为(593，981)。从特征提取到获得图像的全局位置共计耗时1.3秒。

表1当前图像与邻接图像的关系

d)根据公式(5-7)，通过图像融合方法得到最终的图像拼接结果，如附图7所示，图中标出了22号图像在拓展后的视野中的位置(图中方框位置所示)。

由电动操作平台的运动速度可知，为了得到下一幅待拼接的显微图像，操作平台大约需要运动3秒。在等待平台运动的过程中，足够完成当前图像的拼接，也即可以保证显微图像“随采集、随拼接”，图像扫描结束即完成视野拓展而无需等待，给使用者提供了良好的用户体验。

实施例2：

40倍显微镜物镜下的显微视野拓展

40倍物镜下的显微视野拓展与4倍物镜下的视野拓展类似，只是可能出现相邻图像特征匹配失败的情况，下面就这种情况给出具体的处理过程。

a)设定拓展后的视野范围为0.13mm×0.1mm，并将扫描开始位置设在扫描范围的左上角。

b)设定图像的重叠范围为图像大小的40％。在40倍显微镜物镜下，1象素约为0.1μm，为达到设定的视野范围，需拼接3×3幅显微图像。设定电动操作平台每次移动的距离为46μm(X方向)或35μm(Y方向)，运动速度为20μm/s，每次移动电动操作平台后，采集当前视野下的显微图像。

c)对于每一幅采集到的局部显微图像，获取其全局图像位置。下面以6号显微图像为例，获取其全局图像位置的过程如下：

i.提取6号显微图像的SIFT特征，如附图8所示，检测出的SIFT特征数量为195。

ii.和其右侧邻接的显微图像(5号图像)进行SIFT特征匹配，匹配结果如附图9所示。由于图像重叠区内提取的SIFT特征数过少，特征匹配失败。

iii.确认20倍全局视野图像存在后，将6号图像与5号图像分别与20倍显微图像进行特征匹配，结果如附图10所示，由此得到X方向的区域搜索范围为[-630，-666]，Y方向的区域搜索范围为[-15，1]。

iv.利用公式(3)和公式(4)进行基于区域的图像匹配，得到两幅图像间的偏移量为(-631，-7)。

v.当前图像与其他相邻图像的关系可基于SITF特征匹配建立，如表2所示。根据公式(1)和公式(2)计算出当前图像左上角在全局图像中的象素位置为(-55，339)。从特征提取到获得图像的全局位置共计耗时3秒。

表2当前图像与邻接图像的关系

d)根据公式(5-7)，通过图像融合方法得到最终的图像拼接结果，如附图11所示，图中标出了6号图像在拓展后的视野中的位置(图中方框位置所示)。

由电动操作平台的运动速度可知，为了得到下一幅待拼接的显微图像，操作平台大约需要运动2～3秒，足够完成当前图像的拼接。同时，在拼接算法的支持下，40倍物镜下的显微视野拓展精度可达亚微米级别。

参考文献

[1]江泽民；徐德；王麟昆；谭民，微操作机器人的研究现状与发展趋势.机器人，2003.25(6)：pp.554-559.

[2]孙立宁；孙绍云；荣伟彬；蔡鹤皋.微操作机器人的发展现状.机器人，2002.24(2)：pp.184-187.

[3]毕树生；宗光华；赵玮；李旭东；于靖军.微操作技术的最新研究进展.中国科学基金，2001(3)：p.513-517.

[4]Zhou，Q.，B.Chang，and H.N.Koivo.Ambient Environmental Effects in Micro/Nano Handling.in Proceedings of the4th InternationalWorkshop on Microfactories.2004.

[5]Yang，G.，J.A.Gaines，and B.J.Nelson，Optomechatronic Design of Microassembly Systems for Manufacturing HybridMicrosystems.IEEETransactions on Industrial Electronics，2005.52(4)：p.1013-1023.

[6]萧泽新；唐焱；伍世荣；孙安青；郝卫东；刘惠娟；李海标.自动倒置显微镜.中国专利：200520035493，2007.02.07.

[7]安刚；李彬；赵凤海；张建勋；卢桂章.显微镜自动操作系统.中国专利：200310106631.2006.02.22.

[8]蔡凯.自动生物显微镜.中国专利：03261054.2004.09.08.

[9]http://www.leica-microsystems.cn/

[10]ZitováB.，Flusser J.：Image registration methods：a survey.Image and Vision Computing，2003.21(11)，977-1000.

[11]方贤勇.图像拼接技术研究.博士学位论文.浙江大学，2005.

[12]Matthew Brown and David G.Lowe，″Automatic panoramic image stitching using invariant features，″InternationalJournal of Computer Vision，74，1(2007)，pp.59-73.

[13]Matthew Brown and David G.Lowe，″Recognising panoramas，″International Conference on Computer Vision(ICCV2003)，Nice，France(October2003)，pp.1218-25

[14]张建勋；卢桂章；李彬；李庆诚；张蕾；黄亚楼.用于生物医学工程的微操作机器人.中国专利：97121702.1999.12.29.

[15]David G.Lowe，″Distinctive image features from scale-invariant keypoints，″International Journal of Computer Vision，60，2(2004)，pp.91-110.

[16]V.H.Milan Sonka，Roger Boyle著.艾海舟 武勃译.图像处理、分析与机器视觉(第二版)，北京：人民邮电出版社，2003

Claims (1)

1.一种微操作机器人系统显微视野拓展方法，其特征在于该方法包括：

第一、将操作目标置于微操作机器人的电动操作平台上，确定待观察的目标区域；

第二、选取目标区域的某个顶点作为扫描的起始点和终点，即扫描结束后平台又回到起始位置，通过平台的折线运动进行扫描路径规划，并按照扫描路径将选定目标区域分割成大小等同于当前屏幕视野的一组单元格，为了完成图像拼接，相邻单元格间需要20％-40％的重叠，由此确定操作平台移动的次数和待拼接图像的数量；

第三、将电动操作平台运动到目标区域的起始点，保留当前局部显微图像，之后依次将下一相邻单元格移入显微视野，采集待拼接图像，同时，在平台运动的过程中，处理刚采集到的显微图像，借助基于SIFT特征或区域的拼接方法，得到该图像在整体全局图像中的偏移量；

第四、图像采集结束后，将电动操作平台移回运动的起始点，同时处理最后一幅显微图像；此时，各幅局部显微图像在整体图像中的位置都已确定，通过图像融合方法得到最终的图像拼接结果，也即目标区域的全局图，实现显微视野的拓展；

第三步中所述的基于SIFT特征的拼接方法包括：

1)、在待拼接的显微图像中提取SIFT特征，得到SIFT特征位置和128维SIFT特征向量；对于一般显微图像，将单幅图像检测出的SIFT特征数控制在100-300个；

2)、将当前图像中各特征的SIFT特征向量与其邻接图像中的SIFT特征向量进行逐一比较，根据欧式距离判别SIFT特征的相似程度，若满足相似性条件，则认为找到一个匹配点对，由此得到当前图像中SIFT特征与邻接图像SIFT特征的对应关系；

3)、由同一SIFT特征在不同图像中的位置变化即偏移量得到当前图像与其邻接图像间的偏移量，为了提高匹配精度，将各个特征偏移量取平均作为图像的最终偏移量；

4)、确定当前图像在整体全局图像中的位置，设定第一幅采集图像左上角在全局图像中的位置为(0，0)，由相邻图像间的偏移量求得后续图像的位置；设当前图像编号为i，根据其相邻图像j得到的图像左上角位置为：

$x_i^j=x_j+\mathrm{\Δ}{x}_i^j,y_i^j=y_j+\mathrm{\Δ}{y}_i^j---\left(1\right)$

其中，(x_j，y_j)是已知的图像j的左上角在全局图像中的位置，

是图像i相对于图像j的偏移量，由上述第3)步求出；

在当前图像的相邻图像不只一幅时，通过SIFT特征数目加权计算当前图像左上角在全局图像中的最终位置，计算公式如下：

$x_i=\frac{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}{x}_i^j}{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}},$ $y_i=\frac{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}{y}_i^j}{\underset{j}{\mathrm{\Σ}}{n}_{\mathrm{ij}}}$ (图像i，j邻接)    (2)

其中，n_ij代表用于计算图像偏移量的SIFT特征数目；

第三步中所述的基于区域的拼接方法包括：

1)、获取相邻显微图像间的偏移量范围，通过SIFT特征匹配得到当前显微图像在低倍全局图像中的位置，进而得到当前图像与其邻接图像的大致位置关系，按此关系设置基于区域方法的偏移量搜索范围，当不同倍数显微图像间的特征匹配出现错误时，根据电动操作平台的移动精度设定搜索范围；

2)、利用邻接图像重叠区所有象素亮度的一致性估计偏移量参数，使用的算法为归一化的相关系数法，归一化相关系数R可通过公式(3)计算，使R取到最小的偏移量即为所求最终的偏移量，

$R(\mathrm{\Δx},\mathrm{\Δy})=\underset{x,y}{\mathrm{\Σ}}[{I_2}^{\′}(x,y)\·{I_1}^{\′}(x+\mathrm{\Δx},y+\mathrm{\Δy})]/\sqrt{\underset{x,y}{\mathrm{\Σ}}{I_2}^{\′}{(x,y)}^2\·\underset{x,y}{\mathrm{\Σ}}{I_1}^{\′}{(x+\mathrm{\Δx},y+\mathrm{\Δy})}^2}---\left(3\right)$

公式中，图像1和图像2表示两幅相邻的显微图像，I₁(x，y)和I₂(x，y)分别是图像的亮度，Δx和Δy为所求图像2相对于图像1的偏移量，I′(x，y)表示图像的平均亮度，定义如下：

$I^{\′}(x,y)=I(x,y)-\frac{1}{w\·h}\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}I(x^{\′},y^{\′})---\left(4\right)$

w和h是重叠区域的宽度和高度，R(Δx，Δy)取值越小，则表明图像间的相关程度越大；

3)、采用基于SIFT特征拼接的方法，用公式(1)或(2)确定当前图像左上角在整体全局图像中的位置，由于基于区域的匹配方法精度较高，如果偏移量是通过基于区域的方法得到的，则将公式(2)中的n_ij人为赋值为300。

Images