CN101405763B

CN101405763B - 用于获取实时视频输出的对象的多个视图的方法和系统

Info

Publication number: CN101405763B
Application number: CN2006800540287A
Authority: CN
Inventors: 安德鲁·沙克洛克
Original assignee: Agency for Science Technology and Research Singapore
Current assignee: Agency for Science Technology and Research Singapore
Priority date: 2006-03-01
Filing date: 2006-03-01
Publication date: 2011-05-04
Anticipated expiration: 2026-03-01
Also published as: CN101405763A; TW200809698A; JP5059788B2; WO2007100303A1; JP2009528766A

Abstract

一种用于获取实时视频输出的对象的多个视图的方法，该方法包括：获取对象的第一视图(30)；获取对象的第二视图(20)，第二视图不同于第一视图(30)；以及使用第一和第二视图(30、20)之间单应性矩阵来使第一视图(30)变形，使得第一视图(30)的形状和位置匹配第二视图(20)；其中，通过应用使用了掩码的有条件的拷贝将变形后的第一视图(33)覆盖在第二视图(20)上，通过单应性矩阵来计算掩码。

Description

用于获取实时视频输出的对象的多个视图的方法和系统

技术领域

本发明涉及一种用于获取实时视频输出的对象的多个视图的方法和系统。

背景技术

显微镜通过装置的光学器件和目镜(多个目镜)来提供狭窄视野的高倍放大图像。一些显微镜提供了变焦透镜和/或可互换透镜，使得用户可以得到更宽的视野以有助于景物可视化或检查感兴趣区域(“ROI”)附近的对象。一些显微镜配备有摄像机和显示器，使得操作者不局限于通过目镜来观看，而可以同时观看显微镜的显示器和周围的设备。

已提出了一种微组件系统，其提供多个摄像机视图，使得高分辨率显微镜视图的优点与在更宽视野中可获得的景物信息结合在一起。某些系统结合了两个位于相互垂直的观察点的显微镜：例如，一个从上面(平面图)，而一个从侧面(侧面图)。有时，诸如扫描电子显微镜(SEM)的系统配置有访问端口，通过该访问端口可以实现样品台的摄像机视图。用户可以在单独的监视器上观看台子的运动。

单视图显微镜使用麻烦并且用处不大，这是因为经常有视野之外的、必须通过结合侧面放置样品台和利用光学器件将镜头拉远来检查的细节。监视器类型的显示器允许操作者观看沿着显微镜视图边缘的景物，但是多数的应用情况中，感兴趣区域都小到难以用肉眼看到。

多个摄像机可以有所帮助，但是需要操作者在多个屏幕之间转换注意力或者手动地选择视图。多个视图会导致空间定向障碍并需要一些图像心理旋转的技能。利用混乱的景物或有限工作距离的光学器件，在物理上不太可能用第二个摄像机来获取ROI的视图。显微镜具有非常浅的景深并且ROI基本上是平坦的。在这种情况下，相对于该平面倾斜的第二视图将不能很好地聚焦在景物上。

因此，人们期望有一种改进的系统来获取感兴趣区域的多个视图。

发明内容

在第一优选方面，提供了一种用于获取实时视频输出的对象的多个视图的方法，该方法包括：

获取对象的第一视图；

获取该对象的第二视图，第二视图不同于第一视图；以及

使用第一和第二视图之间的变换来使第一视图变形，使得第一视图的形状和位置与第二视图相匹配；

其中，通过应用使用了掩码(mask)的拷贝将变形后的第一视图覆盖(overlay)在第二视图上，其中，通过变换来计算该掩码。

在第二方面，提供了一种用于获取实时视频输出的对象的多个视图的系统，该系统包括：

第一图像拍摄装置，用于获取对象的第一视图；

第二图像拍摄装置，用于获取该对象的第二视图，第二视图不同于第一视图；以及

变形模块，用于使用第一和第二视图之间的单应性矩阵(homography)来变形第一视图，使得第一视图的形状和位置与第二视图相匹配；

其中，通过应用使用了掩码的有条件拷贝将变形后的第一视图覆盖在第二视图上，其中，通过单应性矩阵来计算该掩码。

该对象可以至少部分地被另一对象遮蔽。

所述变换是通过解决图像间的移动以及构建拼嵌图(mosaic)来获取的。该变换可以是单应性矩阵。

单应性矩阵可以通过以下等式来获取：

H_{ZP}^{U} = H_{s} H_{d} H_{P}^{M} H_{M}^{mos} H_{mos}^{U},

其中，

是说明该拼嵌图中的参考系原点的任意偏移的简单平移，是等距(isometry)或定标的欧几里德变换并将拼嵌图坐标放到模型空间，

是投射变换，其将该模型投射到透视图坐标系统上，H_d是说明数字缩放中原点的改变的平移，H_s是数字缩放的定标因子，以及

是矩阵变换，其将第一图像的特征放到第二图像中该特征的正确位置。

通过至少一种预定的图像间跟踪算法来解决图像间的运动。可以参考预定时刻来构建拼嵌图，该方法进一步包括：

确定将拼嵌图放到模型空间的变换；

恢复从模型空间到第二视图的变换；以及

确定预定时刻的从第一视图到第二视图的变换。

变换可以基于可获得的图像数据。该模型空间可以是预定的模型或者从第二视图中创建出的模型。预定时刻的从第一视图到第二视图的变换可以由矩阵组合来确定。第二视图可以被缩放。可以提供坐标变换来处理缩放第二视图的结果。可以在第一视图的倾斜角度(oblique angle)处获取第二视图。第一视图和/或第二视图可以在处于对象平面的倾斜角度处提取。

图像拍摄装置可以是图像数字转换器或帧捕捉器。第一图像拍摄装置可以经由显微镜来拍摄图像。拷贝可以是有条件的拷贝。当变形引起视差不一致(parallax disparity)时，可以使用对象的阴影来解决该视差不一致。

本发明提供了一种方法，使得显微镜的操作者能够看见关于3D周围结构和环境的由显微镜提供的视图；例如，伸长的样品和应用工具。本发明将从多个观察点获取的多个图像的可见数据融合到一个观察点上。这使得操作者能够按照直觉设置来有效地观看和控制这种任务，而不需要困扰于物理和心理上的观察点切换。该融合技术可以恢复丢失的或模糊的数据，并提供看穿对象(诸如，可能遮挡感兴趣区域的外围工具和主体显微镜)的能力。操作者可以在高分辨率下观看焦距对准的显微镜图像，这就好像从透视观察点进行观看。

本发明将来自一个视图的视图投射到另一视图的透视图上，使得所投射的视图增加了通常被该视图中被遮蔽的视觉信息(图像)。为操作者提供了数字缩放和摇摄(panning)的功能，使得可以按照视野和细节分辨率的最佳或期望的结合来显示图像并帮助操作者解决深度模糊。

本发明允许操作者在一个视图中观看来自多个信息源的视图内容(真实的或合成的)，并且允许多种分辨率的数据结合在一个显示器上。这结合了精细分辨率和宽视野的优点。本发明有助于手-眼(hand-eye)协调并减少操作者的疲劳。本发明不需要现有技术提到的实时模型。相反，其能够单独使用实时图像并对它们加以变换(变形)以再现隐藏的细节。没有现有知识、现有模型或模型再现能达到这点。本发明不依赖于现有知识或固定的配置。

附图说明

现在将参照附图来描述本发明的实例，在附图中：

图1是部分被显微镜透镜外壳所遮蔽的工作区(标有大“X”)的透视图；

图2是通过显微镜光学器件看到的图1的工作区的视图；

图3示出了本发明的优选实施例，其中，图1的第一图像被数字缩放，而图2的第二图像被投射到新图像中其相应位置上，而新图像覆盖在第一图像上以提供穿过显微镜透镜外壳遮蔽结构的视图；

图4是图像叠加的处理流程图；

图5是通过图4的处理获取的最终结果的图像；

图6是来自电子数据包序列的帧对(frame pair)的一系列图像；

图7示出了作为来自该平面的投射细节的观看该同一平面的两个图像；

图8示出了拼嵌图图像，以建立两个不同分辨率等级的图像空间之间的一致性；

图9和图10是通过跟踪显微镜图像并解决运动参数而形成的拼嵌图图像的两个附加实例；

图11是示出了从图像中恢复运动然后将景象再现为拼嵌图图像的过程的一系列表示；以及

图12是从显微镜视图到其相应透视图的单应性矩阵变换的框图，其中所述透视图由涉及拼嵌图空间和模型空间的其他变换组成。

具体实施方式

参照图1和图2，操作者企图在通过显微镜7观看感兴趣区域(ROI)的同时观看3D空间中靠近工作区(标有大“X”)/感兴趣区域ROI的工具/探针5、6的位置。在图1中，在不可能看见探针5、6如何与ROI接触的地方拍摄第一图像20。分辨率也不足以确定探针5的针尖离ROI有多近。在图2中，在看见最前面的探针5而不能感觉到其与平面4垂直放置并且看不见第二探针6也看不见任何‘X’之外的其他细节的地方拍摄第二图像30。

优选地，来自显微镜观察点的第二图像30被拍摄并被投射到从不同观察点获取的第一图像20上。第一图像20具有更宽的视野并位于第二图像30的倾斜角度处。这种投射的优点在于操作者能够在更宽景物的背景中看见由显微镜7提供的细节，所述更宽景物的背景包括3D空间中的结构，以及遮蔽ROI视图的结构。提供了实现该投射的方法。尽管不同分辨率的两个视图20、30之间存在有限的对应性，本发明还提供了一种方法，用于解决需要产生精确的数据投射的坐标变换。找到了一种2D变换，将来自显微镜7下面的样品的平面4的几何特征放到第二视图20中该平面4的投射上。一旦找出这种变换，就对来自显微镜7的实时图像进行变换并将其与第二视图20的实况播送的图像混合在一起。显微镜7可以是任意适合尺寸、形状、功率、或形式，并且可以包括扫描电子显微镜、缩放X-射线设备(zooming X-Ray apparatus)等。可以在探针5的平面的倾斜角度处获取第一视图20和/或第二视图30。

在图3中，显微镜图像30的变形的拷贝被覆盖到透视图中其占据的平面4上。如果对操作者有益，则这种变形(或投射)应当是精确的。可以通过使用计算机制图技术再现丢掉的细节，来扩大图像30。图像扩大可以包括合并实时图像20、30、拼嵌图图像60、以及图形模型的数据。实时进行该处理。实时可以理解为执行该操作并更新该显示，使得图像20、30暂时一致，操作者察觉不出任何延迟，并且保持可接受的帧速率。该投射引起了平面4之外的对象的视差不一致。因此，探针5的占据3D空间的图像出现在不同的透视图中。不一致的量与对象离平面4的距离有关，并有利地向操作者提供单一视图中丢失的信息。这就好像是正在观看直接由光源投射对象的阴影9。探针5的原透视图像20被重画到新图像40上。由于阴影9提供了对深度的理解，所以其可以用于解决视差不一致。

参照图4，由诸如(例如)数码摄像机的两个图像拍摄装置21、31来实时拍摄图像20、30。时钟50可以用于对摄像机21、31的数字转换器22、32进行计时。尽管优选地相当同时地拍摄这些图像，但是这不是最重要的。作为选择地，可以使用能够从两个或多个图像拍摄源进行拍摄(优选地基本同时进行拍摄)的帧捕捉器(framegrabber)。对透视图20进行任选地剪切和调整大小以产生ROI上的数字缩放的效果。可以确定ROI，使得其位于显微镜视图30的位置的中心之上。对显微镜视图30进行变换，使其与透视图20相匹配。使用诸如(例如)单应性矩阵H的变换来变形(投射)显微镜图像30，使其透视维度与缩放的透视图23相匹配。作为单应性矩阵的可选方法，可以使用投射变换(projective transformation)、二维变换或一般的线性变换。可以通过作为软或硬件实施的变形模块来执行变形。然后，变形视图33被叠加在透视图20上，以产生融合的图像40。具体地，通过使用由同一变形单应性矩阵H所计算出的掩码来应用有条件的拷贝而融合两幅图像23、33。然后，可以将合成的图像40拷贝到显示器41的显示缓冲器。

图5是通过图4所示的处理所产生的实际融合的图像40。在新图像40的中央，看见来自显微镜31的高分辨率图像23。由于是从上面获取的，故该视觉信息完全是2D的。矩形变形视图33投射到视图40中的四边形上。变形视图33的周围是缩放的透视图23的低分辨率图像。平面4上的圆形特征匹配，但是3D的管脚结构展现了视差。覆盖变形的显微镜图像33使操作者可以看穿遮蔽的管脚。

在图6中，上面的两个图像20、30是从图像数字转换器(帧捕捉器)接收到的原始输入图像，而中间的两个图像23、33是变换后的图像，而下面的图像是融合的图像结果40。位于图6左上方的透视图图像20被缩放到下面的图23中所示的区域。在缩放的图像23中，垂直管脚遮蔽了水平面4的一些细节。使用所需的变换(单应性矩阵，H)，右上方的显微镜图像30被变形为透视图中的正确形状和位置。最后，变形的图像33被覆盖在缩放的图像23上以产生融合的图像40。在融合的图像40上，变形的图像33和缩放的图像23之间存在图像分辨率的差别。操作者自由选择融合的视图40中的缩放的量；由于缩放是数字的，所以其几乎被瞬时执行。

在图7中，两个摄像机21、31正从两个不同的视图20、30来观看平面4。在平面4上的特征和图像平面8上的特征之间存在一一对应的关系。因此，在两个图像平面8中出现的特征之间存在一一对应的关系。物理平面4引入了两个图像之间的单应性矩阵对应(2D单应性矩阵‘H’)。在世界坐标系中存在从每个摄像机21、31到平面4的单应性矩阵

，并因此通过合成存在从第一摄像机21到第二摄像机31的单应性矩阵：

H_{2}^{1} = H_{w}^{1} H_{2}^{w} = H_{w}^{1} {(H_{w}^{2})}^{- 1} .

必须确定两个视图20、30之间的所需的单应性矩阵H。当意义不明确时，为了方便丢掉

的指数。如果确定了单应性矩阵，则可以将图像从一个视图映射到另一个视图上。来自显微镜31的有用的视觉信息主要是平面的，因而可以使用平面的单应性属性来将数据从一个图像投射到另一个图像上。单应性矩阵是可逆的并可以通过矩阵合成(matrix composition)来链接。2D单应性矩阵将几何数据从一个平面空间变换到另一个平面空间。例如，在齐次(homogeneous)坐标中的2D的点x₁＝{x，y，1}变换为：

在该表示中，x的(下面的)指数指的是坐标系，而变换H从上指数坐标系到下指数坐标系。

使用该系统的物理参数的知识可以计算两个视图之间的单应性矩阵H。但是这将使得系统对于误差和干扰非常敏感。还可以通过放置校准对象使其出现在两个视图中并通过将适当的误差函数最小化来使用标准方案以解决变换的代数系数，而解决单应性。与之相关联的一些问题包括：

a)每次在物理安装出现改变(摄像机轻微移动、缩放甚至是重调焦距)的时候，都不得不重复校准；

b)系统的参数可随时间或周围条件的改变而漂移；

c)可能不能在两个视图中看见校准对象；以及

d)两个视图之间在等级上具有较大差异，校准将对测量误差高度敏感。

在优选实施例中，不存在对外部校准的依赖。通过显微镜图像30的跟踪移动可以实现强大的内部校准，解决图像间的移动并创建拼嵌图图像60。拼嵌图图像60的使用可以找到在不同等级下获取的多个视图之间的对应性。该功能是自动的，并且可以在系统处于正常和连续使用状态的同时执行该功能。

参照图8，拼嵌图60被示出在上面的图像中，并由缝合在一起的约三十个显微镜图像30组成。通过将该拼嵌图60配合到透视图20中，在内部解决了图像间的单应性矩阵的校准，而没有使用摄像机内和摄像机外的参数的任何知识。存在可在透视图20上辨认的拼嵌图60上的特征，因而可以直接解决这两个图像空间之间的变换。建立用于变换的对应性可以手动或自动地解决。

图9示出了已经制作出的完整的环，位于两端的特征被正确排列。在误差易于在变换的链条中传播的情况下，在实施跟踪和再现算法的过程中，这个环闭合问题是主要关心的问题。图10示出了跟踪算法可以在更有挑战性的区域(诸如(例如)当有很小或没有可认出的特征穿过中央区域时)和金属性表面上获取成功。

图11a示出了合成的固体平面形状。矩形代表了序列中的不同瞬时的各个图像帧。图11b示出了如何将该序列拍摄为多个单独的帧，以及每个帧将如何出现在监视器上。不总是可能从这些简单形状中推断出帧间的移动。例如，当图像只包括圆(图5至图6)时，则旋转的量不确定。图11c示出了运动参数的恢复。每个帧被画在其相对于参考帧(帧1)的正确位置处。图11d示出了通过对单独的图像进行变换以适应在前一步骤中恢复的帧的再现。图11e是最终的拼嵌图60。该处理创建了具有自己的坐标系的新图像。

当形成拼嵌图60时允许一般的移动。这意味着不必高精度地控制移动参数并且甚至可以由操作者手动移动样品。与样品有关的视图帧的移动很常见。图像间的跟踪算法解决了随后导致拼嵌图60的再现的移动参数。

在图像12中，帧时刻(instant)的单应性矩阵序列由显微镜视图(U)、模型空间(M)、以及透视图(P)中的六个方框来表示，参照所选择的时刻来构建拼嵌图60。帧时刻2被选择为参考时刻。相对于第二显微镜图像(U2)来组成拼嵌图60，以及参考第二透视帧(P2)来制作模型65。一旦找出从显微镜帧2(U2)到透视帧2(P2)的单应性矩阵，则其可以应用于所有其他的帧对{Ui，Pi}。

接下来，确定将拼嵌图60放到模型空间65的变换。模型65可以是之前已知的，或者可以是从一个或多个透视图像20中创建的。然后，恢复从模型空间65到参考透视图图像20的变换。通过矩阵合成，来确定从显微镜视图(U2)中的参考帧到其同步透视图(P2)的变换。然后，假设这种变换保持随后图像对{Ui，Pi}的正确。最终的坐标变换要考虑任意的缩放效果，但是这没有在示图中描述。由于这些操作针对数字图像，所以它们是等价于剪切和调整大小的效果，因此它们是已知的并且可以由简单平移和定标矩阵来表达。因此，按照下面的方式来组成从显微镜图像(U2)到缩放的透视图(P2)的单应性矩阵：

H_{ZP}^{U} = H_{s} H_{d} H_{P}^{M} H_{M}^{mos} H_{mos}^{U}

其中，所有的矩阵H均可以是(例如)3×3。如果需要或期望的话，则它们可以是(例如)4×4。

是说明拼嵌图图像60中的参考帧原点的任何偏移的简单平移，

是等距(或定标的欧几里德变换)，并将该拼嵌图坐标放到模型空间65上，

是将模型65投射到透视图坐标系上的投射变换，

H_d是说明数字缩放过程中原点的改变的平移，

H_s是数字缩放的定标因子。

是将任意显微镜图像30中的特征放到其在相应缩放透视图20中的正确位置的矩阵变换。

可以将从拼嵌图60到模型65的变换分解为定标、旋转、及平移。这提供了用外部显微镜缩放来对H进行参数化的机会。同样地，可以为变量缩放估计H，而不必重新校准所有的分量变换。变换H(全文：

)依赖于拼嵌图图像60的质量和范围。必须收集足够多的图像，从而可以找到与模型65的对应性。显然，在更高的显微镜放大倍率下，在找出对应特征之前需要更多的图像20、30。拼嵌图60的质量依赖于找出好的图像间变换。高质量拼嵌图60是可实现的。

有利地，本发明提供了一种原本从许多观看角度都不可能正常观看到的景象的视图。所描述的方法和系统不需要外部的校准或精确的校准步骤，而是自持的，并且不需要有经验的操作者来提供常规的调整或重新配置。本发明使能了实时视频输出，并且能够在聚焦变化或光学缩放的情况下工作。本发明可以使用显微镜系统的现有设备并需要最小的改变或添加昂贵的部件。该系统可以被容易地重新配置，以适应操作者的偏爱或操作步骤中的改变。

该方法和系统可以用于动作控制，这是由于其能够解决移动变换。例如，当图像坐标满足需要时，其能够用于触摸屏系统和鼠标控制导航输入。如果显微镜是缩放X射线设备，则该方法和系统可以用于半导体器件错误检测。

本领域技术人员应当理解，在不背离概括描述的本发明的范围或精神的情况下，可以对具体实施例中示出的本发明进行许多改变和/或修改。因此，在所有方面都应当将这些实施例视为示例性的而非限制性的。

Claims

1.一种用于获取实时视频输出的对象的多个视图的方法，所述方法包括：

获取所述对象的第一视图；

获取所述对象的第二视图，所述第二视图不同于所述第一视图；以及

使用所述第一视图和所述第二视图之间的变换来使所述第一视图变形，使得所述第一视图的形状和位置与所述第二视图相匹配；

其中，通过应用使用掩码的拷贝将变形后的第一视图覆盖在所述第二视图上，其中，通过所述变换来计算所述掩码。

2.根据权利要求1所述的方法，其中，所述对象至少部分地被另一对象遮蔽。

3.根据权利要求1所述的方法，其中，所述变换是通过解决图像间的移动以及构建拼嵌图来获取的。

4.根据权利要求1所述的方法，其中，所述变换是单应性矩阵。

5.根据权利要求4所述的方法，其中，通过以下等式来获取所述单应性矩阵：其中，

是表示所述拼嵌图中参考系原点的任何偏移的简单平移，

是等距或定标的欧几里德变换并将所述拼嵌图坐标放到模型空间上，

是将所述模型投射到透视图坐标系上的投射变换，H_d是表示数字缩放中原点的改变的平移，H_s是数字缩放的定标因子，以及

是将所述第一图像中的特征放到所述第二图像中所述特征的正确位置的矩阵变换。

6.根据权利要求3所述的方法，其中，所述图像间的移动是通过使用至少一种预定的图像间跟踪算法来解决的。

7.根据权利要求3所述的方法，其中，参照预定时刻来构建所述拼嵌图，所述方法进一步包括：

确定将所述拼嵌图放到模型空间的变换；

恢复从所述模型空间到所述第二视图的变换；以及

确定预定时刻的从所述第一视图到所述第二视图的变换。

8.根据权利要求7所述的方法，其中，所述变换基于可获得的图像数据。

9.根据权利要求7所述的方法，其中，所述模型空间是预定模型和从所述第二视图创建出的模型中的一种。

10.根据权利要求7所述的方法，其中，通过矩阵合成来确定所述预定时刻的从所述第一视图到所述第二视图的变换。

11.根据权利要求1所述的方法，其中，所述第二视图被缩放。

12.根据权利要求11所述的方法，进一步包括：坐标变换，用于处理缩放所述第二视图的结果。

13.根据权利要求1所述的方法，其中，所述第二视图是在所述第一视图的倾斜角度处获取的。

14.根据权利要求1所述的方法，其中，所述拷贝是有条件的拷贝。

15.根据权利要求1所述的方法，其中，当所述变形引起视差不一致时，所述对象的阴影被用于解决所述视差不一致。

16.一种用于获取实时视频输出的对象的多个视图的系统，所述系统包括：

第一图像拍摄装置，用于获取所述对象的第一视图；

第二图像拍摄装置，用于获取所述对象的第二视图，所述第二视图不同于所述第一视图；以及

变形模块，用于使用所述第一视图和所述第二视图之间的变换来使所述第一视图变形，使得所述第一视图的形状和位置与所述第二视图相匹配；

其中，能够通过应用使用掩码的拷贝将变形后的第一视图覆盖在所述第二视图上，其中，通过所述变换来计算所述掩码。

17.根据权利要求16所述的系统，其中，所述图像拍摄装置是图象数字转换器或帧捕捉器。

18.根据权利要求16所述的系统，其中，所述对象至少部分地被另一对象遮蔽。

19.根据权利要求16所述的系统，其中，所述变换是通过解决图像间的移动以及构建拼嵌图来获取的。

20.根据权利要求16所述的系统，其中，所述变换是单应性矩阵。

21.根据权利要求20所述的系统，其中，通过以下等式来获取所述单应性矩阵：其中，

是说明所述拼嵌图中的参考系原点的任何偏移的简单平移，

是等距或定标的欧几里德变换并将所述拼嵌图坐标放到模型空间上，是将所述模型投射到透视图坐标系上的投射变换，H_d是说明数字缩放中原点的改变的平移，H_s是数字缩放的定标因子，以及是将所述第一图像中的特征放到所述第二图像中所述特征的正确位置的矩阵变换。

22.根据权利要求19所述的系统，其中，所述图像间的移动是通过使用至少一种预定的图像间跟踪算法来解决的。

23.根据权利要求19所述的系统，其中，参照预定时刻来构建所述拼嵌图，所述方法进一步包括：

确定将所述拼嵌图放到模型空间的变换；

恢复从所述模型空间到所述第二视图的变换；以及

确定预定时刻的从所述第一视图到所述第二视图的变换。

24.根据权利要求23所述的系统，其中，所述模型空间是预定模型或从所述第二视图中创建出的模型。

25.根据权利要求23所述的系统，其中，通过矩阵合成来确定所述预定时刻的从所述第一视图到所述第二视图的变换。

26.根据权利要求16所述的系统，其中，所述第二视图是缩放的。

27.根据权利要求26所述的系统，进一步包括：坐标变换，用于处理缩放所述第二视图的结果。

28.根据权利要求15所述的系统，其中，所述第二视图是在所述第一视图的倾斜角度处获取的。

29.根据权利要求16所述的系统，其中，所述第一图像拍摄装置经由显微镜来拍摄图像。

30.根据权利要求16所述的系统，其中，所述拷贝是有条件的拷贝。

31.根据权利要求16所述的系统，其中，当所述变形引起视差不一致时，所述对象的阴影被用于解决所述视差不一致。

32.根据权利要求28所述的系统，其中，所述第一视图和所述第二视图中的至少一个处于所述对象平面的倾斜角度处。