CN101750726A - 成像装置 - Google Patents

Abstract

本发明提供了一种成像装置，该成像装置包括：组合多个静止图像并产生镶嵌图像的镶嵌图像产生单元；从帧图像和镶嵌图像提取特征量的特征量提取单元；确定帧图像与镶嵌图像之间的相对位置的相对位置确定单元；和活动图像显示单元，其更新帧图像相对于镶嵌图像的显示位置，并将移动画面图像显示在镶嵌图像上。活动图像显示单元在帧图像定位成功时响应于相对位置来改变显示位置；并且当定位失败时，活动图像显示单元不改变显示位置，并将显示位置固定在定位成功的最后帧图像的位置附近。

Description

成像装置

技术领域

本发明涉及一种成像装置，尤其涉及一种能够将对待检查的物体进行拍摄的摄像机所产生的移动画面图像显示在比摄像机实际视场更宽的视场中的镶嵌图像上的成像装置。

背景技术

在相关领域中，图像镶嵌通常指的是这样的技术：通过在改变视场的同时组合多个所拍摄的静止图像来产生一张视场比摄像机实际视场更宽的宽视场图像。在诸如对由物镜放大的拍摄对象进行拍摄的数字显微镜之类的成像装置的情况下，可以通过移动其上固定了待检查物体的可移动载物台来改变视场。这种宽视场图像被称为镶嵌图像，其通过在根据图像之间的相对位置以这种方式改变视场的同时对多个所拍摄的静止图像进行耦合来生成。

例如，在配备了对可移动载物台的位置进行检测的传感器并自动拍摄由用户指定的拍摄范围的已知成像装置的情况下，通过可移动载物台的控制信息判断图像之间的相对位置关系并进行静止图像的组合。在这种成像装置中，当指定了拍摄范围并一旦开始拍摄时，该流程中间不能改变拍摄范围。另外，需要高度准确地检测可移动载物台的位置，因此存在系统配置变得复杂和成本很高的问题。

另一方面，还有一种通过组合图像与静止图像间的图案匹配来判断图像间相对位置关系的成像装置。然而，还没有这样一种成像装置，其能够在使用户确定在拍摄期间的视场与在显示单元上图像生成期间的镶嵌图像之间的位置关系的同时获取静止图像并将静止图像与镶嵌图像耦合。因此，能够想象一种成像装置，其中在将拍摄过程中的视场显示为镶嵌图像上的移动图像的同时，在用户指定的定时处获取静止图像并将该静止图像组合到镶嵌图像。然而，在通过这些图像之间的图案匹配来判断在镶嵌图像与构成移动画面图像的帧图像之间的相对位置、并且将移动画面图像显示在镶嵌图像上的情况下，如果帧图像的定位失败，则会存在这样的问题：拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系变得不清楚。

发明内容

已经考虑到上述情况做出了本发明，本发明的目的是提供一种能够容易地识别拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系而无需使系统构造变得复杂的成像装置。更具体地，本发明另一个目的是提供这样一种成像装置，其能够容易地发现它在将拍摄期间的视场作为移动画面图像显示在镶嵌图像上的适当位置处的情况下对帧图像定位的失败。另外，本发明的另一目的是提供一种成像装置，其能够容易地将拍摄期间的视场返回到能够定位的位置。

本发明第一方面的成像装置包括：可移动载物台，能够在固定待检查物体的同时在两个不同方向上移动；摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产生由多个连续帧图像构成的移动画面图像；镶嵌图像产生单元，其对由摄像头拍摄的不少于两个静止图像进行组合，并产生视场比摄像头实际视场宽的镶嵌图像；特征量提取单元，其从帧图像和镶嵌图像提取特征量；相对位置确定单元，其通过比较特征量来确定帧图像与镶嵌图像之间的相对位置；和活动图像显示单元，其根据相对位置的确定结果来更新帧图像相对于镶嵌图像的显示位置，并将移动画面图像显示在镶嵌图像上，其中活动图像显示单元在由相对位置确定单元确定帧图像定位成功时响应于相对位置来改变显示位置，并在确定帧图像定位失败时对显示位置进行固定。

在该成像装置中，通过比较从帧图像与从镶嵌图像提取的特征量，确定了这些图像之间的相对位置，并根据确定结果在镶嵌图像上显示移动画面图像；因此，可以将拍摄期间的视场显示为在图像生成期间的镶嵌图像上的适当位置处的移动画面图像。根据这种配置，将拍摄期间的视场作为移动画面图像显示在图像生成期间的镶嵌图像上的适当位置处；因此，可以获取静止图像并将其耦合到镶嵌图像，同时使用户确定拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，当帧图像定位成功时，响应于帧图像与镶嵌图像之间的相对位置来改变移动画面图像的显示位置；另一方面，当定位失败时，固定显示位置；因此，可以通过定位成功的最后帧图像来固定显示位置。因此，在将拍摄期间的视场作为移动画面图像显示在镶嵌图像上的适当位置处的情况下，即使定位失败之后移动了视场，也可以在固定时保持移动画面图像的显示位置；因此，可以容易地看出帧图像定位失败。此外，通过比较从帧图像与从镶嵌图像提取的特征量来确定这些图像之间的相对位置；因此，可以防止系统配置变得复杂。

在本发明的第二方面的成像装置中，除了上述配置外，活动图像显示单元将显示位置固定在被确定为定位成功的最后帧图像的显示位置附近。按照这种配置，在将拍摄期间的视场显示作为移动画面图像在镶嵌图像上适当位置处的情况下，移动画面图像的显示位置被固定在最后确定为定位成功的帧图像的显示位置附近；因此，可以容易地将拍摄期间的视场返回到能够定位的位置。

在本发明的第三方面的成像装置中，除了上述配置外，在帧图像定位失败之后，活动图像显示单元将显示位置固定到最后帧图像的显示位置，显示新获取的帧图像，并将显示位置处显示的帧图像更新为新获取的帧图像，从而连续显示移动画面图像。按照这种配置，在帧图像定位失败之后，在固定显示位置的同时连续显示移动画面图像；因此，可以容易地将拍摄期间的视场返回到能够定位的位置。

在本发明的第四方面的成像装置中，除了上述配置外，在从镶嵌图像提取特征量的情况下，特征量提取单元将相对于镶嵌图像最后组合的静止图像设置为参考图像，并提取参考图像中的特征量；其中，对于在帧图像定位失败之后要获取的帧图像，相对位置确定单元通过比较帧图像中的特征量与参考图像中的特征量来确定帧图像与镶嵌图像之间的相对位置，并且，在通过与参考图像中的特征量比较不能确定相对位置的情况下，通过将帧图像中的特征量与镶嵌图像中除了参考图像以外的图像区域中的特征量进行比较来确定相对位置。

在本发明的第五方面的成像装置中，除了上述配置外，在即使通过比较整个帧图像的特征量与整个参考图像的特征量仍不能确定相对位置的情况下，相对位置确定单元将与相对于镶嵌图像最后组合的静止图像相邻的静止图像设置为参考图像，并通过将整个所述参考图像的特征量与整个帧图像的特征量相比较来确定相对位置。按照这种配置，在即使通过比较整个帧图像与整个前述参考图像的特征量也不能确定相对位置的情况下，通过将与最后组合的静止图像相邻的整个静止图像的特征量与整个帧图像的特征量相比较，来确定相对位置；因此，可以提高帧图像与镶嵌图像之间的定位准确度而同时防止处理负荷增加。

在本发明的第六方面的成像装置中，除了上述配置外，对于定位失败之后获取的帧图像，相对位置确定单元通过将镶嵌图像的外围部分中包括的特征量与整个帧图像的特征量相比较来确定相对位置。按照这种配置，在定位失败之后，通过将镶嵌图像的外围部分中包括的特征量与整个帧图像的特征量相比较来确定相对位置；因此，可以提高帧图像与镶嵌图像之间的定位准确度而同时防止处理负荷增加。

在本发明的第七方面的成像装置中，除了上述配置外，在从镶嵌图像提取特征量的情况下，特征量提取单元将相对于镶嵌图像最后组合的静止图像设置为参考图像并提取参考图像中的特征量；其中相对位置确定单元根据过去的相对位置确定结果来估计帧图像与参考图像之间的重叠区域，并通过比较重叠区域中的特征量来确定相对位置，以及在通过比较重叠区域中的特征量仍不能确定相对位置的情况下，通过将整个帧图像的特征量与整个参考图像的特征量相比较来确定相对位置。按照这种配置，通过对由过去相对位置的确定结果所估计的帧图像与参考图像之间重叠区域中的特征量进行比较来确定帧图像与镶嵌图像之间的相对位置。另一方面，在通过比较重叠区域中的特征量不能确定相对位置的情况下，通过比较整个这些图像的特征量来确定相对位置；因此，可以提高帧图像与镶嵌图像之间的定位准确度而同时防止处理负荷增加。

在本发明的第八方面的成像装置中，除了上述配置外，活动图像显示单元以与被确定为定位成功的帧图像的情况不同的显示模式来显示被确定为失败的帧图像。按照这种配置，以不同于成功的帧图像的显示模式来显示定位失败的帧图像；因此，可以容易地看出帧图像定位失败。

在本发明的第九方面的成像装置中，除了上述配置外，还包括：定位减小部分，其减小构成移动画面图像的帧图像并产生定位帧图像，以及减小镶嵌图像并产生定位镶嵌图像；和显示减小单元，其减小构成移动画面图像的帧图像并产生显示帧图像，以及减小镶嵌图像并产生显示镶嵌图像，并且其中特征量提取单元从定位帧图像和定位镶嵌图像提取特征量；相对位置确定单元确定定位帧图像与定位镶嵌图像之间的相对位置；活动图像显示单元将显示帧图像所构成的移动画面图像显示在显示镶嵌图像上作为活动图像；以及镶嵌图像产生单元以高于定位镶嵌图像的分辨率来估计帧图像与镶嵌图像之间的相对位置并将帧图像组合到镶嵌图像，并产生新的镶嵌图像。

本发明的第十方面的成像装置包括：可移动载物台，能够在固定待检查物体的同时在两个不同方向上移动；位置传感器，其检查可移动载物台的位置；摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产生由多个连续帧图像构成的移动画面图像；镶嵌图像产生单元，其对由摄像头拍摄的不少于两个静止图像进行组合，并产生视场比摄像头实际视场宽的镶嵌图像；相对位置确定单元，其根据位置传感器的输出来确定帧图像与镶嵌图像之间的相对位置；和活动图像显示单元，其根据相对位置的确定结果来更新帧图像相对于镶嵌图像的显示位置，并将移动画面图像显示在镶嵌图像上，其中在对应于帧图像的静止图像不能平滑地耦合到镶嵌图像的情况下，活动图像显示单元对显示位置进行固定。按照这种配置，在对应于帧图像的静止图像不能平滑地耦合到镶嵌图像的情况下，对移动画面图像的显示位置进行固定；因此，可以使用户看出拍摄期间的视场不能平滑地耦合到图像生成期间的镶嵌图像。

根据本发明的成像装置，将拍摄期间的视场作为移动画面图像显示在图像生成期间的镶嵌图像上适当位置处；因此，可以获取静止图像并将其耦合到镶嵌图像而同时使得用户可以确定拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，当帧图像定位成功时，响应于帧图像与镶嵌图像之间的相对位置来改变移动画面图像的显示位置。另一方面，当定位失败时，固定显示位置；因此，可以通过定位成功的最后帧图像固定显示位置。因此，在将拍摄期间的视场作为移动画面图像显示在镶嵌图像上适当位置处的情况下，即使定位失败之后的视场移动了，也可以在固定移动画面图像的显示位置的同时保持其显示位置；因此，可以容易地看出帧图像定位失败。另外，通过比较从帧图像与从镶嵌图像提取的特征量来确定这些图像之间的相对位置；因此，可以防止系统配置变得复杂。从而，可以容易地看出拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系而不增加系统配置的复杂度。

另外，根据本发明的成像装置，在将拍摄期间的视场作为移动画面图像显示在镶嵌图像上适当位置处的情况下，将移动画面图像的显示位置固定在被最后确定为定位成功的帧图像的显示位置附近；因此，可以容易地将拍摄期间的视场返回到能够定位的位置处。

附图说明

图1是示出根据本发明一个优选实施例的成像装置的示意配置的示例并示出一个放大观察装置来作为成像装置的示例的示图；

图2是示出图1所示放大观察装置的相关部分的配置示例并示出系统主体中功能配置的示例的框图；

图3是示出在图2所示系统主体中的活动定位单元的配置示例并示出匹配处理部分中的功能配置的框图；

图4是示例性地示出在图1所示放大观察装置中显示活动图像期间的操作示例并示出了移动画面图像A1和显示镶嵌图像A3的说明示图；

图5是示例性地示出在图1所示放大观察装置中显示活动图像期间的操作示例并示出了一个活动屏幕的说明示图；

图6A和图6B是每一个示出了图1所示放大观察装置中图案匹配操作示例并示出了其中通过比较整体特征点B3来提取特征点之间的正确对应的状态的示图；

图7A和图7B是每个示出在图1所示放大观察装置中图案匹配操作的示例并示出比较重叠区域B5和B6中的特征点B3的状态的示图；

图8A和图8B是每个示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出相对于镶嵌图像定位的活动图像的示图；

图9A和图9B是每个示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出相对于图8A和图8B的每一个中示出的镶嵌图像定位的活动图像的示图；

图10A和图10B是每个示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出由于拍摄期间的视场的移动而改变了参考图像的状态的示图；

图11A和图11B是每个示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出由于视场的移动从而帧图像定位失败的状态的示图；

图12是示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出定位失败后重新定位的活动图像的示图；

图13是示出在图1所示放大观察装置中显示活动图像期间的操作的示例流程图；

图14是示出在图1所示放大观察装置中显示活动图像期间的操作的示例流程图；

图15是示出在图1所示放大观察装置中显示活动图像期间的操作的示例流程图。

具体实施方式

优选实施例1

<放大观察装置>

图1是示出根据本发明优选实施例1的成像装置的示意配置的示例的系统示图，并且示出一个放大观察装置1作为成像装置的示例，其包括系统主体100、摄像机单元200和控制板300。放大观察装置1是一个数字显微镜，其通过对由物镜放大的拍摄对象进行拍摄来产生移动画面图像，并可以在系统主体100的显示单元110上显示移动画面图像。

摄像机单元200是用于在改变视场的同时拍摄待检查物体的拍摄单元，其包括摄像头210、可移动支持器220和可移动载物台230。摄像头210是读取装置，其拍摄作为拍摄对象的待检查物体并产生由以恒定帧速持续的多个帧图像构成的移动画面图像，通过将物镜、电荷耦合器件(CCD)图像传感器和照明装置等布置在圆筒形外壳中来构成该摄像头210。

可移动支持器220是将摄像头210可移动地保持在与物镜中轴平行的方向上的保持单元。在这种情况下，平行于摄像头210的物镜的中轴的方向被称为z轴方向，可以通过旋转位置调节旋钮221来调节摄像头210在z轴方向上的位置。

可移动载物台230是保持待检查物体的保持单元，并且其在待检查物体被固定的状态下在与z轴相交的平面内是可移动的。在这种情况下，与z轴垂直的平面被称为xy平面，可以通过旋转位置调节旋钮231和232来调节可移动载物台230在xy平面内的位置。即，可移动载物台230是在固定了待检查物体的同时通过旋转位置调节旋钮231和232可以在两个不同方向上移动的载物台。

更具体地说，通过旋转位置调节旋钮231来调节x轴方向上的位置，通过旋转位置调节旋钮232可以调节y轴方向上的位置。将摄像头210布置成与该可移动载物台230面对。

控制板300是用于指示拍摄的开始和结束、将拍摄图像数据等获取到系统主体100中的输入装置。

系统主体100是图像处理装置，其将摄像头210所拍摄的移动画面图像显示在显示单元110上，并通过将构成移动画面图像的帧图像进行组合来产生视场比摄像头210的实际视场宽的镶嵌图像。

<系统主体>

图2是示出图1所示放大观察装置1的相关部分的配置示例并示出系统主体100中功能配置的示例的框图。通过提供显示减小单元121和128、显示镶嵌图像存储单元122、活动图像更新单元123、保持镶嵌图像存储单元124、活动定位单元125、静止图像获取单元126和镶嵌图像产生单元127以及显示单元110来构成系统主体100。

显示减小单元121操作来处理从摄像头210获得的移动图像数据，并产生减小了图像尺寸的减小移动图像数据。更具体地说，执行操作以使显示减小单元121以预定减小比率将从摄像头210连续获得的帧图像减小、产生显示帧图像并将该显示帧图像输出到活动图像更新单元123。例如，通过像素跳过处理和像素值平均步骤来执行帧图像的减小。在这种情况下，执行减小处理而不改变高宽比，即，帧图像的高宽比在减小之前和之后不变。

显示镶嵌图像存储单元122是镶嵌图像保持单元，其保持显示镶嵌图像，并例如由易失性半导体存储器来构成。活动图像更新单元123操作以根据从显示减小单元121发送的减小比率信息来控制显示单元110，并且更新从显示减小单元121连续获得的显示帧图像相对于显示镶嵌图像的显示位置，并相应地在显示镶嵌图像上显示活动图像。活动图像是由多个连续显示帧图像构成的移动画面图像。

保持镶嵌图像存储单元124是镶嵌图像保持单元，其保存保持镶嵌图像，并由例如硬盘驱动(HDD)之类的非易失性存储元件来构成。

活动定位单元125包括定位减小部分125a和125b以及匹配处理部分125c。活动定位单元125操作来分别减小从摄像头210连续获得的帧图像以及从保持镶嵌图像存储单元124读出的保持镶嵌图像，并执行匹配处理。

定位减小部分125a操作来以用于定位的恒定减小比率减小从摄像头210获得的帧图像，以产生定位帧图像并将该定位帧图像输出到匹配处理部分125c。定位减小部分125b操作来以用于定位的恒定减小比率减小从保持镶嵌图像存储单元124读出的保持镶嵌图像，以产生定位帧图像并将该定位帧图像输出到匹配处理部分125c。

匹配处理部分125c操作来利用定位帧图像与定位镶嵌图像之间的图案匹配以确定它们之间的相对位置，从而产生相对位置信息并输出到活动图像更新单元123。

活动图像更新单元123操作来根据从活动定位单元125接收的相对位置信息来确定显示帧图像与显示镶嵌图像之间的相对位置，并更新显示帧图像相对于用于显示的帧图像的显示镶嵌图像的显示位置。

静止图像获取单元126操作来根据来自控制板300的获取指令获取由摄像头210拍摄的静止图像，并将该静止图像输出到镶嵌图像产生单元127。从摄像头210获取的组合静止图像可以是成像条件(如曝光时间)移动画面图像不同的图像，或是构成移动画面图像的帧图像中的一个。

镶嵌图像产生单元127包括保持定位部分127a和图像耦合部分127b，并操作来通过组合多个静止图像产生保持镶嵌图像。

保持定位部分127a操作来确定由静止图像获取单元126所获取的静止图像与从保持镶嵌图像存储单元124读出的保持镶嵌图像之间的相对位置。通过静止图像与保持镶嵌图像之间的图案匹配来执行相对位置的确定，并且以比定位镶嵌图像的分辨率高的分辨率来估计静止图像与保持镶嵌图像之间的相对位置。

图像耦合部分127b操作来根据保持定位部分127a的确定结果组合静止图像和保持镶嵌图像，以产生新的保持镶嵌图像，并更新保持镶嵌图像存储单元124中的保持镶嵌图像。更具体地说，根据保持定位部分127a估计的图像之间的相对位置来组合由静止图像获取单元126所获取的静止图像和从保持镶嵌图像存储单元124读出的保持镶嵌图像，从而产生了新的保持镶嵌图像。

通过根据这些图像之间的相对位置耦合这两种图像来执行静止图像与保持镶嵌图像的组合。另外，在耦合静止图像与保持镶嵌图像的情况下，对两种图像的重叠区域执行像素值混合处理以使接合处更不明显。混合处理是执行两个图像间像素值的加权平均并得到合成图像的像素值的图像处理，在执行加权平均的情况下的权重响应于像素位置而适当地改变，这使得接合处更不明显。

显示减小单元128操作来在每次更新保持镶嵌图像时从保持镶嵌图像存储单元124读出更新的保持镶嵌图像，减小所读出的用于显示的保持镶嵌图像，并产生显示镶嵌图像。

在这种情况下，活动定位单元125与保持定位部分127a相比执行更低准确度的匹配处理，并成为将低准确坐标数据输出为相对位置信息的处理单元。

<匹配处理部分>

图3是示出在图2所示系统主体100中的活动定位单元125的配置示例并示出在匹配处理部分125c中的功能配置示例的框图。匹配处理部分125c包括特征量提取单元131和相对位置确定单元132。

特征量提取单元131操作来分别从定位帧图像和定位镶嵌图像中提取特征量。作为特征量，只要特征量成为比较图像时的标记，就可以使用任何特征量；不过，在这种情况下，提取多条边相交的顶点作为特征点。

从缩短在保持镶嵌图像的尺寸变大情况下的定位所需的处理时间的观点来看，特征量提取单元131设置保持镶嵌图像的一部分，例如，最后相对于作为参考图像的保持镶嵌图像来组合的静止图像，并在从定位镶嵌图像提取特征点的情况下提取参考图像中的特征点。

相对位置确定单元132包括比较部分141、相对位置计算部分142和重叠区域估计部分143。相对位置确定单元132操作来通过比较特征点确定定位帧图像和定位镶嵌图像之间的相对位置。比较部分141操作来将从定位帧图像提取的特征点与从定位镶嵌图像提取的特征点进行比较，并将其比较结果输出到相对位置计算部分142。

通过例如从一个像素中提取包括特征点的区域作为模板并通过从其它图像搜索与模板区域最相似的区域来执行特征点的比较。作为用于测量区域间相似度的指标，可以想到从区域中的像素得到亮度值的误差平方和的方法以及使用归一化相关的方法，其中以平均亮度对区域中每个像素的亮度值归一化。

在将从定位帧图像提取的特征点与从定位镶嵌图像提取的特征点相比较的情况下，比较部分141操作来将定位帧图像的特征点与参考图像的特征点比较。

相对位置计算部分142操作来根据比较部分141的比较结果确定定位帧图像与定位镶嵌图像之间的相对位置，将其确定结果输出到重叠区域估计部分143，并且将相对位置信息输出到活动图像更新单元123。

重叠区域估计部分143操作来根据过去相对于定位帧图像的相对位置的确定结果来估计当前定位帧图像和定位镶嵌图像的重叠区域。例如，执行操作以使得由之前由一个帧提供的相对于定位帧图像的相对位置的确定结果来设置帧图像与定位镶嵌图像之间的重叠区域，并将重叠区域判断为当前帧图像与镶嵌图像的重叠区域。

在对当前定位帧图像和定位镶嵌图像的重叠区域进行估计的情况下，重叠区域估计部分143操作来估计定位帧图像和定位参考图像的重叠区域。

比较部分141操作来对由重叠区域估计部分143所估计的重叠区域中的特征点进行比较，并将其比较结果输出到相对位置计算部分142。随后，作为对重叠区域中的特征点的比较结果，并且在不能确定相对位置的情况下，比较部分141操作以比较整个定位帧图像中包括的所有特征点和整个定位参考图像中包括的所有特征点(这是定位镶嵌图像的匹配处理的目的)，并将其比较结果输出到相对位置计算部分142。

即，相对位置计算部分142操作来根据从过去的相对位置的确定结果所估计的在帧图像与参考图像之间的重叠区域中的特征点的比较结果，来确定相对位置。另一方面，在不能通过比较这种重叠区域中的特征点来确定相对位置的情况下，相对位置计算部分142操作来根据整个定位帧图像的特征点和整个参考图像的特征点的比较结果来确定相对位置。

此外，对第一定位帧图像执行操作来比较整个定位帧图像包括的所有特征点与整个定位参考图像包括的所有特征点，并将其比较结果输出到相对位置计算部分142。即，对于第一定位帧图像，通过将帧图像的所有特征点与参考图像的所有特征点进行比较来确定相对位置。另一方面，对于第二帧以后的定位帧图像，首先，对根据过去的相对于帧图像的相对位置的确定结果所估计的重叠区域中的特征点进行比较并确定相对位置。此时，如果不能确定相对位置，则对帧图像的所有特征点和参考图像的所有特征点进行比较并确定相对位置。

在这种情况下，第一帧图像例如是在产生镶嵌图像期间一旦停止了拍摄并重新开始拍摄的情况下在重新拍摄之后首次获得的帧图像。

一般而言，在从两个静止图像(其中图像的每个部分都重叠并且在这些图像之间搜索对应的特征点的组)中提取每个特征点的情况下，从两个图像的重叠区域提取特征点并搜索对应特征点的组的方式在错误响应出现概率方面比通过从整个图像提取特征点来进行搜索的错误响应出现概率更低。即，优选地对重叠区域中的特征点进行比较来确定相对位置；相应地，可以提高定位帧图像的定位成功概率。另外，与对屏幕中所有特征点进行比较的情况相比，提高了定位速度。

在这种情况下，当特征量提取单元131从当前定位帧图像提取特征点时，从由重叠区域估计部分143估计的重叠区域中提取特征点。随后，在不能仅通过重叠区域中的特征点确定相对位置的情况下，也对除了重叠区域以外的区域中的特征点进行提取操作。

在由显示帧图像构成的移动画面图像显示在显示镶嵌图像上作为活动图像的情况下，活动图像更新单元123操作来根据由相对位置计算部分142得到的相对位置确定结果，来更新显示定位，并将其显示数据输出到显示单元110。

此时，当在通过相对位置确定单元132成功地确定了帧图像的定位时，执行操作来响应于相对位置的确定结果改变活动图像的显示位置。另一方面，当不能确定相对位置并且当确定了帧图像定位失败时，不改变活动图像的显示位置；然而，例如，当已经成功定位时执行操作来将活动图像的显示位置固定在最后的帧图像的显示位置附近。

即，在帧图像定位失败之后，将活动图像的显示位置固定在已成功定位的最后帧图像的显示位置处以显示最新得到的帧图像，并将显示位置上显示的帧图像更新为最新获得的帧图像；因此，连续显示了活动图像。

在这种情况下，必要时改变参考图像，以使得在与构成镶嵌图像的静止图像中的帧图像重叠的重叠区域中最大的静止图像总是成为参考图像。随后，当相对于该参考图像不能确定相对位置时，则判定帧图像的定位失败。

此外，对于在帧图像定位失败之后得到的帧图像，通过比较帧图像中的特征量与参考图像中的特征量来确定帧图像与镶嵌图像之间的相对位置。随后，在通过比较参考图像中的特征量不能确定相对位置的情况下，执行操作来通过比较帧图像中的特征量与镶嵌图像中除了参考图像以外的图像区域中的特征量来确定相对位置。

即，如果在之前定位中帧图像的定位成功，则根据成功定位的帧图像的相对位置信息来估计当前帧图像与参考图像之间的重叠区域，并通过比较重叠区域中的特征点来确定相对位置(称为高速跟随模式)。另一方面，如果帧图像的定位失败，则操作模式从高速跟随模式切换到视场搜索模式。对于定位失败之后获得的帧图像，通过比较帧图像中的特征量与参考图像中的特征量来确定相对位置。如果通过比较参考图像中的特征量不能确定相对位置，则通过将帧图像的特征量与镶嵌图像中除了参考图像以外的图像区域的特征量相比较来确定相对位置。

此外，在活动图像更新单元123中，以与被确定为定位成功的帧图像情况不同的显示模式显示确定为已失败的帧图像，例如，执行操作来插入白色和黑色以通过改变颜色进行显示。作为替换，由帧图像相对于镶嵌图像的显示位置的更新记录判断出增加参考图像与帧图像的重叠的方向，并且可以显示示出该方向的箭头之类。此外，作为帧图像定位失败情况下的错误通知，进行操作以显示一个表示定位失败的消息作为定位失败错误消息，或者输出一个警告声音。

<活动屏幕>

图4和图5是示例性地示出在图1所示放大观察装置1中显示活动图像期间的操作示例的说明示图。图4示出了摄像头210拍摄的移动画面图像A1和显示镶嵌图像A3。另外，图5示出了其中移动画面图像A1布置为在镶嵌图像A3之上的活动图像的活动屏幕111。

移动画面图像A1由以恒定帧速重复产生的显示帧图像A2构成。例如，显示帧图像A2以每秒15帧(fps)来产生。在这种情况下，成像放大率和聚焦位置是固定的。

显示镶嵌图像A3是通过减小用于显示活动屏幕的保持镶嵌图像所产生的镶嵌图像。

活动屏幕111是显示在显示单元110上的监视器屏幕，并且其上显示了在图像生成期间的显示镶嵌图像A3和移动画面图像A1。在活动屏幕111中，将移动画面图像A1布置到根据由当前定位帧图像与定位镶嵌图像之间的图案匹配确定的相对位置所决定的显示位置处。

即，将拍摄期间的移动画面图像A1显示为在图像生成期间的显示镶嵌图像A3上的恰当位置处的活动图像，因此，用户在对拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系进行确认的同时，可以获取静止图像并将其耦合到保持镶嵌图像。

<图案匹配>

图6A和图6B是每个示出在图1所示放大观察装置1中的图案匹配操作的示例的示意图，其示出了这种状态：其中通过对每个从参考图像B1和定位帧图像B2提取的所有特征点B3进行比较来提取这些特征点之间的正确对应。图6A示出了将从参考图像B1提取的特征点B3与帧图像B2中的每个特征点B3进行比较的状态；图6B示出了根据特征点B3的比较所提取的特征点之间的正确对应。

参考图像B1是图像生成期间的镶嵌图像的一部分，并预先从定位镶嵌图像中提取作为图案匹配的处理对象。例如，将最后耦合的静止图像提取作为参考图像B1。作为替换，相对于保持镶嵌图像最后耦合的静止图像与当前帧图像的重叠区域的尺寸小于恒定水平；如果不能确定这些图像之间的相对位置，则将与相对于保持镶嵌图像最后耦合的静止图像相邻的其它静止图像提取来作为参考图像B 1。

在参考图像B1与帧图像B2之间的位置关系不清楚的情况下，通过将图像整体设置为一个对象来提取特征点B3。随后，通过比较这些特征点来判断对于从参考图像B1提取的各个特征点B3是否在帧图像B2中存在类似的特征点。

可以通过包括特征点B3的预定区域来测量特征点之间的相似度，例如，对5像素×5像素的矩形区域计算的亮度值的误差平方和或归一化相关。

根据这样的比较结果来提取特征点之间的正确对应。例如，将相同方向上平行移动的特征点之间的对应提取为正确对应。通过根据所提取特征点之间的正确对应以判断特征点在图像中的移动量并且通过由所述移动量判断帧图像B2相对于参考图像B1的移动量，来确定参考图像B1与帧图像B2之间的相对位置。

图7A和图7B是每个示出在图1所示放大观察装置1中图案匹配操作的示例的示图，并示出其中对从参考图像与第(n-1)帧图像之间的相对位置所估计的重叠区域B5和B6中的特征点B3进行比较的状态。图7A示出从参考图像与第(n-1)帧图像之间的相对位置所得到的这两种图像的重叠区域B4。图7B示出从参考图像与第(n-1)帧图像之间的相对位置所估计的参考图像与第n帧图像的重叠区域B5和B6。

在预先知道了参考图像B1与帧图像B2之间的大致位置关系的情况下，从一个图像适当地提取模板区域并搜索其它图像的对应区域的相邻部分；从而可以高准确度地确定这些图像之间的相对位置。

即，根据由一个帧预先提供的第(n-1)帧图像与所述参考图像之间相对位置的确定结果，得到这些图像的重叠区域B4。重叠区域B4被判断为第n帧图像和参考图像的重叠区域B5和B6。随后，通过针对参考图像的重叠区域B5中的各个特征点B3从第n帧图像的重叠区域B6提取相似的特征点，因此可以确定这些图像之间的相对位置。

通过针对参考图像的重叠区域B5中的各个特征点B3从第n帧图像的重叠区域B6中提取在对应于特征点的位置附近的预定区域并且通过搜索所述区域的内部来进行相似特征点的提取。

在本优选实施例中，对于跟随第二帧之后的定位帧图像以及定位镶嵌图像的定位，采取了如图7A和图7B所示的对重叠区域中的特征点进行比较的方法。另一方面，在通过第一定位帧图像以及定位镶嵌图像的定位以及通过重叠区域中特征点的比较而不能确定相对位置的情况下，或者在根据获取指令所获取的静止图像以及保持镶嵌图像的定位的情况下，采取了如图6A和图6B所示的对所有特征点进行比较的方法。

此外，在对从摄像头210连续获得的帧图像实时执行的定位处理中，当如上所述特征点的正确对应的数量小于恒定水平时，不能确定相对位置；结果是断定定位失败。

作为定位失败的原因，可以想到由于聚焦不准的模糊的影响导致不能检测定位所需的特征点的情况。此外，可以想到由于参考图像和帧图像的重叠过小以及帧之间的移动量过大导致从之前的定位结果估计的重叠区域大大偏离了实际重叠区域的情况。

图8A和图8B以及图9A和图9B是每个示出在图1所示放大观察装置中显示活动图像期间的操作的示例并示出活动图像显示在显示镶嵌图像上的活动屏幕111的示图。图8A示出相对于从由两个静止图像构成的镶嵌图像中所提取的参考图像而定位的活动图像；图8B示出通过以与图8A所示活动图像相同的视场对静止图像进行获取和组合而更新的镶嵌图像。

在该示例中，从保持镶嵌图像提取的定位参考图像布置在以虚线示出的矩形框中。这个参考图像是相对于保持镶嵌图像最后组合的静止图像。

另一方面，活动图像布置在以实线示出的矩形框中，并且根据参考图像与当前定位帧图像之间的相对位置的确定结果来决定矩形框的显示位置。即，如果帧图像定位成功，则响应于帧图像的相对位置来改变活动图像的显示位置。另一方面，如果定位失败，则将活动图像的显示位置固定在最后定位成功的帧图像的位置处。

如果在图8A所示状态下指示对组合静止图像进行获取，则获取到与拍摄期间的活动图像具有相同视场的静止图像，并将该静止图像耦合到保持镶嵌图像以产生新的保持镶嵌图像。通过减小新的保持镶嵌图像来更新拍摄期间的显示镶嵌图像。此时，还将参考图像改变为对应于所获取的静止图像。

图9A示出相对于从如图8B所示镶嵌图像提取的参考图像而定位的活动图像；图9B示出通过获取并组合与图9A所示活动图像具有相同视场的静止图像而更新的镶嵌图像。

图9A所示参考图像是相对于图像生成期间的保持镶嵌图像最后组合的静止图像。如果从如图8B所示状态向上移动可移动载物台230，则相对于工件(待检查物体)向下移动了拍摄期间的视场，并可以获得图9A所示的活动图像。

如果在图9A所示的状态下指示获取，则获取到与显示期间的活动图像具有相同视场的静止图像，并将该静止图像耦合到保持镶嵌图像以产生新的保持镶嵌图像。通过减小新的保持镶嵌图像来更新显示期间的显示镶嵌图像，同时将参考图像改变为对应于所获取的静止图像。

图10A和图10B是每个示出在图1所示放大观察装置1中显示活动图像期间的操作的示例并示出由于拍摄期间视场的移动而改变了参考图像的状态的示图。图10A示出了其中将相对于图9B所示镶嵌图像最后组合的静止图像定位为参考图像的活动图像。另外，图10B示出了相对于随着拍摄期间的视场移动发生改变的参考图像而定位的活动图像。

如果从图10A所示状态下向左移动了可移动载物台230，则拍摄期间的视场相对于工件向右移动。如果通过视场的移动使得相对于镶嵌图像最后组合的帧图像和静止图像的重叠变小了，则改变参考图像。

更具体地说，将参考图像从相对于镶嵌图像最后组合的静止图像改变为在与帧图像重叠的重叠区域中最大的静止图像，并执行帧图像的定位。在该新参考图像中，根据帧图像相对于镶嵌图像的显示位置的更新记录和过去的定位结果，来选择在与帧图像重叠的重叠区域中最大的图像拼片。在该示例中，在构成镶嵌图像的静止图像之中，将与最后组合的静止图像右侧相邻的静止图像选择作为新的参考图像。

图11A和图11B是每个示出在图1所示放大观察装置1中显示活动图像期间的操作的示例并示出由于拍摄期间的视场的移动从而帧图像定位失败的状态的示图。图11A示出恰在定位失败之前的活动图像；图11B示出恰在定位失败后的活动图像。

图11A所示活动图像包括相对于图10B所示参考图像定位的帧图像。如果在图11A所示状态下移动载物台230，则帧图像和参考图像的重叠变小从而定位失败。

定位失败之后的帧图像的显示位置被固定在定位成功的最后帧图像的显示位置的附近，并以与定位成功的情况下不同的显示模式来进行显示。

定位失败之后的帧图像相对于镶嵌图像的显示位置可以相对定位成功的最后帧图像的显示位置偏离大约几个像素。

如果帧图像定位失败，则将操作模式从高速跟随模式切换到视场搜索模式。随后，对于定位失败之后获得的帧图像，将定位成功的整个最后参考图像的特征量与整个帧图像的特征量进行比较；从而确定了相对位置。

图12是示出在图1所示放大观察装置1中显示活动图像期间的操作的示例并示出定位失败后重新定位的活动图像的示图。如果图11中所示的帧图像相对于参考图像定位失败，则通过将定位成功的整个最后参考图像的特征量与整个帧图像的特征量进行比较来将操作模式切换到视场搜索模式，以从参考图像的任意部分返回。

图13至图15中所示的步骤S101到S126是每个示出在图1所示放大观察装置1中显示活动图像期间的操作的示例流程图。首先，特征量提取单元131获取定位帧图像；如果定位帧图像是第一帧图像，则从整个图像中提取特征点(步骤S101到S103)。

接下来，相对位置确定单元132对整个帧图像中包括的所有特征点和整个参考图像中包括的所有特征点进行比较；并且确定当前定位帧图像与定位镶嵌图像之间的相对位置(步骤S104)。此时，当能够确定相对位置并且当定位帧图像成功时，根据相对位置的确定结果来改变帧图像相对于镶嵌图像的显示位置，并更新活动图像(步骤S105、S110和S111)。

另一方面，如果获取的定位帧图像不是第一帧图像，则相对位置确定单元132引用之前定位的结果，即，由一个帧之前提供的定位帧图像与定位镶嵌图像之间的相对位置的确定结果，并且估计当前定位帧图像与参考图像之间的重叠区域(步骤S102、S106和S107)。特征量提取单元131从所提取的重叠区域中提取特征点。

接下来，相对位置确定单元132对当前定位帧图像与参考图像之间的重叠区域中的特征点进行比较，并确定这些图像之间的相对位置(步骤S108)。此时，如果不能确定相对位置，则执行步骤S103之后的处理程序(步骤S109)。当在步骤S109能够确定相对位置并定位成功时，根据相对位置的确定结果来改变帧图像相对于镶嵌图像的显示位置，并更新活动图像(步骤S110和S111)。

在更新活动图像之后，如果给出了组合静止图像的获取指令，则根据获取指令来获取静止图像，并通过与保持镶嵌图像的图案匹配来执行定位(步骤S112和S114)。根据定位结果在静止图像与保持镶嵌图像之间执行耦合处理，并且显示和保持镶嵌图像被更新(步骤S115和S116)。重复步骤S101到步骤S116的处理程序直到指示拍摄完成；当指示拍摄完成时，结束程序(步骤S113)。

当在步骤S105不能确定相对位置并且定位失败时，告知匹配错误并将帧图像相对于镶嵌图像的显示位置固定以更新活动图像(步骤S117到S119)。更新活动图像之后，当给出了静止图像的获取指令时，对不可能耦合的错误进行告知(步骤S120和S122)。

接着，当指示拍摄完成时，该处理结束(步骤S121)。另一方面，如果没有指示拍摄完成，则特征量提取单元131获取新的定位帧图像，并从整个图像中提取特征点(步骤S121、S123和S124)。

随后，相对位置确定单元132对整个帧图像中包括的所有特征点与整个参考图像中包括的所有特征点进行比较，并确定当前定位帧图像与定位镶嵌图像之间的相对位置(步骤S125)。此时，如果不能确定相对位置并且定位失败，则重复步骤S119以后的处理程序。另一方面，当能够确定相对位置并定位成功时，重复步骤S110之后的处理程序。

根据本优选实施例，将拍摄期间的视场作为活动图像显示在图像生成期间的镶嵌图像上的适当位置处；因此，可以获取静止图像来耦合到镶嵌图像，同时使用户确认拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，当帧图像定位成功时，响应于帧图像与镶嵌图像之间的相对位置来改变活动图像的显示位置。另一方面，当定位失败时不改变活动图像的显示位置；因此，通过定位成功的最后帧图像，可以固定显示位置。

相应地，在定位失败之后将拍摄期间的视场作为活动图像显示在镶嵌图像上的适当位置处的情况下，即使移动了视场，也保持并同时固定活动图像的显示位置；因此，可以看出帧图像定位失败。此外，通过比较从帧图像和从镶嵌图像提取的特征点来确定这些图像之间的相对位置；因此，可以防止系统构造变得复杂。

另外，在将拍摄期间的视场显示在镶嵌图像上适当位置处作为活动图像的情况下，移动画面图像的显示位置被固定在最终确定为定位成功的帧图像的显示位置附近；因此，拍摄期间的视场可以容易地返回到能够定位的位置。

顺便地说，在本优选实施例中，描述了这样的示例，其中对于定位失败之后的帧图像，通过将在帧图像定位中成功的整个最后参考图像的特征量与整个帧图像的特征量比较来确定相对位置；然而，本发明不局限于此。例如，本发明包括这种情况：对于定位失败之后得到的帧图像，通过将镶嵌图像的外围部分中包括的特征量与整个帧图像的特征量比较来确定帧图像与镶嵌图像之间的相对位置。

此外，在本优选实施例中，描述了必要时改变参考图像以使之成为与帧图像重叠的重叠区域中最大的图像的示例；然而，本发明不局限于此。例如，在即使通过将整个定位帧图像的特征点与整个参考图像的特征点进行比较都不能确定相对位置的情况下，可以通过改变参考图像并通过将整个改变的参考图像的特征点与整个定位帧图像的特征点进行比较来确定相对位置。在这种情况下，如果即使改变了参考图像也不能确定相对位置，则判定帧图像定位失败。另外，对于帧图像定位失败之后获得的帧图像，通过将定位成功的整个最后参考图像的特征量与整个定位帧图像的特征量比较来确定相对位置。

此外，在本优选实施例中，描述了在将定位帧图像与定位镶嵌图像比较的情况中将多条边相交的顶点提取作为特征量的示例；然而，本发明不局限于此。例如，对于图像上的预定区域，可以分别从定位帧图像和定位镶嵌图像提取该区域中的对比度值作为特征量，并且可以在这些图像之间比较。此外，可以不提取边和对比度而根据重叠区域中预定区域的区域中特征量来执行模板匹配。

除此之外，在本优选实施例中，描述了通过定位镶嵌图像和帧图像之间的图案匹配来判断这些图像之间的相对位置关系的示例；然而，本发明不局限于此。例如，在本发明中，还包括配备一个对可移动载物台230的x轴方向和y轴方向的位置进行检测的位置传感器，并根据位置传感器的输出来确定帧图像与镶嵌图像之间的相对位置。

通常，在将静止图像耦合到保持镶嵌图像时通过混合处理进行难以察觉的接合的情况下，为了以不小于恒定水平的平滑度来平滑地接合，静止图像和保持镶嵌图像之间需要存在不小于恒定量的重叠区域。因此，在根据位置传感器的输出来确定帧图像与镶嵌图像之间的相对位置的成像装置中，在对应于当前帧图像的静止图像不能平滑地耦合到镶嵌图像的情况下，可以想到将活动图像的显示位置固定。

如果在这种配置中当与活动图像具有相同视场的静止图像不能平滑地耦合到镶嵌图像的情况下，则对活动图像的显示位置进行固定；因此，用户可以看出拍摄期间的视场不能平滑地耦合到图像生成期间的镶嵌图像。

Claims (10)

1.一种成像装置，包括：

可移动载物台，能够在固定待检查物体的同时在两个不同方向上移动；

摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产生由多个连续帧图像构成的移动画面图像；

镶嵌图像产生单元，其对由摄像头拍摄的不少于两个静止图像进行组合，并产生视场比摄像头实际视场宽的镶嵌图像；

特征量提取单元，其从帧图像和镶嵌图像提取特征量；

相对位置确定单元，其通过比较特征量来确定帧图像与镶嵌图像之间的相对位置；和

活动图像显示单元，其根据相对位置的确定结果来更新帧图像相对于镶嵌图像的显示位置，并将移动画面图像显示在镶嵌图像上，其中

活动图像显示单元在由相对位置确定单元确定帧图像定位成功时响应于相对位置来改变显示位置，并在确定帧图像定位失败时对显示位置进行固定。

2.如权利要求1所述的成像装置，其中

活动图像显示单元将显示位置固定在被确定为定位成功的最后帧图像的显示位置附近。

3.如权利要求2所述的成像装置，其中

在帧图像定位失败之后，活动图像显示单元将新获取的帧图像的显示位置固定到最后帧图像的显示位置，并将显示位置处显示的帧图像更新成新获取的帧图像，从而连续显示移动画面图像。

4.如权利要求1到3中任一个所述的成像装置，其中

在从镶嵌图像提取特征量的情况下，特征量提取单元将相对于镶嵌图像最后组合的静止图像设置为参考图像，并提取参考图像中的特征量；并且其中

对于在帧图像定位失败之后要获取的帧图像，相对位置确定单元通过将帧图像中的特征量与参考图像中的特征量相比较来确定帧图像与镶嵌图像之间的相对位置，以及

在通过与参考图像中的特征量相比较不能确定相对位置的情况下，通过将帧图像中的特征量与镶嵌图像中除了参考图像以外的图像区域中的特征量进行比较来确定相对位置。

5.如权利要求4所述的成像装置，其中

在即使通过将整个帧图像的特征量与整个参考图像的特征量相比较也不能确定相对位置的情况下，相对位置确定单元将与相对于镶嵌图像最后组合的静止图像相邻的静止图像设置为参考图像，并通过将整个该参考图像的特征量与整个帧图像的特征量相比较来确定相对位置。

6.如权利要求4所述的成像装置，其中

对于在定位失败之后获取的帧图像，相对位置确定单元通过将镶嵌图像外围部分中包括的特征量与整个帧图像的特征量相比较来确定相对位置。

7.如权利要求1到3中任一个所述的成像装置，其中

在从镶嵌图像提取特征量的情况下，特征量提取单元将相对于镶嵌图像最后组合的静止图像设置为参考图像，并提取参考图像中的特征量；并且其中

相对位置确定单元根据过去的相对位置确定结果来估计帧图像与参考图像之间的重叠区域，并通过比较重叠区域中的特征量来确定相对位置，以及

在通过比较重叠区域中的特征量不能确定相对位置的情况下，通过将整个帧图像的特征量与整个参考图像的特征量相比较来确定相对位置。

8.如权利要求1到3中任一个所述的成像装置，其中

活动图像显示单元以与被确定为定位成功的帧图像的情况不同的显示模式来显示被确定为失败的帧图像。

9.如权利要求1到3中任一个所述的成像装置，还包括：

定位减小部分，其减小构成移动画面图像的帧图像并产生定位帧图像，以及减小镶嵌图像并产生定位镶嵌图像；和

显示减小单元，其减小构成移动画面图像的帧图像并产生显示帧图像，以及减小镶嵌图像并产生显示镶嵌图像，并且其中

特征量提取单元从定位帧图像和定位镶嵌图像提取特征量；

相对位置确定单元确定定位帧图像与定位镶嵌图像之间的相对位置；

活动图像显示单元将显示帧图像所构成的移动画面图像显示在显示镶嵌图像上作为活动图像；以及

镶嵌图像产生单元以高于定位镶嵌图像的分辨率来估计帧图像与镶嵌图像之间的相对位置并将帧图像组合到镶嵌图像，并产生新的镶嵌图像。

10.一种成像装置，包括：

可移动载物台，能够在固定待检查物体的同时在两个不同方向上移动；

位置传感器，其检查可移动载物台的位置；

摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产生由多个连续帧图像构成的移动画面图像；

镶嵌图像产生单元，其对由摄像头拍摄的不少于两个静止图像进行组合，并产生视场比摄像头实际视场宽的镶嵌图像；

相对位置确定单元，其根据位置传感器的输出来确定帧图像与镶嵌图像之间的相对位置；和

活动图像显示单元，其根据相对位置的确定结果来更新帧图像相对于镶嵌图像的显示位置，并将移动画面图像显示在镶嵌图像上，其中

在对应于帧图像的静止图像不能平滑地耦合到镶嵌图像的情况下，活动图像显示单元对显示位置进行固定。

Images