CN1599425A - 成像设备、成像方法、成像系统和程序 - Google Patents

Abstract

对在组成表示整个成像区域的完整图像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向上的第二单元图像之间是否存在运动进行判断。当在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且将成像的单元图像记录到记录介质上。

Description

成像设备、成像方法、成像系统和程序

本申请要求于2003年7月11日提交的日本专利申请号为2003-273716的优先权，在此引用结合其全文。

技术领域

本发明涉及一种成像设备、成像方法、成像系统和程序，用于为监视宽成像区域的状况对组成表示整个成像区域的完整图像的各个单元图像进行成像。

背景技术

已经广泛使用的电子静物相机，设置如下操作：摄取对象的图像，以便由固态图像传感设备(例如CCD)将通过镜头传来的光转换成图像信号；将该图像信号记录到记录介质上；并再现所记录的图像信号。许多电子静物相机包括可以显示成像的静物图像的监视器，所记录的静物图像可以选择性地在其上显示。在这种电子静物相机中，要提供给监视器的图像信号和每一屏幕的对象相对应，这样同时要显示的图像区域受到限制，不可能同时监视宽区域的状况。

在这种情况下，一种能够监视宽区域状况的监视相机现在被广泛使用，其中对象随着依次移动的相机成像方向而成像以得到由许多单元图像组成的全景完整图像。特别地，近些年，提出了一种将许多视频信号压缩/合成为对应于一帧的视频信号的技术(例如，参见日本专利申请待审公开号10-108163)。此外，还提出了一种集中式监视记录系统，其可以通过从多个装配的监视摄像机获得监视视频信号并将其记录到例如录像带的记录介质上来实现监视功能(例如，参见日本专利申请待审公开号2000-243062)。

当使用上面的常规监视相机以预定视角对例如图1所示的区域成像时，必须在水平或垂直方向上依次移动成像方向。假设成像区域的尺寸可以由以预定成像视角的成像操作所得的帧(此后，称为单元图像)的尺寸与(s×t)的乘积表示，至少要设置(s×t)个成像方向。

实际上，对象首先以固定于左上方坐标(1，1)的监视相机的成像方向成像。然后，监视相机的成像方向在水平方向上依次移动使得坐标移动到(2，1)，(3，1)，(4，1)...(s，1)。在完成了第一行的单元图像的成像操作后，将成像方向固定到第二行的坐标(1，2)并进行对象成像。接着，再次以在水平方向上依序移动监视相机的成像方向来执行成像操作。重复该操作直到坐标(s，t)完成成像。随后，将(s×t)个单元图像相互粘贴以合成表示整个成像区域的图像。

但是，在上述常规的监视相机中，为了获得一个完整的图像，必须为组成一个完整图像的所有(s×t)个单元图像执行成像操作，这样不可能无误地捕获在很短的时间周期中在成像区域内发生的轻微变化。

图2表示当时间从t1经过到t4时一运动对象(鸟)以高运动速度渐渐从建筑物撤回的状态。当在图2的时间t1组成完整图像的(s×t)个单元图像成像时，其需要包含表示建筑物或云的单元图像的所有单元图像(这其中并没有包括该对象)依次成像，这涉及大量时间。

因此，有时候当在下一时刻整个图像成像时，时间已经到了t4时刻。这使得无法捕获在t2和t3时刻中作为图像数据的对象内容，结果使用该监视相机无法获得所执行的监视效能。

发明内容

本发明已经考虑到了上述情况，并且其目的之一是提供一种成像设备，成像方法，成像系统和一种程序，其中为监视宽成像区域状况对组成表示整个成像区域的完整图像的各个单元图像成像，其能够依次产生完整图像，其中在很短的时间间隔内根据对象的运动捕获在成像区域中的变化。

为了解决上面的问题，在应用本发明的成像设备和方法，成像系统，程序中，对在组成表示整个成像区域的完整图像的第一单元图像和与第一单元图像在相同成像方向上、组成在先完整图像的第二单元图像之间是否存在运动进行判断。当确定在第一和第二单元图像之间存在运动时，以只固定到第一单元图像和包围第一单元图像的单元图像的成像方向执行下一完整图像的成像操作。

也就是说，根据本发明的第一个方面，提供一种成像设备，其包括：成像部件，其以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；记录部件，其将成像的单元图像记录到记录介质上；差别检测部件，其检测在最新成像的第一单元图像和存储在记录介质并且和第一单元图像处于相同位置的第二在先单元图像之间的差别；以及用于控制成像部件、记录部件和差别检测部件的控制器，其中当通过差别检测部件检测到在第一和第二单元图像间的差别时，成像部件就为第一单元图像和其周围的单元图像重新执行成像操作，并且记录部件将由成像部件成像的单元图像依次记录在记录介质上。

根据本发明的第二方面，提供了一种成像方法，其包括：以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；将成像的单元图像记录到记录介质上；在最新成像的第一单元图像和存储在记录介质并且和第一单元图像处于相同位置的第二在先单元图像之间检测差别；当在第一和第二单元图像间检测到差别时，就为第一单元图像和其周围的单元图像执行成像操作；并且将最新成像的单元图像依次记录到记录介质上。

根据本发明的第三方面，提供一种成像设备，其包括：成像装置，用于以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；记录装置，用于将成像的单元图像记录到记录介质上；运动判断装置，用于在最新成像的第一单元图像和组成在先完整图像并且和该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；以及用于控制至少上述各个装置的控制装置，其中当通过运动判断装置确定在第一和第二单元图像间存在运动时，成像装置就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且记录装置将通过成像装置以上述方式成像的单元图像依次记录到记录介质上。

根据本发明的第四方面，提供一种成像方法，其包括：以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；将成像的单元图像记录到记录介质上；在最新成像的第一单元图像和组成在先完整图像并且和该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；当确定在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并将以上述方式成像的单元图像依次记录到记录介质上。

根据本发明的第五方面，提供一种成像系统，其包括：成像设备，其以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；控制单元，其将通过成像设备成像的单元图像记录到记录介质中，并在最新成像的第一单元图像和组成完整图像并且与该第一单元图像处于相同成像方向的第二单元图像之间判断是否存在运动；以及用户终端，其可以访问该记录介质，其中当由控制单元确定在第一和第二单元图像间存在运动时，成像装置就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且控制单元将以上述方式通过成像设备成像的单元图像依次记录到记录介质上。

根据本发明的第六方面，这里提供一种可以使计算机执行以下操作的程序：以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；将成像的单元图像记录到记录介质上；在最新成像的第一单元图像和组成在前完整图像并且与该第一单元图像处于相同成像方向的第二单元图像之间判断是否存在运动；当在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且将以上述方式成像的单元图像依次记录到记录介质上。

如上面的具体描述，在本发明中，对在组成表示整个成像区域的完整图像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向的第二单元图像之间是否存在运动进行判断。当在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作。

因此，可以顺序产生完整的图像，该图像根据成像对象的运动捕获在很短时间间隔中成像区域中的变化。

附图说明

图1是表示组成整个全景图像的单元图像的举例视图；

图2是用于说明与现有技术有关的问题的视图；

图3是示出了应用本发明的成像系统的配置图；

图4是显示相机单元和控制单元配置的框图；

图5是用于说明使用相机单元以成像视角u成像由加粗线包围的成像区域的情况的视图；

图6是表示在监视器上屏幕显示的配置示例的视图；

图7是表示按时间次序的正常成像模式和追踪成像模式的视图；

图8是用于详细说明在运动检测部件中运动检测过程的流程图；

图9是用于详细说明由控制部件控制的模式转换过程的流程图；

图10是表示在步骤S23到S25中要进行运动检测的单元图像的视图；

图11是表示用于将单元图像存储到第二存储器中的过程的流程图；和

图12是表示在监视器上显示存储于第二存储器中单元图像的过程的流程图。

具体实施方式

下面将参考附图对本发明的一个实施例进行详细说明。例如，如图3中所示，应用本发明的成像系统1包括：相机单元2，用于摄取对象的图像以产生图像信号；控制与其连接的相机单元2的控制单元15；终端设备9，提供给用户以便执行由成像系统1提供的应用程序；连接到终端设备9上的终端显示器10；以及在控制单元15和终端设备9之间交换各种信息的网络8。

相机单元2包括相互集成的摇动/俯仰部件3和相机部件4。该摇动/俯仰部件3作为一种旋转平台，用于关于例如摇动和俯仰的两轴线任意改变成像方向。

相机部件4放置在组成摇动/俯仰部件3的旋转平台上，并在控制单元15的控制下水平和垂直地调整成像方向而摄取对象的图像。相机部件4根据控制单元15的控制依次改变成像视角以扩展/缩小用于对象成像的成像放大倍数。

控制单元15由PC(个人电脑)或类似物构成，并进行配置以将自相机部件2传送的图像信号记录在记录介质上并将由记录在记录介质上的图像信号产生的图像显示给用户。控制单元15识别从相机单元2传送来的图像信号的亮度分量以判断运动的有/无，并基于判断的结果控制相机单元2进行图像模式转换。此外，控制单元15还作为所谓的中央控制单元用于控制整个网络8，并配置来根据终端设备9的请求传输图像数据或声音数据。

网络8是公共电信网络，其中数据可以双向交换，例如经电话线连接到控制单元15的因特网，或连接于TA或调制解调器的ISDN(集成服务数字网)/B(宽带)-ISDN。顺便说说，当在一给定的受限区域中操作该成像系统1时，可以将网络8配置为例如LAN(局域网)。而且，网络8可以配置为既可以传输静止图像又可以传输运动图像。在这种情况下，运动图像数据包括例如，使用通道连续传输的MPEG(运动图像专家组)数据，以及基于IP(因特网协议)使用另一通路以给定的时间间隔传输的静止图像。网络服务器(没有示出)可以连接到网络8。网络服务器(没有示出)管理例如因特网信息，并基于从终端设备9接收的请求传输已经存储在其中的预定信息。

终端设备9是个人电脑，使得家庭或办公室用户经过网络8从控制单元15获得图像，并执行所期望的处理。将多个终端设备9连接到网络8上可以允许同时向多个用户提供成像系统1的应用。终端设备9在终端显示器10上显示从控制单元15获得的图像。而且，终端设备9还根据用户指定的操作产生请求信号并将其发送到控制单元15。终端设备9的配置说明可以从控制单元15的配置说明中得到(将在随后描述)，因此在这里省去。

接着，将详细描述应用了本发明的成像系统1中的相机单元2和控制单元15的配置。

图4是显示相机单元2和控制单元15配置的框图。在图4中，构成相机单元2的摇动/俯仰部件3包括控制旋转平台改变成像方向的俯仰部件和摇动部件。对于摇动/俯仰部件3，有关相机部件4位置和角度的信息从连接于该摇动/俯仰部件3的定向传感器31传出来。构成相机单元2的相机部件4包括主要用于改变镜头部件22视角的镜头控制部件23，和放置在与镜头部件22的光轴垂直位置上的成像部件24。

控制单元15包括：A/D转换部件51和经例如，IEEE1394接口连接到成像部件24的同步产生部件52；连接到A/D转换部件51的编码器53和运动检测部件54；暂时存储从运动检测部件54传来的图像的第一存储器55；存储从编码器53输出的图像的记录介质56；展开从记录介质56中读出的图像的解码器57；连接于A/D转换部件51和解码器57并建立为用户显示的图像的监视器图像处理部件58；以及暂时存储从连接于其上的监视器图像处理部件58提供的图像的第二存储器59。

控制单元15还包括：控制部件60，其基于从运动检测部件54提供的确定信号R1向相机单元2发送驱动信号L1，或为监视器图像处理部件58执行预定处理；报警器62，其在连接于其上的控制部件60的控制下通过声音引起用户的注意；连接到同步产生部件52并产生控制单元15所需的各种脉冲的产生器63；D/A转换部件64，其对从连接于其上的监视器图像处理部件58输入的信号进行模拟转换；连接于D/A转换部件64且由液晶显示表面或类似物组成的监视器65；以及操作部件66；使用户在显示于监视器65上的图像上指定期望图像区域或位置。

摇动/俯仰部件3基于来自控制部件60的驱动信号L1旋转配置为旋转平台驱动源的步进电机，其允许旋转平台垂直或水平旋转。因此，可以在垂直或水平方向上改变位于旋转平台上的相机部件4的成像方向。

镜头控制部件23基于来自控制部件60的驱动信号，为镜头部件22执行自动光圈控制操作或自动聚焦控制操作。此外，基于该驱动信号，镜头控制部件23改变关于对象的成像视角。镜头控制部件23的上述功能允许相机部件4在顺序调节成像放大倍数的情况下摄取对象的图像。

成像部件24包括，例如，固态图像传感设备例如CCD(电荷耦合设备)并允许穿过镜头部件22的对象图像聚焦在成像表面上，以通过光电转换产生图像信号。成像部件24将产生的图像信号传送到A/D转换部件51。

A/D转换部件51对从成像部件24传来的图像信号数字化并将数字化的图像信号传送到编码器53、运动检测部件54和监视器图像处理部件58。同步产生部件52从成像部件24中提取同步信号并基于所提取的同步信号产生参考信号N1。同步产生部件52将产生的参考信号N1输出到产生器63。

编码器53根据图形编码标准例如JPEG(联合图像专家组)对图像信号压缩/编码。顺便说说，编码器53可以向要压缩/编码的图像信号加入位置信息或元数据。编码器53将压缩/编码的图像信号输出给记录介质56。注意当不需要提供图像信号的压缩/编码的时候，可以省去在编码器53中的处理。

提供的记录介质56例如是硬盘、可分离磁盘记录介质，或类似物，并配置为连同与位置信息或元数据相关的图像信号依次记录从编码器53输出的图像信号。基于控制部件60的控制读出在记录介质56中记录的图像信号，接着传送到解码器57。注意记录在记录介质56中的图像信号可以被记录在存储卡上(未示出)。这种情况中，可以通过存储有图像信号的存储卡将图像信号转移到另一PC中。此外，记录介质56中记录的图像信号可以记录在上述网络服务器(未示出)中。在这种情况中，网络服务器可以用来代替记录介质56。

解码器57将从记录介质56中读出的JPEG图像信号展开，并将其传送到监视器图像处理部件58。

运动检测部件54将新从A/D转换部件51传来的图像信号的每个亮度分量与已经存储在第一存储器55中的图像信号的每个亮度分量相比较。当两者间相比的亮度分量的差值超出了预定阈值时，运动检测部件54就确定在两图像信号间存在运动。另一方面，当两者间相比的亮度分量的差值低于预定阈值时，运动检测部件54就确定在两图像信号间不存在运动。运动检测部件54将指示确定结果的确定信号R1传送到控制部件60，并允许刚从A/D转换部件51传来的图像信号依次存储在第一存储器55中。

第一存储器55将从与其连接的运动检测部件54传来的图像信号存储在预定地址中。在运动检测部件54的控制下，将已经存储在第一存储器55中的图像信号依次读出，接着与后面从A/D转换部件51传来的图像信号进行有关亮度分量的比较。

在控制部件60的控制下，监视器图像处理部件58基于从A/D转换部件51或解码器57传来的图像信号执行图形处理，以在监视器65上显示图形化图像。监视器图像处理部件58基于控制部件60的控制来控制监视器65的对比度和亮度。此外，当由运动检测部件54确定存在运动时，监视器图像处理部件58执行例如将标记插入显示于监视器65上的图像中或类似的处理。为了同时在监视器65的液晶显示表面上显示多个图像，监视器图像处理部件58联合第二存储器59以减少像素。

监视器65包括液晶显示器、背光以及类似物(未示出)，并作为一个界面，用户通过它观看成像图像。从位于液晶显示器背面的背光发出的光增加了整个监视器65的可见度。

控制部件60基于由用户通过操作部件66指定的图像区域或位置，传送用于驱动摇动/俯仰部件3或镜头控制部件23的驱动信号L1和用于控制在控制单元15中的每个分量的控制信号。控制部件60经网络8从终端设备9接收预定的请求信号R2，由此选择最合适的静止图像、运动图像、或各种已经记录在记录介质56中的信息，并将其传送到终端设备9。此外，基于从运动检测部件54接收的确定信号R1，控制部件60控制监视器图像处理部件58，将驱动信号L1传送到相机单元2，或者为监视器图像处理部件58执行预定控制处理。

操作部件66包括键盘、鼠标、和类似物，用于用户在显示于监视器65上的图像上指定期望的图像区域或位置。

当已经由相机单元2成像的图像显示在监视器65上时，基于从同步产生部件52提供的参考信号N1，产生器63控制显示处理的定时。当已经存储在记录介质56中的图像显示在监视器65上时，产生器63还基于在其中产生的参考信号控制显示处理的定时。

接下来将说明应用了本发明的成像系统1中的成像操作。

图5表示使用相机单元2以成像视角u成像由加粗线包围的成像区域的情况。为了使整个成像区域以成像视角u成像，必须依次在水平或垂直方向上依次移动成像方向。假设成像区域的尺寸可以由以任意成像视角u进行成像操作所得帧(此后，称为单元图像)的尺寸与(i×j)的乘积表示，至少要设置(i×j)个成像方向。把(i×j)个已经以成像视角u成像的单元图像相互粘贴以合成表示整个成像区域的完整图像。

对于每个单元图像的坐标(M，N)，假设在水平方向上的坐标是从整个成像区域的最左端开始的1，2，...M，i，假设在垂直方向上的坐标是从整个成像区域的最上端开始1，2，...N，j。在这种情况下，控制部件60将驱动信号L1传送到摇动/俯仰部件3以使相机部件4的成像方向首先确定在左上方的坐标(1，1)。基于相应于坐标(1，1)的单元图像产生的图像信号通过A/D转换部件51进行A/D转换，随后通过运动检测部件54存储在第一存储器55中，同时，也可以通过监视器图像处理部件58存储在第二存储器59中。而且，当在编码器52中根据JPEG标准，连同元数据等附加到其中的信息一起被压缩/编码之后，将图像信号依次存储在记录介质56中。

接着，控制部件60以与上述相似的方式将驱动信号L1传输到摇动/俯仰部件3以使相机部件4的成像方向向右移动一个图像帧。由此，下一个成像操作是为相应坐标(2，1)的单元图像而执行的。由为相应于坐标(2，1)的单元图像执行的成像操作产生的图像信号也记录在记录介质56上。其后，在控制部件60的控制下，相机部件4执行成像操作同时水平地依次移动成像方向以使坐标移动到(3，1)，(4，1)，...(i，1)。

在已经完成第一行的单元图像的成像操作之后，相机部件4基于控制部件60的控制，将成像方向固定在第二行的坐标(1，2)上并执行下面的成像操作。此后，相机部件4在水平依次移动的成像方向上执行成像操作。重复该操作直到对应于坐标(i，j)的单元图像已经成像。在这种状态下，将与对于每个坐标已经成像的(i×j)个单元图像相对应的图像信号分别记录在第一存储器55、第二存储器59和记录介质56中。附带地，当对应于坐标(i，j)的单元图像已经成像后，控制部件60将驱动信号L1传送到摇动/俯仰部件3以使相机部件4的成像方向再次固定到左上方坐标(1，1)上，以便在下一定时中执行为整个图像的成像操作。

附带地，单元图像的成像次序并不限于上面的例子。例如，在第一行的单元图像的成像操作已经完成之后，相机部件4可以将成像方向移动到坐标(i，2)来执行成像操作，并为下面的成像操作将成像方向向坐标(1，2)移动。

通过监视器图像处理部件58将基于在第二存储器59中记录的每个单元图像而产生的图像信号依次读出，接着进行压缩以适应监视器65的显示器屏幕尺寸。每个压缩的单元图像通过D/A转换部件64显示在监视器65上。通过在监视器65上显示在第二存储器59中记录的全部(i×j)个单元图像，合成了整个全景图像。通过以给定间隔执行上述成像操作，可以获得表示成像区域最新状况的完整图像。

当控制部件60指定那些已经在先存储在记录介质56中的单元图像在监视器65上显示时，将对应于这些单位图像的图像信号依次从记录介质56中读出。然后通过解码器57将所读出的图像信号展开，接着被传送到监视器图像处理部件58。合成的图像信号在监视器图像处理部件58中进行压缩以使其适应于上述显示器屏幕的尺寸。结果，显示一个完整的合成全景图像。

图6表示一种通过粘贴(i×j)个成像单元图像合成的完整图像被显示在监视器65的完整图像显示部分70上的情况的例子。注意控制单元15可以允许完整图像显示部分70显示一个具有在这些单元图像之间的线的完整图像或以无缝的方式来显示。此外，控制单元15还可以允许完整图像显示部分70显示一个已经以能够捕获整个成像区域的成像视角进行成像的完整图像，来作为整个的全景图像的替代。

附带地，还可以在显示屏幕45上进一步提供一个用于显示通过放大一个单元图像获得的放大图像的放大图像显示部分71。该放大图像显示部分71可以以放大的方式来显示已经由用户从组成在完整图像显示部分70上显示的整个图像的单元图像中选出的一个单元图像。可选地，放大图像显示部分71可以显示基于一个单元图像的成像方向的运动图像。这样使得用户可以实时检查有关对于用户选出的一个单元图像的成像方向的状况。

同时显示在显示屏幕45上的包括：WIDE按钮72，其用于减小显示在放大图像显示部分71上的单元图像的放大倍数；放大(ZOOM)按钮73，其用于放大单元图像的放大倍数；成像方向控制部分75，其用于水平或垂直地控制相机部件4的成像方向；设置按钮76，其用于设置各种模式并允许服务器在期望的地址中记录对应于每个单元图像的图像信号，等等。

用户可以通过操作部件66在完整图像显示部分70和放大图像显示部分71上指定期望的图像区域或位置。需要注意的是在完整图像显示部分70和放大图像显示部分71中的每个中，可以为用户显示随着在操作部件66中鼠标或类似物的运动而运动的瞄准线(aiming line)或指针以执行上述的指定操作。

应用本发明的成像系统1可以自动在两个模式间转换。一种是常规成像模式，其中通过粘贴按如上所述方式成像的(i×j)个单元图像而合成表示整个成像区域的完整图像。另一种是追踪成像模式，其中通过以短时间间隔产生完整图像，在图6的完整图像显示部分70上显示的运动对象(例如鸟)的运动无误地被捕获作为图像信号。图7按时间次序表示常规成像模式和追踪成像模式。在常规成像模式中，分别以依次固定在所有组成完整图像的每个单元图像的成像方向执行成像操作。因此，会花很长的时间直到合成一个完整图像，导致可以在单位时间内产生的完整图像的数目(下面称为刷新率)的减少。

在另一方面，在追踪成像模式中，仅以固定在运动对象可能存在的单元图像(包含可能存在运动对象的单元图像的图像区域在后面称为更新成像区域)上的成像方向执行成像操作。就是说，在追踪成像模式中，只有新近成像的单元图像组成的更新成像区域被用于更新，而组成在前完整图像的单元图像用于保持单元图像，由此合成完整图像。控制单元15在每次合成完整图像以重新指定更新成像区域时检测运动对象的运动。

换言之，在追踪成像模式中，只需要将成像方向仅仅依次固定到那些组成已经捕获运动对象的更新成像区域的单元图像。因此，可以在很短的时间周期合成一个完整图像，由此提高刷新率。

应用本发明的成像系统1如下配置，当开始对对象进行成像操作时，首先进入常规成像模式。这时，如图7所示，运动检测部件54在一个新近完成成像的单元图像和另一个组成在前完整图像并且与上述新近成像的单元图像在相同成像方向上成像的单元图像之间检测是否存在运动。当运动检测部件54确定在两单元图像之间存在运动时，就将模式从常规成像模式转换到追踪成像模式。在另一方面，如果运动检测部件54确定在两单元图像之间不存在运动，则根据常规成像模式继续成像操作。

图8是详细说明在运动检测部件54中运动检测过程的流程图。首先，在步骤S11中，运动检测部件54从A/D转换部件51接收一个由相机单元2新近成像的单元图像。然后，运动检测部件54检查是否在第一存储器55中存储了另一个组成在前完整图像并且与上述新近成像的单元图像在相同成像方向上成像的单元图像(下文中称为参考单元图像)。当在第一存储器55中存储了相应参考单元图像时，过程前进到步骤S12。在另一方面，当新近成像的单元图像是首次成像的单元图像时，即在第一存储器55中不存在相应的参考单元图像，该过程前进到为下一个单元图像的成像操作。

过程前进到步骤S12并且运动检测部件54比较在新近成像的单元图像和相应的参考单元图像之间的亮度分量。更具体地，运动检测部件54为要进行比较的两单元图像的每个相应像素计算亮度分量的微分绝对值。

过程前进到步骤S13，运动检测部件54将所计算的微分绝对值和预定阈值相比。当所计算的微分绝对值没有超出该阈值时，过程前进到步骤S14，在该步骤运动检测部件54将指示存在运动的确定信号R1传输到控制部件60。在另一方面，当所计算的微分绝对值超出该阈值时，则运动检测部件54判定在单元图像之间没有运动存在，过程前进到步骤S15。在每种情况中，新近成像的单元图像存储在第一存储器55中，并用作参考单元图像，即，当组成下一完整图像并且在相同成像方向上已经成像的单元图像成像时，其亮度分量作为参考。

当过程前进到步骤S15时，随着成像方向的移动一个新的单元图像由相机单元2成像。此后，又再次执行步骤S11到S13中的处理。

控制部件60从运动检测部件54中接收指示存在运动的确定信号R1并控制相机单元2和控制单元15以从常规成像模式转换到追踪成像模式。图9是详细说明由控制部件60控制的模式转换过程的流程图。

首先，在步骤S21中，控制部件60识别从运动检测部件54中接收的确定信号R1的细节。

随后，过程前进到步骤S22，控制部件60基于所识别的确定信号R1细节决定是继续常规成像模式还是转换到追踪成像模式。当所接收的检测信号包括指示存在运动的信息时，控制部件60就决定从常规成像模式转换到追踪成像模式，并且过程前进到步骤S23。

在步骤S23中，控制部件60向相机单元2传送用于随依次移动的成像方向继续单元图像的成像的驱动信号L1。将成像的单元图像依次提供给运动检测部件54，在那里将其亮度分量和相应的参考单元图像的亮度分量相比较(步骤S24)。运动检测部件54计算关于两个要比较的单元图像的每个相应像素的亮度分量的微分绝对值，并将计算的微分绝对值和阈值比较，由此依次判断是否存在运动。也就是说，在步骤S24中也进行运动检测，这样可以更准确地从对应于完整图像的所有单元图像中识别出确定为具有运动的单元图像。

当在步骤S24中已经判定单位图像存在运动时，过程前进到步骤S25。在步骤S25中，以仅仅固定到具有运动的单元图像和其周围的单元图像的成像方向来执行为下一个完整图像的成像操作。另一方面，如果在步骤S24中已经判定在单元图像中不存在运动时，过程就返回到步骤S23。

需要注意的是在步骤S23和S24中的处理可被省去。在这种情况下，当在步骤S13中检测到运动时，过程直接前进到步骤S25。

图10表示在步骤S23到S25中要进行运动检测的单元图像。将已经在步骤S23中成像的单元图像A5、A6和A18与相应的参考单元图像分别进行比较。结果，分别在单元图像A5、A18和相应的参考单元图像之间没有检测到运动。然而，由于在单元图像A6中存在运动对象，所以已经在单元图像A6和相应的参考单元图像之间检测到运动。因此，过程前进到步骤S25。

在步骤S25中，成像系统1以只依次固定到组成更新成像区域的单元图像上的成像方向执行成像操作，所述组成更新成像区域的单元图像即是单元图像A6和其周围的单元图像A1、A2、A3、A5、A7、A9、A10和A11。这样，成像系统1按照就像是将单元图像A6被包围的顺序执行成像操作，就是说，按照A7、A11、A10、A9、A5、A6、A7、A3、A2、A1、A5、A6...的顺序。然而，成像顺序不限于此，而是可以按照任何顺序执行成像操作。

当包括上述更新成像区域的完整图像被合成时，将组成在前完整图像的单元图像用于剩余的单元图像。将合成的单元图像显示在监视器65的完整图像显示部分70上，或者随相互相关的单元图像一起存储在记录介质56中。由运动检测部件54将组成更新成像区域的成像的单元图像依次同相应的参考单元图像相比，用于判定是否存在运动。

当在下一时刻运动对象移向单元图像A11时，就判定在新成像的单元图像A11和相应的参考单元图像之间是否存在运动。在这种情况中，除了单元图像A6以外(在该单元图像A6和相应的参考单元图像之间已经检测到运动)，将单元图像A11周围的单元图像A1到A16设为组成下一个完整图像的更新成像区域的单元图像。成像系统1按照就像是将单元图像A6和A11包围的顺序执行成像操作，就是说，按照A10、A9、A13、A14、A15、A16、A12、A11、A10、A9、A5、A6、A7、A8、A4、A3、A2、A1、A5、A6...的顺序。但是，成像顺序不限于此，而是可以按照任何顺序执行成像操作。由运动检测部件54将组成更新成像区域的成像的单元图像依次同相应的参考单元图像相比，用于判定是否存在运动。

当在下一时刻中运动对象已经完全移动到单元图像A11，而在单元图像A6和其相应的参考单元图像之间不存在运动时，只是将单元图像A11(该单元图像A11和相应的参考单元图像之间已经检测到运动)和单元图像A11周围的单元图像A6、A7、A8、A10、A12、A14、A15和A16设为更新成像区域。这时，成像系统1按照就像是只将单元图像A11包围的顺序执行成像操作，就是说，按照A7、A8、A12、A11、A10、A14、A15、A16、A12、A11、A10、A6、A7、A8、A12、A11...的顺序。但是，成像顺序不限于此，而是可以按照任何顺序执行成像操作。

如上所述，只是将其和相应的参考单元图像之间已经检测到运动的单元图像和该单元图像周围的单元图像识别为更新成像区域。在这个基础上，接着判断在组成更新成像区域的新成像的单元图像和相应的参考单元图像之间是否存在运动。结果，即使当运动对象从A6向A11运动时，也总是可以识别存在运动对象的更新成像区域。此外，由于只是对组成更新成像区域的单元图像执行成像操作，所以产生一个完整图像所需的成像操作的数目就能减少。

例如，在常规成像模式中，组成完整图像的(i×j)个单元图像被成像，反之在追踪成像模式中，对于一个完整图像只有9个单元图像被成像。因此，产生一个完整图像所需的时间减少到9/(i×j)的等级，允许紧接着转入下一个完整图像的成像操作。结果，可以显著提高刷新率。

而且，刷新率的增加允许以很短的时间间隔捕获穿过成像区域的运动对象的运动，可以无误地捕获在成像区域中在很短的时间周期内发生的一个轻微的变化。

实际上，如图7所示，在应用本发明的成像系统1中，组成完整图像的单元图像按照时间顺序被依次存储在记录介质56上。因此，用户随后可以通过控制单元15分析图像。此外，其他用户随后可以通过网络8同时访问记录介质对图像进行分析。

需要注意的是识别更新成像区域的方法不限于上面的实施例。例如，除了单元图像A11以外(在该单元图像A11和相应的参考单元图像之间已经检测到运动)，只将单元图像A6、A8、A14和A16识别为更新成像区域。作为选择，除了单元图像A11以外(在该单元图像A11和相应的参考单元图像之间已经检测到运动)，只将单元图像A7、A10、A12和A15识别为更新成像区域。即，只要任何单元图像位于单元图像A11(在该单元图像A11和相应的参考单元图像之间已经检测到运动)周围，则该单元图像都可以包括在更新成像区域中。

在如上已经成像的单元图像中，将已经传送到监视器图像处理部件58的单元图像暂时存储在第二存储器59中，接着进行压缩以适应在监视器65上的完整图像显示部分70的尺寸。

图11表示用于将单元图像存储到第二存储器59中的过程。

首先，在步骤S31中，当把单元图像从A/D转换部件51传送到监视器图像处理部件58时，控制部件60为存储在第二存储器59中的单元图像指定地址。

过程前进到步骤S32，基于产生器63控制的定时把表示所传送的单元图像的图像信号存储到由控制部件60指定的第二存储器59的地址。

随后，过程前进到步骤S33，并判断是否一帧的单元图像已经存储到第二存储器59中。当判定一帧的单元图像还没有存储到第二存储器59中时，过程前进到步骤S34，其中存储一帧单元图像的第二存储器59的地址加1。接着，再次执行步骤S32中的处理。另一方面，当单元图像已经存储在第二存储器59中时，过程返回到步骤S31，并开始将下一单元图像存储到第二存储器59中。

图12是表示用于将存储在第二存储器59中的单元图像显示在监视器65上的过程流程图。

首先，在步骤S41中，控制部件60指定存储在第二存储器59中的单元图像要减少的像素量，使得单元图像的尺寸可以适应于监视器65上的完整图像显示部分70的尺寸。

然后过程前进到步骤S42，基于产生器63控制的定时，读出与已经存储在第二存储器59的指定地址中的单元图像相对应的图像信号。

随后，过程前进到步骤S43，并判断一帧单元图像是否已经从第二存储器59中读出。当判定一帧单元图像还没有从第二存储器59中读出时，过程前进到步骤S44。当在步骤S44中对存储在第二存储器59中的单元图像要减少的像素量进行控制后，再次执行步骤S42中的读出操作。另一方面，当判定已经从第二存储器59中读出一帧单元图像时，过程返回到步骤S41，并开始下一单元图像的读出操作。

本发明并不限于上述实施例。例如，可以由控制部件60或用户通过操作部件66自由调节当通过运动检测部件54判定是否存在运动时用于同亮度分量的微分绝对值相比较的预定阈值。这允许灵活改变运动检测的等级。作为结果，可以防止将不同于运动对象的部分在亮度上的轻微变化确定为运动。而且，彩色分量可以取代亮度分量用于运动检测。

此外，控制部件60可以将驱动信号L1传送到摇动/俯仰部件3，以减少在水平或垂直方向上成像方向的移动量，由此将相机单元2成像的单元图像相互叠加。结果，运动对象可以总是处于单元图像的中心附近。

此外，在根据本发明的成像系统1中，可以向终端设备9的用户传送完整图像或放大的图像并依据由终端设备9指定的成像区域向终端设备9返回放大的图像。也就是说，在根据本发明的成像系统1中，可以选择适当的单元图像并将其传送到除操作控制单元15的用户之外的、操作连接到网络8的终端设备9的用户。而且，当很多终端设备9连接到网络8时，可以同时向许多用户传送单元图像。

不需解释，本发明可以应用于使计算机执行上述操作的程序。

Claims (13)

1.一种成像设备，包括：

成像部件，其以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

记录部件，其将成像的单元图像记录到记录介质上；

差别检测部件，其检测在最新成像的第一单元图像和已存储在记录介质并且与第一单元图像处于相同位置的第二在先单元图像之间的差别；以及

用于控制成像部件、记录部件和差别检测部件的控制器，其中

当通过差别检测部件确定在第一和第二单元图像间有差别时，成像部件就为第一单元图像和其周围的单元图像重新执行成像操作，并且

记录部件将已由成像部件成像的单元图像依次记录在记录介质上。

2.根据权利要求1的成像设备，其中通过使用新近成像的单元图像用于更新存储在记录介质中并组成完整图像的单元图像，以重新形成完整图像。

3.一种成像方法，其包括：

以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

将成像的单元图像记录到记录介质上；

检测在最新成像的第一单元图像和存储在记录介质并且与第一单元图像处于相同位置的第二在先单元图像之间的差别；

当检测到第一和第二单元图像间的差别时，就为第一单元图像和其周围的单元图像重新执行成像操作；以及

将最新成像的单元图像依次记录到记录介质上。

4.根据权利要求3的成像方法，其中通过使用新近成像的单元图像用于更新存储在记录介质中并组成完整图像的单元图像，以重新形成完整图像。

5.一种成像设备，其包括：

成像装置，用于以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

记录装置；用于将成像的单元图像记录到记录介质上；

运动判断装置，用于在最新成像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；以及

用于控制至少上述各个装置的控制装置，其中

当通过运动判断装置确定在第一和第二单元图像间存在运动时，成像装置就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作；并且

记录装置，将通过成像装置以上述方式成像的单元图像依次记录到记录介质上。

6.根据权利要求5的成像设备，还包括显示装置，用于显示由成像的单元图像组成的完整图像，其中

当通过运动判断装置确定在第一和第二单元图像间存在运动时，显示装置为显示下一个完整图像用新近成像的单元图像更新帧。

7.根据权利要求6的成像设备，还包括指定装置，使用户在显示装置上显示的完整图像上指定图像区域，其中

显示装置，根据通过指定装置指定的图像区域读出在记录介质上记录的单元图像，并将其以放大的方式进行显示。

8.根据权利要求5的成像设备，其中运动判断装置计算对其间是否存在运动已进行判断的单元图像间的亮度分量的差值，并且当所计算的差值超过预定阈值时就判定存在运动。

9.根据权利要求8的成像设备，还包括调节装置，用于调节该预定阈值。

10.根据权利要求5的成像设备，其中成像装置以依次改变的成像方向执行成像操作使得单元图像相互重叠。

11.一种成像方法，其包括：

以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

将成像的单元图像记录到记录介质上；

在最新成像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；

当确定在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并

将以上述方式成像的单元图像依次记录到记录介质上。

12.一种成像系统，其包括：

成像设备，其以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

控制单元，其将通过成像设备成像的单元图像记录到记录介质中，并在最新成像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；以及

用户终端，其可以访问该记录介质，其中

当由控制单元确定在第一和第二单元图像间存在运动时，成像设备就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且

控制单元将以上述方式通过成像设备成像的单元图像依次记录到记录介质上。

13.一种程序，可以使计算机执行以下操作：

以依次固定到组成表示整个成像区域的完整图像的各个单元图像的成像方向执行成像操作；

将成像的单元图像记录在记录介质上；

在最新成像的第一单元图像和组成在先的完整图像并且与该第一单元图像处于相同成像方向上的第二单元图像之间判断是否存在运动；

当在第一和第二单元图像间存在运动时，就以固定到第一单元图像和其周围的单元图像的成像方向为下一个完整图像执行成像操作，并且

将以上述方式成像的单元图像依次记录到记录介质上。

Images