CN101485192A - 图像生成装置以及图像生成方法 - Google Patents

Abstract

图像生成装置，对于不能准确检测对应点或运动的图像区域，也可以生成合并多个运动图像的新的运动图像，其包括：曝光控制部(105)，通过控制摄像装置(10)，从而使在一个曝光期间中的曝光量随时间变化；图像输入部(101)，获得被曝光控制部(105)控制的状态下拍摄的第一运动图像和第二运动图像；图像合并部(104)，依据第一运动图像和第二运动图像来生成帧率在第一运动图像的帧率以上、且分辨率在第二运动图像的分辨率以上的新的运动图像，该新的运动图像是通过使第二运动图像的帧和与第二运动图像的帧的曝光期间相对应的新的运动图像的多个帧的合计之间的误差减少来生成的；第二运动图像的分辨率比第一运动图像高，且第二运动图像的帧的曝光时间比第一运动图像长。

Description

图像生成装置以及图像生成方法

技术领域

本发明涉及生成运动图像的图像生成装置，尤其涉及依据多个运动图像来生成新的运动图像的图像生成装置，该新的运动图像同时具有各个运动图像的优秀特性。

背景技术

随着数字摄像设备的进展，能够以较低的成本来拍摄高空间分辨率的静止图像。然而，若试图实现在维持与这些高空间分辨率的静止图像相同的空间分辨率的同时平滑移动的运动图像(例如，30帧/秒左右)、或更高速度的拍摄，则存在问题。

这是因为，由于按每个单位时间获得的图像的信息量庞大，因此摄像设备内的图像信息的传输速度不足的缘故，或者，由于需要并联传输图像信息等的特殊的摄像设备，因此使摄像装置的成本增加、或另外需要对摄像装置的特性进行调整的缘故。

作为以往的获得时间和空间分辨率(时间上以及空间上的分辨率)高的图像的图像生成方法有，利用高速低分辨率摄像机和低速高分辨率摄像机的影像，利用运动图像的帧之间的对应点检测进行变形的方法(例如，参照专利文献1)。图1是专利文献1所记载的以往的图像生成方法的说明图。而且，在本说明书中，对于拍摄能力或运动图像的性质，“高速”(或，“低速”)意味着，帧率相对大(或，小)，“高分辨率”(或，“低分辨率”)意味着，空间分辨率相对高(或，低)。

在图1中，高速低分辨率摄像机A01和低速高分辨率摄像机A02以相同视角来同步拍摄相同对象。图2示出摄像机A01和摄像机A02的拍摄图像的关系。在图2中，按时间顺序排列由二个摄像机A01和摄像机A02的二个摄像机拍摄的帧，帧B01和B02表示摄像机A02所获得的图像，帧B011～B15表示摄像机01所获得的图像。在此，以图像的大小来表示空间分辨率的不同，帧B11～B15与帧B01和B02相比像素数少、空间分辨率低。另一方面，摄像机A01拍摄的帧率比摄像机A02高，在摄像机A02拍摄一个帧的期间，摄像机A01拍摄四个帧。并且，与摄像机A02的帧拍摄的时间同步进行摄像机A01的帧拍摄(以相同时机来拍摄帧B01和帧B11、以及帧B02和帧B15)。在以下的例子中，相当于帧B23的位置(相当于帧B13的拍摄时间)的高分辨率图像的中间帧图像的生成方法。

对于如此拍摄的帧图像，一次匹配部A03求出摄像机A01的高速拍摄图像中相邻的各个帧之间的像素的对应关系。在此，对应关系是以下的关系，即，在某帧图像内的各个像素中存在的对象的部位，在另一帧图像内存在哪个像素位置。其次，通过结合相邻的高速图像间的对应关系，从而求出位于希望生成的帧B23的时刻的高速摄像机图像B13、与同步拍摄高速图像和低速图像的帧B11的像素之间的对应关系。

其次，二次匹配部A04，通过使同步拍摄高速图像和低速图像的帧B01和帧B11之间的像素的位置关系、帧B13和帧B23之间的像素的位置关系、以及一次匹配部A03所求出的帧B11和帧B13之间的对应关系相结合，从而决定帧B01和帧B23之间的像素的对应关系。

其次，图像生成部A05，利用帧B01和帧B23之间的像素的对应关系，并利用帧B01的像素值决定帧B23的像素值，而生成高分辨率中间帧图像B23。通过以同样的顺序生成其它的中间帧，从而生成高分辨率且高速的影像。

并且，在非专利文献1或非专利文献2等，也同样利用高速低分辨率摄像机和低速高分辨率摄像机的影像，依据高速摄像机的影像进行运动检测，按照其运动对低速高分辨率运动图像进行变形，从而生成高分辨率的中间帧图像。

专利文献1：(日本)特开2003-203273号公报(图13)

非专利文献1：Toru MATSUNOBU，et al.，“Generation of HighResolution Video Using Morphing”，Technical report ofIEICE，PRMU2004-178

非专利文献2：Kiyotaka Watanabe，et al.，“Generation of HighResolution Video Sequence from Two Video Sequences with DifferentSpatio-temporal Frequencies”，情报科学技术レタ—ズ(FIT2004)，Vol.3，No.LI-004，2004

然而，在所述以往的技术中，由于以能够准确地求出高速图像中相邻的帧之间的对应关系、或能够准确地进行运动检测为前提，因此存在的问题是在不能准确地求出对应关系的情况下、或在不能进行运动检测的情况下，导致使所生成的图像劣化很大、或成为单是将低分辨率图像扩大的图像。一般而言，在图像中的运动物体的运动复杂的情况下、在照明状态变化的情况下、在发生遮蔽(occlusion)的情况下、或在发生光圈(aperture)问题的情况下等，求出帧间的对应点、或对所有的像素准确地求出运动检测是困难的。

发明内容

于是，为了解决所述以往的问题，本发明的目的在于提供一种图像生成装置以及其方法，对于不能准确地进行对应点检测或运动检测的图像区域，也可以生成合并多个运动图像的新的运动图像。

为了实现所述目的，本发明涉及的图像生成装置，其依据由外部的摄像装置拍摄相同事物而获得的第一运动图像以及第二运动图像，来生成表示所述事物的新的运动图像，所述第二运动图像的分辨率比所述第一运动图像的分辨率高，且所述第二运动图像的帧的曝光时间比所述第一运动图像的帧的曝光时间长，所述图像生成装置包括：曝光控制单元，通过控制所述摄像装置，从而使在所述第二运动图像的一个帧的曝光期间中的曝光量随时间变化；图像输入单元，从所述摄像装置，获得所述第一运动图像、和在被所述曝光控制单元控制的状态下拍摄的所述第二运动图像；以及图像合并单元，依据获得的所述第一运动图像和所述第二运动图像来生成帧率在所述第一运动图像的帧率以上、且分辨率在所述第二运动图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述第二运动图像的帧和与所述第二运动图像的帧的曝光期间相对应的所述新的运动图像的多个帧的合计之间的误差减少来生成的。

根据这些结构，例如，在所述图像输入单元以高速帧率获得低分辨率的第一运动图像、以低速帧率获得高分辨率的第二运动图像的情况下，所述图像合并单元，可以生成帧率与所述第一运动图像的帧率相同的、且分辨率与所述第二运动图像的分辨率相同的运动图像，以作为新的运动图像。也就是，生成同时具有所输入的多个运动图像的各个优秀特性的新的运动图像。

进一步，所述曝光控制单元，使在所述第二运动图像的曝光期间中的曝光量随时间变化，从而可以获得时间频率高的信息，也可以提高所生成的运动图像的高频率的特性。

而且，本发明，除了可以作为如上所述的图像生成装置来实现以外，也可以作为图像生成方法、使计算机执行其方法的程序、记录了其程序的CD-ROM等计算机可读的记录介质等来实现。

根据本发明的图像生成装置，在运动图像中包含不能准确地求出运动或对应点的图像区域的情况下，也可以生成以运动图像整体提高了其图像的时间和空间分辨率的新的运动图像。例如，依据高速低分辨率运动图像和低速高分辨率运动图像，来确实生成同时具有各个优秀特性的高速高分辨率运动图像。

附图说明

图1是示出以往的图像生成装置的结构的方框图。

图2(a)以及(b)是示出以往的图像生成装置的输入图像的时序的图。

图3是示出本发明的实施例中的图像生成系统的硬件结构的方框图

图4是示出实施例中的图像生成装置的结构的功能框图。

图5是示出图像生成装置的工作的流程图。

图6(a)以及(b)是示出输入图像的时序的一个例子的图。

图7(a)～(c)是示出摄像装置的具体例子的图。

图8(a)～(c)分别是示出所生成的高速高分辨率运动图像、所输入的高速低分辨率运动图像以及低速高分辨率运动图像的像素的配置的一个例子的图。

图9(a)～(c)是示出在校正像素值的情况下的入射光量和像素值的关系的例子的图表。

图10(a)以及(b)是示出以高速低分辨率运动图像来求出的运动检测结果和高速高分辨率运动图像的关系的图。

图11(a)～(d)是示出所生成的高速高分辨率运动图像的帧图像的一个例子的图。

图12(a)～(d)是示出所输入的高速低分辨率运动图像的帧图像的一个例子的图。

图13是示出所输入的低速高分辨率运动图像的帧图像的一个例子的图。

图14(a)～(d)是示出可靠度分布的例子的图。

图15(a)～(d)是示出生成的运动图像的帧图像的一个例子的图。

图16(a)～(d)是示出在不利用可靠度而生成的情况下的运动图像的帧图像的一个例子的图。

图17(a)～(e)是示出理想的高速高分辨率图像的帧图像的一个例子的图。

图18(a)～(e)是示出高速高分辨率图像的帧图像的一个例子的图。

图19(a)以及(b)是示出以短时间的曝光来拍摄的低速高分辨率图像的帧图像的一个例子的图。

图20(a)以及(b)是示出以长时间的曝光来拍摄的低速高分辨率图像的帧图像的一个例子的图。

图21(a)～(e)是示出以短时间的曝光来生成的帧图像的一个例子的图。

图22(a)～(e)是示出以短时间的曝光来生成的帧图像的一个例子的图。

图23(a)～(e)是示出以长时间的曝光来生成的帧图像的一个例子的图。

图24(a)～(e)是示出以长时间的曝光来生成的帧图像的一个例子的图。

图25(a)以及(b)是示出帧的曝光期间中随时间变化的曝光量的图。

图26(a)～(c)是用于说明输入图像的曝光时机和生成图像中的虚拟曝光时机之间的关系的图。

图27(a)～(c)是示出高速高分辨率图像的帧图像的一个例子的图。

图28是示出低速高分辨率图像的帧图像的一个例子的图。

图29(a)～(c)是示出所生成的帧图像的一个例子的图。

图30(a)～(c)是示出高速低分辨率图像的帧图像的一个例子的图。

图31是示出在使曝光量变化的情况下的低速高分辨率图像的帧图像的一个例子的图。

图32(a)～(c)是示出在使曝光量变化的情况下生成的帧图像的一个例子的图。

图33(a)以及(b)是示出帧的曝光期间中随时间变化的曝光量的图。

图34是示出在利用生成的可靠度而使编码图像的压缩率变化的情况下的可靠度和压缩率的关系的一个例子的图表。

图35是示出在合并彩色运动图像的情况下的处理顺序的流程图。

图36是示出区域分割处理的一个例子的图。

图37是示出图像生成系统的具体例子的方框图。

图38是示出图像生成系统的具体例子的方框图。

符号说明

10 撮像装置

20 图像存储装置

30 图像生成装置

40 显示装置

100 图像生成系统

101 图像输入部

101a 高速图像输入部

101b 低速图像输入部

102 编码部

103 运动检测部

103a 运动分布计算部

103b 运动可靠度分布计算部

103c 传感器输入部

104 图像合并部

104a 合并处理部

104b 限制控制部

104c 运动限制指定部

104d 外部模型限制部

104e 限制指定部

105 曝光控制部

106a 减光部

106b 照明部

300 摄像机

400 显示设备

具体实施方式

本发明涉及的图像生成装置，其依据由外部的摄像装置拍摄相同事物而获得的第一运动图像以及第二运动图像，来生成表示所述事物的新的运动图像，所述第二运动图像的分辨率比所述第一运动图像的分辨率高，且所述第二运动图像的帧的曝光时间比所述第一运动图像的帧的曝光时间长，所述图像生成装置包括：曝光控制单元，通过控制所述摄像装置，从而使在所述第二运动图像的一个帧的曝光期间中的曝光量随时间变化；图像输入单元，从所述摄像装置，获得所述第一运动图像、和在被所述曝光控制单元控制的状态下拍摄的所述第二运动图像；以及图像合并单元，依据获得的所述第一运动图像和所述第二运动图像来生成帧率在所述第一运动图像的帧率以上、且分辨率在所述第二运动图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述第二运动图像的帧和与所述第二运动图像的帧的曝光期间相对应的所述新的运动图像的多个帧的合计之间的误差减少来生成的。

在此，所述曝光控制单元，可以在所述第二运动图像的一个帧的曝光期间中至少设定一次无曝光期间，在该无曝光期间中使所述曝光量减少，所述曝光控制单元，进一步，可以通过控制所述摄像装置，从而使所述第一运动图像的曝光量在所述第二运动图像的无曝光期间中减少。并且，可以使所述第二运动图像的曝光量变化，以在所述第二运动图像的一个帧的曝光期间中包含的所述第一运动图像的一个以上的帧的各个曝光期间中进行所述第二运动图像的所述帧的曝光。

根据其结构，因短的曝光时间而所述第一运动图像中包含的时间频率高的信息、和因高的分辨率而所述第二运动图像中包含的空间频率高的信息，被反映到所述新的运动图像的帧，因此，可以获得时间和空间分辨率高的所述新的运动图像。通过在所述第二运动图像的曝光期间中的曝光量随时间变化，从而可以使所述第二运动图像带有时间频率更高的信息，其结果有用于所述新的运动图像的时间分辨率的提高。

并且，在所述摄像装置包括减光单元的情况下，所述曝光控制单元，可以通过控制所述减光单元，从而使所述曝光量随时间变化，所述减光单元，在拍摄所述第二运动图像时，以按照来自外部控制的量来使来自被摄物体的入射光量减少。

并且，在所述摄像装置包括照明单元的情况下，所述曝光控制单元，可以通过控制所述照明单元，从而使所述曝光量随时间变化，所述照明单元，在拍摄所述第二运动图像时，以按照来自外部的控制的强度来对被摄物体进行照明。

(实施例)

以下，对于本发明的实施例涉及的图像生成系统，参照附图进行详细说明。

图3是本发明的实施例涉及的图像生成系统的硬件结构的方框图。

图像生成系统100是一种系统，依据对于同一对象的多个运动图像(在此为高速低分辨率运动图像以及低速高分辨率运动图像)来生成时间和空间分辨率高的新的运动图像(在此为高速高分辨率运动图像)，该图像生成系统100包括撮像装置10、图像存储装置20、图像生成装置30以及显示装置40。撮像装置10是一种摄像机等，以不同的二种时间和空间分辨率来获得运动图像(在此为对于同一对象的高速低分辨率运动图像以及低速高分辨率运动图像)。图像存储装置20是一种存储器等，暂时存储摄像装置10所拍摄的运动图像。图像生成装置30是一种装置，读出图像存储装置20所存储的运动图像，依据读出的多个运动图像来生成时间和空间分辨率高的新的运动图像。显示装置40是一种显示装置，显示图像生成装置30所生成的新的运动图像。而且，图像生成装置30，可以通过专用电路等的硬件来实现，也可以通过通用计算机中的图像处理程序等的软件来实现。

图4是示出图3所示的图像生成系统100中的撮像装置10和图像生成装置30的内部结构的功能框图。

撮像装置10在结构上包括减光部106a和照明部106b。

减光部106a，按照来自图像生成装置30的控制，以可以随时间变化的量来减少来自被摄物体的入射光。例如，减光部106a也可以是，在将入射光引导到摄像元件的光学系统(图中未示出)上配置的、能够以电气控制的滤波器或快门。照明部106b，按照来自图像生成装置30的控制，以可以随时间变化的光量来对被摄物体进行照明。

图像生成装置30包括图像输入部101、运动检测部103、图像合并部104以及曝光控制部105。

曝光控制部105，通过控制减光部106a以及照明部106b中的至少一方，从而使在撮像装置10所拍摄的低速高分辨率图像的一个帧的曝光期间中的曝光量随时间变化。

图像输入部101是一种接口等，获得通过拍摄同一对象物体来获得的、时间和空间分辨率或时间和空间相位不同的多个运动图像，该图像输入部101具有：高速图像输入部101a，获得以高速(高速帧率)且低空间分辨率来拍摄了对象的运动图像(高速低分辨率运动图像)；以及低速图像输入部101b，获得以低速(低速帧率)且高空间分辨率来拍摄相同对象的运动图像(低速高分辨率运动图像)。如此，高速图像输入部101a所输入的图像和低速图像输入部101b所输入的图像，虽然时间和空间分辨率不同、但是拍摄了同一对象的图像。在此，应该注意的是，通过减光部106a或照明部106b，可以使在低速高分辨率图像的一个帧的曝光期间中的曝光量随时间变化。

运动检测部103具有：传感器输入部103c，获得来自检测撮像装置10的运动的传感器(撮像装置10所具备的加速度传感器等)的信号，该撮像装置10生成被图像输入部101输入的图像；运动分布计算部103a，根据图像输入部101所输入的图像以及传感器输入部103c所输入的运动信号中的至少一方，对各个帧的图像整体进行输入图像中的图像(即，拍摄的对象物体)的运动检测；以及运动可靠度分布计算部103b，对各个帧的图像整体计算运动分布计算部103a的运动检测的可靠度。

图像合并部104是一种处理部，在图像输入部101所输入的多个运动图像中，对于可靠度高的图像区域，利用运动检测部103的运动检测的结果来生成新的运动图像，对于可靠度低的图像区域，利用预定的一定的限制条件来合并多个运动图像，该图像合并部104具有合并处理部104a、限制控制部104b、运动限制指定部104c、外部模型限制部104d以及限制指定部104e。

运动限制指定部104c是一种处理部，利用运动分布计算部103a的运动检测的结果，指定所生成的高速高分辨率运动图像的各个像素值应该满足的限制条件(以下，依赖运动检测的结果来指定的限制条件称为“运动限制条件”。)。

外部模型限制部104d，指定所生成的高速高分辨率运动图像的各个像素值与运动分布计算部103a的运动检测无关而应该满足的限制条件(以下，不依赖运动检测的结果来指定的限制条件称为“外部模型限制条件”。)。

限制控制部104b，利用运动分布计算部103a所计算的运动检测的结果和运动可靠度分布计算部103b所计算的可靠度，决定在所生成的高速高分辨率运动图像中的各个帧图像中的各个位置，使运动限制条件和外部模型限制条件分别有效的程度，并向限制指定部104e通知该程度。

限制指定部104e，根据限制控制部104b所决定的运动限制条件和外部模型限制条件的有效程度，指定将运动限制指定部104c所指定的运动限制条件和外部模型限制部104d所指定外部模型限制条件合并的限制条件，即指定所生成的高速高分辨率运动图像的各个像素值应该满足的限制条件。

合并处理部104a，根据限制指定部104e所指定的限制条件，将高速图像输入部101a所输入的高速图像和低速图像输入部101b所输入的低速图像合并，从而生成高速高分辨率运动图像。

编码部102，对合并处理部104a所生成的图像进行压缩编码，并将其输出。

而且，在本实施例的“帧”中，除了包含逐行(progressive)方式的帧以外，还包含隔行(interlace)方式的偶数场以及奇数场。

其次，说明如上构成的图像生成装置30执行的处理。图5是图像生成装置30执行的处理的流程图。

在步骤600，曝光控制部105设定低速高分辨率图像的一个帧的曝光期间中随时间变化的曝光量。在此，首先说明在曝光期间中一直使曝光量为一定的情况。对于使在曝光期间中的曝光量随时间变化的情况，将在后面说明。

曝光控制部105，控制摄像装置10，以使曝光量为一定。摄像装置10，按照来自曝光控制部105的控制，拍摄高速低分辨率图像和低速高分辨率图像。

在步骤601，高速图像输入部101a接受高速低分辨率运动图像的输入，低速图像输入部101b接受对同一对象的低速高分辨率运动图像的输入。以后的说明中，对用于说明的图像利用亮度图像。

在图6(a)以及图6(b)示出，高速图像输入部101a所输入的高速低分辨率运动图像和低速图像输入部101b所输入的低速高分辨率运动图像的关系。在图6(a)以及图6(b)，按时间顺序排列这些二个图像的连续的帧图像，帧201以及帧202表示低速高分辨率图像，帧211～215表示高速低分辨率图像。

在该图中，以图像的大小来表示空间分辨率的区别。帧211～215与帧201以及帧202相比，像素数少、且空间分辨率低。另一方面，对于帧率，高速图像输入部101a的拍摄的帧率比低速图像输入部101b高，在此，高速图像输入部101a以低速图像输入部101b的一个帧间隔来拍摄四个帧。并且，帧201以及帧202的图像的时间方向的宽度表示曝光时间。低速图像输入部101b所输入的图像，由于帧率低，因此可以实现比高速图像输入部101a所输入的图像长的曝光。在图6(a)，低速高分辨率运动图像的帧201进行高速低分辨率运动图像的四个帧间隔的曝光。

而且，高速图像输入部101a所输入的帧和低速图像输入部101b所输入的帧的拍摄时机，已知时间的相对关系即可，并不一定需要同时拍摄(即，可以使在拍摄时机的相位不同)。并且，通过进行长时间曝光，从而在高分辨率图像中也可以获得如移动物体的移动轨迹之类的运动信息。通过在后述的图像的合并处理中生成符合从高分辨率图像获得的运动信息的运动图像，从而可以生成时间和空间分辨率高的运动图像。

在此，示出摄像装置10的具体例子，即举例示出获得二种图像的拍摄单元。如图7(a)，利用半透明反射镜(half mirror)来配置不同特性的二种摄像机，以使视角相同，从而可以拍摄二种图像；如图7(b)，在一个摄像机内利用半透明反射镜或棱镜来配置不同特性的二种摄像元件，以使视角相同，从而也可以拍摄二种图像；如图7(c)，利用同时拍摄二种图像的、不同特性的摄像元件，从而也可以拍摄二种图像。

其次，利用图8(a)～(c)，说明目标高速高分辨率运动图像的像素值(在此为亮度值)、和高速图像输入部101a所获得的高速低分辨率运动图像以及低速图像输入部101b所获得的低速高分辨率运动图像的像素值(在此为亮度值)之间的关系。该关系，用于生成图像，以作为高速高分辨率运动图像的各个像素应该满足的外部模型限制条件。

在此假设，各个图像的像素值与拍摄时的入射光量成比例，比例常数也是共通的。图8(a)示出目标高速高分辨率运动图像的各个帧的像素的配置。为了便于说明，取出高速高分辨率运动图像的一部分进行说明。图8(a)示出，在纵(Y轴)方向有三个像素、在横(X轴)方向有三个像素的四个帧的像素的配置。假设，在像素位置(x，y，t)的像素的值为HH(x，y，t)。在此假设，x和y的值的范围为0、1、2，而t的值的范围为0、1、2、3。

同样，图8(b)示出，在与图8(a)相同的时间拍摄相同的视角的高速低分辨率运动图像的像素的配置。在此，将高速低分辨率运动图像的像素位置(xL，yL，t)的像素值表示为HL(xL，yL，t)。对于低分辨率图像和高分辨率图像，由于x，y方向的像素数不同，因此将低分辨率图像的x，y坐标值分别表示为xL，yL来区别于高分辨率图像的情况。在此，存在由高分辨率图像的x，y方向的各三个像素组成的九个像素的区域相当于低分辨率运动图像的一个像素的关系，而如公式1表示像素值的关系。

(公式1)

$\mathrm{HL}(x_L,y_L,t)=\underset{x=0}{\overset{2}{\mathrm{\Σ}}}\underset{y=0}{\overset{2}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

同样，图8(c)示出，在与图8(a)相同的时间拍摄相同的视角的低速高分辨率运动图像的像素的配置。在此，将低速高分辨率运动图像的像素位置(x，y，tL)的像素值表示为LH(x，y，tL)。

对于高速图像和低速图像，由于时间方向的帧数不同，因此将低速图像的帧编号表示为tL来区别于高速图像的情况。在此，存在高速图像的四个帧间隔相当于低速图像的一个帧间隔的关系，而如公式2表示像素值的关系。

(公式2)

$\mathrm{LH}(x,y,t_L)=\underset{t=0}{\overset{3}{\mathrm{\Σ}}}G\left(t\right)*\mathrm{HH}(x,y,t)$

在此，G(t)表示在时间t的拍摄强度，并示出因随时间变化的摄像元件的灵敏度或拍摄时的光圈而引起的像素值的变化倍率。在摄像元件的灵敏度或拍摄时的光圈不随时间变化的情况下，成为G(t)＝1.0。并且，在由曝光控制部的曝光量不随时间变化的情况下，成为G(t)＝1.0。

而且，在所述的例子中将时间t离散来表示，但是，在与连续的时间上的变化对应的情况下，利用公式3的关系式。通过将公式1、公式2的HH(x，y，t)在公式3置换为HHcont(x，y，tcont)，从而可以表示对在时间上连续的输入的劣化过程。

(公式3)

$\mathrm{HH}(x,y,t)={\∫}_t^{t+\mathrm{\Δt}}\mathrm{Exp}\left(t_{\mathrm{cont}}\right)\·{\mathrm{HH}}_{\mathrm{cont}}(x,y,t_{\mathrm{cont}}){\mathrm{dt}}_{\mathrm{cont}}$

在公式3中，Δt相当于所生成的高速高分辨率图像的帧图像的虚拟曝光时间，tcont表示连续时间，HHcont(x，y，tcont)表示在时间上连续的图像，Exp(tcont)表示高速高分辨率图像的帧图像的虚拟曝光在时间上的变化。

如图6(a)以及(b)那样，通过针对高速图像的曝光时间使低速图像的曝光时间变长，从而可以获得以下的效果，即，可以蓄积在长时间的运动的轨迹信息，也可以将在生成高速高分辨率运动图像时产生运动的部分的空间上分辨率改进。

在所述的例子中，说明了像素值与拍摄时的入射光量成比例的情况(图9(a))，但是，在因γ校正等而不比例的情况下(图9(b))、或根据像素而比例常数不同的情况下，另外，通过使图像被拍摄时的摄像元件的输出入特性(输出入关系)相反地对应来利用，从而可以将像素值校正为对入射光具有同一比例关系的值，且满足公式1或公式2的关系。例如，通过利用如图9(c)的像素值和校正值的对应关系，来校正如图9(b)获得的像素值，从而可以进行与如图9(a)获得的像素值同样的处理。

并且，在所述的说明中，作为像素值利用亮度值来进行了说明，但是，在各个像素中存在R、G、B的颜色值的情况下，对于R、G、B的各个值也可以获得与亮度值相同的关系。

作为其它的外部模型限制有，与在时间和空间上相邻的像素之间的像素值的连续性或平滑度。在利用像素值的连续性的情况下，考虑如公式4的高速高分辨率运动图像的相邻的像素之间的亮度值的差的平方和Qs。

(公式4)

$\mathrm{Qs}=\mathrm{\λs}(x,y,t)\·[\underset{x=1}{\overset{x_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x-1,y,t)\}}^2$

$+\underset{y=1}{\overset{y_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y-1,t)\}}^2$

$+\underset{t=1}{\overset{t_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y,t-1)\}}^2]$

在利用像素值的平滑度的情况下，考虑如公式5的高速高分辨率运动图像的相邻的像素之间的亮度值的二阶差分的平方和Qs。

(公式5)

$\mathrm{Qs}=\mathrm{\λs}(x,y,t)\·[\underset{x=1}{\overset{x_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x+1,y,t)-\mathrm{HH}(x-1,y,t)\}}^2$

$+\underset{y=1}{\overset{y_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y+1,t)-\mathrm{HH}(x,y-1,t)\}}^2$

$+\underset{t=1}{\overset{t_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y,t+1)-\mathrm{HH}(x,y,t-1)\}}^2]$

在此，在公式4、公式5中，Xmax、Ymax、tmax分别示出x方向像素编号、y方向像素编号、帧编号的最大值。并且，λs(x，y，t)是指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。

如此，外部模型限制条件，可以表示为对所生成的高速高分辨率运动图像的评价函数。降低该评价函数的值(评价值)之事宜，对应于向所生成的高速高分辨率运动图像附加所述外部模型限制之事宜。

作为其它的外部模型限制，也可以利用边缘在时间上和空间上的连续性。在此情况下例如可以是：公式6所示，在时间上相邻的帧之间相对应的位置的边缘的朝向变化少的限制；或公式7所示，朝向方向相同的边缘，在该边缘的方向上连续存在的限制。

(公式6)

$\mathrm{Qte}=\mathrm{\λte}(x,y,t)\·$

$\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\underset{i=0}{\overset{i_{\max }}{\mathrm{\Σ}}}{\{\mathrm{edge}(x+u(x,y,t),y+v(x,y,t),t+1,i)-\mathrm{edge}(x,y,t,i)\}}^2$

(公式7)

$\mathrm{Qse}=\mathrm{\λse}(x,y,t)\·$

$\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\underset{i=0}{\overset{i_{\max }}{\mathrm{\Σ}}}{\{\mathrm{edge}(x+i_x,y+i_y,t,i)-\mathrm{edge}(x,y,t,i)\}}^2$

在此，公式6、公式7的edge(x，y，t，i)示出，存在于运动图像中的(x，y，t)的位置的第i个朝向的边缘的强度。假设，i示出边缘的方向的种类，i取从0到imax为止的整数值。并且，公式7的(ix，iy)是一种矢量，表示第i个边缘的朝向方向。

并且，u(x，y，t)、v(x，y，t)示出在图像中的(x，y，t)的位置上的运动矢量的x方向成分和y方向成分。利用具有方位依赖性的Gabor滤波器等边缘检测滤波器的输出，或如公式8以微分运算来获得边缘的方向和强度后，根据需要将边缘的方向离散化来利用，从而可以实现边缘的检测。

(公式8)

$(\frac{\∂\mathrm{HH}(x,y,t)}{\∂x},\frac{\∂\mathrm{HH}(x,y,t)}{\∂y})$

公式8将高速高分辨率运动图像HH的坐标(x，y，t)中的边缘的朝向和强度表示为二维矢量，矢量的朝向对应于边缘的朝向，矢量的大小对应于边缘的强度。

在此，λte(x，y，t)或λse(x，y，t)是与λs(x，y，t)相同指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。

并且，作为其它的限制条件，也可以限定为预先设定所生成的运动图像可以表示的自由度的、运动图像群的主成分。例如是，将构成运动图像的各个帧的各个像素的亮度值HH(x，y，t)作为独立的要素，将运动图像作为一个数据点，对预定的帧数、像素数相同的运动图像群进行主成分分析，从而以主成分为优先来生成运动图像。在此情况下，将非主成分的矢量作为NPC(x，y，t)，对于所生成的运动图像HH(x，y，t)，将非主成分NPC和所生成的运动图像HH的内积作为限制条件。在此情况下，限制条件为如公式9的Qpc。

(公式9)

$\mathrm{Qpc}=\mathrm{\λpc}(x,y,t)\·\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\mathrm{NPC}(x,y,t)\·\mathrm{HH}(x,y,t)$

可以不具备一种NPC而具备多个NPC，也可以根据输入图像来切换NPC的种类。在此情况下，预先学习输入图像和高分辨率时的主成分之间的关系，利用该结果进行NPC的选择即可。例如，具备不同的三种高速高分辨率的运动图像群1·2·3，以作为用于学习的运动图像。依据各个该运动图像群来求出非主成分的矢量NPC1·NPC2·NPC3。另外，依据各个所述运动图像群1·2·3，并利用公式1或公式2的关系式，来求出高速低分辨率运动图像群HL1·HL2·HL3和高速高分辨率运动图像群HH1、HH2、HH3。

在此，应该学习的关系是，图像群HL1·HH1、图像群HL2·HH2以及图像群HL3·HH3的三个图像群和所述三种非主成分NPC1·NPC2·NPC3之间的对应关系。对于对应关系的学习方法，可以利用任意的方法，预先按每个图像群求出高速低分辨率运动图像HL和高速高分辨率运动图像HH的平均图像的组，保持(学习)平均图像的组和非主成分的种类之间的对应关系。

对新的输入图像HL·HH的组求出与平均图像的组之间的差，而在输入图像的复原处理上利用与差最小的平均图像的组相对应的非主成分。

为取代保持平均图像和非主成分的种类之间的关系，而可以预先利用神经网络(Newral Network)等学习方法来求出输出入关系，以高速低分辨率运动图像HL和高速高分辨率运动图像HH为输入、并以与这些HL和HH相对应的非主成分的种类为输出，在学习后将输入图像HL·HH的组输入到神经网络，利用作为输出被获得的种类的非主成分，以作为限制条件。

在此，λpc(x，y，t)与所述λs(x，y，t)相同，也是指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。

其次，在步骤602，运动检测部103，依据高速低分辨率运动图像来计算图像中的运动和其运动的可靠度。在此，在从高速图像输入部101a获得的运动图像的各个帧图像的各个位置，运动分布计算部103a求出被摄物体的运动的朝向和大小(运动检测)，并求出运动的朝向和大小在时间上和空间上的分布。

并且，此时，运动可靠度分布计算部103b，求出运动检测的可靠度在时间上和空间上的分布Conf(x，y，t)。在此情况下，运动检测的可靠度意味着，可靠度越高，运动检测的结果就越正确，在可靠度低的情况下运动检测的结果有错误。

对于在相邻的二个帧图像间的图像上的各个位置的运动的求出方法，例如可以利用以下的方法：P.ANANDAN，＂Computational Frameworkand an Algorithm for the Measurement of VisualMotion＂A，IJCV，2，283-310(1989)(非专利文献3)中所利用的方法；对运动图像编码一般所利用的运动检测方法；或对利用图像的移动物体追踪等所利用的特征点追踪方法等。

并且，可以利用检测图像整体的全局运动(仿射运动等)的普通方法，或可以利用Lihi Zelkik-Manor，＂Multi-body Segmentation：RevisitingMotion Consistency＂，ECCV(2002)(非专利文献4)等方法，按多个区域进行运动检测，将其作为在各个图像位置的运动。

对于可靠度的求出方法，可以利用所述(非专利文献3)中记载的方法，在利用块匹配检测运动的情况下，如公式10，也可以利用将与运动相对应的块之间的像素值的差的平方和从差的平方和的取值的最大值SSDmax中减去的值、即利用使块之间的像素值的差的平方和的符号反转的值Conf(x，y，t)，以作为可靠度。并且，在利用图像的全局运动检测或按每个区域的运动检测的情况下，也可以利用将各个像素位置的运动的起点邻近区域和终点邻近区域之间的像素值的差的平方和从平方和的取值的最大值SSDmax中减去的值Conf(x，y，t)，以作为可靠度。

(公式10)

在公式10中，位置(x′，y′，t+1)是一种像素位置，相当于作为运动检测的结果获得的像素位置(x，y，t)的移动目标。并且，公式10的∑表示用于块匹配的块区域内的加法运算。

而且，在所述说明中，利用从高速图像输入部101a获得的图像进行运动检测和可靠度的计算，但是，也可以对从低速图像输入部101b获得的图像进行运动检测和可靠度的计算，从而进行同样的运动检测处理。

并且，也可以利用检测摄像设备的姿态的变化的传感器的信息(被输入到传感器输入部103c的信号)，以作为输入。在此情况下，摄像装置10包括加速度传感器或角加速度传感器，通过传感器输入部103c获得速度或角速度以作为加速度的积分值，从而运动分布计算部103a，可以依据传感器输入部103c所输入的信息，来获得因如手抖动之类的摄像机的姿态变化而引起的图像整体的运动的信息。

例如，在作为图像输入部101利用摄像机的情况下，通过使该摄像机包括水平方向和垂直方向的角加速度传感器，从而可以依据该传感器的输出来获得水平方向和垂直方向的角加速度，以作为在各个时刻的姿态测量值。若以时间来积分加速度值，则可以计算各个时刻的角速度。

在摄像机在时刻t以水平方向带有ωh的角速度、且以垂直方向带有ωv的角速度的情况下，可以使摄像机的角速度与因摄像机的朝向而引起的摄像元件上(拍摄图像上)的位置(x，y)的、在时刻t的图像的二维运动(u，v)唯一地对应。

一般而言，可以依据摄像机的光学系统(透镜等)的特性(焦点距离或透镜失真等)、光学系统与摄像元件的配置、或摄像元件的像素间隔，来决定摄像机的角速度和摄像元件上的图像的运动之间的对应关系。为了实际进行计算，可以依据光学系统的特性、光学系统与摄像元件的配置、或像素间隔来进行几何学计算和光学计算后获得对应关系，或者，预先保持对应关系以作为表，从而依据摄像机的角速度ωh·ωv来参考摄像元件上(x，y)的图像的速度(u，v)。

利用了这些传感器的运动信息，也可以与从图像获得的运动检测的结果一起被利用。在此情况下，运动分布计算部103a，对图像整体的运动检测主要利用传感器的信息，对图像内的对象的运动利用从图像获得的运动检测的结果即可。

其次，在步骤603，运动限制指定部104c指定运动检测部103求出的运动检测结果和目标高速高分辨率运动图像之间的关系。利用图10(a)以及图10(b)说明以低分辨率图像来求出的运动检测结果和高速高分辨率运动图像之间的关系。

图10(a)以及图10(b)，分别表示高速图像的相邻的帧图像(帧编号t和t+1)。为了便于说明，以低分辨率图像中的三个像素×三个像素的区域来进行说明。在此，进一步将低分辨率图像的一个像素分割为三个像素×三个像素的区域表示高分辨率图像的像素。而且，在图10(a)以及图10(b)中，只示出为了说明需要的高分辨率像素。

在此设想，运动检测部103进行的运动检测的结果为，图10(a)的粗线501的低分辨率像素位置与图10(b)的像素位置502相对应(框501的图像移动到框502)。在此，一般而言，在如上所述的运动检测方法中，可以以比像素大小小的单位来计算运动的朝向或大小。

因此，利用低分辨率图像的运动检测的结果，来计算如图10(b)与低分辨率像素位置不一致的高分辨率图像的像素单位的运动，从而可以获得对高速高分辨率的像素的公式11的关系。

设想，利用该运动检测的结果，对于粗线的框内(501，502)的高速高分辨率运动图像的各个像素值成立公式11的关系。

(公式11)

HH(x，y，t)＝HH(x+u(x，y，t)，y+v(x，y，t)，t+1)

在此，u(x，y，t)和v(x，y，t)表示检测结果，并且，在图10(a)的粗线的黑框(501)内的位置(x，y，t)移动到图10(b)的粗线的黑框(502)内的位置的运动中，将x方向的移动量表示为u(x，y，t)，将y方向的移动量表示为v(x，y，t)。在所述的例子中，以高速低分辨率运动图像来进行运动检测，但是，也可以同样利用以低速高分辨率运动图像来进行运动检测的结果。在利用高分辨率图像的情况下，虽然求出运动检测的帧的时间间隔增加，但是帧内建立对应的位置精确度提高。

其次，在步骤604，限制控制部104b决定限制条件的强度在时间上和空间上的分布，限制指定部104e指定对所生成的高速高分辨率运动图像的综合性的限制条件。以下，进行详细说明。

限制指定部104e，利用所述公式1、公式2示出的高速高分辨率运动图像和高速图像、低速图像的像素值的关系；所述公式11示出的运动检测结果和高速高分辨率运动图像的关系；以及所述公式4、公式5、公式6、公式7、公式9等示出的外部模型限制，来指定对目标高速高分辨率运动图像的综合性的限制条件J(HH)。公式12示出综合性的限制条件J的例子。

(公式12)

J＝|HL-HL′|²+|LH-LH′|²+Qs+Qm+Qse+Qte+Qpc

在公式12，右边的第一项是一种限制：表示依据高速高分辨率运动图像利用公式1的关系式来制作出的高速低分辨率运动图像HL′、和实际上被输入到高速图像输入部101a的高速低分辨率运动图像HL之间的差(对应的像素值之间的差的平方和)，第二项是一种限制：表示依据高速高分辨率运动图像利用公式2的关系式来制作出的低速高分辨率运动图像LH′、和实际上被输入到低速图像输入部101b的低速高分辨率运动图像LH之间的差(对应的像素值之间的差的平方和)的限制。第一项的限制和第二项的限制是一种条件，用于使生成的图像和拍摄的图像之间的亮度值的关系尽量满足所述公式1和公式2的关系，也用于使拍摄图像和生成图像之间的亮度值的矛盾难以产生。

公式12的右边的第三项是外部模型限制条件Qs，也是在利用公式4或公式5的条件的情况下，使生成的图像中在时间上和空间上相邻的像素的亮度值易于具有较近的值的限制。因此，抑制一种图像的生成，该图像的亮度值如噪声那样在时间上和空间上一点一点地变化。公式12的右边的第四项是基于运动检测结果的限制条件Qm，以公式13来举例示出，利用检测结果使运动检测的结果和生成图像之间的矛盾难以产生的限制。

(公式13)

$Q_m=\underset{x=0}{\overset{x_{\max }-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }-1}{\mathrm{\Σ}}}{\mathrm{\λ}}_m(x,y,t)\·{\{\mathrm{HH}(x+u(x,y,t),y+v(x,y,t),t+1)-\mathrm{HH}(x,y,t)\}}^2$

在公式13中利用高速高分辨率运动图像中相邻的帧间(t和t+1)的运动u、v来构成限制，但是，也可以利用分离一个帧以上的帧间的检测结果u′、v′来检测如公式14那样分离的帧间的运动，从而设定限制条件。并且，也可以并用如公式13和公式14那样的限制。

(公式14)

$Q_m=\underset{x=0}{\overset{x_{\max }-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }-2}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }-2}{\mathrm{\Σ}}}{\mathrm{\λ}}_m(x,y,t)\·{\{\mathrm{HH}(x+u\′(x,y,t),y+v\′(x,y,t),t+2)-\mathrm{HH}(x,y,t)\}}^2$

通过利用以不同帧间隔的运动检测，从而可以检测如慢运动那样的、以少的帧间隔难以检测的运动，并将其反映到图像的生成。

公式12的右边的第五项是示出边缘在时间上的连续性的限制条件，公式12的右边的第六项是示出边缘在空间上的连续性的限制条件，公式12的右边的第七项是抑制生成图像的非主成分的限制条件。

在此，λs、λm、λse、λte、λpc是决定限制条件的强度在时间上和空间上的分布的系数，由限制控制部104b决定。假设，将在步骤602中运动可靠度分布计算部103b求出的运动检测的可靠度为Conf(x，y，t)(>0)，若值大，则运动检测的可靠度也高。

对于λs、λm、λse、λte、λpc的决定方法的例子，以α为预定的常数，在满足Conf(x，y，t)>α的情况下，如λm(x，y，t)＝1.0那样使运动限制为有效，将其它限制条件设定为在坐标(x，y，t)预先设定的小的值ε(<1.0)，在Conf(x，y，t)≦α的情况下，λm(x，y，t)＝0.0，其他的λ为1.0。即，在运动检测部103中，在以将构成运动图像的各个图像分割的块为单位检测运动时，计算将块之间的像素值的差的平方和从所述平方和的取值的值的最大值中减去的值，以作为运动检测的可靠度Conf(x，y，t)，并且，在图像合并部104中，将其差比预定的值α大的块作为可靠度高的图像区域，将其差为预定的值α以下的块作为可靠度低的图像区域，对于可靠度高的图像区域利用运动检测的结果生成新的图像，对于可靠度低的图像区域利用外部模型限制条件生成新的图像。

对于λ的其他的决定方法，可以利用某种单调增加函数连续定义，以成为λm(x，y，t)＝g(Conf(x，y，t))，其他的λ的(x，y，t)中的值为g(Conf_max)—g(Conf(x，y，t))。在此，Conf_max是可靠度的取值的最大值。如此，在运动检测的可靠度高时注重运动限制，在可靠度低时使外部模式限制的比率增加，从而在不能进行准确的运动检测的位置，也可以抑制图像的劣化、提高时间和空间分辨率。并且，在所述说明中，作为外部模式限制同时利用多个限制，但是，还增加并利用其它的限制，或只利用一部分的限制，也可以获得同样的本发明的效果。

其次，在步骤605，合并处理部104a求出使限制条件J为最小的高速高分辨率运动图像。对于使限制条件J为最小的高速高分辨率运动图像的求出方法，例如，可以解开公式15的方程式来求出，或可以进行利用最速下降法等的迭代法来求出，在所述公式15中以高速高分辨率运动图像的各个像素值来微分限制条件J的算式为0。最后，在步骤606，合并处理部104a输出生成的高速高分辨率图像。

(公式15)

$\frac{\&PartialD;J}{\&PartialD;\mathrm{HH}(x,y,t)}=0$

利用图11到图15进一步说明输入图像的组和输出图像的具体例子。在此，为了易于说明，利用六个像素×六个像素×四个帧的运动图像进行说明。可以设想该运动图像是大的图像或帧数大的运动图像的一部分。

在此，图11(a)～(d)示出，在假设以高速高分辨率来能够将拍摄对象拍摄时的图像。图11(a)～(d)的影像本来不能通过拍摄而获得，是为了说明示出的。在图11(a)～(d)中，按时间顺序排列四个帧，存在静止状态的被摄物体1401和移动状态的被摄物体1402。

针对这些被摄物体，获得高速低分辨率运动图像和低速高分辨率运动图像(步骤601)。在图12(a)～(d)中举例示出这些被摄物体的高速低分辨率运动图像(纵横的各个像素数为三分之一的情况)。图12(a)～(d)是与图11(a)～(d)的拍摄时间相对应的帧。在此，以向左斜线来示出黑像素和白像素中间的像素值的像素。帧数与图11(a)～(d)相同，但是，空间分辨率比图11(a)～(d)低。

同样，在图13中举例示出这些被摄物体的低速高分辨率运动图像(帧数为1的情况)。空间分辨率与图11(a)～(d)相同，但是，由于在图11(a)～(d)的帧间曝光，因此被摄物体1402被拍摄为移动轨迹。

其次，运动检测部103依据高速低分辨率运动图像来求出图像中的被摄物体的运动和运动的可靠度(步骤602)。由于图11(a)～(d)的图像示出更大的图像的一部分，因此可以获得对大的图像整体进行的结果中的、与图11(a)～(d)的图像区域有关的结果，以作为运动检测本身。

图14(a)～(d)中举例在示出可靠度的分布。图14(a)～(d)与图11(a)～(d)的拍摄时间相对应。在图14(b)以及(d)中，向右斜线部分示出运动检测的可靠度低的部分，其它的区域(白以及黑像素)示出运动检测的可靠度高的部分。在此，白和黑的像素表示与被摄物体之间的关系，并没有依据可靠度的区别。并且，对静止状态的被摄物体或背景进行的运动检测的结果是，运动量为0。

在如图11(a)～(d)的被摄物体的情况下，在被摄物体1401与1402的二个被摄物体相接近的部分难以进行准确的运动检测。限制控制部104b，依据利用运动检测结果的限制的设定(步骤603)和对运动的可靠度低的位置的外部限制条件来设定综合性的限制条件(步骤604)，合并处理部104a，利用该限制条件生成并输出高速高分辨率运动图像(步骤605，606)。

图15示出生成的图像的例子。

图15(a)～(d)与图11(a)～(d)的拍摄时间相对应。虽然在二个被摄物体相接近的帧图15(b)、(c)中像素值为中间值，但是可以获得接近图11的影像的影像，该图11的影像本来不能通过拍摄而获得。

为了进行对比，在图16中举例示出在只利用运动检测的结果、而不利用运动的可靠度或外部限制条件的情况下的生成图像。在图16(b)、(c)的帧的图像的右上方，由于不能进行准确的运动检测，因此不能生成正确的图像。

与图16(b)、(c)的结果不同，在图15的结果中，由于在图14(b)、(c)的右上方的区域不能进行准确的运动检测，因此，合并处理部104a，依据外部限制条件，并利用与图像的其它的位置、其他的帧之间的像素值的连续性(公式4，公式5等)、边缘的连续性(公式6，公式7等)或运动图像的主成分的倾向(公式9等)，从而可以生成高速高分辨率运动图像，以作为理想的图像。

其次，对于使低速高分辨率运动图像的曝光时间比高速低分辨率运动图像的帧间隔长来拍摄时的效果，利用图17～图24的图像进行说明。

图17(a)～(e)示出，在假设以高速高分辨率能够将拍摄对象拍摄时的图像。图17(a)～(e)的影像本来不能通过拍摄而获得，是为了说明示出的。图17(a)～(e)中在时间上连续的五个帧按时间顺序排列，并存在移动状态的被摄物体A1。

针对这些被摄物体，图18(a)～(e)示出拍摄的高速低分辨率运动图像，图19(a)以及(b)、和图20(a)以及(b)示出低速高分辨率运动图像。图18(a)～(e)分别示出与图17(a)～(e)的时间相对应的帧图像。

在图18(a)～(e)中，由于以与高分辨率图像相同的大小来示出低分辨率图像，因此分辨率低的图像显得像素粗糙。在此，低速高分辨率图像的帧率为高速低分辨率图像的四分之一，图19(a)和图20(a)与在图17(a)的时间开始曝光的帧图像相对应，图19(b)和图20(b)与在图17(e)的时间开始曝光的帧图像相对应，

图19(a)以及(b)示出如以往的例子那样使低速高分辨率图像的曝光时间短的情况下的帧图像。图20(a)以及(b)示出如本发明那样使低速高分辨率图像的曝光时间比高速低分辨率图像的帧率长来拍摄的帧图像。

在图21～图24中举例示出，利用如此拍摄的图像、并以所述的过程来生成的图像。在此，图21～图24的(a)～(e)分别示出与图17(a)～(e)的时间相对应的帧图像。并且，在图22～图24的(a)～(e)中斜线部分表示被摄物体A1的亮度和背景的亮度之间的中间亮度的区域。

图21(a)～(e)和图22(a)～(e)是利用图18(a)～(e)和图19(a)、(b)的输入图像而生成的图像的例子，图23(a)～(e)和图24(a)～(e)是利用图18(a)～(e)和图20(a)、(b)的输入图像而生成的图像的例子。在图21(a)～(e)中举例示出不利用运动信息而生成的图像，在图22(a)～(e)中举例示出利用运动信息而生成的图像。

图21(a)和(e)、图22(a)和(e)是与图19的输入图像相同时刻的图像，因此可以获得清晰图像。另一方面，图21(b)～(d)，由于不利用运动信息，因此成为与图18(b)～(d)相同的低分辨率图像。

并且，在图21(b)～(d)中，越远离拍摄低速高分辨率图像的帧，图像的模糊度就越增加，而在达到下一个低速高分辨率图像的拍摄帧时再次返回到清晰状态。

这是因为：虽然需要利用依据低分辨率高速图像获得的运动信息来提高图22(b)～(d)的生成图像的空间分辨率，但是，由于依据低分辨率图像来进行运动检测，而运动检测的精确度变低以及在运动检测中产生不可避免的检测误差。由于按每个帧蓄积这些运动检测误差，因此清晰度逐渐降低。

如上所述，在利用图19(a)以及(b)的输入的情况下，若不能获得运动检测的信息、或不能获得准确的信息，则在图22(b)～(d)中生成图像的清晰度逐渐降低的同时，生成图像的清晰度产生周期性(所述例子中为四个帧周期)的很大变动，从而成为看不清楚的图像。低速高分辨率图像的帧间隔越长，此倾向就越明显。

若能够以高分辨率图像的分辨率来准确地获得运动检测的精确度，则不产生所述的问题，但是，因图像中的被摄物体的形状的复杂变化、遮蔽或照明变化等，而实际上依据低分辨率图像的高精度的运动检测是困难的。

在图23(a)～(e)中举例示出不利用运动信息而生成的图像，在图24(a)～(e)中举例示出利用运动信息而生成的图像。在图23(a)～(e)中，与图17(a)～(e)或图19(a)、(b)的图像相比清晰度稍微降低，但是不会产生如图22(d)那样的清晰度的很大降低。并且，时间上的清晰度的变化被抑制，因此可以减轻因随时间变化的清晰度而引起的模糊度。进一步，在图24(a)～(e)中，由于利用运动的信息，因此，与图23(a)～(e)相比清晰度更会提高。

如上所述，在以往的图像生成方法中，对于高速低分辨率图像和低速高分辨率图像，都使曝光时间变短、且抑制运动模糊，从而清晰地拍摄各个图像，但是，若使生成的图像的画质稳定、且使图像的突发性变化适当地反映到生成图像，则并不一定是理想的方法。

与如上所述的以往的方法不同，本发明的图像生成方法的特点是，为了提高所生成的高速低分辨率图像的清晰度、且抑制帧之间的清晰度的变化，利用依据会产生运动模糊的长时间拍摄而获得的低速高分辨率图像来生成图像。

据此，在不能进行运动检测的情况下，在抑制每个帧的画质的变动的同时考虑图像的运动信息，从而也可以使图像的清晰度提高。

进一步，通过只利用以运动检测的可靠度来表示的可靠度高的运动信息，从而可以抑制因运动信息错误而引起的图像的劣化。

而且，若在低速图像的帧间开放来使曝光时间变长，则可以容易获其效果。实际上，依据像素值的读取等，从曝光结束到下一个帧的曝光开始为止会产生未曝光时间。在这些情况下，通过在尽可能的范围内使曝光变长，从而也可以获得本发明的效果。

而且，在图19(a)和(b)之间产生使高分辨率图像的突发性变化的情况下，根据在生成图像中是否包含其变化，来可以判断是否利用长时间拍摄生成图像。

到此为止，说明了曝光控制部105进行控制，以使低速高分辨率图像的一个帧的曝光期间中的曝光量在时间上为一定的情况。其次，说明曝光控制部105进行控制，以使在低速高分辨率图像的一个帧的曝光期间中的曝光量随时间变化的情况。

在图25(a)中举例示出，低速图像输入部101b所获得的低速高分辨率运动图像的随时间变化的曝光量，在图25(b)中举例示出，高速图像输入部101a所获得的高速低分辨率运动图像的随时间变化的曝光量。在图25(a)以及(b)中示出，横轴为时间，纵轴为拍摄时的曝光量。在图25(a)以及(b)中，对各个图像表示相同期间中随时间变化的曝光量，连接的一条粗线表示用于获得各个图像的一个帧的随时间变化的曝光量。

在图25(a)中，以粗线21a1示出，为了获得低速高分辨率图像的一个帧，在一次的曝光期间中，正在曝光中的状态和无曝光状态反复出现四次。在图25(b)中示出，为了获得高速低分辨率图像的四个帧，在与图25(a)中的一次的曝光的相同期间中，进行四次的曝光(粗线21b1、21b2、21b3、21b4)。

在图8(b)的高速低分辨率图像的劣化过程的说明中，假设帧间隔和曝光时间相同(即，在帧之间进行开放曝光)，但是，在此，如图25(b)所示，控制高速低分辨率图像的曝光时间，以使曝光时间比帧间隔短(换而言之，各个帧的曝光期间中的一部分成为无曝光期间)。并且，与图25(b)的高速低分辨率图像的四次的未曝光期间同步，而设定图25(a)的低速高分辨率图像的一次的曝光中的减光期间。

其次，利用图26说明输入图像的曝光时机和生成图像中的虚拟曝光时机之间的关系。在此，虚拟曝光时机相当于，在假设实际拍摄了相当于生成图像的图像的情况下的曝光时机。

图26(a)表示低速高分辨率图像(虚线和虚线之间示出一个帧的曝光期间)中的曝光时机，纵轴的上侧示出正在曝光中的状态，下侧示出无曝光的状态。在图26(a)中，在一个帧中，曝光状态和无曝光状态反复出现九次。图26(b)示出与图26(a)同时拍摄的高速低分辨率图像的曝光时机(白色)和无曝光时机(斜线)。

在高速低分辨率图像中，按每一个帧包含一次的曝光和无曝光。

在图26(b)中，在低速高分辨率图像的一个帧之间包含高速低分辨率图像的九个帧。

图26(c)表示生成图像(高速低分辨率图像)的虚拟曝光时机。

在此，图26(a)和图26(b)的曝光期间相一致。举一个例子，曝光控制部105控制撮像装置10，在低速高分辨率图像的一个帧的曝光期间中包含的无曝光期间中，也降低高速低分辨率图像的曝光量，从而可以实现所述的关系。

并且，在进行控制高速低分辨率图像的各个帧期间的预定的一部分成为曝光期间、剩余部分成为无曝光期间中的情况下，曝光控制部105控制撮像装置10，使得在高速低分辨率图像的曝光期间中进行低速高分辨率图像的一个帧的曝光，从而也可以实现所述的关系。

通过利用在满足所述的关系的状态下被拍摄的图像来生成具有如图26(c)那样的虚拟曝光时机的运动图像，从而可以获得以下的效果。

也就是，即使曝光以及无曝光的时机混在一起，也可以满足如公式1或公式2那样的线型式，因此不需要使图像的生成过程在结构上依赖于曝光以及无曝光的时机而变得复杂。而且，在曝光以及无曝光的时机混在一起的情况下，对于输入图像的时间方向的频率特性，高频成分的比率提高，并且，生成图像的时间方向的高频成分的再现性也提高。

在步骤601以后，进行与所述的不使曝光量随时间变化的情况相同的处理。在此，对于与图17(a)～(e)相同的被摄物体，考虑被摄物体的运动快的情况。

在图27(a)～(c)中举例示出，在曝光控制部105不使低速高分辨率图像的曝光量随时间变化、且高速低分辨率图像的帧间隔和曝光时间相同的情况下的高速低分辨率图像。图27(a)、(b)、(c)是连续的帧的图像，在各个帧图像中运动模糊很明显。这是因为，即使是高速图像，也在帧间的被摄物体的运动大的缘故。图28是同时拍摄的低速高分辨率图像的例子。图28是，在图27(a)、(b)、(c)的三个帧的时间内一直不使曝光量随时间变化而拍摄的、包含更大的运动模糊的图像。

在图29(a)～(c)中举例示出，对图27(a)～(c)的高速低分辨率图像、和图28的低速高分辨率图像，利用与生成图29(a)～(c)所示的运动图像的情况相同的处理的结果。图29(a)、(b)、(c)与图27(a)、(b)、(c)的各个帧的时间相对应。

在图29(a)～(c)中，以与高速低分辨率图像相同的帧率来获得比图27(a)～(c)高的分辨率的图像。然而，在图29(a)～(c)中也包含图27(a)～(c)中包含的运动模糊。这是因为，在拍摄时难以获得比高速低分辨率图像的帧率快的运动的信息的缘故。

其次，考虑如图25(a)以及(b)那样使相同的被摄物体的曝光量随时间变化的情况。在图30(a)～(c)、图31中举例示出，曝光控制部105使低速高分辨率图像的曝光量随时间变化而拍摄的图像。

图31的图像是，如图25(a)那样使曝光量随时间变化来拍摄与图28相同的被摄物体时的低速高分辨率图像。在此，图31的斜线部分表示黑色区域和白色区域的中间的像素值(亮度值)。由于使曝光量随时间变化，因此被摄物体的像素值(亮度值)沿着运动方向而变化。

图30(a)～(c)是高速低分辨率图像，如图25(b)那样根据低速高分辨率图像的曝光区间来设定曝光时间。虽然图30(a)～(c)的帧间的被摄物体的移动量和图27(a)～(c)相同，但是，由于曝光短，因此在图30(a)～(c)中各个帧图像的被摄物体的运动模糊比图27(a)～(c)的情况少。

图32(a)～(c)示出利用这些输入图像来生成的图像。图32(a)～(c)是比图29(a)～(c)抑制了运动模糊的高分辨率图像。这是因为，虽然以与图29(a)～(c)的情况相同的帧率来拍摄相同的被摄物体，但是，通过使曝光量随时间变化，从而获得时间上高频率的信息，来将其利用于图像的生成的缘故。

在所述的例子中，说明了如图25(a)以及(b)那样使拍摄低速高分辨率图像时的未减光区间和高速低分辨率图像的曝光时间相一致来进行拍摄的情况，但是，利用图33(a)以及(b)说明两者不一致的情况的例子。

图33(a)表示与图25(a)相同的随时间变化的曝光量，但是，图33(b)的高速低分辨率图像的帧率是图25(b)的情况的一半，且实际上不能拍摄以虚线22b2、22b4所示的曝光期间中的帧。

在这些情况下，利用以粗线22b1以及22b3所示的曝光来拍摄的二个帧图像，从而检测图像间的运动矢量。并且，利用图像间的对应点的运动，来生成在以虚线22b2所示的曝光期间中可能获得的图像。同样，还利用前后的帧图像来生成在以虚线22b4所示的曝光期间中的图像。通过作为以往的技术的时间方向的内插处理，从而可以进行这些生成。

如此，在生成以虚线22b2以及22b4所示的曝光期间中的图像后，若进行与在图25(b)的情况相同的处理，则可以获得如图32(a)～(c)那样高速高分辨率且抑制了运动模糊的图像。

但是，优选的是，使低速高分辨率图像的曝光量变化的时间、和高速低分辨率图像的曝光时间相一致。通过使两者相一致，从而可以获得以下的效果，即，从二种图像获得的信息的时间方向的多或少被抑制，而因像估计未拍摄的时间的图像那样的附加处理而引起的误差的发生或运算量的增加被抑制。

而且，通过将具有与机械型的开闭快门或液晶快门等相同的功能的装置设置在比摄像部接近被摄物体的一侧，从而可以实现使曝光量随时间变化的方法。同样，通过使照明产生变化，从而也可以使曝光量随时间变化。

在利用照明变化的情况下，其优点是可以容易构成应该附加的装置、或可以容易进行高速的曝光量的变更，但是，在离被摄物体远时，需要使照明强度变强。另一方面，在利用快门等的情况下，其优点是与被摄物体的距离无关而可以利用。同时利用两者，或利用任一方，都可以获得本发明的效果。

如此，通过使低速高分辨率图像的曝光量随时间变化，从而可以获得与不变化的情况相比在时间上更高的频率的信息来生成图像。其结果是，可以获得抑制了各个帧图像中的运动模糊的、提高了生成图像的高频成分的再现性的图像。

在所述例子中，图像合并部104只输出生成图像，但是，也可以将图像生成的可靠度与生成图像一起输出。图像生成的可靠度γ是预测生成的图像准确地被高速高分辨率化的程度的值。对于γ的决定方法，可以利用以下的公式16所示的运动的可靠度的总和、或有效的限制条件数N和应该求出的运动图像的总像素数M(等于帧数×一个帧图像的像素数)之间的比率N/M等。

(公式16)

$\mathrm{\&gamma;}=\underset{x=0}{\overset{X\max }{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{Y\max }{\mathrm{\&Sigma;}}}\underset{t=0}{\overset{T\max }{\mathrm{\&Sigma;}}}\mathrm{conf}(x,y,t)$

在此，成为N＝Nh+Nl+Nλ×C，Nh是高速图像的总像素数(帧数×一个帧图像的像素数)，Nl是低速图像的总像素数，Nλ是使外部限制条件为有效的时间和空间位置(x，y，t)的总数，C是外部限制的种类数。

而且，在以联立一次方程式来解开公式15等方程式的情况下，可以利用Cline，A.K.，Moler，C.B.，Stewart，G.W.and Wilkinson，J.H.，＂AnEstimate for the Condition Number of a Matrix＂，SIAM J.Num.Anal.16(1979)，368-375.(非专利文献5)等中记载的示出解的计算的稳定性的条件数，以作为可靠度。

在运动的可靠度高的情况下，可以期待利用运动限制的生成图像的可靠度也高。并且，在针对所生成的运动图像的总像素数而有效的限制条件多的情况下，可以稳定地获得作为解的生成图像，也可以期待生成图像的可靠度高。同样，在所述条件数小的情况下，由于可以期待解的误差小，因此可以期待生成图像的可靠度高。

如此，通过输出生成图像的可靠度，在对输出的运动图像进行MPEG等的压缩编码时，在可靠度低的情况下可以将压缩率设定为高，反而在可靠度高的情况下可以将压缩率设定为低，从而可以设定适当的压缩率。

例如，将生成图像的可靠度γ和编码的压缩率δ之间的关系设定为如图34的单调增加的关系，以与生成的运动图像的可靠度γ的值相对应的压缩率δ来进行编码。在生成图像的可靠度γ低的情况下，由于生成图像有可能包含误差，因此即使提高压缩率也可以期待实际上很小产生信息的欠缺，且可以高效率地减少数据量。

在此，压缩率是指，对原来的图像的数据量的、编码后的数据量的比率，而压缩率越高(大的值)，就编码后的数据量越小、解码后的画质越降低。

同样，在MPEG等情况下，通过将所述可靠度高的帧优先地作为I帧等帧内编码的对象、将其它的帧作为帧间编码的对象，从而可以使运动图像的再生时的快进或暂停时等的画质提高。

例如，预先按每个帧求出所述生成图像的可靠度，并将其设定为γ(t)。t是帧时刻。在连续的多个帧中选择进行帧内编码的帧时，从γ(t)比预定的比阈值γth大的帧中选择，或选择预定的连续帧区间中γ(t)最大的帧。

而且，与对输出运动图像进行的编码处理的有无无关，可以获得本发明的效果。

并且，在所述的例子中，作为像素值只以单一亮度为前提进行了说明，但是，通过对以RGB颜色来表示的R、G、B的各个成分分别进行与对亮度的所述的处理相同的处理，来获得高速高分辨率运动图像，从而对于彩色图像也可以生成高速高分辨率运动图像。

并且，对于更简单地处理颜色信息的方法，将低速图像分解为亮度和色差，以所述的处理只将亮度图像为高速高分辨率化，而将色差信息内插并扩大后附加给所述高速高分辨率的亮度图像，从而也可以获得效果。在此情况下，由于在亮度中包含图像的信息的主成分，在其它的色差的信息被内插并扩大的情况下，通过将两者合在一起，从而可以获得与输入了的图像相比高速高分辨率化了的运动图像，与对R、G、B分别进行处理的情况相比可以减少处理量。

图35示出对这些彩色图像的处理的顺序。在步骤2101，将高速低分辨率运动图像分离为亮度图像和色差图像，接着，在步骤2102，利用所述亮度图像和低速高分辨率运动图像的亮度图像，并根据图5的顺序，从而生成高速高分辨率运动图像。在步骤2103，将所述色差图像内插并扩大为与高分辨率图像相同的像素数。在步骤2104，合成所述生成亮度图像和所述内插并扩大的色差图像，从而生成高速高分辨率的彩色图像。

如此，图像合并部104，从高速低分辨率运动图像中抽出色差信息，依据高速低分辨率运动图像的亮度信息和低速高分辨率运动图像来生成中间的新的运动图像，向生成的中间运动图像附加色差信息来生成最后的新的运动图像，从而可以以少的处理量来合并彩色运动图像。

如上所述，根据本实施例的图像生成系统100，按照运动检测部103求出了的运动的可靠度，限制控制部104b决定使外部模型限制条件和运动限制条件为有效的程度，利用所述限制条件来合并高速图像和低速图像，从而在不能进行运动检测的情况、或在运动检测的精确度低的图像区域，也可以获得高速高分辨率的运动图像。

而且，在本实施例中，说明了总括处理运动图像整体的例子，但是，将运动图像在时间上和空间上分割为多个区域，在所述各个区域进行与所述的处理相同的处理来生成高速高分辨率的部分运动图像后，将生成的所述各个部分运动图像在时间上和空间上接合，从而也可以获得运动图像整体的高速高分辨率的运动图像。如此，通过在时间上和空间上进行分割处理，从而可以抑制对像素数多的图像或帧数多的运动图像进行处理时需要的计算处理量或存储量。特别是，通过在时间方向分割运动图像，从而也可以缩短因总括处理已经输入过的多个帧而导致的图像生成的时间延迟。

并且，在进行如上所述的分割处理时，可以设定各个区域，以使相邻的时间和空间区域在分割边界附近重叠。图36示出进行区域分割，并使区域在空间上重叠的例子。在图36中将图像分割为区域701～704的四个区域，并使其在空间上重叠。在生成相当于各个区域的运动图像后，对重叠部分的像素值以重叠的各个区域的像素值来进行加权加法平均，从而可以进行平滑的接合。并且，可以进行与图36相同的区域分割，并使其在时间方向重叠。如此，通过使区域重叠，从而可以抑制在区域分割处理中相邻的区域间的处理结果的不连续性。

而且，在允许这些重叠的分割处理中，预先决定重叠区域的大小。通过使重叠区域的大小变大，从而使在处理区域间的处理结果的不连续性降低的效果增大。若使重叠区域的大小变小，则可以抑制因重叠而增加的计算量。

并且，对于进行如上所述的区域分割时的时间方向的区域边界，也可以预先计算运动图像的帧间的图像的变化，而在帧间的图像的变化比预定的基准大的帧间设定在时间上的区域边界。例如，定义如公式17的值SSD(t)，以作为相邻的帧图像的差，在满足SSD(t)>th的情况下，将时刻t的帧和时刻t+1的帧之间作为处理的边界，来分别进行时刻t以前的序列和时刻t+1以后的序列的处理。

(公式17)

$\mathrm{SSD}\left(t\right)=\underset{x=0}{\overset{X\max }{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{Y\max }{\mathrm{\&Sigma;}}}{\{I(x,y,t)-I(x,y,t+1)\}}^2$

在此，I(x，y，t)示出在时刻t的帧图像中的位置(x，y)的亮度，th是预定的阈值。并且，也可以不是以阈值th为基准来决定处理的划分，而是将在希望设定处理的划分的、时间区域的序列中所述SSD(t)为最大的时刻t作为处理的划分。据此，可以期待以下的效果：在时间上相邻的区域间的处理结果的不连续性对帧间的图像的变化相对变小，从而难以知觉不连续性。

以上，根据实施例说明了本发明涉及的图像生成装置，但是，本发明不仅限于此实施例。对实施例进行本领域的技术人员可以想到的变形而获得的方式，也包含在本发明中。

在实施例中说明了，合并处理部104a，根据限制指定部104e所指定的公式12的综合性的限制条件J，使输入的静止图像(低速高分辨率图像的帧之一)、和在该静止图像的曝光期间中的目标高速高分辨率运动图像的多个帧的合计之间的误差(公式12的右边的第二项)减少，从而生成高速高分辨率运动图像。

在此，也可以不利用合计，而利用平均，该平均是对合计处于常数倍的关系的、实际上与合计等价的信息。即，使静止图像、和在该静止图像的曝光期间中的目标高速高分辨率运动图像的多个帧的平均之间的误差减少，从而生成高速高分辨率运动图像，这些结构也包含在本发明中。

并且，可以使专用设备进行本发明的图像生成装置进行的图像生成处理的一部分或全部，也可以通过使计算机终端装置、被配置在基地电台等的通信设备或在独立的计算机内置的CPU执行图像生成处理程序，从而进行图像生成处理。

并且，利用图3所示的图像生成系统100的结构中删除了显示装置40的结构，以作为如图37示出的摄像机300、即作为单体的装置，也可以实现本发明。

再者，向图37所示的摄像机300附加显示装置40，以作为具有运动图像录像、播放功能的摄像机，也可以实现本发明。

并且，利用图3所示的图像生成系统100的结构中删除了摄像装置10的结构，以作为如图38示出的电视机等显示设备400，也可以实现本发明。在此情况下，可以使预先已录像的运动图像的时间和空间分辨率提高来进行显示。

而且，如下示出权利要求书和实施例的构成要素的对应关系。即，权利要求书中的“曝光控制单元”、“图像输入单元”、“运动检测单元”的一个例子分别是，实施例中的曝光控制部105、图像输入部101、运动检测部103、图像合并部104。但是，权利要求书中的各个构成要素，不仅限于这些实施例中的对应的构成要素，而也包含其等价的物体。

本发明，可以利用于依据多个运动图像来生成新的运动图像的图像生成装置，尤其可以利用于依据高速低分辨率运动图像和低速高分辨率运动图像来生成高速高分辨率运动图像的图像生成装置、编入了这些装置的影像设备或系统、影像合成装置、影像编辑装置、图像复原装置、图像复原程序等。

Claims (8)

1、一种图像生成装置，依据由外部的摄像装置拍摄相同事物而获得的第一运动图像以及第二运动图像，来生成表示所述事物的新的运动图像，其特征在于，

所述第二运动图像的分辨率比所述第一运动图像的分辨率高，且所述第二运动图像的帧的曝光时间比所述第一运动图像的帧的曝光时间长，

所述图像生成装置包括：

曝光控制单元，通过控制所述摄像装置，从而使在所述第二运动图像的一个帧的曝光期间中的曝光量随时间变化；

图像输入单元，从所述摄像装置，获得所述第一运动图像、和在被所述曝光控制单元控制的状态下拍摄的所述第二运动图像；以及

图像合并单元，依据获得的所述第一运动图像和所述第二运动图像来生成帧率在所述第一运动图像的帧率以上、且分辨率在所述第二运动图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述第二运动图像的帧和与所述第二运动图像的帧的曝光期间相对应的所述新的运动图像的多个帧的合计之间的误差减少来生成的。

2、如权利要求1所述的图像生成装置，其特征在于，

所述曝光控制单元，在所述第二运动图像的一个帧的曝光期间中至少设定一次无曝光期间，在该无曝光期间中使所述曝光量减少。

3、如权利要求2所述的图像生成装置，其特征在于，

所述曝光控制单元，进一步，通过控制所述摄像装置，从而使所述第一运动图像的曝光量在所述第二运动图像的无曝光期间中减少。

4、如权利要求1所述的图像生成装置，其特征在于，

所述曝光控制单元，使所述第二运动图像的曝光量变化，以在所述第二运动图像的一个帧的曝光期间中包含的所述第一运动图像的一个以上的帧的各个曝光期间中进行所述第二运动图像的所述帧的曝光。

5、如权利要求1所述的图像生成装置，其特征在于，

所述摄像装置包括，减光单元，在拍摄所述第二运动图像时，以按照来自外部控制的量来使来自被摄物体的入射光量减少，

所述曝光控制单元，通过控制所述减光单元，从而使所述曝光量随时间变化。

6、如权利要求1所述的图像生成装置，其特征在于，

所述摄像装置包括，照明单元，在拍摄所述第二运动图像时，以按照来自外部的控制的强度来对被摄物体进行照明，

所述曝光控制单元，通过控制所述照明单元，从而使所述曝光量随时间变化。

7、一种图像生成方法，依据由外部的摄像装置拍摄相同事物而获得的第一运动图像以及第二运动图像，来生成表示所述事物的新的运动图像，其特征在于，

所述第二运动图像的分辨率比所述第一运动图像的分辨率高，且所述第二运动图像的帧的曝光时间比所述第一运动图像的帧的曝光时间长，

所述图像生成方法包括：

曝光控制步骤，通过控制所述摄像装置，从而使在所述第二运动图像的一个帧的曝光期间中的曝光量随时间变化；

图像输入步骤，从所述摄像装置，获得所述第一运动图像、和在所述曝光控制步骤被控制的状态下拍摄的所述第二运动图像；以及

图像合并步骤，依据获得的所述第一运动图像和所述第二运动图像来生成帧率在所述第一运动图像的帧率以上、且分辨率在所述第二运动图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述第二运动图像的帧和与所述第二运动图像的帧的曝光期间相对应的所述新的运动图像的多个帧的合计之间的误差减少来生成的。

8、一种程序，用于依据多个运动图像来生成新的运动图像，其特征在于，

使计算机执行权利要求7所述的图像生成方法中包含的步骤。

Images