CN101052988A - 图像生成装置及图像生成方法 - Google Patents

Abstract

提供一种图像生成装置，合成多个动态图像来生成包括不能正确进行对应点检测或运动检测的图像区域的新的动态图像。包括：图像输入部(101)，接收第一动态图像和通过拍摄第一动态图像的拍摄对象来获得的第二动态图像，该第二动态图像的分辨率高于上述第一动态图像的分辨率，且该第二动态图像的各个帧可以通过比上述第一动态图像的一个帧所需的时间更长的曝光来获得；以及图像合成部(104)，利用上述第一动态图像和上述第二动态图像，并减少上述第二动态图像的帧与对应于该帧的曝光时间的新动态图像的多个帧的平均值间产生的误差，从而生成帧速率为上述第一动态图像的帧速率以上、且分辨率为上述第二动态图像的分辨率以上的新的动态图像。

Description

图像生成装置及图像生成方法

技术领域

本发明涉及生成动态图像的图像生成装置，尤其涉及利用多个动态图像生成新的动态图像的动态图像生成装置，该新的动态图像兼备多个动态图像分别具有的优越特性。

背景技术

随着数字撮像设备的发展，越来越可以以较低成本来拍摄高空间分辨率的静止图像。然而，在保持与这种静态图像相同水平的高空间分辨率的同时，要实现平滑的动态图像(例如，每秒30帧左右)，或者要实现更高速度的拍摄，还存在课题。

存在该课题的原因是，由于每单位时间获得的图像的信息量增大，而在撮像设备中的图像信息的传输速率不够，或者需要用于进行图像信息的并行传输等的特殊撮像设备，因此导致摄影装置的成本增加、或者要另外调整撮像设备的特性。

用于获得时空分辨率(时间及空间的分辨率)高的图像的以往的图像生成方法中，有些方法利用高速低分辨率摄像机的图像和低速高分辨率摄像机的图像，通过检测动态图像的帧之间相对应的点，来进行图像变形(例如参照专利文献1)。图45是一种说明图，说明专利文献1记载的以往的图像生成方法。再者，在本说明书中，关于撮像能力或动态图像的性质，“高速(或“低速”)”意味着帧速率相对高(或低)，“高分辨率(“低分辨率”)”意味着空间分辨率相对高(或低)。

在图45中，高速低分辨率摄像机A01和低速高分辨率摄像机A02以同一视角来同步拍摄同一对象。在图46(a)和图46(b)表示摄像机A01和摄像机A02分别拍摄的图像之间的关系。在图46(a)和图46(b)中，按时间顺序对摄像机A01和摄像机A02这两个摄像机分别拍摄到的图像进行了排列，图中帧B01和B02表示由摄像机A02所得的图像，帧B11至B15表示由摄像机A02所得的图像。在这里，以图像大小表示了空间分辨率的差异，与帧B01和B02相比，帧B11至B15的像素数量少、空间分辨率低。而，摄像机A01进行拍摄时的帧速率比摄像机A02更高，在摄像机A02拍摄1帧所需的时间内，摄像机A01拍摄4帧。并且，在摄像机A02对帧进行拍摄的时间，摄像机A01也对帧进行同步拍摄(帧B01和帧B11、帧B02和帧B15是分别在同一时刻拍摄的)。在以下例子中，说明生成高分辨率图像的中间帧图像的方法，该中间帧图像的位置相当于帧B23的位置(拍摄时间相当于帧B13的拍摄时间)。

对于通过上述方法拍摄到的帧图像，第一匹配部A03求由摄像机A01所得的高速拍摄图像中相邻的各个帧之间的像素的对应关系。在这里，该对应关系是指，某帧图像的各像素显示的拍摄对象的部分显示于其他帧图像的哪个像素位置。然后，通过将相邻的高速图像间的对应关系相连接，从而求高速摄像机图像B13的像素和帧B11的像素之间的对应关系，该高速摄像机图像B13位于所要生成的帧B23的时刻，该B11是通过与低速图像同步拍摄高速图像而得的帧。

其次，第二匹配部A04对使高速图像和低速图像同步来拍摄的帧B01和帧B11的像素位置关系、帧B13和帧B23的像素位置关系以及由第一匹配部A03求出的帧B11和帧B13的对应关系进行相互连接，从而决定帧B01和帧B23的像素对应关系。

然后，图像生成部A05利用帧B01和帧B23的像素对应关系，并利用帧B01的像素值，来决定帧B23的像素值，生成高分辨率中间帧图像B23。接着，根据相同顺序生成其他中间帧，从而生成高分辨率且高速率的图像。

同样，非专利文献1、非专利文献2等也利用高速低分辨率摄像机和低速高分辨率摄像机分别获得的图像，根据高速摄像机获得的图像进行运动检测，按照其运动对低速高分辨率动态图像进行图像变形，从而生成高分辨率中间帧图像。

专利文献1：日本国特开2003-203237号公报(图13)

非专利文献1：Toru MATSUNOBU，et al.，”Generation of HighResolution Video Using Morphing”，Technical report of IEICE，PRMU2004-178

非专利文献2：Kiyotaka Watanabe，et al.，”Generation of HighResolution Video Sequence from Two Video Sequences withDifferent Spatio-temporal Frequencies”，Information TechnologyLetters(FIT2004)，Vol.3，No.LI-004，2004

然而，上述以往的技术的前提是，能正确求出高速图像中相邻的帧之间的对应关系、或能正确进行运动检测，而存在的课题是，在不能求出正确的对应关系的情况下、或在不能进行运动检测的情况下，导致降低所生成的图像的质量、或只能单纯地放大低分辨率图像。一般而言，在图像中的移动物体的运动复杂的情况下，或在照明状态变化、发生遮挡现象(occlusion)或光圈问题的情况下，难以正确求出帧间相对应的点，也难以对所有像素进行正确的运动检测。

具体而言，在存在高分辨率图像的帧的情况下，可以利用其高分辨率图像本身来生成高清晰图像，但是，之后如果仅反复出现低分辨率图像的帧，随之就明显降低所生成的图像的质量，并且，如果之后再次出现高分辨率图像的帧，就又要突然生成没有降低质量的高清晰图像。在帧之间出现的这种图像清晰度的变化，会对人的知觉带来不协调感。

发明内容

于是，本发明为了解决上述以往的课题，提供一种图像生成装置及其方法，其目的在于，能够生成合成多个动态图像的新的动态图像，该新的动态图像包括不能正确进行对应点的检测或运动检测的图像区域。

为了达到上述目的，本发明涉及的图像生成装置包括：图像输入单元，接收第一动态图像和第二动态图像，该第二动态图像的分辨率高于上述第一动态图像的分辨率，该第二动态图像的一个帧是通过曝光来获得的，该曝光的时间相当于上述第一动态图像的多个帧所需的时间；以及图像合成单元，通过减少上述第二动态图像的帧与新的动态图像的多个帧的平均值间产生的误差，从而生成新的动态图像，该新的动态图像的帧速率高于或等于上述第一动态图像的帧速率，该新的动态图像的分辨率高于或等于上述第二动态图像的分辨率，上述新的动态图像的多个帧对应于上述第二动态图像的帧的曝光时间。

根据这种结构，在上述图像输入单元例如收到高帧速率且低分辨率的第一动态图像和低帧速率且高分辨率的第二动态图像的情况下，上述图像合成单元可以生产帧速率和分辨率分别等于上述第一动态图像和上述第二动态图像的动态图像，并将它作为上述新的动态图像。即，生成兼备所输入的多个动态图像各自的优越特性的新的动态图像。

而且，由于通过减少上述第二动态图像的帧和上述新的动态图像中的多个帧的平均值间产生的误差，从而生成上述新的动态图像，因此上述第二动态图像的一个帧所含的图像信息分散到所要生成的新的动态图像中的多个帧上，且该多个帧反应上述图像信息，其结果，使在帧间产生的图像清晰度的变化平滑，能够得到降低知觉上的不协调感的动态图像，上述新的动态图像中的多个帧对应于上述第二动态图像的帧的曝光时间。

再者，本发明不仅可以实现为上述图像生成装置，还可以实现为图像生成方法、能使计算机执行该方法的程序以及记录有该程序的CD-ROM等计算机可以读取的记录媒体等。

根据本发明的图像生成装置，即使在动态图像中包含不一定能正确求出运动或对应点的图像区域的情况下，也可以生成从整体上提高其图像的时空分辨率的新的动态图像。例如，利用高速低分辨率动态图像和低速高分辨率动态图像，可以确实生成兼备各个图像的优越特性的高速高分辨率动态图像。

并且，使在帧间产生的图像清晰度的变化平滑，从而可以获得减少知觉上的不协调感的动态图像。

附图说明

图1是一种方框图，表示本发明的实施方式的图像生成系统的硬件结构。

图2是一种方框图，表示第一实施方式的图像生成装置的结构。

图3是一种流程图，表示图像生成装置的工作。

图4(a)至图4(b)是一种示意图，表示按时间顺序排列输入图像的一个例子。

图5(a)至图5(c)是一种示意图，表示摄像装置的具体例子。

图6(a)至图6(c)是一种示意图，分别表示生成的高速高分辨率动态图像的像素配置例、输入的高速低分辨率动态图像的像素配置例、低速高分辨率动态图像的像素配置例。

图7(a)至图7(c)是一种图表，表示在校正像素值的情况下的进光量和像素值的关系的例子。

图8(a)及图8(b)是一种示意图，表示在高速低分辨率动态图像中求出的运动检测结果和高速高分辨率动态图像的关系。

图9(a)至图9(d)是一种示意图，表示生成的高速高分辨率动态图像的帧图像的一个例子。

图10(a)至图10(d)是一种示意图，表示输入的高速高分辨率动态图像的帧图像的一个例子。

图11是一种示意图，表示输入的低速高分辨率动态图像的帧图像的一个例子。

图12(a)至图12(d)是一种示意图，表示可靠程度的分布例子。

图13(a)至图13(d)是一种示意图，表示所生成的动态图像的帧图像的一个例子。

图14(a)至图14(d)是一种示意图，表示在不利用可靠程度而进行生成的情况下的动态图像的帧图像的一个例子。

图15(a)至图15(e)是一种示意图，表示高速高分辨率图像的帧图像的一个例子。

图16(a)至图16(e)是一种示意图，表示高速低分辨率图像的帧图像的一个例子。

图17(a)及图17(b)是一种示意图，表示通过短时间曝光而拍摄到的低速高分辨率图像的帧图像的一个例子。

图18(a)及图18(b)是一种示意图，表示通过长时间曝光而拍摄到的低速高分辨率图像的帧图像的一个例子。

图19(a)至图19(e)是一种示意图，表示通过短时间曝光而生成的帧图像的一个例子。

图20(a)至图20(e)是一种示意图，表示通过短时间曝光而生成的帧图像的一个例子。

图21(a)至图21(e)是一种示意图，表示通过长时间曝光而生成的帧图像的一个例子。

图22(a)至图22(e)是一种示意图，表示通过长时间曝光而生成的帧图像的一个例子。

图23是一种图表，表示在利用所生成的图像的可靠程度来使编码图像的压缩率变化的情况下的可靠程度和压缩率的关系的一个例子。

图24是一种流程图，表示在合成彩色动态图像的情况下的处理顺序。

图25是一种示意图，表示区域划分处理的一个例子。

图26是一种方框图，表示图像生成系统的具体例子。

图27是一种方框图，表示图像生成系统的具体例子。

图28是一种方框图，表示第二实施方式的图像生成装置的结构。

图29是一种示意图，表示输入图像的拍摄位置和拍摄时序的一个例子。

图30是一种示意图，表示输入图像的拍摄位置和拍摄时序的一个例子。

图31是一种示意图，表示输入图像的拍摄位置和拍摄时序的一个例子。

图32是一种示意图，表示输入图像的拍摄位置和拍摄时序的一个例子。

图33是一种示意图，表示输入图像的拍摄位置和拍摄时序的一个例子。

图34是一种示意图，表示高速高分辨率图像的像素配置的一个例子。

图35是一种流程图，表示图像生成装置的工作。

图36(a)至图36(f)是一种示意图，表示在第二实施方式的高速高分辨率动态图像的帧图像的一个例子。

图37(a)及图37(b)是一种示意图，表示输入的场图像的一个例子。

图38(a)及图38(b)是一种示意图，表示输入的场图像的一个例子。

图39(a)及图39(b)是一种示意图，表示输入的场图像的一个例子。

图40(a)至图40(f)是一种示意图，表示在不利用可靠程度而进行生成的情况下的动态图像的帧图像的一个例子。

图41(a)至图41(f)是一种示意图，表示所生成的动态图像的帧图像的一个例子。

图42(a)及图42(b)是一种示意图，表示输入的场图像的一个例子。

图43(a)及图43(b)是一种示意图，表示输入的场图像的一个例子。

图44(a)及图44(b)是一种示意图，表示输入的场图像的一个例子。

图45是一种方框图，表示以往的图像生成装置的结构。

图46(a)及图43(b)是一种示意图，表示按时间顺序排列的以往的图像生成装置的输入图像。

符号说明

10    撮像装置

20    图像存储装置

30    图像生成装置

40    显示装置

100   图像生成系统

101   图像输入部

101a  高速图像输入部

101b  低速图像输入部

101c  多隔行扫描图像输入部

102   编码部

103   运动检测部

103a  运动分布算出部

103b  运动可靠程度分布算出部

103c  传感器输入部

104   图像合成部

104a  合成处理部

104b  限制控制部

104c  运动限制指定部

104d  外部模型限制部

104e  限制指定部

300   摄像机

400   显示器

具体实施方式

(第一实施方式)

本发明的第一实施方式涉及一种图像生成装置，利用对同一事物进行拍摄而得的多个动态图像，来生成表示上述事物的新的动态图像，其要点在于，包括：图像输入单元，接收第一动态图像和第二动态图像，该第二动态图像是通过拍摄第一动态图像的拍摄对象而得的图像，该第二动态图像的分辨率高于上述第一动态图像的分辨率，且该第二动态图像的各个帧是通过长时间曝光来获得的，该曝光的时间长于上述第一动态图像的一个帧所需的时间；以及图像合成单元，利用上述第一动态图像和上述第二动态图像，并通过减少上述第二动态图像的帧与新的动态图像的多个帧的平均值间产生的误差，从而生成新的动态图像，该新的动态图像的帧速率高于或等于上述第一动态图像的帧速率，该新的动态图像的分辨率高于或等于上述第二动态图像的分辨率，上述新的动态图像的多个帧对应于上述第二动态图像的帧的曝光时间。

根据这种结构，在上述图像输入单元例如收到高帧速率且低分辨率的第一动态图像和低帧速率且高分辨率的第二动态图像的情况下，上述图像合成单元可以生产帧速率和分辨率分别等于上述第一动态图像和上述第二动态图像的动态图像，并将它作为上述新的动态图像。即，生成兼备所输入的多个动态图像各自的优越特性的新的动态图像。

再者，由于上述第二动态图像的各个帧是通过比上述第一动态图像的每一帧所需时间更长的曝光来获得的，因此第二动态图像包括如移动物体的移动轨迹那样的运动信息，利用该运动信息能够生成运动准确度更高的新的动态图像。

即，由于通过减少上述第二动态图像的帧和上述新的动态图像中的多个帧的平均值间产生的误差，从而生成上述新的动态图像，因此上述第二动态图像的一个帧所含的图像信息分散到所生成的新的动态图像中的多个帧上，且该多个帧反应上述图像信息，其结果，使在帧间产生的图像清晰度的变化平滑，能够得到降低知觉上的不协调感的动态图像，上述新的动态图像中的多个帧对应于上述第二动态图像的帧的曝光时间。

而在通过进行帧间的开放曝光而获得上述第二动态图像的帧的情况下，会促使上述变化进一步平滑，可以获得更理想的动态图像。

并且，上述图像生成装置还可以包括限制单元，指定所要生成的新的动态图像的像素值应该满足的限制条件，该限制条件是根据像素值的连续性指定的，该像素值是在时间和空间上相邻的像素的值；上述图像合成单元可以在维持所指定的上述限制条件的状态下，生成上述新的动态图像。

根据这种结构，可以生成维持时空连续性的新的动态图像，因此，能够进行尤其适于这种连续性强的自然界图像的生成处理。

并且，上述图像生成装置还可以包括：运动检测单元，至少利用上述图像输入单元接收的多个动态图像中的一个图像，检测拍摄对象的运动；以及限制单元，指定所要生成的新的动态图像的像素值应该满足的限制条件，该限制条件是根据上述运动检测的结果指定的；上述图像合成单元可以在维持所指定的上述限制条件的状态下，生成上述新的动态图像。

由此，可以利用运动检测中的插值方法来生成上述新的动态图像。

在这里，上述运动检测单元可以算出上述运动检测的可靠程度；上述图像合成单元，可以在由上述运动检测单元算出的可靠程度高的图像区域，利用根据上述运动检测的结果指定的限制条件，来生成新的图像；而可以在上述可靠程度低的图像区域，利用除根据上述运动检测的结果指定的限制条件之外的预定限制条件，来生成上述新的动态图像。

在这里，上述运动检测单元可以以块为单位进行运动检测，算出可靠程度，该块是通过对构成上述动态图像的各图像进行分割而得的，上述可靠程度是通过将各块间的像素值差的平方和的符号反过来而得的值；上述图像合成单元，可以将上述可靠程度高于预定值的块设为可靠程度高的图像区域，将上述可靠程度低于预定值的块设为可靠程度低的图像区域，来生成上述新的动态图像。

由此，在运动检测的可靠程度低的区域，根据预定的外部模型限制条件合成图像，因此，根据本发明，即使在以往不能正确进行对应点检测或运动检测的图像区域，也能合成图像。

根据这种结构，上述图像输入单元例如可以接收高帧速率且低分辨率的第一动态图像和低帧速率且高分辨率的第二动态图像，并且，上述图像合成单元可以生产帧速率和分辨率分别等于上述第一动态图像和上述第二动态图像的动态图像，并将它作为上述新的动态图像。即，生成兼备所输入的多个动态图像各自的优越特点的新的动态图像。

并且，在输入的多个动态图像为彩色动态图像的情况下，优选的是，上述图像合成单元从上述第一动态图像抽出色差信息，利用从上述第一动态图像获得的亮度信息和上述第二动态图像，来生成未完成的新的动态图像，并给生成的未完成的动态图像添加上述色差信息，从而生成最终的上述新的动态图像。由此，例如与按RGB各颜色分别生成新的动态图像的处理相比，可以以较少的处理量来生成彩色高速高分辨率动态图像。

并且，上述运动检测单元还可以包括姿态传感器输入部，接收来自姿态传感器的信号，该姿态传感器检测对拍摄对象进行拍摄的摄像装置的姿态，并且，上述运动检测单元可以利用上述姿态传感器输入部收到的信号，来检测上述运动。由此，可以确保准确度更高的运动检测，因此能够生成运动准确度更高的新的动态图像。

并且，上述图像合成单元可以按时间至少算出上述多个动态图像中的一个图像的变化量，并在算出的变化量超过预定值的时间范围，生成新的动态图像。由此，只要在必要的时间区域进行图像的合成处理即可，而且可以平滑地接合进行合成处理的时间区域和不进行合成处理的时间区域，而使人不易知觉其不连续性。

并且，优选的是，上述图像合成单元还算出一种值，将该算出的值与上述新的动态图像一起输出，该值表示生成的上述新的动态图像的可靠程度。由此，可以进行利用可靠程度的动态图像的后处理。例如，收到这两个信息的编码单元以高压缩率来对可靠程度低的图像进行编码，并以低压缩率对可靠程度高的图像进行编码，从而能够实现在整体上减少因编码而引起的信息缺损的高压缩率编码。

并且，本发明涉及的图像生成装置利用多个动态图像生成新的动态图像，其要点在于，包括：图像输入单元，接收通过对同一事物进行拍摄而得的多个动态图像的输入，该多个动态图像的时空分辨率或时空相位分别不同；运动检测单元，至少利用由上述图像输入单元收到的多个动态图像中的一个图像，检测上述拍摄对象的运动，并且算出该运动检测的可靠程度；外部模型限制单元，指定所要生成的新的动态图像的像素值应该满足的条件即外部模型限制条件；以及图像合成单元，根据上述运动检测单元检测出的可靠程度，在可靠程度高的图像区域，利用由上述运动检测单元所得的运动检测的结果，来生成新的图像，而在可靠程度低的图像区域，利用由上述外部模型限制单元指定的外部模型限制条件，来生成新的图像，从而合成由上述图像输入单元收到的多个动态图像，并生成新的动态图像。

在这里，上述图像输入单元也可以接收不同的多个动态图像，并将它作为上述时空相位不同的多个动态图像，该不同的多个动态图像是通过在多个帧上连续出现一种场图像而构成的，该一种场图像是多种场图像中的一种，该多种场图像按不同时刻分别表示原动态图像的帧图像中的多个部分；上述图像合成单元也可以生成由以下帧图像构成的新的动态图像，该帧图像是指，帧速率等于上述原动态图像的场速率、且分辨率等于上述原帧图像的分辨率的帧图像；并且，上述场图像的曝光时间也可以长于时间上相邻的各场之间的时间间隔。

由此，在运动检测的可靠程度低的区域，根据预定的外部模型限制条件合成图像，因此，根据本发明，即使在以往不能正确进行对应点检测或运动检测的图像区域，也能合成图像。

以下，根据附图详细说明本发明的第一实施方式涉及的图像生成系统。

图1是一种方框图，表示本发明的实施方式涉及的图像生成系统的硬件结构。

图像生成系统100是利用关于同一对象的多个动态图像(在这里指高速低分辨率动态图像及低速高分辨率动态图像)来生成高时空分辨率的新的动态图像(在这里指高速高分辨率动态图像)的系统，包括：摄像装置10、图像存储装置20、图像生成装置30、显示装置40。摄像装置10是摄像机等，对拍摄对象进行拍摄，并以两种不同的时空分辨率获得动态图像(在这里指关于同一对象的高速低分辨率动态图像及低速高分辨率动态图像)。图像存储装置20是存储器等，暂时存储摄像装置10拍摄到的动态图像。图像生成装置30是读出存储在图像存储装置20的动态图像，利用读出的多个动态图像生成提高了时空分辨率的新的动态图像。显示装置40是表示由图像生成装置30生成的新的动态图像的装置。再者，图像生成装置30可以实现为专用电路等硬件，也可以实现为通用计算机的图像处理程序等软件。

图2是一种功能方框图，表示图1所示的图像生成系统100中的图像生成装置30的内部结构。该图像生成装置30包括图像输入部101、运动检测部103、图像合成部104。

图像输入部101是接口等，接收通过对同一对象进行拍摄而获得的多个动态图像的输入，该多个动态图像的时空分辨率或时空相位分别相互不同，在这里，图像输入部101包括：高速图像输入部101a，接收(或获得)以高速(高帧速率)且低空间分辨率来拍摄的动态图像(高速低分辨率动态图像)的输入；低速图像输入部101b，接收(或获得)通过以低速(低帧速率)且高空间分辨率来对拍摄对象进行拍摄而得的动态图像(低速高分辨率动态图像)的输入，该拍摄对象与高速图像输入部101a的拍摄对象是同一的。如此，输入在高速图像输入部101a的图像和输入在低速图像输入部101b的图像的时空分辨率互不相同，但这些图像均是通过对同一对象进行拍摄而得的。

运动检测部103包括：传感器输入部103c，获得来自传感器(设置在摄像装置10的加速度传感器等)的信号，该传感器用于检测摄像装置10的运动，该摄像装置10生成输入到图像输入部101的图像；运动分布算出部103a，根据输入在图像输入部101的图像或/及输入在传感器输入部103c的运动信号，检测输入图像中的图像(即拍摄对象)的运动，该运动检测是对各帧图像的整体进行的；以及运动可靠程度分布算出部103b，算出由运动分布算出部103a进行的运动检测的可靠程度，该可靠程度的算出是对各帧图像的整体进行的。

图像合成部104是一种处理部，对于输入在图像输入部101的多个动态图像中可靠程度高的图像区域，利用由运动检测部103所得的运动检测的结果，来生成新的动态图像，而对于可靠程度低的区域，利用预先所定的规定限制条件来合成多个动态图像，包括：合成处理部104a、限制控制部104b、运动限制指定部104c、外部模型限制部104d、限制指定部104e。

运动限制指定部104c是一种处理部，利用由运动分布算出部103a所得的运动检测的结果，指定所要生成的高速高分辨率动态图像的各像素值应该满足的限制条件(以下，将依据运动检测的结果指定的限制条件称为“运动限制条件”)。

外部模型限制部104d指定所要生成的高速高分辨率动态图像的各像素值应该满足的另外限制条件，该另外限制条件是除了根据运动分布算出部103a的运动检测的结果得出的限制条件之外的条件(以下，将不依据运动检测的结果而指定的限制条件称为“外部模型限制条件”)。

限制控制部104b利用由运动分布算出部103a算出的运动检测的结果和由运动可靠程度分布算出部103b算出的可靠程度，在所要生成的高速高分辨率动态图像的各帧图像中各个位置，决定分别使运动限制条件和外部模型限制条件有效的程度，并向限制指定部104e通知其程度。

限制指定部104e根据由限制控制部104b决定的运动限制条件和外部模型限制条件的有效程度，指定合成了运动限制指定部104c指定的运动限制条件和外部模型限制部104d指定的外部模型限制条件的限制条件，即指定所要生成的高速高分辨率动态图像的各像素值应该满足限制条件。

合成处理部104a根据由限制指定部104e指定的限制条件，合成输入在高速图像输入部101a的高速图像和输入在低速图像输入部101b的低速图像，来生成高速高分辨率动态图像。

编码部102对由合成处理部104a生成的图像进行压缩编码，并将它输出。

而本实施方式所述的“帧”，不仅是指逐行扫描方式的帧，还包括隔行扫描方式的偶数场及奇数场。

下面，对具有上述结构的图像生成装置30执行的处理进行说明。

图3是一种流程图，表示图像生成装置30执行的处理。

在步骤601中，高速图像输入部101a接收高速低分辨率动态图像的输入，低速图像输入部101b接收关于同一拍摄对象的低速高分辨率动态图像的输入。以下，利用灰度图像进行说明。

图4(a)及图4(b)表示输入到高速图像输入部101a的高速低分辨率动态图像和输入到低速图像输入部101b的低速高分辨率动态图像的关系。图4(a)及图4(b)表示，按时间顺序排列这些两个图像的连续帧图像，帧201和帧202表示低速高分辨率图像，帧211至帧215表示高速低分辨率图像。

在本图中，以图像大小来表示空间分辨率的差异。与帧201至帧202相比，帧211至帧215的像素数量更少，而空间分辨率低。另外，对于帧速率而言，与低速图像输入部101b相比，高速图像输入部101a的拍摄帧速率更高，在这里，低速图像输入部101b在拍摄1帧的情况下，高速图像输入部101a拍摄4帧。并且，包括帧201和帧202的图像的时间方向的幅度表示曝光时间。输入到低速图像输入部101b的图像的帧速率低，因此与输入到高速图像输入部101a的图像相比，其曝光时间可以为更长。在图4(a)及图4(b)中，低速高分辨率动态图像的帧201的曝光时间相当于高速低分辨率动态图像的4帧的曝光时间。

再者，对于输入到高速图像输入部101a的帧和输入到低速图像输入部101b的帧的拍摄时序而言，只要知道时间的相对关系就可以，而并不一定要同时进行拍摄(即，拍摄时刻的相位不同也可以)。并且，通过进行长时间的曝光，从而即使在高分辨率图像中也可以获得如移动物体的移动轨迹那样的运动信息。通过进行下述的图像合成处理，生成与从高分辨率图像获得的运动信息并不矛盾的动态图像，从而能够生成高时空分辨率的动态图像。

在这里，说明摄像装置10的具体例子，即说明获得两种图像的拍摄单元的例子。对于两种图像而言，如图5(a)所示，可以利用半反射镜配置两种不同特性的摄像机，使该两种摄像机的视角同一，来拍摄两种图像；或如图5(b)所示，也可以在一个摄像机中利用半反射镜或棱镜配置两种不同特性的摄像元件，使该两种摄像元件的视角同一，来拍摄两种图像；或如图5(c)所示，也可以利用同时拍摄两种不同特性的图像的摄像元件。

下面，利用图6(a)至图6(c)，说明所要获得的高速高分辨率动态图像的像素值(在这里指亮度值)与分别输入到高速图像输入部101a和低速图像输入部101b的高速低分辨率动态图像及低速高分辨率动态图像的各像素值(在这里指亮度值)的关系。将该关系作为高速高分辨率动态图像的各像素应该满足的外部模型限制条件，来用于生成图像。

在这里，各图像的像素值与拍摄时的进光量成正比例关系，其比例常数也是通用的。图6(a)表示所要生成的高速高分辨率动态图像的各帧的像素配置情况。为说明方便，抽出高速高分辨率动态图像的一部分来进行说明。图6(a)表示高(Y轴)3像素、宽(X轴)3像素的4个帧的像素配置情况。在像素位置(X，Y，t)的像素的值设为HH(X，Y，t)。在这里，X值和Y值的范围是0、1、2，t值的范围是0、1、2、3。

同样，图6(b)表示高速低分辨率动态图像的像素配置情况，该动态图像的拍摄时刻和视角都与图6(a)相同。在这里，将高速低分辨率动态图像的像素位置(XL，YL，t)的像素值设为HL(XL，YL，t)。由于低分辨率图像和高分辨率图像的x方向和y方向的像素数量分别不同，因此将低分辨率图像的x坐标值和y坐标值分别设为XL和YL，区别于高分辨率图像的x坐标值和y坐标值。在这里，高分辨率图像中x方向和y方向分别是3像素的区域即共包括9像素的区域相当于低分辨率图像的1像素，其像素值间的关系如公式1所示。

公式1

$\mathrm{HL}(x_L,y_L,t)=\underset{x=0}{\overset{2}{\mathrm{\Σ}}}\underset{y=0}{\overset{2}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

同样，图6(c)表示低速高分辨率动态图像的像素配置情况，该动态图像的拍摄时刻和视角都与图6(a)相同。在这里，将低速高分辨率动态图像的像素位置(x，y，t_L)的像素值设为LH(x，y，t_L)。

由于高速图像和低速图像的时间方向的帧数不同，因此将低速图像的帧编号设为t_L，区别于高速图像的帧编号。在这里，高速图像的4帧所需的时间相当于低速图像的1帧所需的时间，其像素值的关系如公式2所示。

公式2

$\mathrm{LH}(x,y,t_L)=\underset{t=0}{\overset{3}{\mathrm{\Σ}}}G\left(t\right)*\mathrm{HH}(x,y,t)$

在这里，G(t)是指时刻t的拍摄强度，表示因摄像元件的灵敏度和拍摄光圈随时间变化而变化的像素值的倍率。在摄像元件的灵敏度和拍摄光圈不随时间变化的情况下，G(t)＝1.0。

再者，在上述例子中，将时刻t设为离散值，而要对应连续性的时间变化的情况下，就利用公式3。在公式3中，将公式1和公式2的HH(x，y，t)置换为HH_cont(x，y，t_cont)，从而能够表示按时间顺序连续输入的图像的质量降低的过程。

公式3

$\mathrm{HH}(x,y,t)={\∫}_t^{t+\mathrm{\Δt}}\mathrm{Exp}\left(t_{\mathrm{cont}}\right)\·{\mathrm{HH}}_{\mathrm{cont}}(x,y,t_{\mathrm{cont}}){\mathrm{dt}}_{\mathrm{cont}}$

在公式3中，Δt相当于所要生成的高速高分辨率图像的帧图像的虚拟曝光时间，t_cont、HH_cont(x，y，t_cont)、Exp(t_cont)分别表示连续时间、时间连续的图像、高速高分辨率图像中帧图像的虚拟曝光时间的变化。

如图4所示，使低速图像的曝光时间长于高速图像的曝光时间，从而能够存储长时间运动的轨迹信息，而在生成高速高分辨率动态图像时，其为改善产生运动的地方的时空分辨率起到作用。

在上述例子中，说明了像素值与拍摄时的进光量成正比例关系的情况(图7(a))，但在因伽马校正等而不成正比例关系的情况下(图7(b))，或在比例常数按像素而不同的情况下，另外使拍摄图像时的摄像元件的输入输出特性(输入输出关系)和进光相对应并利用，对像素值进行校正，来使其与进光成正比例关系，这样就能满足公式1或公式2的关系。例如，利用如图7(c)所示的像素值和校正值的对应关系，对图7(b)所示的像素值进行校正，从而可以进行与图7(a)所示的像素值同样的处理。

另外，在上述说明中，将亮度值作为像素值来进行了说明，不过，在各像素具有颜色值RGB的情况下，RGB各个值也可以获得与亮度值同样的关系。

作为其他外部模型限制，还有在时间和空间上相邻的像素值的连续性和平滑性。在利用像素值的连续性的情况下，如公式4所示，考虑像素的亮度值间的差的平方和Qs，该像素是高速高分辨率动态图像中相邻的像素。

公式4

$\mathrm{Qs}=\mathrm{\λs}(x,y,t)\·[\underset{x=1}{\overset{x_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x-1,y,t)\}}^2$

$+\underset{y=1}{\overset{y_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y-1,t)\}}^2$

$+\underset{t=1}{\overset{t_{\max }}{\mathrm{\Σ}}}{\{\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y,t-1)\}}^2]$

并且，在利用像素值的平滑性的情况下，如公式5所示，考虑亮度值的二阶差分的平方和Qs，该亮度值是高速高分辨率动态图像中相邻的各像素的亮度值。

公式5

$\mathrm{Qs}=\mathrm{\λs}(x,y,t)\·[\underset{x=1}{\overset{x_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x+1,y,t)-\mathrm{HH}(x-1,y,t)\}}^2$

$+\underset{y=1}{\overset{y_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y+1,t)-\mathrm{HH}(x,y-1,t)\}}^2$

$+\underset{t=1}{\overset{t_{\max }-1}{\mathrm{\Σ}}}{\{2\·\mathrm{HH}(x,y,t)-\mathrm{HH}(x,y,t+1)-\mathrm{HH}(x,y,t-1)\}}^2]$

在这里，公式4和公式5中的X_max、Y_max、t_max分别表示x方向的最大像素编号、y方向的最大像素编号、最大帧编号。另外，λs(x，y，t)是指定限制条件的时空分布的系数，在后述的步骤604中利用运动可靠程度来决定该系数。

如此，可以将外部模型限制条件设为所要生成的高速高分辨率动态图像的评价函数。降低该评价函数的值(评价值)，就相当于将上述外部模型限制赋予给所要生成的高速高分辨率动态图像。

而作为其他外部模型限制，也可以利用边缘的时空连续性。在此情况下，如公式6所示，其限制例如是指，在时间上相邻的帧间，所对应的位置的边缘方向的变化不大。

公式6

$\mathrm{Qte}=\mathrm{\λte}(x,y,t)\·$

$\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\underset{i=0}{\overset{i_{\max }}{\mathrm{\Σ}}}{\{\mathrm{edge}(x+u(x,y,t),y+v(x,y,t),t+1,i)-\mathrm{edge}(x,y,t,i)\}}^2$

或如公式7所示，其限制例如是指，面向同一方向的边缘在空间上向其方向连续存在。

公式7

$\mathrm{Qse}=\mathrm{\λse}(x,y,t)\·$

$\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\underset{i=0}{\overset{i_{\max }}{\mathrm{\Σ}}}{\{\mathrm{edge}(x+i_x,y+i_y,t,i)-\mathrm{edge}(x,y,t,i)\}}^2$

在这里，公式6和公式7的edge(x，y，t，i)表示动态图像中在位置(x，y，t)上存在的第i个方向的边缘强度。i表示边缘方向的种类，i的值是从0至i_max的整数。并且，公式7的(i_x，i_y)表示矢量，该矢量示出第i个边缘的方向。

此外，u(x，y，t)和v(x，y，t)分别表示图像中在(x，y，t)位置的运动矢量的x方向成分和y方向成分。边缘的检测是可以通过利用具有方向依赖性的Gabor滤波器等边缘检测滤波器的输出来实现，或如公式8所示，可以通过微分运算获得边缘方向和强度之后，按需要将边缘方向离散化并利用该边缘方向来实现。

公式8

$(\frac{\∂\mathrm{HH}(x,y,t)}{\∂x},\frac{\∂\mathrm{HH}(x,y,t)}{\∂y})$

公式8中，将在高速高分辨率动态图像HH的坐标(x，y，t)的边缘方向和强度设为二维矢量，矢量方向对应于边缘方向，矢量大小对应于边缘强度。

在这里，与λs(x，y，t)相同，λte(x，y，t)和λse(x，y，t)是指定限制条件的时空分布的系数，在后述的步骤604中利用运动可靠程度来决定该系数。

另外，也可以采用这样一个限制条件，即，将所要生成的动态图像能表现的自由程度限制于预定的动态图像群的主要成分。例如，将构成动态图像的各帧中各像素的亮度值HH(x，y，t)设为独立要素，并将动态图像设为1个数据点，而对预定的相同帧数相同像素数量的动态图像群进行主成分分析，以主成分为优先来生成动态图像。在此情况下，将非主成分的矢量设为NPC(x，y，t)，将所要生成的动态图像设为HH(x，y，t)，并将非主成分NPC和所要生成的动态图像HH的内积作为限制条件。在此情况下，限制条件是公式9的Qpc。

公式9

$\mathrm{Qpc}=\mathrm{\λpc}(x,y,t)\·\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}\mathrm{NPC}(x,y,t)\·\mathrm{HH}(x,y,t)$

NPC不限于1种，而可以准备多个NPC，并可以根据输入图像转换NPC的种类。在此情况下，预先学习输入图像与高分辨率时的主成分的关系，利用该结果选择NPC就可以。例如，准备三个不同种类的高速高分辨率动态图像群1、2、3，将这些作为用于学习的动态图像。从其动态图像群中分别求非主成分的矢量NPC1、NPC2、NPC3。另外，利用公式1或公式2，从上述动态图像群1、2、3分别求高速低分辨率动态图像群HL1、HL2、HL3以及低速高分辨率动态图像群HH1、HH2、HH3。在这里，要分别学习图像群HL1·HH1、图像群HL2·HH2、图像群HL3·HH3这三个图像群与上述三种非主成分NPC1、NPC2、NPC3的对应关系。关于对应关系的学习方法，可以利用任意方法，而按图像群预先求由高速低分辨率动态图像HL和低速高分辨率动态图像HH的平均图像组成的组，并存储(学习)平均图像组与非主成分种类的对应关系。然后，求平均图像组和新输入的由图像HL·HH组成的组的差，并将与求出的差最小的平均图像组相对应的非主成分用于输入图像的复原处理。代替存储平均图像与非主成分的关系的方法，也可以采用这样一个方法，即，将高速低分辨率动态图像HL和低速高分辨率动态图像HH设为输入，将对应于这些HL和HH的非主成分的种类设为输出，利用神经网等学习方法来求该输出输入关系，并在学习后，向神经网输入由输入图像HL·HH组成的组，将所获得的输出即非主成分种类用来做限制条件。

在这里，与λs(x，y，t)相同，λpc(x，y，t)也是指定限制条件的时空分布的系数，在后述的步骤604中利用运动可靠程度来决定该系数。

其次，在步骤602中，运动检测部103从高速低分辨率动态图像中算出图像中的运动和其运动的可靠程度。在这里，在从高速图像输入部101a获得的动态图像中各帧图像的各个位置，运动分布算出部103a求拍摄对象的运动方向和运动大小(运动检测)，并求运动方向和运动大小的时空分布。并且，运动可靠程度分布算出部103b求运动检测的可靠程度的时空分布conf(x，y，t)。在此情况下，运动检测的可靠程度的意思是，可靠程度越高，运动检测的结果越准确，而可靠程度越低，运动检测的结果越不准确。作为在相邻的2帧图像间，求图像中各位置的运动的方法，例如可以采用以下方法：P.ANANDAN，”AComputational Framework and an Algorithm for the Measurement ofVisual Motion”，IJCV，2，283-310(1989)采用的方法；动态图像的编码中普遍利用的运动检测方法；以图像来进行移动体的跟踪等的情况下利用的特征点跟踪算法等。而且，也可以采用在检测整个图像的全局运动(仿射运动：affine motion等)时普遍利用的方法、或LihiZelkik-Manor，“Multi-body Segmentation：Revisinting MotionConsistency”，ECCV(2002)等方法，来按多个区域检测运动，将该运动作为在各个像素位置的运动并利用。关于可靠程度的算出方法，可以利用上述P.ANANDAN的文献中记载的方法，并在利用块匹配(blockmatching)来进行运动检测的情况下，如公式10那样，也可以将Conf(x，y，t)作为可靠程度来利用，该Conf(x，y，t)是使各个块的像素值间的差的平方和的符号反过来的值，该值是，首先求对应于运动的各个块的像素值间的差，然后从该差的平方和可以达到的最大值SSD_max减去该差的平方和来获得的。此外，在对图像进行全局运动检测的情况下，或在按区域利用运动检测的情况下，也可以将conf(x，y，t)作为可靠程度来利用，该conf(x，y，t)是，首先求各像素位置的运动始点附近区域的像素值和运动终点附近区域的像素值的差，然后从该差的平方和可达到的最大值SSD_max减去该差的平方和来获得的。

公式10

$\mathrm{Conf}(x,y,t)={\mathrm{SSD}}_{\max }-\underset{i\⋐\mathrm{block}}{\mathrm{\Σ}}\underset{j\⋐\mathrm{block}}{\mathrm{\Σ}}{\{I(x+i,y+j,t)-I(x^{\′}+i,y^{\′}+j,t+1)\}}^2$

在公式10中的位置(x’，y’，t+1)是通过运动检测所得的像素位置，其相当于像素位置(x，y，t)的移动目的地。并且，公式10中的∑表示在块匹配时利用的块区域中进行的加法。

而在上述说明中，利用从高速图像输入部101a获得的图像进行了运动检测和可靠程度的计算，不过，也可以对从低速图像输入部101b获得的图像进行运动检测和可靠程度的计算，来进行同样的运动检测处理。

另外，也可以将用于检测摄影机器的姿态变化的传感器信息(输入到传感器输入部103c的信号)作为输入来利用。在此情况下，摄像装置10包括加速度传感器或角加速度传感器(angular accelerationsensor)，传感器输入部103c将速度或角速度作为加速度的乘积值来获得，使得运动分布算出部103a根据输入在传感器输入部103c的信息，能够获得因手部抖动等摄像机姿态变化而产生的整个图像运动的信息。例如，在将摄像机作为图像输入部101来利用的情况下，使其摄像机具备水平方向和垂直方向的角加速度传感器，从而根据其传感器的输出，能够获得水平方向和垂直方向的加速度，并可以将它作为各时刻的姿态测量值。用时间对加速度值进行积分，则能算出各时刻的角速度。摄像机在时刻t的水平方向的角速度为ωh、垂直方向的角速度为ωv的情况下，摄像机的角速度与时刻t的图像的二维运动(u，v)可以一对一地相对应，该二维运动的图像是在决定摄像机角度的摄像元件中(拍摄图像中)位置(x，y)上的图像。摄像机角速度与摄像元件中图像运动的对应关系一般可以由摄像机光学系统(透镜等)的特点(焦点距离或透镜畸变等)与摄像元件的配置或像素距离来决定。在实际算出该对应关系时，可以根据光学系统的特点和摄像元件的配置或像素距离，利用几何学或光学来进行算出并获得，或者可以预先将该对应关系作为表来存储，根据摄像机角速度ωh·ωv，来参照摄像元件中(x，y)的图像速度(u，v)。

这些利用传感器来获得的运动信息也可以与从图像获得的运动检测结果一起利用。在此情况下，可以采用这样一个方法，即：运动分布算出部103a主要利用传感器信息来对整个图像进行运动检测，而利用以图像获得的运动检测的结果来对图像内的对象进行运动检测。

其次，在步骤603中，运动限制指定部104c指定，由运动检测部103求出的运动检测的结果和所要生成的高速高分辨率动态图像的关系。根据图8(a)和图8(b)说明在低分辨率图像中求出的运动检测结果和高速高分辨率动态图像的关系。图8(a)和图8(b)分别表示高速图像中相邻的帧图像(帧编号t和t+1)。为了简单地说明，利用低分辨率图像中3像素×3像素的区域进行说明。在这里，将低分辨率图像的1像素进一步分成3像素×3像素的区域，该区域中表示高分辨率图像的像素。而在图8(a)和图8(b)中，只表示说明所需的高分辨率像素。在这里，运动检测部103进行了运动检测，而其结果，图8(a)的粗边线501所示的低分辨率像素位置对应于图8(b)所示的像素位置502(粗边线501中的图像移动到粗边线502的位置)。在这里，根据上述运动检测的方法，一般可以以小于像素大小的单位算出运动方向或运动大小。因此，如图8(b)所示，通过利用低分辨率图像的运动检测的结果，虽然高分辨率图像的像素的位置与低分辨率像素的位置不一致，但可以以高分辨率图像的像素为单位算出运动，并能获得针对高速高分辨率像素的公式11的关系。

在这里假定，对于粗边线(501、502)中的高速高分辨率动态图像的各个像素值，可以通过利用上述运动检测的结果，建立公式11所示的关系。

公式11

HH(x，y，t)＝HH(x+u(x，y，t)，y+v(x，y，t)，t+1)

在这里，u(x，y，t)和v(x，y，t)均表示检测结果，在图8(a)的黑色粗边线(501)中的位置(x，y，t)移动到图8(b)的黑粗边线(502)中的位置的情况下，其运动中向x方向的移动量设为u(x，y，t)，向y方向的移动量设为v(x，y，t)。在上述例子中，以高速低分辨率动态图像进行了运动检测，不过，也可以同样利用以低速高分辨率动态图像进行运动检测所得的结果。在利用高分辨率图像的情况下，用于进行运动检测的帧的时间间隔变大，反而在帧内使各个像素相对应的位置准确度提高。

其次，在步骤604中，限制控制部104b决定符合限制条件的强度的时空分布，指定针对限制指定部104e所要生成的高速高分辨率动态图像的综合性限制条件。以下，说明细节。限制指定部104e利用以下关系和限制来指定针对所要生成的高速高分辨率动态图像的综合性限制条件J(HH)，该关系和限制是指：如公式1、公式2分别所示的高速高分辨率动态图像与高速图像间的像素值关系以及高速高分辨率动态图像与低速图像间的像素值关系；如公式11所示的运动检测结果和高速高分辨率动态图像的关系；如公式4、公式5、公式6、公式7、公式9等所示的外部模型限制。在公式12表示综合性限制条件J的例子。

公式12

J＝|HL-HL′|²+|LH-LH′|²+Qs+Qm+Qse+Qte+Qpc

在公式12中，右边第一项是一种限制，表示高速低分辨率动态图像HL’和实际上输入到高速图像输入部101a的高速低分辨率动态图像HL的差(所对应的像素值间的差的平方和)，该高速低分辨率动态图像HL’是利用公式1来从高速高分辨率动态图像生成的图像；右边第二项是一种限制，表示低速高分辨率动态图像LH’和实际上输入到低速图像输入部101b的高速低分辨率动态图像LH的差(所对应的像素值间的差的平方和)，该低速高分辨率动态图像LH’是利用公式2来从高速高分辨率动态图像生成的图像。根据第一项的限制和第二项的限制，可以使所生成的图像和拍摄到的图像间的亮度值关系尽量满足上述公式1和公式2所示的关系，而且其是为了在所拍摄的图像和生成的图像间不容易产生亮度值矛盾的条件。

公式12右边的第三项是外部模型限制条件Qs，根据该限制，在利用公式4或公式5的条件的情况下，使所生成的图像中在时间和空间上相邻的像素的亮度值尽量相近。由此抑制生成在时间和空间上亮度微微变化的图像，例如抑制生成噪声图像等。公式12右边的第四项是根据运动检测的结果的限制条件Qm，公式13表示，为了在运动检测的结果和所生成的图像间不容易产生矛盾，而利用了运动检测的结果的限制例子。

公式13

$Q_m=\underset{x=0}{\overset{x_{\max }-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }-1}{\mathrm{\Σ}}}{\mathrm{\λ}}_m(x,y,t)\·{\{\mathrm{HH}(x+u(x,y,t),y+v(x,y,t),t+1)-\mathrm{HH}(x,y,t)\}}^2$

公式13中，利用高速高分辨率动态图像中相邻的帧间(t和t+1)的运动u和v来构成限制，不过，如公式14所示，也可以在隔一个以上的帧间进行运动检测，利用其结果u’和v’来设定限制条件。并且，也可以并用公式13和公式14所示的限制。

公式14

$Q_m=\underset{x=0}{\overset{x_{\max }-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }-2}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }-2}{\mathrm{\Σ}}}{\mathrm{\λ}}_m(x,y,t)\·{\{\mathrm{HH}(x+u^{\′}(x,y,t),y+v^{\′}(x,y,t),t+2)-\mathrm{HH}(x,y,t)\}}^2$

通过对不同间隔的帧进行运动检测，从而能够检测在只隔少数量的帧的情况下难以检测的慢速度运动等，并能将它反映到图像的生成。

公式12中右边的第五项是表示边缘的时间连续性的限制条件；公式12中右边的第六项是表示边缘的空间连续性的限制条件；公式12中右边的第七项是抑制从所生成的图像生成非主成分的限制条件。

在这里，λs、λm、λse、λte、λpc均是决定限制条件强度的时空分布的系数，该系数由限制控制部104b决定。将在步骤602由运动可靠程度分布算出部103b求出的运动检测的可靠程度设为conf(x，y，t)(＞0)，该值越大，运动检测的可靠程度也越高。

例如，通过以下方法决定λs、λm、λse、λte、λpc，即：预先给定常数α，在满足conf(x，y，t)＞α的情况下，例如设定为λm(x，y，t)＝1.0，也就是将运动限制设定为有效，并将其他限制条件设定为坐标(x，y，t)上预先所定的小值ε(＜1.0)，而在conf(x，y，t)＜＝α的情况下，设定为(x，y，t)＝0.0、其他λ＝1.0。即，在运动检测部103以块为单位进行运动检测时，算出运动检测的可靠程度conf(x，y，t)，该可靠程度是从各个块的像素值间的差的平方和可达到的最大值减去该差的平方和所得的值，上述块是将构成动态图像的各个图像分割来获得的；在图像合成部104，将其差大于预定的值α的块作为可靠程度高的图像区域，而其差小于或等于预定值α的块作为可靠程度低的图像区域，从而在可靠程度高的图像区域利用运动检测的结果来生成新的图像，而在可靠程度低的图像区域利用外部模型限制条件来生成新的图像。

另外，可以利用单调增加函数g(x)来对其他λ进行连续性定义，例如，定义为λm(x，y，t)＝g(conf(x，y，t))，并将其他λ在(x，y，t)的值定义为g(conf_max)-g(conf(x，y，t))。在这里，conf_max是可靠程度可达到的最大值。如此，在运动检测的可靠程度高时注重运动限制，而在可靠程度低时增加外部模型限制的比例，从而即使在不能正确进行运动检测的位置，也能抑制图像质量下降，而能提高时空分辨率。并且，在上述说明中同时利用了多个外部模型限制，不过，也可以进一步添加其他限制来利用，另外，即使只利用一部分限制，也能获得本发明的效果。

其次，在步骤605中，合成处理部104a求限制条件J为最小的高速高分辨率动态图像。关于限制条件J为最小的高速高分辨率动态图像的计算方法，例如可以解公式15所示的方程式来计算，或者也可以反复利用最陡坡法等来计算，上述公式15所示的方程式表示以高速高分辨率动态图像的各个像素值对限制条件J进行微分时成为0。最后，在步骤606中，合成处理部104a输出所生成的高速高分辨率图像。

公式15

$\frac{\∂J}{\∂\mathrm{HH}(x,y,t)}=0$

根据图9至图13，更具体地说明输入图像组和输出图像的例子。在这里，为了简单地说明，利用6像素×6像素×4帧的动态图像来进行说明。将这些动态图像可以看做更大的图像或帧数更多的动态图像的一部分。在这里，图9(a)至图9(d)表示可以以高速高分辨率来对拍摄对象进行拍摄的情况下的图像。图9(a)至图9(d)所示的图像是在实际上无法拍摄到的图像，不过，为了说明方便，在此表示。图9(a)至图9(d)中共4帧是按时间顺序排列的，其中表示静止的拍摄对象1401和移动的拍摄对象1402。对于这种拍摄对象，获得高速低分辨率动态图像和低速高分辨率动态图像(步骤601)。图10(a)至图10(d)表示这种拍摄对象的高速低分辨率动态图像的例子(表示高、宽的像素数量均为1/3的情况)。图10(a)至图10(d)是对应于图9(a)至图9(d)的拍摄时间的帧。在这里，以向左下方向的斜线表示既包含黑色像素又包含白色像素的中间像素值。帧数等于图9(a)至图9(d)所示的帧数，但其空间分辨率低于图9(a)至图9(d)。同样，图11表示这种拍摄对象的低速高分辨率动态图像的例子(表示帧数为1的情况)。空间分辨率等于图9(a)至图9(d)，但由于其曝光时间相当于图9(a)至图9(d)的帧所需的时间，因此拍摄了拍摄对象1402的移动轨迹。

其次，运动检测部103从高速低分辨率动态图像求图像中的拍摄对象的运动和运动可靠程度(步骤602)。由于图9(a)至图9(d)表示更大的图像的一部分，因此也可以对更大的图像进行运动检测，并从其结果获得关于图9(a)至图9(d)所示的图像区域的结果。

图12(a)至图12(d)表示可靠程度的分布的例子。图12(a)至图12(d)对应于图9(a)至图9(d)的拍摄时间。在图12(a)至图12(d)中，向右下方的斜线部分表示运动检测的可靠程度低的部分，其他区域(白色像素及黑色像素)表示运动检测的可靠程度高的部分。在这里，白色像素和黑色像素分别表示与拍摄对象的关系，而在可靠程度上没有任何差异。并且，对静止的拍摄对象和背景进行运动检测的情况下，其结果表示运动量为0。对于图9(a)至图9(d)所示的拍摄对象而言，在拍摄对象1402和拍摄对象1401这两个拍摄对象相互靠近的附近，难以进行正确的运动检测。限制控制部104b根据利用运动检测的结果设定的限制(步骤603)和位于运动的可靠程度低的位置的外部限制条件，设定综合性的限制条件(步骤604)，合成处理部104a利用该限制条件生成并输出高速高分辨率动态图像(步骤605、606)。

图13(a)至图13(d)表示所生成的图像的例子。图13(a)至图13(d)对应于图9(a)至图9(d)的拍摄时间。包含相互靠近的两个拍摄对象的帧图13(b)和图13(c)中，虽然像素值成为中间值，但可以获得相似于实际上无法获得的图9(a)至图9(d)所示的图像。图14(a)至图14(d)表示只利用运动检测的结果，而不利用运动可靠程度和外部限制条件的情况下生成的图像的例子。在不能正确进行运动检测的图14(b)和图14(c)中，帧图像的右上边没能正确生成图像。在图13(a)至图13(d)的结果中，由于在图13(b)和图13(c)的右上边区域不能正确进行运动检测，因此根据外部限制条件，利用了图像中与其他位置间或其他帧间的连续性(公式4、5等)，或利用了边缘的连续性(数6、7等)或者利用了动态图像主成分的倾向(数9等)，使得合成处理部104a能够生成高速高分辨率动态图像即理想的图像。

下面，根据图15至图22所示的图像，说明使低速高分辨率动态图像的曝光时间长于高速低分辨率动态图像的帧间隔来拍摄的效果。

图15(a)至图15(e)表示可以以高速高分辨率来对拍摄对象进行拍摄的情况下的图像。图15(a)至图15(e)所示的图像是在实际上无法拍摄到的图像，不过，为了说明方便，在此表示。图15(a)至图15(e)所示的5个帧是按时间顺序排列的所连续的帧，其中表示移动的拍摄对象A1。对于这种拍摄对象，图16(a)至图16(e)表示所拍摄的高速低分辨率动态图像，而图17(a)及图17(b)、图18(a)及图18(b)均表示所拍摄的低速高分辨率动态图像。图16(a)至图16(e)分别表示对应于图15(a)至图15(e)的时间的帧图像。图16(a)至图16(e)中，以与高分辨率图像相同的大小来表示低分辨率图像，其像素粗大则表示分辨率低。在这里，低速高分辨率图像的帧速率为高速低分辨率图像的四分之一，而图17(a)和图17(b)以及图18(a)和图18(b)分别对应于在图15(a)和图15(e)的时刻开始曝光的帧图像。图17(a)和图17(b)是原有的例子，表示使低速高分辨率图像的曝光时间短的情况下的帧图像。图18(a)和图18(b)是本发明所示的帧图像，表示使低速高分辨率图像的曝光时间长于高速低分辨率图像的帧速率来拍摄的帧图像。

图19至图22表示利用上述方法拍摄的图像并通过上述步骤来生成的图像的例子。在这里，图19(a)至图19(e)分别表示对应于图15(a)至图15(e)的时间的帧图像。并且，图20至图22中的斜线部分表示其区域的亮度是拍摄对象A1的亮度和背景的亮度的中间。图19(a)至图19(e)和图20(a)至图20(e)所示的图像均是利用图16(a)至图16(e)和图17(a)至图17(b)的输入图像来生成的例子，而图21(a)至图21(e)和图22(a)至图22(e)所示的图像均是利用图16(a)至图16(e)和图18(a)至图18(b)的输入图像来生成的例子。图19(a)至图19(e)表示不利用运动信息来生成的图像的例子，而图20(a)至图20(e)表示利用运动信息来生成的图像的例子。由于图19(a)和图19(e)以及图20(a)和图20(e)的时刻都分别与图17(a)和图17(b)的时刻相同，因此可以获得清晰的图像。而在图19(b)至图19(d)中，由于不利用运动信息，因此其是与图16(b)至图16(d)所示的高速低分辨率图像相同的低分辨率图像。

另外，在图20(b)至图20(d)中，离拍摄了低速高分辨率图像的帧越远，图像越不清晰，并在到了下一个拍摄了低速高分辨率图像的帧时，再次恢复到清晰的状态。之所以导致这种结果，是因为虽然必需利用从低分辨率高速图像获得的运动信息来提高图20(b)至图20(d)即所生成的图像的空间分辨率，但由于对低分辨率图像进行运动检测，因此运动检测的准确度不高，而且在运动检测中会产生不能避免的检测误差。这些运动检测的误差在各个帧中积累，从而逐步导致清晰度的下降。如此，在利用了如图17(a)和图17(b)所示的输入的情况下，当不能获得运动检测信息，或获得的信息不正确时，导致图20(b)至图20(d)表示的所生成的图像的清晰度逐渐下降，并且周期性地(在上述例子中，每周期为4帧)导致所生成的图像的清晰度很大变化，可能生成很不清晰的图像。低速高分辨率图像的帧间隔越长，此倾向越明显。在所获得的运动检测的准确度如高分辨率图像的分辨率的准确度那么正确，就不会导致上述问题，不过，因存在图像中拍摄对象形状的复杂变化、遮挡(occlusion)、照明变化等，而实际上难以从低分辨率图像检测高准确度的运动。

图21(a)至图21(e)表示不利用运动信息来生成的图像的例子，而图22(a)至图22(e)表示利用运动信息来生成的图像的例子。虽然图21(a)至图21(e)的清晰度比图15(a)至图15(e)或图17(a)至图17(b)的图像的清晰度稍微降低，但不会产生如图20(d)那么明显的清晰度的降低。并且，抑制了随时间产生的清晰度的变化，而可以减少因清晰度随时间变化所带来的图像质量降低的现象。而且，图22(a)至图22(e)中利用运动信息，因此与图21(a)至图21(e)相比，其清晰度进一步提高。

如此，根据以往的图像生成方法，通过使高速低分辨率图像和低速高分辨率图像的曝光时间均为短、控制抖动，来清晰地拍摄各个图像，但从要使所生成的图像的质量稳定、将突然发生的图像的变化适当地反映到所要生成的图像上的观点来看，该技术不一定是最佳的技术。

本发明的图像生成方法不同于以往的方法，其要点在于，为了提高所要生成的高速高分辨率图像的清晰度、且控制帧间的清晰度变化，通过会产生抖动的长时间拍摄来获得低速高分辨率图像，并利用该所获得的图像来生成图像。

由此，即使在不进行运动检测的情况下，也可以控制各个帧的画质变化，并且通过添加图像的运动信息，能够提高图像的清晰度。而且，根据运动检测的可靠程度，只利用可靠程度高的运动信息，从而能够控制因错误运动信息而产生的画质的降低。

再者，关于长时间曝光的曝光时间，在低速图像的帧间开放的情况下，能容易获得效果。实际上，因像素值的读取等，而在结束曝光后到开始下一个帧的曝光之前会产生不曝光时间。即使在产生了这种现状的情况下，也通过尽量使曝光时间为长，从而能够获得本发明的效果。

再者，关于是否利用长时间拍摄来生成了图像，可以通过以下方法判断，即：在图17(a)与图17(b)间发生了高分辨率且突然的图像变化的情况下，确认所生成的图像中是否包括其变化。

以下，举具体的例子说明通过长时间曝光可以获得独特的效果的状况。

在拍摄对象黑暗，且在图像内移动的情况下，如果像以往的例子那样，利用短时间曝光来拍摄了低速高分辨率图像的话，就获得噪声多的图像。而在要生成高速高分辨率图像的情况下，也受上述噪声的影响，导致降低所生成的图像的质量。由于一般高分辨率图像的摄像元件的受光部面积小，因此如果曝光时间短，就导致光量不足，突出摄像元件本身生成的热噪声，从而导致上述结果。

于是，如本发明这样，对低速高分辨率图像进行长时间曝光，就能够在高分辨率图像的摄像元件的受光部存储足够的光量，从而能获得从摄像元件本身生成的热噪声所受影响相对较小的图像。利用该图像和从高速低分辨率图像(与高分辨率图像相比，受光部的面积相对较大，因此不容易受热噪声的影响)获得的亮度或运动信息来生成高速高分辨率图像，从而即使在拍摄对象黑暗且移动的情况下，也容易获得噪声少的图像，即能获得独特的效果。

在上述例子中，图像合成部104只是输出所生成的图像，不过，也可以在输出所生成的图像的同时，输出图像生成的可靠程度。图像生成的可靠程度γ是预测所生成的图像的高速高分辨化的准确程度的值。在决定γ的情况下，可以利用下述公式16所示的运动的可靠程度的总和

或比率N/M等，该N是有效的限制条件的数量，该M是所要生成的动态图像的总象素数量(＝帧数×1帧图像的像素数量)。

公式16

$\mathrm{\γ}=\underset{x=0}{\overset{X\max }{\mathrm{\Σ}}}\underset{y=0}{\overset{Y\max }{\mathrm{\Σ}}}\underset{t=0}{\overset{T\max }{\mathrm{\Σ}}}\mathrm{conf}(x,y,t)$

在这里，N＝Nh+Nl+Nλ×C、Nh是高速图像的总像素数量(帧数×1帧图像的像素数量)、Nl是低速图像的总像素数量、Nλ是使外部限制条件有效的时空位置(x，y，t)的总数、20是外部限制种类的数量。再者，在解公式15等联立线性方程式的情况下，可以将在Cline，A.K.，Moler，C.B.，Stewart，G.W.and Wilkinson，J.H.，”An Estimatefor the Condition Number of a Matrix”，SIAM J.Num.Anal.16(1979)，368-375.等中记载的条件数作为可靠程度来利用，该可靠程度表示求出解的稳定程度。在运动的可靠程度高的情况下，利用运动限制生成的图像的信任度也会高。并且，与所要生成的动态图像的总像素数量相比，有效限制条件较多的情况下，能够稳定地获得解即所要生成的图像，而且所生成的图像的可靠程度也会高。同样，由于即使在上述条件数量为少的情况下，解的误差也会小，因此所生成的图像的可靠程度也会高。

如此，通过输出所生成的图像的可靠程度，在对输出的运动图像进行以MPEG等的压缩编码时，在可靠程度低的情况下，就能提高压缩率，而在可靠程度高的情况下，就能将压缩率设定为低，从而能够设定适当的压缩率。例如，将所生成的图像的可靠程度γ和编码压缩率δ的关系设定为如图23所示的单调增加关系，以与所生成的动态图像的可靠程度γ值相对应的压缩率δ进行编码。在所生成的图像的可靠程度γ低的情况下，由于所生成的图像可能包括误差，因此即使提高压缩率，也实际上不会产生很大的信息失真，从而能有效地削减数据量。在这里，压缩率是指编码后的数据量相对应于原来图像数据量的比例，压缩率越高(值越大)，编码后的数据量越小，而解码后的画质下降。

同样，在利用MPEG等的情况下，优先将上述可靠程度高的帧作为I图片等帧内编码的对象，并将其他帧作为帧间编码的对象，从而能够提高对动态图像进行快进播放或暂停等时的画质。例如，按帧预先求出上述所生成的图像的可靠程度，将它设为γ(t)。t是帧时刻。在从所连续的多个帧中选择进行帧内编码的帧时，从γ(t)比预定的阈值γth大的帧中选择帧，或从预定的连续帧区间中选择γ(t)最大的帧。

再者，无论是否对所输出的动态图像进行编码，都可以获得本发明的效果。

并且，在上述例子中，只将单一亮度作为像素值的前提下进行了说明，不过，也可以对RGB颜色中R、G、B各成分分别进行与对亮度的上述处理相同的处理，来获得高速高分辨率动态图像，从而对于彩色图像也能够生成高速高分辨率动态图像。另外，为了更简易处理颜色信息，采用以下方法也可以获得效果，即：将低速图像分解为亮度和色差，通过上述处理只将灰度图像高速高分辨率化，而对色差信息进行插值放大，并将它添加给上述高速高分辨率灰度图像。在此情况下，由于亮度包括图像信息的主成分，因此即使在对其他色差信息进行了插值放大的情况下，也通过合成亮度和色差，来能够获得比所输入的图像更高速高分辨率的动态图像，从而与对RGB分别进行处理的情况相比，能够削减处理量。

图24表示对这种彩色图像进行处理的顺序。在步骤2101中，将高速低分辨率动态图像分解为灰度图像和色差图像，接着在步骤2102中利用上述灰度图像和低速高分辨率动态图像的灰度图像，根据图3的顺序生成高速高分辨率动态图像。在步骤2103中，对上述色差图像进行插值放大，使其像素数量为与高分辨率图像相同。在步骤2104中，合成上述所生成的灰度图像和上述所插值放大的色差图像，生成高速高分辨率的彩色图像。如此，图像合成部104从高速低分辨率动态图像抽出色差信息，以高速低分辨率动态图像的亮度信息和低速高分辨率动态图像生成未完成的新动态图像，并将色差信息添加到所生成的未完成的动态图像来最终生成新的动态图像，从而能以少处理量来合成彩色动态图像。

如上所述，根据本实施方式涉及的图像生成系统100，按照运动检测部103求出的运动可靠程度，限制控制部104b决定使外部模型限制条件和运动限制条件有效的程度，并利用上述限制条件来合成高速图像和低速图像，从而即使在不能进行运动检测的情况下，或在运动检测的准确度低的图像区域中，也能够获得高速高分辨率动态图像。

再者，在本实施方式中说明了统一处理整个动态图像的例子，不过，也可以采用以下方法，即：在时间和空间上将动态图像分为多个区域，在上述各个区域进行与上述同样的处理来生成高速高分辨率动态图像的一部分，然后在时间和空间上合成上述各个动态图像的部分，从而获得整个高速高分辨率动态图像。如此，通过在时间和空间上进行分割处理，从而能够控制对像素数量多的图像或帧数多的动态图像进行处理所需的计算处理量和存储容量。尤其是，通过在时间方向分割动态图像，能够缩短因对以前输入的多个帧的统一处理而延长的时间。

并且，在通过上述方法进行分割处理时，可以设定各个区域，以使相邻的时空区域在分割边界的附近相重叠。图25表示在空间上使区域相重叠而分割的例子。图25中，使图像在空间上持有重叠区域，并分成区域701至704这四个区域。在生成了相当于各个区域的动态图像后，对相重叠的各个区域的像素值进行加权平均，来能够使重叠部分平滑地接合。并且，也可以在时间方向使区域相重叠，而与图25同样，进行区域的分割。如此，使区域的一部分相重叠，从而能够控制在对区域进行分割处理的结果，导致在相邻的区域不连续的现象。

再者，在允许这种重叠的分割处理中，预先决定重叠区域的大小。通过使重叠区域的大小成为大，从而在降低针对区域间的处理结果的不连续性方面，可以得到更高的效果。如果将重叠区域的大小成为小，则能控制因重叠而增加的计算量。

另外，在通过上述方法分割区域时，对于在时间方向的区域边界而言，也可以采用这种方法：预先算出动态图像的帧间的图像变化，而在帧间的图像变化大于预定基准的帧间设定时间上的区域边界。例如，将公式17中的SSD(t)定义为相邻的帧图像间的差，在满足SSD(t)＞th的情况下，在时刻t的帧和在时刻t+1的帧之间设进行处理的边界，而将在时刻t以前的序列和在时刻t+1以后的序列分割来进行处理。

公式17

$\mathrm{SSD}\left(t\right)=\underset{x=0}{\overset{X\max }{\mathrm{\Σ}}}\underset{y=0}{\overset{Y\max }{\mathrm{\Σ}}}{\{I(x,y,t)-I(x,y,t+1)\}}^2$

在这里，I(x，y，t)表示在时刻t的帧图像中的位置(x，y)的亮度，th是预定的阈值。另外，也可以将在要设定处理边界的时间区域的序列中上述SSD(t)为最大的时刻t作为处理边界，以代替根据阈值th来确定处理边界。通过这种方法，与帧间的图像变化相比，在时间上相邻的区域间的处理结果的不连续性相对变小，从而有望得出不易知觉不连续性的效果。

再者，在上述例子中说明了生成帧速率等于高速低分辨率图像、且像素数量等于低速高分辨率图像的图像，不过，通过同样的处理，也可以生成帧速率比高速低分辨率图像更高、像素数量比低速高分辨率图像更多的图像。

例如，在生成帧速率为高速低分辨率图像的n倍(例如2倍)的图像的情况下，代替公式1和公式2，利用公式18和公式19进行同样的处理即可。

公式18

$\mathrm{HL}(x_L,y_L,t_{\mathrm{HL}})=\underset{t=0}{\overset{1}{\mathrm{\Σ}}}\underset{x=0}{\overset{2}{\mathrm{\Σ}}}\underset{y=0}{\overset{2}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

公式19

$\mathrm{LH}(x,y,t_L)=\underset{t=0}{\overset{7}{\mathrm{\Σ}}}G\left(t\right)\·\mathrm{HH}(x,y,t)$

在这里，x、y、t表示所要生成的图像的xy坐标和帧编号，t_L表示低速高分辨率图像的帧编号，x_L、y_L、t_HL表示高速低分辨率图像的xy坐标和帧编号。

与公式1相同，公式18表示在空间方向(xy方向)将HH图像相加，且在时间方向将2帧相加，以获得高速低分辨率图像的像素值。公式19与公式2相比，帧的相加数量为2倍。

关于运动检测，对高速低分辨率图像进行运动检测的结果获得运动的xy方向大小和运动检测的可靠程度u(x_L，y_L，t_HL)、v(x_L，y_L，t_HL)以及conf(x_L，y_L，t_HL)，并利用这些生成u(x，y，t)、v(x，y，t)、conf(x，y，t)。

在这里，u(x，y，t)、v(x，y，t)以及conf(x，y，t)分别是在时间方向将u(x_L，y_L，t_HL)、v(x_L，y_L，t_HL)以及conf(x_L，y_L，t_HL)放大n倍(例如2倍)、且在空间方向将这些放大m倍(例如3倍)而算出的，这种放大叫做时空插值放大。

尤其是，在以像素数量表示u(x，y，t)和v(x，y，t)的值的情况下，可以将通过对u(x_L，y_L，t_HL)和v(x_L，y_L，t_HL)进行时空插值放大而得的值再放大m/n倍，并利用该所放大的值。之所以采用这种方法，是因为在假设拍摄对象进行等速运动的情况下，由于帧间隔为1/n倍，拍摄对象的运动大小则为1/n倍，而且，由于1帧的像素数量的xy方向均为m倍，则表现相同大小的运动所需的值也为m倍。

并且，在生成高宽均具有低速高分辨率图像的n’倍(例如2倍)的像素数量的图像的情况下，可以代替公式1和公式2，利用公式20和公式21来进行同样的处理。

公式20

$\mathrm{HL}(x_L,y_L,t)=\underset{x=0}{\overset{5}{\mathrm{\Σ}}}\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

公式21

$\mathrm{HL}(x_{\mathrm{LH}},y_{\mathrm{LH}},t_L)=\underset{t=0}{\overset{3}{\mathrm{\Σ}}}\{G\left(t\right)\·\underset{x=0}{\overset{1}{\mathrm{\Σ}}}\underset{y=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)\}$

在这里，x、y表示所要生成的图像的像素的xy坐标，x_LH和y_LH表示低速高分辨率图像的像素的xy坐标，x_L和y_L表示高速低分辨率图像的像素的xy坐标。与公式1相比，在公式20中，xy方向的像素的相加数均为2倍。公式21表示，除了与公式2相同的时间方向的相加运算之外，还进行xy方向的相加运算，从而获得低速高分辨率的像素值。

关于运动检测，对高速低分辨率图像进行运动检测的结果获得运动的xy方向大小和运动检测的可靠程度u(x_L，y_L，t)、v(x_L，y_L，t)以及conf(x_L，y_L，t)，并利用这些生成u(x，y，t)、v(x，y，t)、conf(x，y，t)。

在这里，conf(x，y，t)、u(x，y，t)以及v(x，y，t)均是在空间方向将conf(x_L，y_L，t)、u(x_L，y_L，t)以及v(x_L，y_L，t)放大n’×m倍而算出的，这种放大叫做空间插值放大。

尤其是，在以像素数量表示u(x，y，t)和v(x，y，t)的值的情况下，可以将通过对u(x_L，y_L，t)和v(x_L，y_L，t)进行空间插值放大而得的值再放大n’×m倍，并利用该所放大的值。之所以采用这种方法，是因为，对于1帧的象像素数量而言，由于xy方向均为n’×m倍，则表现相同大小的运动所需的值也为n’×m倍。

并且，通过将利用上述公式18、公式19的处理和利用公式20、公式21的处理相组合，从而能够容易生成帧速率比高速低分辨率图像更高、且像素数量比低速高分辨率图像更大的图像。

以上，根据实施方式说明了本发明涉及的图像生成装置，不过，本发明不限于此实施方式。本发明还包括同行普通技术人员会想像得到的实施方式的变形例。

并且，也可以使专用机器进行本发明涉及的图像生成装置进行的图像生成处理的一部分或全部，另外，也可以由计算机终端装置、或配置在基站等的通信机器、或者内置在独立的计算机的中央处理器来执行图像生成处理程序，从而进行图像生成处理。

另外，也可以利用图1所示的图像生成系统100中除显示装置40之外的结构，来将本发明实现为图26所示的摄像机300，即实现为独立的装置。

而且，也可以在图26所示的摄像机300上添加显示装置40，从而将本发明实现为具有动态图像的刻录和再生功能的摄像机。

此外，也可以利用图2所示的图像生成系统100中除摄像装置10之外的结构，来将本发明实现为图27所示的电视机等的显示器400。在此情况下，能够提高预先刻录的动态图像的时空分辨率来进行显示。

(第二实施方式)

本发明的第二实施方式是将上述图像生成装置适用于时空相位不同的多个动态图像的一例，上述图像输入单元也可以接收不同的多个动态图像，并将它作为时空相位不同的多个动态图像，该不同的多个动态图像是通过在多个帧上连续出现一种场图像而构成的，该一种场图像是多种场图像中的一种，该多种场图像按不同时刻分别表示原动态图像的帧图像中的多个部分；上述图像合成单元生成由以下帧图像构成的新的动态图像，该帧图像是指，帧速率等于上述原动态图像的场速率、且分辨率等于上述原帧图像的分辨率的帧图像。

由此，通过第一实施方式所述的处理，合成分辨率低于原帧图像的场图像，从而可以获得高分辨率且高速率的新的动态图像，该新的动态图像以场的时间速率包括分辨率等于原帧图像的分辨率的帧图像。

并且，使上述场图像的曝光时间长于在时间上相邻的各帧之间的时间间隔来进行拍摄，从而能够获得更多的信息。

以下，根据附图详细说明本发明的第二实施方式涉及的图像生成系统。

图28表示第二实施方式涉及的图像生成装置的结构。基本结构与第一实施方式相同，不过，不同之处是，图像输入部101由多隔行扫描图像输入部101c构成。

多隔行扫描图像输入部101c将1帧的图像作为1:n隔行扫描图像(n是2以上的整数)来获得，并输入拍摄像素位置和拍摄时刻不同的n种场图像(时空相位不同的多个动态图像)。

根据图29、图22、图23、图24、图25说明不同场图像的拍摄方法的例子。图29和图30是表示在n＝3的情况下拍摄各场图像的一部分的时序图。图中横轴的数字表示场编号，对应于拍摄时刻。图中纵轴表示图像的纵轴(水平线的数量)。i是0以上的任意整数，表示水平线在图像中的位置。

图中矩形表示在各像素位置的曝光时间，在n＝3的情况下，以白色矩形、方格花纹矩形、斜线矩形分别表现拍摄的水平线位置和时刻分别不同的三种场图像。在此情况下，将1帧图像分为不同水平线位置，并在不同时刻拍摄，从而获得多个场图像。各场图像的横方向即各个水平线是同时拍摄的。

在这里，各场图像的曝光时间不一定要比相邻的场之间的时间间隔短(图30表示曝光时间短)，而也可以为如图29所示那么长。如此，在进行了长时间的曝光的情况下，也能获得拍摄对象的亮度变化的信息，而能够生成有效利用上述信息的高分辨率图像。

图31、图32是表示在n＝4的情况下拍摄4种场图像(白色矩形、方格花纹矩形、斜线矩形、竖条纹矩形)的时序图。图31与图32相比，各个线的拍摄顺序相互不同。即，不一定要如图31那样对相邻的水平线依次进行拍摄，而优选的是，如图32所示，将所拍摄的水平线分散到时间和空间上来配置。

图33表示在n＝4的情况下，且在对于图像的横方向(图中的X轴方向)也改变了拍摄位置和拍摄时刻的情况下的各场图像的拍摄位置(各矩形表示像素位置)和拍摄时序(矩形的花纹不同)。图中，与图31和图32同样，四种像素的拍摄时序在时间上相互不同，而在时间上，拍摄图像分散到图像的纵方向(图中的Y轴方向)和横方向来配置。

在要输入上述多隔行扫描图像的情况下，由于不同场可以在不同时刻获得像素值，因此即使像素的读出速度等于通常的逐行扫描拍摄方法等的情况下，也能输入包括更多的像素的图像。

其次，公式22至公式24表示在利用了上述图像输入(n＝3)的情况下的输入像素值(在这里指亮度值)和高速高分辨率图像的像素值的关系。与第一实施方式的公式1和公式2同样，公式22至公式24的关系作为高速高分辨率动态图像的各像素应该满足的外部模型限制条件，用于生成图像。

公式22

$\mathrm{MI}1(x,y,t1)=\underset{t=3\×t1}{\overset{3\×t1+2}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

公式23

$\mathrm{MI}2(x,y,t2)=\underset{t=3\×t2+1}{\overset{3\×t2+3}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

公式24

$\mathrm{MI}3(x,y,t3)=\underset{t=3\×t3+2}{\overset{3\×t3+4}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

在这里，与第一实施方式同样，HH(X，Y，t)表示在高速高分辨率图像的像素位置(X，Y，t)的像素值。在此，将高速高分辨率图像的像素数量作为所有场图像的像素数量的总合(＝1种场图像的像素数量×n)，并将高速高分辨率图像的帧间隔作为在时间上相邻的场图像之间的时间间隔。

图34表示对应于图29和图30的高速高分辨率图像的各帧的像素配置的例子。图34中白色矩形表示各帧的像素位置。MI1(X，Y，t1)表示第一场图像的像素位置(X，Y，t1)的像素值，公式22表示曝光了3场。关于MI2(X，Y，t1)和MI3(X，Y，t1)也同样。

在这里，各图像的像素值与拍摄时的进光量成正比例关系，其比例常数也是通用的。在不成正比例关系的情况下的校正与第一实施方式相同。另外，关于RGB颜色值也可以与亮度值同样处理。在输入了图像之后的处理与第一实施方式相同。

根据图35说明本实施方式的工作。主要工作与第一实施方式相同，不过，输入图像的第一个步骤2701中读入像素位置及拍摄时序不同的n种隔行扫描图像。在这里，图36(a)至图36(f)中表示拍摄对象(换言之，实际上应该生成的高速高分辨率图像)的例子。在图36(a)至图36(f)中，按时间顺序，以12像素×12像素来表示6帧图像，图中存在静止的黑色矩形2801和移动到右下方向的黑色矩形2802。

图37(a)、图37(b)、图38(a)、图38(b)、图39(a)、图39(b)均表示隔行扫描图像的例子，该隔行扫描图像是在利用图29所示的n＝3的拍摄方法，拍摄了图36(a)至图36(f)所示的拍摄对象的情况下获得的图像。图37(a)和图37(b)是在图29的白色矩形的拍摄位置和拍摄时序对图36(a)至图36(f)所示的拍摄对象进行拍摄而得的结果，图中行间的空白部分示出像素相离的位置。像素数量是高4像素、宽12像素，并且，图37(a)是拍摄了图36(a)至图36(f)所示的第一帧至第三帧的结果，以斜线表示因黑色矩形的移动而抖动的位置的像素。同样，图37(b)是通过拍摄了第4帧至第6帧之间而得的结果。

与图37(a)和图37(b)同样，图38(a)和图38(b)表示在图29所示的方格花纹矩形的拍摄位置、拍摄时序获得的两张场图像，图39(a)和图39(b)表示在图29所示的斜线矩形的拍摄位置、拍摄时序获得的两张场图像。

下面，在步骤2702中，根据图38(a)和图38(b)、图39(a)和图39(b)、图40(a)至图40(f)所示的图像，按必要进行插值处理，求出未拍摄的位置或时刻的像素值，从而获得高速高分辨率图像。

在图29所示的拍摄方法中，进行相当于高速高分辨率图像的3帧时间的曝光，因此不存在未拍摄时间，不过，在利用了图30所示的拍摄方法的情况下，存在未拍摄的位置和未拍摄的时刻。

图42(a)和图42(b)、图43(a)和图43(b)、图44(a)和图44(b)均表示在利用图30所示的拍摄方法的情况下获得的隔行扫描图像的例子。与图37(a)和图37(b)、图38(a)和图38(b)、图39(a)和图39(b)所示的隔行扫描图像相比，虽然其中不存在抖动的像素，但在未拍摄时刻的信息却没有反映到像素值。

因此，利用普通的图像插值方法(双三次插值算法等)，根据已经获得的像素值计算在未拍摄位置、未拍摄时刻的像素值。关于插值方法，也可以采用其他方法，例如，根据在第一实施方式中说明的图像生成方法，只利用除运动信息(利用运动检测的限制条件)之外的其他限制条件进行图像的生成，来获得插值图像。

另外，即使利用图29所示的拍摄方法而获得不存在未拍摄位置的图像的情况下，也可以利用第一实施方式的图像生成方法来进行图像的生成。这样，就能够利用限制条件来将包含抖动的图像变换为更理想的图像，会提高下一个步骤中进行的运动检测的准确度。

而在上述说明了在步骤2702中生成了插值图像后进行运动检测并算出运动检测的可靠程度的例子，不过，即使利用生成插值图像前的图像来进行运动检测并算出运动检测的可靠程度，也可以获得与上述例子相同的本发明的效果。

下面，利用不存在未拍摄位置的图像进行运动检测并算出运动的可靠程度(步骤2703)。从步骤2703至步骤2704的处理与第一实施方式相同(参照图3中步骤602和步骤603)。

接着，设定针对所要生成的高速高分辨率动态图像的综合性的限制条件J(HH)(步骤2705)。公式25表示本实施方式的综合性的限制条件J的例子。

J＝|MI1-MI1′|²+|MI2-MI2′|²+|MI3-MI3′|²+Qs+Qm+Qse+Qte+Qpc

在公式25的右边中，第一项表示一种限制，示出隔行扫描图像MI1’和隔行扫描图像MI1的差(所对应的像素值的差的平方和)，该隔行扫描图像MI1’是利用公式22来从高速高分辨率动态图像生成的图像，该隔行扫描图像MI1是实际上输入到多隔行扫描图像输入部101c的图像。

第二项表示一种限制，示出隔行扫描图像MI2’和隔行扫描图像MI2的差，该隔行扫描图像MI2’是利用公式23来从高速高分辨率动态图像生成的图像，该隔行扫描图像MI2是实际上输入到多隔行扫描图像输入部101c的图像。

第三项表示一种限制，示出隔行扫描图像MI3’和隔行扫描图像MI3的差，该隔行扫描图像MI3’是利用公式24来从高速高分辨率动态图像生成的图像，该隔行扫描图像MI3是实际上输入到多隔行扫描图像输入部101c的图像。

根据第一项至第三项所示的限制，可以使所生成的图像和拍摄到的图像间的亮度值的关系尽量满足上述公式22至公式24间的关系，而且其是为了在所拍摄的图像和生成的图像间不容易产生亮度值矛盾的条件。公式25中右边的第四项与第一实施方式的公式12相同。

之后的步骤2706及步骤2707分别与第一实施方式的图3中步骤605和步骤606相同。

图40(a)至图40(f)及图41(a)至图40(f)表示生成的图像的例子。在这里，图40(a)至图40(f)是不利用运动检测的可靠程度的情况下获得的结果的例子，图41(a)至图40(f)是在利用运动检测的可靠程度的情况下获得的结果的例子。

与第一实施方式相同，图36(a)至图36(f)中，一般在两个黑色矩形相互靠近的附近难以进行动检测，而容易产生运动检测错误的现象。因此，在各场图像中上述两个矩形相互靠近的附近，运动检测的可靠程度成为低。

在这里，不利用运动检测的可靠程度来生成图像的情况下，导致在矩形相互靠近的附近进行错误的运动检测来生成图像，获得图40(a)至图40(f)所示的图像。而在利用运动检测的可靠程度，在矩形相互靠近的附近不注重运动检测的结果，并优先利用其他高速条件的情况下，可以获得图41(a)至图40(f)所示的结果，能够获得理想的图像。

如此，即使在进行了本实施方式所示的图像输入的情况下，也通过在利用运动检测的结果时根据运动检测的可靠程度来设定限制条件，从而能够获得高速高分辨率的动态图像，该高速高分辨率动态图像是在难以进行运动检测的位置也可以获得的。

并且，根据第二实施方式的结构，只要变更一般的摄像元件读出像素值的顺序、或时序、或曝光形式，就能构成输入部，从而可以使时空分辨率高于一般的摄像元件的拍摄图像的时空分辨率。

而在权利要求和实施方式中的构成要件的对应关系如下。即，权利要求的“图像输入单元”、“运动检测单元”、“外部模型限制单元”、“图像合成单元”的一个例子分别是实施方式中的图像输入部101、运动检测部103、外部模型限制部104d、图像合成部104。然而，权利要求中的各构成要件不限于实施方式中的所对应的这些构成要件，而还包括相当于这些的其他要素。

本发明可以用于利用多个动态图像来生成新的动态图像的图像生成装置，尤其可以用于利用高速低分辨率动态图像和低速高分辨率动态图像来生成高速高分辨率动态图像的图像生成装置、装载这种装置的图像机器或系统、图像合成装置、图像编辑装置、图像复原装置以及图像复原程序等。

Claims (12)

1、一种图像生成装置，利用对同一事物进行拍摄而得的多个动态图像，来生成表示上述事物的新的动态图像，其特征在于，包括：

图像输入单元，接收第一动态图像和第二动态图像，该第二动态图像是通过拍摄第一动态图像的拍摄对象而得的图像，该第二动态图像的分辨率高于上述第一动态图像的分辨率，且该第二动态图像的各个帧是通过长时间曝光来获得的，该曝光的时间长于上述第一动态图像的一个帧所需的时间；以及

图像合成单元，利用上述第一动态图像和上述第二动态图像，并通过减少上述第二动态图像的帧与新的动态图像的多个帧的平均值间产生的误差，从而生成新的动态图像，该新的动态图像的帧速率高于或等于上述第一动态图像的帧速率，该新的动态图像的分辨率高于或等于上述第二动态图像的分辨率，上述新的动态图像的多个帧对应于上述第二动态图像的帧的曝光时间。

2、如权利要求1所述的图像生成装置，其特征在于，

上述第二动态图像的帧是通过进行帧间的开放曝光来获得的。

3、如权利要求1所述的图像生成装置，其特征在于，

还包括限制单元，指定所要生成的新的动态图像的像素值应该满足的限制条件，该限制条件是根据像素值的连续性指定的，该像素值是在时间和空间上相邻的像素的值；

上述图像合成单元在维持所指定的上述限制条件的状态下，生成上述新的动态图像。

4、如权利要求1所述的图像生成装置，其特征在于，

还包括：

运动检测单元，至少利用上述图像输入单元接收的多个动态图像中的一个图像，检测拍摄对象的运动；以及

限制单元，指定所要生成的新的动态图像的像素值应该满足的限制条件，该限制条件是根据上述运动检测的结果指定的；

上述图像合成单元在维持所指定的上述限制条件的状态下，生成上述新的动态图像。

5、如权利要求4所述的图像生成装置，其特征在于，

上述运动检测单元算出上述运动检测的可靠程度；

上述图像合成单元，在由上述运动检测单元算出的可靠程度高的图像区域，利用根据上述运动检测的结果指定的限制条件，来生成新的图像；而在上述可靠程度低的图像区域，利用除根据上述运动检测的结果指定的限制条件之外的预定限制条件，来生成上述新的动态图像。

6、如权利要求5所述的图像生成装置，其特征在于，

上述运动检测单元以块为单位进行运动检测，算出可靠程度，该块是通过对构成上述动态图像的各图像进行分割而得的，上述可靠程度是通过将各块间的像素值差的平方和的符号反过来而得的值；

上述图像合成单元，将上述可靠程度高于预定值的块设为可靠程度高的图像区域，将上述可靠程度低于预定值的块设为可靠程度低的图像区域，来生成上述新的动态图像。

7、如权利要求4所述的图像生成装置，其特征在于，

上述运动检测单元还包括姿态传感器输入部，接收来自姿态传感器的信号，该姿态传感器检测对拍摄对象进行拍摄的摄像装置的姿态，并且，上述运动检测单元利用上述姿态传感器输入部收到的信号，来检测上述运动。

8、如权利要求1所述的图像生成装置，其特征在于，

上述图像合成单元从上述第一动态图像抽出色差信息，利用从上述第一动态图像获得的亮度信息和上述第二动态图像，来生成未完成的新的动态图像，并给生成的未完成的动态图像添加上述色差信息，从而生成最终的上述新的动态图像。

9、如权利要求1所述的图像生成装置，其特征在于，

上述图像合成单元按时间至少算出上述多个动态图像中的一个图像的变化量，并将算出的变化量超过预定值的时刻设为要生成图像时的边界，来生成新的动态图像。

10、如权利要求1所述的图像生成装置，其特征在于，

上述图像合成单元还算出一种值，将该算出的值与上述新的动态图像一起输出，该值表示生成的上述新的动态图像的可靠程度。

11、一种图像生成方法，利用多个动态图像生成新的动态图像，其特征在于，包括：

图像输入步骤，接收第一动态图像和第二动态图像，该第二动态图像的分辨率高于上述第一动态图像的分辨率，该第二动态图像的一个帧是通过曝光来获得的，该曝光的时间相当于上述第一动态图像的多个帧所需的时间；

图像合成步骤，通过减少上述第二动态图像的帧与新的动态图像的多个帧的平均值间产生的误差，从而生成新的动态图像，该新的动态图像的帧速率高于或等于上述第一动态图像的帧速率，该新的动态图像的分辨率高于或等于上述第二动态图像的分辨率，上述新的动态图像的多个帧对应于上述第二动态图像的帧的曝光时间。

12、一种程序，利用多个动态图像来生成新的动态图像，其特征在于，

使计算机执行权利要求11所述的图像生成方法包括的步骤。

Images