CN101889452B - 图像生成装置及图像生成方法 - Google Patents

Abstract

一种图像生成装置，根据各颜色成分的输入运动图像生成感知上良好的彩色的目的运动图像，并且在取得输入运动图像时不易发生传送速度的不足，具备：图像输入部(101)，取得对上述不同的颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；以及图像综合处理部(103)，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于该帧图像的期间中包含的上述目的运动图像的多个帧图像的合计的差减少，从而生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像。

Description

图像生成装置及图像生成方法

技术领域

本发明涉及生成运动图像的图像生成装置，特别涉及由多个运动图像生成画质比上述运动图像好的新的运动图像的图像生成装置。 

背景技术

随着数字摄像设备的发展，能够以较低的成本拍摄高析像度的静止图像。但是，一边保持与这样的高析像度的静止图像同等的析像度一边拍摄平滑地运动的高速的(例如30～60帧/秒左右或其以上的较高的帧速率的)运动图像依然较困难。 

这在高速且高析像度的拍摄中，每单位时间得到的图像的信息量变得庞大，所以摄像设备内的图像信息的传送速度变得不足。传送速度的问题例如可以通过使用利用能够并行传送图像信息的特殊的摄像设备的摄像装置来解决，但这样的摄像装置较昂贵，还产生需要进行摄像设备的特性的调节的别的问题。 

以往，作为由受限制的信息量的运动图像得到高速且高析像度的(即时空析像度较高的)运动图像的图像生成方法，已知有使用由高速低析像度摄像机拍摄的运动图像和由低速高析像度摄像机拍摄的运动图像、使用各个运动图像的帧间的对应点检测来进行变形的图像生成方法(例如参照专利文献1)。 

图19是表示在专利文献1中记载的以往的图像生成装置的结构的块图。在图19中，高速低析像度摄像机A01和低速高析像度摄像机A02将相同的对象以相同的像角同步拍摄。参照图19说明以往的图像生成方法。 

图20是表示通过摄像机A01及摄像机A02的拍摄得到的运动图像的图。图20将由摄像机A01及摄像机A02分别得到的帧图像以时间顺序排列表示，帧B01和帧B02表示由摄像机A02得到的帧图像，帧B11～B15表示由摄像机A01得到的帧图像。 

这里，将帧图像的析像度的差异用图像的大小表现，帧B11～B15与帧B01及帧B02相比像素较少、析像度较低。另一方面，摄像机A01与摄像机A02相比拍摄的帧速率较高，在摄像机A02拍摄1帧的期间中摄像机A01拍摄了4帧。 

此外，帧的拍摄定时在摄像机A02和摄像机A01中同步。例如，帧B01和帧B11、以及帧B02和帧B15分别在相同的时刻被拍摄。 

以下，说明作为与帧13的拍摄时刻对应地插入在低速高析像度运动图像中的帧的中间帧B23的生成方法的一例。 

一次匹配部A03在由摄像机A01拍摄的高速低析像度运动图像中求出相邻的各帧间的像素的对应关系。这里，所谓像素的对应关系，是指一个帧图像内的像素与拍摄了与拍摄在该像素中的被摄体的部位相同的部位的其他帧图像内的像素的关系。 

一次匹配部A03通过从高速低析像度运动图像的帧B11至帧B13建立相邻的帧间的像素的对应关系，求出帧B11与帧B13之间的像素的对应关系。帧B11对应于实际拍摄的低速高析像度运动图像的帧B01的时刻，帧B13对应于想要插入到低速高析像度运动图像中的帧B23的时刻。 

接着，二次匹配部A04通过建立相同时刻拍摄的低速高析像度运动图像的帧B01与高速低析像度运动图像的帧B11之间的像素的位置关系、对应于相同的时刻的帧B13与帧B23之间的像素的位置关系、以及由一次匹配部A03求出的帧B11与帧B13之间的像素的对应关系，决定帧B01与帧B23之间的像素的对应关系。 

接着，图像生成部A05利用帧B01与帧B23之间的像素的对应关系，使用帧B01的像素值决定帧B23的像素值，生成高析像度的中间帧B23。 

通过以同样的顺序生成其他中间帧，生成高析像度且高速的影像。 

此外，在非专利文献1及非专利文献2中也同样，使用由高速低析像度摄像机拍摄的运动图像和由低速高析像度摄像机拍摄的运动图像，根据高速低析像度摄像机的运动图像进行运动检测，根据其运动检测结果对低速高析像度摄像机的运动图像进行变形，从而生成高析像度的中间帧图像。 

这样，根据以往技术，将高速低析像度运动图像与低速高析像度运动图像组合，生成高析像度的中间帧并插入到低速高析像度运动图像，从而 得到高速高析像度运动图像，所以能够根据比高速高析像度运动图像的本来的图像的信息量少的图像信息来生成高速高析像度图像。由此，通过实际拍摄高速高析像度运动图像，能够缓解图像信息的传送速度不足的问题。 

专利文献1：日本特开2003-203237号公报(图18) 

非专利文献1：Toru MATSUNOBU，et al.，“Generation of HighResolution Video Using Morphing”，Technical report of IEICE，PRMU2004-178 

非专利文献2：Kiyotaka Watanabe，et al.，“Generation of High ResolutionVideo Sequence from Two Video Sequences with Different Spatio-temporalFrequencies”，信息科学技术文集(FIT2004)，Vol.3，No LI-004，2004这里，考虑将上述以往技术应用到彩色的高速高析像度运动图像的生成的情况。 

如果单纯地由彩色的高速低析像度摄像机及彩色的低速高析像度摄像机分别对红、绿、蓝三个颜色成分分别取得高速低析像度运动图像及低速高析像度运动图像，并将所取得的各颜色成分的运动图像用上述以往技术中分别独立地处理，则能够生成彩色的高速高析像度运动图像。 

但是，在该结构中，需要对以往取得的高速低析像度运动图像及低速高析像度运动图像的信息量取得具有颜色成分数的倍数的信息量的各颜色成分的多个运动图像，再次发生图像信息的传送速度不足的问题的可能性较高。 

此外，在分别独立地处理各颜色成分的运动图像后，还有容易生成在高速高析像度运动图像中作为伪色而显著的错误的像素值、难以生成没有感知上的别扭感的自然的高速高析像度运动图像的问题。 

发明内容

本发明是鉴于这样的情况而做出的，目的是提供一种由各颜色成分的输入运动图像生成感知上良好的彩色的目的运动图像、并且在取得输入运动图像时不易发生传送速度的不足的图像生成装置。 

为了解决上述问题，有关本发明的图像生成装置，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，具备：图像输入单元， 取得对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；以及图像综合处理单元，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于该帧图像的期间中包含的上述目的运动图像的多个帧图像的合计的差减少，从而生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像。 

另外，本发明不仅能够作为这样的图像生成装置实现，还能够作为图像生成方法、使计算机执行该方法的程序、记录有该程序的CD-ROM等的计算机可读取的记录介质等实现。 

发明效果 

根据本发明的图像生成装置，根据至少两个颜色成分的输入运动图像的帧的曝光期间偏移的、多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像。 

结果，与例如在以往技术中采用的、单纯地对多个颜色成分分别取得输入运动图像那样、取得没有考虑使帧的曝光期间偏移的多个输入运动图像的情况不同，通过将输入运动图像的信息量的时间性峰值分散，能够使取得输入运动图像时需要的装置的传送速度均衡化、不易发生传送速度的不足。 

此外，通过使至少两个颜色成分的帧的曝光期间偏移，与所有的颜色成分的帧的曝光期间一致的情况相比，能够由包含时间分辨率更高的信息的输入运动图像生成目的运动图像。 

此外，通过求出维持颜色空间约束条件的多个像素值，生成目的运动图像，上述颜色空间约束条件表示目的运动图像内的时空上相邻的像素的颜色应该连续。 

结果，例如与对红、绿、蓝的单色的颜色成分的像素值分别应用以往技术的情况不同，颜色的连续性得到维持，获得不易作为伪色显著的像素值，能够进行感知上良好的目的运动图像的生成。 

附图说明

图1是表示本发明的实施方式的图像生成系统的硬件结构的块图。 

图2是表示实施方式的图像生成装置的结构的功能块图。 

图3是表示图像生成装置的动作的流程图。 

图4(a)、图4(b)是表示各颜色成分的输入运动图像的帧的曝光期间的一例的图，图4(c)是表示目的运动图像的各颜色成分的帧的虚拟的曝光期间的一例的图。 

图5(a)～图5(c)是表示摄像装置的具体例的图。 

图6(a)～图6(c)是表示修正像素值的情况下的入射光量与像素值的关系的例子的曲线图。 

图7是表示RGB颜色空间与球面坐标系的对应的一例的图。 

图8是表示要生成的理想的目的运动图像的帧图像的一例的图。 

图9是表示输入运动图像的帧图像的一例的图。 

图10是表示输入运动图像的帧图像的一例的图。 

图11是表示生成的目的运动图像的帧图像的一例的图。 

图12是表示数据速率与输入运动图像相等的其他运动图像的一例的图。 

图13是表示数据速率与输入运动图像相等的其他运动图像的一例的图。 

图14是表示作为图像生成系统的变形例的摄像机的结构的块图。 

图15是表示作为图像生成系统的变形例的显示设备的结构的块图。 

图16是表示实施方式的图像生成装置的结构的功能块图。 

图17是表示图像生成装置的动作的流程图。 

图18(a)是表示各颜色成分的输入运动图像的帧的曝光期间的一例的图，图18(b)是表示目的运动图像的各颜色成分的帧的虚拟的曝光期间的一例的图。 

图19是表示以往的图像生成装置的结构的块图。 

图20是表示输入到以往的图像生成装置中的两个运动图像的图。 

标号说明 

10  摄像装置 

20  图像存储装置 

30  图像生成装置 

40  显示装置 

100  图像生成系统 

101  图像输入部 

101a  红色图像输入部 

101b  绿色图像输入部 

101c  蓝色图像输入部 

102  运动检测部 

102a  运动分布计算部 

102b  运动可靠度分布计算部 

103  颜色图像综合部 

103a  运动约束部 

103b  颜色空间约束部 

103c  劣化约束部 

103d  图像综合处理部 

104  拍摄控制部 

104a  曝光决定部 

104b  颜色相位差决定部 

104c  光量传感器 

104d  温度传感器 

300  摄像机 

400  显示设备 

具体实施方式

本发明的一个方式的图像生成装置，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，具备：图像输入单元，取得对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；以及图像综合处理单元，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于该帧图像的期间中包含的上述目的运动图像的多个帧图像的合计的差减少，由此生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像。 

根据该结构，上述图像生成装置根据至少两个颜色成分的输入运动图 像的帧的曝光期间偏移的、不同的多个颜色成分的输入运动图像，生成彩色的目的运动图像，所以与例如在以往技术中采用的、单纯地对多个颜色成分分别取得输入运动图像那样、取得没有考虑使帧的曝光期间偏移的多个输入运动图像的情况不同，输入运动图像的信息量的时间性峰值被分散，由此能够使取得输入运动图像时需要的装置的传送速度均衡化、不易发生传送速度的不足。 

此外，上述图像生成装置也可以是，还具备拍摄控制单元，该拍摄控制单元根据与上述输入运动图像中包含的噪声的大小有关的拍摄条件信息，决定各上述输入运动图像的帧的曝光期间的偏移量，上述图像输入单元取得按照上述决定的偏移量对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像。 

这里，也可以是，上述拍摄条件信息表示来自上述被摄体的受光量，由上述拍摄条件信息表示的上述受光量越少，上述拍摄控制单元越使上述相位差增加，此外，也可以是，上述拍摄条件信息表示拍摄上述被摄体的摄像元件的温度，由上述拍摄条件信息表示的上述温度越高，上述拍摄控制单元越使上述相位差增加。 

根据该结构，通过在S/N(信噪比)容易下降的较暗的被摄体及高温环境下使不同的颜色成分的曝光期间的相位差增加，能够使输入运动图像的帧间隔及曝光时间的至少一方变长而进行拍摄，所以能够实现抑制了S/N比的下降的目的运动图像的生成。 

此外，在上述图像生成装置中，也可以是，还具备设定颜色空间约束条件的颜色空间约束单元，上述颜色空间约束条件表示上述目的运动图像内的时空间上相邻的像素的颜色应该连续；上述图像综合处理单元根据多个上述输入运动图像求出维持上述颜色空间约束条件的多个像素值，从而生成上述目的运动图像。 

此外，也可以是，上述颜色空间约束单元将第一约束条件和第二约束条件独立地设定为上述颜色空间约束条件，上述第一约束条件表示上述相邻的像素的明亮度应该连续，上述第二约束条件表示上述相邻的像素的色彩应该连续。 

根据该结构，上述图像生成装置通过求出维持表示目的运动图像内的 时空上相邻的像素的颜色应该连续的颜色空间约束条件的多个像素值生成目的运动图像，所以与例如在红、绿、蓝等单色的颜色成分的像素值分别使用以往技术的情况不同，颜色的连续性得到维持，能够得到不易作为伪色显著的像素值，由此能够实现感知上良好的目的运动图像的生成。 

此外，在上述图像生成装置中，也可以是，上述图像综合处理单元生成上述目的运动图像的各帧图像，以使在多个上述输入运动图像中的至少1个输入运动图像的帧切换的时刻，上述目的运动图像的帧的所有的颜色成分的帧切换。 

根据该结构，能够以输入运动图像的帧速率以上的帧速率生成目的运动图像。此外，由于帧切换的时刻在输入运动图像和目的运动图像中一致，因此输入运动图像的像素值和目的运动图像的像素值的对应变得明确，所以能够使生成目的运动图像的处理简单化。 

此外，上述图像生成装置也可以是，还具备：运动检测单元，从多个上述输入运动图像的至少1个中检测被摄体的运动；以及运动约束单元，设定运动约束条件，该运动约束条件表示上述目的运动图像的像素的像素值应该沿着检测出的上述运动连续，上述图像综合处理单元求出同时维持上述颜色空间约束条件和上述运动约束条件的多个像素值，从而生成上述目的运动图像。 

根据该结构，通过考虑运动检测的结果，能够得到视觉上更好的目的运动图像。 

此外，在上述图像生成装置中，也可以是，上述图像输入单元输入以使至少两个颜色成分的帧的曝光期间重复的方式拍摄上述同一被摄体而得到的各颜色成分的运动图像，作为多个上述输入运动图像。 

根据该结构，由于能够将1个颜色成分的帧的曝光期间延长至与其他颜色成分的帧的曝光期间重复，所以适合于例如来自被摄体的受光量较少的情况等基于长时间的曝光的拍摄。 

此外，在上述图像生成装置中，也可以是，上述图像输入单元输入以使任何颜色成分的帧的曝光期间都不重复的方式拍摄上述同一被摄体而得到的各颜色成分的运动图像，作为上述多个输入运动图像。 

根据该结构，能够由在每个颜色成分分别包含时间分辨率较高的信息 的输入运动图像来生成目的运动图像。此外，由于帧的曝光期间并没有按照每个颜色成分重复，所以适合于使用能够控制反射或透射强度的颜色特性的滤色器，通过使滤色器的颜色特性周期性变化而由单一的摄像元件分时地取得多个颜色成分的输入运动图像的应用。 

此外，在上述图像生成装置中，也可以是，上述图像输入单元输入以使各颜色成分的帧的曝光开始时刻为等间隔的方式拍摄上述同一被摄体而得到的各颜色成分的运动图像，作为多个上述输入运动图像。 

根据该结构，将输入运动图像的信息量的时间上的峰值更均匀地分散，由此能够使得不易发生取得输入图像时的装置的传送速度的不足。 

(实施方式) 

以下，参照附图详细地说明有关本发明的实施方式的图像生成系统。 

图1是表示本发明的实施方式的图像生成系统100的硬件结构的块图。 

图像生成系统100是对不同的多个颜色成分使至少两个颜色成分的帧的曝光期间(曝光开始时刻及曝光结束时刻中的至少某一个)偏移来拍摄同一被摄体，从而取得各颜色成分的输入运动图像数据，并由所取得的各颜色成分的输入运动图像数据生成比输入运动图像数据的帧速率高的帧速率的彩色的目的运动图像数据的系统。 

图像生成系统100至少使用表示运动图像中在时空上相邻的像素的颜色应连续的颜色空间约束条件，从各颜色成分的输入运动图像数据中求出维持颜色空间约束条件的多个像素值，从而生成目的运动图像数据。 

像素的颜色用数值表示，所谓的相邻的像素的颜色连续，是指在相邻的像素中表示颜色的数值连续。 

这里，需要注意的是，所谓表示颜色的数值，不是例如红、绿、蓝的单一的颜色成分的单独的像素值，而是从多个颜色成分的像素值导出的数值(例如表示多个颜色成分的像素值的比率、色差、色相及彩度等的值)。 

此外，所谓的数值连续，是指数值均匀(1阶微分或1阶差分的值小)、或者数值的变化均匀(2阶微分或2阶差分的值小)、或者其两者。 

以下，将输入运动图像数据及目的运动图像数据分别简称作输入运动图像及目的运动图像。 

图像生成系统100由摄像装置10、图像存储装置20、图像生成装置30、 和显示装置40构成。 

摄像装置10是从同一视点、或者从以能够忽视视差的程度接近的视点对不同的多个颜色成分使各颜色成分的帧的曝光期间偏移而拍摄同一被摄体，从而输出各颜色成分的多个运动图像(例如红、绿及蓝各个颜色成分的3个运动图像)的摄像机。 

图像存储装置20是将从摄像装置10输出的多个运动图像临时存储的存储器。 

图像生成装置30是将存储在图像存储装置20中的多个运动图像作为多个输入运动图像读出，并根据所读出的多个输入运动图像生成提高了帧速率的彩色的目的运动图像的装置。 

显示装置40是显示由通过图像生成装置30生成的目的运动图像表示的影像的显示装置。 

另外，在该结构中，图像生成装置30是本发明的图像生成装置的一例。图像生成装置30既可以通过专用电路等的硬件实现，也可以通过通用计算机的图像处理程序等的软件实现。 

图2是表示图1所示的图像生成系统100的图像生成装置30的内部结构的功能块图。图像生成装置30具备图像输入部101、运动检测部102和颜色图像综合部103。 

图像输入部101是受理多个输入运动图像的接口。图像输入部101具有被输入红、绿及蓝的各颜色成分的输入运动图像的红色图像输入部101a、绿色图像输入部101b、以及蓝色图像输入部101c。 

分别被输入到红色图像输入部101a、绿色图像输入部101b、以及蓝色图像输入部101c中的输入运动图像如上所述，是通过从同一视点或以能够忽视视差的程度接近的视点拍摄同一被摄体而得到的图像。颜色成分和帧的曝光期间在各个输入运动图像中不同。 

以下，将输入到红色图像输入部101a、绿色图像输入部101b、以及蓝色图像输入部101c中的输入运动图像分别也称作红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像。 

运动检测部102是进行由输入到图像输入部101中的输入运动图像表示的被摄体的运动检测的处理部，具有运动分布计算部102a和运动可靠度 分布计算部102b。 

运动分布计算部102a在输入运动图像的帧图像的各像素位置上进行运动检测。 

运动可靠度分布计算部102b对帧图像的多个部分分别计算运动分布计算部102a进行的运动检测的结果的可靠度。 

这里，将在多个帧图像及各帧图像的多个像素位置上计算的多个运动及多个可靠度分别称作运动的时空分布(或者简单称作运动分布)以及可靠度的时空分布(或者简单称作可靠度分布)。 

颜色图像综合部103是根据输入到图像输入部101中的不同的颜色成分的多个输入运动图像求出维持后述的约束条件的像素值，从而生成彩色的目的运动图像的处理部，具有运动约束部103a、颜色空间约束部103b、劣化约束部103c、和图像综合处理部103d。生成的目的运动图像的帧速率比输入运动图像的帧速率高。 

运动约束部103a设定目的运动图像的各像素的值依据运动分布计算部102a的各像素位置的运动检测结果而应该满足的约束条件。将运动约束部103a设定的约束条件称作运动约束条件。运动约束条件表示目的运动图像的像素的像素值沿着由运动分布计算部102a检测到的运动应该连续。 

颜色空间约束部103b设定目的运动图像的各像素的值与运动检测的结果无关地依据颜色的连续性而应该满足的约束条件。将由颜色空间约束部103b设定的约束条件称作颜色空间约束条件。颜色空间约束条件表示在目的运动图像中时空上相邻的像素的颜色应该连续。 

劣化约束部103c设定目的运动图像的各像素的值依据输入到图像输入部101中的输入运动图像的拍摄过程而应该满足的约束条件。将劣化约束部103c设定的约束条件称作劣化约束条件。劣化约束条件表示输入运动图像的帧图像与对应于该帧图像的期间中包含的目的运动图像的多个帧图像的加权和应该近似。 

图像综合处理部103d根据输入到图像输入部101中的多个不同的颜色成分的输入运动图像，求出维持运动约束部103a、颜色空间约束部103b及劣化约束部103c分别设定的运动约束条件、颜色空间约束条件及劣化约束条件的像素值，从而生成彩色的目的运动图像。 

另外，在本实施方式的“帧”中，不仅包含逐行方式的帧，还包含隔行方式的偶数场及奇数场。 

接着，对如上述那样构成的图像生成装置30执行的处理进行说明。 

图3是表示图像生成装置30执行的处理的一例的流程图。 

在步骤301中，红色图像输入部101a、绿色图像输入部101b及蓝色图像输入部101c分别受理红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像。 

这里，说明输入运动图像的帧的曝光期间与目的运动图像的帧的曝光期间之间的关系。 

图4(a)及图4(b)是表示红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像的帧的曝光期间的两种例子的图。 

图4(c)是表示目的运动图像的各颜色成分的帧的、虚拟的曝光期间的一例的图。 

在图4(a)、图4(b)及图4(c)中，横轴对应于时间，纵轴对应于颜色成分。箱表示帧的曝光期间，箱的横轴方向的宽度表示帧的曝光期间的长度(曝光期间)。将对应于红(R)、绿(G)及蓝(B)的各颜色成分的箱分别用密斜线、斜线及疏斜线表示。纵向的虚线表示对应于目的运动图像的帧速率的时间间隔。 

在图4(a)及图4(b)所示的各颜色成分的输入运动图像中，帧速率(每单位时间的帧数)都相同，但帧的曝光期间的长度在图4(a)所示的帧与图4(b)所示的帧中不同。 

即，图4(a)表示将各帧以较长的(大致等于帧间隔的)曝光时间拍摄而得到的输入运动图像，图4(b)表示将各帧以较短的(帧间隔的大致1/3的)曝光时间拍摄而得到的输入运动图像。 

此外，在图4(a)及图4(b)的所示的输入运动图像中，不同的颜色成分的帧的曝光开始时刻及曝光结束时刻都相互不同。这里，注意在各颜色成分中帧的曝光期间偏移。 

在图4(a)中，D1、D2、D3分别对应于红色输入运动图像与绿色输入运动图像、绿色输入运动图像与蓝色输入运动图像、蓝色输入运动图像与红色输入运动图像的帧的曝光期间的偏移(称作颜色相位差)。另外，在 图4(b)中，也对于各颜色的输入运动图像的帧的曝光期间设置了与图4(a)同样的偏移。 

在目的运动图像(图4(c))中，与输入运动图像(图4(a)及图4(b))相比，对于任何颜色成分都得到较高的帧速率，此外在各个颜色成分中得到相同的帧的曝光期间。另外，关于帧图像的空间析像度及图像尺寸，假设在目的运动图像的帧图像与输入运动图像的帧图像中是相同的。 

接着，示出摄像装置10的结构的具体例来说明拍摄同一被摄体而取得颜色成分不同的3个输入运动图像的方法。 

图5(a)、图5(b)及图5(c)是表示摄像装置10的结构的分别不同的具体例的图。 

例如，如图5(a)所示，用将3个摄像元件(或摄像机)R、G、B经由两级二向色棱镜或二向色镜配置成具有相同视野及相同视点的摄像装置10来拍摄被摄体，从而能够取得颜色成分不同的3个输入运动图像。 

此外，如图5(b)所示，也可以用使用在层R、G、B中分别具有不同的感色灵敏度的单一的多层摄像元件的摄像装置10来拍摄被摄体，从而取得在相同的像素位置上颜色成分不同的3个输入运动图像。 

此外，如图5(c)所示，也可以用使用在空间上周期性地排列了感色灵敏度不同的多个种类的像素R、G、B的摄像元件的摄像装置10来拍摄被摄体，从而取得颜色成分不同的3个输入运动图像。在此情况下，虽然空间析像度下降，但具有能够由利用了一般使用的滤色器阵列(Bayer排列等)的摄像元件来进行拍摄的优点。 

通过用上述那样构成的摄像装置10来拍摄被摄体，关于以同一视点拍摄的被摄体，能够取得颜色成分不同的多个输入运动图像。在该拍摄时，通过按照每个颜色成分改变帧的曝光开始时刻(或曝光结束时刻)，能够得到如图4(a)及图4(b)所示的、帧的曝光期间按照每个颜色成分而偏移的输入运动图像。 

接着，将目的运动图像(图4(c))的各像素值的理想值、以及输入运动图像(图4(a)及图4(b)的各像素的值应该满足的关系在(式1)、(式2)、(式3)中表示。该关系如后所述，也作为劣化约束条件使用，该劣化约束条件表示输入运动图像与对应于该帧图像的期间中包含的目的运动图 像的多个帧图像的加权和应该近似。 

[公式1] 

$R_L(x,y,t_{\mathrm{RL}})=\underset{t=t_{R0}+t_{\mathrm{RL}}\×f_R}{\overset{t_{R0}+t_{\mathrm{RL}}\×f_R+e_R}{\mathrm{\Σ}}}{w}_R(x,y,t)\·R_H^{*}(x,y,t)$ …(式1) 

[公式2] 

$G_L(x,y,t_{\mathrm{GL}})=\underset{t=t_{G0}+t_{\mathrm{GL}}\×f_G}{\overset{t_{G0}+t_{\mathrm{GL}}\×f_G+e_G}{\mathrm{\Σ}}}{w}_G(x,y,t)\·G_H^{*}(x,y,t)$ …(式2) 

[公式3] 

$B_L(x,y,t_{\mathrm{BL}})=\underset{t=t_{B0}+t_{\mathrm{BL}}\×f_B}{\overset{t_{B0}+t_{\mathrm{BL}}\×f_B+e_B}{\mathrm{\Σ}}}{w}_B(x,y,t)\·B_H^{*}(x,y,t)$ …(式3) 

在(式1)、(式2)、(式3)中，R*_H(x，y，t)、G*_H(x，y，t)、B*_H(x，y，t)分别表示目的运动图像的第t个帧图像的像素位置(x，y)的红(R)的像素值、绿(G)的像素值、蓝(B)的像素值(都是理想值)。 

此外，R_L(x，y，t_RL)、G_L(x，y，t_GL)、B_L(x，y，t_BL)表示红色输入运动图像的第t_RL个帧图像的像素位置(x，y)的像素值、绿色输入运动图像的第t_GL个帧图像的像素位置(x，y)的像素值、蓝色输入运动图像的第t_BL个帧图像的像素位置(x，y)的像素值。 

这里，设各颜色成分的输入运动图像的帧图像与目的运动图像的帧图像关于空间析像度及图像尺寸相等、且在所有的帧图像中空间像素位置的坐标系(x，y)共通而进行说明。 

此外，考虑不同的颜色成分的输入运动图像的帧的曝光期间偏移的情况下，将红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像的帧号码分别设为t_RL、t_GL及t_BL。 

e_R、e_G、e_B分别表示红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像的帧的曝光时间。此外，f_R、f_G、f_B分别表示红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像的帧间隔。 

此外，t_R0、t_G0、t_B0分别表示在红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像中成为基准的帧开始时刻，在本发明中通过将这些值设为相互不同的值，表示各颜色成分的输入运动图像的帧的曝光开始时刻的偏移。另外，在(式1)、(式2)、(式3)中，将目的运动图像的帧间 隔表现为曝光开始时刻的最小单位。 

w_R(x，y，t)、w_G(x，y，t)、w_B(x，y，t)是将目的运动图像的像素值与红色输入运动图像、绿色输入运动图像以及蓝色输入运动图像的各自的像素值建立关联的情况下的、依存于像素位置(x，y)和帧号码t的权重，表现实际的图像拍摄中的摄像机的增益和光圈的时间及位置的依赖性。w_R(x，y，t)、w_G(x，y，t)、w_B(x，y，t)的值表现拍摄条件，是能够与输入运动图像一起取得的信息。 

在使用(式1)、(式2)、(式3)表示图4(a)的输入运动图像的像素值与图4(c)的目的运动图像的像素值之间的关系的情况下，例如各颜色成分的帧的曝光开始时刻以红色、绿色、蓝色的顺序变迟，是t_R0＝0、t_G0＝1、t_B0＝2。帧的曝光时间在红色、绿色、蓝色中都相等，是e_R＝e_G＝e_B＝3，对于像素值的权重在所有的颜色中为共通的值w_R(x，y，t)＝w_G(x，y，t)＝w_B(x，y，t)＝1.0。帧间隔在红色、绿色、蓝色中都相等，是f_R＝f_G＝f_B＝3。 

此外，在使用(式1)、(式2)、(式3)表示图4(b)的输入运动图像的像素值与图4(c)的目的运动图像的像素值之间的关系的情况下，例如各颜色成分的帧的曝光开始时刻的偏移与图4(a)相同，是t_R0＝0、t_G0＝1、t_B0＝2，但是帧的曝光时间在红色、绿色、蓝色中共通且比图4(a)短，成为e_R＝e_G＝e_B＝1，对于像素值的权重在所有的颜色中为共通的值w_R(x，y，t)＝w_G(x，y，t)＝w_B(x，y，t)＝1.0。帧间隔在红色、绿色、蓝色中都相等，是f_R＝f_G＝f_B＝3。 

在上述例子中将时间离散地表现，但也可以将(式1)、(式2)及(式3)的加法运算替换为积分、将时间连续地表现而进行同样的定义。 

在以上的例子中，以输入运动图像的像素值与拍摄时的入射光量成比例的情况(图6(a))为前提进行了说明，但在通过γ修正等而像素值与入射光量不成比例的情况下(图6(b))或比例常数因像素而不同的情况下，优选地进行以下这样的修正。 

即，另外求出在输入运动图像的拍摄中使用的摄像元件的输入输出特性(像素值相对于入射光量的关系)，将使所求出的输入输出特性的输入与输出反过来的逆特性应用到输入运动图像的像素值中，从而得到修正为相对于入射光量具有比例关系的修正值。接着，利用得到的修正值，求出满 足(式1)、(式2)、(式3)的关系的目的运动图像的像素值。 

例如，在像素值由具有图6(b)所示的输入输出特性的摄像元件得到的情况下，通过使用如图6(c)所示的像素值与修正值的对应关系进行修正。得到的修正值能够与由具有如图6(a)所示的输入输出特性的摄像元件得到的与入射光量成比例的(不需要修正的)像素值同样地进行处理。 

接着，在步骤302中，利用各颜色成分的输入运动图像，由运动检测部102计算目的运动图像的相邻的帧图像间的运动的时空分布和该运动检测的可靠度的时空分布。 

作为一例，说明使用红色输入运动图像求出目的运动图像的运动和可靠度的方法。 

将在红色输入运动图像的相邻的帧图像间检测到的运动表现为v_R(x，y，t_RL)，将运动检测的可靠度表现为conf_R(x，y，t_RL)。这里，所谓运动，典型地是运动矢量，所谓运动检测的可靠度，是意味着值越大运动检测的结果越可信、值越小则在运动检测结果越可能有错误的标量值。 

关于相邻的两个帧的图像上的各位置的运动的求出方法，例如可以采用在P.ANANDAN，“A Computational Framework and an Algorithm for theMeasurement of Visual Motion”，IJCV，2，283-310(1989)(非专利文献3)中使用的方法、在运动图像编码中一般使用的运动检测方法、以及在使用图像的移动体跟踪等中使用的特征点跟踪方法等。 

此外，也可以采用图像整体的全局运动(仿射运动等)检测的一般的方法、或Lihi Zelkik-Manor，“Multi-body Segmentation：Revisiting Motionconsistency”，ECCV(2002)(非专利文献4)等的方法进行多个区域中的每个区域的运动检测，作为各像素位置处的运动来使用。 

关于可靠度的求出方法，也可以使用上述非专利文献3中记载的方法，在使用块匹配的运动检测的情况下也可以使用(式4)的定义。 

[公式4] 

…式(4) 

(式4)定义了红色输入运动图像的第t_RL个帧图像的像素位置(x，y)的可靠度conf_R(x，y，t_RL)。在(式4)中，v_Rx(x，y，t_RL)和v_Ry(x，y，t_RL)表示在红色输入运动图像的第t_RL个帧图像的像素位置(x，y)上检测到的运动矢量v_R(x，y，t_RL)的x成分和y成分。i∈块及j∈块表示在块匹配中使用的块区域的范围。 

在(式4)中，将与运动对应的块之间的像素值的差的平方和从差的平方和的取值的最大值SSDmax中减去的值、即将块之间的像素值的差的平方和的符号取反的值作为可靠度使用。 

此外，在利用图像的全局运动检测及每个区域的运动检测的情况下，也将各像素位置的运动的起点附近区域与终点附近区域间的像素值的差的平方和从平方和的取值的最大值SSDmax中减去的值作为可靠度使用。 

通过将如上所述的方法应用于红色输入运动图像，计算红色输入图像的相邻的帧图像间的运动v_R(x，y，t_RL)和可靠度conf_R(x，y，t_RL)。 

这里，考虑到一般在输入运动图像和目的运动图像中帧间隔不同，将对输入运动图像求出的运动v_R(x，y，t_RL)及可靠度conf_R(x，y，t_RL)变换为目的运动图像上的v(x，y，t)及可靠度conf(x，y，t)。 

作为一例，在(式5)、(式6)及(式7)中表示对于图4(b)所示的红色输入运动图像检测到的运动及可靠度变换为图4(c)所示的目的运动图像的运动及可靠度的方法。 

[公式5] 

$v(x,y,t)=\frac{1}{3}\·v_R(x,y,t_{\mathrm{RL}})$ …(式5) 

[公式6] 

$v(x+v_x(x,y,t),y+v_y(x,y,t),t+1)=\frac{1}{3}\·v_R(x,y,t_{\mathrm{RL}})$ …(式6) 

[公式7] 

$v(x+2\·v_x(x,y,t),y+2\·v_y(x,y,t),t+2)=\frac{1}{3}\·v_R(x,y,t_{\mathrm{RL}})$ …(式7) 

在(式5)、(式6)、(式7)中，假设目的运动图像的第t个帧的曝光 开始时刻与红色输入运动图像的第t_RL个帧的曝光开始时刻相同。在红色输入运动图像的相邻的帧间检测到的运动v_R(x，y，t_RL)在目的运动图像中对应于3个帧的运动。因而，将在红色输入运动图像的第t_RL个帧图像的像素位置(x，y)处检测到的运动的3分之1的大小的运动设定为目的运动图像上的第t个帧图像的相同的像素位置上的运动v(x，y，t)(式5)。 

接着，将相同的运动矢量设定为在目的运动图像的第t+1个帧图像中作为运动v(x，y，t)的到达目的地的像素位置上的运动矢量(式6)。进而，在目的运动图像的第t+2个帧中也同样设定相同的运动矢量(式7)。 

conf(x，y，t)原样使用在红色输入运动图像的对应的像素位置上求出的可靠度conf_R(x，y，t_RL)。 

这里，在运动矢量由子像素精度定义的情况下及运动矢量不一样的情况下，在使用(式6)及(式7)求出的运动分布中并不一定对所有像素位置赋予运动矢量。在这样的情况下，只要根据在空间上的附近定义的运动矢量进行插值而求出运动矢量就可以。插值方法可以使用双线性或双三次等一般的方法。 

另外，在上述例子中，根据对红色输入运动图像求出的运动分布和可靠度分布设定了目的运动图像的运动分布和可靠度分布，但也可以通过同样的步骤、根据对绿色输入运动图像或蓝色输入运动图像求出的运动分布和可靠度分布设定目的运动图像的运动分布和可靠度分布。 

在使用单一的颜色成分的输入运动图像求出运动分布的情况下，如果能够预先限定有运动的被摄体的颜色分布，则优选地使用包含较多该颜色成分的颜色成分图像。 

此外，也可以通过将对各颜色成分的输入运动图像分别求出的运动分布和可靠度分布取平均而使用来设定目的运动图像的运动分布和可靠度分布。在关于被摄体的颜色分布是未知的情况下，或为了提高通用性，优选地使用多个颜色成分。 

接着，在步骤303中，由运动约束部103a设定目的运动图像应该满足的运动约束条件Q_m。运动约束部103a使用由运动检测部102对目的运动图像求出的运动分布和可靠度分布，按照(式8)设定运动约束条件Q_m。 

[公式8] 

$Q_m=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}\mathrm{conf}(x,y,t)\·[$

${\{R_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-R_H(x,y,t)\}}^2$ …(式8) 

$+{\{G_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-G_H(x,y,t)\}}^2$

$+{\{B_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-B_H(x,y,t)\}}^2]$

在(式8)中，∑意味着对x、y、t各自的相加，结果对目的运动图像定义运动约束条件Q_m。(式8)定义了沿着在输入运动图像上检测到的运动、对应的目的运动图像的像素的各颜色成分的像素值越是均匀(即像素值连续)、值越小的运动约束条件Q_m。在(式8)中，将像素值的变化量用运动的可靠度加权而使用。 

运动约束条件Q_m的值要小，表示沿着在输入运动图像上检测到的运动，目的运动图像的像素的像素值应该连续。 

接着，在步骤304中，由颜色空间约束部103b设定目的运动图像应该满足的颜色空间约束条件Q_s。首先，将作为颜色空间约束条件Q_s的一例的Q_s1及Q_s2在(式9)及(式10)中表示，然后将作为颜色空间约束条件Q_s的另一例的Q_s3在(式11)中表示。 

[公式9] 

…(式9) 

[公式10] 

…(式10) 

在(式9)、(式10)中，θ_H(x，y，t)、ψ_H(x，y，t)、r_H(x，y，t)是将目的运动图像的第t个帧图像的像素位置(x，y)上的用红、绿、蓝各自的像素值表示的3维正交颜色空间(所谓的RGB颜色空间)内的位置，用对应于RGB颜色空间的球面坐标系(θ，ψ，r)表现的情况下的坐标值，θ_H(x，y，t)和ψ_H(x，y，t)表示两种偏角，r_H(x，y，t)表示运动半径。 

在图7中表示RGB颜色空间与球面坐标系(θ，ψ，r)的对应例。在图7中，作为一例，将θ＝0的方向设为RGB颜色空间的R轴的正方向，将ψ＝0的方向设为RGB空间的G轴的正方向，但偏角的基准方向并不限定于图7所示的方向，也可以是其他方向。按照这样的对应，按照每个像素将作为RGB颜色空间的坐标值的红、绿、蓝各自的像素值变换为球面坐标系(θ，ψ，r)的坐标值。 

在将目的运动图像的各像素的像素值作为RGB颜色空间内的3维矢量考虑的情况下，通过将3维矢量用与RGB颜色空间建立了对应的球面坐标系(θ，ψ，r)表现，能够单独地处理表示作为像素的明亮度(信号强度、亮度也是同义)的矢量的大小的r轴的坐标值、以及表示作为像素的色彩(包括色相、色差、彩度等)的矢量的方向的θ轴及ψ轴的坐标值。 

(式9)定义目的运动图像的用球面坐标系表现的像素值的、xy空间方向的2阶差分值的平方和。(式9)定义了在目的运动图像的各帧图像内空间上相邻的像素的用球面坐标系表现的像素值的变化越均匀(即像素的颜色连续)、则值越小的颜色空间约束条件Q_s1。 

颜色空间约束条件Q_s1的值要小，表示目的运动图像内的空间上相邻的像素的颜色应该连续。 

(式10)定义了目的运动图像的用球面坐标系表现的像素值的、xyt时空方向的2阶差分值的平方和。(式10)定义了在目的运动图像的各帧图像内空间上相邻的像素的用球面坐标系表现的像素值的变化越均匀(即像素的颜色连续)、并且在目的运动图像的时间上相邻的帧图像内处于相同的位置的像素的用球面坐标系表现的像素值的变化越均匀(即像素的颜色连续)、则值越小的颜色空间约束条件Q_s2。 

颜色空间约束条件Q_s2的值要小，表示目的运动图像内的时空上相邻的 像素的颜色应该连续。 

在图像中，像素的明亮度的变化和像素的色彩的变化由物理上不同的现象产生，所以如(式9)及(式10)所示，通过单独地设定关于像素的明亮度的连续性(r轴的坐标值的变化的均匀性)的约束条件((式9)及(式10)的大括号内的第3项)、和关于像素的色彩的连续性(θ轴及ψ轴的坐标值的变化的均匀性)的约束条件((式9)及(式10)的大括号内的第1项及第2项)，容易得到理想的画质。 

λ_θ(x，y，t)、λ_ψ(x，y，t)、λ_r(x，y，t)分别是对于使用θ轴、ψ轴、r轴的坐标值来设定的约束条件、在目的运动图像的第t个帧图像的像素位置(x，y)上使用的权重，预先设定。简单地讲，也可以如λ_θ(x，y，t)＝λ_ψ(x，y，t)＝1.0、λ_r(x，y，t)＝0.01那样不依存于像素位置及帧而设定。 

此外，优选的是，在能够预测图像中的像素值的不连续性等的位置上可以将该权重设定得较小。像素值不连续的情况也可以通过输入运动图像的帧图像内的相邻的像素的像素值的差分值或2阶差分值的绝对值是一定值以上来判断。 

此外，优选地使在关于像素的色彩的连续性的约束中使用的权重大于在关于像素的明亮度的连续性的约束中使用的权重。这是因为，随着由被摄体表面的凹凸或运动带来的被摄体表面的方向(法线的方向)的变化，图像中的像素的明亮度比色彩更容易变化(缺乏变化的均匀性)。 

另外，在(式9)及(式10)中，将目的运动图像的用球面坐标系表现的像素值的、xy空间方向的2阶差分值的平方和以及xyt时空方向的2阶差分值的平方和设定为颜色空间约束条件Q_s1及颜色空间约束条件Q_s2，但也可以将2阶差分值的绝对值和、或者1阶差分值的平方和或绝对值和设定为颜色空间约束条件。 

在上述说明中，使用与RGB颜色空间建立了对应的球面坐标系(θ，ψ，r)设定了颜色空间约束条件，但使用的坐标系并不限于球面坐标系。通过在具有容易将像素的明亮度与色彩分离的坐标轴的新的正交坐标系中设定颜色空间约束条件，能够得到与上述同样的效果。 

新的正交坐标系的坐标轴例如可以通过将在输入运动图像或作为基准 的其他运动图像中包含的像素值的RGB颜色空间内的频率分布进行主成分分析而求出固有矢量的方向，并设定为所求出的固有矢量的方向(设为固有矢量轴)。 

[公式11] 

$Q_{s3}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}[$

${\mathrm{\λ}}_{C1}(x,y,t)\·{\{4\·C_1(x,y,t)-C_1(x,y-1,t)-C_1(x,y+1,t)-C_1(x-1,y,t)-C_1(x+1,y,t)\}}^2$

$+{\mathrm{\λ}}_{C2}(x,y,t)\·{\{4\·C_2(x,y,t)-C_2(x,y-1,t)-C_2(x,y+1,t)-C_2(x-1,y,t)-C_2(x+1,y,t)\}}^2$

$+{\mathrm{\λ}}_{C3}(x,y,t)\·{\{4\·C_3(x,y,t)-C_3(x,y-1,t)-C_3(x,y+1,t)-C_3(x-1,y,t)-C_3(x+1,y,t)\}}^2]$

…(式11) 

在(式11)中，C₁(x，y，t)、C₂(x，y，t)、C₃(x，y，t)是将目的运动图像的第t个帧图像的像素位置(x，y)上的作为红、绿、蓝各自的像素值的RGB颜色空间的像素值变换为新的正交坐标系的坐标轴C₁、C₂、C₃的坐标值的旋转变换。 

(式11)定义了目的运动图像的用新的正交坐标系表现的像素值的、xy空间方向的2阶差分值的平方和。(式11)定义了在目的运动图像的各帧图像内，空间上相邻的像素的用新的正交坐标系表现的像素值的变化越均匀(即像素值连续)、则值越小的颜色空间约束条件Q_s3。 

颜色空间约束条件Q_s3的值要小，表示目的运动图像内的空间上相邻的像素的颜色应该连续。 

λ_C1(x，y，t)、λ_C2(x，y，t)、λ_C3(x，y，t)分别是对于使用C₁轴、C₂轴、C₃轴的坐标值设定的约束，在目的运动图像的第t个帧图像的像素位置(x，y)上使用的权重，预先设定。 

在C₁轴、C₂轴、C₃轴是固有矢量轴的情况下，通过沿着各固有矢量轴单独地设定λ_C1(x，y，t)、λ_C2(x，y，t)、λ_C3(x，y，t)的值，具有能够根据因固有矢量轴而不同的分散的值来设定适当的λ的值的优点。即，在非主成分的方向上分散较小，可以期待2阶差分的平方和变小，所以将λ的值设为较大。反之，在主成分的方向上将λ的值相对地设为较小。 

以上，说明了3种颜色空间约束条件Q_s1、Q_s2、以及Q_s3的例子。作为颜色空间约束条件Q_s，能够使用颜色空间约束条件Q_s1、Q_s2、以及Q_s3中的任一个。 

例如，在使用(式9)、(式10)所示的颜色空间约束条件Q_s1、Q_s2的情况下，通过导入球面坐标系(θ，ψ，r)，单独使用表示颜色信息的θ轴及ψ轴的坐标值、以及表示信号强度的r轴的坐标值的各个坐标值来设定颜色空间约束条件，并且在设定颜色空间约束条件时能够对颜色信息和信号强度分别赋予适当的权重参数λ，所以具有高画质的运动图像的生成变得容易的优点。 

在使用(式11)所示的颜色空间约束条件Q_s3的情况下，由于用从RGB颜色空间的坐标值通过线性(旋转)变换得到的新的正交坐标系的坐标值来设定约束条件，所以具有能够使运算简单化的优点。 

此外，通过将固有矢量轴设为新的正交坐标系的坐标轴C₁、C₂、C₃，能够使用反映了更多的像素受到影响的颜色的变换的固有矢量轴的坐标值来设定颜色空间约束条件，所以与单纯使用红、绿、蓝的各颜色成分的像素值来设定颜色空间约束条件的情况相比，能够期待所得到的目的运动图像的画质的提高。 

以上，说明了在(式9)、(式10)及(式11)所示的颜色空间约束条件Q_s1、Q_s2、以及Q_s3中，在能够预测到图像中的像素值的不连续性等的位置上，将权重λ设定得较小的例子。进而，在能够具体地预测图像中的像素值的不连续性等(能够推测差分值或微分值的具体值)的情况下，也可以使用(式12)、(式13)及(式14)所示的颜色空间约束条件Q_s1d、Q_s2d、以及Q_s3d。 

[公式12] 

…(式12) 

[公式13] 

…(式13) 

[公式14] 

$Q_{s3d}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}[$

${\mathrm{\λ}}_{C1}(x,y,t)\·\{4\·C_1(x,y,t)-C_1(x,y-1,t)-C_1(x,y+1,t)$

${-C_1(x-1,y,t)-C_1(x+1,y,t)-d_{C1}(x,y,t)\}}^2$

$+{\mathrm{\λ}}_{C2}(x,y,t)\·\{4\·C_2(x,y,t)-C_2(x,y-1,t)-C_2(x,y+1,t)$

${-C_2(x-1,y,t)-C_2(x+1,y,t)-d_{C2}(x,y,t)\}}^2$

$+{\mathrm{\λ}}_{C3}(x,y,t)\·\{4\·C_3(x,y,t)-C_3(x,y-1,t)-C_3(x,y+1,t)$

${-C_3(x-1,y,t)-C_3(x+1,y,t)-d_{C3}(x,y,t)\}}^2]$

…(式14) 

在(式12)、(式13)及(式14)中，颜色空间约束条件Q_s1d、Q_s2d、以及Q_s3d是对(式9)、(式10)及(式11)所示的颜色空间约束条件Q_s1、Q_s2、以及Q_s3追加预先推测为沿着坐标轴θ、ψ、r、C₁、C₂及C₃的差分值或微分值的具体值d_θ(x，y，t)、d_ψ(x，y，t)、d_r(x，y，t)、d_C1(x，y，t)、d_C2(x，y，t)、以及d_C3(x，y，t)而构成的。 

另外，作为上述具体值的推测方法，例如也可以对于彩色且高析像度的基准图像，按照每个颜色成分进行(式1)、(式2)、(式3)的右边的加权和运算而得到低析像度及低帧速率的对照运动图像，并预先准备基准运动图像与对照运动图像之间的差分值或微分值的对应关系，按照该对应关系，根据输入运动图像来推测目的运动图像的差分值或微分值的具体值d_θ(x，y，t)、d_ψ(x，y，t)、d_r(x，y，t)、d_C1(x，y，t)、d_C2(x，y，t)、以及d_C3(x，y，t)。 

在使用颜色空间约束条件Q_s1d、Q_s2d、以及Q_s3d的情况下，也能够提高预测到不连续性的位置上的图像的再现性、提高生成图像的画质。 

另外，在d_θ(x，y，t)、d_ψ(x，y，t)、d_r(x，y，t)、d_C1(x，y，t)、 d_C2(x，y，t)、以及d_C3(x，y，t)是0的情况下，颜色空间约束条件Q_s1d、Q_s2d、以及Q_s3d与颜色空间约束条件Q_s1、Q_s2、以及Q_s3等价。 

接着，在步骤305中，基于在步骤303中求出的运动约束条件Q_m、在步骤304中求出的颜色空间约束条件Q_s、以及由劣化约束部103c设定的劣化约束条件，由图像综合处理部103d设定目的运动图像应该满足的综合性的约束条件(以下简单称作约束条件)。 

[公式15] 

J＝|H_RR_H-R_L|²+|H_GG_H-G_L|²+|H_BB_H-B_L|²+Q_s+Q_m    …(式15) 

(式15)表示约束条件J的一例。(式15)所示的综合性的约束条件J被定义为构成目的运动图像的红、绿以及蓝的各颜色成分(记为R_H、G_H、B_H)的函数。 

H_R、H_G、H_B分别表示从目的地运动图像的各颜色成分R_H、G_H、B_H向各颜色成分的输入运动图像R_L、G_L、B_L的劣化变换。H_R、H_G、H_B例如分别是(式1)、(式2)、(式3)的右边的加权和运算。 

劣化约束部103c对于红、绿、蓝的各个颜色成分，对目的运动图像实施劣化变换，从而得到劣化运动图像。并且，将劣化运动图像及输入运动图像的对应帧的对应像素位置上的像素值的差的平方和设定为劣化约束条件((式15)的第1项、第2项及第3项)。即，劣化约束条件由表示以包含在劣化运动图像中的各像素值为要素的矢量与以包含在输入运动图像中的各像素值为要素的矢量的差分矢量的大小的值来设定。 

(式15)的第4项是在步骤304中由颜色空间约束部103b求出的颜色空间约束条件。(式15)的第5项是在步骤303中由运动约束部103a设定的运动约束条件。 

约束条件J并不限定于以上所述，也可以将(式15)的项替换为由类似式构成的项、或追加表示不同的约束的新的项。 

在步骤306中，通过求出维持由图像综合处理部103d设定的约束条件J的目的运动图像的各像素值，生成目的运动图像的各颜色成分R_H、G_H、B_H。 

这里，所谓维持约束条件J，是指使约束条件J的值尽可能小(优选的 是最小)，包括使约束条件J的各项表示的劣化约束条件、颜色空间约束条件以及运动约束条件的各个值尽可能小(优选的是最小)。 

使约束条件J为最小的目的运动图像例如既可以解(式16)的方程式来求出，也可以使用最陡梯度法等的反复运算型的最优化方法来求出。(式16)是将用目的运动图像的各颜色成分R_H、G_H、B_H的各像素值成分将约束条件J微分的式子都置为0的式。 

[公式16] 

$\frac{\∂J}{\∂R_H(x,y,t)}=\frac{\∂J}{\∂G_H(x,y,t)}=\frac{\∂J}{{\∂B}_H(x,y,t)}=0$ …(式16) 

最后，在步骤307中，将生成的目的运动图像从图像综合处理部103d输出。 

以下，利用图8、图9及图10说明输入运动图像以及所得到的目的运动图像的具体例。 

图8表示假设将被摄体以高帧速率进行彩色拍摄的情况下得到的帧图像的例子。图8的帧图像本来不能通过拍摄取得，但为了说明而表示。图8是应该生成的理想的目的运动图像的帧图像的一例。 

在图8中，纵轴对应于时间，横轴对应于颜色成分。从左到右，对于红、绿、蓝的颜色成分，分别将6个帧图像从上到下按时间的顺序排列表示。假设横向排列的3个帧的虚拟的曝光期间相同。在图8中，从帧的左上方向右下方移动的被摄体71出现在所有的颜色成分的帧图像中。 

通过将这样的被摄体实际上以比图8所示的帧间隔长的帧间隔拍摄，对于不同的多个颜色成分，得到帧的曝光期间(曝光开始时刻及曝光结束时刻的至少任一个)按照每个颜色成分而不同的多个输入运动图像(图3的步骤301)。 

在图9及图10中，表示拍摄图8所示的被摄体71而得到的多个输入运动图像的两种例子。 

图9表示按照图4(b)所示的帧的曝光期间拍摄被摄体71而得到的帧图像的例子。为了方便，将各帧图像的上边及下边分别与帧的曝光开始时刻及曝光结束时刻对应的纵轴的位置一致地表示。帧的曝光期间按照各颜色成分而偏移，各帧的曝光时间与图8所示的帧间隔大致相等。在图9的 各帧图像中，拍摄了被摄体71的像81。 

图10表示按照图4(a)所示的帧的曝光期间拍摄被摄体71而得到的帧图像的例子。为了方便，将延长各帧图像的虚线框的上边及帧图像的下边分别与对应于帧的曝光开始时刻及曝光结束时刻的纵轴的位置一致地表示。帧的曝光期间按照每个颜色成分而偏移，各帧的曝光时间大致与图8所示的帧间隔的3倍相等。此外，由于各帧的曝光时间较长，所以不同颜色成分的帧的曝光期间重复。在图10的各帧图像中，被摄体71的像91伴随着被摄体71的移动方向的模糊而被拍摄。 

图11表示从图9或图10所示的输入运动图像的帧图像、通过上述的步骤(图3的步骤302～步骤306)生成的目的运动图像的帧图像的例子。 

生成的帧图像虽然在像92中残留有被摄体71的移动方向的模糊，但与包含在图10所示的帧图像中的模糊相比是微少的，此外，被插补了在图9及图10所示的各颜色成分的输入运动图像中不存在的时刻的帧图像，结果成为与图8的理想的帧图像接近的帧图像。 

这样的帧图像如上所述，通过求出维持运动约束条件、颜色空间约束条件以及劣化约束条件的目的运动图像的像素值来生成，上述运动约束条件表示目的运动图像的像素值应该沿着被摄体的运动而连续(像素值均匀)，上述颜色空间约束条件表示目的运动图像的时空上相邻的像素的颜色应该连续(颜色或颜色的变化均匀)，上述劣化约束条件表示输入运动图像的帧图像与对应于该帧图像的期间的目的运动图像的多个帧图像的加权和应该近似。 

通过提高运动检测的精度，能够得到与图8的理想的帧图像更接近的帧图像。 

图12及图13表示每单位时间的图像的信息量(被要求的传送速度，以下称作数据速率)与图9及图10所示的输入运动图像的数据速率相同的运动图像的例子。 

图12及图13所示的运动图像与本发明的图像生成装置的输入运动图像不同，是没有按照每个颜色成分使帧的曝光期间偏移、而将所有的颜色成分的帧以相同的曝光期间拍摄而得到的图像。在图13所示的运动图像中，通过提高帧速率、并且降低帧图像的析像度，实现了与图9及图10所示的 输入运动图像的例子相同的数据速率。 

图12及图13中例示的输入运动图像除了能够使用例如将同一被摄体以不同的析像度及不同的帧速率拍摄的周知的技术来一次性取得以外，也可以通过通常的拍摄分别地取得。 

但是，这样的各颜色成分的帧的曝光期间一致的运动图像，从对于本发明的图像生成装置的输入运动图像中排除在外。 

本发明的图像生成装置的特征在于，使用至少在两个颜色成分中帧的曝光期间(曝光开始时刻及曝光结束时刻的至少任一个)不同的多个输入运动图像来设定上述约束条件(特别是颜色空间约束条件)，从而生成高帧速率且彩色的目的运动图像。 

由于通过使用至少在两个颜色成分中帧的曝光期间偏移了的输入运动图像来将在输入运动图像的信息量中产生的时间性峰值均衡化，所以与例如图12所示的所有的颜色成分的帧在相同的时刻被得到的运动图像相比，能够缓解在信息量中发生的时间性的峰值。 

进而，即使在使曝光时间变长而可能发生运动模糊的情况下，也能够利用将曝光开始时刻(或曝光结束时刻)偏移而带来的偏移的时刻的影像信息，能够生成抑制了运动模糊且帧速率高的目的运动图像。 

进而，由于能够将拍摄时的曝光期间设定得比目的运动图像的帧间隔长，所以在光量不足的较暗的环境下，能够以使曝光时间长且也不使帧速率下降地进行拍摄。即，具有能够进行维持帧速率、S/N比高的目的运动图像的生成的效果。 

另外，在目的运动图像的生成中是否使用了对于每个颜色成分将帧的曝光期间偏移而拍摄的输入运动图像，可以根据对于每个颜色成分包含有在不同的时刻突发的图像的变化的、拍摄被摄体而得到的输入运动图像，来生成目的运动图像，并基于在所生成的目的运动图像中是否显现该变化的时间差来判断。 

此外，假设各颜色成分的输入运动图像的帧速率、帧的曝光时间、以及帧图像的析像度相等而进行了说明，但本发明的图像生成装置在输入运动图像的帧速率、帧的曝光时间、以及帧图像的析像度中的至少任一个按照每个颜色成分不同的情况下也能够使用。 

即，在此情况下，能够与各颜色成分的输入运动图像的帧速率、帧的曝光时间、以及帧图像的析像度相应地构成代替(式1)、(式2)及(式3)的劣化约束条件的式子，从而以同样的顺序生成目的运动图像，能够得到本发明的效果。 

此时，使各颜色成分间的曝光开始时刻(或曝光结束时刻)的偏移量与曝光时间均等地接近，从而对于一般的被摄体，能够期待使目的图像中的时间性的画质变动均衡化的效果。 

此外，如图14所示，从图1所示的图像生成系统100除去显示装置40而构成的摄像机300也包含在本发明中。进而，对图14所示的摄像机300附加显示装置40而构成的、带有运动图像录像再现功能的摄像机也包含在本发明中。 

此外，如图15所示，从图1所示的图像生成系统100除去摄像装置10而构成的电视机等的显示设备400也包含在本发明中。在这样的显示设备400中，能够将预先录像的多个颜色成分的运动图像作为输入运动图像，生成提高了帧速率的目的运动图像并显示。 

在如图14那样构成摄像机的情况下，也可以对图1的图像生成装置如图16那样追加拍摄控制部104，并根据被摄体来变更各颜色成分的帧的曝光期间(曝光开始时刻及曝光结束时刻的至少一个)的偏移(称作颜色相位差)和曝光时间。 

在图16中，曝光决定部104a决定各颜色成分的曝光时间。颜色相位差决定部104b设定颜色成分的曝光开始时刻(或曝光结束时刻)的偏移量。光量传感器104c测量被摄体的光量。光量传感器也可以与摄像元件独立地设置，也可以将摄像元件本身作为光量传感器使用。温度传感器104d测量摄像元件的温度。 

接着，对以上那样构成的摄像机执行的处理进行说明。 

图17是上述摄像机执行的处理的流程图。 

在步骤1401中，光量传感器104c测量被摄体的光量，根据上述被摄体的光量决定光圈。在步骤1402中，温度传感器104d测量摄像元件的温度，基于上述被摄体的光量及在上述步骤中决定的光圈及上述温度，曝光决定部104a对于每个颜色成分决定用于拍摄的帧的曝光时间。 

此时，预先设定拍摄图像所需要的S/N比。包含在拍摄图像中的噪声存在依存于摄像元件的温度的成分和在入射光自身中包含的成分。温度依存性噪声的温度依存特性因摄像元件而不同，所以预先求出温度与噪声的关系。在入射光自身中包含的噪声的强度，与入射光的信号强度S的平方根成比例地决定。由被摄体的光量和光圈能够决定信号强度S，由上述温度和入射光量能够决定噪声强度N。光量越增加，S/N比越上升。由此，根据需要的S/N比决定需要的曝光时间。 

曝光时间相对于温度、光量或S/N比既可以连续地变更，也可以按照预先设定的步骤以阶段状变更，也可以以预先设定的阈值为基准进行二值变更。 

例如，在设信号强度与噪声强度的比为100的情况下，将曝光时间决定为：如果噪声强度是10则需要的信号强度为1000。另外，在上述中基于温度和光量决定了所需要的曝光时间，但温度也可以假定为平均的温度，并仅通过被摄体的光量来决定需要的曝光时间。此外，步骤1401和步骤1402的执行顺序也可以替换。 

接着，在步骤1403中，颜色相位差决定部104b决定曝光开始时刻(或者曝光结束时刻)的偏移。此时，在将上述曝光时间除以颜色成分的数量(如果是红、绿、蓝则为3)的值比标准的运动图像的帧速率的30～60帧每秒短的情况下，各颜色成分的帧速率设定为标准的运动图像的值的3(颜色成分的数量)分之1，颜色相位差设定为标准的运动图像的帧间隔。 

这里，在将上述曝光时间除以各颜色成分的数量(如果是红、绿、蓝则为3)的值比标准的运动图像的帧速率的30～60帧每秒长的情况下，使各颜色成分的帧间隔与各颜色成分的曝光时间一致，颜色相位差设定为上述曝光时间的3(颜色成分的数量)分之1。 

接着，在步骤1404中，基于上述拍摄条件进行拍摄，取得通过拍摄得到的输入运动图像。在步骤1405中，通过执行图3所示的顺序，生成目的运动图像，在步骤1406中，输出所生成的目的运动图像。 

另外，能够将生成的目的运动图像的帧间隔与拍摄时的颜色相位差无关而设定得较短，通过设定得较短，即使在使拍摄时的曝光时间长而使拍摄时的帧速率变低的情况下，也能够生成具有标准的运动图像的帧速率的目的运动图像。

在此情况下，在(式1)、(式2)及(式3)的劣化约束条件中，进行设定以使目的运动图像的曝光时间短、使目的运动图像的帧速率增加。 

同样，将在(式5)、(式6)、(式7)中进行的运动矢量的计算同样地对更短的帧间隔进行，只要使用该运动来设定(式8)的Q_m就可以。 

此外，在图18中举例的那样，也可以改变各颜色成分的曝光时间。在图18(a)的例子中，表示了使G的曝光时间及帧间隔长(e_G＝4、f_G＝4)、使R与B的曝光时间及帧间隔相同(e_R＝e_B＝2，f_R＝f_R＝2)，而分别改变了曝光开始时刻(或曝光结束时刻)的情况(t_R0＝1、t_G0＝0、t_B0＝0)。 

在这样的情况下，也能够通过与上述同样的步骤得到图18(b)所示的高帧速率的目的运动图像。如果使所有的颜色成分的帧的曝光时间长则时间析像度容易下降，但像这样通过仅使一部分颜色成分的帧的曝光时间长，能够同时实现基于长时间曝光的光量确保和时间析像度。 

此外，在上述中，在对于3种颜色成分改变了帧的曝光开始时刻及曝光结束时刻的至少任一个的情况下进行了说明，但仅在两种颜色成分之间改变帧的曝光开始时刻(例如使红色成分和蓝色成分的曝光开始时刻(或曝光结束时刻)相同，仅改变绿色成分)的情况下也能够得到同样的效果。 

在此情况下，将在输入运动图像的信息量中产生的时间性的峰值分散的效果下降，但是生成目的运动图像的处理变得简单。此外，颜色成分的种类也可以比3种多，使用对红、绿、蓝的3种颜色成分新追加光波长特性不同的绿而由4种颜色成分构成的输入运动图像，也能够得到本发明的效果。特别是适合于对被摄体进行多波谱拍摄的应用。 

以上，基于实施方式对有关本发明的图像生成装置进行了说明，但本发明并不限定于该实施方式。对于实施方式实施本领域的技术人员想到的变形而得到的方式也包含在本发明中。 

也可以将本发明的图像生成装置进行的图像生成处理的一部分或全部通过专用的硬件设备执行，也可以通过在计算机终端装置、配置在无线基站等中的通信设备、以及独立的通用计算机等中内置的CPU执行规定的程序来进行本发明的图像生成处理。 

工业实用性 

本发明可以作为根据颜色和曝光开始时刻(或曝光结束时刻)不同的多个运动图像生成新的运动图像的图像生成装置、特别是作为根据曝光开始时刻(或曝光结束时刻)不同的RGB运动图像生成高帧速率的运动图像的图像生成装置、组装有这样的图像生成装置的影像设备及系统、影像合成装置、影像编辑装置、图像复原装置、图像复原程序等使用。 

Claims (11)

1.一种图像生成装置，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，具备：

图像输入单元，取得对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；以及

图像综合处理单元，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于上述输入运动图像的帧图像的期间中包含的上述目的运动图像的多个帧图像的合计之间的差减少，由此生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像。

2.一种图像生成装置，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，具备：

图像输入单元，取得对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；

图像综合处理单元，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于上述输入运动图像的帧图像的期间中包含的上述目的运动图像的多个帧图像的合计之间的差减少，由此生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像；以及

拍摄控制单元，根据与上述输入运动图像中包含的噪声的大小有关的拍摄条件信息，决定各上述输入运动图像的帧的曝光期间的偏移量，

上述图像输入单元取得按照决定的上述偏移量对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像。

3.如权利要求2所述的图像生成装置，其特征在于，

上述拍摄条件信息表示来自上述被摄体的受光量，

由上述拍摄条件信息表示的上述受光量越少，上述拍摄控制单元越使上述相位差增加。

4.如权利要求2所述的图像生成装置，其特征在于，

上述拍摄条件信息表示拍摄上述被摄体的摄像元件的温度，

由上述拍摄条件信息表示的上述温度越高，上述拍摄控制单元越使上述相位差增加。

5.如权利要求1所述的图像生成装置，其特征在于，

上述图像综合处理单元生成上述目的运动图像的各帧图像，以使在多个上述输入运动图像中的至少1个输入运动图像的帧切换的时刻，上述目的运动图像的帧的所有颜色成分的帧切换。

6.如权利要求1所述的图像生成装置，其特征在于，

上述图像输入单元输入以使不同的颜色成分的帧的曝光开始时刻成为等间隔、或者不同的颜色成分的帧的曝光结束时刻成为等间隔的方式拍摄上述被摄体而得到的各上述颜色成分的运动图像，作为多个上述输入运动图像。

7.如权利要求1所述的图像生成装置，其特征在于，

还具备设定颜色空间约束条件的颜色空间约束单元，上述颜色空间约束条件表示上述目的运动图像内的时空上相邻的像素中表示颜色的数值应该连续，

上述图像综合处理单元根据多个上述输入运动图像，求出维持上述颜色空间约束条件的多个像素值，从而生成上述目的运动图像。

8.一种图像生成装置，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，具备：

图像输入单元，取得对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；

图像综合处理单元，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于上述输入运动图像的帧图像的期间中包含的上述目的运动图像的多个帧图像的合计之间的差减少，由此生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像；以及

颜色空间约束单元，将第一约束条件和第二约束条件独立地设定为表示上述目的运动图像内的时空上相邻的像素中表示颜色的数值应该连续的颜色空间约束条件，上述第一约束条件表示上述相邻的像素中表示明亮度的数值应该连续，上述第二约束条件表示上述相邻的像素中表示色彩的数值应该连续，

上述图像综合处理单元根据多个上述输入运动图像，求出维持上述颜色空间约束条件的多个像素值，从而生成上述目的运动图像。

9.如权利要求7所述的图像生成装置，其特征在于，具备：

运动检测单元，从多个上述输入运动图像的至少1个中检测被摄体的运动；以及

运动约束单元，设定运动约束条件，该运动约束条件表示上述目的运动图像的像素的像素值应该沿着检测出的上述运动连续，

上述图像综合处理单元求出同时维持上述颜色空间约束条件和上述运动约束条件的多个像素值，从而生成上述目的运动图像。

10.一种图像生成方法，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，其特征在于，包括：

拍摄控制步骤，根据与上述输入运动图像所包含的噪声的大小有关的拍摄条件信息，决定各上述输入运动图像的帧的曝光期间的相位差；

图像输入步骤，输入对不同的上述颜色成分的帧的曝光期间设置决定的上述相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；以及

图像综合处理步骤，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于上述输入运动图像的帧图像的期间中包含的上述目的运动图像的多个帧图像的合计之间的差减少，从而生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像。

11.一种图像生成方法，根据多个不同的颜色成分的输入运动图像，生成彩色的目的运动图像，其特征在于，包括：

图像输入步骤，输入对不同的上述颜色成分的帧的曝光期间设置相位差来拍摄同一被摄体而得到的多个运动图像，作为上述输入运动图像；

图像综合处理步骤，对于各上述颜色成分，使上述输入运动图像的帧图像与对应于上述输入运动图像的帧图像的期间中包含的上述目的运动图像的多个帧图像的合计之间的差减少，从而生成帧周期比上述输入运动图像的曝光期间短的上述目的运动图像；以及

颜色空间约束步骤，将第一约束条件和第二约束条件独立地设定为表示上述目的运动图像内的时空上相邻的像素中表示颜色的数值应该连续的颜色空间约束条件，上述第一约束条件表示上述相邻的像素中表示明亮度的数值应该连续，上述第二约束条件表示上述相邻的像素中表示色彩的数值应该连续，

在上述图像综合处理步骤中，根据多个上述输入运动图像，求出维持上述颜色空间约束条件的多个像素值，从而生成上述目的运动图像。

Images