CN103053163A - 图像生成装置、图像生成系统、方法及程序 - Google Patents

Abstract

本发明提供一种图像生成装置、图像生成系统以及方法，根据利用单板摄像元件所拍摄的运动图像，获得同时实现了颜色清晰度的提高和灵敏度(曝光量、S/N)提高的高画质运动图像。该图像生成装置根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示被摄体的新的运动图像。以比第2运动图像长的曝光时间拍摄第1运动图像，从而第1运动图像的帧频比第2运动图像的帧频低。图像生成装置具备：获取第1运动图像及第2运动图像的各影像信号的获取部、基于所获取的第1运动图像及第2运动图像的各影像信号来生成具有与第2运动图像的帧频相同帧频的新的运动图像的处理部、和输出新的运动图像的输出部。

Description

图像生成装置、图像生成系统、方法及程序

技术领域

本发明涉及生成运动图像的图像处理，特别涉及根据由在不同的摄影条件下拍摄同一对象(被摄体)而得到的像素构成的运动图像，来生成显示该对象的新的运动图像的图像处理。 

背景技术

对于彩色摄像中所使用的摄像方式之中的3板摄像方式，由光学系统对入射光按RGB进行颜色分离，分别利用不同的摄像元件对这些RGB的光进行受光。3板摄像方式中，由于由摄像元件对所有的入射光进行受光，因此光的利用效率高，色分辨率也高。另一方面，在小型、廉价的照相机中，不使用所述颜色分离的光学系统的单板式彩色摄像被广泛采用。在单板式彩色摄像中，由于在空间上交替配置(例如拜尔排列等)透过式的RGB滤色器，因此颜色清晰度下降，透过颜色以外的光被吸收、反射，因此存在入射光的利用效率低且出现低灵敏度的一问题。 

针对这种问题，作为在单板式彩色摄像中提高颜色清晰度和灵敏度(S/N)的现有的装置，具有利用相邻的像素值来计算虚拟信号值的摄像装置(例如参照专利文献1)。在文献1中，在作为基准的G像素的像素位置使用G像素自身的像素值和周围的R、B像素的像素值，来计算虚拟R信号、虚拟B信号。由此，使得由以基准像素为中心而包含的纵横多个像素所构成的像素块内的R像素和B像素数增加，以实现R信号和B信号的颜色清晰度、S/N的提高。 

在先技術文献 

专利文献 

专利文献1：JP特开2009-55589号公报 

发明内容

(发明要解决的课题) 

在上述的图像生成装置的构成中，由于根据单板输入图像来计算虚拟信号值，因此颜色清晰度比输出图像的清晰度要低。此外，使得像素块的尺寸大于输出图像的像素尺寸来实现S/N的提高，因此存在颜色清晰度进一步降低的问题。即，在同时实现颜色清晰度提高和灵敏度提高方面存在问题。 

本发明是为了解决现有的问题而提出的，其目的在于根据利用单板摄像元件进行拍摄而得到的运动图像来获得同时实现颜色清晰度的提高和灵敏度(曝光量、S/N)的提高的高画质运动图像。 

(用于解决课题的技术方案) 

本发明的图像生成装置根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，其中，所述第1运动图像以比所述第2运动图像长的曝光时间进行拍摄，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，所述图像生成装置具备：获取部，其获取所述第1运动图像及所述第2运动图像的各影像信号；处理部，其基于获取到的所述第1运动图像及所述第2运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像；和输出部，其输出所述新的运动图像。 

所述获取部可获取所述第1颜色成分及所述第2颜色成分相同的所述第1运动图像及所述第2运动图像的各影像信号。 

所述获取部可获取绿的所述第1运动图像及绿的所述第2运动图像的各影像信号。 

所述获取部可获取绿的所述第1运动图像的影像信号、以及包含绿在内的多个颜色成分的所述第2运动图像的影像信号。 

绿的波段可包含第1波段及第2波段，所述获取部获取所述第1波段的所述第1运动图像的影像信号、以及所述第2波段的所述第1运动图像的影像信号。 

所述单板彩色摄像元件可检测所述第1颜色成分的光、所述第2颜色 成分的光、第3颜色成分及第4颜色成分的光，所述第1颜色成分及所述第2颜色成分是相同的颜色成分，所述第3颜色成分及所述第4颜色成分不同于所述第1颜色成分及所述第2颜色成分，并且所述第3颜色成分及所述第4颜色成分互不相同，所述获取部还获取具有与所述第2运动图像的帧频相同帧频的第3运动图像及第4运动图像的影像信号，所述处理部进一步基于所述第3运动图像及所述第4运动图像的各影像信号，来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像。 

所述获取部可获取绿的所述第1运动图像的影像信号、绿的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。 

所述获取部可获取绿的所述第1运动图像的影像信号、包含红、绿、蓝的颜色成分在内的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。 

所述获取部至少在不同的时刻获取所述第2运动图像及所述第3运动图像的各影像信号。 

所述获取部可针对所述第2运动图像、所述第3运动图像及所述第4运动图像的各个运动图像获取包含识别头和各运动图像数据在内的影像信号，该识别头包含曝光时刻的时间差的信息。 

所述处理部可根据利用所述单板彩色摄像元件上的相邻的4像素拍摄到的、所述第1运动图像的多个帧的像素、所述第2运动图像的1帧的像素、所述第3运动图像的1帧的像素及所述第4运动图像的1帧的像素，来生成所述新的运动图像的所述第1颜色成分、所述第3颜色成分及所述第4颜色成分的多个帧的各像素。 

所述处理部生成的所述新的图像的像素数比所述单板彩色摄像元件的像素数少。 

所述处理部生成的所述新的图像的像素数少于所述第1运动图像的像素数与所述第2运动图像的像素数之和。 

所述处理部生成在所述第1运动图像与所述新的运动图像中所包含的所述第1颜色成分的运动图像之间满足第1条件、第2条件以及第3条件的运动图像，该第1条件表示对应的各像素位置处的时间上的总光量应一 致，该第2条件表示空间上的总光量应一致，该第3条件是与相邻的像素的颜色的连续性相关的条件。 

所述处理部可设定表示各像素位置处的所述第1运动图像的1帧的总光量、和与所述第1运动图像的1帧时间相当的所述新的运动图像的多个帧的总光量应一致的第1条件。 

所述图像生成装置还可以具备运动检测部，该运动检测部检测所述第2运动图像中的被摄体的运动，将检测结果作为运动向量来输出，进一步利用所述运动检测部的检测结果，所述处理部对表示沿着所述运动向量的所述新的运动图像内的像素值应一致的第4条件进行设定，并生成满足所述第1条件至所述第4条件的运动图像。 

所述第1运动图像的颜色成分和所述第2运动图像的颜色成分可包含同一颜色成分，所述摄像部对构成所述单板彩色摄像元件的同一水平行的像素以相同的曝光期间进行拍摄。 

所述摄像部可输出具有与所述第2运动图像的第2颜色成分不同的第3颜色成分的第3运动图像的影像信号，该第3运动图像是按照与所述第2运动图像的帧频相同的帧频进行拍摄、且在与所述第2运动图像的曝光时刻不同的曝光时刻进行拍摄而得到的运动图像。 

本发明的图像生成系统可具备：摄像部，其具有对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件；上述的任一种图像生成装置；和图像输出部，其输出从所述图像生成装置输出的所述新的运动图像，所述摄像部利用所述单板彩色摄像元件来拍摄表示被摄体的第1颜色成分的运动图像的第1运动图像、以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像的各影像信号，并且以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低。 

本发明的其他的图像生成系统具备：上述任意的图像生成装置；图像输出部，其输出从所述图像生成装置输出的所述新的运动图像；和显示装置，其显示从所述图像输出部输出的所述新的运动图像。 

所述图像生成装置可经由存储卡、天线及网络中的至少一个来获取所述第1运动图像及所述第2运动图像的各影像信号。 

本发明的方法根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，所述方法包括：获取所述第1运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第1运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的运动图像的步骤。 

本发明的计算机程序是由安装于图像生成装置中的计算机所执行的计算机程序，通过执行所述计算机程序，所述图像生成装置根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，所述计算机程序使安装于所述图像生成装置中的计算机执行如下步骤：获取所述第1运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第1运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的运动图像的步骤。 

(发明效果) 

根据本发明的某一实施方式涉及的图像生成装置，在单板彩色摄像中，使用像素数比输出图像更多(高密度)的单板输入图像。输入图像由长时间曝光像素和短时间高帧频像素构成。输出图像的像素值是利用对应的位置的长时间曝光像素和短时间高帧频像素值生成的。根据上述结构，在提高输出图像的颜色清晰度的同时，即便是从高密度的摄像像素得到的图像，通过长时间曝光确保了曝光量，从而实现了灵敏度的提高。通过利用短时间高帧频像素的信息，使长时间曝光像素的信息高帧频化。其结果，能够获得生成图像的颜色清晰度和灵敏度都得到提高的高画质图像。 

附图说明

图1是表示实施方式1涉及的图像生成装置100及具备图像生成装置100的图像生成系统110的结构的图。 

图2是表示图1所示的图像生成部30的内部结构的图。 

图3是表示图像生成装置30所执行的处理步骤的流程图。 

图4(a)是示意地表示由图像获取部101获取的运动图像的图，(b)是按照容易识别的方式对(a)的粗线正方形405区域中所包含的像素进行分离表示的图，(c)是表示由图像处理部103生成的高帧频彩色运动图像的图。 

图5是表示与所生成的运动图像的1像素的区域对应的、由16像素构成的正方区域617的图。 

图6是表示所生成的图像的1像素所对应的、包含输入图像的多个像素区域在内的粗线正方形区域6B1～6B4的图。 

图7是表示低帧频长时间曝光的R像素、G像素、B像素的曝光时刻的关系的图。 

图8是表示具有描述了摄影条件信息的识别头210a和运动图像数据210b的影像信号210的格式的一例的图。 

图9(a)及(b)是表示具有RGB滤色器排列的单板摄像元件701的结构的图。 

图10(a)及(b)分别表示与运动检测处理相关的帧编号t和t+1中的像素配置的图。 

图11是表示RGB颜色空间与球面坐标系(θ、ψ、r)的对应例的图。 

图12是表示RGB颜色空间中的固有向量轴(C1，C2，C3)的例子的图。 

图13(a)～(d)是表示连续帧的摄影时刻(t＝0，1，2，3)的被摄体位置的图。 

图14(a)～(d)是按时间顺序(t＝0，1，2，3)表示想要对图13(a)～(d)所示的被摄体进行拍摄而获取的目标运动图像的图。 

图15是表示与目标运动图像相同清晰度的RGB滤色器排列的例子的图。 

图16(a)～(d)是表示与各时刻(t＝0，1，2，3)的绿色相关的生成图像(左 列)和被摄体图像(右列)的图。 

图17(a)～(d)是表示与各时刻(t＝0，1，2，3)的红色相关的生成图像(左列)和被摄体图像(右列)的图。 

图18(a)～(d)是表示与各时刻(t＝0，1，2，3)的蓝色相关的生成图像(左列)和被摄体图像(右列)的图。 

图19是表示通过本发明的方法获得作为输入的图像的滤色器配置和每个像素的曝光时间及帧频的差异的图。 

图20(a)～(d)是按时间顺序(t＝0，1，2，3)表示针对S像素得到的G图像的图。 

图21是表示针对G像素得到的图像的图。 

图22是表示针对R像素的长时间曝光的图像的图。 

图23是表示针对B像素的长时间曝光的图像的图。 

图24(a)及(b)是用于说明使摄影条件一致的像素的图。 

图25(a)是由包含RGB各个颜色成分在内的透明像素W(501a～501d)形成第1运动图像的图，(b)是由在人类的视觉特性上是相同的绿色但波长特性不同的2种绿像素G1(511a～511d)、G2(514)形成第1运动图像和第2运动图像的图。 

图26是表示实施方式2涉及的图像生成系统130的结构的图。 

图27是表示实施方式2中的图像生成部31的内部结构的图。 

图28是表示实施方式的图像生成部31的处理步骤的流程图。 

图29是表示不具备显示部的图像生成系统300的图。 

图30是表示不具备摄像部10的图像生成系统400的图。 

具体实施方式

以下，参照附图说明本发明的图像生成装置的实施方式。 

(实施方式1) 

图1表示本实施方式涉及的图像生成装置100及具备图像生成装置100的图像生成系统110的结构。图像生成系统110例如是摄像机。图像生成装置100根据以不同的曝光时间及不同的帧频对同一对象(被摄体)进行拍摄而得到的运动图像的数据，来生成新的运动图像。 

在本实施方式中，利用单板彩色摄像元件拍摄长时间曝光、低帧频的运动图像和短时间曝光、高帧频的运动图像。图像生成装置100根据长时间曝光、低帧频的运动图像的像素、和短时间曝光、高帧频的运动图像的像素，来生成新的运动图像。所谓新的运动图像是颜色清晰度高且帧频高的彩色运动图像。 

图像生成系统110具备：摄像部10、图像生成装置100、输出图像存储部35、图像输出部45和显示部40。 

摄像部10是例如包含摄像机的光学系统的摄像系统，利用具有不同摄影条件的像素的单板式彩色摄像元件来拍摄同一被摄体，获得不同时间清晰度的运动图像。本实施方式中的不同时间清晰度的“运动图像”是指对于同一对象(被摄体)而言(i)短时间曝光、高帧频运动图像、即时间清晰度相对较高且曝光量相对较低的运动图像、以及(ii)长时间曝光、低帧频运动图像、即时间清晰度相对较低且曝光量相对较高的运动图像。 

图像生成装置100具备图像存储部20和图像生成部30。 

图像存储部20例如是半导体存储器，暂时存储由摄像部10拍摄的运动图像。 

图像生成部30是例如由硬件组装的图像处理电路(图形控制器)。图像生成部30读出在图像存储部20中存储的运动图像，根据所读出的运动图像来生成提高了颜色清晰度和帧频的新的运动图像。 

图像输出部45是所生成的运动图像的输出端子。例如，图像输出部45是与数据总线连接的连接器或端子。 

显示部40例如是液晶显示装置，显示由图像生成部30生成的新的运动图像。 

图像生成系统110也可以通过摄像机以外的形式实施。例如，在图像生成系统110中，图像生成装置100是具备通用的处理器和图像处理程序等的软件的PC，摄像部10可以是具备单板摄像元件的摄像机。对于其他的变形例，参照图29及图30来进行说明。 

接下来，详细说明图像生成装置100的图像生成部30。 

图2表示图1所示的图像生成部30的内部结构。图像生成部30具备：图像获取部101、运动检测部102、图像处理部103和输出部106。 

图像获取部101获取对同一对象(被摄体)进行摄像而得到的时间清晰度及颜色不同的运动图像。图像获取部101包括：高帧频G获取部101a、低帧频G获取部101b、低帧频R获取部101c、低帧频B获取部101d。 

高帧频G获取部101a获取高帧频的绿色(G)的图像。低帧频G获取部101b获取低帧频的绿色(G)的图像。低帧频R获取部101c获取低帧频的红色(R)的图像。低帧频B获取部101d获取低帧频的蓝色(B)的图像。 

高帧频G获取部101a、低帧频G获取部101b、低帧频R获取部101c、低帧频B获取部101d所获取的图像的时间清晰度及颜色不同，但都是拍摄相同的对象(被摄体)而得到的图像。 

在本实施方式中，假定了以绿色拍摄高帧频的运动图像，但这仅仅是一例。主要对于绿色、红色及蓝色而言，只要按光的每个波段来拍摄运动图像，则以红色或蓝色拍摄高帧频的运动图像即可。 

运动检测部102具有运动分布计算部102a和可靠度分布计算部102b。运动检测部102计算输入图像中的图像的运动检测和运动检测的可靠度，并输出其结果。具体而言，运动分布计算部102a基于输入到图像获取部101中的图像，以获取到的图像中的一部分图像(典型的是被摄体)作为对象，进行其运动检测。运动检测最终是以各帧的全部图像作为对象来进行的。可靠度分布计算部102b在各帧的全部图像中计算运动分布计算部102a中的运动检测的可靠度。再者，将在后面叙述可靠度分布计算部102b的具体的说明。 

图像处理部103根据由图像获取部101所获取的多个运动图像，生成颜色清晰度高、且帧频高的彩色运动图像。 

具体而言，图像处理部103具有：高帧频化处理部103a、第1条件设定部103b、第2条件设定部103c、第3条件设定部103d、和第4条件设定部103e。第1至第4条件设定部设定所获取的运动图像和新生成的运动图像应满足的关系(条件)。 

再者，在本说明书中，将新生成的运动图像也称为“目标运动图像”。“目标运动图像”是彩色的运动图像。其中，在下文中，有时也指构成运动图像的1帧图像。 

第1条件设定部103b设定目标运动图像的像素值和所获取的运动图 像的像素值的时间关系(从目标运动图像到所获取的运动图像的时间劣化的条件)。第2条件设定部103c设定目标运动图像和所获取的运动图像的像素值的空间关系(从所获取的运动图像到目标运动图像的空间合并的条件)。第3条件设定部103d设定针对目标运动图像的空间上的约束条件。 

第4条件设定部103e利用从运动检测部102获取的运动和后述的运动检测的可靠度的结果，设定针对目标运动图像的约束条件。 

高帧频化处理部103a设定将被赋予了第1至第4条件设定部103b～103e所设定的条件的运动图像作为变量的评价函数，求出使该函数值尽量小(优选最小)的图像，从而生成目标运动图像的各色运动图像R_O、G_O、B_O。将这样生成的运动图像作为目标运动图像来输出。 

输出部106是图像生成部30的输出端子。例如，在图像生成部30是图像处理电路(图形控制器)时，输出部106是与总线连接的连接器。输出部106向外部输出由图像处理部103生成的彩色图像的数据。输出目的地例如是显示部40。 

再者，在本实施方式的“帧”不仅包含逐行方式中的帧，还包含隔行方式中的偶数场及奇数场。 

接下来，说明按照以上方式构成的图像生成部30所执行的处理。图3表示图像生成装置30所执行的处理的步骤。 

在步骤301中，图像获取部101获取曝光时间、帧频和颜色不同的多个运动图像。具体而言，高帧频G获取部101a获取高帧频的G运动图像，低帧频G获取部101b针对同一对象(被摄体)获取低帧频的G运动图像，低帧频R获取部101c针对同一被摄体获取低帧频的R运动图像，低帧频B获取部101d针对同一被摄体获取低帧频的B运动图像。 

图4(a)示意地表示由图像获取部101获取的运动图像。图4(b)按照容易识别的方式对图4(a)的粗线正方形405区域所包含的像素进行分离表示。图4(c)表示由图像处理部103生成的高帧频彩色运动图像。在图4(a)、(c)中，按时间顺序表示所述2种运动图像的连续的帧图像，图的纵深方向表示时间轴，像素的纵深方向的厚度表示该像素的曝光时间。此外，在图4(a)、图4(c)中，由矩形的大小和密度表现空间清晰度的差异。 

具体而言，在图4中，粗线的正方形405、409表示拍摄相同大小的 范围的区域。在图4(a)中，在该正方形405的范围内配置了4个像素。另一方面，在图4(c)的各正方形区域409中，在正方形的区域内配置了1个像素，与图4(c)相比，图4(a)的像素配置成为像素面积为1/4而像素密度是4倍的配置。 

G像素401a～401d表示由高帧频G获取部101a获取的4帧的高帧频G运动图像的像素。R像素402表示由低帧频R获取部101c获取的1帧的低帧频R运动图像的像素。B像素403表示由低帧频B获取部101d获取的1帧的低帧频B运动图像的像素。G像素404表示由低帧频G获取部101b获取的1帧的低帧频G运动图像的像素。 

图4(a)的低帧频图像402、403、404的曝光时间对应于G像素401a～401d的4帧的曝光时间。 

图4(c)的3个正方形区域409表示对与图4(a)的正方形405的粗线所表示的正方形区域相同的范围进行拍摄而得到的R、G、B的高帧频运动图像。在图4(c)中，R图像406a～406d具有与和正方形405相同范围的G像素401a～401d的帧时间相对应的帧时间。 

同样，G图像407a～407d和B图像408a～408d分别具有与和正方形405相同的被摄体范围的G像素401a～401d的帧时间相对应的帧时间。 

根据本实施方式，图像处理部103利用在图4(a)的正方形405的范围中获取到的高帧频G运动图像的像素401a～401d、低帧频的R像素402、B像素403、G像素404的各像素，分别生成图4(c)所示的高帧频的R运动图像的像素406a～406d、G运动图像的像素407a～407d、B运动图像的像素408a～408d。 

这样，在本发明中，通过在要生成的RGB运动图像的各像素位置上获取密度比要生成的图像高的单板RGB图像，从而提高颜色清晰度。在此，针对以像素的高密度产生的受光量下降，利用通过比要生成的图像的帧间隔更长的曝光时间的摄影来增加曝光量并提高了灵敏度的图像，生成图像，从而能够获得同时实现颜色清晰度和灵敏度的彩色运动图像。 

再者，由图像获取部101获取的颜色排列并不限于上述例子，RGB的相对位置可以不同，也可以获取4种以上的颜色，只要包含2种以上的不同颜色即可。此外，与生成图像的一个像素位置对应的获取图像的像素数 也并不限于上述例子那样的4个像素，也可以如图5那样按照由一部分包含高帧频像素601a～601d的16像素构成的正方区域617、和生成的运动图像的1像素的区域相对应的方式，获取图像。此外，还可以根据要生成的图像内的位置而改变颜色的种类或数目。 

具体如图6所示。在图6中，所生成的图像的1像素对应的粗线正方形区域6B1～6B4各自包含输入图像的多个像素区域。并且，在正方形区域6B1/6B4的组、和正方形区域6B2/6B3的组之间，正方区域所包含的输入图像的颜色的种类和数目不同。特别地，在正方形区域6B1/6B4的组中包含“W”像素。该像素的像素值直接包含入射光的颜色成分。即，该像素的像素值包含RGB各自的颜色成分。 

这样，通过使不同的正方区域具有不同的颜色特性，从而多面拍摄仅靠单一正方区域的颜色特性无法拍摄的颜色和明亮度的信息，能够应对更多的照明条件、被摄体。 

此外，只要由图像获取部101获取的RGB图像间的摄影时刻在时间上的相对关系上是已知的，则曝光开始、曝光结束时刻不需要一定是同时。也就是说，摄像时刻的时间相位可以不同。 

具体而言，可以如图7那样设定低帧频长时间曝光的R像素、G像素、B像素的曝光时刻的关系。在图7中，横轴表示时间。此外，矩形表示各像素的帧，矩形的横宽表示曝光时间的长度。在图7中，对于图4(b)所示的配置的输入像素，低帧频的R、G及B的曝光时刻不相同，分别稍微错开了等间隔。曝光时刻的错开方式是任意的。例如，可以各错开与高帧频运动图像(G)的1帧时间相当的量。 

通过错开曝光时刻，从而图2所示的图像获取部101的低帧频G获取部101b、低帧频R获取部101c、及低帧频B获取部101d获取各输入信号的时刻也可以同样被错开。 

在图7所示的曝光时刻下，拍摄了低帧频长时间曝光的R像素、G像素、B像素的情况下，需要从摄像部10向图像生成部30通知其曝光时刻的构造。为此，考虑对所发送的影像信号附加摄影条件。图8表示具有描述了摄影条件的信息的识别头210a和运动图像数据210b的影像信号210的格式的一例。 

摄像部10将表示摄影条件的信息保存在识别头210a中，输出将识别头210a附加在所拍摄的运动图像数据210b中的影像信号210。 

图像生成部30的图像获取部101接收影像信号210后，先读取识别头210a，获取摄影条件的信息。然后，基于该摄影条件获取运动图像数据210b。此外，图像处理部103基于识别头210a的摄影条件，设定第1条件设定(时间劣化的约束条件)和第2条件设定(空间合并的约束条件)。 

识别头210a中保存的图像的摄影条件的信息是每个颜色(RGB)及每个像素位置的曝光时间、帧频、RGB像素的曝光时刻的相对时间差(时间相位差)、与这些建立了对应关系的数值或符号。 

在图像获取部101接收数字信号的情况下，识别头210a是数字数据。由此，对于表示摄影条件的曝光时间、帧频、RGB像素的曝光时刻的相对时间差等值，可以用数字值直接表示。或对应的摄像元件内的电压、电荷量、电流值(模拟值)可以四舍五入为规定的有效位数，其值由数字值表示。 

另一方面，在图像获取部101接收模拟影像信号的情况下，以摄像元件内的电压、电荷量、电流值等模拟值来表现上述信息，或者由与它们建立了对应关系的数值或符号来表现上述信息。 

这样根据像素而改变曝光开始、曝光结束时刻，从而错开来自摄像元件的像素值的读出时刻，能够提高信号线的传输效率。此外，对根据像素改变曝光开始、曝光结束时刻而得到的信息进行合并来生成新的图像，从而获得时间清晰度高的运动图像。 

能够通过具有RGB滤色器排列的单板摄像元件拍摄由图像获取部101获取的图像。图9(a)及(b)表示具有RGB滤色器排列的单板摄像元件701的结构。图9(b)表示从光的入射方向观察时的滤色器排列。通过利用该单板摄像元件701，能够根据像素位置以不同的帧频、曝光时间进行拍摄，在摄像后可生成同等的图像。 

再者，图9(a)及(b)所示的单板摄像元件701是一例。除了RGB滤色器排列之外，也可以利用包含在图6中所说明的“W”像素的排列。 

再次参照图3。在步骤302中，运动检测部102对构成目标运动图像的各图像的每个像素的运动进行检测，并计算其运动检测的可靠度。作为运动检测处理，在本实施方式中，在从高帧频G获取部101a得到的运动 图像的各帧图像的各位置上，运动检测部102求出被摄体的运动方向和大小，然后一起求得所求出的运动检测的可靠度的时间空间上的分布conf(x，y，t)。在此，所谓运动检测的可靠度是指可靠度越高则运动检测的结果似乎越正确，而可靠度较低的情况下运动检测的结果中越有错误。 

在本实施方式中，将高帧频G图像用于运动检测中。 

这是因为高帧频图像能够检测更详细的运动。 

相邻的2帧图像间的图像上的各位置处的运动的求取方法可采用例如P.ANANDAN，“A Computational Framework and an Algorithm for the Measurement of Visual Motion”、IJCV、2、283-310(1989)中使用的方法、在运动图像编码中一般采用的运动检测方法、在利用了图像的移动体跟踪等中采用的特征点跟踪方法等。 

此外，也可以采用检测图像整体的大区域的运动(仿射运动等)一般方法、Lihi Zelkik-Manor、“Multi-body Segmentation：Revisinting Motion Consistency”、ECCV(2002)等方法，来进行多个区域中的每个区域的运动检测，进而用作各像素位置处的运动。 

说明基于块匹配的2帧图像间的运动检测方法。图10(a)及(b)分别表示与运动检测处理相关的帧编号t和t+1中的像素配置。在此，将图10(a)的黑像素2401作为关注像素，通过如下步骤来决定该像素与下一帧图像的哪个像素对应(移动到哪里)。 

首先，设定以关注像素2401为中心的块区域2402(3×3像素的斜线区域)。该块尺寸被预先确定。接下来，在下一帧图像(图10(b))中设定与所述块区域相同尺寸(3×3像素)的区域2403，并求出区域2402和区域2403的像素值的SSD(Sum of Squared Differences)或者SAD(Sum of Absolute Differences)。之后，在图10(b)图像内按每1像素改变区域2403的位置，将SSD或者SAD最小时的区域2403的中心像素位置作为与像素2401对应的像素位置(运动向量的目的地)。 

以上是针对像素2401的运动检测结果。改变关注像素，针对图10(a)的全部像素反复进行同样的步骤。由此，针对图10(a)的帧图像的运动检测结束。针对连续的帧图像中的相邻的帧图像，依次进行运动检测，从而运动图像整体的运动检测结束。 

可靠度也可以利用上述P.ANANDAN文献中记载的方法来求得，在使用了块匹配的运动检测的情况下，如(式1)那样，作为可靠度，也可以使用从与运动对应的块间的像素值之差的平方和能取的最大值SSDmax中减去所述差的平方和而得到的值，即将块间的像素值之差的平方和的符号取逆之后的值conf(x，y，t)。此外，在使用了图像的大区域的运动检测或每个区域的运动检测的情况下，作为可靠度，也可以使用从各像素位置的运动的起点附近区域和终点附近区域的像素值之差的平方和能取的最大值SSDmax中减去所述平方和而得到的值conf(x，y，t)。 

【式1】 

在(式1)中，位置(x’、y’、t+1)是与作为运动检测结果而得到的像素位置(x、y、t)的移动目的地相当的像素位置。该(t+1)意味着在将高帧频G图像的1帧时间设为1时的、从某个时刻t经过1帧时间后的时刻。I(x、y、t)是(x、y、t)的像素值。此外，(式1)的∑表示在块匹配中使用的块区域内的相加。 

接下来，在图3的步骤303中，由第4条件设定部103e设定最终所生成的彩色运动图像应该满足的运动约束条件Q_m。第4条件设定部103e利用由运动检测部102求出的运动分布和可靠度分布，按照(式2)来设定运动约束条件Q_m。 

【式2】 

$Q_m=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}\mathrm{conf}(x,y,t)\·[$

${\{R_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-R_H(x,y,t)\}}^2$

$+{\{G_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-G_H(x,y,t)\}}^2$

$+{\{B_H(x+v_x(x,y,t),y+v_y(x,y,t),t+1)-B_H(x,y,t)\}}^2]$

在(式2)中，R_H、G_H、B_H分别表示作为目标运动图像的彩色运动图像的RGB成分，v_x、v_y表示检测出的运动向量的x方向的成分和y方向的成分。 

在(式2)中，各∑意味着对x、y、t的加法运算，作为结果，针对目标运动图像定义运动约束条件Q_m。(式2)定义了沿着在获取到的运动图像上检测出的运动，目标运动图像上的对应的像素中的各颜色的像素值在时间上越是一样(即像素值在时间上连续)则值越小的运动约束条件Q_m。在(式2)中，按运动检测的可靠度对像素值的变化量进行加权来使用。 

在使用低清晰度的图像来进行运动检测时，对于高清晰度图像的全像素位置无法得到运动向量。在这种情况下，只要根据在空间上的附近定义的运动向量进行插值来求出运动向量即可。插值方法使用双线性插值法或双三次(bicubic)插值法等一般的方法。 

减小运动约束条件Q_m的值表示目标运动图像的像素的像素值沿着在获取到的运动图像上检测出的运动而连续。例如，在某个被摄体移动着的运动图像中，如果被摄体相同，则与位置、移动量无关，该被摄体部分的像素的像素值大致相同，像素值的变化少。因此，认为赋予像素的像素值沿着运动而连续这样的条件后得到的目标运动图像，与被摄体的运动相关的破绽较少。 

再者，在本实施方式中，减小运动约束条件Q_m的值并不意味着设定Q_m≤Q这样的Q。如后述那样，在本实施方式中，设定包含多个约束条件的评价函数J，将使该评价函数J最小的运动图像作为目标运动图像(新的运动图像)来输出。如果是使这种的评价函数J最小的运动图像，则推测为总的来说较好地满足了使各约束条件的值变小的条件。通过该推测，在本实施方式中，判断为各约束条件被尽可能减小。以下，说明各种的约束条件，但是需要注意的是，并不是设定每一个都应该满足的值。 

接下来，在步骤304中，第1条件设定部103b设定时间劣化约束条件。(式3)～(式5)表示约束条件的例子。 

【式3】 

|H_RR_H-R_L|²

【式4】 

|H_GG_H-G_L|²

【式5】 

|H_BB_H-B_L|²

在(式3)～(式5)中，R_H、G_H、B_H分别表示由图像获取部所获取的各个像素位置处的、目标运动图像(高清晰度运动图像)的各帧所对应的虚拟像素的RGB值。H_R、H_G、H_B表示从具有这种RGB值的高清晰度运动图像变换为获取到的图像的算子。在本实施例中，H_R、H_G、H_B是低帧频化的变换算子。另一方面，R_L、G_L、B_L分别表示所获取的长时间曝光的R图像、G图像、B图像。因低帧频化而使所述虚拟像素值劣化变换后的图像和所获取的图像越是一致，则(式3)～(式5)的值就越小。再者，在(式3)～(式5)中，不包含与空间清晰度相关的变换。 

例如，可由(式6)所示的式子表示长时间曝光低帧频化的变换。 

【式6】 

$\mathrm{LH}(x,y,t_L)=\underset{t=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

在此，将低帧频图像的像素位置(x，y，tL)的像素值表示为LH(x，y，tL)。将高帧频图像的像素位置(x，y，t)的像素值表示为HH(x，y，t)。(式6)的等号意味着与左边和右边相关的像素间总光量相等。即，表示在各像素位置上，与低帧频图像的1帧相应的总光量等于与高帧频的新的运动图像的多个帧相应的总光量。在此，所谓的“多个帧”是低帧频图像的1帧时间内所显示的新的运动图像的帧数。本实施方式中是4帧。再者，上述式6所示的总光量的关系在每个颜色成分中成立。 

再者，对于由高帧频G获取部101a所获取的高帧频像素而言，由于是与所述虚拟像素相同的帧频，因此从虚拟像素的图像到获取图像的变换成为恒等变换。 

接下来，在步骤305中，设定与第3条件设定部103d生成的目标运 动图像对应的空间上的约束条件。(式7)及(式8)表示空间上的约束条件的例Q_s1及Q_s2。 

【式7】 

【式8】 

$Q_{s2}=\underset{x}{\mathrm{\Σ}}\underset{\text{y}}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}[$

${\mathrm{\λ}}_{C1}(x,y,t)\·{\{4\·C_1(x,y,t)-C_1(x,y-1,t)-C_1(x,y+1,t)-C_1(x-1,y,t)-C_1(x+1,y,t)\}}^2$

$+{\mathrm{\λ}}_{C2}(x,y,t)\·{\{4\·C_2(x,y,t)-C_2(x,y-1,t)-C_2(x,y+1,t)-C_2(x-1,y,t)-C_2(x+1,y,t)\}}^2$

$+{\mathrm{\λ}}_{C3}(x,y,t)\·{\{4\·C_3(x,y,t)-C_3(x,y-1,t)-C_3(x,y+1,t)-C_3(x-1,y,t)-C_3(x+1,y,t)\}}^2]$

在(式7)中，θ_H(x，y)、ψ_H(x，y)、r_H(x，y)是以与RGB颜色空间对应的球面坐标系(θ、ψ、r)表现由目标运动图像的像素位置(x，y)处的R、G、B各自的像素值表示的三维正交颜色空间(所谓的RGB颜色空间)内的位置时的坐标值，θ_H(x，y)和ψ_H(x，y)表示2种偏角，r_H(x，y)表示失径。 

图11表示RGB颜色空间与球面坐标系(θ、ψ、r)的对应例。图11中，作为一例，将θ＝0的方向设为RGB颜色空间的R轴的正方向，将ψ＝0的方向设为RGB颜色空间的G轴的正方向，但是偏角的基准方向并不限于图11所示的方向，也可以是其他方向。按照这种对应，按每个像素，将作为RGB颜色空间的坐标值的红、绿、蓝各自的像素值变换为球面坐标系(θ、ψ、r)的坐标值。 

在将目标运动图像的各像素的像素值考虑为RGB颜色空间内的三维向量时，由与RGB颜色空间建立了对应关系的球面坐标系(θ、ψ、r)表现三维向量，从而能够独立地处理对作为像素的明亮度(信号强度、亮度也同义)的向量的大小进行表示的r轴的坐标值、以及对作为像素的色彩(包括色调、色差、彩度等)的向量的方向进行表示的θ轴及ψ轴的坐标值。在自然图像中，由于明亮度和色彩在时间空间上的变化量有很大不同，因此通过选择能够独立地评价并调整这些值的坐标，从而能够提高目标运动图 像的画质。 

(式7)定义了由目标运动图像的球面坐标系表示的像素值的、xy空间方向的2阶差分值的平方和。(式7)定义了在目标运动图像内空间上相邻的像素中的由球面坐标系表示的像素值的变化越是一样(即像素的颜色连续)则其值越小的条件Q_sl。 

条件Q_s1的值小意味着目标运动图像内的空间上相邻的像素的颜色平滑地连续。 

在图像中，由于像素的明亮度的变化和像素的色彩的变化可能由于物理上不同的事件而产生，因此如(式7)所示那样，利用λθ、λψ、λ_r单独设定与像素的明亮度的连续性(r轴的坐标值的变化的一致性)相关的条件((式7)的大括弧内的第3项)、和与像素的色彩的连续性(θ轴及ψ轴的坐标值的变化的一致性)相关的条件((式7)的大括弧内的第1项及第2项)，由此容易获得期望的画质。 

λθ(x，y)、λψ(x，y)、λ_r(x，y)分别是针对利用θ轴、ψ轴、r轴的坐标值设定的条件而在目标运动图像的像素位置(x，y)上应用的权重，其被预先设定。简单来说，也可以如λθ(x，y)＝λψ、(x，y)＝1.0、λ_r(x，y)＝0.01那样不依赖于像素位置或帧来进行设定。 

此外，优选在能够预测图像中的像素值的不连续性等的位置上将该权重设定得较小。例如，减小所获取的图像的空间微分值较大的位置的权重。 

也可以通过所获取的图像的帧图像内的相邻像素中的像素值的差分值或2阶差分值的绝对值为一定值以上，来判断像素值不连续。 

此外，优选按照与明亮度相关的约束条件、和与色彩相关的约束条件之差相对变宽的方式来设定权重。例如，优选预先将适用于与像素的色彩的连续性相关的条件的权重设定得大于适用于与像素的明亮度的连续性相关的条件的权重。这是因为，因被摄体表面的凹凸或运动引起的被摄体表面的朝向(法线方向)的变化，图像中的像素的明亮度比色彩更容易发生变化(变化缺乏一致性)。 

再者，在(式7)中，将由目标运动图像的球面坐标系表示的像素值的、xy空间方向的2阶差分值的平方和设定为条件Q_sl，但是也可以将2阶差分值的绝对值和、或者1阶差分值的平方和或绝对值和设定为条件。 

在上述说明中，利用与RGB颜色空间建立了对应关系的球面坐标系(θ、ψ、r)来设定了颜色空间条件，但是所使用的坐标系并不限于球面坐标系，在具有容易分离像素的明亮度和色彩的坐标轴的新的直角坐标系中设定条件，也可获得与上述相同的效果。 

例如，对所获取的运动图像或者成为基准的其他运动图像中所包含的像素值的RGB颜色空间内的频度分布进行主成分分析(基于分散的分析)，从而求出固有向量(按分散的大小选出的彼此正交的向量)的方向，新的直角坐标系的坐标轴可设为求出的固有向量的方向(作为固有向量轴)。图12表示RGB颜色空间中的固有向量轴(C1，C2，C3)的例子。 

接下来，说明(式8)。 

在(式8)中，C₁(x，y)、C₂(x，y)、C₃(x，y)是将目标运动图像的像素位置(x，y)处的红、绿、蓝各自的像素值、即RGB颜色空间的坐标值变换为新的直角坐标系的坐标轴C₁、C₂、C₃的坐标值的旋转变换。 

(式8)定义了目标运动图像的由新的直角坐标系表示的像素值的、xy空间方向的2阶差分值的平方和。(式8)定义了在目标运动图像的各帧图像内空间上相邻的像素中的由新的直角坐标系表示出的像素值的变化越是一样(即像素值连续)则值越小的条件Q_s2。 

条件Q_s2的值小意味着目标运动图像内的空间上相邻的像素的颜色连续。 

λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)分别是针对利用C₁轴、C₂轴、C₃轴的坐标值所设定的条件而在目标运动图像的像素位置(x，y)上应用的权重，其被预先设定。 

在C₁轴、C₂轴、C₃轴是固有向量轴的情况下，通过沿着各固有向量轴而单独地设定λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)的值，具有根据随着固有向量轴而不同的分散值来设定最佳的λ值的优点。即，由于能够期待在非主成分的方向上分散较小、且2阶差分的平方和变小，因此使得λ的值变大。相反，在主成分的方向上使λ的值相对变小。 

以上，说明了2种条件Q_s1、Q_s2的例子。作为条件Q_s，可使用Q_s1、Q_s2中的任意一个。 

例如，在使用(式7)所示的条件Q_s1时，通过导入球面坐标系(θ、ψ、 r)，单独利用表示颜色信息的θ轴及ψ轴的坐标值、以及表示信号强度的r轴的坐标值各自的坐标值来设定条件，并且在设定条件之际能够对颜色信息和信号强度分别赋予最佳的权重参数λ，因此，具有容易生成高画质的图像的优点。 

在使用(式8)所示的条件Q_s2时，利用从RGB颜色空间的坐标值通过线性(旋转)变换而得到的新的直角坐标系的坐标值来设定条件，因此具有能够简化运算的优点。 

此外，将固有向量轴作为新的直角坐标系的坐标轴C₁、C₂、C₃，能够利用反映出更多的像素受到影响的颜色变化的固有向量轴的坐标值来设定条件，因此较之单纯地利用红、绿、蓝各颜色成分(component)的像素值来设定条件，可期待所得到的目标运动图像的画质提高。 

接下来，在步骤306中，第2条件设定部103c设定空间合并约束条件。(式9)～(式11)表示约束条件的例子。 

【式9】 

|S_RR_H-R_O|²

【式10】 

|S_GG_H-G_O|²

【式11】 

|S_BB_H-B_O|²

在(式9)～(式11)中，R_O、G_O、B_O表示目标运动图像。此外，S_R、S_G、S_B分别表示从R_H、G_H、B_H到目标运动图像R_O、G_O、B_O的空间上的低清晰度化变换的算子。 

(式12)表示低清晰度化变换S的例子。 

【式12】 

$\mathrm{HL}(x_L,y_L,t)=\underset{x=0}{\overset{1}{\mathrm{\Σ}}}\underset{y=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{HH}(x,y,t)$

在(式12)中，使目标运动图像成为虚拟像素值在空间上的累计。 

在此，将低清晰度变换前的运动图像的像素位置(x，y，t)的像素值表示为HH(x，y，t)，将低清晰度变换后的运动图像的像素位置(xL，yL，t)的像素值表示为HL(xL，yL，t)。(式12)的等号意味着在与左边和右边相关的像素间其总光量相等。 

接下来，在步骤307中，生成满足由第1条件设定部103b、第2条件设定部103c、第3条件设定部103d、第4条件设定部103e所设定的约束条件的这种目标运动图像。因此，设定由所述约束条件构成的评价函数J。(式13)表示J的一例。 

【式13】 

J＝|H_RR_H-R_L|²+|H_GG_H-G_L|²+|H_BB_H-B_L|²

+|S_RR_H-R_O|²+|S_GG_H-G_O|²+|S_BB_H-B_O|²+Qs+Qm 

J被定义为构成想要生成的高帧频彩色图像的R、G及B的各色的图像(作为图像向量而记为R_O、G_O、B_O)的函数。H_R、H_G、H_B分别表示从目标运动图像的各色图像R_H、G_H、B_H到各颜色的获取到的图像R_L、G_L、B_L(向量表示)的低清晰度化变换。再者，评价函数J并不限于上述内容，也可以将(式13)的项置换为由类似式构成的项，或者追加表示不同条件的新项。 

接下来，由高帧频化处理部103a求出使(式13)的J值尽可能小(优选最小)的目标运动图像的各像素值，从而生成目标运动图像的各色图像R_O、G_O、B_O。例如，可以求解以目标运动图像的各色图像R_O、G_O、B_O的各像素值成分对J进行微分而得到的式子全部为0时的(式14)的方程式，求出使评价函数J最小的目标运动图像g，此外也可以利用最陡梯度法等反复运算型的最佳化方法来求取。 

【式14】 

$\frac{\∂J}{\∂R_O(x,y,t)}=\frac{\∂J}{\∂G_O(x,y,t)}=\frac{\∂J}{\∂B_O(x,y,t)}=0$

最后，输出在步骤308中生成的目标运动图像。 

以下，表示基于上述这种结构的输入输出图像的例子。图13(a)～(d)中表示向右下方向移动的圆形的被摄体(以黑色表示)。在图13以后的图中，被摄体全部包括RGB所有的颜色成分，目标运动图像设为RGB彩色图像。图中，RGB像素值越大(越亮)则以越是接近于黑色的颜色进行图示，按斜线花纹、水平线花纹的顺序表现出RGB像素值变小。 

图13(a)～(d)表示后述的连续帧的摄影时刻(t＝0，1，2，3)的被摄体位置。图14(a)～(d)按时间顺序(t＝0，1，2，3)表示想要拍摄图13(a)～(d)所示的被摄体而获取的目标运动图像。图14中，各个格子表示目标运动图像的各像素，被摄体为黑色，以斜线表示具有中间像素值的像素。目的在于使目标运动图像成为RGB彩色图像并获得各像素中的RGB值。 

首先，说明进行了与目标运动图像相同清晰度的单板彩色摄像时的图像。图15表示与目标运动图像相同的清晰度的RGB滤色器排列的例子。 

图16～18中按每个颜色表示以上述滤色器对图13的被摄体进行拍摄、并进行RGB颜色插值(决定所有像素位置的RGB值)后的图像。图16是G图像、图17是R图像，图18是B图像。在此，假定被摄体同等地包含RGB所有的颜色成分。图16～18的(a)～(d)表示各时刻(t＝0，1，2，3)的生成图像(左列)和被摄体图像(右列)，能够再现被摄体颜色的像素以黑色表示，具有中间值的像素值的像素按像素值从大到小的顺序以斜线、水平线表示。在图16～18中，尽管与图15的滤色器的位置一致的像素可正确地获得颜色图像，但由于通过周边像素值的插值可获得与滤色器不同的颜色，因此颜色清晰度比图14的目标运动图像的清晰度要低。 

接下来，利用图19～23说明在提出的方法中作为输入的图像。图19表示获得在提出的方法中作为输入的图像的滤色器配置、和每个像素的曝光时间及帧频的不同。在图19中，各滤色器的密度在纵横上是图14的目标运动图像的清晰度的2倍，RGB与图15同样地表示滤色器的颜色。S像素对应于RGB中的任意颜色。在本实施例中，以后将S颜色设为G，但是即便转换为R或B，也可以获得本发明的效果。在设为G时，具有人的视觉可识别的空间清晰度被提高的效果。此外，S像素与其他像素的曝光时间和帧频不同。S像素通过与目标运动图像相同的帧频的摄影来获取，而其他像素通过横跨所述S像素的多个帧的曝光时间的摄影来获取。其结 果，S以外的像素成为帧频低于S像素的图像。以后，在本实施例中，将S以外的像素设定为通过与S像素的4帧相应的量的曝光获得的低帧频图像。图20～23是利用图19的滤色器来拍摄图13的被摄体而得到的图像。 

图20按时间顺序(t＝0，1，2，3)表示针对S像素而得到的G图像。图20是与目标运动图像相同帧频的图像。图21是针对G像素而得到的图像。由于目标运动图像是以与4帧相应的量的曝光来获得的，因此包含因被摄体的运动而引起的模糊。同样，图22和图23是对于R和B的长时间曝光的图像。这些RGB图像的各个颜色具有与目标运动图像同等的像素数，并且通过长时间曝光能够得到与目标运动图像同等的受光量。在步骤301中，如以上那样输入所获取的图像。接下来，在步骤302中利用S图像来检测目标运动图像的帧间的运动。接着，在步骤303至306中设定约束条件，在步骤307中生成与目标运动图像相同帧频的RGB图像。步骤307的结果，针对RGB分别获得了与图14(a)～(d)同等的图像。在这些图像中，颜色清晰度与目标运动图像同等，利用通过长时间曝光得到的图像，能够即便是高密度且微细化的摄像元件也不会引起灵敏度下降的情况下获取图像。 

再者，在上述例子中短时间曝光的图像仅仅是G，但是对于其他颜色的图像通过短时间曝光进行拍摄也可以获得本发明的效果。特别是，对与短时间曝光的G相同的水平行的颜色(在图19的例子中是R)进行短时间曝光拍摄，从而能够按输入图像的每个水平行使得摄影条件一致，具有在电路结构上容易实现基于单板摄像元件进行的所述图像的获取。 

图24(a)及(b)是用于说明使摄影条件一致的像素的图。图24(a)表示与目标运动图像的1像素对应的多个正方区域(例如正方区域6D5)。此外，图24(b)按每个输入像素对正方区域6D5中所包含的输入像素进行了分离表示。 

在图24(a)中，与输入的R像素(6D2a-6D2d)相同行的G像素(6D1a-6D1d)都进行高帧频摄影，与B像素(6D3)相同行的G像素(6D4)都进行长时间曝光、低帧频摄影。正方区域6D5的范围对应于生成图像的1像素的范围。 

此外，在上述实施方式的说明中，将图4(a)及(b)所示的这种单板彩色 摄像图像作为输入图像进行了说明。但是，本发明中也可以使用这种的输入图像以外的输入图像。第1运动图像和第2运动图像只要包括人类的视觉特性上共同的颜色成分即可。 

例如，也可以如图25(a)那样，由包含RGB各个颜色成分在内的透明像素W(501a～501d)来形成第1运动图像。或者，如图25(b)那样，由人类视觉特性上是相同绿色但波长特性不同的2种绿像素G1(511a～511d)、G2(514)来形成第1运动图像和第2运动图像。在后者的情况下，在一般的绿色波段(500nm～580nm)之中，例如绿像素G1要检测500nm以上且低于540nm的波段的光，绿像素G2要检测540以上且580nm以下的波段的光。 

在使用了透明像素的情况下，由于在透明像素部中不存在因滤色器引起的光量损耗，因此得到灵敏度提高的效果。此外，在使用了具有2种波长特性的绿像素G1、G2时，由于能够区别类似的颜色，因此能够提高生成图像的颜色再现性。这样，在改变了滤色器的结构时，只要使得由(式3)～(式5)定义的从虚拟的高清晰度高帧频RGB图像向输入图像的变换与新的滤色器相匹配即可。 

如以上所述，根据本实施方式涉及的处理，利用从单板摄像元件得到的运动图像，能够获得同时实现颜色清晰度提高和灵敏度提高的运动图像。此外，在进行静止图像摄影和动态图像摄影这两个摄影的照相机中，仅改变从静止图像用的高清晰度摄像元件获取图像的方法，就能够在低清晰度动态图像摄影时同时实现颜色清晰度和灵敏度。此外，通过合并多个输入像素来使用，还具有降低了摄像元件的像素缺陷的影响的效果。 

(实施方式2) 

图26表示本实施方式涉及的图像生成系统130的结构。基本结构与实施方式1相同。不同点在于，在本实施方式中不进行运动检测处理就生成新的运动图像。因此，在结构上，取代实施方式1的图像生成装置100而设置了图像生成装置120。更详细地说，与图像生成装置100的图像生成部30不同点在于，在图像生成装置120所设置的图像生成部31中未设置运动检测部。 

图27表示本实施方式中的图像生成部31的内部结构。图28表示本实施方式的图像生成部31的处理步骤。与图2相比，在图27的结构中未设置运动检测部，其结果，在图28所示的流程图中，不包含与图像的运动相关的处理(图3的步骤302及303)。其他结构及处理与图像生成部30及31相同。 

图像生成部31具有图像获取部2201、图像处理部2203、输出部2206。图像获取部2201及输出部2206实质上与实施方式1的图像获取部101及输出部106相同。 

利用图像处理部2203的第1条件设定部2203b所设定的条件、第2条件设定部2203c所设定的条件和第3条件设定部2203d所设定的条件，由高帧频化处理部2203a生成新的运动图像。即便在不使用运动约束的情况下，利用S像素来获取每帧的像素值变化的信息，也能够使得长时间曝光的RGB的摄影图像高帧频化。 

由于在本实施方式的图像生成处理中不使用运动约束，因此利用从(式13)中除去了运动约束项之后的(式15)来进行图像生成。 

【式15】 

J＝|H_RR_H-R_L|²+|H_GG_H-G_L|²+|H_BB_H-B_L|²

+|S_RR_H-R_O|²+|S_GG_H-G_O|²+|S_BB_H-B_O|²+Qs 

再者，即便不使用运动约束，通过提高高帧频像素数相对于低帧频像素数的比例，也能够提高画质。 

在不使用运动约束时，难以获得大的运动信息。但是，由于图像处理部103的运算步骤不依赖于被摄体的运动，因此能够预先固定运算步骤。因此，具有容易使处理电路与输入输出图像的清晰度、滤色器的配置相匹配地最优化、小型化的优点。此外，利用最佳处理电路，能够实现功耗的降低和运算时间的缩短。 

再者，此前说明了具有显示部40的图像生成系统110、130。但是，不需要一定具有显示部40。图29表示不具有显示部的图像生成系统300。图像生成系统300是例如不具有液晶显示器显示器的摄像机。这种不具有显示部40的图像生成系统也属于本发明的范畴。 

此外，也不需要一定具有摄像部10。图30表示不具有摄像部10的图像生成系统400。图像生成系统400是例如电视机这样的显示设备。此外，也可以从图1所示的图像生成系统110中除去摄像部10。即便不包含摄像部10，这种显示设备也属于本发明的范畴。 

图30所示的图像生成系统400利用图像获取部25接收影像信号。该影像信号是由密度高于显示器的单板摄像元件所拍摄的多种颜色成分的运动图像的信号。并且，图像生成系统400的图像生成部30进行实施方式1所示的处理，由此根据该运动图像的信号生成并显示提高帧频来实现高灵敏度的新的运动图像。 

例如，将利用高清电视(HD)的纵横2倍尺寸(4K2K)以上的摄像元件、或纵横4倍尺寸(8K4K)以上的摄像元件拍摄到的图像显示在高清电视或4K2K尺寸(以8K4K尺寸拍摄时)的显示器的情况下，容易应用本发明。 

图像生成系统400能够通过各种方法接收“多种颜色成分的运动图像”。例如，既可以从在半导体存储卡(例如SD卡)250中预先记录的运动图像数据中提取多种颜色成分的运动图像，也可以利用天线251从传输波中提取。或者，也可以经由互联网等网络252来获取该运动图像。在图像生成系统400中，可以利用半导体存储卡250、天线251及网络252中的2个或者全部。 

在图30所示的图像生成系统400中，为了进行生成实施方式1涉及的新的运动图像的处理，图像生成部30需要与低帧频长时间曝光的R像素、G像素、B像素的曝光时刻(图7)等摄影条件相关的信息。因此，图像获取部25只要接收图8所示的格式的影像信号210并从识别头210a中获取摄影条件的信息，来获取运动图像数据210b即可。 

图像生成部30只要能够接收图8所示的影像信号210，则影像信号210的发送方法是任意的。例如，还可以使图8所示的影像信号210群组化后以传输波形式发送，由此进行网络通信。 

再者，图30中，在显示设备400中设置了实施方式1涉及的图像生成部30，但是也可以设置实施方式2涉及的图像生成部31。 

以上，说明了本发明涉及的图像生成装置等的实施方式。上述的实施方式仅是一例，本发明并不限于此。本领域的技术人员针对实施方式实施 能够想到的变形而得到的形式也包含在本发明中。 

例如，在上述的实施方式1中，利用红、绿及蓝的低帧频运动图像、及绿的高帧频运动图像的4个运动图像来生成了1个运动图像。但是，也可以根据红、绿及蓝中的至少1个低帧频运动图像、以及红、绿或者蓝的高帧频运动图像中的至少2个运动图像，来生成1个高帧频且高清晰度的运动图像。单板彩色摄像元件只要至少根据所利用的运动图像的颜色构成即可。 

对于本发明的图像生成装置所进行的图像生成处理的一部分或者全部，既可以由专用的硬件设备执行，也可以由在计算机终端装置、无线基站等中配置的通信设备、及在独立的通用计算机等中内置的CPU执行规定的计算机程序，由此来进行本发明的图像生成处理。在这种计算机程序中规定了图示的流程图的处理步骤。执行计算机程序的CPU按照该处理步骤自行工作、或者至少指示图示的其他构成要素进行工作，由此使图像生成装置按照其处理步骤工作。 

(产业上的可利用性) 

本发明是根据多个运动图像生成新的运动图像的图像生成技术。特别是，能够作为根据高帧频运动图像和低帧频运动图像(或者静止图像)来生成高帧频彩色运动图像的图像生成装置、组装了这种装置的影像设备或系统、图像处理程序等而加以利用。 

符号说明 

10  摄像部 

20  图像存储部 

25  图像获取部 

30  图像生成部 

31  图像生成部 

35  输出图像存储部 

40  显示部 

45  图像输出部 

100、120  图像生成装置 

110、130  图像生成系统 

101   图像获取部 

101a  高帧频G获取部 

101b  低帧频G获取部 

101c  低帧频R获取部 

101d  低帧频B获取部 

102   运动检测部 

102a  运动分布计算部 

102b  可靠度分布计算部 

103   图像处理部 

103a  高帧频化处理部 

103b  第1条件设定部 

103c  第2条件设定部 

103d  第3条件设定部 

103e  第4条件设定部 

106   输出部 

250   半导体存储卡 

251   天线 

252   网络 

300   照相机 

400   显示设备 

2201  图像获取部 

2201a 高帧频G获取部 

2201b 低帧频G获取部 

2201c 低帧频R获取部 

2201d 低帧频B获取部 

2203  图像处理部 

2203a 高帧频化处理部 

2203b 第1条件设定部 

2203c 第2条件设定部 

2203d 第3条件设定部 

2206  输出部 

2601  摄影模式选择部 。

Claims (23)

1.一种图像生成装置，其根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，其中，

以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，

所述图像生成装置具备：

获取部，其获取所述第1运动图像及所述第2运动图像的各影像信号；

处理部，其基于获取到的所述第1运动图像及所述第2运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像；和

输出部，其输出所述新的运动图像。

2.根据权利要求1所述的图像生成装置，其中，

所述获取部获取所述第1颜色成分及所述第2颜色成分相同的所述第1运动图像及所述第2运动图像的各影像信号。

3.根据权利要求2所述的图像生成装置，其中，

所述获取部获取绿的所述第1运动图像及绿的所述第2运动图像的各影像信号。

4.根据权利要求1所述的图像生成装置，其中，

所述获取部获取绿的所述第1运动图像的影像信号、以及包含绿在内的多个颜色成分的所述第2运动图像的影像信号。

5.根据权利要求3所述的图像生成装置，其中，

绿的波段包含第1波段及第2波段，

所述获取部获取所述第1波段的所述第1运动图像的影像信号、以及所述第2波段的所述第1运动图像的影像信号。

6.根据权利要求1所述的图像生成装置，其中，

所述单板彩色摄像元件检测所述第1颜色成分的光、所述第2颜色成分的光、第3颜色成分及第4颜色成分的光，

所述第1颜色成分及所述第2颜色成分是相同的颜色成分，

所述第3颜色成分及所述第4颜色成分不同于所述第1颜色成分及所述第2颜色成分，并且所述第3颜色成分及所述第4颜色成分互不相同，

所述获取部还获取具有与所述第2运动图像的帧频相同帧频的第3运动图像及第4运动图像的影像信号，

所述处理部进一步基于所述第3运动图像及所述第4运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像。

7.根据权利要求6所述的图像生成装置，其中，

所述获取部获取绿的所述第1运动图像的影像信号、绿的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。

8.根据权利要求6所述的图像生成装置，其中，

所述获取部获取绿的所述第1运动图像的影像信号、包含红、绿、蓝的颜色成分的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。

9.根据权利要求6所述的图像生成装置，其中，

所述获取部至少在不同的时刻获取所述第2运动图像及所述第3运动图像的各影像信号。

10.根据权利要求9所述的图像生成装置，其中，

所述获取部针对所述第2运动图像、所述第3运动图像及所述第4运动图像的各个运动图像获取包含识别头和各运动图像数据在内的影像信号，该识别头包含曝光时刻的时间差的信息。

11.根据权利要求6所述的图像生成装置，其中，

所述处理部根据利用所述单板彩色摄像元件上的相邻的4个像素拍摄到的、所述第1运动图像的多个帧的像素、所述第2运动图像的1帧的像素、所述第3运动图像的1帧的像素及所述第4运动图像的1帧的像素，来生成所述新的运动图像的所述第1颜色成分、所述第3颜色成分及所述第4颜色成分的多个帧的各像素。

12.根据权利要求1至11的任一项所述的图像生成装置，其中，

所述处理部生成的所述新的图像的像素数比所述单板彩色摄像元件的像素数少。

13.根据权利要求1至11的任一项所述的图像生成装置，其中，

所述处理部生成的所述新的图像的像素数少于所述第1运动图像的像素数与所述第2运动图像的像素数之和。

14.根据权利要求1所述的图像生成装置，其中，

所述处理部生成在所述第1运动图像与包含在所述新的运动图像中的所述第1颜色成分的运动图像之间满足第1条件、第2条件以及第3条件的运动图像，该第1条件表示对应的各像素位置处的时间上的总光量应一致，该第2条件表示空间上的总光量应一致，该第3条件是与相邻的像素的颜色的连续性相关的条件。

15.根据权利要求14所述的图像生成装置，其中，

所述处理部设定表示各像素位置处的所述第1运动图像的1帧的总光量、和与所述第1运动图像的1帧时间相当的所述新的运动图像的多个帧的总光量应一致的第1条件。

16.根据权利要求14所述的图像生成装置，其中，

所述图像生成装置还具备：运动检测部，其检测所述第2运动图像中的被摄体的运动，将检测结果作为运动向量来输出，

进一步利用所述运动检测部的检测结果，所述处理部设定表示沿着所述运动向量的所述新的运动图像内的像素值应一致的第4条件，并生成满足所述第1条件至所述第4条件的运动图像。

17.根据权利要求1至16的任一项所述的图像生成装置，其中，

所述第1运动图像的颜色成分和所述第2运动图像的颜色成分包含同一颜色成分，

所述摄像部对构成所述单板彩色摄像元件的同一水平行的像素以相同的曝光期间进行拍摄。

18.根据权利要求17所述的图像生成装置，其中，

所述摄像部输出具有与所述第2运动图像的第2颜色成分不同的第3颜色成分的第3运动图像的影像信号，该第3运动图像是以与所述第2运动图像的帧频相同的帧频进行拍摄、且以与所述第2运动图像的曝光时刻不同的曝光时刻进行拍摄而得到。

19.一种图像生成系统，具备：

摄像部，其具有对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件；

权利要求1至16的任一项所述的图像生成装置；和

图像输出部，其输出从所述图像生成装置输出的所述新的运动图像，

所述摄像部利用所述单板彩色摄像元件来拍摄表示被摄体的第1颜色成分的运动图像的第1运动图像、以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像的各影像信号，且以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低。

20.一种图像生成系统，具备：

权利要求1至16的任一项所述的图像生成装置；

图像输出部，其输出从所述图像生成装置输出的所述新的运动图像；和

显示装置，其显示从所述图像输出部输出的所述新的运动图像。

21.根据权利要求20所述的图像生成系统，其中，

所述图像生成装置经由存储卡、天线及网络中的至少一个，获取所述第1运动图像及所述第2运动图像的各影像信号。

22.一种图像生成方法，根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，

以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，

所述图像生成方法包括：

获取所述第1运动图像及所述第2运动图像的各影像信号的步骤；

基于所获取的所述第1运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和

输出所述新的运动图像的步骤。

23.一种计算机程序，是由安装在图像生成装置中的计算机所执行的程序，通过执行所述计算机程序，所述图像生成装置根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，

以比所述第2运动图像长的曝光时间拍摄所述第1运动图像，从而所述第1运动图像的帧频比所述第2运动图像的帧频低，

所述计算机程序使安装于所述图像生成装置中的计算机执行如下步骤：

获取所述第1运动图像及所述第2运动图像的各影像信号的步骤；

基于所获取的所述第1运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和

输出所述新的运动图像的步骤。

Images