CN101601306A - 多色图像处理装置以及信号处理装置 - Google Patents

Abstract

本发明提供一种多色图像处理装置以及信号处理装置，该多色图像处理装置具备摄像部(101)和信号处理部(104)。摄像部(101)具备将可视光至少分离为第1色成分的光以及与第1色成分不同的第2色成分的光的色分离部(10)、分别接受第1色成分的光以及第2色成分的光的第1摄像元件(12)以及第2摄像元件(14)。该摄像部(101)在第1摄像元件(12)的像素排列上对每个场间隔提取读出像素，取得第1色成分的图像，在第2摄像元件(14)的像素排列上对每个场取得第2色成分的图像。信号处理部(104)具备：根据第2色成分的图像，推定由第2色成分的图像构成的运动图像中的运动，并输出运动信息的运动推定部(107)；根据第1色成分的图像和运动信息，生成各场中的第1色成分的合成图像，作为比第1色成分的图像空间分辨率更高的第1合成图像输出的图像生成部(108)；根据第1合成图像和第2色成分的图像，生成并输出包含第1色成分以及上述第2色成分的多色运动图像的多色图像合成部(109)。

Description

多色图像处理装置以及信号处理装置

技术领域

本发明涉及生成提高了分辨率以及帧速率(frame rate)的两方的彩色运动图像的图像处理技术。

背景技术

近年来，在图像摄像设备的领域中，数码摄像机或数码照相机的高画质化和多功能化正在急速地推进。与这些图像摄像设备获得的运动图像的画质相关的主要指标为每1帧的像素数(分辨率)、每1秒的帧数(帧速率)，以及图像信号相对于噪声的比率(SN比)。在分辨率方面，从TV电话的OCIF程度的像素数到数码单反照相机的超过1000万像素，有许多分支。在帧速率方面，从数码照相机的连续拍摄功能等的每秒数帧到摄像机中30帧/秒、特殊的高速摄影相机中超过1000帧/秒，有许多分支。

但是，在摄像设备中广泛使用的摄像元件(例如CCD或CMOS图像传感器)提高像素数据的读出速度有困难，有一定的上限值。因此，实现同时满足高分辨率和高帧速率的运动图像的摄像比较困难。

作为现有的进行高分辨率且高帧速率的摄像的装置，是如图37所示，从对每个场(field)改变读出位置而读出的多个场的图像(1∶n隔行扫描图像171)中，合成1帧的图像(全帧图像172)的装置。在专利文件1中，记载有使用场间的运动信息，用这样的方法从读出的图像中生成高分辨率的帧图像的装置。

图像的尼奎斯特频率由空间上的采样频率即图像的像素数决定。在图37所示的3行间隔提取的情况下，由3个场构成1个帧图像。这种情况下，由于各场的行数成为帧图像的三分之一，所以与帧图像中的行方向垂直的方向的采样频率成为帧图像中的同方向的采样频率的三分之一。由于尼奎斯特频率是采样频率的一半，因此，与场图像中的行方向垂直的方向的尼奎斯特频率也成为帧图像中的同方向的尼奎斯特频率的三分之一。

若场图像的尼奎斯特频率以上的高频波成分包含在帧图像中，则在场图像中产生折叠成分(aliasing)。一般，折叠成分对于尼奎斯特频率以下的频率成分，作为外部干扰或噪声而重叠。但是，若获知包含折叠成分的多个图像、和相当于图像间的偏差的相互的位置关系，则能够恢复每个图像的分辨率以上的分辨率，作为超解像的技术广为人知。例如，在被摄体和照相机相对静止的情况下，能够从多个场图像中恢复帧图像。这时，由于各场图像中的尼奎斯特频率为帧图像的尼奎斯特频率以下，所以，在各场图像中包含有场图像的尼奎斯特频率以上的信号作为折叠成分。因此，在恢复的帧图像中，能够恢复该折叠成分作为高频域成分(场图像的尼奎斯特频率成分以上的高频成分)。

即使在被摄体和照相机的位置关系在时间上变化的情况下，只要正确获知从照相机看到的被摄体的运动，就能够通过考虑其而与上述的静止的情况相同地恢复包含高频波成分的图像。

专利文献1：日本特开2007-028208号公报

但是，在现有的对于对按每场改变读出位置而读出的图像的高分辨率化处理中，在各场中包含折叠成分，且正确检测出场间的运动的情况下，恢复高分辨率的图像。但是，在各场包含折叠成分的情况下，正确检测出场间的运动变得困难。在各场包含折叠成分而使场间的运动检测变得困难，是由于折叠成分相对于未折叠的信号成为了外部干扰。

由于折叠成分由采样位置、原信号的时空频率和相位而决定，因此，一般在2个场图像间并不一致。其结果，运动检测时这就构成了噪声，使运动检测精度降低。因此，在专利文献1公开的方式的情况下，存在随着隔行扫描数n变大，正确检测出场间的运动变得困难的问题。

发明内容

本发明就是为了解决上述问题而提出，提供即使隔行扫描数n变大，也能够实现在场间正确的运动推定的多色图像处理装置、以及多色图像处理方法。

本发明的另一目的是提供用于解决上述问题的摄像装置、信号处理装置以及计算机程序。

本发明的多色图像处理装置，具备：摄像部，该摄像部具有：将可视光至少分离为第1色成分的光以及与所述第1色成分不同的第2色成分的光的分离部；以及分别接受所述第1色成分的光以及第2色成分的光的第1摄像元件以及第2摄像元件；该摄像部在所述第1摄像元件的像素排列上对每个场间隔提取读出像素来取得通过所述第1摄像元件而获得的所述第1色成分的图像，在所述第2摄像元件的像素排列上对每个场取得通过所述第2摄像元件而获得的所述第2色成分的图像；运动推定部，根据所述第2色成分的图像，推定由第2色成分的图像构成的运动图像中的运动并输出运动信息；图像生成部，根据所述第1色成分的图像和所述运动信息，生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出；和多色图像合成部，根据所述第1合成图像和所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

在优选的实施方式中，通过按每个场来改变所述第1摄像元件中的读出像素的位置，所述摄像部从n(n为2以上的整数)个场中取得构成1帧的所述第1色成分的图像。

在优选的实施方式中，所述图像生成部根据所述运动信息使所述第1合成图像的空间分辨率成为所述第1色成分的图像的空间分辨率的n倍。

在优选的实施方式中，所述第1合成图像的空间分辨率比所述第2色成分的图像的空间分辨率更高。

在优选的实施方式中，所述摄像部将在所述第2摄像元件的像素排列上比所述第1摄像元件中的各像素具有更大尺寸的至少1个像素作为读出像素的最小单位来取得所述第2色成分的图像。

在优选的实施方式中，具备：高分辨率化部，根据所述第1合成图像以及所述第2图像，使用所述第1合成图像的信息来生成并输出提高了所述第2图像的分辨率的第2合成图像；所述多色图像合成部根据所述第1合成图像以及所述第2合成图像来生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

在优选的实施方式中，所述第2合成图像的空间分辨率与所述第1合成图像的空间分辨率相等。

在优选的实施方式中，所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案是由在所述像素排列上直线并排的多个像素构成的第1图案。

在优选的实施方式中，所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案是由在所述像素排列上离散分布的多个像素构成的第2图案。

在优选的实施方式中，所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案在由在所述像素排列上直线并排的多个像素构成的第1图案、和由在所述像素排列上离散分布的多个像素构成的第2图案之间切换。

在优选的实施方式中，所述色分离部具有将可视光分离为所述第1色成分的光以及第2色成分的光，并分离为与所述第1以及第2色成分不同的第3色成分的光的结构；所述摄像部还具备接受所述第3色成分的光的第3摄像元件，所述摄像部在所述第3摄像元件的像素排列上对每个场取得所述第3色成分的图像；所述运动推定部根据所述第2以及第3图像推定由所述第2以及第3图像构成的运动图像中的运动来输出所述运动信息；所述多色图像合成部除了根据所述第1合成图像以及第2色成分的图像之外，还根据所述第3色成分的图像，生成并输出包含所述第1色成分、第2色成分、以及第3色成分的多色运动图像。

在优选的实施方式中，所述第2色成分的图像和所述第3色成分的图像像素的空间配置不同。

在优选的实施方式中，所述第1色成分为绿。

在优选的实施方式中，所述摄像部具有配置于所述第1摄像元件的前面的空间光调制元件；所述空间光调制元件具有与所述第1摄像元件的各像素对置并ON/OFF光透过的多个像素，选择性地使光入射到所述第1摄像元件的各像素的一部分。

本发明的摄像装置具备：将可视光至少分离为第1色成分的光以及与所述第1色成分不同的第2色成分的光的分离部；和分别接受所述第1色成分的光以及第2色成分的光的第1摄像元件以及第2摄像元件；该摄像装置在所述第1摄像元件的像素排列上对每个场间隔提取读出像素来取得通过所述第1摄像元件而获得的所述第1色成分的图像，在所述第2摄像元件的像素排列上对每个场取得通过所述第2摄像元件而获得的所述第2色成分的图像。

在优选的实施方式中，还具有记录所述第1色成分的图像以及第2色成分的图像的积蓄部。

本发明的信号处理装置根据由n(n为2以上的整数)个场构成1帧的第1色成分的图像、以及由1个场构成1帧的与所述第1色成分不同的第2色成分的图像，输出多色运动图像，具备：运动推定部，根据所述第2色成分的图像，输出由第2色成分的图像构成的运动图像中的运动信息；图像生成部，根据所述第1色成分的图像和所述运动信息，生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出；和多色图像合成部，根据所述第1合成图像和所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

本发明的多色图像处理方法根据由n(n为2以上的整数)个场构成1帧的第1色成分的图像、以及由1个场构成1帧的与所述第1色成分不同的第2色成分的图像，输出多色运动图像；该多色图像处理方法包含：取得所述第1色成分的图像的步骤；取得所述第2色成分的图像的步骤；根据所述第2色成分的图像，推定并输出由所述第2色成分的图像构成的运动图像中的运动信息的运动推定步骤；根据所述第1色成分的图像和所述运动信息，以比取得第1色成分的图像的帧速率更高的帧速率输出第1合成图像的运动补偿步骤；和根据第1色成分的合成图像以及第2色成分的图像，生成并输出包含所述第1色成分以及第2色成分的多色运动图像的多色图像合成步骤。

本发明的程序使根据由n(n为2以上的整数)个场构成1帧的第1色成分的图像、以及由1个场构成1帧的第2色成分的图像，输出多色运动图像的信号处理装置动作，使所述信号处理装置执行如下步骤：根据所述第2色成分的图像，输出由第2色成分的图像构成的运动图像中的运动信息的步骤；根据所述第1色成分的图像以及所述运动信息生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出的步骤；和根据所述第1合成图像以及所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像的步骤。

发明的效果

本申请记载的发明由于在第1色成分(通常为G成分)的运动图像中包含较多的折叠成分的情况下，也可以利用不包含折叠成分的运动图像来进行运动补偿，因此能够提高第1色成分的运动图像的分辨率来获得高画质的多色运动图像。

附图说明

图1是表示本发明的多色图像处理装置的结构的框图。

图2是表示二向色棱镜导致的R、G、B成分的分离的图。

图3是示意表示本发明的实施方式1的摄像部101的摄像动作的图。

图4是示意表示本发明的实施方式1的多色图像处理装置的动作的图。

图5是本发明的实施方式1的多色图像处理装置的框图。

图6是概念地表示复数隔行扫描读出的动作的图。

图7是表示隔行扫描的次序的一例的图。

图8是表示n＝4的情况下的读出行顺序的一例的图。

图9是表示n＝5的情况下的读出行顺序的一例的图。

图10是表示n＝6的情况下的读出行顺序的一例的图。

图11是表示n＝7的情况下的读出行顺序的一例的图。

图12是表示n＝8的情况下的读出行顺序的一例的图。

图13是表示n＝9的情况下的读出行顺序的一例的图。

图14是表示使用了2通道(channel)的读出系统的结构的概念图。

图15是表示在某正弦波的频率区域的频谱的图。

图16是表示时间区域的正弦波的图。

图17是说明相对于尼奎斯特频率的折叠的图。

图18是说明高频成分的恢复的图。

图19是本发明的实施方式1的摄像装置的框图。

图20是表示图2的摄像装置的动作计时(timing)的一例的图。

图21是本发明的实施方式1的变形例的摄像部101的摄像动作的成像图。

图22是表示在n＝4的情况下的各场中的读出像素的配置的例子的图。

图23是表示在n＝8的情况下的各场中的读出像素的配置的例子的图。

图24是表示在n＝9的情况下的各场中的读出像素的配置的例子的图。

图25是表示在n＝10的情况下的各场中的读出像素的配置的例子的图。

图26是表示本发明的实施方式1的摄像部的结构的1例的图。

图27是表示本发明的实施方式1的摄像部的动作的1例的图。

图28是表示本发明的实施方式1的变形例的摄像部的结构的1例的概念图。

图29(a)～(f)是表示本发明的实施方式1的变形例的摄像部的动作的1例的概念图。

图30是输出单色图像的摄像装置的动作的成像图。

图31是表示检测色分布的多色图像处理装置的结构例的图。

图32是表示本发明的实施方式的图像处理方法的流程图。

图33是表示本发明的一个实施方式的图像处理方法的流程图。

图34是表示本发明的摄像系统的结构的一例的图。

图35是表示本发明的摄像系统的结构的一例的图。

图36是表示本发明的摄像系统的结构的一例的图。

图37是表示现有的摄像系统的动作的概念图。

图38是同时计算R、G、B的像素值的多色图像处理装置的结构图。

图39是表示RGB色空间和球面坐标系统(θ、ψ、γ)的对应例的图。

符号的说明

101摄像部

102写入控制部

103存储器

104信号处理部

105设定部

106积蓄部

401原图像

402输出图像

具体实施方式

如图1所示，本发明的多色图像处理装置具备：将可视光分离为多个光的色分离部10；具有分别接受分离的光的第1摄像元件12以及第2摄像元件14的摄像部101。更具体，色分离部10将可视光至少分离为第1色成分的光、以及与第1色成分不同的第2色成分的光。该摄像部101在第1摄像元件12的像素排列上对每个场间隔提取读出像素而取得第1色成分的图像。另外，关于第2色成分的图像，能够在第2摄像元件14的像素排列上不对每个场间隔提取读出像素而取得。这样，由对每个场取得的多个图像构成“运动图像”。在本说明书中，有时将对每个场取得的多个图像的集合简单地称为“运动图像”。

优选的实施方式的摄像部101能够将可视光分离为第1色成分(绿：G)、第2色成分(红：R)、以及第3色成分(蓝：B)的光。图2是表示这样的摄像部101的结构例的图。图2所示的摄像部具备按照R、G、B波长域将入射光选择地透过或反射的二向色镜11，能够将各个波长域的光线在R、G、B用的摄像元件13、15、17上成像。在该例中，二向色镜11作为图1的色分离部10发挥作用。另外，G用的摄像元件15作为第1摄像元件12发挥作用，R用的摄像元件13作为第2摄像元件14发挥作用。B用的摄像元件17作为图1没有表示的第3摄像元件发挥作用。另外，第2摄像元件12的颜色不一定为R，也可以为B。

这样，虽然本发明的摄像部典型地按3色的色成分的每一个来取得运动图像，但色成分的数目也可以是2色，也可以是4色以上。即多色图像处理装置的“多色”是指“多个颜色”，不涉及颜色的数目的多少。

在图2所示的例子中，设定为摄像元件的R以及B的像素尺寸比G的像素尺寸大，R以及B的空间分辨率比G的空间分辨率低。即在R以及B用摄像元件13、17的像素排列上，将具有比G用摄像元件15的各像素大的尺寸的像素作为读出像素的最小单位，来取得B以及R的图像。另外，在R、B用摄像元件和G用摄像元件具有相同的像素尺寸的情况下，若对于R以及B将多个像素作为读出像素的最小单位来取得图像，则能够获得将这些像素尺寸实质扩大的效果。

作为较高设定空间分辨率的色成分，优选比起R、B选择G。原因是，人对于G的颜色的视觉灵敏度比起对于其他的颜色的视觉灵敏度要高，人的视觉对于G的空间分辨率最为敏感。但是，本发明的第1色成分并不限定于G，也可以将其他颜色选择为第1色成分。

在本发明的优选的实施方式中，关于G的运动图像，由n个场(n为2以上的整数)构成1个帧，按每个场改变G用摄像元件的读出像素的位置(像素间隔提取)。另一方面，对于R以及B的运动图像，由1个场构成1个帧。图3是示意地表示该情形的平面图，仅表示各摄像元件的摄像面的像素排列的一部分。在图3所示的例子中，G的摄像通过从G用摄像元件的像素排列中间隔提取了多个行后的读出(复数隔行扫描)来进行。在图3中，G的像素排列之中，被粗实线围住的像素是读出像素。按每个场，移位读出像素的行。另一方面，R以及B的摄像通过不间隔提取R以及B用摄像元件的像素排列的各行而读出来进行。即，即使在任何的场中，读出像素排列的全部的像素，不进行读出像素的间隔提取。

在本发明中，根据这样得到的R以及B的运动图像，推定运动图像中的动作，求取“运动信息”。由于从不进行间隔提取而取得的运动图像中推定运动，所以回避了前述的现有技术所产生的问题，能够获得精度高的运动信息。

在本发明中，利用该运动信息，从G的运动图像中生成提高了其空间分辨率的G的合成图像。图4对于构成原图像401以及输出图像402的G、R、B，分别示意地示出空间分辨率。图4对于G、R、B的每一个的3个场，示出了实际读出的像素以及实际输出的像素，虚线表示没有实际读出的像素。在图4中，虽然对于没有间隔提取的R以及B的图像，也提高了其空间分辨率，但R以及B的空间分辨率的提高是利用高分辨率化的G的合成图像来进行的。

这样的空间分辨率的提高通过图1所示的信号处理部104的作用得以实现。信号处理部104如后面详细说明那样，包含：推定第2色成分的运动图像中的运动来输出运动信息的运动推定部107；利用该运动信息生成第1色成分的合成图像的图像生成部108；生成并输出比起原图像提高了分辨率的多色运动图像的多色图像合成部109。

(实施方式1)

首先，参照图5，说明本发明的多色图像处理装置的实施方式1。

本实施方式的多色图像处理装置包含：将可视光分离为R、G、B的光来取得前述的运动图像(图4的原图像401)的摄像部101；积蓄原图像的积蓄部106；进行用积蓄部106中积蓄的原图像来改善时空分辨率的处理的信号处理部104。

积蓄部106包含：存储原图像的存储器103；将原图像写入存储器103的写入控制部102。虽然作为存储器103使用了适于图像数据的存储的存储元件，但没必要内置于该装置中，也可以是能够自由拆卸的存储介质。

信号处理部104包含运动推定部107、图像生成部108、多色图像合成部109。虽然在图5所示的结构例中，还具备设定摄像部101的摄像动作以及信号处理部104的信号处理的条件的设定部105，但在不需要使摄像部101以及信号处理部104的动作为可变的情况下，不需要设置设定部105。设定部105具有设定1比n隔行扫描的n的值、信号处理部104生成的高分辨率图像的大小(尺寸)、以及帧速率等的功能。

本实施方式的摄像部101适当地具有图2所示的结构，例如生成如图3所示那样的由场图像构成的原图像。虽然该例的摄像部101对于G取得1比6的隔行扫描图像作为原图像，但是对于R以及B取得未隔行扫描图像作为原图像。即，对于G，仅进行从由水平方向上并排的像素构成的像素行之中位于垂直方向上周期6行的位置的像素行的间隔提取读出，对于R以及B，使用比G分辨率低、像素尺寸大的摄像元件来进行全像素读出。虽然在该例子中，将间隔提取的比例设定为1∶6，但只要是1∶n(n为2以上的整数)，则并不限定于n＝6。n能够设定为例如10的程度或10以下的值。

在本实施方式中，由摄像部101取得G的1比n隔行扫描运动图像、和R以及B的低分辨率运动图像，获得图4所示的原图像401。信号处理部104能够将各图像不是场图像而是帧图像的运动图像(全帧运动图像)作为图4所示的输出图像402输出。

图6表示n＝3时的复数隔行扫描(1比3隔行扫描)读出的动作。图6所示的xyt坐标中的x是摄像面的水平方向轴，y是摄像面的垂直方向轴，t是时间轴。在图6中，201、202、203、……、20k表示以规定的时间间隔拍摄以及读出的G的场图像。图中的实线表示对G用摄像元件实际进行读出的行，虚线表示不对G用摄像元件进行读出的行。

在图6所示的例中，进行读出的行在每3个场周期中按每场进行变化。即通过读出行相互不同的3张场来读出1帧的全像素。由于通过复数隔行扫描读出，在读出速率(每1秒读出的像素数)为相同的情况下，各时刻的图像的像素数减少，因此虽然空间上的分辨率降低，但能够提高运动图像的时间上的分辨率。另外，虽然这样的间隔提取读出对于G来进行，但对于R、B，使用比G分辨率低、像素尺寸大的摄像元件，来进行全像素读出。

在本实施方式中，为了提高由信号处理部104进行的时空分辨率的改善处理的效果，按照读出的像素的位置在时空区域上成为均等的方式，来设定隔行扫描的顺序。

以下，参照图7来说明这一点。图7是表示n＝8时的隔行扫描的次序的一例的图，示意地表示摄像元件301的摄像面。

在图7中，作为读出顺序的一例，在第1场中从第3行起每隔8行读出，在第2场中从第6行起每隔8行读出，在第3场中从第2行起每隔8行读出。即，使相邻的场彼此读出行不连续。

接着，参照图8～图13对设定为使读出的像素的位置在时空区域上成为均等的隔行扫描的次序的例子进行说明。在这些图中，在图像的y方向(行)和时间t方向(场)的二维平面中，示有表示读出行的次序，阴影的地方表示实际读出的像素(行)。在图8～图13中，虽然分别仅图示了n行·n场部分，但实际的读出只要将图示的图案在yt平面上时空地展开用即可。这些图中，例如图9表示n＝7的情况，读出的行的次序设定为3→6→1→4→7→2→5的顺序。图8～图13所示那样的读出顺序例如如下所述来决定即可。即，着眼于要插补像素(没有阴影的像素)和插补时参照的最靠近的读出像素(附有阴影的像素)的距离d

[数学式1]

d²＝(y_s-y)²+λ²(t_s-t)²

((y，t)是要插补像素的坐标值，(ys，ts)是使距离d为最小的参照像素的坐标值，λ为权重系数)，来决定使对于所有的要插补像素的该距离d的平均值为最小的读出顺序即可。或也可以着眼于读出像素彼此的距离d

[数学式1A]

d²＝(y_sm-y_s)²+λ²(t_sm-t_s)²

((ys，ts)是着眼的读出像素的坐标值，(ysm，tsm)是与(ys，ts)最近的其他的读出像素的坐标值)，来决定使对于所有的读出像素的该距离d的平均值为最小的读出顺序。

另外，虽然这里对n＝4～9的情况进行了表示，但是n为这些值以外的值的情况下，也可以通过上述的手法，按照读出的像素的位置在时空区域成为均等的方式来设定逐行扫描的次序。

虽然在图4中，表示了使用1个通道(channel)的读出系统的情况，但也可以如图14所示，使用例如2个摄像元件401、402，以2个通道的读出系统来提高G用运动图像的空间分辨率。

写入控制部102将由摄像部101取得的G的复数隔行扫描图像、和R以及B的全像素读出图像写入到存储器103。在允许数个场的延迟的情况下，优选在存储器103存储包含当前场的前后n个场左右。另一方面，在不允许延迟的情况下，优选存储当前场和其之前的n个场左右。

接着，参照图15～图18，说明基于间隔提取处理的高分辨率的原理。

图15表示某正弦波的频率区域的频谱图。图16是表示频率为fx的正弦波的图表，该图表的横轴为时间，纵轴为例如亮度。考虑在特定的频率采样该正弦波的情况。在采样频率与正弦波的频率fx相等的情况下，采样在例如图16所示的○标记的位置进行。由于采样的信号在连结○标记的点的直线上，因此在该频率区域的频谱与图17所示的频率f1相等。

在图17中，示有尼奎斯特频率f0。尼奎斯特频率f0为采样周期fx的一半。由于采样的信号的频率f1存在于以尼奎斯特频率f0为中心，正弦波的频率fx的反相的位置，因此称为折叠成分。即，从尼奎斯特频率f0到正弦波的频率fx为止的范围中的高频波成分成为尼奎斯特频率以下的低频波成分(折叠噪声)。在对重合有频率不同的多个正弦波的信号进行采样的情况下，作为该采样对象的信号的频率具有分布。因此，若以特定的频率(fx)进行采样，则以从其频率的一半即尼奎斯特频率f0到采样频率fx为止的高频波成分为起因产生折叠噪声，重叠在本来的低频成分上。

虽然如图16所示的图表的横轴是时间t，但也可以将该横轴考虑为摄像面上的垂直方向的坐标轴。在该情况下，图16的正弦波相当于所述坐标轴上的表示空间上的亮度分布的信号波形。实际的摄像元件上形成的二维像的空间频率也有分布。在以有限的像素来采样这样的像的情况下，超过尼奎斯特频率的高频波成分作为折叠噪声在低频波成分上重叠(aliasing)。

在以采样频率fx来采样图16的正弦波的情况下，也能够在图16的×标记的点处进行采样。×标记的点从前述的○标记的点开始在时间轴上仅移位半个周期。在这种情况下，通过采样获得的信号的频率也与○标记的采样一样，以图17的频率f1来表示。

若获知包含这样的折叠成分的图像间的相对的位置关系，在如图18所示，获得原来的高频波成分(频率Fx)成为可能。即，通过连结图16所示的○标记的点(频率f1)和×标记的点(频率f1)，能够恢复原来的正弦波(频率fx)。即，通过使用在○标记的位置采样的数据和在×标记的位置采样的数据，能够恢复原来的信号。

如以上的说明所明确的那样，在本实施方式中，通过使用多个进行间隔提取处理(复数隔行扫描)而得到的场图像，恢复更高的分辨率(空间频率高)的图像成为可能。为了恢复这样的分辨率高的图像，利用每个场图像中包含的折叠噪声(aliasing)。其中，虽然这样的恢复在图像静止的情况下完全实现，但在被摄体进行运动的情况下，需要运动补偿。

下面，对在本实施方式中进行的高分辨率的具体的手法进行详细的说明。

<G的高分辨率化>

信号处理部104读出在存储器103中积蓄的G的1比n隔行扫描图像和R、B的全像素读出图像，最小化下式，进行时空分辨率的改善处理。

[数学式2]

|Hf-g|^M+Q

这里，H是采样过程，f是要恢复的高空间分辨率且高时间分辨率的G图像，g是摄像部101所摄像的G的1比n隔行扫描图像，M是幂指数，Q是要恢复图像f要满足的条件(即限制条件)。

f以及g是将运动图像的各像素值作为要素的纵向量。作为像素值，在亮度值的情况下，对1个像素考虑1个值即可。f的要素数例如若要恢复的运动图像是横2000像素、纵1000像素、30帧，则为2000×1000×30＝60000000。

在n＝10，1∶10隔行扫描摄像的情况下，g的要素数成为f的10分之1，即6000000。f的纵横的像素数和信号处理所使用的帧数由设定部105设定。采样过程H以n场周期来采样f。H是行数与g的要素数相等，列数与f的要素数相等的矩阵。

现在一般普及的计算机中，由于与运动图像的像素数(例如宽度2000像素×高度1000像素)和帧数(例如30帧)相关的信息量过多，因此不能用单一的处理来求取最小化(数学式2)的f。这种情况下，对于时间上、空间上的部分区域进行求取f的一部分的处理，并将其重复，由此能够计算要恢复运动图像f。

接着，用简单的例子说明采样过程H的公式化。在以1∶2(n＝2)隔行扫描来对宽度为2像素(x＝1、2)、高度为2像素(y＝1、2)、2帧(t＝1、2)的图像进行采样的情况下，通过

[数学式3]

f＝(I₁₁₁ I₂₁₁ I₁₂₁ I₂₂₁ I₁₁₂ I₂₁₂ I₁₂₂ I₂₂₂)^T

[数学式4]

$H=\left(\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right)$

采样过程被公式化为

[数学式5]

$g=\mathrm{Hf}=\left(\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right){\left(\begin{array}{cccccccc}{I}_{111}& I_{211}& I_{121}& I_{221}& I_{112}& I_{212}& I_{122}& I_{222}\end{array}\right)}^T$

$={\left(\begin{array}{cccc}{I}_{111}& I_{211}& I_{122}& I_{222}\end{array}\right)}^T$

在(数学式3)中，I表示各像素中的G的值，3个下标依次表示x、y、t的值。由于g是通过1比n隔行扫描得到的图像，因此该像素数是全像素读出的图像的n分之1。

(数学式2)的幂指数M的值虽然没有特别的限定，但从运算量的观点来看，优选1或者2。

虽然(数学式5)表示通过隔行扫描来采样f而获得g的过程，相反，从g恢复f的问题被称为一般的逆向问题。在没有限制条件Q的情况下，最小化

[数学式6]

|Hf-g|^M

的f存在无数个(因为能够取得未采样的像素值的任意的值)。因此，不能通过(数学式6)的最小化而唯一解出f。

为了对于f得到唯一的解，作为Q，给予与像素值f的分布相关的平滑度的限定，或与从f获得的图像的运动的分布相关的平滑度的限定。

作为与像素值f的分布相关的平滑度的限制，使用

[数学式7]

$Q={\left|\frac{\&PartialD;f}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;f}{\&PartialD;y}\right|}^m$

或

[数学式8]

$Q={\left|\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}\right|}^m$

这里，是将要恢复的运动图像的各像素的像素值I(x，y，t)的x方向的1阶的微分值作为要素的纵向量。另外，

是将要恢复的运动图像的各像素的像素值I(x，y，t)的y方向的1阶的微分值作为要素的纵向量。另外，

是将要恢复的运动图像的各像素的像素值I(x，y，t)的x方向的2阶的微分值作为要素的纵向量。另外是将要恢复的运动图像的各像素的像素值I(x，y，t)的y方向的2阶的微分值作为要素的纵向量。另外，||表示向量的模(norm)。幂指数m的值与(数学式2)、(数学式6)的幂指数M相同，优选1或2。

另外，作为与像素f的像素值I的分布相关的平滑度的限制，并不限于(数学式7)、(数学式8)，例如，也可以使用如(数学式9)所示的2阶方向微分的绝对值的m次方。

[数学式9]

$Q={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;f}{{\&PartialD;n}_{\min }}\right)\right|}^m={\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})\right|}^m$

$={|-\sin \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;x}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})+\cos \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;y}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x})+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y}|}^m$

$={|{\sin }^2\mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{{\&PartialD;x}^2}-\sin \mathrm{\&theta;}\cos \mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;x\&PartialD;y}-\sin \mathrm{\&theta;}\cos \mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;y\&PartialD;x}+c{\mathrm{os}}^2\frac{{\&PartialD;}^{2}f}{{\&PartialD;y}^2}|}^m$

这里，向量n_min以及角度θ是1阶的方向微分的2次方为最小的方向，是

[数学式10]

$n_{\min }={\left(\begin{array}{cc}\frac{-\frac{\&PartialD;I}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;I}{\&PartialD;x}\right)}^2-{\left(\frac{\&PartialD;I}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;I}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;I}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;I}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}-\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)}^T$

进而，作为与图像f的像素值I的分布相关的平滑度的限制，作为

[数学式11]

$Q=w(x,y)|{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2|$

或

[数学式12]

$Q=w(x,y)|{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}\right)}^2+{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}\right)}^2|$

或

[数学式13]

$Q=w(x,y){\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;f}{\&PartialD;n_{\min }}\right)\right|}^m$

也可以按照f的像素值的梯度(こう配)来适宜地使限制条件变化。这里w(x，y)是像素值的梯度的函数，是相对于限制条件的权重函数。例如在

[数学式14]

${\left|\frac{\&PartialD;I}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;I}{\&PartialD;y}\right|}^m$

所示的像素值的梯度成分的幂次方的和较大的情况下，w(x，y)的值变小，在相反的情况下，w(x，y)的值变大，能够按照f的亮度梯度来适宜地使限制条件变化。通过导入这样的权重函数，能够防止恢复的图像被被过度地平滑化。

另外，取代(数学式7)所示的亮度梯度成分的平方的和，也可以通过(数学式15)所示的方向微分的幂次方的大小，来定义权重函数w(x，y)。

[数学式15]

${\left|\frac{\&PartialD;I}{\&PartialD;n_{\max }}\right|}^m={|\cos \mathrm{\&theta;}\frac{\&PartialD;I}{\&PartialD;x}+\sin \mathrm{\&theta;}\frac{\&PartialD;I}{\&PartialD;y}|}^m$

这里，向量n_max以及角度θ是方向微分成为最大的方向，是

[数学式16]

$n_{\max }={\left(\begin{array}{cc}\frac{\frac{\&PartialD;I}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;I}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;I}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;I}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;I}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;I}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\end{array}\right)}^T$

导入(数学式7)～(数学式9)、(数学式11)～(数学式13)所示那样的与运动图像f的像素值I的分布相关的平滑度的限制，来求解(数学式2)的问题能够用公知的解法(有限元法(finite element method)等的变分问题的解法)来进行计算。

作为与f所包含的图像的运动的分布相关的平滑度的限制，使用

[数学式17]

$Q={\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m$

或

[数学式18]

$Q={\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;y^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;y^2}\right|}^m$

这里，u是以从运动图像f得到的关于各像素的运动向量的x方向的成分为要素的纵向量，v是以从运动图像f得到的关于各像素的运动向量的y方向的成分为要素的纵向量。

作为与从f获得的图像的运动的分布相关的平滑度的限制，并不限于(数学式17)、(数学式18)，也可以作为例如(数学式19)、(数学式20)所示的1阶或2阶的方向微分。

[数学式19]

$Q={\left|\frac{\&PartialD;u}{{\&PartialD;n}_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{{\&PartialD;n}_{\min }}\right|}^m$

[数学式20]

$Q={\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;u}{{\&PartialD;n}_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;v}{{\&PartialD;n}_{\min }}\right)\right|}^m$

进而，如(数学式21)～(数学式24)所示，也可以按照f的像素值的梯度来适宜地使(数学式17)～(数学式20)的限制条件变化。

[数学式21]

$Q=w(x,y)({\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m)$

[数学式22]

$Q=w(x,y)({\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;y^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;y^2}\right|}^m)$

[数学式23]

$Q=w(x,y)({\left|\frac{\&PartialD;u}{{\&PartialD;n}_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{{\&PartialD;n}_{\min }}\right|}^m)$

[数学式24]

$Q=w(x,y)({\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;u}{{\&PartialD;n}_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;v}{{\&PartialD;n}_{\min }}\right)\right|}^m)$

这里，w(x，y)是和与f的像素值的梯度相关的权重函数相同的函数，是通过(数学式7)所示的像素值的梯度的成分的平方和，或(数学式12)所示的方向微分的平方所定义的函数。

通过导入这样的权重函数，能够防止f的运动信息被过度地平滑化，其结果，能够防止恢复的图像f被过度地平滑化。

将如(数学式17)～(数学式24)所示那样的与从图像f获得的运动的分布相关的平滑度的限制导入来求解(数学式2)的问题，需要和使用关于f的平滑度的限制的情况进行比较并进行复杂的计算。这是因为要恢复的图像f和运动信息(u，v)相互依存。

对于此，可以通过公知的解法(使用了EM算法等的变分问题的解法)来进行计算。这时，在重复计算中，需要要恢复的图像f和运动信息(u，v)的初始值。作为f的初始值，使用输入图像的插补放大图像即可。

另一方面，作为运动信息(u，v)的初始值，在现有的方法中，不得不使用针对包含了折叠信息的输入图像的运动检测结果。在这种情况下，由于折叠成分对于运动检测而言成为噪声，因此得到正确的运动检测结果变得困难，作为其结果，有超解像处理结果的画质降低的问题。

与此相对，在本实施方式中，对于G进行复数隔行扫描的摄像，另一方面，对于R、B，低分辨率的同时进行全像素的读出。并且，运动推定部107通过块匹配(block matching)等的已有的运动检测方法，从进行了R、B的全像素读出的图像中检测出运动信息。因此，与现有的针对复数隔行扫描图像的运动检测相比，能够精度良好地得到运动信息。其结果，在图像生成部108中，如上所述，通过将如(数学式17)～(数学式24)所示那样的与从图像f获得的运动的分布相关的平滑度的限制导入来求解(数学式2)，能够提高超解像处理结果的画质。

图像生成部108中的处理也可以将(数学式7)～(数学式9)、(数学式11)～(数学式13)所示的与像素值的分布相关的平滑度的限制的任意一个、和(数学式17)～(数学式24)所示的与运动的分布相关的平滑度的限制的任意一个的两方进行组合，如(数学式25)那样同时使用。

[数学式25]

Q＝λ₁Q_f+λ₂Q_uv

这里，Qf是与f的像素值的梯度相关的平滑度的限制，Quv是与从f获得的图像的运动的分布相关的平滑度的限制，λ1、λ2是与Qf和Quv的限制相关的权重。

导入与像素值的分布相关的平滑度的限制和与图像的运动的分布相关的平滑度的限制的两方来求解(数学式2)的问题也能够通过公知的解法(使用了EM算法等的变分问题的解法)来进行计算。

另外，与运动相关的限制并不限于(数学式17)～(数学式24)所示的与运动向量的分布的平滑度相关的限制，也可以将对应点间的残差(residual)(运动向量的起始点和终点间的像素值的差)作为评价值，使其较小。如果将对应点间的残差作为连续函数f(x，y，t)来表示，则表示为

[数学式26]

f(x+u，y+v，t+Δt)-f(x，y，t)

若将f作为向量，考虑图像整体，则能够将各像素中的残差作为

[数学式27]

H_mf

来表现向量。残差的平方和作为

[数学式28]

${\left(H_{m}f\right)}^2=f^T{H}_m^T{H}_{m}f$

进行表示。

在(数学式27)、(数学式28)中，H_m是向量f的要素数(时空的总像素数)×f的要素数的矩阵。Hm在各行中，仅相当于运动向量的起始点和终点的要素具有不为0的值，此外的要素具有0的值。在运动向量为整数精度的情况下，相当于起始点和终点的要素分别具有-1和1的值，其他的要素为0。

在运动向量为子像素(sub-pixel)精度的情况下，按照运动向量的子像素成分的值，使相当于终点附近的多个像素的多个像素具有值。

也可以将(数学式28)作为Qm，使限制条件如(数学式29)所示。

[数学式29]

Q＝λ₁Q_f+λ₂Q_uv+λ₃Q_m

这里，λ3是与限制条件Qm相关的权重。

<R、B的高分辨率化>

根据以上所述的方法，通过使用由运动推定部107从R和B的低分辨率运动图像中提取的运动信息，能够由图像生成部108将G的1比n隔行扫描运动图像高分辨率化。

对于R和B，通过由多色图像合成部109进行插补扩大，并将其与上述高分辨率化的G图像合成并输出，由此能够将高分辨率化的结果(图4的输出图像402)作为彩色图像输出。

另外，如图19所示，新设高分辨率化部110，在高分辨率化部110中，通过在插补扩大的R图像、B图像上重叠所述高分辨率化后的G的高频波成分，由此能够在多色图像合成部111中，进行如下的处理。例如，通过合成输出上述高分辨率化部110的图像和上述高分辨率化后的G，能够以简单的处理将更加高分辨率化后的结果作为彩色图像输出。那时，通过按照高频域以外(中低频域的)的R、G、B间的局部的相关关系，来控制上述重叠的高频域成分的振幅，由此能够抑制假彩色的发生，进行看上去自然的高分辨率化处理。

另外，虽然在本实施方式中为了简单，以光学上在同一位置配置的元件来进行R和B的低分辨率摄像，但并不限于此。例如，能够通过使R和B的配置偏离半个像素的结构(所谓像素偏离)，来提高运动检测结果的空间分辨率。其结果，能够使G的高分辨率化更稳定。

进而，由于对于R、B也重叠G的高频域来进行高分辨率化，因此能够实现更加稳定的高分辨率化。

另外，图像生成部108中的G以及R、B的像素值的计算方法并不需要限于上述的方法，例如也可以如下所述那样同时计算R、G、B的像素值。

图38是同时计算R、G、B的像素值的多色图像处理装置的结构图。在图38中，对于和图1进行相同动作的构成要素附加与图1相同的符号，省略其说明。以下，详细说明多色图像生成部110的动作。

在图像生成部110中，设定表示作为目标的彩色图像g中的各色的图像的空间变化图案的接近程度的评价函数J，求取将评价函数J最小化的目标图像g。空间变化图案接近是指蓝图像、红图像、以及绿图像的空间变化相互相似。评价函数J的一例在(数学式30)中表示

[数学式30]

J(g)＝||H_RR_H-R_L||²+||H_GG_H-G_L||²+||H_BB_H-B_L||²

+λ₀||Q_SC_Sg||^p+λ_φ||Q_SC_φg||^p+λ_r||Q_SC_rg||^p

评价函数J被定义为构成希望生成的高分辨率彩色图像(目标图像)g的红、绿以及蓝的各色的图像(标记为图像向量R_H、G_H、B_H)的函数。(数学式30)中的H_R、H_G、H_B分别表示从目标图像g的各色图像R_H、G_H、B_H向各色的输入图像R_L、G_L、B_L(向量标记)的低分辨率化变换。H_R以及H_G、H_B分别为例如(数学式31)(数学式32)(数学式33)所示那样的低分辨率化的变换。

[数学式31]

$R_L(x_{\mathrm{RL}},y_{\mathrm{RL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_R(x^{\&prime;},y^{\&prime;})\&CenterDot;R_H(x\left(x_{\mathrm{RL}}\right)+x^{\&prime;},y\left(y_{\mathrm{RL}}\right)+y^{\&prime;})$

[数学式32]

$G_L(x_{\mathrm{GL}},y_{\mathrm{GL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_G(x^{\&prime;},y^{\&prime;})\&CenterDot;G_H(x\left(x_{\mathrm{GL}}\right)+x^{\&prime;},y\left(y_{\mathrm{GL}}\right)+y^{\&prime;})$

[数学式33]

$B_L(x_{\mathrm{BL}},y_{\mathrm{BL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_B(x^{\&prime;},y^{\&prime;})\&CenterDot;B_H(x\left(x_{\mathrm{BL}}\right)+x^{\&prime;},y\left(y_{\mathrm{BL}}\right)+y^{\&prime;})$

输入图像的像素值成为以目标图像的对应的位置为中心的局部区域的像素值的加权和。

在(数学式31)、(数学式32)、(数学式33)中，R_H(x，y)、G_H(x，y)、B_H(x，y)分别表示目标图像g的像素位置(x，y)的红(R)的像素值、绿(G)的像素值、和蓝(B)的像素值。另外，R_L(x_RL，y_RL)、G_L(x_GL，y_GL)、B_L(x_BL，y_BL)分别表示红输入图像的像素位置(x_RL，y_RL)的像素值、绿输入图像的像素位置(x_GL，y_GL)的像素值，蓝输入图像的像素位置(x_BL，y_BL)的像素值。x(x_RL)、y(y_RL)、x(x_GL)、y(y_GL)、x(x_BL)、y(y_BL)分别表示与输入图像的红图像的像素位置(x_RL，y_RL)对应的目标图像的像素位置的x、y坐标、与输入图像的绿图像的像素位置(x_GL，y_GL)对应的目标图像的像素位置的x、y坐标、和与输入图像的蓝图像的像素位置(x_BL，y_BL)对应的目标图像的像素位置的x、y坐标。另外，w_R、w_G和w_B分别表示与红图像、绿图像和蓝图像的输入图像的像素值相对的目标图像的像素值的权重函数。另外，(x’，y’)∈C表示定义w_R、w_G和w_B的局部区域的范围。

将低分辨率化图像(绿图像的情况为相同分辨率的图像)以及输入图像的对应像素位置上的像素值的差的平方和设定为评价函数的评价条件((数学式30)的第1项、第2项以及第3项)。即这些评价条件通过表示以低分辨率化图像所包含的各像素值为要素的向量、以输入图像所包含的各像素值为要素的向量的差分向量的大小的值来进行设定。

(数学式30)的第4项Q_s是评价像素值的空间上的平滑度的评价条件。

作为Q_s的例子的Q_s1以及Q_s2在(数学式34)以(数学式35)表示

[数学式34]

$Q_{s1}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[$

${\mathrm{\&lambda;}}_{\mathrm{\&theta;}}(x,y)\&CenterDot;{\{4\&CenterDot;{\mathrm{\&theta;}}_H(x,y)-{\mathrm{\&theta;}}_H(x,y-1)-{\mathrm{\&theta;}}_H(x,y+1)-{\mathrm{\&theta;}}_H(x-1,y){-\mathrm{\&theta;}}_H(x+1,y)\}}^2$

${+\mathrm{\&lambda;}}_r(x,y)\&CenterDot;{\{4\&CenterDot;r_H(x,y)-r_H(x,y-1)-r_H(x,y+1)-r_H(x-1,y){-r}_H(x+1,y)\}}^2]$

在(数学式34)中，θ_H(x，y)、ψ_H(x，y)、γ_H(x，y)在以与RGB色空间对应的球面坐标系统(θ、ψ、γ)来表现用目标图像的像素位置(x，y)的红、绿、蓝的各自的像素值来表示的三维正交色空间(即RGB色空间)内的位置的情况下的坐标值。这里θ_H(x，y)和ψ_H(x，y)表示2个种类的偏角，γ_H(x，y)表示向量径。

在图39表示RGB色空间和球面坐标系统(θ、ψ、γ)的对应例。

在图39中，作为一例，将θ＝0的方向作为RGB色空间的R轴的正方向，将ψ＝0的方向作为RGB色空间的G轴的正方向。这里，偏角的基准方向并不限于图39所示的方向，也可以是其他的方向。按照这样的对应，按每个像素，将RGB色空间的坐标值即红、绿、蓝的各个像素值变换为球面坐标系统(θ、ψ、γ)的坐标值。

在将目标图像的各像素的像素值考虑为RGB色空间内的三维向量的情况下，通过以与RGB色空间关联对应的球面坐标系统(θ、ψ、γ)来表现三维向量，像素的明亮度(信号强度，与亮度同义)相当于表示向量的大小的γ轴的坐标值。另外，表示像素的色彩(包含色调、色差、彩度等色信息)的向量的朝向由θ轴以及ψ轴的坐标值来规定。因此，通过使用球面坐标系统(θ、ψ、γ)，能够个别地处理规定像素的明亮度以及色彩的γ、θ、ψ这3个参数。

(数学式34)定义目标图像的以球面坐标系统来表现的像素值的、xy空间方向的2阶差分值的平方和。(数学式34)定义了在目标图像中，空间上相邻的像素的以球面坐标系统表现的像素值的变化越一致，值越小的条件Q_s1。像素值的变化一致对应于像素的颜色连续。条件Q_s1的值要小表示目标图像内的空间上相邻的像素的颜色要连续。

在图像中像素的明亮度的变化和像素的色彩的变化能够由物理上不同的现象而产生。因此，如(数学式34)所示，通过个别地设定与像素的明亮度的连续性(γ轴的坐标值的变化的一致性)相关的条件((数学式34)的大括号内的第3项)、和与像素的色彩的连续性(θ轴以及ψ轴的坐标值的变化的一致性)相关的条件((数学式34)的大括号内的第1项以及第2项)，由此，得到期望的画质变得容易。

λθ(x，y)、λψ(x，y)以及λ_γ(x，y)分别是相对于使用θ轴、ψ轴、γ轴的坐标值来设定的条件，在目标图像的像素位置(x，y)中应用的权重。这些值预先确定。简单地说，也可以按照λθ(x，y)＝λψ、(x，y)＝1.0、λ_γ(x，y)＝0.01的方式来不依赖像素位置或帧地设定。另外，优选，在图像中的像素值的不连续性等能够预测的位置，较小地设定该权重。像素值不连续也可以通过输入图像的帧图像内的相邻的像素的像素值的差分值或2阶差分值的绝对值为一定值以上来进行判断。

期望使在与像素的色彩的连续性相关的条件中应用的权重比在与像素的明亮度的连续性相关的条件中应用的权重更大。这是基于通过被摄体表面的凹凸或运动引起的被摄体表面的朝向(法线的朝向)的变化，图像中的像素的明亮度与色彩相比更容易变化(缺乏变化的一致性)。

另外，虽然在(数学式34)中，将目标图像的以球面坐标系统来表现的像素值的、xy空间方向的2阶差分值的平方和设为条件Q_s1，但也可以将2阶差分值的绝对值和、或者1阶差分值的平方和或绝对值和设定为条件。

虽然在上述的说明中使用与RGB色空间关联对应的球面坐标系统(θ、ψ、γ)来设定色空间条件，但使用的坐标系统并不限于球面坐标系统。例如，通过在具有易于分离像素的明亮度和色彩的坐标轴的新的正交坐标系统中设定条件，能够得到与前述相同的效果。

例如，通过对输入运动图像或成为基准的其他的运动图像中包含的像素值的RGB色空间内的频率分布进行主成分分析，来求取固有向量的方向。能够在该求得的固有向量的方向上，设立新的正交坐标系统的坐标轴(作为固有向量轴)。

[数学式35]

$Q_{s2}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[$

${\mathrm{\&lambda;}}_{C1}(x,y)\&CenterDot;{\{4\&CenterDot;C_1(x,y)-C_1(x,y-1)-C_1(x,y+1)-C_1(x-1,y){-C}_1(x+1,y)\}}^2$

$+{\mathrm{\&lambda;}}_{C2}(x,y)\&CenterDot;{\{4\&CenterDot;C_2(x,y)-C_2(x,y-1)-C_2(x,y+1)-C_2(x-1,y){-C}_2(x+1,y)\}}^2$

${+\mathrm{\&lambda;}}_{C3}(x,y)\&CenterDot;{\{4\&CenterDot;C_3(x,y)-C_3(x,y-1)-C_3(x,y+1)-C_3(x-1,y){-C}_3(x+1,y)\}}^2]$

在(数学式35)中，C₁(x，y)、C₂(x，y)、C₃(x，y)是将目标图像的像素位置(x，y)的红、绿、蓝的各自的像素值即RGB色空间的坐标值变换为新的正交坐标系统的坐标轴C₁、C₂、C₃的坐标值的转动变换。

(数学式35)定义了目标图像的以新的正交坐标系统来表现的像素值的、xy空间方向的2阶差分值的平方和。(数学式35)定义了在目标图像的各帧图像内，空间相邻的像素的以新的正交坐标系统来表现的像素值的变化越一致(即像素值连续)，值越小的条件Q_s2。

条件Q_s2的值要较小表示目标图像内的空间上相邻的像素的颜色要连续。

λ_C1(x，y)、λ_C2(x，y)以及λ_C3(x，y)分别是相对于使用C₁轴、C₂轴、C₃轴的坐标值来设定的条件，在目标图像的像素位置(x，y)中应用的权重，预先确定。

在C₁轴、C₂轴、C₃轴是固有向量轴的情况下，沿着各固有向量轴个别地设定λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)的值，由此能够通过固有向量轴来设定对应于不同的分散的值的合适的λ的值。即由于非主成分的方向上分散较小，可以期待2阶差分的平方和较小，所以可以使λ的值较大。相反，在主成分的方向上使λ的值相对地较小。

以上，说明了2种条件Q_s1、Q_s2的例子。作为条件Q_s，能够使用Q_s1、Q_s2的任意一个。

例如，在使用了(数学式34)所示的条件Q_s1的情况下，通过导入球面坐标系统(θ、ψ、γ)，来分别对表示色信息的θ轴以及ψ轴的坐标值、和表示信号强度的γ轴的坐标值的各自的坐标值进行使用来设定条件，且在条件的设定时对色信息和信号强度分别赋予适宜的权重参数λ。因此，有生成高画质的图像变得容易的好处。

在使用了(数学式35)所示的条件Q_s2的情况下，由于以从RGB色空间的坐标值通过线性(转动)变换而得到的新的正交坐标系统的坐标值来设定条件，因此，有运算简单化的好处。

另外，通过将固有向量轴作为新的正交坐标系统的坐标轴C₁、C₂、C₃，能够使用反映更多的像素接受到影响的颜色的变化的固有向量轴的坐标值来设定条件。因此，比起单纯地使用红、绿、蓝的各色组成的像素值来设定条件的情况，能够期待得到的目标图像的画质的提高。

另外，评价函数J并不限于上述的函数，也可以将(数学式30)的项置换为由类似式构成的项，或追加表示不同条件的新的项。

接着，通过求取使(数学式30)的评价函数J的值尽可能小(期望为最小)的目标图像的各像素值，生成目标图像的各色图像R_H、G_H、B_H。使评价函数J为最小的目标图像g例如也可以通过解出将J用目标图像的各色图像R_H、G_H、B_H的各像素值成分进行微分后的式子全部设为0后的(数学式36)的方程式来进行求取。也可以使用最陡梯度法(steepestgradient)等的反复运算性的最适宜手法来求取。

[数学式36]

$\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}=\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}=\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}=0$

<系统动作>

图20是表示本实施方式的摄像装置的动作计时的一例的图。

通过摄像部101曝光、摄像的场图像如图20所示，被依次写入存储器103中。信号处理部104在着眼场和其前后的场的图像被写入的计时，执行时空分辨率改善处理。通过这样的动作，按每场生成高分辨率图像。

由信号处理部104进行的时空分辨率改善处理，也可以每数场(每n1场)而进行，一次性生成n1场的高分辨率图像。另外，也可以将复数隔行扫描图像的全体暂时积蓄后，信号处理部104对全部场执行时空分辨率改善处理，生成全部场的高分辨率图像。这种情况下，为了积蓄复数隔行扫描图像全体，需要的存储器的容量变大。

也能够仅对特定的场生成高空间分辨率图像。也可以配合显示侧的显示器的性能来或者适当地变更时空分辨率，或者仅将高时空分辨率的图像的一部分的区域显示。即，本实施方式的原图像能够使用1帧的分辨率从CIF或NTSC程度的像素数的图像到HDTV或其以上的4k×2k(水平4000像素×垂直2000像素)或8k×4k(水平8000像素×垂直4000像素)的像素数的图像。

原图像的场周期例如为60分之1秒到30分之1秒程度。另一方面，作为输出图像，与原图像相同，能够将从CIF或NTSC到4k×2k、8k×4k的分辨率的帧图像生成为30帧/秒或60帧/的运动图像。进而，按照显示的方式，使输出图像为1∶2的场图像当然也是可以的。

如上所述，根据本实施方式，通过将复数隔行扫描摄像的G的图像和全像素读出的R、B的图像作为输入，使用从R、B的图像提取出的运动信息，对于复数隔行扫描摄像的G的图像进行改善时空分辨率的处理，由此，能够生成时空分辨率更高的运动图像。

在G的复数隔行扫描图像中，通过以在时间上和空间上大致均等的间隔读出像素，进一步提高生成的高分辨率图像的精度。这是由于在时空分辨率改善处理时，决定像素值的着眼像素和运算所使用的参照像素(实际读出的像素)的时间上、空间上的距离均等地变小。

(实施方式2)

以下，说明本发明的多色图像处理装置的第2实施方式。

在实施方式1的装置中，对摄像部101的像素排列访问的单位是每行，能够使用CCD摄像元件以及CMOS摄像元件的两方得以实现。在本实施方式中，对像素排列访问的单位不是每行而是对每个像素进行。这样的摄像方式可以使用CMOS摄像元件那样能够随机访问的摄像元件容易地实现。

本实施方式的基本的结构与图5所示的结构相同，不同点在于摄像部101所具备的摄像元件的动作。因此，仅对与实施方式1不同的部分进行说明。

首先，参照图21。图21是相当于图3的图，示意地表示本实施方式的摄像部的动作。

在本实施方式中，如图21所示，对于原图像的G成分，通过读出像素位置相互不同的n(n为3以上的整数)张的场来读出一帧的全像素。

图22～图25表示本变形例的读出像素配置的一例。图22～图25分别表示n＝4、8、9、10的情况。各图表示对于连续的n个场，在图像的xy平面上读出的像素的位置，附加阴影的地方表示实际读出的像素。xyt空间内的读出像素的配置也能够通过与在实施方式1说明的读出行顺序的决定方法相同的计算来决定。

虽然在图22～图25中，分别仅示出了(n×n)像素·n个场，但实际的读出只要将图示的图案在xy平面上空间上展开，时间上重复即可。n的值并不限于n＝4、8、9、10的情况，也可以是这以外的值。

实施方式1的读出方法可以说是在x方向上进行密集的采样，在y方向上按每场在不同的行上采样。与此相对，在本实施方式的读出方法中，由于能够使xyt时空内的采样位置更加均一，因此更有效地实现了信号处理部104进行的时空分辨率改善处理。

这样，在取得第1色成分的运动图像之时在摄像元件的像素排列上按每个场间隔提取取得读出像素的方法不需要如复数隔行扫描读出方式那样以行为单位。例如，也可以如本实施方式中那样以像素为单位。适用哪种读出方式，依赖于场景中包含的被摄体的样子或被摄体的运动。例如，在被摄体中较多地包含在水平横方向上延伸条纹样式的情况下，适用实施方式2中的读出方式。这样，也可以按照场景的种类来切换像素的间隔提取图案。该切换可以按照由用户事先从多个场景模式中选择的模式来决定，也可以根据实际摄像的运动图像来切换间隔提取图案。

(实施方式3)

虽然在上述的实施方式1、2中，摄像时的曝光时间为各场期间程度为止，但G成分图像的曝光时间并不限于这样的值，也可以长达场期间的n倍(读出全像素所要的场数)。

在使G成分图像的曝光时间比场期间长的情况下，需要变更(数学式3)到(数学式5)所示的采样过程的一部分。但是，能够有效地适用在实际读出的场期间以外的场期间浪费的光量。

为了简单，关于对宽度2个像素(x＝1、2)、高度2个像素(y＝1、2)、2帧(t＝1、2)的图像进行1∶2(n＝2)隔行扫描来进行采样的情况的采样过程H的公式化，在以下进行说明。

在对宽度2个像素(x＝1、2)、高度2个像素(y＝1、2)的图像进行1∶2(n＝2)隔行扫描来进行采样的情况下，通过

[数学式37]

f＝(I₁₁₀ I₂₁₀ I₁₂₀ I₂₂₀ I₁₁₁ I₂₁₁ I₁₂₁ I₂₂₁ I₁₁₂ I₂₁₂ I₁₂₂ I₂₂₂)^T

[数学式38]

$H=\left(\begin{array}{cccccccccccc}1& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 1\end{array}\right)$

将采样过程公式化为

[数学式39]

$g=\mathrm{Hf}=\left[\begin{array}{cccccccccccc}1& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 1\end{array}\right]{\left(\begin{array}{cccccccccccc}{I}_{110}& I_{210}& I_{120}& I_{220}& I_{111}& I_{211}& I_{121}& I_{221}& I_{112}& I_{212}& I_{122}& I_{222}\end{array}\right)}^T$

$={\left(\begin{array}{cccc}{I}_{110}+I_{111}& I_{210}+I_{211}& I_{122}+I_{122}& I_{221}+I_{222}\end{array}\right)}^T$

在(数学式39)中，I表示各像素的G的值，3个下标依次表示x、y、t的值。由于g是通过1比n隔行扫描读出而得到的图像，因此其像素数为全像素读出的图像的n分之1。

(实施方式4)

以下，说明本发明的多色图像处理装置的第4实施方式。

实施方式1的多色图像处理装置和本实施方式的多色图像处理装置间的差异基本在摄像部101的结构。因此，在以下，说明摄像部101的结构和动作。

在本实施方式的摄像部101中，如图26所示，在G用摄像元件15的前面，配置液晶透过板18，将G的曝光时间设定为各场期间以下。在图26中，为了简单，仅表示G用摄像元件15的像素中，在水平横方向上排列成一列的6个像素，对于液晶透过板18，仅图示与这6个像素对置的部分。

液晶透过板18作为能够在该像素单位ON/OFF光的透过的“空间光调制元件”发挥作用。液晶透过板18具体地具有以1对透明基板夹入液晶层的构造，在透明电极设有能够在像素单位对液晶层进行局部的电压施加的透明电极。透过在与选择的像素对应的液晶部分施加电压，能够控制液晶分子的朝向，能够调整透过每个像素的光的量。

液晶透过板18的n个像素(在图26的例中，n＝3)与G用摄像元件15的1个像素对置，液晶透过板18的纵方向的像素间距是摄像元件15的纵方向的像素间距的n分之1。

在本实施方式中，由于具备这样的结构的摄像部，因此如图27所示，能够按每场来切换透过液晶透过板18的光的行。图27(a)～(c)分别表示在不同的时刻的液晶透过板18的光透过状态。图中，阴影化的像素表示遮断光的OFF状态的像素，空白的像素表示透过光的ON状态的像素。

在图27(a)所示的状态下，仅液晶透过板18的3个像素行中最上行的像素透过光，在图27(b)以及图27(c)所示的状态下，分别仅正中间的行的像素以及最下行的像素透过光。

若像这样以行单位来控制液晶透过位置的ON/OFF，则G用摄像元件15的1行的像素能够作为3行的像素来动作。即，由于不需要使G用摄像元件15的像素尺寸比R、B用摄像元件的像素尺寸小，因此可以对于R、G、B的全部使用同一集成度的摄像元件，在成本方面有利。

在图26以及图27所示的例子中，由于n＝3，因此，比起实际的像素间距对于纵方向实现3倍的较高分辨率成为可能。若使n的值为4以上，则能够进一步提高分辨率。

使用这样的液晶透过板来有效地提高摄像元件的分辨率的技术也可以应用于实施方式2的摄像部。在将液晶透过板18应用于实施方式2的情况下，如图28所示，考虑将纵横像素间距比摄像元件的像素间距细的液晶透过板18配置于G用摄像元件15之前。并且，例如，如图29所示，按每个场来切换透过液晶透过板18的光的像素即可。在图28所示的例中，液晶透过板18的6个像素与G用摄像元件15的1个像素对置。通过采用这样的结构，如图29(a)～(f)所示，能够取得从第1场到第6场的6个场图像。

在图28以及图29的例中，由于液晶透过板18的像素间距被设定为相对于G用摄像元件15的间距，横方向上3分之1，纵方向上2分之1，因此，比起实际的像素，能够将分辨率提高到6倍。另外，液晶透过位置的像素间距和摄像元件的像素间距的关系并不限于上述的情况。

<单色输出>

虽然上述的各实施方式具备输出彩色图像作为图像处理的结果的结构，但是输出图像并不一定需要是彩色图像，根据用途是单色图像也没有关系。在这种情况下，不进行对于R、B的高分辨率化处理，仅将G的处理结果作为单色图像输出即可。

图30是表示进行单色输出的情况的动作的概念的说明图。在像这样输出图像为单色的情况下，输出并不一定需要3通道，只要输入被间隔提取读出的第1色成分的图像、和以低分辨率被全像素读出的第2色成分的图像即可。

另外，在各实施方式中，对于G以复数隔行扫描读出等的方式进行间隔提取读出，对于R和B以低分辨率、短时间曝光、高帧速率进行摄像，但对哪个波长带进行间隔提取读出，则并不限于上述的例子。若考虑到人的视角灵敏度的特性，一般期望进行G的间隔提取读出，由处理部进行高分辨率化。但是，在如摄像大海或池塘等、水中的场景的情况下，在事先获知场景中B的成分会强烈出现的情况下也可以进行B的间隔提取读出。这种情况下，通过对于R和G以低分辨率、短时间曝光、高帧速率摄像，由处理部对B进行高分辨率化，能够由观察者提示有高分辨率感的图像。

对哪一个色成分进行间隔提取了像素后的摄像，也可以通过检测实际的场景中包含的色成分的分布来动态地切换。为了实现这样的切换，例如，如图31所示，考虑在摄像部106和信号处理部104之间设置切换控制部112。并且，按照场景中的色成分的分布，在R、G、B中最多的色成分的摄像元件中，让摄像部10执行复数隔行扫描读出等的摄像动作即可。

<图像处理方法>

接着，参照图32，说明本发明的图像处理方法的实施方式。图32是表示本实施方式的图像处理方法的流程图。

在本实施方式的图像处理方法中，如图32所示，首先在执行了摄像原图像的摄像步骤S11后，执行将摄像的原图像数据积蓄于存储器的数据积蓄步骤S12。之后，执行使用积蓄的原图像来生成高分辨率图像的信号处理步骤S13。

为了读出全像素，可以将需要的场的数目即n的值固定，也可以在摄影前将其设定。图33是表示这种情况的图像处理方法的流程图。这种情况，作为图32所示的各步骤S11～S13的前处理，执行设定n的值的设定步骤S21。

图32以及图33所示的信号处理的步骤S13例如由图2所示的信号处理部104执行。在这样的信号处理部104中包含的运动推定部107、图像生成部108、以及多色图像合成部109也可以分别由独立的硬件来实现。另外，也可以由硬件和软件的组合来实现。换言之，也可以由与运动推定部107、图像生成部108、以及多色图像合成部109的每一个对应的专用的图像处理电路来构成信号处理部104。也可以通过使用规定的程序来使通用的计算机或数字信号处理装置动作，来发挥运动推定部107、图像生成部108、以及多色图像合成部109的作用。

本发明的程序是使信号处理装置动作的程序，该信号处理装置根据由n个场(n为2以上的整数)构成1帧的第1色成分的图像、以及由1个场构成1帧的第2色成分的图像来输出多色运动图像。具体而言，在信号处理装置中执行：根据第2色成分的图像输出由第2色成分的图像构成的运动图像中的运动信息的步骤；根据第1色成分的图像和运动信息来生成各场的第1色成分的合成图像，作为比第1色成分的图像空间分辨率高的第1合成图像来输出的步骤；根据第1合成图像和第2色成分的图像来生成并输出包含第1色成分以及第2色成分的多色运动图像的步骤。

这样的程序的整体或一部分除了以记录于记录介质的状态下存在以外，还能够经由有线或无线的传送介质来进行发送接收。该程序不一定仅在信号处理装置的制造阶段嵌入而使用，也可以经由存储卡等记录介质、和因特网或数字广播来安装到信号处理装置中而使用。

虽然本发明的多色图像处理装置具备摄像部以及信号处理部，但摄像部和信号处理部不需要构成为通过1个壳体一体化的装置，以能够一方与另一方之间执行信号的发送接收的形态来适宜结合即可。

图34表示构成摄像部101和信号处理部104位于不同的地方的图像处理系统的例子。在图34的例子中，通过代表因特网或企业内部互联网的网络122，摄像部101和服务器121连接。服务器121具备如图5所示的积蓄部106以及信号处理部104。

由摄像部101摄像的原图像经由网络122被积蓄于服务器121的积蓄部106。服务器121可以是拥有便携型的摄像部101的设置于用户自宅的家庭服务器，或者也可以是对用户提供图像处理服务者所拥有的服务器。

从摄像部101对网络122送出的数据不仅仅是原图像，还附加有图像处理所需要的规定读出图案的各种的信息。这样的附加信息例如包含图3或图21所示的识别像素读出图案的种类的信息、表示n值的信息等。

图35表示由本发明的多色图像处理装置来实现的图像处理系统的其他的结构例。图35的系统与图34的系统的不同的点在于，设有设定n值的设定部131。该设定部131如图36所示处于在物理上离开摄像部101的地方，经由网络122而连接。这样的图像处理系统在远程操作摄像部131的情况下有效。例如在从远程操作摄像部131的位置或角度、任意选择被摄体的情况下，对于设定部131不仅仅要输入n值，还要输入摄像部131的远程操作所需要的信息。

虽然在上述的图34～图36所示的例子中将积蓄部106和信号处理部104一起设于同一服务器121内，但也可以对摄像部101也设置与积蓄部106相同的积蓄部。在这样的积蓄部不经由网络122直接与摄像部101连接的情况下，由摄像部101所得的运动图像在经由网络122对服务器121送出之前，暂时积蓄于该积蓄部(未图示)中。

这样，本发明的图像处理装置作为小型化摄像元件尺寸的照相机的高精细图像的摄像和其再生装置、系统等有用。根据本发明，可以使用采用例如CCD元件那样的进行行单位的访问的元件、或CMOS元件那样能够进行随机访问的摄像元件来摄像的、根据多个场而读出1帧的像素的第1色成分的运动图像、和使用以低分辨率进行了全像素读出的第2、第3色成分的运动图像，来生成改善了时空分辨率的第1色成分的运动图像或彩色运动图像。由此，例如能够从用便携电话、数码照相机等的连续拍摄功能等摄影的图像中生成高时空分辨率的运动图像，或从监视用照相机的影像中生成高时空分辨率的运动图像。

产业上的可利用性

本发明的多色图像处理装置、摄像装置、摄像方法以及程序由于能够使用限定的像素数的摄像元件来获得高分辨率的彩色运动图像，因此能够适宜地在摄像机等的各种装置中利用。

Claims (19)

1.一种多色图像处理装置，具备：

摄像部，该摄像部具有：将可视光至少分离为第1色成分的光以及与所述第1色成分不同的第2色成分的光的色分离部；以及分别接受所述第1色成分的光以及第2色成分的光的第1摄像元件以及第2摄像元件；该摄像部在所述第1摄像元件的像素排列上对每个场间隔提取读出像素来取得通过所述第1摄像元件而获得的所述第1色成分的图像，在所述第2摄像元件的像素排列上对每个场取得通过所述第2摄像元件而获得的所述第2色成分的图像；

运动推定部，根据所述第2色成分的图像，推定由第2色成分的图像构成的运动图像中的运动并输出运动信息；

图像生成部，根据所述第1色成分的图像和所述运动信息，生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出；和

多色图像合成部，根据所述第1合成图像和所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

2.根据权利要求1所述的多色图像处理装置，其特征在于，

通过按每个场来改变所述第1摄像元件中的读出像素的位置，所述摄像部从n个场中取得构成1帧的所述第1色成分的图像，其中，n为2以上的整数。

3.根据权利要求2所述的多色图像处理装置，其特征在于，

所述图像生成部根据所述运动信息使所述第1合成图像的空间分辨率成为所述第1色成分的图像的空间分辨率的n倍。

4.根据权利要求3所述的多色图像处理装置，其特征在于，

所述第1合成图像的空间分辨率比所述第2色成分的图像的空间分辨率更高。

5.根据权利要求4所述的多色图像处理装置，其特征在于，

所述摄像部将在所述第2摄像元件的像素排列上比所述第1摄像元件中的各像素具有更大尺寸的至少1个像素作为读出像素的最小单位来取得所述第2色成分的图像。

6.根据权利要求1所述的多色图像处理装置，其特征在于，

具备：高分辨率化部，根据所述第1合成图像以及所述第2图像，使用所述第1合成图像的信息来生成并输出提高了所述第2图像的分辨率的第2合成图像，

所述多色图像合成部根据所述第1合成图像以及所述第2合成图像来生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

7.根据权利要求6所述的多色图像处理装置，其特征在于，

所述第2合成图像的空间分辨率与所述第1合成图像的空间分辨率相等。

8.根据权利要求1所述的多色图像处理装置，其特征在于，

所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案是由在所述像素排列上直线并排的多个像素构成的第1图案。

9.根据权利要求1所述的多色图像处理装置，其特征在于，

所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案是由在所述像素排列上离散分布的多个像素构成的第2图案。

10.根据权利要求1所述的多色图像处理装置，其特征在于，

所述摄像部在所述第1摄像元件的像素排列上对每个场选择的读出像素的排列图案在由在所述像素排列上直线并排的多个像素构成的第1图案、和由在所述像素排列上离散分布的多个像素构成的第2图案之间切换。

11.根据权利要求1所述的多色图像处理装置，其特征在于，

所述色分离部具有将可视光分离为所述第1色成分的光以及第2色成分的光，并分离为与所述第1以及第2色成分不同的第3色成分的光的结构，

所述摄像部还具备接受所述第3色成分的光的第3摄像元件，所述摄像部在所述第3摄像元件的像素排列上对每个场取得所述第3色成分的图像，

所述运动推定部根据所述第2以及第3图像推定由所述第2以及第3图像构成的运动图像中的运动来输出所述运动信息，

所述多色图像合成部除了根据所述第1合成图像以及第2色成分的图像之外，还根据所述第3色成分的图像，生成并输出包含所述第1色成分、第2色成分、以及第3色成分的多色运动图像。

12.根据权利要求3所述的多色图像处理装置，其特征在于，

所述第2色成分的图像和所述第3色成分的图像像素的空间配置不同。

13.根据权利要求1所述的多色图像处理装置，其特征在于，

所述第1色成分为绿。

14.根据权利要求1所述的多色图像处理装置，其特征在于，

所述摄像部具有配置于所述第1摄像元件的前面的空间光调制元件，

所述空间光调制元件具有与所述第1摄像元件的各像素对置来ON/OFF光透过的多个像素，选择性地使光入射到所述第1摄像元件的各像素的一部分。

15.一种摄像装置，具备：

将可视光至少分离为第1色成分的光以及与所述第1色成分的光不同的第2色成分的光的分离部；和

分别接受所述第1色成分的光以及第2色成分的光的第1摄像元件以及第2摄像元件，

该摄像装置在所述第1摄像元件的像素排列上对每个场间隔提取读出像素来取得通过所述第1摄像元件而获得的所述第1色成分的图像，在所述第2摄像元件的像素排列上对每个场取得通过所述第2摄像元件而获得的所述第2色成分的图像。

16.根据权利要求15所述的摄像装置，其特征在于，

还具有记录所述第1色成分的图像以及所述第2色成分的图像的积蓄部。

17.一种信号处理装置，根据由n个场构成1帧的第1色成分的图像、以及由1个场构成1帧的与所述第1色成分不同的第2色成分的图像，输出多色运动图像，其中，n为2以上的整数，所述信号处理装置具备：

运动推定部，根据所述第2色成分的图像，输出由第2色成分的图像构成的运动图像中的运动信息；

图像生成部，根据所述第1色成分的图像和所述运动信息，生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出；和

多色图像合成部，根据所述第1合成图像和所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像。

18.一种多色图像处理方法，根据由n个场构成1帧的第1色成分的图像、以及由1个场构成1帧的与所述第1色成分不同的第2色成分的图像，输出多色运动图像，其中，n为2以上的整数，

所述多色图像处理方法包括：

取得所述第1色成分的图像的步骤；

取得所述第2色成分的图像的步骤；

根据所述第2色成分的图像，推定并输出由所述第2色成分的图像构成的运动图像中的运动信息的运动推定步骤；

根据所述第1色成分的图像和所述运动信息，以比取得第1色成分的图像的帧速率更高的帧速率输出第1色成分的合成图像的运动补偿步骤；和

根据第1色成分的合成图像以及第2色成分的图像，生成并输出包含所述第1色成分以及第2色成分的多色运动图像的多色图像合成步骤。

19.一种程序，使根据由n个场构成1帧的第1色成分的图像、以及由1个场构成1帧的第2色成分的图像输出多色运动图像的信号处理装置动作，使所述信号处理装置执行如下步骤，其中，n为2以上的整数：

根据所述第2色成分的图像，输出由所述第2色成分的图像构成的运动图像中的运动信息的步骤；

根据所述第1色成分的图像以及所述运动信息生成各场中的第1色成分的合成图像，并将其作为比所述第1色成分的图像空间分辨率更高的第1合成图像输出的步骤；和

根据所述第1合成图像以及所述第2色成分的图像，生成并输出包含所述第1色成分以及所述第2色成分的多色运动图像的步骤。

Images