CN101578885A - 摄像处理装置以及摄像装置、图像处理方法以及计算机程序 - Google Patents

Abstract

本发明公开一种摄像处理装置以及方法，其中，具有：分离部，其将可见光至少分离为第1色成分以及第2色成分；第1摄像部，其对所述第1色成分的动态图像进行摄影，并在第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，以比所述第1电荷蓄积期间更长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率更高的第2空间分辨率、比所述第1时间分辨率更低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制；处理部，其基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，而生成提高了时空分辨率后的所述第2成分的动态图像。从而能够在不降低向各照相机入射的光量的情况下，生成高分辨率、且高帧率的动态图像。

Description

摄像处理装置以及摄像装置、图像处理方法以及计算机程序

技术领域

本发明所涉及动态图像的图像处理。具体来说，涉及生成利用图像处理将所摄影的动态图像的分辨率以及帧率的至少一方提高后的动态图像的技术。

背景技术

在近年的影像输入领域中，移动电话用照相机、数字静物照相机的多像素化、像素间距的小型化有所进展。

根据与图像摄像机器所需要的像质，将空间分辨率划分为跨度多路而使用。例如T V电话的分辨率是QCIF(Quarter Common IntermediateFormat，横176像素，纵144像素)程度，或者，QVGA(Quarter VideoGraphics Array，横320像素，纵144像素)程度的比较低的像素数。另一方面，数字一眼反射照相机的分辨率超过1000万像素。

时间分辨率也分割为跨度多路使用。例如，对于直到HDTV的像素数的时间分辨率，能够实现利民用机器的视频率(30帧/秒)的摄像。然而，对于其以上的像素数的摄像，其帧率，局限于基于搭载于数字静物照相机的连拍功能的每秒数帧。

另一方面，影像显示的技术领域中，平板电视(フラツトテレビ)以急剧的势头普及。与此相伴，可以预测通过今后各种分辨率的照相机和显示器的组合，用户能够对影像进行视听。

若将输入侧的照相机的时空分辨率(表示“时间分辨率以及空间分辨率”，以下同样)和输出侧的显示器的时空分辨率进行比较，现阶段的民用机器中输出侧的显示器一方较高。为此，成为如下状况：即一般用户能够轻易地输入最大限度地发挥了输出侧的性能的影像。

作为成为这种状况的理由，至此可以列举出读出速度是瓶颈。高空间分辨率的摄影限于每秒5帧左右，相反，每秒30帧的摄影限于HDTV的空间分辨率。因此，难于以较高空间分辨率图像且较高帧率进行摄像。

对于上述的课题，例如在专利文献1到3中，作为用于将高空间分辨率和高帧率的摄像兼顾的方式，提案了如下的方式：即利用2系统的照相机输入时间分辨率和空间分辨率不同的图像，并通过信号处理生成高空间分辨率且高帧率的图像。在这些专利文献中记载了图19所示的构成。

图19示出了以往的摄像装置的构成。入射到摄像装置的光的一部分透过半反射镜171，而入射到第1照相机172。结果，对低分辨率、高帧率的动态图像进行摄影。另一方面，入射到摄像装置的光中，由半反射镜171所反射的光，入射到第2照相机173。结果，对高分辨率、低帧率的动态图像进行摄影。

向上变换器(アツプコンバ一タ)174，对由第1照相机172以及第2照相机173所摄影的各动态图像进行受理，而进行图像处理，从而输出高分辨率、高帧率的动态图像。

【专利文献1】特开平7-143439号公报

【专利文献2】特表2005-515675号公报

【专利文献3】特开2005-318548号公报

然而，上述的摄像装置中，光由半反射镜171被2分割，因此在像素尺寸较小的高分辨率摄影用的第2照相机173中光量不足。另外，为了对动画进行摄影而对曝光时间的上限进行制限的低分辨率摄影用的第1照相机172光量也不足。因此，图像的辉度降低，图像变暗。

本发明旨在解决上述的课题，目的在于提供一种图像处理装置以及方法，其能够在不降低向各照相机入射的光量的情况下，生成高分辨率且高帧率的动态图像。

发明内容

基于本发明的摄像处理装置，具有：分离部，其将可见光至少分离为第1色成分以及第2色成分；第1摄像部，其对所述第1色成分的动态图像进行摄影，并在第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，以比所述第1电荷蓄积期间更长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率更高的第2空间分辨率、比所述第1时间分辨率更低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制；处理部，其基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，而生成提高了时空分辨率的所述第2成分的动态图像。

基于本发明的其他的摄像处理装置，具有：分离部，其将可见光至少分离为第1色成分以及第2色成分；第1摄像部，其对所述第1色成分的动态图像进行摄影，并以第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，以比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；移动检测部，其基于所述第1色成分的动态图像的时间变化而生成移动信息；处理部，其基于所述第1色成分的动态图像的信息、所述第2色成分的动态图像的信息、以及所述移动信息，而生成提高了时空分辨率后的所述第2成分的动态图像。

也可以是，所述处理部，对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部，将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、图像中对移动的被拍摄体的亮度为一定的假定、以及所述第1色成分以及所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率后的第2成分的动态图像。

也可以是，所述处理部基于由所述第2摄像部所摄影的所述第2色成分的动态图像以及所述约束条件，将最满足所述关系式的动态图像，作为提高了所述空间分辨率后的第2成分的动态图像而输出。

也可以是，所述处理部，对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系，以及图像的近旁像素间的平滑条件作为约束条件而使用，并将满足所述关系式的动态图像作为提高了空间分辨率后的第2成分的动态图像而输出。

也可以是，所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、以及图像中对移动的被拍摄体的亮度为一定的假定，作为约束条件而使用，并将满足所述关系式的动态图像，作为提高了空间分辨率后的第2成分的动态图像而输出。

所述摄像处理装置也可以还具有第3摄像部，所述分离部将所述可见光分离为所述第1色成分、所述第2色成分和第3成分，所述第3摄像部将所述第3色成分的动态图像，以第3电荷蓄积期间进行曝光，并以第3空间分辨率、第3时间分辨率对构成所述动态图像的各图像进行摄影，所述第3电荷蓄积期间比所述第2电荷蓄积期间短，所述第3空间分辨率比所述第2空间分辨率低，并且，所述第3时间分辨率比所述第2时间分辨率高。

也可以是，所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部，将所述第1色成分的动态图像、所述第2色成分的动态图和所述第3色成分的动态图像之间的时间的和空间的对应关系，以及所述第1色成分、所述第2色成分以及所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，并将满足所述关系式的动态图像，作为提高了空间分辨率后的第2成分的动态图像而输出。

也可以是，所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部，将所述第1色成分的动态图像、所述第2色成分的动态图和所述第3色成分的动态图像之间的时间的和空间的对应关系，以及所述第1色成分、所述第2色成分以及所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，并将满足所述关系式的动态图像，作为提高了空间分辨率后的第2成分的动态图像而输出。

也可以是，所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，所述处理部，将所述第1色成分的动态图像、所述第2色成分的动态图像和所述第3色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑度的条件、以及图像中对移动被拍摄体的亮度为一定的假定，所述第1色成分、所述第2色成分以及所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，并将满足所述关系式的动态图像作为提高了空间分辨率后的第2成分的动态图像而输出。

也可以是，基于本发明的摄像装置，构成图像处理装置以及图像处理系统，具有：分离部，其将可见光至少分离为第1色成分以及第2色成分；第1摄像部，其对所述第1色成分的动态图像进行摄影，以第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，以比所述第1电荷蓄积期间的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，所述图像处理装置，为了生成提高了时间分辨率后的所述第2成分的动态图像，而输出所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息。

所述摄像装置也可以还具有第3摄像部，所述分离部将所述可见光分离为所述第1色成分、所述第2色成分、第3成分，所述第3摄像部以第3电荷蓄积期间对所述第3色成分的动态图像进行曝光，并以第3空间分辨率、第3时间分辨率对构成所述动态图像的各图像进行摄影，所述第3电荷蓄积期间比所述第2电荷蓄积期间短，所述第3空间分辨率比所述第2空间分辨率低，并且所述第3时间分辨率比所述第2时间分辨率高。

也可以是，基于本发明的图像处理装置，从摄像装置受理动态图像的信息而进行处理，所述摄像装置，具有：分离部，其将可见光至少分离为第1色成分以及第2色成分，第1摄像部，其对所述第1色成分的动态图像进行摄影，并以第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，并以比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，移动检测部，其对所述第1色成分的动态图像的信息，以及所述第2色成分的动态图像的信息进行受理，并基于所述第1色成分的动态图像的时间变化而生成移动信息；处理部，其基于所述第1色成分的动态图像的信息、所述第2色成分的动态图像的信息、以及所述移动信息，而生成提高了空间分辨率后的所述第2成分的动态图像。

基于本发明的图像处理方法，包括：从所述摄像装置受理所摄影的所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息的步骤；基于所述第1色成分的动态图像的时间变化生成移动信息的步骤；取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式的步骤；将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、以及图像中对移动被拍摄体亮度为一定的假定，作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

也可以是，生成所述第2成分的动态图像的步骤中，还将所述第1色成分以及所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率的第2成分的动态图像。

基于本发明的图像处理方法，包括：从所述摄像装置对所摄影的所述第1色成分的动态图像的信息和所述第2色成分的动态图像的信息进行受理的步骤；取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式的步骤；将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系，以及图像的近旁像素间平滑性条件作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率后的第2成分的动态图像的步骤。

基于本发明的图像处理方法，包括：从所述摄像装置受理所摄影的所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息的步骤；取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的和空间的对应关系，以及所述第1色成分和所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

基于本发明的图像处理方法，包括：从所述摄像装置受理所摄影的所述第1色成分、所述第2色成分以及所述第3色成分的各动态图像的信息的步骤；取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；将所述第1色成分的动态图像、所述第2色成分的动态图像和所述第3色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间平滑性条件、以及图像中对移动的被拍摄体的亮度为一定的假定、以及所述第1色成分、所述第2色成分和所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，将满足所述关系式的动态图像作为提高了空间分辨率的第2成分的动态图像而输出的步骤。

基于本发明的计算机程序，使图像处理装置中设置的处理器，基于第1动态图像的数据以及第2动态图像的数据生成动态图像的数据，所述计算机程序，使所述处理器执行如下步骤：从权利要求11所记载的摄像装置受理所摄影的所述第1色成分的动态图像的信息和所述第2色成分的动态图像的信息的步骤；读出所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；基于所述第1色成分的动态图像与所述第2色成分的动态图像之间的时间的和空间的对应关系、图像的近旁像素间平滑性条件，图像中对移动被拍摄体亮度为一定的假定、以及所述第1色成分和所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

所述计算机程序也可以记录权利要求18所记载的计算机程序。

根据本发明的摄像处理装置，能够从分辨率和帧率不同的多个色成分的动态图像，生成分辨率和帧率均较高的多色动态图像。多个色成分的动态图像的每个，不使用半反射镜等，使用例如二向色反射镜，将入射光分离为各色成分每一而摄影。为此，与使用半反射镜的以往的技术相比较，各个的摄像部所接受的光量并不减半，因此各色成分的动态图像中光量的发生降低。藉此，能够得到明亮的动态图像。并且，基于这些的色成分图像，生成分辨率以及帧率均较高的动态图像。因而，所得到的动态图像也能够明亮。

附图说明

图1是表示基于实施方式1的摄像处理装置1的构成的图。

图2是更详细地对G用向上变换器106的构成进行表示的图。

图3(a)以及(b)，是表示对利用区段匹配进行移动检测时的基准帧和参照帧的图。

图4是表示构成2×2像素的彩色图像的R、G、B像素组的图。

图5是表示构成较大的图像中的局部区域的像素i，i+1，i+w以及i+w+1的图。

图6是对R和B的局部性相关ρ和权重W的关系进行表示的图。

图7是对R、B用向上变换器107的构成更详细地进行表示的图。

图8是更详细地对其他的例的R、B用向上变换器107的构成进行表示的图。

图9是对相关值ρ和权重W2的关系的例进行表示的图。

图10是对R、B用向上变换器107的构成的变形例进行表示的图。

图11是对基于实施方式1的变形例的摄像处理装置11的构成进行表示的图。

图12是对基于实施方式1的变形例的摄像处理装置12的构成进行表示的图。

图13是表示将摄像处理装置1一般化后的摄像处理装置13的构成的图。

图14是对由基于实施方式2的摄像装置901、网络902以及处理装置903所构成的图像处理系统的例进行表示的图。

图15是表示由计算机构成的图像处理装置的硬件的图。

图16是表示本发明的处理过程的流程图。

图17是对图16中所示的步骤S 103的详细的处理过程进行表示的流程图。

图18是对其他例的步骤S 103中的详细处理过程进行表示的流程图。

图19是对以往的摄像装置的构成进行表示的图。

图20是对构成2×2×2像素的彩色图像的R、G、B像素组进行表示的图。

图21是对构成着眼像素和其近旁3像素的彩色图像的R、G、B像素组进行表示的图。

图中：

101透镜系统

102二向色反射镜(ダイクロイツクミラ一)

103第1摄像部

104第2摄像部

105图像处理部

106G用向上变换器

107R、B用向上变换器

120控制部

具体实施方式

以下，参照附图对基于本发明的摄像处理装置的实施方式进行说明。

(实施方式1)

图1表示基于本实施方式的摄像处理装置1的构成。摄像处理装置1，具有透镜系统101、二向色反射镜102、第1摄像部103、第2摄像部104、图像处理部105、以及控制部120。

以下，首先对各构成元素的功能进行概说，其后，与摄像处理装置1的动作相关联地对各构成元素的动作进行详述。

透镜系统101，将从摄像处理装置1的外部入射的光即被拍摄体的像进行会聚。

二向色反射镜102将光的红色(R)成分以及蓝色(B)成分透过，并将光的绿色(G)成分反射。即，二向色反射镜102，将入射的光分离为红色(R)成分和蓝色(B)成分，以及绿色(G)成分。另外，在以下中，将红色成分记述为“R成分”，绿色成分”G成分”，将蓝色成分记述为“B成分”。

第1摄像部103，基于入射光(这里为光的R成分以及B成分)，以短时间的曝光时间、低分辨率以及高帧率对R成分以及B成分的动态图像分别进行摄影。并且，输出所得到的数据。另外，为了分别取得R成分的动态图像以及B成分的动态图像，第1摄像部103也可以在内部具有二向色反射镜，并且，备有对R成分以及B成分进行检测的摄像元件。

第2摄像部104，基于入射光(这里为光的G成分)，以长时间的曝光时间、高分辨率以及低帧率对动态图像进行摄影，并输出G成分的动态图像的数据。

图像处理部105，对与R成分以及B成分的光对应的动态图像的数据以及与G成分的光对应的动态图像的数据进行受理(受け取り)，并利用图像处理将各自变换为高分辨率以及高帧率的动态图像而输出。

图像处理部105备有G用向上变换器(アツプコンバ一タ)106以及R、B用向上变换器107。

G用向上变换器106生成将G成分的帧率提高后的高分辨率、高帧率的动态图像的数据。R、B用向上变换器107，提高R成分以及B成分的分辨率，并生成高分辨率、高帧率的动态图像的数据。动态图像，将1枚或者多枚的图像以规定的帧率连续地进行切换而显示。基于R、B用向上变换器107的提高分辨率的处理，表示将构成动态图像的各图像的像素数增加。

G用向上变换器106以及R、B用向上变换器107的详细如后述。

控制部120，对利用第1摄像部103以及第2摄像部104摄影动态图像时的摄像条件进行控制。并且将其控制信息输出到G用向上变换器106以及R、B用向上变换器107。

接下来，对摄像处理装置1的动作与各构成元素的动作一起进行详述。

透镜系统101中，以被拍摄体的像成像在第1摄像部103以及第2摄像部104的摄像元件上的方式，对其位置进行调整。通过透镜系统101的光，由二向色反射镜102分离为R成分、G成分、B成分。

对上述R成分以及B成分的动态图像，按照由控制部120指示的摄像条件即短时间曝光、低分辨率、高帧率，利用第1摄像部103进行摄影。这里，所谓“低分辨率”，是指例如NTSC的1帧的像素数(水平720像素×垂直480像素)左右，或者，其以下的VGA(Video Graphics Array：水平640像素×垂直480像素)左右的像素数的分辨率。所谓“高帧率”，是指30fps(帧/秒)至60fps左右。所谓“短时间曝光”，是指即使最长也以帧率所决定的上限值(本实施方式的情况，30分之一秒至60分之一秒)以下的时间进行曝光。

对于上述G成分的动态图像，也按照由控制部120所指示的摄像条件即长时间曝光、高分辨率、低帧率的摄像条件，利用第2摄影部104进行摄影。这里，所谓“高分辨率”，是指例如通常的数字静物照相机的像素数(例如水平约4000像素，垂直约3000像素)的分辨率。所谓“低帧率”，是指从第1摄像部103的数分之1到10分之1乃至20分之1的程度的帧率(例如3fps(帧/秒))。所谓“长时间曝光”，是指由将所述低帧率的值所决定的时间(例如1/3秒)作为上限而进行曝光。

在本实施方式中，第1摄像部103以及第2摄像部104，由控制部120进行同步控制而动作。然而，也并不必须同步而动作。

另外，上述的曝光时间的长短、分辨率的高低、帧率的高低，表示第1摄像部103以及第2摄像部104中的相对性摄像条件。彩色图像的R成分以及B成分的曝光时间，可以比G成分的曝光时间短。R成分以及B成分的分辨率(这里与像素数对应)可以比G成分的分辨率低。R成分以及B成分的帧率可以比G成分分辨率高。不限定于例示的上述的数值范围。

以下，本说明书中，把分辨率高(H)帧率低(L)的G的色成分的动态图像表记为G_HL，将分辨率低(L)帧率高(H)的R以及B的色成分的动态图像分别表记为R_LH，B_LH。第1个文字表示色成分，第2个文字(第1下标)表示分辨率，第3文字(第2下标)表示帧率。

G用向上变换器106，将按照长时间曝光、高分辨率进行低帧率摄像的G图像G_HL，和按照短时间曝光、低分辨率进行高帧率摄像的R图像以及B图像R_LH、B_LH的数据作为摄像条件而受理，并将G_HL高分辨率化，作为G_HH而输出。

也即，G用向上变换器106，生成以相同的分辨率高帧率化后的合成动态图像。这表示以绿色的合成动态图像的主观像质最好的方式进行处理。

如此处理的理由，是因为人视觉灵敏度相对于绿色比相对于红色、蓝色高特性，通常希望绿色的合成动态图像的主观像质最佳的缘故。

为了优化绿色的合成动态图像的主观像质，大多数情况下认为以高分辨率低帧率对绿色的动态图像进行摄影是合适的情况。例如，在图像中的被拍摄体是静止或者活动较小的情况下，若以高分辨率低帧率对绿色的动态图像进行摄影，则相对于红色、蓝色的合成动态图像，绿色的合成动态图像的分辨率较高，结果主观像质变高。并且，与红色、蓝色相比，进一步提高了绿色的动态图像的帧率，因此能够期待主观像质优化。

图2更详细地表示G用向上变换器106的构成。在图2中，对于与图1的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，而省略其说明。

G用向上变换器106，具有移动检测部108以及时间分辨率向上变换器109。

移动检测部108，利用区段匹配、梯度法、相位相关法等的既存的公知技术，根据R_LH、B_LH对移动(光学流：オプテイカルフロ一)进行检测。作为公知技术，周知的有：例如J.L.Barron，D.J.Fleet，S.S.Beauchemin，and T.A.Burkitt.“Performance of Optical FlowTechniques”，In Proc.Computer Vision and Pattern Recognition，pp.236-242，1992。

图3(a)以及(b)，表示由区段匹配进行移动检测时的基准帧和参照帧。移动检测部108，在作为基准的帧(为了求取移动而着眼的时刻t中的图像)内，设定图3(a)所示的窗区域A。并且，在参照帧内对与窗区域内的图案类似的图案进行探索。作为参照帧，较多地利用例如着眼帧的下一个帧。

探索范围，以在图3(b)所示的那样，通常，以移动量零的位置B为基准而预先设定一定的范围(同图3(b)中的C)。另外，图案的类似度(程度)，通过将由(数学式1)所示的残差平方和(平饱和)(SSD：Sum of Square Differrences)、(数学式2)所示的残差绝对值和(SAD：Sum of Absoluted Differences)作为评价值进行计算而评价。

【数学式1】

$\mathrm{SSD}=\underset{x,y\∈W}{\mathrm{\Σ}}{(I(x+u,y+v,t+\mathrm{\Δt})-I(x,y,t))}^2$

【数学式2】

$\mathrm{SAD}=\underset{x,y\∈W}{\mathrm{\Σ}}|I(x+u,y+v,t+\mathrm{\Δt})-I(x,y,t)|$

在(数学式1)以及(数学式2)中，x、y∈W，表示在基准帧的窗区域内包含的像素的坐标值。

移动检测部108，通过在探索范围内使(u，v)变化，而探索将上述评价值最小化(u，v)的组，并将此作为帧间的移动向量V。通过使窗区域的设定位置顺次移动，能够针对每像素或者每区段(例如8像素×8像素)求算移动。

再次参照图2。时间分辨率向上变换器109，对由第1摄像部103所摄像的R图像R_LH和B图像B_LH，由第2摄影部104所摄像的G图像G_HL，以及由移动检测部108所检测的移动向量V的各数据进行受理(受け取り)，将G_HL高分辨率化，并作为G_HH输出。

这里，G_HL的高分辨率化，通过求算将下述的(数学式3)最小化的G_HH而进行。

【数学式3】

J＝(H_TG_HH-G_HL)²+λ_s(Q_sG_HH)²+λ_m(Q_mG_HH)²+λ_c(Q_cH_sG_HH)²

这里，G_HH、G_HL是以动态图像的各像素为元素的纵向量，H_T是将基于长时间曝光的光的加算模型化后的矩阵，λ_S是针对平滑度约束的权重，Q_s是平滑度约束，λ_m是针对移动约束的权重，Q_m是移动约束，λ_c是针对色相关约束的权重，H_S是将高分辨率图像和低分辨率图像的关系模型化后的矩阵，Q_c表示色相关约束。利用控制部120在第2摄像部104设定的摄影条件至少反映在上述H_T，Q_s，Q_m以及Q_c中。

所谓将上述(数学式3)最小化的G_HH，表示完全满足所赋予的约束条件的线性和的G_HH。另外，数学式3的左边是数量(スカラ一：scalar)。右边的各项的导出过程如后述。

时间分辨率提高变换器109，基于下述(数学式4)而得到将(数学式3)最小化的G_HH。

【数学式4】

$\frac{\∂J}{{\∂G}_{\mathrm{HH}}}=2H_T^T(H_T{G}_{\mathrm{HH}}-G_{\mathrm{HL}})+2{\mathrm{\λ}}_s{Q}_s^T{Q}_s{G}_{\mathrm{HH}}+2{\mathrm{\λ}}_m{Q}_m^T{Q}_m{G}_{\mathrm{HH}}+2{\mathrm{\λ}}_c{H}_s^T{Q}_c^T{Q}_c{H}_s{G}_{\mathrm{HH}}=0$

结果，时间分辨率向上变换器109，通过求解(数学式5)所示的联立方程式而得到G_HH。

【数学式5】

$(H_T^T{H}_T+{\mathrm{\λ}}_s{Q}_s^T{Q}_s+{\mathrm{\λ}}_m{Q}_m^T{Q}_m+{\mathrm{\λ}}_c{H}_s^T{Q}_c^T{Q}_c{H}_s)G_{\mathrm{HH}}=H_T^T{G}_{\mathrm{HL}}$

通过利用共轭梯度法、最急下降法等的既存的数值计算法(联立方程式的解法)而求解(数学式5)。

时间分辨率向上变换器109通过上述的过程对所输入的G_HL进行高分辨率化从而求取G_HH的处理，是增加帧数的处理，也即不仅是提高时间分辨率的处理，也包含将模糊后的图像更换为明锐的(シヤ一プ：sharp)图像的处理。G成分的动态图像，通过第2摄像部104而以高分辨率进行摄影，但是也可能存在因为长时间曝光的影响而使得图像的一部模糊的情况。因此，也包含图像的锐化处理而称作‘高分辨率化’。

以下，对(数学式3)的各项的含义，针对作用而更详细地进行说明。

(数学式3)的第一项表示根据高分辨率化后的G_HH而预测的长时间曝光图像与实际观测的长时间曝光图像G_HL差异。这里，表示高分辨率化后的G_HH和长时间曝光图像G_HL图像间的时间空间的对应关系。这里，H_T中行数比列数少。这可以从如下情况理解：G_HL是长时间曝光图像，帧率比G_HH低(也即，总的像素数较少)。为此，假若仅将(数学式3)的左边作为第一项，则成为应该求解的问题(也即联立方程式)不能唯一地得到求解的不良设定问题。

为了将该不良设定问题变更为良好设定问题，在(数学式3)的第一项附加第二项以下的项。(数学式3)的第二项，表示图像通常满足的特性，也即近旁像素间的局部的平滑度。设动态图像为I(x，y，t)，则局部的平滑度能够作为

【数学式6】

$\∫{\left|\right|{\▿}^{2}I(x,y,t)\left|\right|}^2\mathrm{dxdydt}=\∫{\left|\right|\left(\begin{array}{c}\frac{{\∂}^2}{{\∂x}^2}I(x,y,t)\\ \frac{{\∂}^2}{{\∂y}^2}I(x,y,t)\\ \frac{{\∂}^2}{{\∂t}^2}I(x,y,t)\end{array}\right)\left|\right|}^2\mathrm{dxdydt}$

而表示。这里，积分范围是动态图像所占的时空间全体，数学式6的被积分函数中的||·||表示向量的范数(ノルム)。(数学式3)的第二项，是对(数学式6)进行差分展开，将I置换为G，并以矩阵Q_s和向量G_HH的积的形式进行表示。

(数学式3)的第三项，是与图像中的移动相关的约束。这里，假定动态图像中的各点没有改变亮度而移动。第三项中的矩阵Qm，是与动态图像中检测到的移动向量的始点和终点的像素相关的元素，并分别成为1和-1。为此，(Q_mG_HH)²成为与移动向量的始点和终点间的残差的平方(2乗)的动态图像全体相关的总和。

(数学式3)的第四项是与R、G、B间的局部性相关有关的约束。与在(数学式3)的第二项假定局部的平滑度同样，这里，假定局部的R、G、B的像素值之间的相关(色相关)。

现在，为了简单化，以图4所示的例子进行考虑。图4，表示构成2×2像素的彩色图像的R、G、B像素组。这里，假定在R、G、B间存在相关。也即，各像素中的R、G、B的比是同样的。这样的，下述的(数学式7)成立。

【数学式7】

$\frac{G_1}{R_1}=\frac{G_2}{R_2}=\frac{G_3}{R_3}=\frac{G_4}{R_4}$

$\frac{G_1}{B_1}=\frac{G_2}{B_2}=\frac{G_3}{B_3}=\frac{G_4}{B_4}$

若从这些各4个的比选择2个，则根据其选择如4C2＝6所示，能够得到(数学式8)。

【数学式8】

G₁R₂-G₂R₁＝0

G₂R₃-G₃R₂＝0

G₃R₄-G₄R₃＝0

G₁R₄-G₄R₁＝0

G₁R₃-G₃R₁＝0

G₂R₄-G₄R₂＝0

G₁B₂-G₂B₁＝0

G₂B₃-G₃B₂＝0

G₃B₄-G₄B₃＝0

G₁B₄-G₄B₁＝0

G₁B₃-G₃B₁＝0

G₂B₄-G₄B₂＝0

若以矩阵和向量表示(数学式8)，则成为(数学式9)。

【数学式9】

$\left(\begin{array}{cccc}{R}_2& -R_1& 0& 0\\ 0& R_3& -R_2& 0\\ 0& 0& R_4& -R_3\\ R_4& 0& 0& -R_1\\ R_3& 0& -R_1& 0\\ 0& R_4& 0& -R_2\\ B_2& -B_1& 0& 0\\ 0& B_3& -B_2& 0\\ 0& 0& B_4& -B_3\\ B_4& 0& 0& -B_1\\ B_3& 0& -B_1& 0\\ 0& B_4& 0& -B_2\end{array}\right)\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\end{array}\right)=q\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\end{array}\right)=0$

作为局部的区域考虑2×2像素的情况，RGB间的相关，能够由(数学式9)的左边的范数(数学式10)所评价。

【数学式10】

$\left|\right|{\begin{array}{cc}\left(\begin{array}{cccc}{R}_2& -R_1& 0& 0\\ 0& R_3& -R_2& 0\\ 0& 0& R_4& -R_3\\ R_4& 0& 0& -R_1\\ R_3& 0& -R_1& 0\\ 0& R_4& 0& -R_2\\ B_2& -B_1& 0& 0\\ 0& B_3& -B_2& 0\\ 0& 0& B_4& -B_3\\ B_4& 0& 0& -B_1\\ B_3& 0& -B_1& 0\\ 0& B_4& 0& -B_2\end{array}\right)& \left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\end{array}\right)\end{array}\left|\right|}^2={\left|\right|\begin{array}{cc}q& \left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\end{array}\right)\end{array}\left|\right|}^2=\left(\begin{array}{cccc}{G}_1& G_2& G_3& G_4\end{array}\right)q^{T}q\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\end{array}\right)$

这里，q^Tq能够(数学式11)由所表示。

【数学式11】

$q^{T}q=$

$\left(\begin{array}{cccc}{R}_2^2+R_3^2+R_4^2+B_2^2+B_3^2+B_4^2& -R_1{R}_2-B_1{B}_2& -R_1{R}_3-B_1{B}_3& -R_1{R}_4-B_1{B}_4\\ -R_1{R}_2-B_1{B}_2& R_1^2+R_3^2+R_4^2+B_1^2+B_3^2+B_4^2& -R_2{R}_3-B_2{B}_3& -R_2{R}_4-B_2{B}_4\\ -R_1{R}_3-B_1{B}_3& -R_2{R}_3-B_2{B}_3& R_1^2+R_2^2+R_4^2+B_1^2+B_2^2+B_4^2& -R_3{R}_4-B_3{B}_4\\ -R_1{R}_4-B_1{B}_4& -R_2{R}_4-B_2{B}_4& -R_3{R}_4-B_3{B}_4& R_1^2+R_2^2+R_3^2+B_1^2+B_2^2+B_3^2\end{array}\right)$

接下来，作为比2×2像素大的图像中的局部区域考虑2×2像素的区域。图5表示构成较大的图像中的局部区域的像素i、i+1、i+w以及i+w+1。如在图5中所示的那样，若设局部区域的左上的像素为第i个像素，右上的像素是第i+1个，左下的像素是第i+w个(这里，w是图像的宽度的像素数)，右下的像素为第i+w+1的像素。为此，该情况(数学式11)如(数学式12)那样被变形。

【数学式12】

$q_t^T{q}_t=$

为了对图像全体计算Q_c ^TQ_c，在将Q_c ^TQ_c的全元素置为0后，一边顺次移动局部区域的左上的像素的位置(即i)，一边将(数学式10)所示的局部的系数加算到较大区域的系数矩阵Q_c ^TQ_c即可。此时，也可以将局部区域的位置分别沿纵横每1像素地移动而互相地重叠的方式进行配置，或者，也可以按照沿纵横分别每2像素进行移动而互相地不重叠而邻接的方式进行配置。对于后者的情况，也可能存在在局部区域边界产生伪迹(ア一チフアクト)情况，但能够以更少的运算量得到大致同等的效果。

通过以上述的过程，能够计算H_T、Q_s、Q_m、Q_c ^TQ_c。另外，在(数学式3)的第4项中包含的H_S，是将G_HH空间地低分辨率化的算子(作用素)。这是为了在G_HH的中域和R_LH，B_LH之间施加上述的色相关约束而使用的。

另外，关于各约束的权重λ_s、λ_m、λ_c的各值，按照所生成的图像G_HH的像质变好的方式进行设定。例如(数学式3)中，作为在这些参数中进行加权的各项(包含前头的项的4项)的大小量级(オ一ダ一)大致一致，成为设定权重λ_s、λ_m、λ_c的值时的一个目标。相反，若这些4项的大小的量级不一致，则值大的项作为约束条件而成为支配性的，值小的项不作为约束条件发挥效力。

使用如以上的那样所计算的矩阵和权重，能够通过对所观测的图像G_HL求解(数学式5)的联立方程式，而生成G_HH。

另外，与(数学式12)所示的局部的区域中的R和B的相关相对应地，以(数学式13)的方式进行加权，能够与RB间的相关相对应地通过视觉性而再现自然的G_HH。

【数学式13】

$q_t^T{q}_t=$

这里，作为权重W的分布，与局部区域内的R和B的相关值(从-1到1)相对应地，采用从0到1的值而进行设定。例如图6表示R和B的局部性相关ρ和权重W的关系。与图4所示的2×2像素的区域相关地，R和B的局部性相关值ρ由(数学式14)所表示。

【数学式14】

$\mathrm{\ρ}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R})(B_i-\stackrel{\‾}{B})}{\sqrt{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(R_i-\stackrel{\‾}{R})}^2}\sqrt{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(B_i-\stackrel{\‾}{B})}^2}}$

若得到R和B的局部性相关值ρ，则能够基于图6的关系决定权重W。

另外，局部的R和B的相关，并不一定必须对于2×2像素的区域进行求取，也可以针对3×3像素、4×4像素、5×5像素等的更宽范围的矩形区域而求取。另外，也可以对于圆形、4边形以上的多边形等的区域进行求取，利用高斯(ガウシン)函数等附加对着眼像素位置近旁进行重视那样的权重而进行计算。利用这种计算方法，能够针对图像的图案，使相关值的计算更加各向同性化。

另外，本实施方式中，使用R、G、B的等级(レベル)本身计算与色相关有关的约束Q_c，但是作为等级本身的替代，也能够使用R、G、B的梯度(こう配)得到同样的效果。针对这样的例子在以下进行说明。

与动态图像中的移动相关地，若假定对应点间亮度一定，则可知：对于图像中的移动向量(u，v)，光学流的关系近似成立。对于R、G、B各个的光学流的式为(数学式15)。

【数学式15】

$\frac{\∂R}{\∂x}u+\frac{\∂R}{\∂y}v+\frac{\∂R}{\∂t}=0$

$\frac{\∂G}{\∂x}u+\frac{\∂G}{\∂y}v+\frac{\∂G}{\∂t}=0$

$\frac{\∂B}{\∂x}u+\frac{\∂B}{\∂y}v+\frac{\∂B}{\∂t}=0$

这里，若假定图像中的移动向量(u，v)在R、G、B间相同，则得到(数学式16)。

【数学式16】

$\frac{\∂R}{\∂x}\frac{\∂G}{\∂y}-\frac{\∂R}{\∂y}\frac{\∂G}{\∂x}=0$

$\frac{\∂R}{\∂y}\frac{\∂G}{\∂t}-\frac{\∂R}{\∂t}\frac{\∂G}{\∂y}=0$

$\frac{\∂R}{\∂t}\frac{\∂G}{\∂x}-\frac{\∂R}{\∂x}\frac{\∂G}{\∂t}=0$

$\frac{\∂B}{\∂x}\frac{\∂G}{\∂y}-\frac{\∂B}{\∂y}\frac{\∂G}{\∂x}=0$

$\frac{\∂B}{\∂y}\frac{\∂G}{\∂t}-\frac{\∂B}{\∂t}\frac{\∂G}{\∂y}=0$

$\frac{\∂B}{\∂t}\frac{\∂G}{\∂x}-\frac{\∂B}{\∂x}\frac{\∂G}{\∂t}=0$

(数学式16)中，R、G是针对1像素的值而考虑的。然而，由于

能够通过差分展开而作为矩阵表现，因此若将R、G作为向量而考虑，则对于动态图像全体得到(数学式17)。

【数学式17】

$(\frac{\∂}{\∂x}R\frac{\∂}{\∂y}-\frac{\∂}{\∂y}R\frac{\∂}{\∂x})G=0$

$(\frac{\∂}{\∂y}R\frac{\∂}{\∂t}-\frac{\∂}{\∂t}R\frac{\∂}{\∂y})G=0$

$(\frac{\∂}{\∂t}R\frac{\∂}{\∂x}-\frac{\∂}{\∂x}R\frac{\∂}{\∂t})G=0$

$(\frac{\∂}{\∂x}B\frac{\∂}{\∂y}-\frac{\∂}{\∂y}B\frac{\∂}{\∂x})G=0$

$(\frac{\∂}{\∂y}B\frac{\∂}{\∂t}-\frac{\∂}{\∂t}B\frac{\∂}{\∂y})G=0$

$(\frac{\∂}{\∂t}B\frac{\∂}{\∂x}-\frac{\∂}{\∂x}B\frac{\∂}{\∂t})G=0$

对于图像全体，为了使(数学式17)的各式尽可能同时成立，而求取将(数学式18)最小化的G_HH。

【数学式18】

${\left|\right|(\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂y}-\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂x})H_s{G}_{\mathrm{HH}}\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂y})H_s{G}_{\mathrm{HH}}\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂t})H_s{G}_{\mathrm{HH}}\left|\right|}^2$

$+{\left|\right|(\frac{\∂}{\∂x}{B}_{\mathrm{LH}}\frac{\∂}{\∂y}-\frac{\∂}{\∂y}{B}_{\mathrm{LH}}\frac{\∂}{\∂x})H_s{G}_{\mathrm{HH}}\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂y}{B}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂y})H_s{G}_{\mathrm{HH}}\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{B}_{\mathrm{LH}}\frac{\∂}{\∂t})H_s{G}_{\mathrm{HH}}\left|\right|}^2$

为了求取使(数学式18)最小化的G_HH，也可以求取：将利用G_HH对(数学式18)进行偏微分而得到的式置零的G_HH。由此得到(数学式19)。

【数学式19】

$({\left|\right|(\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂y}-\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂x})H_s\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂y})H_s\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂t})H_s\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂y}{B}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂y})H_s\left|\right|}^2+{\left|\right|(\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{B}_{\mathrm{LH}}\frac{\∂}{\∂t})H_s\left|\right|}^2)G_{\mathrm{HH}}=0$

通过(数学式19)和(数学式3)的第4项的比较，而得到(数学式20)。

【数学式20】

$Q_C=(\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂y}-\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂x})+(\frac{\∂}{\∂y}{R}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂y})+(\frac{\∂}{\∂t}{R}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{R}_{\mathrm{LH}}\frac{\∂}{\∂t})+(\frac{\∂}{\∂x}{B}_{\mathrm{LH}}\frac{\∂}{\∂y}-\frac{\∂}{\∂y}{B}_{\mathrm{LH}}\frac{\∂}{\∂x})+(\frac{\∂}{\∂y}{B}_{\mathrm{LH}}\frac{\∂}{\∂t}-\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂y})+(\frac{\∂}{\∂t}{B}_{\mathrm{LH}}\frac{\∂}{\∂x}-\frac{\∂}{\∂x}{B}_{\mathrm{LH}}\frac{\∂}{\∂t})$

另外，局部性相关关系，也没有必要限于与至此所说明的空间的近旁有关的相关关系，针对时间的、空间的近旁进行考虑当然也可以。例如，作为其一例，通过针对图20那样的近旁区域而进行考虑，能够得到更稳定的效果。图20表示构成2×2×2像素的彩色图像的R、G、B像素组。这里，假定在R、G、B间存在相关。也即，假定各像素中的R、G、B的比一样。如此，下述(数学式21)成立。

【数学式21】

$\frac{G_1}{R_1}=\frac{G_2}{R_2}=\frac{G_3}{R_3}=\frac{G_4}{R_4}=\frac{G_5}{R_5}=\frac{G_6}{R_6}=\frac{G_7}{R_7}=\frac{G_8}{R_8}$

$\frac{G_1}{B_1}=\frac{G_2}{B_2}=\frac{G_3}{B_3}=\frac{G_4}{B_4}=\frac{G_5}{B_5}=\frac{G_6}{B_6}=\frac{G_7}{B_7}=\frac{G_8}{B_8}$

若从这些各8个的比选择2个，则其选择方法按照₈C₂＝28。结果，得到(数学式22)以及(数学式23)。

【数学式22】

G₁R₃-G₃R₁＝0

G₁R₄-G₄R₁＝0

G₁R₅-G₅R₁＝0

G₁R₆-G₆R₁＝0

G₁R₇-G₇R₁＝0

G₁R₈-G₈R₁＝0

G₂R₃-G₃R₂＝0

G₂R₄-G₄R₂＝0

G₂R₅-G₅R₂＝0

G₂R₆-G₆R₂＝0

G₂R₇-G₇R₂＝0

G₂R₈-G₈R₂＝0

G₃R₄-G₄R₃＝0

G₃R₅-G₅R₃＝0

G₃R₆-G₆R₃＝0

G₃R₇-G₇R₃＝0

G₃R₈-G₈R₃＝0

G₄R₅-G₅R₄＝0

G₄R₆-G₆R₄＝0

G₄R₇-G₇R₄＝0

G₄R₈-G₈R₄＝0

G₅R₆-G₆R₅＝0

G₅R₇-G₇R₅＝0

G₅R₈-G₈R₅＝0

G₆R₇-G₇R₆＝0

G₆R₈-G₈R₆＝0

G₇R₈-G₈R₇＝0

【数学式23】

G₁B₂-G₂B₁＝0

G₁B₃-G₃B₁＝0

G₁B₄-G₄B₁＝0

G₁B₅-G₅B₁＝0

G₁B₆-G₆B₁＝0

G₁B₇-G₇B₁＝0

G₁B₈-G₈B₁＝0

G₂B₃-G₃B₂＝0

G₂B₄-G₄B₂＝0

G₂B₅-G₅B₂＝0

G₂B₆-G₆B₂＝0

G₂B₇-G₇B₂＝0

G₂B₈-G₈B₂＝0

G₃B₄-G₄B₃＝0

G₃B₅-G₅B₃＝0

G₃B₆-G₆B₃＝0

G₃B₇-G₇B₃＝0

G₃B₈-G₈B₃＝0

G₄B₅-G₅B₄＝0

G₄B₆-G₆B₄＝0

G₄B₇-G₇B₄＝0

G₄B₈-G₈B₄＝0

G₅B₆-G₆B₅＝0

G₅B₇-G₇B₅＝0

G₅B₈-G₈B₅＝0

G₆B₇-G₇B₆＝0

G₆B₈-G₈B₆＝0

G₇B₈-G₈B₇＝0

若将(数学式22)、(数学式23)以矩阵和向量表达，则成为(数学式24)、(数学式25)。

【数学式24】

【数学式25】

利用(数学式24)、(数学式25)得到以下的关系。

【数学式26】

$q\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\\ G_5\\ G_6\\ G_7\\ G_8\end{array}\right)=\left(\begin{array}{c}{q}_R\\ q_B\end{array}\right)\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\\ G_5\\ G_6\\ G_7\\ G_8\end{array}\right)=0$

在作为局部的区域考虑2×2×2像素的情况下，RGB间的相关，能够由(数学式25)的左边的范数(ノルム)(数学式27)所评价。

【数学式27】

${\left|\right|\begin{array}{cc}q& \left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\\ G_5\\ G_6\\ G_7\\ G_8\end{array}\right)\end{array}\left|\right|}^2=\left(\begin{array}{cccccccc}{G}_1& G_2& G_3& G_4& G_5& G_6& G_7& G_8\end{array}\right)q^{T}q\left(\begin{array}{c}{G}_1\\ G_2\\ G_3\\ G_4\\ G_5\\ G_6\\ G_7\\ G_8\end{array}\right)$

作为比2×2×2像素大的图像中的局部区域，在考虑2×2×2像素的区域的情况下，先与针对2×2像素的空间上近旁区域进行考虑的情况同样，通过将局部的关系顺次加算到大域的关系式，而能够得到大域的关系式。

另外，也可以代替针对上述2×2×2像素的近旁区域考虑局部性相关关系，而如图21所示那样，仅对着眼像素和与着眼像素在时间上、空间上邻接的3像素的合计4像素考虑局部性相关关系进行考虑。该情况，能够以比针对2×2×2像素的近旁区域考虑局部性相关关系更少的运算量，得到大致同样的效果。

此外，作为按照如上述那样的形式对时间方向的近旁区域考虑局部性相关关系的替代，而沿光学流的方向也即移动向量的方向假定局部性相关关系，而正确地求得了光学流(移动向量场)的情况下，能够得到更稳定的效果。此外，在以子像素(サブピクセル)精度得到移动向量的情况下，能够通过使用了小数学式点以下的移动向量的值的权重，有效地使用子像素精度的移动信息。

关于上述的(数学式3)，从右边第1项到第4项的约束条件，并不一定同时需要全部这些。也可以使用以下的那样的变形例。也即，也可以是仅仅能够利用(数学式1)的第1项和第2项。

【数学式28】

J＝(H_TG_HH-G_HL)²+λ_s(Q_sG_HH)²

或者，也可以利用仅仅基于(数学式3)的第1项和第4项的(数学式29)。

【数学式29】

J＝(H_TG_HH-G_HL)²+λ_c(Q_cH_sG_HH)²

或者，也可以利用仅仅基于(数学式3)的第1项和第2项以及第3项的(数学式30)。

【数学式30】

J＝(H_TG_HH-G_HL)²+λ_s(Q_sG_HH)²+λ_m(Q_mG_HH)²

或者，也可以利用仅仅基于第1项和第2项以及第4项的(数学式31)。

【数学式31】

J＝(H_TG_HH-G_HL)²+λ_s(Q_sG_HH)²+λ_c(Q_cH_sG_HH)²

根据这些变形例，能够以比使用(数学式3)所示的4项全部的约束条件(数学式1)而计算更少的运算量实现G成分的高分辨率化。但是，为了缓和约束条件，所生成的图像的高分辨率感会多少有所降低。

另外，移动检测较难的场景中，通过不使用移动检测的结果的数学式((数学式28)、(数学式29)或者(数学式31))而进行高分辨率化处理，能够与所输出的图像的像质相关地，抑制由移动的误检测引起的伪迹(图像的紊乱、噪声)的产生。根据场景的移动检测是否较难，可以(a)根据时间上在双方向上进行移动检测的结果的差异进行判断，(b)根据(数学式1)、(数学式2)所示的移动检测时的评价值的探索范围内的最小值进行判断。

前者(a)的情况，若假设基准帧的图像中的(x，y)中，时间上顺方向的移动检测结果为(u，v)，则以接下来顺方向的移动检测时的参照帧为基准而逆方向进行移动检测，若(x+u，y+v)中的移动检测结果是(-u，-v)，则双方向的移动检测中具有一贯性，可以信頼。另一方面，与(-u，-v)不同的情况，例如在存在一定的阈值以上的差异的情况下，能够判断为是移动检测较难的状况。

另外，与后者(b)的情况同样，在对于SSD、SAD的移动检测时的评价值的探索范围内的最小值，例如予定的阈值以上的情况下，能够判断为是移动检测较难的状况。

另外，对于没有色相关的场景，也可以使用(数学式28)、(数学式30)。根据(数学式13)所示的加权方法，若对没有色相关的场景进行处理，则权重变得较小。因此，在该情况下，自动地使用(数学式30)。

再参照图1。R、B用向上变换器107，使用通过G用向上变换器106而进行了高分辨率化的G成分的动态图像，利用第1摄像部103，而对以短时间曝光、低分辨率、高帧率的摄像条件进行摄像的R、B成分的动态图像进行高分辨率化。

以下，一边参照图7，一边详细地说明对R、B成分的动态图像进行高分辨率化的处理。

图7更详细地表示R、B用向上变换器107的构成。图7中，对于与图1的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，并省略其说明。

R、B用向上变换器107，具有向下变换器110、系数推定部111、复原滤波器112。

向下变换器110，对利用G用向上变换器106进行了高分辨率化后的G成分(G_HH)空间地进行低分辨化，并输出G_LH。系数推定部111，从G_HH和G_LH推定复原滤波器112(复原滤波器H+)的滤波器系数。作为复原滤波器112，能够使用威纳(ウイ一ナ)滤波器、一般逆滤波器等公知的滤波器。这些复原滤波器，能够使用G_HH和G_LH的关系，从低分辨率侧的信号推定高分辨率侧的信号。复原滤波器112，使用由系数推定部111推定的滤波器系数，从R_LH，B_LH复原R_HH，B_HH。

另外，R、B用向上变换器107中的R、B的高分辨率化处理，不限于上述那样的所谓的再构成型的处理，也可以通过其他的高分辨率化处理进行。以下说明基于其他例的高分辨率化处理。

图8对基于其他例的R、B用向上变换器107的构成详细地进行表示。这里，R、B用向上变换器107，根据R和B的相关而将G的高域成分重叠于插补放大后的R成分以及B成分，从而对R成分以及B成分进行高分辨率化。

图8所示的R、B用向上变换器107，具有向下变换器113、插补放大部114、局部相关运算部115、权重生成部116、计数器117、图像存储器118、标准化部119。

R、B用向上变换器107，以构成动态图像的帧单位进行处理。首先，在各帧处理之初，用例如0填充计数器117的内容和图像存储器118的内容而进行清零。

低分辨率化部113对利用G用向上变换器106高分辨率化后的G成分(G_HH)空间地进行低分辨化，而输出G_LH。

插补放大部114，对以低分辨率、高帧率摄像的R_LH，B_LH和摄影条件进行受理，并进行插补放大以使得R_LH和B_LH与G_HH具有相同像素数。

局部相关运算部115，与2×2像素、3×3像素程度的局部的区域相关，对R_LH、B_LH的局部性相关值进行计算。在对于2×2像素计算局部性相关值ρ时，局部相关运算部115，能够利用例如(数14)。

权重生成部116，生成与由局部相关运算部115所计算的相关值对应的权重。图9表示相关值ρ和权重W2的关系。权重生成部116，基于相关值ρ和图9所示的关系，求取权重W2。

如图8所示那样，将由权重生成部116生成并输出的权重，和G_HH与G_LH的差(也即G的高域成分)进行乘算，对图像存储器118进行更新。更详细地，进行乘算后，对与图像存储器118内的像素数据的存储位置对应的地址进行特定。并且，对乘算结果和保持于其地址的值加算，其地址值被改写为加算结果。

此时，对图像存储器118进行写入的对象，可以是1像素，或者，也可以是计算局部性相关值的范围。但是，在如后者那样对多像素重叠高域成分的情况下，利用对局部相关进行计算的区域的设定的方法(也即图像内的增加的方法)，对于同一像素重叠多次、高域成分。考虑这样的情况，而在图8的R、B用向上变换器107中，利用计数器117。计数器117，针对各像素对重叠了高域成分后的次数进行存储。

标准化部119，将多次重叠后的高域成分，除以针对每1个像素而写入计数器117中的次数值。标准化后的高域成分，重叠于由插补放大部114所插补放大后的R、B图像，并作为R_HH、B_HH而输出。

利用以上所述的方法，能够对R、B进行高分辨率化，从而能够在保持局部的色离散状态中对R和B进行高分辨率化，结果，能够进行抑制伪色的发生的高分辨率化。

另外，在图9，作为相关值和权重的关系的一例示出了线性的关系的情况。可是，这是例子，也可以考虑摄像时、显示时的γ特性而成为非线性的关系。另外，对于R，利用(R的局部平均)/(G的局部平均)对所述的权重进行标准化，对于B利用(B的局部平均)/(G的局部平均)对所述的权重进行标准化。利用该标准化，能够与R、G、B的像素值相对应，对R和B所重叠的G的高域成分的振幅进行调节，并能够降低由过度的高域的重叠引起的观察时的不适感。这里，作为R、G、B的局部平均，也可以利用插补放大后的R_LH、B_LH、图8的向下变换器113对G_HH进行向下变换(ダウンコンバ一ト)后的G_LH的像素值。

另外，若以针对每1个像素进行对插补放大后的R、B图像的高域成分重叠的方式而动作，则不需要图8的图像存储器118、计数器117、标准化部119，能够采用图10所示的构成。图10表示R、B用向上变换器107的构成的变形例。如图10所示那样，若与图8比较，能够以更简单构成实现R、B用向上变换器107，并且能够得到同样的效果。

另外，R、B用向上变换器107中的R、B的高分辨率化处理，并没有必要限于在上述的所谓的再构成型的超分辨处理、将G的高域成分重叠于R以及B成分的处理。也可以，对高分辨率化后的G成分与将其低分辨率化后的成分(上述G_LH和G_HH)之间的关系进行学习，并基于学习结果对R成分、B成分进行高分辨率化。

另外，学习不限于所输入的图像的处理过程中所进行的，也可以预先事前准备学习模式而进行。该情况下，不仅是学习低分辨率的G成分和高分辨率的G成分的关系的方法，而且也能够学习低分辨的RGB成分和高分辨率的RGB成分的关系。

至此的说明中，输出信号是R、G、B的各色成分。以下中，说明将RGB的各输出信号变换为辉度成分和色差成分而输出的摄像处理装置。

图11表示基于本实施方式的变形例的摄像处理装置11的构成。图11中，对于与上述的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，并省略其说明。

图像处理部105，除了具有G用向上变换器106、插补放大部114、以及向下变换器113，还具有色差计算部129以及辉度计算部130。

控制部120，对通过插补放大部114插补放大后的R成分、B成分的信号，以及由低分辨率化部113低分辨率化的G成分的信号进行受理，而利用(数学式32)的计算变换为色差信号(Cb信号，Cr信号)并输出。

【数学式32】

C_b＝0.564(B-Y)＝-0.169R-0.331G+0.500B

Cr＝0.713(R-Y)＝0.500R-0.419G-0.081B

辉度计算部130，对利用插补放大部114插补放大后的R成分、B成分的信号，以及利用G用向上变换器而高分辨率化后的G成分的信号进行受理，而利用(数学式33)的计算变换为辉度信号(Y信号)并输出。

【数学式33】

Y＝0.299R+0.587G+0.114B

如从上述的色差计算部129以及辉度计算部130的说明所理解的那样，在色差成分Cb、Cr的计算中使用低分辨率化的G，另一方面，在辉度成分Y的计算中使用高分辨率化后的G。由此，能够一边抑制伪色的发生，一边实现输出的图像的高分辨率化。

另外，也可以，在图像处理部105的后级，进一步设置将Y、Cb、Cr的各信号变换为RGB的各信号的模块，而做成将RGB成分的信号输出的构成。

另外，在输出信号没有必要是彩色图像，可以是单色(モノクロ)的情况下，也可以考虑人的视觉灵敏度，而进行R成分以及B成分的高分辨率化。在该情况中，能够采用图12所示的构成。

图12表示基于本实施方式的变形例的摄像处理装置12的构成。针对R成分以及B成分的高分辨率化处理是不需要的，摄像处理装置12，具有从摄像处理装置1(图1)省略R、B用向上变换器107后的构成。摄像处理装置12，仅仅生成高分辨率化后的绿色成分的G_HH信号。

另外，基于本实施方式的摄像处理装置以及基于其变形例的摄像处理装置，以高分辨率、长时间曝光、低帧率对G成分进行摄像，并以低分辨率、短时间曝光、高帧率对R成分以及B成分进行摄像。然而，这是示例。关于以高分辨率、长时间曝光、低帧率对哪个色成分(波长带)进行摄像，可以采用其他的例。

例如，如对海、游泳池等水中的场景进行摄像的情况的那样，在事先明白场景中B成分较强地出现的情况下，以高分辨率、长时间曝光、低帧率对B成分进行摄像，并以低分辨率、短时间曝光、高帧率对R成分以及G成分进行摄像，而向观察者显示具有高分辨率感的图像。

例如图13表示将摄像处理装置1一般化后的摄像处理装置13的构成。图13中，对于与图1的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，而省略其说明。

摄像处理装置13，具有R成分摄像部131、G成分摄像部132、B成分摄像部133、控制部134、切换部135、HL用向上变换器136、LH用向上变换器137、输出部138。以下，与摄像处理装置13的动作一起说明各构成元素的功能。

通过光学系统101的可见光，由二向色棱镜(ダイクロイツクプリズム)所波长分解，并被R成分摄像元件131、G成分摄像元件132、B成分摄像元件133所摄像。RGB各成分的摄像部131、132、133的读出像素数，能够利用binning(ビニング)读出方法，个别且动态地设定。所谓“binning读出方法”，是对邻接的像素中蓄积电荷进行加算而读出的方法。另外，各摄像部131、132、133中，对于曝光时间、帧率也能够同样地设定可能。读出时的条件设定，由控制部134进行。

控制部134，与场景中的色成分的分布相对应地，将R成分摄像元件131、G成分摄像元件132、B成分摄像元件133的其中之一设定为高分辨率、长时间曝光、低帧率(相当于实施方式1中的G)，并将其余设定为低分辨率、短时间曝光、高帧率(相当于实施方式1中的R、B)。

另外，由于摄像开始时场景中的色成分的分布是未知的，因此也可以将例如G设定为高分辨率、长时间曝光、低帧率那样。

切换部135，与基于控制部的RGB各成分的摄像部131、132、133的设定相对应地，将对以高分辨率、长时间曝光、低帧率的摄像进行设定的成分的摄像数据输入到HL用向上变换器136，并将其余成分的数据输入到LH用向上变换器137而进行切换动作。

HL用向上变换器136，进行与G用向上变换器106(例如图1)相同的处理，并对以高分辨率、长时间曝光、低帧率摄像的成分的动态图像，空间地进行高分辨化。

LH用向上变换器137，对以低分辨率、短时间曝光、高帧率摄像所得到的2系统(2个的色成分)的动态图像，和利用HL用向上变换器136高分辨率化后的动态图像进行受理，而进行与R、B用向上变换器107(例如图1)相同的处理，并对该2系统的动态图像空间地进行高分辨化。

输出部138对利用HL用向上变换器136和LH用向上变换器137分别高分辨率化后的动态图像进行受理，并根据基于控制部134的设定，而输出RGB3系统的动画。当然，输出部138也可以变换为辉度信号(Y)以及色差信号(Cb，Cr)信号等其他的信号形式而输出。

(实施方式2)

上述的实施方式1中，对利用同一的系统进行摄像处理和高分辨率化处理的例子进行了说明。然而，两处理并不一定必须在同一的系统中进行。

本实施方式中，对摄像处理和高分辨率化处理在不同的系统中进行的例子进行说明。

图14表示基于由本实施方式的摄像装置901、网络902以及处理装置903构成的图像处理系统的例。也可以替代网络902，而使用介质906，构成基于本实施方式的图像处理系统。图14中，对于与实施方式1的摄像处理装置(例如图1)的构成元素共通的构成要素附加相同的参照符号，而省略其说明。

摄像装置901，具有透镜系统101、二向色反射镜102、第1摄像部103、第2摄像部104、摄影模式设定部904。

第1摄像部103以短时间的曝光时间、低分辨率且高帧率对彩色图像的R成分和B成分进行摄像，并输出R图像R_LH以及B图像B_LH。第2摄像部104以长时间的曝光时间、高分辨率且低帧率对彩色图像的G成分进行摄像，并输出G图像G_HL。

摄影模式设定部904，对例如第2摄像部104中的帧率、曝光时间等设定可变的摄影条件进行设定，并将表示设定的条件表示的信息向影像信号的标题(ヘツダ)中的评论(コメント)区域写入，或者，另外作为数据通过输出部905而输出到网络902。

输出部905将由摄像装置901摄像的G图像G_HL、R图像R_LH、B图像B_LH、以及它们的摄影条件的信息输出到网络902或者介质906。

处理装置903具有图像处理部105。图像处理部105，通过网络902或者介质906，而对上述G_HL、R_LH、B_LH以及其摄影条件的信息进行受理，并通过实施方式1中说明的处理，输出将它们空间地、时间地高分辨率化后的G_HH、R_HH、B_HH。

通过以上的构成，摄像装置和处理装置另体构成，即使空间上离开而存在，也能够通过构成为通过网络902或者介质906而能够发送接收动态图像信号以及摄影条件的信息，而使得输出处理装置输出高时空分辨率的动态图像。

另外，网络902也可以是在家庭内构筑的LAN(Local Area Network)，互联网(インタ一ネツト)等WAN(Wide Area Network)。或者，也可以是USB标准、IEEE1394标准的通信线路。此外，可以是无线，也可以是有线。上述的介质906，包括光盘、可取出的硬盘等可移动盘，Flash(フラツシユ)存储器卡。

在上述的各实施方式中，作为具有图示的各种的构成而说明了摄像处理装置。例如，各构成中包含的图像处理部等，作为功能性表现的模块而记载。这些的功能模块，在硬件方面，能够由数字信号处理器(DSP)那样的1个的半导体芯片或者IC所实现，并能够利用例如计算机和软件(计算机程序)而实现。

例如，图15表示计算机构成的图像处理装置的硬件。

各实施方式的图像处理装置的各功能模块和图15所示的硬件的对应关系如下。以下作为例子，主要例举图1所示的图像处理装置1而进行说明。

摄像处理装置1的透镜系统101、二向色反射镜102、第1摄像部103以及第2摄像部104，与图15所示的照相机151以及A/D变换器152相对应。另外，图像处理部105在实际的处理中利用的暂时缓存器(未图示)、介质906，与图15所示的帧存储器153或者硬盘驱动器(HDD)160相对应。并且，控制部120以及图像处理部105，由执行计算机程序的图15的CPU154实现。

使图15的计算机动作的计算机程序，保持在例如ROM155中。或者，也可以存储在光盘、磁盘中。另外，也可以通过有线、无线的网络、广播等而传送，并取入到计算机的RAM156。

计算机程序由作为处理器的CPU154而读出到RAM156中被展开。CPU154执行作为计算机程序的实态的编码化后的各命令。作为命令的执行结果而得到的数字图像信号，被发送到帧存储器157而暂时地保持，并利用D/A变换器158变换为模拟信号，并被发送到显示器159，而被显示。

实现了图像处理部105的计算机程序的处理，根据例如接下来说明的流程图而记载。

例如图16是表示本发明的处理的过程的流程图。该处理，作为基于实施方式1的处理而说明，但是也能够作为利用实施方式2的摄像装置901以及处理装置903而个别地进行的处理而把握。

首先S101中，第1摄像部103以及第2摄像部104，对长时间曝光高分辨率低帧率的G图像G_HL和短时间曝光低分辨率高帧率的R图像R_LH，B图像B_LH进行摄像。步骤S102中，图像处理部105的G用向上变换器106，对G成分的动态图像进行高分辨率化。更具体来说，能够分为步骤S104和S105。步骤S104中，G用向上变换器106的移动检测部108进行移动检测。步骤S105中，时间分辨率向上变换器109，利用移动检测的结果等，而求取基于(数学式4)将(数学式3)最小化的G_HH。

在接下来的步骤S103中，R、B用向上变换器107，对R成分以及B成分的各动态图像进行高分辨率化。其后，控制部120，判定摄像是否结束，若判断为没有结束，则从步骤S101重复进行处理，若判定为结束，则结束处理。

图17是表示图16所示的步骤S103的详细的处理的过程的流程图。该处理与图7所示的R、B用向上变换器107的处理相对应。

图17的步骤S106中，向下变换器110，基于摄像条件而将G_HH低分辨率化。步骤S107中，系数推定部111对旨在适用复原滤波器112的系数进行推定。步骤S108中，推定的系数被适用于复原滤波器112，复原滤波器112，将R_LH以及B_LH高分辨率化，而输出R_HH以及B_HH。

图18是表示基于其他例的步骤S103的详细的处理的过程的流程图。该处理，与图8所示的R、B用向上变换器107的处理相对应。

步骤S109中，向下变换器113，基于摄像条件而将G_HH低分辨率化。步骤S110中，从G_HH减算G_LH。

另一方面，步骤S111中，若插补放大部114基于摄像条件而对R_LH以及B_LH进行插补放大，则基于该信号，在步骤S112中局部相关运算部115计算局部性相关值。

并且，步骤S113中，若权重生成部116生成权重，则步骤S114中计数器117针对各像素存储将高域成分重叠后的次数。步骤S115中，将由权重生成部116生成并输出的权重，和G_HH与G_LH的差(也即G的高域成分)乘算，并在步骤S116中对图像存储器118进行更新。

步骤S117中，将保持在标准化部119、图像存储器118中多次重叠的高域成分，除以针对每1像素写入在计数器117中的次数值，而进行标准化。

并且，步骤S118中，标准化后的高域成分，被叠加在通过插补放大部114被插补放大后的R、B图像，并作为R_HH、B_HH输出。

以上，说明了本发明的各实施方式。实施方式1以及2中，针对将R、G、B的3成分由二向色反射镜分离的情况进行了说明，但是色成分的分离的形态不限于此。例如通过以下处理也能够得到同样的效果：即利用在单一的元件中在深度方向顺次分为R+G+B、R+G、R这3层地进行摄像的摄像元件，受理以高分辨率、长时间曝光、低帧率对R+G或者R+G+B进行摄像，并以低分辨率、短时间、低帧率对其他进行摄像的图像。

【产业上的利用可能性】

本发明的摄像装置以及处理装置作为由将摄像元件尺寸小型化的照相机所进行的高精细图像的摄像及其再生装置、系统是有用的。另外，也能够作为计算机程序而实现。

Claims (19)

1、一种摄像处理装置，其特征在于，

具有：

分离部，其将可见光至少分离为第1色成分以及第2色成分；

第1摄像部，其对所述第1色成分的动态图像进行摄影，并以第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；

第2摄像部，其对所述第2色成分的动态图像进行摄影，在比所述第1电荷蓄积期间更长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率更高的第2空间分辨率、比所述第1时间分辨率更低的第2时间分辨率对构成所述动态图像的各图像进行摄影；

控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制；

处理部，其基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，而生成提高了时空分辨率后的所述第2成分的动态图像。

2、一种摄像处理装置，其特征在于，

具有：

分离部，其将可见光至少分离为第1色成分以及第2色成分；

第1摄像部，其对所述第1色成分的动态图像进行摄影，并以第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；

第2摄像部，其对所述第2色成分的动态图像进行摄影，并以比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；

移动检测部，其基于所述第1色成分的动态图像的时间变化而生成移动信息；

处理部，其基于所述第1色成分的动态图像的信息、所述第2色成分的动态图像的信息、以及所述移动信息，而生成提高了时空分辨率后的所述第2成分的动态图像。

3、根据权利要求1所述的摄像处理装置，其特征在于，

所述处理部，对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持；

所述处理部，将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、图像中对移动的被拍摄体的亮度为一定的假定、以及所述第1色成分以及所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率后的第2成分的动态图像。

4、根据权利要求3所述的摄像处理装置，其特征在于，

所述处理部基于由所述第2摄像部所摄影的所述第2色成分的动态图像以及所述约束条件，将最满足所述关系式的动态图像，作为提高了所述空间分辨率后的第2成分的动态图像而输出。

5、根据权利要求1或2所述的摄像处理装置，其特征在于，

所述处理部，对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，

所述处理部将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、以及图像的近旁像素间的平滑条件作为约束条件而使用，并将满足所述关系式的动态图像作为提高了空间分辨率后的第2成分的动态图像而输出。

6、根据权利要求2所述的摄像处理装置，其特征在于，

所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，

所述处理部，将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、以及图像中对移动的被拍摄体的亮度为一定的假定作为约束条件而使用，并将满足所述关系式的动态图像，作为提高了空间分辨率后的第2成分的动态图像而输出。

7、根据权利要求1或2所述的摄像处理装置，其特征在于，

还具有第3摄像部，

所述分离部将所述可见光分离为所述第1色成分、所述第2色成分和第3成分，

所述第3摄像部将所述第3色成分的动态图像，以第3电荷蓄积期间进行曝光，并以第3空间分辨率、第3时间分辨率对构成所述动态图像的各图像进行摄影，

所述第3电荷蓄积期间比所述第2电荷蓄积期间短，所述第3空间分辨率比所述第2空间分辨率低，并且，所述第3时间分辨率比所述第2时间分辨率高。

8、根据权利要求7所述的摄像处理装置，其特征在于，

所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，

所述处理部，将所述第1色成分的动态图像、所述第2色成分的动态图和所述第3色成分的动态图像之间的时间的和空间的对应关系，以及所述第1色成分、所述第2色成分以及所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，并将满足所述关系式的动态图像，作为提高了空间分辨率后的第2成分的动态图像而输出。

9、根据权利要求7所述的摄像处理装置，其特征在于，

所述处理部对由所述第2摄像部所摄影的所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式进行保持，

所述处理部，将所述第1色成分的动态图像、所述第2色成分的动态图像和所述第3色成分的动态图像之间的时间的以及空间的对应关系，图像的近旁像素间的平滑度的条件，以及图像中对移动被拍摄体的亮度为一定的假定，所述第1色成分、所述第2色成分以及所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，并将满足所述关系式的动态图像作为提高了空间分辨率后的第2成分的动态图像而输出。

10、一种摄像装置，其特征在于，

与图像处理装置一起构成图像处理系统，

具有：

分离部，其将可见光至少分离为第1色成分以及第2色成分；

第1摄像部，其对所述第1色成分的动态图像进行摄影，以第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；

第2摄像部，其对所述第2色成分的动态图像进行摄影，以比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；

控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，

所述图像处理装置，为了生成提高了时间分辨率后的所述第2成分的动态图像，而输出所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息。

11、根据权利要求10所述的摄像装置，其特征在于，

还具有第3摄像部，

所述分离部将所述可见光分离为所述第1色成分、所述第2色成分、第3成分，

所述第3摄像部以第3电荷蓄积期间对所述第3色成分的动态图像进行曝光，并以第3空间分辨率、第3时间分辨率对构成所述动态图像的各图像进行摄影，所述第3电荷蓄积期间比所述第2电荷蓄积期间短，所述第3空间分辨率比所述第2空间分辨率低，并且所述第3时间分辨率比所述第2时间分辨率高。

12、一种图像处理装置，其特征在于，

从摄像装置受理动态图像的信息而进行处理，

所述摄像装置，具有：

分离部，其将可见光至少分离为第1色成分以及第2色成分，

第1摄像部，其对所述第1色成分的动态图像进行摄影，并以第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；

第2摄像部，其对所述第2色成分的动态图像进行摄影，并以比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；

控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，

移动检测部，其对所述第1色成分的动态图像的信息，以及所述第2色成分的动态图像的信息进行受理，并基于所述第1色成分的动态图像的时间变化而生成移动信息；

处理部，其基于所述第1色成分的动态图像的信息、所述第2色成分的动态图像的信息、以及所述移动信息，而生成提高了空间分辨率后的所述第2成分的动态图像。

13、一种图像处理方法，其中，

包括：

从权利要求10所记载的摄像装置，受理所摄影的所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息的步骤；

基于所述第1色成分的动态图像的时间变化而生成移动信息的步骤；

取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式的步骤；

将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系、图像的近旁像素间的平滑性条件、以及图像中对移动的被拍摄体亮度为一定的假定，作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

14、根据权利要求13所述的图像处理方法，其特征在于，

生成所述第2成分的动态图像的步骤中，还将所述第1色成分以及所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率的第2成分的动态图像。

15、根据权利要求14所述的图像处理方法，其特征在于，

包括：

从权利要求10所记载的摄像装置对所摄影的所述第1色成分的动态图像的信息和所述第2色成分的动态图像的信息进行受理的步骤；

取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像的关系式的步骤；

将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的以及空间的对应关系，以及图像的近旁像素间平滑性条件作为约束条件而使用，并根据满足所述关系式的程度，而生成提高了空间分辨率后的第2成分的动态图像的步骤。

16、一种图像处理方法，其特征在于，

从权利要求10所记载的摄像装置受理所摄影的所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息的步骤；

取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；

将所述第1色成分的动态图像和所述第2色成分的动态图像之间的时间的和空间的对应关系，以及所述第1色成分和所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

17、一种图像处理方法，其特征在于，

包括：

从权利要求11所记载的摄像装置，受理所摄影的所述第1色成分、所述第2色成分以及所述第3色成分的各动态图像的信息的步骤；

取得所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；

将所述第1色成分的动态图像、所述第2色成分的动态图像和所述第3色成分的动态图像之间的时间的以及空间的对应关系，图像的近旁像素间平滑性条件，以及图像中对移动的被拍摄体的亮度为一定的假定，以及所述第1色成分、所述第2色成分和所述第3色成分之间的像素值的局部性相关关系作为约束条件而使用，将满足所述关系式的动态图像作为提高了空间分辨率的第2成分的动态图像而输出的步骤。

18、一种计算机程序，使图像处理装置中设置的处理器，基于第1动态图像的数据以及第2动态图像的数据生成动态图像的数据，

所述计算机程序，使所述处理器执行如下步骤：

从权利要求11所记载的摄像装置受理所摄影的所述第1色成分的动态图像的信息和所述第2色成分的动态图像的信息的步骤；

读出所述第2色成分的动态图像和提高了空间分辨率后的第2成分的动态图像之间的关系式的步骤；

将所述第1色成分的动态图像与所述第2色成分的动态图像之间的时间的和空间的对应关系、图像的近旁像素间平滑性条件、图像中对移动被拍摄体的亮度为一定的假定、以及所述第1色成分和所述第2色成分之间的像素值的局部性相关关系作为约束条件而使用，并根据满足所述关系式的程度，生成提高了空间分辨率后的第2成分的动态图像的步骤。

19、一种记录介质，其特征在于，

记录了权利要求18所记载的计算机程序。

Images