CN101743755B - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明提供一种不会因通过半反射镜的光量减半而引起SN比的下降，可生成高分辨率、高帧频、且SN比高的动态图像的图像处理装置及方法。图像处理装置根据第一及第二动态图像生成多色动态图像。第一动态图像以第一帧频具有第一颜色成分的多个图像。第二动态图像以比第一帧频高的第二帧频具有与第一颜色成分不同的第二颜色成分的多个图像，并且其分辨率为第一动态图像的分辨率以下。图像处理装置包括：第一图像合成部，根据第一及第二动态图像的数据，生成使构成第一动态图像的图像变化的合成图像，利用第一动态图像及合成图像，以比第一帧频高的帧频，输出与第一动态图像对应的合成动态图像；以及第二图像合成部，接收并合成合成动态图像及第二动态图像，生成含第一颜色成分及第二颜色成分的多色动态图像。

Description

图像处理装置、图像处理方法

技术领域

本发明涉及一种动态图像的图像处理。更具体地，涉及一种生成通过图像处理提高了已拍摄的动态图像的分辨率及帧频(frame rate)的至少一种的彩色动态图像的技术。 

背景技术

近年来，在图像摄像设备的领域中，正快速推进数字摄像机及数字照相机的高画质化和多功能化。作为涉及由这些图像摄像设备得到的动态图像的画质的主要指标，有每一帧的像素数(分辨率)、每一秒的帧数(帧频)、及相对于杂音的图像信号的比率(SN比)。 

分辨率按照图像摄像设备所必需的画质分为多分支使用。例如，TV电话的分辨率是QCIF(Quarter Common Intermediate Format)程度的像素数，数字单反照相机的分辨率超过1000万像素。帧频也被分为多支，在数字照相机的连拍功能中是每秒几帧，在摄像机中是每秒30帧，在特殊的高速摄影照相机中有超过每秒1000帧的情形。 

但是，在图像摄像设备中广泛使用的摄像元件(例如CCD、CMOS图像传感器)很难提高像素数据的读出速度，具有存在固定的上限值这样的特征。像素数据的读出速度的上限值规定动态图像的分辨率和帧频的乘积的上限值。由此，同时难于满足高分辨率和高帧频的动态图像的拍摄。 

因此，提出一种通过动态图像的信号处理生成高分辨率、且高帧频的动态图像的方式。例如，专利文献1，使用2个摄像机构，拍摄分辨率和帧频的组合不同的2个动态图像，通过信号处理就能生成高分辨率、且高帧频的动态图像。 

图20示出了专利文献1所述的现有的摄像装置的结构。透过摄像装置的透镜1001的光，其一部分透过半反射镜(half mirror)1004，经过快门1006入射胶卷1002。其结果，在胶卷1002上记录(拍摄)分辨率高、但帧频(拍摄间隔)低的动态图像。另一方面，透过透镜1001的光的一部分被半反射镜1004反射，射入透镜1005，由CCD 1005受光。其结果，拍摄分辨率低、但帧频高的动态图像，记录在记录介质(未图示)中。

摄像装置，找出用胶卷1002拍摄的图像和用CCD 1005拍摄的图像的边缘(edge)的对应关系，根据此对应关系生成用CCD 1005拍摄、却未用胶卷1002拍摄的计时的图像。由此，摄像装置生成高分辨率、且高帧频的图像。 

使用这种2个摄像机构的现有的摄像装置，利用一个摄像机构(胶卷1002)记录高分辨率低帧频的动态图像，利用另一个摄像机构(CCD 1003)拍摄记录低分辨率高帧频的动态图像。为此，即使假设使用读出速度存在上限值的2个摄像元件的情况下，也能够生成超过2个摄像元件的上限值之和的高分辨率、且高帧频的动态图像。 

再有，通常图像的分辨率高是指在拍摄范围相同的图像中含有比图像中所含的空间频率成分更高的成分。此外，使某一图像高分辨率化(提高分辨率)是处理该图像以便含有更高的空间频率成分。图像的分辨率高、即含有高的空间频率成分，与图像的像素数多，严格地讲并不一致。也就是说，虽然像素数多的图像能含有更高的空间频率成分，但并不一定限于含有高的空间频率成分。因此，图像的像素数多和分辨率高意义不相同。但是，在本说明书中，为了简化说明，只要不特别说明，就是将像素数更多的图像作为分辨率更高的图像进行说明。 

专利文献1专利第3531035号公报 

发明内容

但是，在使用2个摄像机构的上述摄像装置中，由于入射的光被半反射镜1004分割为2个，所以具有分别入射胶卷1002和CCD 1003的光相对于原来的入射光减半这样的问题。换言之这意味着图像的亮度下降、图像变暗，相对于杂音的图像信号的比率(SN比)下降。 

本发明用于解决上述课题，其目的在于，提供一种不会因通过半反射镜的光量减半而引起SN比的下降，可生成高分辨率、高帧频、且SN比 高的动态图像的图像处理装置及方法。 

本发明的图像处理装置，根据第一动态图像的数据及第二动态图像的数据生成多色动态图像的数据；其中，上述第一动态图像以第一帧频具有第一颜色成分的多个图像，上述第二动态图像以比上述第一帧频高的第二帧频具有与上述第一颜色成分不同的第二颜色成分的多个图像，并且上述第二动态图像的分辨率是上述第一动态图像的分辨率以下；该图像处理装置包括：第一图像合成部，根据上述第一动态图像的数据及上述第二动态图像的数据，生成使构成上述第一动态图像的图像变化的合成图像，利用上述第一动态图像及上述合成图像，以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像；和第二图像合成部，接收并合成上述合成动态图像及上述第二动态图像，生成含上述第一颜色成分及上述第二颜色成分的多色动态图像。 

上述第一图像合成部也可以具有：运动推定部，接收上述第二动态图像的数据，根据构成上述第二动态图像的至少2张图像间的变化生成运动信息；和运动补偿部，根据上述运动信息及上述第一动态图像的数据，生成上述合成图像。 

上述运动补偿部也可以根据上述运动信息使构成上述第一动态图像的图像变化，生成上述合成图像。 

上述第一动态图像及上述第二动态图像也可以分别具有以彼此相同的计时所拍摄的基帧图像，并且，上述第二动态图像具有在拍摄相邻的2个基帧图像期间进一步拍摄的中间帧图像；上述运动推定部根据上述第二动态图像的中间帧图像及基帧图像的图像间的变化，生成运动信息；上述运动补偿部，通过根据上述运动信息使上述第一动态图像的基帧图像变化，来生成与上述第二动态图像的中间帧对应的合成图像。 

上述运动推定部也可以根据上述第二动态图像的中间帧图像、以及在比上述中间帧图像更前的时间所拍摄的基帧图像的图像间的变化，生成运动信息。 

上述运动推定部也可以根据上述第二动态图像的中间帧图像、以及在比上述中间帧图像更后的时间所拍摄的基帧图像的图像间的变化，生成运动信息。 

上述运动推定部也可以根据上述第二动态图像的中间帧图像U、以及在比上述中间帧图像更前的时间所拍摄的基帧图像S的图像间的变化，生成运动信息S，并且根据上述第二动态图像的中间帧图像U、以及在比上述中间帧图像更后的时间所拍摄的基帧图像T的图像间的变化，生成运动信息T；上述运动补偿部，根据上述运动信息S使与上述第二动态图像的基帧图像S对应的上述第一动态图像的基帧图像S变化，并且根据上述运动信息T使与上述第二动态图像的基帧图像T对应的上述第一动态图像的基帧图像T变化，生成与上述第二动态图像的中间帧U对应的合成图像。 

上述运动推定部也可以分别针对上述至少2张图像设定多个区域，根据各区域内的图像的变化，生成相对于上述各区域的运动信息；上述运动补偿部，针对构成上述第一动态图像的图像设定多个区域，根据上述运动信息使各区域变化，生成1张合成图像。 

上述运动补偿部也可以通过使用上述第一动态图像及上述第二动态图像的时间关联来作为评价值，从而根据上述第一动态图像的数据、上述第二动态图像的数据及上述运动信息，生成与任意计时的上述第一动态图像对应的合成图像。 

上述运动补偿部也可以通过使用上述合成动态图像及上述第二动态图像的时间关联来作为评价值，从而修正上述合成动态图像中所包含的上述合成图像的像素值。 

也可以进一步包括：高分辨率化部，接收与上述第一动态图像对应的合成动态图像的数据及上述第二动态图像的数据，根据构成上述合成动态图像的图像的信息，使第二动态图像高分辨率化，生成与第二动态图像对应的合成动态图像；上述合成部代替上述第二动态图像而接收与上述第二动态图像对应的合成动态图像，并和与上述第一动态图像对应的合成动态图像进行合成，生成上述多色动态图像。 

上述高分辨率化部也可以根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，使用与上述第一动态图像对应的合成动态图像及上述第二动态图像的空间关联来作为评价值。 

上述运动推定部也可以接收上述第一动态图像的数据及第二动态图 像的数据，生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的基帧图像的分辨率后的基帧分辨率转换图像、和使用上述第一动态图像的基帧图像转换了第二动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像，根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的近似度，生成上述运动信息，作为上述第二动态图像的运动信息输出。 

上述运动推定部也可以根据上述第一动态图像的图像及上述第二动态图像的图像间的空间关联，生成转换了第二动态图像的分辨率后的转换动态图像。 

上述图像处理装置也可以还能根据第三动态图像的数据，生成多色动态图像的数据；上述第三动态图像以比上述第一帧频高的第三帧频，具有与上述第一颜色成分及上述第二颜色成分不同的第三颜色成分的多个图像，并且，上述第三动态图像的分辨率是上述第一动态图像的分辨率以下；上述运动推定部还接收第三动态图像的数据，根据构成上述第二动态图像的至少2张图像间的变化，生成运动信息；上述运动补偿部根据有关上述第二动态图像的运动信息、有关上述第三动态图像的运动信息及上述第一动态图像的数据，生成与上述第一动态图像对应的合成动态图像；上述合成部接收并合成上述合成动态图像、上述第二动态图像及上述第三动态图像，生成包含上述第一颜色成分、上述第二颜色成分及上述第三颜色成分的多色动态图像。 

上述第二动态图像及上述第三动态图像的像素的空间配置也可以不同。 

上述第一颜色成分也可以是绿色。 

上述图像处理装置也可以还包括：颜色分离部，将接收到的光至少分离成第一颜色成分及第二颜色成分；和摄像部，根据分离出的上述第一颜色成分的光及上述第二颜色成分的光，拍摄上述第一动态图像及上述第二动态图像；上述摄像部以上述第二动态图像的分辨率以上的分辨率拍摄上述第一动态图像，并且以小于上述第二动态图像的帧频的帧频拍摄上述第一动态图像。 

上述摄像部也可以按照拍摄出的动态图像来控制多个颜色成分的动 态图像的分辨率和帧频。 

本发明的图像处理方法，根据第一动态图像的数据及第二动态图像的数据生成多色动态图像的数据；其中，上述第一动态图像以第一帧频具有第一颜色成分的多个图像；上述第二动态图像以比上述第一帧频高的第二帧频具有与上述第一颜色成分不同的第二颜色成分的多个图像，并且上述第二动态图像的分辨率是上述第一动态图像的分辨率以下；该图像处理方法包含：根据上述第一动态图像的数据及上述第二动态图像的数据，生成使构成上述第一动态图像的图像变化的合成图像，利用上述第一动态图像及上述合成图像，以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像的步骤；和接收并合成上述合成动态图像及上述第二动态图像，生成含上述第一颜色成分及上述第二颜色成分的多色动态图像的步骤。 

根据本发明的计算机程序，在设置在图像处理装置中的处理器中，根据第一动态图像的数据及第二动态图像的数据生成多色动态图像的数据；其中，上述第一动态图像以第一帧频具有第一颜色成分的多个图像；上述第二动态图像以比上述第一帧频高的第二帧频具有与上述第一颜色成分不同的第二颜色成分的多个图像，并且上述第二动态图像的分辨率是上述第一动态图像的分辨率以下；上述计算机程序使上述处理器执行：根据上述第一动态图像的数据及上述第二动态图像的数据，生成使构成上述第一动态图像的图像变化的合成图像，利用上述第一动态图像及上述合成图像，以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像的步骤；和接收并合成上述合成动态图像及上述第二动态图像，生成含上述第一颜色成分及上述第二颜色成分的多色动态图像的步骤。 

上述计算机程序也可以被记录在记录介质中。 

上述运动推定部也可以通过附加入像素的空间配置，对构成上述第二动态图像的图像和构成上述第三动态图像的图像进行加权求和，来生成混合动态图像，根据构成生成的上述混合动态图像的至少2张图像间的变化，生成上述运动信息。 

上述运动推定部也可以通过附加入像素的空间配置，对构成上述第二动态图像的图像和构成上述第三动态图像的图像进行加权求和，来生成混 合动态图像，进一步生成使用上述第一动态图像的基帧图像转换了上述混合动态图像的基帧图像的分辨率后的基帧分辨率转换图像、和使用上述第一动态图像的基帧图像转换了上述混合动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像，根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的变化，生成上述运动信息。 

上述高分辨率化部也可以根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，在上述第二动态图像上附加上与上述第一动态图像对应的合成动态图像中所含的高频分量。 

上述高分辨率化部也可以根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，增强与上述第一动态图像对应的合成动态图像和与第二动态图像对应的合成图像之间的关联。 

上述高分辨率化部也可以根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，按照构成上述第一动态图像的图像和构成上述第二动态图像的图像的关联的程度，改变与上述第一动态图像对应的合成动态图像的图像和与上述第二动态图像对应的合成动态图像的图像的关联的程度。 

上述高分辨率化部也可以根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，构成上述第一动态图像的图像和构成上述第二动态图像的图像的关联弱的区域，通过内插放大上述第二动态图像的图像，生成与第二动态图像对应的合成动态图像的图像。 

根据本发明的运动计算方法，根据第一动态图像的数据及第二动态图像的数据计算构成上述第一动态图像及上述第二动态图像的帧间的运动。上述第一动态图像以第一帧频具有多个图像，上述第二动态图像以比上述第一帧频高的第二帧频具有多个图像，上述第二动态图像的分辨率是上述第一动态图像的分辨率以下，上述第一动态图像及上述第二动态图像分别具有以彼此相同的计时所拍摄的基帧图像，上述第二动态图像具有在拍摄 相邻的2个基帧图像期间进一步拍摄的中间帧图像；上述运动计算方法包含：接收上述第一动态图像的数据及上述第二动态图像的数据，生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的基帧图像的分辨率后的基帧分辨率转换图像的步骤；生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像的步骤；和根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的近似度生成运动信息的步骤。 

上述第一动态图像也可以具有第一颜色成分的多个图像；上述第二动态图像具有与上述第一颜色成分不同的第二颜色成分的多个图像。 

根据本发明的图像处理方法，根据第一动态图像的数据及第二动态图像的数据生成合成动态图像的数据，其中，上述第一动态图像以第一帧频具有多个图像，上述第二动态图像以比上述第一帧频高的第二帧频具有多个图像，上述第一动态图像及上述第二动态图像分别具有以彼此相同的计时所拍摄的基帧图像，上述第二动态图像具有在拍摄相邻的2个基帧图像期间进一步拍摄的中间帧图像；上述图像处理方法包含：接收上述第一动态图像的数据及第二动态图像的数据，生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的基帧图像的分辨率后的基帧分辨率转换图像的步骤；生成使用上述第一动态图像的基帧图像转换了第二动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像的步骤；根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的近似度生成运动信息的步骤；和根据上述第一动态图像的数据及上述第二动态图像的数据和上述运动信息，生成使构成上述第一动态图像的图像变化了的合成图像，利用上述第一动态图像及上述合成图像以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像的步骤。 

发明效果 

根据本发明的多色图像处理装置，能够由分辨率和帧频不同的多个颜色成分的动态图像生成分辨率和帧频都高的多色动态图像。 

附图说明

图1是表示实施方式1的多色图像处理装置1的结构图。 

图2是表示从摄像部101输出的3种颜色成分的动态图像的例子的图。 

图3是表示搜索对应于中间帧图像中的矩形小区域的基帧图像中的区域的处理的概念的图。 

图4是表示运动补偿部109生成绿色合成动态图像G_HH的处理的概念的图。 

图5是表示运动推定部108生成绿色合成动态图像的处理的顺序的流程图。 

图6是表示通过图像处理部106的各部的工作生成的合成动态图像和多色动态图像的例子的图。 

图7是表示实施方式2的多色图像处理装置2的结构图。 

图8(a)是表示红及蓝色动态图像R_LH、B_LH和绿色合成动态图像G_HH、以及红和蓝色合成动态图像R_HH、B_HH的相同帧(计时)的图像中的、像素的配置的图；(b)是形成各动态图像的像素的放大图；(c)是表示对应于图8(b)所示的红及蓝色各动态图像的像素的高分辨率化了的像素组的图。 

图9是表示通过图像处理部106的各部的工作生成的合成动态图像和多色动态图像的例子的图。 

图10是表示实施方式3的多色图像处理装置3的结构图。 

图11是表示运动补偿部109生成红色合成动态图像R_HH的处理的概念的图。 

图12是表示实施方式4的多色图像处理装置4的结构图。 

图13是表示像素位置偏移了的第二及第三颜色成分的图像的例子的图。 

图14是表示由计算机构成的多色图像处理装置的硬件结构图。 

图15是表示由像素位置偏移了的第二及第三颜色成分的图像生成的混合图像的例子的图。 

图16是表示实施方式5的运动推定部108计算运动信息的处理的概念的图。 

图17是表示实施方式2的多色图像处理装置2的效果的实验结果的 例子的图。 

图18是表示有关由实施方式3的多色图像处理装置3生成的多色动态图像的PSNR的实验结果的例子的图。 

图19是表示有关由实施方式3的多色图像处理装置3生成的运动信息V的实验结果的例子的图。 

图20是表示现有的摄像装置的结构图。 

符号说明 

101摄像部            102透镜系统 

103颜色成分分离部    104摄像元件 

105摄像控制部        106图像处理部 

107存储部            108运动推定部 

109运动补偿部        110高分辨率化部 

111多色图像合成部 

具体实施方式

下面，参照附图，说明本发明的多色图像处理装置的实施方式。在以下的实施方式中，多色图像处理装置目的在于，生成例如8000像素×4000像素左右的高分辨率、30帧/秒左右的高帧频、且SN比高的动态图像。 

实施方式1 

图1示出了本实施方式的多色图像处理装置1的结构。 

多色图像处理装置1具有摄像部101、图像处理部106。摄像部101拍摄并输出由2种以上的颜色成分构成的动态图像。另一方面，图像处理部106接收由用摄像部101拍摄的多个颜色成分构成的动态图像的数据，生成高分辨率、且高帧频的多色动态图像。 

下面分别详细地说明摄像部101及图像处理部106。 

摄像部101包括：透镜系统102、颜色成分分离部103、3个摄像元件104a～104c、和摄像控制部105。在以下的说明中，在统称3个摄像元件104a～104c的情况下，表述为“摄像元件104”。 

透镜系统102使光学的被拍摄物的像在摄像元件104上成像。 

颜色成分分离部103将通过透镜102的光分离成红(R)、绿(G)、蓝 (B)3种颜色成分。分离出的各颜色成分的光在图1中，分别红向上、绿向右、蓝向下透过。在本实施方式中，颜色成分分离部103例如是二向棱镜(dichroic prism)。 

摄像元件104a～104c分别拍摄由颜色成分分离部103分离出的3种颜色成分的图像。具体地，分别是摄像元件104a拍摄红颜色成分的图像，摄像元件104b拍摄绿颜色成分的图像，摄像元件104c拍摄蓝颜色成分的图像。摄像元件104a～104c例如是CCD。 

摄像控制部105按照预定的计时给予摄像元件104a～104c控制曝光时间及读出的信号，从摄像元件104a～104c中读出各颜色成分的图像。图像作为模拟信号被读出。摄像控制部105将此模拟信号的图像数字化，作为3种颜色成分的动态图像数据输出。各颜色成分的动态图像数据被存储在后述的存储部107中。再有，也可以分别在摄像元件104a～104c中设置A/D转换器，从摄像元件104a～104c输出数字信号。此时，摄像控制部105接收此数字信号保持原样不变进行输出，或者进行必要的信号处理进行输出。 

从摄像部101输出的各颜色成分的动态图像数据不是全都分辨率相同和帧频相同。如果设某2种颜色成分的动态图像为第一动态图像及第二动态图像，则第一动态图像的分辨率是第二动态图像的分辨率以上，并且第一动态图像的帧频比第二动态图像的帧频更低。再有，剩下的1种颜色成分的动态图像(第三动态图像)的分辨率及帧频与第二动态图像相同。 

在本实施方式中，设第一颜色成分为绿、设第二及第三颜色成分分别为红、蓝。在以下的说明中，按分辨率高(H)、帧频低(L)的绿(G)颜色成分的动态图像为G_HL，分辨率低(L)、帧频高(H)的红(R)及蓝(B)颜色成分的动态图像分别为R_LH、B_LH这样进行标记。第一个字母代表颜色成分，第二个字母(第一下标)代表分辨率，第三个字母(第二下标)代表帧频。 

此外，在本说明书中，为了简化记载，将绿色颜色成分的动态图像表述为“绿色动态图像”等。 

图像处理部106具有存储部107、单色图像合成部100、和多色图像合成部111。 

存储部107临时存储从摄像部101输出的3种颜色成分的动态图像。存储部107在输入并存储来自摄像部的动态图像的同时，还按照来自构成后述的图像处理部106的其它构成要素的要求，输出临时存储的动态图像。存储部107例如既可以是缓冲存储器，也可以是硬盘、光盘。 

单色图像合成部100及多色图像合成部111，分别是进行不同的图像合成处理的功能块。首先，在开始，单色图像合成部100进行有关绿色颜色成分的图像处理，此后，多色图像合成部111进行合成所有颜色成分的动态图像的图像处理。 

单色图像合成部100根据绿色动态图像的数据及蓝和/或红色动态图像的数据，生成使构成绿色动态图像的图像变化的合成图像。然后，利用此合成图像及绿色动态图像，输出具有比绿色动态图像的帧频高的帧频的绿色合成动态图像。 

单色图像合成部100具有运动推定部108及运动补偿部109。 

运动推定部108以存储在存储部107中的第二及第三颜色成分即红及蓝色动态图像R_LH、B_LH为输入并将其读出，计算各帧图像间的运动量(图像坐标的变化量)，将其作为运动信息V输出。 

运动补偿部109接收由运动推定部108计算出的运动信息V、和存储在存储部107中的第一颜色成分(绿色动态图像G_HL)，通过运动补偿生成任意计时的绿色合成图像，生成并输出帧频高的绿色合成动态图像G_HH。运动补偿部109的处理的详情后述。 

多色图像合成部111接收由运动补偿部生成的绿色合成动态图像G_HH、及存储在存储部107中的红及蓝色动态图像R_LH、B_LH进行图像的内插放大，使3种颜色成分的动态图像的分辨率一致。然后，生成并输出由此3种颜色成分的动态图像构成的多色动态图像RGB_MH。 

运动推定部108、运动补偿部109及多色图像合成部111例如由图像处理电路来实现。或者，由执行表述了运动推定部108、运动补偿部109及多色图像合成部111的各处理的计算机程序的处理器来实现。 

接着，说明以上这样构成的多色图像处理装置1的工作。 

在摄像部101中，被拍摄物的像通过透镜系统102、颜色成分分离部103，按3种颜色成分的每一种在摄像元件104上成像。 

摄像控制部105从红和蓝摄像元件104a和104c中以预定的帧频读出各颜色成分的图像，从绿色摄像元件104b中以比红和蓝色帧频低的帧频读出具有绿色颜色成分的图像。然后，摄像控制部105使各图像数字化，分别将绿色动态图像G_HL、红色动态图像R_LH、蓝色动态图像B_LH的图像数据存储在存储部107中。 

图2示出了从摄像部101输出的3种颜色成分的动态图像的例子。横轴代表时间。在图2中，与摄像元件104上的实际尺寸成比例地表现图像及像素(格子状的图形的1个矩形)的大小。即，各图像的大小相同代表图像的拍摄范围相同。此时，1像素的尺寸小的图像、即像素数多的图像意味着分辨率高。 

在本实施方式中，设拍摄绿色图像的摄像元件104b的像素数、即从摄像部101输出的绿色动态图像G_HL的分辨率为水平8000像素、垂直4000像素。此外，设其帧频为7.5帧/秒(fps)。 

同样地，设拍摄红和蓝色动态图像的摄像元件104a和104b的像素数、即从摄像部101输出的红和蓝色动态图像R_LH、B_LH的分辨率全都为水平4000像素、垂直2000像素，其帧频为30fps。 

如基于上述数值所理解的，第一动态图像即绿色动态图像相对于第二及第三动态图像即红及蓝色动态图像，为分辨率是纵横各2倍、帧频是1/4的关系。在本实施方式中，生成以相同的分辨率使这样的绿色动态图像高帧频化的合成动态图像。即，进行处理以使绿色合成动态图像的主观画质变得最好。 

进行这种处理的理由是因为：相比红、蓝，人的视觉灵敏度对于绿具有更高的特性，通常希望绿色合成动态图像的主观画质变得最好。 

为了使绿色合成动态图像的主观画质良好，认为以高分辨率低帧频拍摄绿色动态图像适合的情形多。例如，图像中的被拍摄物静止或运动小的情形，如果以高分辨率低帧频拍摄绿色动态图像，则相对于红、蓝色合成动态图像，绿色合成动态图像的分辨率变高、其结果主观画质变高。而且，由于相比于红、蓝进一步提高绿色动态图像的帧频，所以能期待主观画质变得良好。 

再有，上述各颜色成分的动态图像的分辨率(像素数)及帧频并不限 定于此值。例如，像拍摄海或池等水中的景物情形那样，在事先知道景物中增强体现绿以外的颜色成分(此情形是蓝)的情况下，通过以高分辨率、且低帧频拍摄蓝，以低分辨率、高帧频拍摄红和绿，就能提示观察者的主观画质的好的多色动态图像。 

后述的实施方式的说明也包含了，本说明书中主要说明以高分辨率低帧频拍摄绿色动态图像，以低分辨率高帧频拍摄红和蓝色动态图像。 

在本实施方式中，设拍摄(曝光)绿色动态图像的各帧图像的计时与拍摄红及蓝色动态图像各4张的图像的计时一致。拍摄的计时一致意味着各颜色成分的图像的曝光开始时间和曝光结束时间都一致。 

在用不同的摄像元件104a～104c拍摄动态图像的多种颜色成分的时候，为了不因被拍摄物及照相机的运动而引起各颜色成分中的图像位置及运动移位的不同，希望拍摄的计时一致。但是，拍摄的计时也可以不严格地一致。是因为即使计时不严格地一致，各颜色成分中的图像的不同大多不显眼。例如，如果多种颜色图像的曝光开始时间和曝光结束时间是时间上重复的范围，则其不同几乎不显眼。这种情形也可以被看作拍摄的计时几乎一致。 

下面，为了简化说明，将绿、红及蓝色图像的拍摄计时一致的帧图像称为基帧图像，将拍摄仅红及蓝色图像的帧图像称为中间帧图像。在图2中，记载着基帧图像及中间帧图像的例子。 

通过事先调整为决定的位置关系，或根据事先测量位置关系等的方法，设绿色动态图像的各像素、和红及蓝色动态图像的各像素的空间的位置关系是已知的。在本实施方式中，事先调整3个摄像元件104a～104c间的位置，以使由绿色4像素构成的小矩形区域、和红及蓝色1像素的小矩形区域在被拍摄物上一致。 

图像处理部106接收此摄像部101输出的3种颜色成分的动态图像数据并存储在存储部107中。例如，图像处理部106每次向存储部107输入红及蓝色动态图像R_LH、B_LH的连续3张的中间帧图像，以及其紧邻之前和紧邻之后的2张基帧图像的各数据都重复进行以下的处理。 

运动推定部108从存储部107接收红色动态图像R_LH的连续3张的中间帧图像，以及其紧邻之前和紧邻之后的基帧图像的各数据。然后，运动 推定部108关于各中间帧图像，计算相对于2张基帧图像的中间帧图像的运动量，作为运动信息V输出。 

下面，参照图3，详细地说明运动推定部108计算运动信息的处理。在以下的说明中，设针对红色动态图像R_LH的各中间帧图像预先按固定的间隔设定矩形小区域。作为例子，设矩形小区域为4像素×4像素，关于1个红图像预先设定1000×500个矩形小区域。 

图3示出搜索对应于中间帧图像中的矩形小区域的基帧图像中的区域的处理的概念。 

运动推定部108以1张的中间帧图像上的某1个矩形小区域为基准，计算与前后2张的基帧图像上的矩形小区域的近似度，基于计算出的近似度计算运动信息。 

在本实施方式中，设中间帧图像的矩形小区域和基帧图像的矩形小区域的、像素值的差的绝对值和(Sum of Absolute Differences：SAD)为近似度。然后，针对中间帧图像的某个坐标位置的矩形小区域计算与前后2张的基帧图像的预定的相对位置的范围内的多个矩形小区域的近似度，将近似度最高(SAD小)的矩形小区域的坐标位置作为运动信息进行计算。 

例如，在图3中，关注中间帧图像上的1000×500个各矩形小区域中的某1个矩形小区域。在图3中，中间帧图像上的粗线的矩形是关注的矩形小区域。此时运动推定部108以对应于关注的中间帧图像上的矩形小区域的坐标的基帧图像上的矩形小区域的坐标为中心，设上下左右±16像素的范围为搜索范围。在此“矩形小区域的坐标”为矩形小区域的中心的图像坐标。在图3中，基帧图像上的粗的点线的矩形代表对应于关注的矩形小区域的基帧图像上的矩形小区域。同样地，基帧图像上的细的点线代表搜索范围。 

然后，运动推定部108计算关注的矩形小区域和2张基帧图像上的搜索范围内的各矩形小区域的SAD。进一步，运动推定部108确定搜索范围内的多个矩形小区域中SAD成为最小的矩形小区域(例如基帧图像上的粗线的矩形)，计算由确定了的矩形小区域的图像坐标和关注的矩形小区域的图像坐标构成的运动量，将其作为运动信息输出。可以说针对上述某个关注矩形小区域选择与其它的多个矩形小区域间的SAD变得最小的矩 形小区域的处理是选择近似度最高的矩形小区域的处理。将此SAD作为评价值求近似度最高的区域的匹配(matching)方法是通常已知的方法，例如在“数字图像处理/奥富正敏编、202-204页，财团法人图像信息教育振兴协会发行”等中已公开。因此，在此省略详细的说明。毫无疑问也可以替代SAD，使用差的平方和(Sum of Square Differences：SSD)等作为近似度。 

运动推定部108针对3张中间帧图像的每一个，对1000×500个的矩形小区域重复进行计算针对上述中间帧图像的1个矩形小区域的基帧图像间的运动信息的处理，作为相对于基帧图像的中间帧图像的运动信息输出。 

运动补偿部109接收由运动推定部108计算出的运动信息、和存储在存储部107中的第一颜色成分(绿色动态图像G_HL)。然后，运动补偿部109通过运动补偿生成任意计时的绿色合成图像，作为帧频高的绿色合成动态图像G_HH输出。 

图4示出了运动补偿部109生成绿色合成动态图像G_HH的处理的概念。 

在本实施方式中，生成以与红色动态图像相同的计时显示的各帧图像的绿色合成图像，作为由这些帧图像构成的绿色合成动态图像输出。 

运动补偿部109，复制已有的绿色动态图像作为对应于基帧图像S的绿色合成图像(图4(1)的箭头标记)。 

接着，详细说明运动补偿部109中的生成中间帧图像U的绿色合成图像的处理。以下虽然说明利用红及绿色动态图像的中间帧图像U的例子，但也可以利用蓝色动态图像的中间帧图像。 

首先，先说明利用红色动态图像的中间帧图像U和在比此中间帧图像U更前(过去)的时间获取的基帧图像S，生成(合成)显示计时对应于该中间帧图像U的绿色合成动态图像的帧图像的处理。 

在由运动推动部108计算出的运动信息中含有与中间帧图像U的图像的各矩形小区域近似度最高的基帧图像的图像坐标。因此，运动补偿部109按照下面的次序获得红色动态图像的中间帧图像U内的图像的、对应于某个矩形小区域(图4中的PRa)的绿色合成图像的矩形小区域(图4中的 PGa)的像素值。最初，由运动信息确定对应于红色矩形小区域(图4中的PRa)的基帧图像S的坐标位置(图4中的IRa)(图4(2)的箭头标记)。接着，确定对应于此坐标位置(图4中的IRa)的绿色动态图像的矩形小区域(IGa)(图4(3)的箭头标记)。最后，向绿色合成图像的矩形小区域(图4中的PGa)复制该绿色动态图像的矩形小区域(IGa)的像素值(图4(4)的箭头标记)。 

接着，说明利用红色动态图像的中间帧图像U和在比此中间帧图像U更后(未来)的时间获取的基帧图像T，生成(合成)显示计时对应于该中间帧图像U的绿色动态图像的帧图像的处理。 

运动补偿部109按照下面的次序获得对应于红色动态图像的中间帧图像U的图像的某个矩形小区域(图4中的PRb)的绿色合成图像的矩形小区域(图4中的PGb)的像素值。最初，由运动信息确定对应于红色矩形小区域(图4中的PRb)的基帧图像T的坐标位置(图4中的IRb)(图4(5)的箭头标记)。接着，确定对应于此坐标位置(图4中的IRb)的绿色动态图像的矩形小区域(IGb)(图4(6)的箭头标记)。最后，向绿色合成图像的矩形小区域(图4中的PGb)复制该绿色动态图像的矩形小区域(IGb)的像素值(图4(7)的箭头标记)。 

运动补偿部109通过在全部矩形小区域中重复进行对上述绿色合成图像的矩形小区域的处理，就能生成中间帧图像U的绿色合成图像。再有，在图4所示的例子中，虽然同时利用在比中间帧图像更前的时间获取的帧图像组、和在更后时间获取的帧图像组来生成绿色中间帧图像，但这只是例子。也可以仅利用在前或后的时间获得的帧图像组生成绿色中间帧图像。 

上述通过运动补偿部109的工作生成的绿色合成动态图像G_HH是与绿色动态图像相同的水平8000像素、垂直4000像素的分辨率，且与红和蓝色动态图像相同的30fps的帧频的动态图像。 

多色图像合成部111接收由运动补偿部生成的绿色合成动态图像G_HH、及存储在存储部107中的红及蓝色动态图像R_LH、B_LH。然后，通过双三次(bicubic)内插放大，放大动态图像R_LH、B_LH的像素数以便与合成动态图像G_HH的像素数一致。此后，将合成动态图像G_HH与内插放大了 的动态图像R_LH、B_LH组合，生成并输出由红、绿和蓝3种颜色成分构成的多色动态图像RGB_HH。 

由多色图像合成部111生成的多色动态图像RGB_HH，为各颜色成分都相同的水平8000像素、垂直4000像素的分辨率和30fps的帧频的多色动态图像。 

图像处理部106通过每次在从摄像部101最初输入5帧、第二次以后输入新的4帧的动态图像时重复上述各处理部的工作，来连续输出多色动态图像RGB_HH。 

在上述图像处理部106中的各处理部的工作的说明中，说明了运动推定部108及运动补偿部109这2个处理部每5帧顺次工作的情形。但是，工作不限于上述顺序，也可以是另外的顺序。 

图5是表示关于运动推定部108计算运动信息的处理、和运动补偿部109生成绿色合成动态图像的处理的2个处理部在每1矩形小区域中顺次工作的另一顺序的流程图。在步骤S1中，运动补偿部109读出绿色基帧图像S及T的数据，作为绿色合成动态图像的基帧图像S及T的数据进行复制。在步骤S2中，运动推定部108读出红色基帧图像S及T的各数据，和例如红色中间帧图像U的数据。 

在步骤S3中，根据红色中间帧图像U内的矩形小区域PRa、和红色基帧图像S内的各矩形小区域的近似度，运动推定部108求出红色中间帧图像U内的矩形小区域PRa的运动信息。 

在步骤S4中，运动补偿部109根据运动信息，确定基帧图像S的、对应于矩形小区域PRa的矩形小区域IRa的坐标位置。 

在步骤S5中，运动补偿部109确定对应于红色矩形小区域IRa的绿色基帧图像S内的矩形小区域IGa。在本实施方式中，如上所述，在摄像时，由绿色4像素构成的小矩形区域和红及蓝色1像素的小矩形区域相对应。基于此相互对应执行步骤S5的处理。 

在步骤S6中，运动补偿部109复制确定的矩形小区域IGa的数据作为绿色合成动态图像的中间帧图像U的数据。 

在接下来的步骤S7中，判定运动补偿部109是否生成了绿色合成动态图像的所有矩形小区域的数据。在生成了构成绿色合成动态图像的各图 像的所有矩形小区域的情况下，结束处理，在未生成的情况下，处理进入步骤S8。 

在步骤S8中，将红色中间帧图像U内的矩形小区域变更为其它的矩形小区域，重复步骤S3之后的处理。 

图6表示通过图像处理部106的各部的工作生成的合成动态图像和多色动态图像的例子。由摄像部101得到的各颜色成分的动态图像为绿色动态图像是高分辨率低帧频(水平8000像素、垂直4000像素、7.5fps)、红及蓝色动态图像分别是低分辨率高帧频(水平4000像素、垂直2000像素、30fps)(图2)。 

相对于此，多色动态图像RGB_HH是绿色颜色成分为高分辨率高帧频(水平8000像素、垂直4000像素、30fps)。 

如上所述，根据本实施方式的多色图像处理装置1，摄像部101以高分辨率低帧频拍摄第一颜色成分即绿色动态图像，以低分辨率高帧频拍摄第二及第三颜色成分即红及蓝色动态图像。然后，图像处理部106根据绿色动态图像和红或蓝色动态图像，使绿色动态图像高帧频化，此外，使红及蓝色动态图像的像素数分别与绿色动态图像的像素数一致。由此，能够生成高分辨率化及高帧频化的多色动态图像。 

由此，即使在摄像元件104的读出速度中存在上限的情况下，多色图像处理部1也能生成超过相当于此上限值的分辨率和帧频的动态图像。例如，设摄像元件104的读出速度的上限值为2亿4千万像素/秒(＝8000像素×4000像素×7.5fps相当)。此时，多色图像处理装置1拍摄8000像素×4000像素×7.5fps的绿色动态图像、和4000像素×2000像素×30fps的红及蓝色动态图像，能够从这些动态图像中生成8000像素×4000像素×30fps的动态图像。 

并且，本实施方式的多色图像处理装置1由使用颜色成分分离部103分离出的3个不同的波长段的颜色成分的动态图像，生成多色动态图像。由此，相对于现有技术使用半反射镜将相同的颜色成分的光分割成一半进行拍摄的情形，本实施方式的多色图像处理装置1能拍摄不引起光量的下降、SN比高的动态图像。其结果，由SN比高的各色成分的动态图像生成的多色动态图像也具有SN比变高这样的效果。 

此外，由于与红、蓝相比，人的视觉灵敏度相对于绿具有更高的特性，所以与通过相比于红、蓝提高绿色分辨率和帧频，就能期待主观画质变得良好。 

由本实施方式生成的多色动态图像RGB_HH，相对于第一颜色成分通过运动补偿部109生成高分辨率及高帧频化的合成动态图像，第二颜色成分仅是内插放大了低分辨率高帧频的图像。由此，通过使生成的多色动态图像的颜色成分中、成为最高分辨率、最高帧频的第一颜色成分为绿色，就能期待主观画质变高这样的效果。 

再有，在本实施方式中，多色图像合成部111双三次内插放大红及蓝色动态图像R_LH、B_LH，内插放大法不限于双三次，也可以使用双线性(bilinear)等其它的内插放大法。 

实施方式2 

实施方式1的多色图像处理装置1输入高分辨率低帧频的绿色动态图像G_HL，和低分辨率高帧频的红及蓝色动态图像R_LH、B_LH，生成高分辨率高帧频的多色动态图像RGB_HH。生成的多色动态图像RGB_HH中所含的绿色动态图像相当于通过运动补偿部109提高了绿色动态图像G_HL的帧频。 

在实施方式1中，只不过内插放大了动态图像R_LH、B_LH，从而仅单纯地增加了像素数，红和蓝色颜色成分并没有进一步提高超过空间频率。即，在实施方式1中，严格地讲，不能说提高了第二颜色成分即红及蓝色动态图像R_LH、B_LH的空间分辨率。 

因此，在本实施方式中，说明关于第二及第三颜色成分的动态图像的为提高分辨率而构成的多色图像处理装置。 

图7表示本实施方式的多色图像处理装置2的结构。 

多色图像处理装置2的结构与实施方式1的多色图像处理装置1(图1)的结构的不同点是新设置高分辨率化部110这点、及多色图像合成部111的处理。 

具体地，本实施方式的高分辨率化部110接收存储在存储部107的红及蓝色动态图像R_LH、B_LH的各数据和由运动补偿部109生成的绿色合成动态图像G_HH的数据，使R_LH及B_LH的各帧图像高分辨率化，生成并输出 红及蓝色颜色成分的合成动态图像R_HH及B_HH。 

此外，本实施方式的多色图像合成部111，接收由运动补偿部109生成的绿色颜色成分的合成动态图像G_HH以及由高分辨率化部111生成的红及蓝色颜色成分的合成动态图像R_HH、B_HH的各数据，生成并输出由红、绿、蓝3种颜色成分构成的多色动态图像RGB_HH。 

接着，说明本实施方式的多色图像处理装置2的工作。 

摄像部101、存储部107、运动推定部108、运动补偿部109的工作与实施方式1的多色图像处理装置1相同。即，摄像部101顺次拍摄绿色动态图像G_HL、红色动态图像R_LH、蓝色动态图像B_LH，将各动态图像的数据存储在存储部107中。此外，在本实施方式中，关于绿色动态图像G_HL、红色动态图像R_LH及蓝色动态图像B_LH的分辨率和帧频也与实施方式1相同。 

运动推定部108当将3张中间帧图像和其前后的2张基帧图像的各数据输入给存储部107时，就由红色动态图像R_LH、蓝色动态图像B_LH计算各中间帧图像的运动信息V，运动补偿部109输入绿色动态图像G_HL和运动信息V，生成并输出绿色合成动态图像G_HH。 

高分辨率化部110接收存储在存储部107中的红及蓝色动态图像R_LH、B_LH的各数据和由运动补偿部109生成的绿色合成动态图像G_HH的数据，使用绿色合成动态图像G_HH的信息提高红及蓝色动态图像R_LH、B_LH的各帧图像的分辨率。然后，高分辨率化部110输出高分辨率化后的各动态图像作为红及蓝色合成动态图像R_HH、B_HH。 

由高分辨率化部110生成的红和蓝色合成动态图像R_HH、B_HH的分辨率是水平8000像素、垂直4000像素，帧频是30fps。 

下面，详细说明在高分辨率化部110中，使用绿色合成动态图像G_HH的信息，提高红及蓝色动态图像R_LH、B_LH的分辨率的处理。 

图8(a)表示红及蓝色动态图像R_LH、B_LH和绿色合成动态图像G_HH、及红和蓝色合成动态图像R_HH、B_HH的相同的帧(计时)的图像中的、像素的配置。图8(b)是形成各动态图像的像素的放大图。绿色合成动态图像G_HH、及红和蓝色合成动态图像R_HH、B_HH的分辨率相对于红及蓝色动态图像R_LH、B_LH，纵横分别为2倍。由此，红及蓝色动态图像R_LH、B_LH 的某1像素处于与绿色合成动态图像G_HH的4像素、及红和蓝色合成动态图像R_HH、B_HH的4像素分别对应的位置。 

在此，设红及蓝色动态图像R_LH、B_LH的像素坐标(x1，yl)的像素值分别为IR_LH(x1，yl)、IB_LH(x1，yl)，设对应的绿色合成动态图像G_HH的4个像素的像素坐标(xh，yh)的像素值为IG_HH(xh，yh)。此时，利用(式1)计算出红和蓝色合成动态图像R_HH、B_HH各自4个像素的像素坐标(xh，yh)的像素值IR_HH(xh，yh)、IB_HH(xh，yh)。 

[式1] 

IR_HH(xh，yh)＝w(xh，yh)IR_LH(xl，yl) 

IB_HH(xh，yh)＝w(xh，yh)IB_LH(xl，yl) 

$w(\mathrm{xh},\mathrm{yh})=\frac{I{G}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})}{{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}}$

${\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\Σ}}\underset{\mathrm{xh}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

在(式1)的第3个式子中，右边的分母表示绿色合成图像的4邻近像素的平均值，分子表示每1像素的像素值。左边的w(xh，yh)表示绿色合成图像的某4邻近像素中的各像素值的高频分量的分布。而且，(式1)的第1、2行式子通过使绿色合成图像的高频分量的分布与红和蓝色图像的某个像素值相乘，计算红和蓝色合成图像的像素值。即，在对应的4像素中，绿色合成图像和红、蓝色合成图像成为计算高频分量的分布相同的像素值IR_HH(xh，yh)、IB_HH(xh，yh)。 

因此，典型地如被拍摄物是黑白(灰)的情况等那样，当被拍摄物的颜色成分的绿色高频分量的分布、和红及蓝色高频分量的分布近似的时候，由(式1)计算出的红及蓝色合成动态图像R_HH、B_HH成为含有在红及蓝色动态图像R_LH、B_LH中不包含的高频的成分的图像。换言之，红及蓝色合成动态图像R_HH、B_HH成为提高了红及蓝色动态图像R_LH、B_LH的分辨率的图像。图8(c)表示对应于图8(b)所示的红及蓝色各动态图像的像素的、高分辨率化了的像素组。 

多色图像合成部111输入由运动补偿部生成的绿色合成动态图像G_HH、及由高分辨率化部110生成的红和蓝色合成动态图像R_HH、B_HH，生成并输出由红、绿、蓝3种颜色成分构成的多色动态图像RGB_HH。由多色图像合成部111生成的多色动态图像，成为绿和红、蓝色各颜色成分都为水平8000像素、垂直4000像素的分辨率，30fps的帧频的多色动态图像。 

图像处理部106通过每次在从摄像部101最初输入5帧、第二次以后输入新的4帧的动态图像时重复上述各处理部的工作，来连续输出多色动态图像RGB_HH。 

图9表示通过图像处理部106的各部的工作生成的合成动态图像和多色动态图像的例子。通过摄像部101得到的各颜色成分的动态图像为绿色动态图像是高分辨率低帧频(8000像素、垂直4000像素、7.5fps)，红及蓝色动态图像是低分辨率高帧频(4000像素、2000像素、30fps)(图2)。 

相对于此，合成动态图像任何一个都是高分辨率高帧频(8000像素、4000像素、30fps)。多色图像合成部111组合它们，生成高分辨率高帧频的彩色动态图像RGB_HH。 

根据本实施方式的多色图像处理装置2，能够生成使第二颜色成分即红和蓝色颜色成分高分辨率化了的多色动态图像。由此，即使在存在与实施方式1相同的限制、例如在摄像元件104的读出速度具有上限的情况下，也具有能生成超过相当于此上限值的分辨率和帧频的动态图像这样的效果。并且，与实施方式1相同，本实施方式的多色图像处理装置能拍摄不引起光量下降、SN比高的动态图像。其结果，多色动态图像具有SN比变高这样的效果。 

再有，在本实施方式中，设高分辨率化部110根据(式1)生成第二颜色成分即红和蓝色合成动态图像。但是，根据(式1)的处理是例子。如果是使用第一颜色成分即绿色合成动态图像中含有的信息来提高红及蓝色动态图像的分辨率的处理，则也可以根据其它的算式进行处理。 

例如，也可以计算绿色合成图像和红、蓝色图像的在某个邻近区域中的关联，按照此关联使高分辨率化处理的程度变化。具体地，可以由下述(式2)计算红和蓝色合成图像。 

[式2] 

IR_HH(xh，yh)＝(1+wlr(xl，yl)wh(xh，yh))IR_LH(xl，yl) 

IB_HH(xh，yh)＝(1+wlb(xl，yl)wh(xh，yh))IB_LH(xl，yl) 

$\mathrm{wh}(\mathrm{xh},\mathrm{yh})=\frac{{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}}{{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}}$

${\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\Σ}}\underset{\mathrm{xh}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

$\mathrm{wlr}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}){\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{LH}}{(\mathrm{xl},\mathrm{yl})}^2\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IR}}_{\mathrm{LH}}{(\mathrm{xl},\mathrm{yl})}^2}}$

$\mathrm{wlb}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}){\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{LH}}{(\mathrm{xl},\mathrm{yl})}^2\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IB}}_{\mathrm{LH}}{(\mathrm{xl},\mathrm{yl})}^2}}$

${\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\Σ}}\underset{\mathrm{xh}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

在(式2)中，计算对绿色合成图像的4像素取平均得到的低分辨率图像的像素值IG_LH和红色图像的像素值IG_LH的标准化相互关联wlr，对其进行(式1)的加权。蓝图像也相同。 

换言之，(式2)，当绿色合成图像和红色图像的关联强时，加强在红色上附加绿色高频分量的分布的程度，相反，在关联弱的时候，减弱在红色上附加绿色高频分量的分布的程度。 

使用(式1)的时候，即使例如像被拍摄物是绿色或红色等时候这种绿和红、绿和蓝色关联弱的情况下，也产生在红、蓝合成动态图像中附加本来应该没有的高频分量，或没有被高分辨率化等课题。 

相对于此，在使用(式2)的时候，由于按照绿和红、绿和蓝色关联 的强弱，调整附加高频分量的分布的程度，所以具有很难产生上述课题的效果。其结果，在输入多种图像的情况下，具有能够提高生成的多色动态图像的主观的分辨率这样的效果。 

同样地，也可以替代(式2)使用下述(式3)计算红和蓝色合成图像。 

[式3] 

IR_HH(xh，yh)＝(1+wlr(xl，yl)wh(xh，yh))IR_LH(xl，yl) 

IB_HH(xh，yh)＝(1+wlb(xl，yl)wh(xh，yh))IB_LH(Xl，yl) 

$\mathrm{wh}(\mathrm{xh},\mathrm{yh})=\frac{{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}}{{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}}$

${\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{HH}}=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\Σ}}\underset{\mathrm{xh}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

$\mathrm{wlr}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IR}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{LH}})}^2}\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}$

$\mathrm{wlb}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IB}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{LH}})}^2}\sqrt{\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\‾}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}$

${\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\Σ}}\underset{\mathrm{xh}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

${\stackrel{\‾}{\mathrm{IG}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\‾}{\mathrm{IR}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\‾}{\mathrm{IB}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\Σ}}\underset{\mathrm{xl}}{\mathrm{\Σ}}{\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),(m=9)$

在(式2)中，作为表示绿色合成图像的低频分量和红色动态图像的低频分量的关联的权重wlr，虽然使用标准化相互关联，但在(式3)中代替标准化相互关联使用关联系数。(式2)的标准化相互关联是指其值越接近1、关联性越强，越接近0、关联性越弱。(式3)的关联系数表示其值 越接近-1或1、关联性越强，越接近0、关联性越弱。此外，当(式3)的关联系数是正时称为正关联，关联系数是负时称为负关联。通过使用(式3)，在绿色合成图像的低频分量和红色动态图像的低频分量中存在强的负关联的情况下，就会生成在高频分量中也具有强的负关联的合成动态图像IR_HH、IB_HH。其结果，在绿和红、绿和蓝中具有强的负关联的情况下，相对于使用(式2)时，权重wlr接近0、没有高分辨率化，如果使用(式3)，由于按照关联值在高频分量中也附加具有强的负关联的高频分量，所以具有可得到分辨率更高的合成动态图像这样的效果。 

(式2)及(式3)中，按照表示在绿色合成图像的低分辨率的像素值IG_LH和低分辨率的红或蓝色图像的像素值IR_LH、IB_LH邻近像素区域内的分布的关联(空间关联)的wlr、wlb的强度及正负，调整在红和蓝色合成图像上附加绿色合成图像中含有的高频分量wh的程度。另一方面，如果关联变弱、即当wlr、wlb接近0时，则红和蓝色合成图像的像素值IR_HH、IB_HH分别接近红和蓝色图像的像素值IR_LH、IB_LH。其结果，IR_HH、IB_HH接近通过IR_LH、IB_LH的最邻近像素选择的图像放大。 

相比于此通过最邻近像素选择的放大，双三次内插放大更能期待主观画质高。因此，相对于(式3)，在关联弱的情况下，也可以使用追加接近双三次内插放大的处理的(式4)。(式4)是关联性越弱、即wlr、wlb越接近0，越接近双三次内插放大IR_LH、IB_LH后的IR_B、IB_B。其结果，与(式3)相比，具有提高主观的画质这样的效果。 

[式4] 

${\mathrm{IR}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})=\left\{\begin{array}{c}\mathrm{wlr}(\mathrm{xl},\mathrm{yl}){\mathrm{IR}}_P(\mathrm{xh},\mathrm{yh})+(1-\mathrm{wlr}(\mathrm{xl},\mathrm{yl})){\mathrm{IR}}_B(\mathrm{xh},\mathrm{yh}),\mathrm{wlr}\&GreaterEqual;0\\ -\mathrm{wlr}(\mathrm{xl},\mathrm{yl}){\mathrm{IR}}_M(\mathrm{xh},\mathrm{yh})+(1+\mathrm{wlr}(\mathrm{xl},\mathrm{yl})){\mathrm{IR}}_B(\mathrm{xh},\mathrm{yh}),\mathrm{wlr}<0\end{array}\right.$

${\mathrm{IB}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})=\left\{\begin{array}{c}\mathrm{wlb}(\mathrm{xl},\mathrm{yl}){\mathrm{IB}}_P(\mathrm{xh},\mathrm{yh})+(1-\mathrm{wlb}(\mathrm{xl},\mathrm{yl})){\mathrm{IB}}_B(\mathrm{xh},\mathrm{yh}),\mathrm{wlr}\&GreaterEqual;0\\ -\mathrm{wlb}(\mathrm{xl},\mathrm{yl}){\mathrm{IB}}_M(\mathrm{xh},\mathrm{yh})+(1+\mathrm{wlb}(\mathrm{xl},\mathrm{yl})){\mathrm{IB}}_B(\mathrm{xh},\mathrm{yh}),\mathrm{wlr}<0\end{array}\right.$

IR_P(xh，yh)＝(1+wh(xh，yh))IR_LH(xl，yl) 

IR_M(xh，yh)＝(1-wh(xh，yh))IR_LH(xl，yl) 

IB_P(xh，yh)＝(1+wh(xh，yh))IR_LH(xl，yl) 

IB_M(xh，yh)＝(1-wh(xh，yh))IR_LH xl，yl) 

IR_B(xh，yh)＝f_Bicubic(IR_LH，xh，yh) 

IB_B(xh，yh)＝f_Bicubic(IB_LH，xh，yh) 

$\mathrm{wh}(\mathrm{xh},\mathrm{yh})=\frac{{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}}{{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}}$

${\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\&Sigma;}}\underset{\mathrm{xh}}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

$\mathrm{wlr}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})}^2\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}}$

$\mathrm{wlb}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IB}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{LH}}{(\mathrm{xl},\mathrm{yl})}^2\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}}$

${\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})=\frac{1}{n}\underset{\mathrm{yh}}{\mathrm{\&Sigma;}}\underset{\mathrm{xh}}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{HH}}(\mathrm{xh},\mathrm{yh}),(n=4)$

${\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\&OverBar;}{\mathrm{IB}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),(m=9)$

通过上述(式1)～(式4)的处理，可生成提高了分辨率的R_HH、B_HH的理由不单仅因为重叠了G_HH的高频分量。是因为具有即使是在红和蓝色动态图像R_LH、B_LH中含有折返成分的时候，也能通过(式1)～(式4)的处理减少折返这样的效果。 

例如，利用具有公共的光学系统的照相机拍摄各颜色成分的动态图像、且通过硬件插接(binning)处理(关于插接处理的详情在实施方式4 中说明。)在摄像元件上生成低分辨率的红和蓝色动态图像R_LH、B_LH的情况下，就会在红和蓝色动态图像R_LH、B_LH中含有折返成分。将含有这样的折返成分的红和蓝色动态图像R_LH、B_LH作为输入，即使只重叠G_HH，也不能期待减少折返的影响的效果。另一方面，在(式1)～(式4)的处理中，在“IG_HH”之上附加了横杠的记号是IG_HH的平均值，与相对于R、B的插接处理等效。因此，在IG_HH的平均值中也含有折返。此IG_HH的平均值和IG_HH的比是wh，在IR_LH、IB_LH上加上wh就得到IR_HH、IB_HH。 

在此，例如，如黑白的浓淡图像那样，在各颜色间的关联非常强的情况下，就会在R_LH、B_LH和IG_HH的平均值中含有相同频率成分的折返成分。因此，在IR_LH、IB_LH上加上含折返成分的IG_HH的平均值和高分辨率的IG_HH的比即wh而得到的IR_HH、IB_HH就不含折返，或者其影响减少了。 

上述(式2)及(式3)的权重wlr表示按照第二颜色成分即红色图像的空间的分布和第一颜色成分即绿色图像的空间分布的关联(空间关联)调整高分辨率化处理的程度的系数。即使代替此权重wlr使用2种颜色成分的动态图像的时间的分布的关联(时间关联)作为权重，也能得到同样的效果。 

本发明者们为了评价由本实施方式的多色图像处理装置2生成的高分辨率高帧频的动态图像，进行效果确认实验。图17示出使用本实施方式的多色图像处理装置2的实验效果。 

在实验中，制备高分辨率高帧频的正解图像RGB_TRUE，由该正解图像RGB_TRUE生成高分辨率低帧频的绿色图像G_HL、低分辨率高帧频的红色动态图像R_LH和蓝色动态图像B_LH，将它们作为输入图像。然后，利用本实施方式的多色图像处理装置2由这些输入图像生成多色动态图像RGB_HH。 

可以说在此生成的多色动态图像RGB_HH，越接近高分辨率高帧频的正解图像RGB_TRUE，生成高分辨率高帧频的动态图像的效果就越高。因此，作为评价指标，以正解图像RGB_TRUE为正解，使用生成的多色动态图像RGB_HH的PSNR(Peak Signal to Noise Ratio)。作为比较对象，以3种颜色成分都是低分辨率高帧频的R_LH、G_LH、B_LH为输入，也求出通过双三次内插放大的图像的PSNR。 

作为实验条件，设正解图像RGB_TRUE及多色动态图像RGB_HH为水平 720像素×垂直480像素×60fps，设输入图像的绿色图像G_HL为720像素×垂直480像素×3.75fps，设红色动态图像R_LH和蓝色动态图像B_LH为180像素×垂直120像素×60fps。在运动推定部108中，设在推定中间帧和基帧间的运动时使用的矩形区域的大小为3像素×3像素。在高分辨率化部110中，使用(式3)。 

对应于图17中的“本申请的实施方式2”条线图表示由本实施方式的多色图像处理装置2生成的多色动态图像的PSNR。为了比对，在图17中还示出了通过双三次内插放大的图像的PSNR(对应于“Bicubic”)的条线图)。 

根据图17，表现出由本实施方式的多色图像处理装置2生成的多色动态图像的PSNR，在多数评价用动态图像中，比双三次内插的PSNR高。即，如果使用本实施方式的多色图像处理装置2，就能确认到生成更接近正解图像的、高分辨率高帧频的动态图像这样的效果。 

实施方式3 

在实施方式1中，多色图像处理装置1推定第二颜色成分的动态图像中的帧图像间的运动，生成使用此运动提高了第一颜色成分的动态图像的帧频的多色动态图像。并且，在实施方式2中，假设多色图像处理装置2在第一颜色成分的图像和第二颜色成分的图像间在高频分量上具有关联，生成提高了第二颜色成分的动态图像的分辨率的多色动态图像，以便提高第一颜色成分的合成动态图像和第二颜色成分的合成动态图像的高频关联。 

在本实施方式中，多色图像处理装置与实施方式2相同，在假设第一颜色成分的图像和第二颜色成分的图像之间在高频分量上具有关联的基础上，进行以下的处理。即，本实施方式的多色图像处理装置，在推定第二颜色成分的动态图像的帧图像间的运动时，同时求第二颜色成分的动态图像中的帧图像间的运动和第二颜色成分的合成动态图像，以便提高按照帧图像间的运动相互对应的第一颜色成分的动态图像和第二颜色成分的合成动态图像的高频关联。由此，能提高第二颜色成分的动态图像的分辨率，并且能提高帧图像间的运动推定精度。 

图10表示本实施方式的多色图像处理装置3的结构。 

多色图像处理装置3的结构与实施方式1的多色图像处理装置1(图1)的结构的不同点在于运动推定部108及多色图像合成部111。 

具体地，本实施方式的运动推定部108接收存储在存储部107中的红及蓝色动态图像R_LH、B_LH的各数据和绿色动态图像的G_HL的数据，在计算运动信息V的同时，生成并输出使红及蓝色动态图像R_LH、B_LH的各帧图像高分辨率化了的红和蓝色合成动态图像R_HH、B_HH。 

此外，本实施方式的多色图像合成部111接收由运动推定部108生成的红和蓝色合成动态图像R_HH、B_HH的各数据和由运动补偿部109生成的绿色合成动态图像的G_HH的数据，生成并输出由红、绿及蓝3种颜色成分构成的多色动态图像RGB_HH。 

接着，说明本实施方式的多色图像处理装置3的工作。 

摄像部101、存储部107、运动补偿部109的工作与实施方式1或实施方式2相同。即，摄像部101顺次拍摄绿色动态图像G_HL、红色动态图像R_LH、蓝色动态图像B_LH，存储在存储部107中。此外，在本实施方式中，绿色动态图像G_HL、红色动态图像R_LH、蓝色动态图像B_LH的分辨率和帧频也与实施方式1或实施方式2相同。 

运动推定部108接收存储在存储部107中的、红及蓝色动态图像R_LH、B_LH的连续的3张中间帧图像和其前后的2个基帧图像以及对应的绿色动态图像G_HL的2张基帧图像的各数据，计算每个中间帧图像中相对于2个基帧图像的运动，作为运动信息V输出。在此处理的同时，运动推定部108生成并输出高分辨率化了的红和蓝色合成动态图像R_HH、B_HH。 

运动推定部108以1个中间帧图像的某1个矩形小区域为基准，计算与前后2个基帧图像上的某个搜索范围内的多个矩形小区域的近似度，计算出与近似度最高的矩形小区域的相对位置作为运动信息。 

在实施方式1中，使用分辨率低的红色动态图像R_LH的亮度值SAD作为矩形小区域间的近似度。相对于此，在本实施方式中使用绿色动态图像G_HL提高红色动态图像R_LH的矩形小区域的图像的分辨率，使用提高了其分辨率的矩形小区域间的亮度值的SAD作为评价值。 

下面，参照图11详细说明基于运动推定部108的、运动信息V和红、 蓝色合成动态图像R_HH、B_HH的计算处理。 

图11表示运动补偿部109生成红色合成动态图像R_HH的处理的概念。 

运动推定部108接收存储在存储部107中的红色动态图像R_LH的连续的3张中间帧图像和其前后的2张基帧图像、以及对应的绿色动态图像G_HL的2张基帧图像的各数据。然后，如图11(1)所示，使用红色动态图像R_LH的基帧图像和绿色动态图像G_HL的基帧图像，生成提高了分辨率的红色合成动态图像R_HH的基帧图像。提高红色动态图像的分辨率的方法与实施方式2的高分辨率化部110相同，可以采用利用(式1)～(式4)的方法。 

接着，运动推定部108使用生成的红色合成动态图像R_HH的基帧图像、绿色动态图像G_HL的基帧图像、和红色动态图像R_LH的中间帧图像，关于各个中间帧图像的多个矩形小区域计算相对于基帧图像的运动。同时，运动推定部108生成提高了分辨率的红色合成动态图像R_HH的中间帧图像。 

在此，说明着眼于红色动态图像R_LH的中间帧图像的某1个矩形小区域(粗线的矩形)，从前后2张基帧图像的搜索范围内计算运动信息的工作。 

运动推定部108针对红色动态图像R_LH的中间帧图像的关注区域(粗线的矩形)，决定前后2个基帧图像的搜索范围中的多个候补区域。然后，对此多个候补区域重复以下的处理。 

首先，如图11(2)所示，运动推定部108生成使用某1个候补区域的绿色图像提高了红色矩形小区域的分辨率的中间帧分辨率转换图像。提高红色矩形小区域的分辨率的方法与实施方式2的高分辨率化部110相同。 

接着，运动推定部108，如图11(3)所示，计算得到的矩形小区域的分辨率转换图像、和红色合成动态图像R_HH的基帧图像(基帧分辨率转换图像)的候补区域的亮度值的SAD，设其为关注区域和候补区域的近似度。 

运动推定部108针对搜索范围内的多个候补区域重复进行生成对应于上述搜索目的地的矩形小区域的基帧分辨率转换图像的处理和计算相对于候补区域的近似度的处理。然后，计算出与近似度最高的(SAD小的) 候补区域的相对位置作为关注的矩形小区域的运动信息V。 

然后，如图11(4)所示，运动推定部108采用在近似度最高的候补区域的计算中使用的中间帧分辨率转换图像作为合成动态图像R_HH的中间帧图像的矩形小区域。 

运动推定部108对红色动态图像R_LH的3张中间帧图像进行上述工作，生成多个矩形小区域的运动信息V和红色合成动态图像R_HH的中间帧图像。 

运动推定部108通过上述工作生成运动信息V和红色合成动态图像R_HH。 

通过对蓝色动态图像B_LH也进行与上述处理相同的处理，就能生成蓝色合成动态图像B_HH。 

再有，作为生成蓝色合成动态图像B_HH的方法，还可以执行以下的处理。即，运动推定部108为了使用绿色动态图像G_HL和计算出的运动信息V、及蓝色动态图像B_LH，提高对应于运动信息V的绿色动态图像G_HL和蓝色合成动态图像B_HH的高频关联，也可以使用(式1)～(式4)等的方法。 

运动补偿部109接收由运动推定部108计算出的运动信息V、和存储在存储部107中的第一颜色成分即绿色动态图像G_HL，通过运动补偿生成任意计时的绿色合成图像，作为帧频高的绿色合成动态图像G_HH输出。 

多色图像合成部110接收由运动补偿部生成的绿色合成动态图像G_HH的数据及由运动推定部108生成的红和蓝色合成动态图像R_HH、B_HH的各数据，生成并输出由红、绿和蓝3种颜色成分构成的多色动态图像RGB_HH。 

多色图像处理装置3通过重复上述各构成要素的工作，连续生成并输出多色动态图像RGB_HH。 

根据本实施方式的多色图像处理装置3，除了与实施方式1的多色图像处理装置相同的效果外，在生成的多色动态图像RGB_HH中还具有第二颜色成分即红和蓝色颜色成分的分辨率高这样的效果。 

此外，关注由运动推定部108生成的运动信息V。在实施方式1中，在红色动态图像R_LH的基帧图像和中间帧图像之间计算矩形小区域间的近似度变得最高的运动信息V。相对于此，本实施方式的运动推定部108计 算在红色合成动态图像R_HH的基帧图像(基帧分辨率转换图像)和红色动态图像RL_H的中间帧图像的分辨率转换图像(中间帧分辨率转换图像)之间，矩形小区域间的近似度变得最高的运动信息V。相对于红色动态图像R_LH的基帧图像和中间帧图像，红色合成动态图像R_HH的基帧图像和红色动态图像R_LH的中间帧图像的分辨率转换图像，都能够期待高分辨率。由此，在本实施方式中，使用更高的分辨率的图像生成的运动信息V能够期待比实施方式1的运动信息V更高精度。由运动补偿部109生成的绿色合成动态图像G_HH，在运动信息V的精度高时，能生成亮度值和位置错误少的合成动态图像。其结果，本实施方式的多色图像合成装置，与实施方式1的多色图像合成装置相比，具有能得到更高的分辨率的多色动态图像这样的效果。 

本发明者们为了也针对本实施方式的多色图像处理装置3来评价生成的高分辨率高帧频的动态图像，进行效果确认实验。图18示出使用本实施方式的多色图像处理装置3的实验效果。实验方法及实验条件与上述联系图17说明的实验相同。 

根据图18可理解为由本实施方式的多色图像处理装置3生成的多色动态图像RGB_HH的PSNR(对应于“本申请的实施方式3”的条线图)比通过双三次内插的图像的PSNR(对应于“Bicubic”的条线图)及由实施方式2的多色图像处理装置2生成的多色动态图像的PSNR(对应于“本申请的实施方式2”的条线图)高。即，如果使用本实施方式的多色图像处理装置3，就确认出能生成更接近正解图像、高分辨率高帧频的动态图像这样的效果。 

由本实施方式运动推定部108计算出的运动信息V比通过实施方式1、2计算出的运动信息V精度更高的理由，不单仅因为红和蓝色动态图像R_LH、B_LH的分辨率低。是因为在红和蓝色动态图像R_LH、B_LH中含有折返成分。例如，利用具有公共的光学系统的照相机拍摄各颜色成分的动态图像、并且通过硬件插接(binning)处理(关于插接处理的详情在实施方式4中说明。)在摄像元件上生成低分辨率的红和蓝色动态图像R_LH、B_LH的情况下，就会在红和蓝色动态图像R_LH、B_LH中含有折返成分。其理由是因为相对于为了得到高分辨率的绿色动态图像而调整透镜等的光学系统 以便含有更高频分量，红和蓝色动态图像却是进行使高分辨率的像素值平均化的处理。将含有这样的折返成分的红和蓝色动态图像R_LH、B_LH作为输入，由实施方式1、2中的运动推定部108计算出的运动信息V与不含折返的成分的情形相比，其精度变低。 

另一方面，本实施方式的运动推定部108暂时生成使用红或蓝色动态图像和绿色动态图像G_HL提高了分辨率的基帧分辨率转换图像和中间帧分辨率转换图像，计算运动信息以使得这2个分辨率转换图像间的近似度变得最高。即使在红或蓝色动态图像中含有折返成分的情况下，也能在生成的分辨率转换图像中减少折返成分，或不存在折返成分。为此，能期待由本实施方式计算出的运动信息V的精度的提高。基于这样的理由，可以说本实施方式的多色图像合成装置，与实施方式1的多色图像合成装置相比，具有能获得更高的分辨率的多色动态图像这样的效果。 

本发明者们为了评价由本实施方式的多色图像处理装置3的运动推定部108生成的运动信息V的精度有何种程度的提高，进行效果确认实验。图19示出使用本实施方式的多色图像处理装置3的有关运动信息V的实验结果。 

在实验中，制备帧间运动已知的高分辨率帧频的动态图像，由该动态图像生成高分辨率低帧频的绿色图像G_HL、低分辨率高帧频的红色动态图像R_LH和蓝色动态图像B_LH，将它们作为输入图像。然后，使用这些输入图像，利用本实施方式的多色图像处理装置3的运动推定部108计算运动信息V，计算出该运动信息V和正解的帧间的运动的RMSE(Root MeanSquare Error)作为运动的推定精度的评价值(图19的纵轴)。作为比较对象，还求出由本实施方式的多色图像处理装置1的运动推定部108计算出的运动信息V的RMSE。分辨率等的实验条件与前述的图17及图18的实验相同。 

根据图19，由本实施方式的多色图像处理装置3的运动推定部计算出的运动信息V的RMSE(对应于“本申请的实施方式3”的条线图)比由实施方式1及2的多色图像处理装置的运动推定部计算出的运动信息的RMSE(对应于“本申请的实施方式1、2”的条线图)更小。这意味着本实施方式的多色图像处理装置3的运动推定的精度更高。 

再有，由本实施方式的运动推定部108得到的、帧间的运动信息的精度高这样的效果，即使成为输入的2个动态图像不一定是不同的颜色成分，也能得到。例如，即使低分辨率高帧频的动态图像和高分辨率低帧频的动态图像2组动态图像都是单色的动态图像，通过暂时生成提高了分辨率的基帧分辨率转换图像和中间帧分辨率转换图像，计算运动信息以使这2个分辨率转换图像间的近似度变得最高，就能得到帧间的运动信息的精度高这样的效果。 

再有，在本实施方式的图像处理部106中的各处理部的工作说明中，说明了运动推定部108和运动补偿部109每5帧顺次进行工作的情形。但是，工作并不限于上述顺序，也可以各处理部按每1矩形小区域顺次进行工作，也可以是其它的顺序。 

例如在(式5)～(式7)中示出由本实施方式的运动推定部108及运动补偿部109进行的处理。图像处理部106，如果是解这些算式的顺序，则可以是任何的顺序。 

[式5] 

V(x，y，f)＝(x，y，f，x+u，y+v，fb) 

(u，v，fb)＝arg min_(u，v，fb)(SAD_x，y，f(u，v，fb)) 

${\mathrm{SAD}}_{x,y,f}(u,v,\mathrm{fb})=\underset{y^{\&prime;}=y-h}{\overset{y+h}{\mathrm{\&Sigma;}}}\underset{x^{\&prime;}=x-w}{\overset{x+w}{\mathrm{\&Sigma;}}}|{\mathrm{IR}}_{\mathrm{HH}}(x^{\&prime;},y^{\&prime;},f)-{\mathrm{IR}}_{\mathrm{HH}}(x^{\&prime;}+u,y^{\&prime;}+v,\mathrm{fb})|$

[式6] 

IR_HH(x，y)＝(1+wlr(xl，yl)wh(x，y))IR_LH(xl，yl) 

IB_HH(x，y)＝(1+wlb(xl，yl)wh(x，y))IB_LH(x1，yl) 

$\mathrm{wh}(x,y)=\frac{{\mathrm{IG}}_{\mathrm{HH}}(x,y)-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}}{{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}}$

${\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{HH}}=\frac{1}{n}\underset{y}{\mathrm{\&Sigma;}}\underset{x}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{HH}}(x,y),(n=4)$

$\mathrm{wlr}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})}^2}\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}$

$\mathrm{wlb}(\mathrm{xl},\mathrm{yl})=\frac{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})({\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IB}}}_{\mathrm{LH}})}{\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}})}^2}\sqrt{\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{({\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})-{\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}})}^2}}$

${\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl})=\frac{1}{n}\underset{y}{\mathrm{\&Sigma;}}\underset{x}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{HH}}(x,y),(n=4)$

${\stackrel{\&OverBar;}{\mathrm{IG}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IG}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\&OverBar;}{\mathrm{IR}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IR}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),$

${\stackrel{\&OverBar;}{\mathrm{IB}}}_{\mathrm{LH}}=\frac{1}{m}\underset{\mathrm{yl}}{\mathrm{\&Sigma;}}\underset{\mathrm{xl}}{\mathrm{\&Sigma;}}{\mathrm{IB}}_{\mathrm{LH}}(\mathrm{xl},\mathrm{yl}),(m=9)$

[式7] 

${\mathrm{IG}}_{\mathrm{HH}}(x,y,f)=\left\{\begin{array}{ccc}{\mathrm{IG}}_{\mathrm{HL}}(x,y,\mathrm{fb})& \mathrm{if}& t=\mathrm{fb}\\ {\mathrm{IG}}_{\mathrm{HL}}(x+u,y+v,\mathrm{fb})& \mathrm{if}& t\&NotEqual;\mathrm{tk}\end{array}\right.$

在(式5)中，V(x，y，f)是帧f、位置(x，y)中的运动信息，由向前后任意的基帧fb的位置(x+u，y+v)的信息构成。此运动信息V作为第3行的式子的右边的基帧分辨率转换图像IR_HH(x+u，y+v，fb)和中间帧分辨率转换图像IR_HH(x、y、fb)的近似度(SAD)为最小的运动信息(u、v、fb)被求出。(式6)是求(式5)中含有的分辨率转换图像IR_HH的式子，在此与(式3)相同。而且，(式7)是求(式6)中含有的IG_HH的式子。因此，如果汇总(式5)～(式7)，则需要计算的运动信息V仅运动向量(u，v)为未知参数。为此，在预定的搜索范围内使(u，v)变化，选择近似度最大、即(式5)的SAD变得最小的(u，v)作为运动信息V。 

运动推定部108的处理对应于(式5)～(式7)，运动补偿部109中的处理对应于(式7)。 

实施方式4 

相对于在实施方式1及2中，第一、第二、第三颜色成分是固定的，在本实施方式中，却根据拍摄状况使对应于第一、第二、第三颜色成分的颜色变化。换言之，本实施方式的多色图像处理装置，根据拍摄状况改变红、绿、蓝色颜色成分的动态图像的分辨率和帧频，据此，构成为可变更由图像处理部内的各处理部处理的颜色成分。 

图12表示本实施方式的多色图像处理装置4的结构。 

多色图像处理装置4的结构与实施方式1的多色图像处理装置1(图1)及实施方式2的多色图像处理装置2(图7)的各结构的不同点如下。 

第一、能够限制由3个摄像元件104拍摄的各颜色成分的图像的分辨率。第二、摄像控制部105包含分辨率控制部112及摄像时间控制部113。 

其它处理部的结构及各处理部的工作与实施方式1或实施方式2的多色图像处理装置相同。 

但是，在本实施方式中，作为可变更图像分辨率的摄像元件104，3种颜色成分的摄像元件使用都具有水平8000像素、垂直4000像素的像素数、可以在加法读出邻近2×2像素的像素值的插接模式下读出的摄像元件。在插接模式中，虽然在加法计算并读出相邻的多个像素的电荷的硬件 插接之外，还有在数字化后加法计算的软件插接等，但在此，使用可硬件插接的摄像元件。这种可硬件插接的摄像元件，与加法计算的像素数成反比例，能缩短1图像的读出时间。由此，可选择地控制拍摄的图像的分辨率。例如，如果使用这样的摄像元件，就能选择性地控制水平8000像素×垂直4000像素和水平4000像素×垂直2000像素。此外，如果使用这样的摄像元件，同时还能控制帧频。 

在实施方式1～3中，设以高分辨率低帧频拍摄绿色颜色成分的动态图像，以低分辨率高帧频拍摄红和蓝色颜色成分的动态图像。是因为如果考虑相比于红、蓝，对于绿人的视觉灵敏度更高这样的特性，则通常希望绿色合成动态图像的主观画质最好。 

在本实施方式中，分辨率控制部112基于从摄像元件104输入的各颜色成分的动态图像计算颜色成分的强度，按照此颜色成分的强度改变分辨率。 

具体地，分辨率控制部112按照由摄像部104拍摄的各颜色成分的动态图像，计算由摄像部104拍摄的图像的分辨率。摄像时间控制部113，以按照由分辨率控制部112计算出的各颜色成分的分辨率预定的时间间隔和分辨率，从摄像部104读出并输出各颜色成分的动态图像。 

例如，计算红、绿、蓝色各动态图像的平均亮度值，设平均亮度值最高的颜色成分为高分辨率低帧图像，以低分辨率高帧频读出其它颜色成分。 

由此，例如像拍摄海、池等，水中的景物情形那样，通过在增强体现绿以外的颜色成分(本例中是蓝成分)的景物的拍摄时，以高分辨率低帧频拍摄蓝，以低分辨率高帧频拍摄红和绿，就能提示观察者的主观画质好的多色动态图像。 

如上所述，通过利用分辨率控制部112根据被拍摄物的颜色成分的强度控制由摄像元件104拍摄的各颜色成分的分辨率，就能使被拍摄物的最强的颜色成分被最高分辨率化，其结果具有合成动态图像的主观画质变高这样的效果。 

实施方式5 

在实施方式1～4中，例如如图2所示，设第二及第三的颜色成分动态图像的像素的空间配置相同。而且设各颜色成分动态图像内的像素具有相同的坐标而建立对应。 

相对于此，在本实施方式中，第二及第三颜色成分的图像，像素位置相对地偏移，使用此图像生成多色动态图像。 

本实施方式的多色图像处理装置的结构与实施方式4的多色图像处理装置4(图12)相同。本实施方式的多色图像处理装置与实施方式4的多色图像处理装置4的不同点如下。 

第一、在本实施方式5中，摄像部101取得像素位置相对偏移的第二及第三颜色成分的图像。第二、图像处理部106附加入第二及第三颜色成分的图像的像素位置相对偏移来进行处理。这些不同点，更具体地，作为摄像部101的摄像元件104、及图像处理部106的运动推定部108的工作的不同体现出来。摄像元件104及运动推定部108以外的各处理部的工作，与实施方式4的多色图像处理装置4相同。 

图13中示出像素位置偏移了的第二及第三颜色成分的图像的例子。在图13中，相对于第二颜色成分即红色动态图像，第三颜色成分即蓝色动态图像在像素的位置在垂直方向及水平方向都并行移动约半像素的长度左右。 

摄像部101通过改变在摄像元件104的插接处理时进行加法计算的像素位置的组合，得到图13这样的图像。再有，这样的像素位置的偏移了的图像是可以通过移动蓝色摄像元件104c的设置位置取得的。 

即使假设图像处理部106进行与实施方式1～4相同的处理，也能使用像素位置偏移的蓝色动态图像合成多色动态图像，能获得与实施方式1～4相同的效果。 

但是，在本实施方式中，在运动推定部108中，由于利用在红和蓝2个动态图像间像素位置偏移，所以计算出更高精度的运动信息V，作为结果生成画质高的多色动态图像。 

下面说明运动推定部108计算运动信息V的2个不同的顺序。 

顺序1 

实施方式1的运动推定部108使用红色动态图像R_LH，计算出中间帧 和其前后的基帧图像之间的运动(图3)。 

相对于此，本实施方式中的运动推定部108，在分别利用双三次法内插放大像素位置偏移了的红和蓝色动态图像R_LH，B_LH之后进行加法平均，生成提高了分辨率的红和蓝色混合动态图像RB_HH。然后，在运动低分辨率的红色动态图像R_LH的变化中使用混合动态图像RB_HH，计算中间帧和其前后的基帧图像之间的运动，将其作为运动信息V输出。 

混合动态图像RB_HH，相对于红色动态图像R_LH(或蓝色动态图像B_LH)，水平垂直都含有2倍的频率成分。由此，与使用红色动态图像R_LH计算运动的情形相比，可期待运动信息V的精度提高。 

顺序2 

在上述顺序1中，利用加法计算像素位置偏移了的2个动态图像得到的混合动态图像含有比原始的动态图像高的频率成分这样的性质。此外，在实施方式3的运动推定部108中，利用在红色动态图像上附加绿色动态图像中含有的高频分量得到的分辨率转换图像含有比原始的动态图像高的频率成分这样的性质。由于这2个方法分别利用不同的信息，所以可以组合使用。 

因此，本实施方式中的运动推定部108，通过在分别内插放大像素位置偏移了的红和蓝色动态图像R_LH、B_LH之后进行加法平均，生成提高了分辨率的红和蓝色混合动态图像RB_HH，此后，对得到的混合动态图像RB_HH附加绿色动态图像中含有的高频分量，进一步得到分辨率转换图像。 

图15表示由上述顺序生成的混合动态图像RB_HH的例子。运动推定部108，分别在将像素位置偏移了的红和蓝色动态图像R_LH、B_LH(分别4000×2000像素×30fps)的分辨率内插放大为与绿色动态图像相同的分辨率后，进行加法平均。由此，运动推定部108生成高分辨率(8000×4000像素×30fps)的混合动态图像RB_HH。 

进而，运动推定部108针对混合动态图像RB_HH生成使用绿色动态图像G_HL提高了分辨率的分辨率转换动态图像RB_HH′。然后，运动推定部108使用分辨率转换图像RB_HH′计算中间帧和其前后的基帧图像间的运动，作为运动信息V输出。 

图16表示通过本实施方式的运动推定部108的运动信息V的计算顺 序的概念。运动的信息的计算的顺序(1)～(4)与实施方式3的运动推定部108(图11)相同。图16的顺序与图11的顺序的不同点是代替实施方式3的红色动态图像而使用混合动态图像RB_HH这点。 

此分辨率转换图像RB_HH′含有混合动态图像RB_HH和绿色动态图像G_HL双方的高频分量。由此，使用分辨率转换图像RB_HH′计算出的运动信息，与顺序1和实施方式3相比，可期待运动信息V的精度变高。 

运动补偿部109以后的各处理机构的工作与实施方式4相同。 

在以上这样的本实施方式5中，摄像部101取得在红和蓝2个动态图像间像素位置偏移了的图像。然后，在图像处理部106中，在运动推定部108，通过利用在红和蓝2个动态图像间移动像素位置，就能计算出精度更高的运动信息V。使用精度高的运动信息，作为结果可生成画质高的多色动态图像。 

如上所述，通过在各颜色成分的动态图像间移动像素的位置进行处理，得到合成动态图像的画质提高了这样的效果。其理由是因为，如果运动推定部108使用像素位置偏移了的2个图像求运动信息的话，则相对于使用位置未偏移的图像的情形，运动推定的精度提高了。其结果，可得到提高由运动补偿部109生成的第一颜色成分的合成动态图像的画质，提高多色动态图像的画质这样的效果。此外，如果附加上绿色动态图像中所含的高频分量，则进一步提高运动推定的精度。其结果，能得到提高多色动态图像的画质这样的效果。 

再有，在本发明的各实施方式的说明中，虽然假设摄像部101和图像处理部106都始终工作，但不限于此，例如也可以设为按照用户的按键操作控制各处理部的工作和停止等。此外，摄像部101和图像处理部106也可以分别单个进行工作，例如，也可以设为在图像的拍摄时将从摄像部101输出的多个颜色成分的动态图像存储在存储部107中，在拍摄结束后，再生拍摄的图像时，由图像处理部106生成多色图像。在如此进行工作时，存储部107优选大容量的介质、例如硬盘和光盘、非易失性半导体存储器。 

此外，在本发明的各实施方式的说明中，运动补偿部109，通过根据由运动推定部108计算出的运动信息，使用对应的位置的基帧图像的绿色动态图像的小矩形区域的像素值作为中间帧图像的绿色合成图像的任意 矩形小区域的像素值，生成帧频高的绿色合成动态图像G_HH。 

但是，也可以代替仍旧使用基帧图像的小矩形区域的像素值，使用时间关联作为评价值，以便提高第一颜色成分即绿色合成动态图像和第二(或第三)颜色成分即红(或蓝)的动态图像的时间关联，通过运算求中间帧图像内的小矩形区域的像素值。 

例如，关于实施方式1的通过运动补偿部109的工作生成的绿色合成动态图像G_HH、及红色动态图像R_LH中连续的5张图像G_HH(f)、…、G_HH(f+4)和R_LH(f)、…、R_LH(f+4)，为了使其所有像素的平均值的时间变化一致，在运动补偿部109中生成G_HH(f)、…、G_HH(f+4)时，也可以在绿色动态图像G_HL的2个基帧上乘上增益。或者，也可以乘上增益修正由运动补偿部109暂时求出的G_HH(f)、…、G_HH(f+4)的像素值。后者的处理既可以由运动补偿部109进行，也可以由高分辨率化部110进行。 

如此，在运动补偿部109中，生成绿色合成动态图像时，通过使红色动态图像和平均亮度的时间关联变高，即使是例如在拍摄动态图像中产生闪光灯发光等照明变化的时候，也具有多色动态图像中的绿和红色平均亮度的时间变化未偏移这样的效果。 

再有，上述各实施方式的多色图像处理装置，虽然作为多色图像最普通的例子，使用红、绿、蓝3种颜色成分的动态图像，但颜色成分的数量不限于3，如果是由2种以上的颜色成分构成的动态图像，则能得到相同的效果。 

此外，虽然设第一颜色成分为绿、第二颜色成分为红(第三颜色成分为蓝)，但不限于此，如果在波长区域中将光分离成2个以上的成分的话，则可以为任意的组合。例如，也可以第一颜色成分是可见光，第二颜色成分是近红外光，此情况下，能够得到包含由图像处理部106提高了帧频的第一颜色成分即可见光的动态图像的多色动态图像。 

再有，说明了各实施方式的多色图像处理装置具有摄像部101及图像处理部106，并且它们含有多个处理部。但是，也可以使摄像部101及图像处理部106一体化。此外，摄像部101和/或图像处理部106内的处理部也可以容纳在1个IC等中。 

在上述实施方式中，说明了多色图像处理装置具有图1、7、10及12 中分别示出的结构。例如，各结构中所含的运动推定部等被记载为体现功能的块。这些功能块既可以在硬件中由数字信号处理器(DSP)这样的1个半导体芯片或IC实现，也可以使用例如计算机和软件(计算机程序)实现。 

例如，图14表示由计算机构成的多色图像处理装置的硬件结构。 

各实施方式的多色图像处理装置的各功能块和图14所示的硬件的对应关系如下。例如，以图1所示的多色图像处理装置1为例进行说明。 

多色图像处理装置1的摄像部101对应于图14所示的照相机901。此外，存储部107对应于图14所示的RAM906或硬盘驱动器(HDD)910。而且，运动推定部108、运动补偿部109及多色图像合成部111由执行计算机程序的图14的CPU904实现。此外，即使关于图7的高分辨率化部110也由执行计算机程序的图14的CPU904实现。 

使图13的计算机工作的计算程序例如保持在ROM905中。计算机程序由作为处理器的CPU904读出到RAM906中加以展开。CPU904执行计算机程序的实态即编码化的各命令。 

再有，例如实现运动推定部108的计算机程序，例如按图5所示的流程这样的顺序表述。计算机程序不限于保存在作为半导体的ROM905中，例如也可以保存在光盘、磁盘中。此外，还可以通过有线、无线的网络、广播等传输，存入计算机的RAM906中。 

根据上述实施方式，不使用半反射镜等，将入射光分离成每一颜色成分，拍摄多个颜色成分的每个动态图像。由此，与使用半反射镜的现有技术比较，由于在各颜色成分的动态图像中不发生光量的下降，所以可得到图像明亮、SN比高的颜色成分的动态图像。根据这些颜色成分图像生成的分辨率和帧频都高的多色动态图像也明亮、且具有高的SN比。 

此外，根据实施方式2，由于使用合成动态图像和第二动态图像的时间关联，求此关联值变高的合成图像，所以能生成第一颜色成分的图像和第二颜色成分的图像的时间变化的偏移少的合成动态图像。 

此外，根据实施方式3，由于生成提高了分辨率的第二合成动态图像，所以能得到更高分辨率的多色动态图像。此外，通过使用转换了第二动态图像的分辨率的转换动态图像来推定运动，就能期待运动推定的精度的提 高。其结果，具有可得到分辨率更高的多色动态图像这样的效果。 

工业实用性 

本发明关联的多色图像处理装置及多色图像摄像装置适用于作为拍摄动态图像并进行发送或存储的照相机，以及提高接收或预存储的动态图像的画质的电视机和录像机等视频接收显示装置、系统。其利用方式，既可以是独立的图像处理装置，也可以内置于照相机、电视机等中。此外，可以作为在计算机上工作的程序实现、利用。 

Claims (24)

1.一种图像处理装置，根据第一动态图像的数据及第二动态图像的数据生成多色动态图像的数据，其中，

上述第一动态图像以第一帧频具有第一颜色成分的多个图像，

上述第二动态图像以比上述第一帧频高的第二帧频具有与上述第一颜色成分不同的第二颜色成分的多个图像，并且上述第二动态图像的分辨率是上述第一动态图像的分辨率以下，

该图像处理装置包括：

第一图像合成部，根据上述第一动态图像的数据及上述第二动态图像的数据，生成比上述第一帧频高的帧频的与上述第一动态图像对应的合成动态图像；以及

第二图像合成部，接收并合成上述合成动态图像及上述第二动态图像，生成含上述第一颜色成分及上述第二颜色成分的多色动态图像，

上述第一图像合成部具有：

运动推定部，接收上述第二动态图像的数据，根据构成上述第二动态图像的至少2张图像间的变化生成运动信息；以及

运动补偿部，生成使构成上述第一动态图像的图像根据上述运动信息产生变化后的合成图像，利用上述合成图像及上述第一动态图像，输出与上述第一动态图像对应的上述合成动态图像，

上述合成图像是插入并显示在构成上述第一动态图像的连续2张图像之间的图像，

构成上述第二动态图像的上述至少2张图像，包含第一图像和第二图像，上述第一图像、上述第二图像及构成上述第一动态图像的图像，分别由多个小区域构成，

上述运动推定部，根据上述第一图像及上述第二图像间的变化，按小区域单位生成运动信息，

上述运动补偿部，根据上述运动信息来确定与上述第一图像中的各小区域对应的上述第二图像中的各坐标位置，确定与上述各坐标位置对应的上述第一动态图像的各小区域，复制上述第一动态图像的各小区域的像素值作为上述合成图像的各小区域，从而生成上述合成图像，并且通过将上述合成图像插入到构成上述第一动态图像的连续2张图像之间，从而生成上述合成动态图像。

2.根据权利要求1所述的图像处理装置，

上述第一动态图像及上述第二动态图像分别具有以彼此相同的计时所拍摄的基帧图像，并且，上述第二动态图像具有在拍摄相邻的2个基帧图像期间进一步拍摄的中间帧图像，

上述运动推定部根据上述第二动态图像的中间帧图像及基帧图像的图像间的变化，生成运动信息，

上述运动补偿部，利用上述中间帧作为上述第一图像、利用上述相邻的2个基帧图像的一个作为上述第二图像，来生成合成图像。

3.根据权利要求2所述的图像处理装置，

上述运动推定部根据上述第二动态图像的中间帧图像、以及在比上述中间帧图像更前的时间所拍摄的基帧图像的图像间的变化，生成运动信息。

4.根据权利要求2所述的图像处理装置，

上述运动推定部根据上述第二动态图像的中间帧图像、以及在比上述中间帧图像更后的时间所拍摄的基帧图像的图像间的变化，生成运动信息。

5.根据权利要求2所述的图像处理装置，

构成上述第二动态图像的上述至少2张图像还包含第三图像，

上述运动推定部根据上述第二动态图像的中间帧图像U即上述第一图像、以及在比上述中间帧图像更前的时间所拍摄的基帧图像S即上述第二图像的图像间的变化，生成运动信息S，并且，

上述运动推定部根据上述第二动态图像的中间帧图像U即上述第一图像、以及在比上述中间帧图像更后的时间所拍摄的基帧图像T即上述第三图像的图像间的变化，生成运动信息T；

上述运动补偿部，根据上述运动信息S来确定与上述中间帧图像U中的各小区域对应的上述基帧图像S中的各坐标位置，确定与上述基帧图像S中的各坐标位置对应的上述第一动态图像的各小区域，复制上述第一动态图像的各小区域的像素值作为上述合成图像的一部分的各小区域，

根据上述运动信息T来确定与上述中间帧图像U中的各小区域对应的上述基帧图像T中的各坐标位置，确定与上述基帧图像T中的各坐标位置对应的上述第一动态图像的各小区域，复制上述第一动态图像的各小区域的像素值作为上述合成图像的剩余部分的各小区域，从而生成与上述第二动态图像的中间帧U对应的合成图像。

6.根据权利要求1所述的图像处理装置，

上述运动补偿部通过使用上述第一动态图像及上述第二动态图像的时间关联来作为评价值，从而根据上述第一动态图像的数据、上述第二动态图像的数据及上述运动信息，生成与任意计时的上述第一动态图像对应的合成图像。

7.根据权利要求6所述的图像处理装置，

上述运动补偿部通过使用上述合成动态图像及上述第二动态图像的时间关联来作为评价值，从而修正上述合成动态图像中所包含的上述合成图像的像素值。

8.根据权利要求1所述的图像处理装置，

进一步包括高分辨率化部，该高分辨率化部接收与上述第一动态图像对应的合成动态图像的数据及上述第二动态图像的数据，根据构成上述合成动态图像的图像的信息，使第二动态图像高分辨率化，生成与第二动态图像对应的合成动态图像，

上述第二图像合成部代替上述第二动态图像而接收与上述第二动态图像对应的合成动态图像，并和与上述第一动态图像对应的合成动态图像进行合成，生成上述多色动态图像。

9.根据权利要求8所述的图像处理装置，

上述高分辨率化部根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，使用与上述第一动态图像对应的合成动态图像及上述第二动态图像的空间关联来作为评价值。

10.根据权利要求2所述的图像处理装置，

上述运动推定部接收上述第一动态图像的数据及第二动态图像的数据，生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的基帧图像的分辨率后的基帧分辨率转换图像、和使用上述第一动态图像的基帧图像转换了第二动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像，根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的近似度，生成上述运动信息，作为上述第二动态图像的运动信息而输出。

11.根据权利要求10所述的图像处理装置，

上述运动推定部根据上述第一动态图像的图像及上述第二动态图像的图像间的空间关联，生成转换了第二动态图像的分辨率后的转换动态图像。

12.根据权利要求1所述的图像处理装置，

上述图像处理装置还可以根据第三动态图像的数据，生成多色动态图像的数据，

上述第三动态图像以比上述第一帧频高的第三帧频，具有与上述第一颜色成分及上述第二颜色成分不同的第三颜色成分的多个图像，并且，上述第三动态图像的分辨率是上述第一动态图像的分辨率以下，构成上述第三动态图像的图像由多个小区域构成，

上述运动推定部还接收第三动态图像的数据，根据构成上述第三动态图像的至少2张图像间的变化，按小区域单位生成运动信息，

上述运动补偿部根据有关上述第二动态图像的运动信息、有关上述第三动态图像的运动信息及上述第一动态图像的数据，生成与上述第一动态图像对应的合成动态图像，

上述第二图像合成部接收并合成上述合成动态图像、上述第二动态图像及上述第三动态图像，生成包含上述第一颜色成分、上述第二颜色成分及上述第三颜色成分的多色动态图像。

13.根据权利要求12所述的图像处理装置，

上述第二动态图像及上述第三动态图像，像素的空间配置不同。

14.根据权利要求1所述的图像处理装置，

上述第一颜色成分是绿色。

15.根据权利要求1所述的图像处理装置，

还包括：

颜色分离部，将接收到的光至少分离成第一颜色成分及第二颜色成分；以及

摄像部，根据分离出的上述第一颜色成分的光及上述第二颜色成分的光，拍摄上述第一动态图像及上述第二动态图像，

上述摄像部以上述第二动态图像的分辨率以上的分辨率拍摄上述第一动态图像，并且以小于上述第二动态图像的帧频的帧频拍摄上述第一动态图像。

16.根据权利要求15所述的图像处理装置，

上述摄像部按照拍摄出的动态图像来控制多个颜色成分的动态图像的分辨率和帧频。

17.一种图像处理方法，根据第一动态图像的数据及第二动态图像的数据生成多色动态图像的数据，其中，

上述第一动态图像以第一帧频具有第一颜色成分的多个图像，

上述第二动态图像以比上述第一帧频高的第二帧频具有与上述第一颜色成分不同的第二颜色成分的多个图像，并且上述第二动态图像的分辨率是上述第一动态图像的分辨率以下，

该图像处理方法包含：

接收上述第二动态图像的数据，根据构成上述第二动态图像的至少2张图像间的变化生成运动信息的步骤；

生成使构成上述第一动态图像的图像根据上述运动信息产生变化后的合成图像，利用上述第一动态图像及上述合成图像，以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像的步骤；以及

接收并合成上述合成动态图像及上述第二动态图像，生成含上述第一颜色成分及上述第二颜色成分的多色动态图像的步骤，

上述合成图像是插入并显示在构成上述第一动态图像的连续2张图像之间的图像，

构成上述第二动态图像的上述至少2张图像，包含第一图像和第二图像，上述第一图像、上述第二图像及构成上述第一动态图像的图像，分别由多个小区域构成，

生成上述运动信息的上述步骤，根据上述第一图像及上述第二图像间的变化，按小区域单位生成运动信息，

输出合成图像的上述步骤中，根据上述运动信息来确定与上述第一图像中的各小区域对应的上述第二图像中的各坐标位置，确定与上述各坐标位置对应的上述第一动态图像的各小区域，复制上述第一动态图像的各小区域的像素值作为上述合成图像的各小区域，从而生成上述合成图像，并且通过将上述合成图像插入到构成上述第一动态图像的连续2张图像之间，从而生成上述合成动态图像。

18.根据权利要求13所述的图像处理装置，

上述运动推定部通过附加入像素的空间配置，对构成上述第二动态图像的图像和构成上述第三动态图像的图像进行加权求和，来生成混合动态图像，根据构成生成的上述混合动态图像的至少2张图像间的变化，生成上述运动信息。

19.根据权利要求18所述的图像处理装置，

上述运动推定部通过附加入像素的空间配置，对构成上述第二动态图像的图像和构成上述第三动态图像的图像进行加权求和，来生成混合动态图像，进一步生成使用上述第一动态图像的基帧图像转换了上述混合动态图像的基帧图像的分辨率后的基帧分辨率转换图像、和使用上述第一动态图像的基帧图像转换了上述混合动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像，根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的变化，生成上述运动信息。

20.根据权利要求8所述的图像处理装置，

上述高分辨率化部根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，在上述第二动态图像中附加上与上述第一动态图像对应的合成动态图像中所含的高频分量。

21.根据权利要求8所述的图像处理装置，

上述高分辨率化部根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，增强与上述第一动态图像对应的合成动态图像和与第二动态图像对应的合成图像之间的关联。

22.根据权利要求9所述的图像处理装置，

上述高分辨率化部根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，按照构成上述第一动态图像的图像和构成上述第二动态图像的图像的关联的程度，改变与上述第一动态图像对应的合成动态图像的图像和与上述第二动态图像对应的合成动态图像的图像的关联的程度。

23.根据权利要求9所述的图像处理装置，

上述高分辨率化部根据构成与上述第一动态图像对应的合成动态图像的图像的信息，使上述第二动态图像高分辨率化，在生成与第二动态图像对应的合成动态图像时，构成上述第一动态图像的图像和构成上述第二动态图像的图像的关联弱的区域，通过内插放大上述第二动态图像的图像，生成与第二动态图像对应的合成动态图像的图像。

24.一种图像处理方法，根据第一动态图像的数据及第二动态图像的数据生成合成动态图像的数据，其中，

上述第一动态图像以第一帧频具有多个图像，

上述第二动态图像以比上述第一帧频高的第二帧频具有多个图像，

上述第一动态图像及上述第二动态图像分别具有以彼此相同的计时所拍摄的基帧图像，上述第二动态图像具有在拍摄相邻的2个基帧图像期间进一步拍摄的中间帧图像，

该图像处理方法包含：

接收上述第一动态图像的数据及第二动态图像的数据，生成使用上述第一动态图像的基帧图像转换了上述第二动态图像的基帧图像的分辨率后的基帧分辨率转换图像的步骤；

生成使用上述第一动态图像的基帧图像转换了第二动态图像的中间帧图像的分辨率后的中间帧分辨率转换图像的步骤；

根据上述基帧分辨率转换图像和上述中间帧分辨率转换图像间的近似度生成运动信息的步骤；和

根据上述第一动态图像的数据及上述第二动态图像的数据和上述运动信息，生成使构成上述第一动态图像的图像产生变化后的合成图像，利用上述第一动态图像及上述合成图像以比上述第一帧频高的帧频，输出与上述第一动态图像对应的合成动态图像的步骤，

上述合成图像是插入并显示在构成上述第一动态图像的连续2张图像之间的图像，

上述第二动态图像的基帧图像、中间帧图像及上述第一动态图像的基帧图像，分别由多个小区域构成，

生成上述运动信息的上述步骤，根据上述第二动态图像的中间帧图像及基帧图像间的变化，按小区域单位生成运动信息，

输出合成图像的上述步骤中，对于上述第二动态图像，根据上述运动信息来确定与上述中间帧图像中的各小区域对应的上述基帧图像中的各坐标位置，确定与上述各坐标位置对应的上述第一动态图像的基帧图像的各小区域，复制上述第一动态图像的基帧图像的各小区域的像素值作为上述合成图像的各小区域，从而生成上述合成图像，并且通过将上述合成图像插入到构成上述第一动态图像的连续2张图像之间，从而生成上述合成动态图像。

Images