CN103650486B - 摄像装置和图像生成方法 - Google Patents

Abstract

摄像装置包含摄像元件（120）、拍摄控制部（130）、图像变换部（140）、估计运算部和像素值变换部。拍摄控制部（130）按照比像素间距小的移动量依次移动摄像元件（130）中的被摄体像的位置，并取得拍摄图像。图像变换部（140）根据拍摄图像中的多个颜色的像素值，求出亮度值和色差值，并输出由所求出的亮度值构成的亮度图像、和由所求出的色差值构成的色差图像。估计运算部根据亮度图像求出高分辨率图像的各像素的估计亮度值，并根据色差图像求出高分辨率图像的各像素的估计色差值。像素值变换部将估计亮度值和估计色差值变换为高分辨率图像的各像素的RGB的像素值。

Description

摄像装置和图像生成方法

技术领域

本发明涉及摄像装置以及图像生成方法等。

背景技术

作为将拍摄图像设为比拍摄时的分辨率高的分辨率的、所谓的高分辨率化的方法，有像素移动的方法（例如专利文献1）。在该方法中，使摄像元件机械地依次移动，在各移动时进行拍摄动作。并且，利用所拍摄的多个图像合成高分辨率图像（例如专利文献2、3）。

现有技术文献

专利文献

专利文献1：日本特开2009-115074号公报

专利文献2：日本特开2009-124621号公报

专利文献3：日本特开2008-243037号公报

发明内容

发明所要解决的课题

但是，当使用彩色摄像元件进行像素移动时，具有在高分辨率图像中难以高精度地估计颜色的课题。在例如拜尔摄像元件所具备的R（红）、G（绿）、B（蓝）像素中的R像素的情况下，当存在未通过R像素的移动而被覆盖的被摄体区域时，在该区域中不能得到R色的信息，因此R色的估计精度恶化。

根据本发明的几个方式，能够提供一种可在高分辨率化处理中提高颜色的估计精度的摄像装置以及图像生成方法等。

用于解决课题的手段

本发明的一个方式涉及摄像装置，其包含：摄像元件，其排列有多个颜色的像素；拍摄控制部，其进行如下控制：按照比所述摄像元件的像素间距小的移动量依次移动所述摄像元件中的被摄体像的位置，并取得拍摄图像；图像变换部，其根据所取得的所述拍摄图像中的所述多个颜色的像素的像素值，求出亮度值和色差值，并输出由所求出的所述亮度值构成的亮度图像、和由所求出的所述色差值构成的色差图像；估计运算部，其根据所述亮度图像，求出分辨率比基于所述摄像元件的所述像素间距的分辨率高的高分辨率图像的各像素的估计亮度值，并根据所述色差图像，求出所述高分辨率图像的各像素的估计色差值；以及像素值变换部，其将所述估计亮度值和所述估计色差值变换为所述高分辨率图像的各像素的RGB像素值。

根据本发明的一个方式，按比像素间距小的移动量依次移动像素并进行拍摄，并根据拍摄图像求出亮度图像和色差图像。根据该亮度图像、色差图像求出高分辨率图像的各像素的估计亮度值、估计色差值，并将该估计亮度值和估计色差值变换为RGB像素值。由此，能够在高分辨率化处理中提高颜色的估计精度。

并且在本发明的一个方式中，构成所述摄像元件的像素排列的基本块可以具有作为所述多个颜色的第1～第k颜色（k是2以上（包含该值）的自然数）的像素，所述图像变换部设定由基于所述拍摄图像的所述第1～第k颜色的像素值构成的变换单位，并将所述变换单位所包含的所述像素值变换为所述亮度值和所述色差值，所述估计运算部根据通过所述移动得到的多个所述亮度图像求出所述估计亮度值，并根据通过所述移动得到的多个所述色差图像求出所述估计色差值。

并且在本发明的一个方式中，所述像素排列可以是以由R像素、B像素和两个G像素构成的2×2像素为所述基本块的拜尔排列，所述图像变换部设定由所述拍摄图像的2×2像素构成的所述变换单位，并将所设定的所述变换单位的R、G、B像素值变换为所述亮度值和所述色差值。

并且在本发明的一个方式中，所述图像变换部可以设定使所述变换单位的2×2像素的位置在水平方向或垂直方向上每次1个像素地依次移动后的多个变换单位。

并且在本发明的一个方式中，所述像素排列可以是以由R像素、B像素和两个G像素构成的2×2像素为所述基本块的拜尔排列，所述图像变换部通过插值求出所述拍摄图像的各像素的R、G、B像素值，将所述各像素的R、G、B像素值设定为所述变换单位，并将所设定的所述变换单位的R、G、B像素值变换为所述亮度值和所述色差值。

并且在本发明的一个方式中，所述像素排列可以是以由R像素、B像素和两个G像素构成的2×2像素为所述基本块的拜尔排列，所述图像变换部通过插值求出所述拍摄图像的各像素中的R、G、B像素值，设定由所述拍摄图像的2×2像素构成的所述变换单位，求出所述变换单位的4个R像素值的相加值、所述变换单位的4个G像素值的相加值和所述变换单位的4个B像素值的相加值，并将所求出的所述R、G、B像素值的相加值变换为所述亮度值和所述色差值。

并且在本发明的一个方式中，在将所述像素间距设为p、水平方向和垂直方向上的所述移动量设为p/m（m是2以上（包含该值）的自然数）的情况下，所述拍摄控制部可以进行以n次移动一轮的第1～第n移动（n是2以上（包含该值）的自然数），作为所述移动，所述估计运算部接收与所述第1～第n移动对应的第1～第n亮度图像或第1～第n色差图像作为第1～第n输入图像，并根据所述第1～第n输入图像，求出所述估计亮度值或所述估计色差值作为估计像素值，所述第1～第n输入图像的像素是与所述高分辨率图像中的m×m像素对应的像素，是将所述高分辨率图像上的位置与所述移动量p/m的移动对应地依次进行像素移动后的像素。

并且在本发明的一个方式中，所述拍摄控制部可以进行在基准位置设定的第1移动、从所述基准位置起在水平方向上以移动量p/2移动的第2移动、从所述基准位置起在水平方向和垂直方向上以移动量p/2移动的第3移动、和从所述基准位置起在垂直方向上以移动量p/2移动的第4移动，所述估计运算部根据与所述第1～第4移动对应的第1～第4输入图像，求出所述拍摄图像的2×2倍像素数的所述估计像素值。

并且在本发明的一个方式中，所述拍摄控制部可以进行在基准位置设定的第1移动、和从所述基准位置起在水平方向和垂直方向上以移动量p/2移动的第2移动，所述估计运算部根据所述第1输入图像、所述第2输入图像，通过插值求出与从所述基准位置起在水平方向上的移动量p/2的移动对应的第1插值图像、和与从所述基准位置起在垂直方向上的移动量p/2的移动对应的第2插值图像，根据所述第1输入图像、所述第2输入图像和所述第1插值图像、所述第2插值图像，求出所述拍摄图像的2×2倍像素数的所述估计像素值。

并且在本发明的一个方式中，将由所述高分辨率图像的多个像素构成的范围设为相加单位，将与第1相加单位、第2相加单位对应的像素值设为第1像素值、第2像素值，在所述第1相加单位、所述第2相加单位重叠的情况下，可以向所述估计运算部输入所述亮度图像或所述色差图像作为输入图像，所述第1像素值、所述第2像素值是所述输入图像的像素值、或通过基于所述输入图像的插值而得到的像素值，所述估计运算部求出所述第1像素值与所述第2像素值的差分值，并根据所述差分值求出所述估计亮度值或所述估计色差值作为估计像素值。

并且在本发明的一个方式中，所述估计运算部使用所述差分值表示第1中间像素值与第2中间像素值的关系式，所述第1中间像素值与从所述第1相加单位中去除重叠区域后的第1区域的相加像素值对应，所述第2中间像素值与从所述第2相加单位中去除所述重叠区域后的第2区域的相加像素值对应，使用所述关系式估计所述第1中间像素值、所述第2中间像素值，使用估计出的所述第1中间像素值求出所述估计像素值。

并且在本发明的一个方式中，所述估计运算部在将包含所述第1中间像素值、所述第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，使用所述第1像素值、所述第2像素值表示所述中间像素值模式所包含的中间像素值之间的关系式，对用所述中间像素值之间的关系式表示的所述中间像素值模式和第1像素值、第2像素值进行比较来评价相似性，并根据所述相似性的评价结果，以使得所述相似性最高的方式确定所述中间像素值模式所包含的中间像素值。

并且本发明的另一方式涉及图像生成方法，取得拍摄图像，所述拍摄图像通过以比排列有多个颜色的像素的摄像元件的像素间距小的移动量依次移动所述摄像元件中的被摄体像的位置而得到，根据所述拍摄图像中的所述多个颜色的像素值，求出亮度值和色差值，并输出由所求出的所述亮度值构成的亮度图像、和由所求出的所述色差值构成的色差图像，根据所述亮度图像，求出分辨率比基于所述像素间距的分辨率高的高分辨率图像的各像素中的估计亮度值，并根据所述色差图像，求出所述高分辨率图像的各像素中的估计色差值，将所述估计亮度值和所述估计色差值变换为所述高分辨率图像的各像素的RGB像素值。

附图说明

图1是本实施方式的比较例。

图2是关于第1估计方法中的像素移动的说明图。

图3是关于第1估计方法中的向YCrCb的变换方法的说明图。

图4是关于第1估计方法中的向YCrCb的变换方法的说明图。

图5是关于第1估计方法中的向YCrCb的变换方法的说明图。

图6是关于第1估计方法中的向YCrCb的变换方法的说明图。

图7（A）～图7（D）是在水平或垂直方向上移动1/2像素后的亮度值的例子。

图8是关于从YCrCb向RGB的变换方法的说明图。

图9是本实施方式的摄像装置的结构例。

图10是关于第2估计方法中的向YCrCb的变换方法的说明图。

图11是关于第2估计方法中的向YCrCb的变换方法的说明图。

图12是关于对YCrCb进行高分辨率化的估计处理的说明图。

图13是关于第2估计方法的变形例中的向YCrCb的变换方法的说明图。

图14是关于第2估计方法的变形例中的向YCrCb的变换方法的说明图。

图15是关于第2估计方法的变形例中的向YCrCb的变换方法的说明图。

图16是关于第3估计方法中的像素移动的说明图。

图17是关于第3估计方法中的向YCrCb的变换方法的说明图。

图18是超分辨率像素值复原估计部的详细结构例。

图19（A）、图19（B）是估计像素值和中间像素值的说明图。

图20（A）、图20（B）是关于第2高分辨率化估计处理中的像素移动的说明图。

图21是关于在第2高分辨率化估计处理中使用的像素值的说明图。

图22是关于第2高分辨率化估计处理中的中间像素值的说明图。

图23是关于第2高分辨率化估计处理中的中间像素值的计算处理的说明图。

图24是关于第2高分辨率化估计处理中的中间像素值的计算处理的说明图。

图25是关于在第2高分辨率化估计处理中用于估计像素值的计算的中间像素值的说明图。

图26是关于第2高分辨率化估计处理中的估计像素值的说明图。

图27是关于第2高分辨率化估计处理中的估计像素值的计算处理的说明图。

图28是关于第2高分辨率化估计处理中的估计像素值的计算处理的说明图。

图29（A）、图29（B）是关于第3高分辨率化估计处理中的像素移动的说明图。

图30是关于在第3高分辨率化估计处理中使用的像素值的说明图。

图31是关于第3高分辨率化估计处理中的中间像素值的说明图。

图32是关于第3高分辨率化估计处理中的中间像素值的计算处理的说明图。

图33是关于第3高分辨率化估计处理中的中间像素值的计算处理的说明图。

图34是关于在第3高分辨率化估计处理中用于估计像素值的计算的中间像素值的说明图。

图35是关于第3高分辨率化估计处理中的估计像素值的说明图。

图36是关于第3高分辨率化估计处理中的估计像素值的计算处理的说明图。

图37是关于第3高分辨率化估计处理中的估计像素值的计算处理的说明图。

具体实施方式

以下，针对本发明的优选实施方式进行具体说明。另外，以下说明的本实施方式不对权利要求所记载的本发明内容做出不当限定，在本实施方式中说明的所有结构作为本发明的解決手段不一定是必需的。

1.本实施方式的概要

首先，对本实施方式的概要进行说明。在本实施方式中，如之后在图2中将叙述那样，使被摄体像与摄像元件之间的位置关系机械地移动，使用通过该移动得到的多个图像，估计比拍摄图像高分辨率的图像。

作为估计高分辨率图像的方法，在例如专利文献2中公开了如下方法：通过对利用像素移动得到的多个低分辨率图像进行合成，假定高分辨率图像，对该所假定的高分辨率图像实施超分辨率处理，估计似然度高的高分辨率图像。

但是，在该方法中采用通过多次使用二维滤波器的重复运算来提高估计精度的一般超分辨率处理（例如ML法、MAP法、POCS法、IBP法等）。因此，具有如下课题：即处理的规模非常大，难以应用于例如数字照相机等存在处理性能或成本限制的设备。

并且在专利文献3中，将构成希望求出的高分辨率图像的虚拟像素设为副像素，并估计副像素的像素值，使该副像素的平均值与所拍摄的低分辨率图像的像素值一致。在该像素值的估计中，设定多个副像素的初始值，从低分辨率图像的像素值中减去去除了希望计算的副像素之后的副像素的像素值来求出像素值，并依次针对相邻的像素应用该像素值。

但是，在该方法中，当从摄影图像中没有发现适合初始值设定的部分时，具有初始值的确定不够准确、估计误差变得非常大这样的课题。另外，需要搜索适合初始值设定的部分的处理。

因此，在本实施方式中，如之后将在图19（A）中叙述那样，使用拍摄图像的像素值，用关系式表示估计像素值，以该关系式与像素值的误差变为最小的方式确定估计像素值。估计像素值是想求出的高分辨率图像的像素值。

由此，不需要通常的超分辨率处理和初始值的搜索等，能够以简单的处理根据移动图像估计高分辨率图像。此外，由于事后能够根据动态图像得到高分辨率图像，因此能够指定用户喜好的时机，能够容易地得到决定瞬间的图像。

另外，图1示出本实施方式的比较例。如图1所示，以拜尔（Bayer）排列的R像素v₀₀、v₄₀为例，设为直接使用通过最小的像素移动得到的R图像进行了本实施方式的估计处理。像素v₀₀通过估计被高分辨率化为2×2像素v’₀₀、v’₁₀、v’₁₁、v’₀₁。在移动1/2像素间距的情况下，所移动的像素v₁₀、v₁₁、v₀₁相当于高分辨率图像的3×3像素。到相邻的R像素v₄₀为止有4个像素，因此产生不能得到R色的信息的区域（例如v’₃₀）。该区域通过利用周边的R像素进行插值而求出。

由此，当直接使用拜尔图像进行本实施方式的估计处理时，在估计后的高分辨率图像中需要进行插值，因此颜色成分的估计精度变差，存在产生例如假色等的问题。

因此，在本实施方式中，如在图3等中说明那样，取得使拜尔图像水平或垂直地重叠移动1/2像素后的4张图像，在该各图像中，根据拜尔图像生成亮度图像、色差图像。对所生成的4张亮度图像应用复原估计处理，对拜尔图像的4倍分辨率的亮度图像进行复原估计。在色差图像中也同样如此。并且，将复原估计出的图像的Y、Cr、Cb值逆变换为R、G、B，从而求出高分辨率的RGB图像。

由此，关于高分辨率图像的各像素估计Y、Cr、Cb值，因此能够在不进行插值的情况下求出颜色成分。由此，能够提高RGB像素值的估计精度，能够抑制假色的产生等。

2.第1估计方法

对在相邻的4个像素单位中求出YCrCb的3值的第1估计方法进行说明。首先，采用图2说明像素移动。

如图2所示，在第1帧fx～第4帧fx＋3（x为自然数）中，依次进行像素移动。像素移动通过使被摄体像与摄像元件之间的相对位置机械地错开来进行。当设摄像元件的像素间距为p时，移动量为p/2，移动在水平方向和垂直方向上进行。水平方向是指例如沿着摄像元件的水平扫描方向的方向，垂直方向是指例如沿着摄像元件的垂直扫描方向的方向。

接着使用图3，对从RGB变换成YCrCb的方法进行说明。在图3中，v_ij表示R（红）、Gr（绿）、Gb（绿）、B（蓝）中的任意一个像素（或像素值）。此外，v’_ij假想地表示构成像素v_ij的2×2像素的超分辨率像素（或超分辨率像素值）。

如图3所示，将用正方形的粗线框分组的接近的｛R、Gr、Gb、B｝这4个像素设为处理单位a_ij，进行从该处理单位内的像素值向亮度值Y（a_ij）、色差值Cr（a_ij）、Cb（a_ij）的变换。利用下式（1）计算Y（a_ij）、Cr（a_ij）、Cb（a_ij）。

Y(a_ij)＝α_y·R(a_ij)+β_y·[Gr(a_ij)+Gb(a_ij)]/2+γ_y·B(a_ij)

Cr(a_ij)=α_r·R(a_ij)+β_r·[Gr(a_ij)+Gb(a_ij)]/2+γ_r·B(a_ij)(1)

Cb(a_ij)=α_b·R(a_ij)+β_b·[Gr(a_ij)+Gb(a_ij)/2+γ_b·B(a_ij)

此处，｛α_y，β_y，γ_y｝、｛α_r，β_r，γ_r｝、｛α_b，β_b，γ_b｝是用于变换的系数，例如采用一般公知的RGB和YCbCr的变换系数即可。此外、R（a_ij）、Gr（a_ij）、Gb（a_ij）、B（a_ij）表示与构成处理单位a_ij的各色对应的像素值｛v_ij｝。

将从第1帧fx的拍摄图像得到的由亮度值Y（a_ij）构成的图像设为第1亮度Y图像，由色差值Cr（a_ij）构成的图像设为第1色差Cr图像，由色差值Cb（a_ij）构成的图像设为第1色差Cb图像。将这些亮度图像、色差图像作为1组图像进行处理。

如图4～图6所示，将从第2～第4帧fx＋1～fx＋3的拍摄图像得到的由亮度值Y（a_ij）构成的图像设为第2～第4亮度Y图像，由色差值Cr（a_ij）构成的图像设为第2～第4色差Cr图像，由色差值Cb（a_ij）构成的图像设为第2～第4色差Cb图像。

接着，对根据所得到的亮度图像、色差图像估计高分辨率图像的方法进行说明。如图7（A）～（D）所示，求出在水平或垂直方向上移动1/2像素后的亮度值Y（a_ij）。

将所得到的亮度值Y（a_ij）视作是假想的超分辨率像素v’_ij的重叠移动4像素相加值。对该亮度值Y（a_ij）应用在图19（A）等中将后述的估计处理，求出原来像素v_ij的1/2的像素尺寸的亮度值Y（v’_ij）作为估计值。例如，将亮度值Y（a₀₀）、Y（a₁₀）、Y（a₀₁）、Y（a₁₁）设为图19（A）所示的a₀₀、a₁₀、a₀₁、a₁₁来应用估计处理。将亮度值Y（a₀₀）视作高分辨率图像的亮度值Y（v’₀₀）、Y（v’₁₀）、Y（v’₀₁）、Y（v’₁₁）的相加值。此处，还可以对亮度值Y（a_ij）应用在图20（A）等中将后述的第2高分辨率化估计处理、或在图29（A）等中将后述的第3高分辨率化估计处理。该情况下，以比摄像元件的像素开口的宽度d小的任意的移动量s进行像素移动，与该移动量s对应地，求出原来的像素v_ij的s/p的像素尺寸的亮度值Y（v’_ij）作为估计值。

另外，关于色差值Cr（a_ij）、Cb（a_ij），虽然未图示，但也同样地应用估计处理，求出超分辨率像素v’_ij的色差值Cr（v’_ij）、Cb（v’_ij）。

如图8所示，作为估计处理的结果，对超分辨率像素｛v’_ij｝的各像素求出亮度值Y（v’_ij）、色差值Cr（v’_ij）、色差值Cb（v’_ij）这3个值。如下式（2）所示，通过将这些YCrCb值逆变换为RGB值，最终计算出超分辨率像素｛v’_ij｝的各像素中的3原色值R（v’_ij）、G（v’_ij）、B（v’_ij）。

R(v′_ij)=α′_y·Y(v′_ij)+β′_y·Cr(v′_ij)+r′_y·Cb(v′_ij)

G(v′_ij)＝α′_r·Y(v′_ij)+β′_r·Cr(v′_ij)+γ′_r·Cb(v′_ij)(2)

B(v′_ij)=α′_b·Y(v′_ij)+β′_b·Cr(v′_ij)+γ′_b·Cb(v′_ij)

此处，｛α’_y，β’_y，γ’_y｝、｛α’_r，β’_r，γ’_r｝、｛α’_b，β’_b，γ’_b｝是用于变换的系数，例如采用一般公知的YCbCr和RGB的变换系数即可。

3.摄像装置

图9示出本实施方式的进行估计处理的摄像装置的结构例。摄像装置包含镜头110（摄影光学系统）、摄像元件120（摄像传感器）、拍摄控制部130、图像变换部140、数据记录部150、超分辨率像素值复原估计部160（估计运算部）、亮度色差值RGB值变换部170（像素值变换部）和RGB三板图像输出部180（图像输出部）。

镜头110使被摄体100成像。摄像元件120拍摄所形成的被摄体像。摄像元件120例如由CCD或CMOS图像传感器构成。

拍摄控制部130进行像素移动的控制和拍摄动作。具体而言，拍摄控制部130包含像素移动驱动控制部131和重叠移动图像生成部132（图像取得部）。像素移动驱动控制部131控制使摄像元件120或镜头110的位置移动的驱动，进行像素移动。重叠移动图像生成部132在各移动中，从摄像元件120读出图像，从而取得RGB的拜尔图像。重叠移动图像生成部132例如由未图示的A/D变换部等构成。

图像变换部140进行将RGB值变换为YCrCb值的处理。具体而言，图像变换部140包含相邻异色像素提取部141、亮度图像生成部142和色差图像生成部143。相邻异色像素提取部141提取变换为YCrCb值的RGB值的组合（变换单位）R（a_ij）、Gr（a_ij）、Gb（a_ij）、B（a_ij）。亮度图像生成部142将提取出的RGB值变换为亮度值Y（a_ij）。色差图像生成部143将提取出的RGB值变换为色差值Cr（a_ij）、Cb（a_ij）。

数据记录部150记录通过变换得到的亮度图像、色差图像。例如数据记录部150可以是内置于摄像装置的存储器等，也可以是摄像装置外部的存储器或硬盘驱动器等。

超分辨率像素值复原估计部160根据所记录的亮度图像、色差图像，估计高分辨率图像的亮度值Y（v’_ij）、色差值Cr（v’_ij）、Cb（v’_ij）。亮度色差值RGB值变换部170将估计出的Y（v’_ij）、Cr（v’_ij）、Cb（v’_ij）变换为像素值R（v’_ij）、G（v’_ij）、B（v’_ij）。RGB三板图像输出部180根据得到的RGB的高分辨率图像输出静态图像和动态图像。例如，RGB三板图像输出部180输出由用户指定的时机的高分辨率静态图像。或者，可以在各帧处生成高分辨率图像，并输出高分辨率动态图像。

另外，在上述说明中，以滤色片是RGB的拜尔排列的情况为例进行了说明，但本实施方式不限于此。例如，滤色片可以是CMY等的互补色滤色片，也可以是拜尔排列以外的排列。并且在上述说明中，以将拜尔排列的2×2像素的RGB变换为YCrCb的情况为例进行了说明，但本实施方式不限于此。例如在最小的排列单位不是2×2像素的情况下，可以从该排列单位内的颜色变换为YCrCb。并且在上述说明中，以像素移动的移动量为p/2的情况为例进行了说明，但本实施方式不限于此。例如，移动量也可以是p/m（m是2以上（包含该值）的自然数）。

这里，本实施方式不限于图9的结构，可进行省略其构成要素的一部分或者追加其他构成要素等各种变形实施。例如，可以将图像变换部140、超分辨率像素值复原估计部160、亮度色差值RGB值变换部170构成为PC等的图像处理装置。该情况下，在拍摄结束后图像处理装置取得通过另外的摄像装置记录的移动图像并进行高分辨率化。

根据以上的实施方式，如图9所示，摄像装置包含摄像元件120、拍摄控制部130、图像变换部140、估计运算部（超分辨率像素值复原估计部160）和像素值变换部（亮度色差值RGB值变换部170）。

摄像元件120中排列有多个颜色的像素。如在图2中说明那样，拍摄控制部130进行如下控制：按比摄像元件120的像素间距p小的移动量p/2依次移动摄像元件120中的被摄体像的位置，并取得拍摄图像。如在图3等中说明那样，图像变换部140根据所取得的拍摄图像中的多个颜色的像素的像素值v_ij求出亮度值Y（a_ij）和色差值Cr（a_ij）、Cb（a_ij），并输出由所求出的亮度值Y（a_ij）构成的亮度图像、和由所求出的色差值Cr（a_ij）、Cb（a_ij）构成的色差图像。

如在图8中说明那样，估计运算部根据该亮度图像，求出分辨率比基于摄像元件120的像素间距p的分辨率高的高分辨率图像的各像素中的估计亮度值Y（v’_ij），并根据色差图像求出高分辨率图像的各像素中的估计色差值Cr（v’_ij）、Cb（v’_ij）。像素值变换部将估计亮度值Y（v’_ij）和估计色差值Cr（v’_ij）、Cb（v’_ij）变换为高分辨率图像的各像素中的RGB的像素值R（v’_ij）、G（v’_ij）、B（v’_ij）。

由此，能够在高分辨率化处理中提高颜色的估计精度。即，如图8所示，能够求出高分辨率图像的各像素中的估计亮度值Y（v’_ij）和估计色差值Cr（v’_ij）、Cb（v’_ij），因此能够对高分辨率图像的所有像素估计RGB值。由此，根据估计值进一步进行插值等从而画质不会劣化，能够提高画质。

此处，分辨率比基于像素间距p的分辨率高是指在相同的拍摄范围（拍摄图像整体或一部分）内像素数比原来的像素数多。例如在对数字变焦的图像进行高分辨率化的情况下，该变焦区域的像素数通过高分辨率化而增加。

并且在本实施方式中，构成摄像元件120的像素排列的基本块包含作为多个颜色的第1～第k颜色（k是2以上（包含该值）的自然数）的像素。如在图3等中说明那样，图像变换部140设定由基于拍摄图像的第1～第k颜色的像素值构成的变换单位，并将该变换单位所包含的像素值变换为亮度值Y（a_ij）和色差值Cr（a_ij）、Cb（a_ij）。如在图7（A）等中说明那样，估计运算部根据通过移动得到的多个亮度图像求出估计亮度值Y（v’_ij），并根据通过移动得到的多个色差图像求出估计色差值Cr（v’_ij）、Cb（v’_ij）。

由此，能够通过将构成各变换单位的第1～第k颜色的像素值变换为亮度值和色差值，将拍摄图像变换为亮度图像和色差图像。此外，根据依次移动的拍摄图像求出依次移动的多个亮度图像、多个色差图像，能够通过这些图像对亮度图像、色差图像进行高分辨率化。

此处，基本块是指像素排列中的重复排列的最小构成单位。此外，变换单位是变换为YCrCb的像素值的组合。此外，基于拍摄图像的像素值可以是构成拍摄图像的像素值本身，也可以是通过插值等根据构成拍摄图像的像素值而求出的像素值。

并且在本实施方式中，如图2所示，像素排列是以由R像素、B像素和两个G像素（k＝4）构成的2×2像素为基本块的拜尔排列。如在图3等中说明那样，图像变换部140设定由拍摄图像的2×2像素（例如v₀₀、v₂₀、v₀₂、v₂₂）构成的变换单位a₀₀，并将所设定的变换单位a₀₀的R、G、B像素值R（a₀₀）、Gr（a₀₀）、Gb（a₀₀）、B（a₀₀）变换为亮度值Y（a₀₀）和色差值Cr（a₀₀）、Cb（a₀₀）。

更具体而言，如图3所示，图像变换部140设定使变换单位的2×2像素的位置（i，j）在水平方向或垂直方向上每次1个像素地依次移动后的多个变换单位a_ij。

由此，通过构成拜尔图像的像素值构成变换单位，能够将RGB拜尔图像变换为YCrCb图像。此外，能够通过设定每次1个像素地移动后的多个变换单位，得到与拍摄图像相同像素数的YCrCb图像，因此在进行了高分辨率化时能够对所有像素估计YCrCb值。

并且在本实施方式中，如图2所示，将像素间距设为p、水平方向和垂直方向上的移动量设为p/m（m是2以上（包含该值）的自然数）。该情况下，拍摄控制部130进行以n次移动一轮的第1～第n移动（n是2以上（包含该值）的自然数）。如在图8等中说明那样，估计运算部接收与该第1～第n移动对应的第1～第n亮度图像Y（a_ij）或第1～第n色差图像Cr（a_ij）（或Cb（a_ij））作为第1～第n输入图像，并根据该第1～第n输入图像，求出估计亮度值Y（v’_ij）或估计色差值Cr（v’_ij）（或Cb（v’_ij））作为估计像素值。如图3～图6所示，第1～第n输入图像的像素是与高分辨率图像中的m×m像素对应的像素，是将高分辨率图像上的位置（i，j）与移动量p/m的移动对应地依次进行像素移动后的像素（例如Y（a₀₀）、Y（a₁₀）、Y（a₁₁）、Y（a₀₁））。

更具体而言，如在图2中说明那样，拍摄控制部130进行在基准位置设定的第1移动（帧fx）、从基准位置起在水平方向上以移动量p/2移动的第2移动（fx＋1）、从所述基准位置起在水平方向和垂直方向上以移动量p/2移动的第3移动（fx＋2）、和从所述基准位置起在垂直方向上以移动量p/2移动的第4移动（fx＋3）（m＝2、n＝4）。估计运算部根据与第1～第4移动对应的第1～第4输入图像，求出拍摄图像的2×2倍像素数的估计像素值。

由此，能够通过使用移动1轮的图像，进行移动图像的高分辨率化。此外，能够与移动量p/m对应地，进行将像素数设为m×m倍的高分辨率化。

另外，估计像素值可以如上述第1估计方法那样仅根据第1～第n输入图像进行估计，也可以如后述的第3估计方法那样进一步增加根据输入图像求出的插值图像等的其他图像进行估计。

4.第2估计方法

说明对拜尔图像进行插值而求出各像素的RGB、并以1个像素单位将RGB变换为YCrCb的第2估计方法。

如图10所示，在通过1/2像素移动而得到的4张拜尔彩色图像中，分别通过拜尔插值求出未检测像素值，从而生成完备的R、G、B图像。如下式（3）所示，将构成所生成的R、G、B图像中的同一像素v_ij的｛R（v_ij）、G（v_ij）、B（v_ij）｝变换为像素v_ij的｛Y（v_ij）、Cr（v_ij）、Cb（v_ij）｝。

Y(v_ij)＝α_y·R(v_ij)+β_y·G(v_ij)+γ_y·B(v_ij)

Cr(v_ij)=α_r·R(v_ij)+β_r·G(v_ij)+γ_r·B(v_ij)(3)

Cb(v_ij)=α_b.R(v_ij)+β_b.G(v_ij)+γ_b.B(v_ij)

如图11所示，能够得到将各像素v_ij的Y（v_ij）水平或垂直地移动1/2像素后的4张图像。关于Cr（v_ij）、Cb（v_ij），也分别能够得到4张图像。

如图12所示，将所得到的亮度值Y（v_ij）视作是假想的超分辨率像素v’_ij的重叠移动4像素相加值（图19（A）的｛a_ij｝），进行估计处理。通过该估计处理，求出作为原来像素v_ij的1/2像素尺寸的亮度值的像素值Y（v’_ij）作为估计值。如果对色差值也应用同样的方法，则能够求出超分辨率像素v’_ij的色差值Cr（v’_ij）、Cb（v’_ij）。

通过上式（2）对这样求出的假想的超分辨率像素v’_ij的｛Y（v’_ij）、Cr（v’_ij）、Cb（v’_ij）｝进行逆变换，求出所有假想的超分辨率图像的构成像素值v’_ij的R、G、B的值，从而得到高分辨率图像。

根据以上的实施方式，如在图10中说明那样，图像变换部140通过插值求出拍摄图像的各像素v_ij中的R、G、B像素值R（v_ij）、G（v_ij）、B（v_ij），并将该各像素v_ij中的R、G、B像素值设定为变换单位。如在图11中说明那样，图像变换部140将所设定的变换单位的R、G、B像素值变换为亮度值Y（v_ij）和色差值Cr（v_ij）、Cb（v_ij）。

由此，通过对拜尔图像进行插值而求出的RGB像素值的像素单位构成变换单位，能够将RGB拜尔图像变换为YCrCb图像。例如，根据对R像素值进行拜尔插值后的R图像估计R高分辨率图像。例如设为图1的v₀₀是插值像素时，通过移动而得到的v₁₀、v₀₁、v₁₁也是插值像素。于是，估计像素v’₀₀等仅根据插值像素估计，从而估计精度变差。在该点上，根据本实施方式，如图10所示，在变换单位（例如v₀₀）中至少包含1个检测值（G（v₀₀））、即不是插值值的像素值，将包含该检测值的RGB变换为YCrCb，因此例如相比上述直接进行R估计的情况，认为能够提高估计精度。

5.第2估计方法的变形例

说明对拜尔图像进行插值而求出各像素的RGB、并以4个像素为单位将RGB变换为YCrCb的第2估计方法。

如图13所示，对R像素值进行拜尔插值，求出其插值值。在图13中，用具有阴影的实线方形表示检测像素（例如R2（a₀₀）），用没有阴影的实线方形表示插值像素（例如R1（a₀₀））。如下式（4）所示，根据接近的4个像素的像素值｛R1（a_ij）、R2（a_ij）、R3（a_ij）、R4（a_ij）｝求出4像素相加值R（a_ij）。

R(a_ij)=R1(a_ij)+R2(a_ij)+R₃(a_ij)+R4(a_ij)

G(a_ij)=G₁(a_ij)+C₂(a_ij)+G3(a_ij)+G4(a_ij)(4)

B(a_ij)=B1(a_ij)+B2(a_ij)+B3(a_ij)+B4(a_ij)

如图14所示，对G像素值进行拜尔插值，求出像素值｛G1（a_ij）、G2（a_ij）、G3（a_ij）、G4（a_ij）｝。如图15所示，对B像素值进行拜尔插值，求出像素值｛B1（a_ij）、B2（a_ij）、B3（a_ij）、B4（a_ij）｝。如上式（4）所示，根据这些值求出4像素相加值｛G（a_ij）、B（a_ij）｝。

如下式（5）所示，将同一位置（i，j）的4像素相加值的RGB成分｛R（a_ij）、G（a_ij）、B（a_ij）｝变换为4像素相加值a_ij的YCrCb成分｛Y（v_ij）、Cr（v_ij）、Cb（v_ij）｝。

Y(a_ij)＝α_y·R(a_ij)+β_y·G(a_ij)+γ_y·B(a_ij)

Cr(a_ij)=a_r·R(a_ij)+β_r·G(a_ij)+γ_r.B(a_ij)(5)

Cb(a_ij)＝α_b·R(a_ij)+β_b·G(a_ij)+γ_b·B(a_ij)

与上述同样地，分别关于重叠移动1/2像素后的4张拜尔彩色图像，求出像素值｛R（a_ij）、G（a_ij）、B（a_ij）｝，并求出｛Y（v_ij）、Cr（v_ij）、Cb（v_ij）｝。并且，在图12中通过上述方法，求出超分辨率像素v’_ij的R、G、B值。

根据以上的实施方式，如在图13等中说明那样，图像变换部140通过插值求出拍摄图像的各像素v_ij中的R、G、B像素值R1（a_ij）～R4（a_ij）、G1（a_ij）～G4（a_ij）、B1（a_ij）～B4（a_ij），并设定由拍摄图像的4个像素构成的变换单位。图像变换部140求出该变换单位的4个R像素值的相加值R（a_ij）、变换单位的4个G像素值的相加值R（a_ij）和变换单位的4个B像素值的相加值R（a_ij），并将所求出的R、G、B像素值的相加值变换为亮度值Y（v_ij）和色差值Cr（v_ij）、Cb（v_ij）。

更具体而言，图像变换部140设定使变换单位的2×2像素的位置（i，j）在水平方向或垂直方向上每次1个像素地依次移动后的多个变换单位a_ij。

由此，通过对拜尔图像进行插值而求出的RGB像素值的4像素相加值构成变换单位，能够将RGB拜尔图像变换为YCrCb图像。此外，R、G、B的各相加值中含有检测值（不是插值值的像素值），因此认为能够在变换单位的全部RGB中包含检测值的信息，能够改善高分辨率图像中的估计精度。

6.第3估计方法

在以上的实施方式中，说明了在水平方向或垂直方向上进行1/2像素移动，以4次移动一轮的情况，但在本实施方式中，也可以在倾斜方向上进行1/2像素移动，以两次移动一轮。

以下，说明在该倾斜方向上进行1/2像素移动的情况下的第3估计方法。如图16所示，按照每帧交替地进行1/2像素倾斜移动。具体而言，在第1帧fx中，取得基准位置处的图像作为第1图像。在第2帧fx＋1中，取得从基准位置起在水平方向上移动1/2像素且在垂直方向上移动1/2像素后的位置处的图像作为第2图像。之后，帧交替地生成第1、第2两种图像。

如图17所示，分别关于第1、第2图像，将RGB变换为YCrCb。向YCrCb的变换方法可以是上述方法中的任意一个。例如采取亮度图像为例时，第1亮度值Y（a₂₂）和第2亮度值Y（a₁₁）分别是从第1、第2图像的检测值导出的亮度值。亮度值Y（a₂₁）、Y（a₁₂）是没有从检测值直接导出的未检测亮度值。

如下式（6）所示，未检测亮度值Y（a₂₁）、Y（a₁₂）通过基于周围的亮度值的插值处理求出。此处，｛w₁、w₂、w₃、w₄｝是插值系数。插值系数以使得插值精度最高的方式预先进行设定。插值方法例如可以使用现有方法（双线性、双三次等），也可以独立设定最佳的插值系数。用于插值的检测值不限于接近的4个，当然也可以使用周边附近的更多模式的值。

Y(a₂₁)=W₁.Y(a₁₁)+W₂.Y(a₂₀)+W₃.Y(a₃₁)+W₄.Y(a_Z2)(6)

Y(a₁₂)=w₁.Y(a_D2)+W₂.Y(a₁₁)+W₃.Y(a₂₂)+W₄.Y(a₁₃)

关于色差值Cr、Cb，也利用同样的方法，根据周围的值通过插值求出未检测值。

通过以上方法，水平或垂直地重叠移动1/2像素后的4个亮度图像全部齐备。与上述第1估计方法同样地，根据该4个亮度图像估计超分辨率像素v’_ij的亮度值Y（v’_ij）。关于色差值Cr（v’_ij）、Cb（v’_ij）也同样地进行估计。将所得到的YCrCb值变换为RGB值，求出关于高分辨率图像的全部像素v’_ij的RGB像素值R（v’_ij）、G（v’_ij）、B（v’_ij）。

图18中示出进行上述第3估计方法的情况下的超分辨率像素值复原估计部160的详细结构例。超分辨率像素值复原估计部160包含插值部161和估计部162。

在本实施方式中，拍摄控制部130进行驱动在倾斜方向上移动的控制，取得上述第1、第2图像。图像变换部140将第1、第2图像变换为亮度值、色差值。数据记录部150对所得到的亮度值、色差值进行记录。插值部161进行基于所记录的亮度值、色差值的插值处理，求出未检测亮度值、未检测色差值。估计部162根据来自数据记录部150的亮度值、色差值，以及来自插值部161的未检测亮度值、未检测色差值，进行高分辨率化估计处理。

根据以上的实施方式，如在图16中说明那样，拍摄控制部130进行在基准位置设定的第1移动（帧fx）、和从基准位置起在水平方向和垂直方向上以移动量p/2移动的第2移动（fx＋1）（m＝2、n＝2）。如图17所示，估计运算部根据第1、第2输入图像（Y（a₂₂）、Y（a₁₁）），通过插值求出与从基准位置起在水平方向上的移动量p/2的移动对应的第1插值图像（例如像素为Y（a₁₂））、和与从基准位置起在垂直方向上的移动量p/2的移动对应的第2插值图像（Y（a₂₁））。根据该第1、第2输入图像和第1、第2插值图像，求出拍摄图像的2×2倍像素数的估计像素值。

由此，能够通过插值，根据移动1轮的图像，求出高分辨率化所需的图像，并使用这些图像进行高分辨率化。此外，与图2那样不进行插值的情况（4次）相比能够减少移动次数（两次），因此能够根据更短期间的图像进行高分辨率化，能够减轻运动物体的图像抖动等。

7.高分辨率化估计处理

接着，详细说明对YCrCb值进行高分辨率化的估计处理。另外以下以像素值｛a₀₀、a₁₀、a₁₁、a₀₁｝为例进行说明（i、j为0以上（包含该值）的整数），但关于其他像素值也同样如此。

图19（A）所示的像素值a_ij在图3～图6等中与上述亮度值Y（a_ij）、色差值Cr（a_ij）或者色差值Cb（a_ij）对应。或者，像素值a_ij在图11等中与上述亮度值Y（v_ij）、色差值Cr（v_ij）或者色差值Cb（v_ij）对应。像素值v’_ij在图8等中与上述亮度值Y（v’_ij）、色差值Cr（v’_ij）或者色差值Cb（v’_ij）对应。

如图19（B）所示，首先根据相加像素值a₀₀～a₁₁估计中间像素值b₀₀～b₂₁（中间估计像素值），并根据这些中间像素值b₀₀～b₂₁估计最终的像素值v’₀₀～v’₂₂。

采取水平方向的最初行的中间像素值b₀₀～b₂₀为例，对估计中间像素值的处理进行说明。中间像素值b₀₀～b₂₀根据水平方向的最初行的相加像素值a₀₀、a₁₀进行估计。像素值a₀₀、a₁₀用下式（7）表示。

a₀₀＝v’₀₀＋v’₀₁＋v’₁₀＋v’₁₁，

a₁₀＝v’₁₀＋v’₁₁＋v’₂₀＋v’₂₁（7）

如下式（8）所示那样定义中间像素值b₀₀、b₁₀、b₂₀。

b₀₀＝v’₀₀＋v’₀₁，

b₁₀＝v’₁₀＋v’₁₁，

b₂₀＝v’₂₀＋v’₂₁（8）

接着，当使用上式（8）对上式（7）进行变形时，下式（9）成立。

a₀₀＝b₀₀＋b₁₀，

a₁₀＝b₁₀＋b₂₀（9）

关于b₁₀、b₂₀解上式（9）时，下式（10）成立，将中间像素值b₁₀、b₂₀表示为以b₀₀为未知数（初始变量）的函数。

b₀₀＝（未知数），

b₁₀＝a₀₀－b₀₀，

b₂₀＝b₀₀＋δi₀＝b₀₀＋（a₁₀－a₀₀）（10）

接着，对像素值的模式｛a₀₀、a₁₀｝和中间像素值的模式｛b₀₀、b₁₀、b₂₀｝进行比较，求出其相似性最高情况下的未知数b₀₀。具体而言，求出下式（11）所示的评价函数Ej，导出使得该评价函数Ej最小的未知数b₀₀。将所得到的b₀₀的值代入到上式（10），求出中间像素值b₁₀、b₂₀。

$\begin{array}{c}{e}_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,\\ \mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}\end{array}---\left(11\right)$

然后，采取垂直方向的最初列为例，对使用中间像素值b_ij求出估计像素值v’_ij的方法进行说明。估计像素值v’_ij与求出中间像素值b_ij的方法同样地求出。即，如果将上式（9）置换为下式（12），则之后的处理相同。

b₀₀＝v’₀₀＋v’₀₁，

b₀₁＝v’₀₁＋v’₀₂（12）

根据以上的实施方式，如图13（A）所示，将由高分辨率图像的多个像素（例如2×2像素）构成的范围设为相加单位a_ij，将与第1、第2相加单位（例如a₀₀、a₁₀）对应的像素值设为第1、第2像素值（例如Y（a₀₀）、Y（a₁₀））。第1、第2相加单位a₀₀、a₁₀重叠（具有公共的像素v’₁₀、v’₁₁）。向估计运算部输入亮度图像或色差图像作为输入图像。第1、第2像素值是输入图像的像素值、或通过基于输入图像的插值而得到的像素值。如上式（10）所示，估计运算部求出第1像素值a₀₀与第2像素值a₁₀的差分值δi₀＝a₁₀－a₀₀，并根据该差分值，求出估计亮度值或估计色差值作为估计像素值v’_ij。

更具体而言，如图13（B）所示，第1中间像素值b₀₀是从相加单位a₀₀中去除重叠区域（v’₁₀、v’₁₁）后的第1区域（v’₀₀、v’₀₁）的相加像素值。第2中间像素值b₂₀是从相加单位a₁₀中去除重叠区域（v’₁₀、v’₁₁）后的第2区域（v’₂₀、v’₂₁）的相加像素值。如上式（10）所示，估计运算部使用差分值δi₀表示第1、第2中间像素值b₀₀、b₂₀的关系式，并使用该关系式估计第1、第2中间像素值b₀₀、b₂₀。使用估计出的第1中间像素值b₀₀求出相加单位所包含的各像素的像素值v’_ij。

由此，根据重叠移动后的相加单位的像素值暂时估计中间像素值，并根据该重叠移动后的中间像素值求出估计像素值，由此能够对高分辨率图像的估计处理进行简化。例如，不需要二维滤波器的重复运算（专利文献1）、或搜索适于初始值设定的部分（专利文献2）等复杂的处理。

并且在本实施方式中，将包含第1、第2中间像素值（例如b₀₀、b₂₀）的连续的中间像素值设为中间像素值模式（｛b₀₀、b₁₀、b₂₀｝）。如上式（10）所示，估计运算部使用第1、第2像素值a₀₀、a₁₀表示中间像素值模式所包含的中间像素值之间的关系式。估计运算部对用中间像素值之间的关系式表示的中间像素值模式和第1、第2像素值a₀₀、a₁₀进行比较来评价相似性。根据该相似性的评价结果，以使得相似性最高的方式确定中间像素值模式所包含的中间像素值b₀₀、b₁₀、b₂₀。

由此，能够根据通过在重叠相加单位的同时进行像素移动而取得的多个相加像素值估计中间像素值。

此处，中间像素值模式是指用于估计处理的范围内的中间像素值的数据列（数据组）。此外，相加像素值模式是指用于估计处理的范围内的相加像素值的数据列。

并且在本实施方式中，如上式（11）所示，估计运算部求出表示用中间像素值之间的关系式表示的中间像素值模式（｛b₀₀、b₁₀、b₂₀｝）与相加像素值（a₀₀、a₁₀）的误差的评价函数Ej。以使得评价函数Ej的值最小的方式确定中间像素值模式所包含的中间像素值b₀₀、b₁₀、b₂₀。

这样，利用评价函数来表示误差，并求出与该评价函数的极小值对应的中间像素值，由此可估计中间像素值的值。例如，如上所述地采用最小二乘法来求出未知数，由此能够以简单的处理来设定中间像素估计的初始值。例如不需要搜索适于初始值设定的图像部分（专利文献2）。

8.第2高分辨率化估计处理

接着，详细说明对YCrCb值进行高分辨率化的第2高分辨率化估计处理。另外以下为了简化图示，省略像素间距p的图示。

如图20（A）所示，摄像元件的受光面（传感器像素）、和在受光面形成的被摄体像以比摄像元件的像素开口的宽度d小的移动量s相对移动。在图2中，如上所述，该移动通过使摄像元件或成像镜头机械地移动来进行。例如，在移动量s＝2p/3的情况下，在水平方向和垂直方向上每次以移动量s进行3×3的移动，从而拍摄9张图像。并且，根据该9张图像中的、成为各偏离移动量s的关系的2×2的像素值（例如a₀₀、a₁₀、a₀₁、a₁₁），估计图20（B）所示的估计像素值v_ij（例如从a₀₀、a₁₀、a₀₁、a₁₁至v₀₀）。

如图20（B）所示，在每次偏离移动量s的同时进行该估计处理，依次求出高分辨率图像的像素值v_ij。例如，使用从图20（A）的像素值a₀₀、a₁₀、a₀₁、a₁₁起在水平方向偏离s后的像素值a₁₀、a₂₀、a₁₁、a₂₁，估计相对于图20（B）的v₀₀在水平方向上偏离移动量s后的v₁₀。由此，取得以比实际的像素间距p小的像素间距s拍摄那样的高分辨率图像。像素数成为原来的拍摄图像的（p/s）²倍。

另外，用于估计的2×2的像素值可以不是从同一像素得到的像素值。即，在图20（A）中，为了简化图示，仅图示了使摄像元件的1个像素进行3×3移动而得到的像素值，但实际上以像素间距p配置像素，从移动这些像素而得到的所有像素值中选择各偏离移动量s后的2×2的像素值。

如图21所示，采取根据像素值a₀₀、a₁₀、a₀₁、a₁₁对估计像素值v₀₀进行估计的情况为例进行说明。另外以下以在水平方向上高分辨率化后在垂直方向上进行高分辨率化的情况为例进行说明，但也可以在垂直方向上高分辨率化后在水平方向上高分辨率化。

如图22所示，对移动后的像素的重合部分和非重合部分，在水平方向上假定假想的中间像素值｛b₀₀、b₁₀、b₂₀｝。b₁₀与a₀₀和a₁₀的重合部分对应，b₀₀、b₂₀与a₀₀和a₁₀的非重合部分对应。此处，重合部分是指摄像元件的像素的开口重合的部分，具体而言，是像素的开口、与相对于该开口移动了移动量s后的开口重合的部分。此外，非重合部分是指摄像元件的像素的开口未重合的部分，具体而言，是像素的开口、与相对于该开口移动了移动量s后的开口未重合的部分。

能够将以任意的水平方向的移动量s通过重叠移动采样得到的像素值｛a₀₀、a₁₀｝视作中间像素值｛b₀₀、b₁₀、b₂₀｝中的相邻的像素值的相加值，检测像素值｛a₀₀、a₁₀｝用下式（13）表示。

a₀₀＝b₀₀＋b₁₀，

a₁₀＝b₁₀＋b₂₀（13）

能够将b₀₀设为未知数（支配变量），如下式（14）那样导出中间像素值｛b₀₀、b₁₀、b₂₀｝的关系式。

b₀₀＝（未知数），

b₁₀＝a₀₀－b₀₀，

b₂₀＝b₀₀＋（a₁₀－a₀₀）（14）

上式（14）所示的中间像素值｛b₀₀、b₁₀、b₂₀｝的关系（组合模式）存在多个，但说明以检测像素值｛a₀₀、a₁₀｝为线索从其中求出合理的组合模式的方法。

如图22所示，中间像素值｛b₀₀、b₁₀、b₂₀｝相对于拍摄图像，采样的开口大小不同。即，水平方向的开口宽度在b₀₀、b₂₀中为s，在b₁₀中为d－s。例如自然图像那样的被摄体的拍摄图像中，一般而言，在低频中频率成分较大，越变为高频，频率成分越降低。另一方面，在采样的开口较大的情况下可取得的拍摄图像的频率成分的低频成分增大且高频成分减小。反之，在采样的开口较小的情况下可取得的拍摄图像的频率成分的低频成分相对减小且高频成分进一步增大。因此，作为中间像素值｛b₀₀、b₁₀、b₂₀｝，平均而言（概率而言），认为可用较高的概率得到通过采样开口的大小进行加权后的值。即，在给出检测像素值｛a₀₀、a₁₀｝时，考虑中间像素值相对于摄像元件的像素的开口占有率，将权重系数c₁、c₂设为下式（15）。这里，0＜s＜d、0＜c₁＜1、0＜c₂＜1。

c₁＝b₀₀/a₀₀＝（s×d）/d²（＝b₂₀/a₁₀），

c₂＝b₁₀/a₀₀＝［（d－s）×d］/d²（15）

根据上式（15），可将中间像素值｛b₀₀、b₁₀、b₂₀｝的参考值（可用高概率期待的产生值）｛b₀₀’、b₁₀’、b₁₀”、b₂₀’｝认作下式（16）。另外，严格上说，可以将权重系数c₁、c₂认作中间像素值相对于检测像素值的感光度比率。该情况下，调查待使用的摄像元件的特性，预先求出权重系数c₁、c₂即可。

b₀₀’＝c₁·a₀₀，

b₁₀’＝c₂·a₀₀，b₁₀”＝c₂·a₁₀，

b₂₀’＝c₁·a₁₀（16）

如图23所示，对上式（14）所示的中间像素值｛b₀₀、b₁₀、b₂₀｝的组合模式、和上式（16）所示的参考值｛b₀₀’、b₁₀’、b₁₀”、b₂₀’｝进行比较，确定误差最小的中间像素值｛b₀₀、b₁₀、b₂₀｝作为合理的估计值。即，将上式（14）代入到下式（17）中来求出误差的评价函数e_b，确定该评价函数e_b可取最小的未知数b₀₀，并将所确定的b₀₀代入到上式（14）来求出中间像素值｛b₁₀、b₂₀｝。

e_b＝（b₀₀－b₀₀’）²＋（b₁₀－b₁₀’）²＋（b₁₀－b₁₀”）²＋（b₂₀－b₂₀’）²（17）

检测像素值｛a₀₀、a₁₀｝分别可取的值例如如0＜a₀₀＜N、0＜a₁₀＜N那样，通过待处理的量化位数预先确定。N是自然数，是检测像素值可取的最大值。中间像素值｛b₀₀、b₁₀、b₂₀｝也是零或正的值，因此当给出检测像素值｛a₀₀、a₁₀｝时，满足上式（14）的中间像素值｛b₀₀、b₁₀、b₂₀｝可取的范围也受到限定。如图24所示，当然可以求出满足该可取的范围、且使得上式（17）的评价函数e_b变为最小的中间像素值｛b₀₀、b₁₀、b₂₀｝。

另外，还可以通过下式（18）求出评价函数e_b，进行计算量的削减。

e_b＝（b₀₀－b₀₀’）²＋（b₁₀－b₁₀’）²＋（b₂₀－b₂₀’）²（18）

还对图25的中间像素值｛b₀₁、b₁₁、b₂₁｝应用与以上相同的处理，根据检测像素值｛a₀₁、a₁₁｝求出中间像素值｛b₀₁、b₁₁、b₂₁｝。

接着，对根据中间像素值｛b₀₀、b₁₀、b₂₀｝、｛b₀₁、b₁₁、b₂₁｝求出最终的估计像素值的方法进行说明。如图26所示，在中间像素的重合部分或非重合部分中，在垂直方向上假定假想的最终估计像素值。首先，作为代表例，说明着眼于第1列的中间像素值｛b₀₀、b₀₁｝来求出最终估计像素值｛v₀₀、v₀₁、v₀₂｝的方法。

假定的中间像素值｛b₀₀、b₀₁｝通过垂直方向上的以任意的移动量s的重叠移动采样而得到。因此，能够将中间像素值｛b₀₀、b₀₁｝视作最终估计像素值｛v₀₀、v₀₁、v₀₂｝中的相邻的像素值的相加值，如下式（19）那样表示。

b₀₀＝v₀₀＋v₀₁，

b₀₁＝v₀₁＋v₀₂（19）

根据上式（19），能够将v₀₀设为未知数（支配变量），如下式（20）那样导出最终估计像素值｛v₀₀、v₀₁、v₀₂｝的关系式。

v₀₀＝未知数，

v₀₁＝b₀₀－v₀₀，

v₀₂＝v₀₀＋（b₀₁－b₀₀）（20）

上式（20）所示的中间像素值｛b₀₀、b₁₀、b₂₀｝的关系（组合模式）存在多个，说明以检测像素值｛a₀₀、a₁₀｝为线索从其中求出合理的组合模式的方法。

如图26所示，估计像素值｛v₀₀、v₀₁、v₀₂｝相对于拍摄图像，采样的开口的大小不同。即，v₀₀、v₀₂的开口是s²，v₀₁的开口是s×（d－s）。由于与在图22和上式（15）中说明的理由相同的理由，作为估计像素值｛v₀₀、v₀₁、v₀₂｝，平均而言（概率而言），认为可用较高的概率得到通过采样开口的大小进行加权后的值。即，在给出中间像素值｛b₀₀、b₀₁｝时，考虑估计像素值相对于中间像素值的开口占有率，将权重系数c₃、c₄设为下式（21）。这里，0＜s＜d、0＜c₃＜1、0＜c₄＜1。

c₃＝v₀₀/b₀₀＝s²/（s×d）（＝v₀₂/b₀₁），

c₄＝v₀₁/b₀₀＝［s×（d－s）］/（s×d）（21）

根据上式（21），可将估计像素值｛v₀₀、v₀₁、v₀₂｝的参考值（可用高概率期待的产生值）｛v₀₀’、v₀₁’、v₀₁”、v₀₂’｝认作下式（22）。另外，严格上说，可以将权重系数c₃、c₄认作估计像素值相对于中间像素值的感光度比率。该情况下，调查待使用的摄像元件的特性，预先求出权重系数c₃、c₄即可。

v₀₀’＝c₃·b₀₀，

v₀₁’＝c₄·b₀₀，v₀₁”＝c₄·b₀₁，

v₀₂’＝c₃·b₀₁（22）

如图27所示，对上式（20）所示的估计像素值｛v₀₀、v₀₁、v₀₂｝的组合模式、和上式（22）所示的参考值｛v₀₀’、v₀₁’、v₀₁”、v₀₂’｝进行比较，确定误差最小的估计像素值｛v₀₀、v₀₁、v₀₂｝作为合理的估计值。即，将上式（20）代入到下式（23）来求出误差的评价函数e_v，确定该评价函数e_v可取最小的未知数v₀₀，并将所确定的v₀₀代入到上式（20）来求出估计像素值｛v₀₁、v₀₂｝。

e_v＝（v₀₀－v₀₀’）²＋（v₀₁－v₀₁’）²＋（v₀₁－v₀₁”）²＋（v₀₂－v₀₂’）²（23）

估计像素值｛v₀₀、v₀₁、v₀₂｝是零或正的值，因此当给出中间像素值｛b₀₀、b₀₁｝时，满足上式（20）的估计像素值｛v₀₀、v₀₁、v₀₂｝可取的范围也受到限定。如图28所示，当然可以求出满足该可取的范围、且使得上式（23）的评价函数e_v变为最小的估计像素值｛v₀₀、v₀₁、v₀₂｝。

另外，还可以通过下式（24）求出评价函数e_v，进行计算量的削减。

e_v＝（v₀₀－v₀₀’）²＋（v₀₁－v₀₁’）²＋（v₀₂－v₀₂’）²（24）

如以上那样同时求出3个最终估计像素值｛v₀₀、v₀₁、v₀₂｝。另外，如果想得到图20（B）所示那样的像素开口为s×s、且水平垂直的像素间距为s的采样值，则也可以仅采用所求出的3个值中的、最终估计像素值｛v₀₀｝。即，可以通过在水平方向和垂直方向上依次偏离的同时实施上述估计方法，逐个地依次求出最终估计像素值｛v_ij｝（i、j为任意的像素地址）。

9.第3高分辨率化估计处理

接着，详细说明对YCrCb值进行高分辨率化的第3高分辨率化估计处理。另外以下为了简化图示，省略像素间距p的图示。

如图29（A）所示，摄像元件的受光面（传感器像素）、和在受光面形成的被摄体像以比摄像元件的像素开口的宽度d小的移动量s相对移动。例如，在移动量s＝2p/3的情况下，在水平方向和垂直方向上每次以移动量s进行3×3的移动，从而拍摄9张图像。另外，在图29（A）中，为了简化图示，仅图示了在摄像元件上以间距p排列的2×2像素（a₀₀、a₂₀、a₀₂、a₂₂）、和对其中的1个像素（a₀₀）进行3×3移动而得到的像素值（a₀₀、a₁₀、a₀₁、a₁₁等）。

如图29（B）所示，根据所拍摄的9张图像求出高分辨率图像的像素值v₀₀。如图30所示，v₀₀根据8个像素值｛a₀₀、a₁₀、a₂₀、a₃₀、a₀₁、a₁₁、a₂₁、a₃₁｝求出。a₁₀、a₃₀是在摄像元件上沿水平方向以像素间距排列的像素的像素值。并且，a₁₀、a₃₀是将a₀₀、a₂₀的像素在水平方向上以移动量s移动后的像素的像素值，a₀₁、a₁₁是将a₀₀、a₂₀的像素在垂直方向上以移动量s移动后的像素的像素值，a₁₁、a₃₁是将a₀₀、a₂₀的像素在水平方向和垂直方向上以移动量s移动后的像素的像素值。

在每次偏离移动量s的同时进行这样的估计处理，依次求出高分辨率图像的像素值v_ij。由此，取得以比实际的像素间距p小的像素间距s拍摄那样的高分辨率图像。像素数成为原来的拍摄图像的（p/s）²倍。

以下，采取根据图30所示的像素值｛a₀₀、a₁₀、a₂₀、a₃₀、a₀₁、a₁₁、a₂₁、a₃₁｝对估计像素值v₀₀进行估计的情况为例进行说明。另外，这里以在水平方向上高分辨率化后在垂直方向上进行高分辨率化的情况为例进行说明，但也可以在垂直方向上高分辨率化后在水平方向上高分辨率化。

如图31所示，对移动后的像素的重合部分和非重合部分，在水平方向上假定假想的中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝。b₀₀与a₀₀和a₁₀的非重合部分对应，b₁₀与a₀₀和a₁₀的重合部分对应，b₂₀与a₀₀和a₁₀（或a₂₀和a₃₀）的非重合部分对应，b₃₀与a₂₀和a₃₀的重合部分对应，b₄₀与a₂₀和a₃₀的非重合部分对应。

能够将以任意的水平方向的移动量s通过重叠移动采样得到的像素值｛a₀₀、a₁₀、a₂₀、a₃₀｝视作中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的相加值，检测像素值｛a₀₀、a₁₀、a₂₀、a₃₀｝用下式（25）表示。

a₀₀＝b₀₀＋b₁₀，

a₁₀＝b₁₀＋b₂₀，

a₂₀＝b₂₀＋b₃₀，

a₃₀＝b₃₀＋b₄₀（25）

能够将b₀₀设为未知数（支配变量），如下式（26）那样导出中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的关系式。

b₀₀＝（未知数），

b₁₀＝a₀₀－b₀₀，

b₂₀＝b₀₀＋（a₁₀－a₀₀），

b₃₀＝a₂₀－b₂₀，

b₄₀＝a₃₀－b₃₀（26）

上式（26）所示的中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的关系（组合模式）存在多个，说明以检测像素值｛a₀₀、a₁₀、a₂₀、a₃₀｝为线索从其中求出合理的组合模式的方法。

如图31所示，中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝相对于拍摄图像，采样的开口大小不同。由于与在图22和上式（15）（第2高分辨率化估计处理）中说明的理由相同的理由，作为中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝，平均而言（概率而言），认为可用较高的概率得到通过采样开口的大小进行加权后的值。即，在给出检测像素值｛a₀₀、a₁₀、a₂₀、a₃₀｝时，考虑中间像素值相对于摄像元件的像素的开口占有率，

将权重系数c₁、c₂设为下式（27）。这里，0＜s＜d、0＜c₁＜1、0＜c₂＜1。

c₁＝b₀₀/a₀₀＝（s×d）/d²，

c₂＝b₁₀/a₀₀＝［（d－s）×d］/d²（27）

根据上式（27），可将中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的参考值（可用高概率期待的产生值）｛b₀₀’、b₁₀’、b₁₀”、b₂₀’、b₂₀”、b₃₀’、b₃₀”、b₄₀’｝认作下式（28）。另外，严格上说，可以将权重系数c₁、c₂认作中间像素值相对于检测像素值的感光度比率。该情况下，调查待使用的摄像元件的特性，预先求出权重系数c₁、c₂即可。

b₀₀’＝c₁·a₀₀，

b₁₀’＝c₂·a₀₀，b₁₀”＝c₂·a₁₀，

b₂₀’＝c₁·a₁₀，b₂₀”＝c₁·a₂₀，

b₃₀’＝c₂·a₂₀，b₃₀”＝c₂·a₃₀，

b₄₀’＝c₁·a₃₀（28）

如图32所示，对上式（26）所示的中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的组合模式、和上式（28）所示的参考值｛b₀₀’、b₁₀’、b₁₀”、b₂₀’、b₂₀”、b₃₀’、b₃₀”、b₄₀’｝进行比较，确定误差最小的中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝作为合理的估计值。即，将上式（26）代入到下式（29）中来求出误差的评价函数e_b，确定该评价函数e_b可取最小的未知数b₀₀，并将所确定的b₀₀代入到上式（26）来求出中间像素值｛b₀₀、b₁₀、b₂₀｝。

e_b＝（b₀₀－b₀₀’）²＋（b₁₀－b₁₀’）²＋（b₁₀－b₁₀”）²＋（b₂₀－b₂₀’）²＋（b₂₀－b₂₀”）²＋（b₃₀－b₃₀’）²＋（b₃₀－b₃₀”）²＋（b₄₀－b₄₀’）²（29）

由于与在图24（第2高分辨率化估计处理）中说明的理由相同的理由，如图33所示，当然可以求出在给出检测像素值｛a₀₀、a₁₀、a₂₀、a₃₀｝时满足中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝的可取的范围、且使得上式（29）的评价函数e_b变为最小的中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝。

另外，还可以通过下式（30）求出评价函数e_b，进行计算量的削减。

e_b＝（b₀₀－b₀₀’）²＋（b₁₀－b₁₀’）²＋（b₂₀－b₂₀’）²＋（b₃₀－b₃₀’）²＋（b₄₀－b₄₀’）²（30）

通过与以上处理相同的处理，求出图31的中间像素值｛b₀₁、b₁₁、b₂₁、b₃₁、b₄₁｝和未图示的中间像素值｛b₀₂、b₁₂、b₂₂、b₃₂、b₄₂｝、｛b₀₃、b₁₃、b₂₃、b₃₃、b₄₃｝。

接着，对根据中间像素值｛b₀₀、b₁₀、b₂₀、b₃₀、b₄₀｝、～｛b₀₃、b₁₃、b₂₃、b₃₃、b₄₃｝求出最终的估计像素值的方法进行说明。如图35所示，在中间像素的重合部分或非重合部分中，在垂直方向上假定假想的最终估计像素值。首先，作为代表例，说明着眼于第1列的中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝来求出最终估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的方法。

假定的中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝通过垂直方向上的以任意的移动量s的重叠移动采样而得到。因此，能够将中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝视作最终估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝中的相邻的像素值的相加值，如下式（31）那样表示。

b₀₀＝v₀₀＋v₀₁，

b₀₁＝v₀₁＋v₀₂，

b₀₂＝v₀₂＋v₀₃，

b₀₃＝v₀₃＋v₀₄（31）

根据上式（31），能够将v₀₀设为未知数（支配变量），如下式（32）那样导出最终估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的关系式。

v₀₀＝未知数，

v₀₁＝b₀₀－v₀₀，

v₀₂＝v₀₀＋（b₀₁－b₀₀），

v₀₃＝b₀₂－v₀₂，

v₀₄＝b₀₃－v₀₃（32）

上式（32）所示的估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的关系（组合模式）存在多个，说明以中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝为线索从其中求出合理的组合模式的方法。

如图35所示，估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝相对于拍摄图像，采样的开口大小不同。由于与在图22和上式（15）（第2高分辨率化估计处理）中说明的理由相同的理由，作为估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝，平均而言（概率而言），认为可用较高的概率得到通过采样开口的大小进行加权后的值。即，在给出中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝时，考虑估计像素值相对于中间像素值的开口占有率，将权重系数c₃、c₄设为下式（33）。这里，0＜s＜d、0＜c₃＜1、0＜c₄＜1。

c₃＝v₀₀/b₀₀＝s²/（s×d），

c₄＝v₀₁/b₀₀＝［s×（d－s）］/（s×d）（33）

根据上式（33），可将估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的参考值（可用高概率期待的产生值）｛v₀₀’、v₀₁’、v₀₁”、v₀₂’、v₀₂”、v₀₃’、v₀₃”、v₀₄’｝认作下式（34）。另外，严格上说，可以将权重系数c₃、c₄认作估计像素值相对于中间像素值的感光度比率。该情况下，调查待使用的摄像元件的特性，预先求出权重系数c₃、c₄即可。

v₀₀’＝c₃·b₀₀，

v₀₁’＝c₄·b₀₀，v₀₁”＝c₄·b₀₁，

v₀₂’＝c₃·b₀₁，v₀₂”＝c₃·b₀₂，

v₀₃’＝c₄·b₀₂，v₀₃”＝c₄·b₀₃，

v₀₄’＝c₃·b₀₃（34）

如图36所示，对上式（32）所示的估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的组合模式、和上式（34）所示的参考值｛v₀₀’、v₀₁’、v₀₁”、v₀₂’、v₀₂”、v₀₃’、v₀₃”、v₀₄’｝进行比较，确定误差最小的估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝作为合理的估计值。即，将上式（32）代入到下式（35）来求出误差的评价函数e_v，确定该评价函数e_v可取最小的未知数v₀₀，并将所确定的v₀₀代入到上式（32）来求出估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝。

e_v＝（v₀₀－v₀₀’）²＋（v₀₁－v₀₁’）²＋（v₀₁－v₀₁”）²＋（v₀₂－v₀₂’）²＋（v₀₂－v₀₂”）²＋（v₀₃－_v03’）²＋（v₀₃－v₀₃”）²＋（v₀₄－v₀₄’）²（35）

由于与在图28（第2高分辨率化估计处理）中说明的理由相同的理由，如图37所示，当然可以求出在给出中间像素值｛b₀₀、b₀₁、b₀₂、b₀₃｝时满足估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝的可取的范围、且使得上式（35）的评价函数e_v变为最小的估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝。

另外，还可以通过下式（36）求出评价函数e_v，进行计算量的削减。

e_v＝（v₀₀－v₀₀’）²＋（v₀₁－v₀₁’）²＋（v₀₂－v₀₂’）²＋（v₀₃－v₀₃’）²＋（v₀₄－v₀₄’）²（36）

如以上那样同时求出5个最终估计像素值｛v₀₀、v₀₁、v₀₂、v₀₃、v₀₄｝。另外，如果想得到图29（B）所示那样的像素开口为s×s、且水平垂直的像素间距为s的采样值，则也可以仅采用所求出的3个值中的、最终估计像素值｛v₀₀｝。即，可以通过在水平方向和垂直方向上依次偏离移动量的同时实施上述估计方法，逐个地依次求出最终估计像素值｛v_ij｝（i、j为任意的像素地址）。

需要说明的是，虽然已如上地对本实施方式进行了详细说明，但本领域技术人员能够容易理解到，可以在实质上不脱离本发明的新颖事项及效果的情况下实现许多变形。因而，这种变形例全部包含在本发明的范围内。例如，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。并且拍摄控制部、图像变换部、估计运算部、像素值变换部、摄像装置等的结构、动作也不限于本实施方式所说明的内容，可进行各种变形实施。

标号说明

100被摄体，110镜头，120摄像元件，

130拍摄控制部，131像素移动驱动控制部，

132重叠移动图像生成部，140图像变换部，

141相邻异色像素提取部，142亮度图像生成部，

143色差图像生成部，150数据记录部，

160超分辨率像素值复原估计部，161插值部，

162估计部，170亮度色差值RGB值变换部，

180RGB三板图像输出部，

Cr（a_ij）、Cb（a_ij）、Cr（v_ij）、Cb（v_ij）色差值，

Cr（v’_ij）、Cb（v’_ij）估计色差值，Ej评价函数，

R（v_ij）、Gr（v_ij）、Gb（v_ij）、B（v_ij）像素值，

Y（a_ij）、Y（v_ij）亮度值，Y（v’_ij）估计亮度值，

a_ij变换单位，b₀₀未知数，b_ij中间像素值，

fx帧，p像素间距，p/2移动量，

v_ij像素，v’_ij估计像素，δi₀差分值。

Claims (13)

1.一种摄像装置，其特征在于，包含：

摄像元件，其排列有多个颜色的像素；

拍摄控制部，其进行如下控制：按照比所述摄像元件的像素间距小的移动量依次移动所述摄像元件中的被摄体像的位置，并取得拍摄图像；

图像变换部，其根据所述拍摄图像中的所述多个颜色的像素的像素值，求出亮度值和色差值，并输出由所述亮度值构成的亮度图像、和由所述色差值构成的色差图像；

估计运算部，其根据所述亮度图像，求出分辨率比基于所述摄像元件的所述像素间距的分辨率高的高分辨率图像的各像素的估计亮度值，并根据所述色差图像，求出所述高分辨率图像的各像素的估计色差值；以及

像素值变换部，其将所述估计亮度值和所述估计色差值变换为所述高分辨率图像的各像素的RGB像素值，

其中，将由所述高分辨率图像的多个像素构成的范围设为相加单位，将与第1相加单位、第2相加单位对应的像素值设为第1像素值、第2像素值，在所述第1相加单位、所述第2相加单位重叠的情况下，

向所述估计运算部输入所述亮度图像或所述色差图像作为输入图像，

所述第1像素值、所述第2像素值是所述输入图像的像素值、或通过基于所述输入图像的插值而得到的像素值，

所述估计运算部求出所述第1像素值与所述第2像素值的差分值，并根据所述差分值求出所述估计亮度值或所述估计色差值作为估计像素值。

2.根据权利要求1所述的摄像装置，其特征在于，

构成所述摄像元件的像素排列的基本块具有作为所述多个颜色的第1～第k颜色的像素，其中k是2以上的自然数，包含2，

所述图像变换部设定由基于所述拍摄图像的所述第1～第k颜色的像素值构成的变换单位，并将所述变换单位所包含的所述像素值变换为所述亮度值和所述色差值，

所述估计运算部根据通过所述移动得到的多个所述亮度图像求出所述估计亮度值，并根据通过所述移动得到的多个所述色差图像求出所述估计色差值。

3.根据权利要求2所述的摄像装置，其特征在于，

所述像素排列是拜尔排列，以由R像素、B像素和两个G像素构成的2×2像素为所述基本块，

所述图像变换部设定由所述拍摄图像的2×2像素构成的所述变换单位，并将所设定的所述变换单位的R、G、B像素值变换为所述亮度值和所述色差值。

4.根据权利要求3所述的摄像装置，其特征在于，

所述图像变换部设定使所述变换单位的2×2像素的位置在水平方向或垂直方向上每次1个像素地依次移动后的多个变换单位。

5.根据权利要求2所述的摄像装置，其特征在于，

所述像素排列是拜尔排列，以由R像素、B像素和两个G像素构成的2×2像素为所述基本块，

所述图像变换部通过插值求出所述拍摄图像的各像素的R、G、B像素值，将所述各像素的R、G、B像素值设定为所述变换单位，并将所设定的所述变换单位的R、G、B像素值变换为所述亮度值和所述色差值。

6.根据权利要求2所述的摄像装置，其特征在于，

所述像素排列是拜尔排列，以由R像素、B像素和两个G像素构成的2×2像素为所述基本块，

所述图像变换部通过插值求出所述拍摄图像的各像素的R、G、B像素值，设定由所述拍摄图像的2×2像素构成的所述变换单位，求出所述变换单位的4个R像素值的相加值、所述变换单位的4个G像素值的相加值和所述变换单位的4个B像素值的相加值，并将所求出的所述R、G、B像素值的相加值变换为所述亮度值和所述色差值。

7.根据权利要求6所述的摄像装置，其特征在于，

所述图像变换部设定使所述变换单位的2×2像素的位置在水平方向或垂直方向上每次1个像素地依次移动后的多个变换单位。

8.根据权利要求1～7中的任意一项所述的摄像装置，其特征在于，

在将所述像素间距设为p、水平方向和垂直方向上的所述移动量设为p/m的情况下，其中m是2以上的自然数，包含2，

所述拍摄控制部进行以n次移动一轮的第1～第n移动，作为所述移动，其中n是2以上的自然数，包含2，

所述估计运算部接收与所述第1～第n移动对应的第1～第n亮度图像或第1～第n色差图像作为第1～第n输入图像，并根据所述第1～第n输入图像，求出所述估计亮度值或所述估计色差值作为估计像素值，

所述第1～第n输入图像的像素是与所述高分辨率图像中的m×m像素对应的像素，是将所述高分辨率图像上的位置与所述移动量p/m的移动对应地依次进行像素移动后的像素。

9.根据权利要求8所述的摄像装置，其特征在于，

所述拍摄控制部进行在基准位置设定的第1移动、从所述基准位置起在水平方向上以移动量p/2移动的第2移动、从所述基准位置起在水平方向和垂直方向上以移动量p/2移动的第3移动、和从所述基准位置起在垂直方向上以移动量p/2移动的第4移动，

所述估计运算部根据与所述第1～第4移动对应的第1～第4输入图像，求出所述拍摄图像的2×2倍像素数的所述估计像素值。

10.根据权利要求8所述的摄像装置，其特征在于，

所述拍摄控制部进行在基准位置设定的第1移动、和从所述基准位置起在水平方向和垂直方向上以移动量p/2移动的第2移动，

所述估计运算部根据所述第1输入图像、所述第2输入图像，通过插值求出第1插值图像和第2插值图像，所述第1插值图像与从所述基准位置起在水平方向上的移动量p/2的移动对应，所述第2插值图像与从所述基准位置起在垂直方向上的移动量p/2的移动对应，

根据所述第1输入图像、所述第2输入图像和所述第1插值图像、所述第2插值图像，求出所述拍摄图像的2×2倍像素数的所述估计像素值。

11.根据权利要求1所述的摄像装置，其特征在于，

所述估计运算部使用所述差分值表示第1中间像素值与第2中间像素值的关系式，所述第1中间像素值与从所述第1相加单位中去除重叠区域后的第1区域的相加像素值对应，所述第2中间像素值与从所述第2相加单位中去除所述重叠区域后的第2区域的相加像素值对应，

使用所述关系式估计所述第1中间像素值、所述第2中间像素值，使用估计出的所述第1中间像素值求出所述估计像素值。

12.根据权利要求11所述的摄像装置，其特征在于，

所述估计运算部在将包含所述第1中间像素值、所述第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，使用所述第1像素值、所述第2像素值表示所述中间像素值模式所包含的中间像素值之间的关系式，

所述估计运算部对用所述中间像素值之间的关系式表示的所述中间像素值模式和第1像素值、第2像素值进行比较来评价相似性，

所述估计运算部根据所述相似性的评价结果，以使得所述相似性最高的方式确定所述中间像素值模式所包含的中间像素值。

13.一种图像生成方法，其特征在于，

取得拍摄图像，所述拍摄图像通过以比排列有多个颜色的像素的摄像元件的像素间距小的移动量依次移动所述摄像元件中的被摄体像的位置而得到，

根据所述拍摄图像中的所述多个颜色的像素值，求出亮度值和色差值，并输出由所求出的所述亮度值构成的亮度图像、和由所求出的所述色差值构成的色差图像，

根据所述亮度图像，求出分辨率比基于所述像素间距的分辨率高的高分辨率图像的各像素的估计亮度值，并根据所述色差图像，求出所述高分辨率图像的各像素的估计色差值，

将所述估计亮度值和所述估计色差值变换为所述高分辨率图像的各像素的所述多个颜色的像素值，

其中，将由所述高分辨率图像的多个像素构成的范围设为相加单位，将与第1相加单位、第2相加单位对应的像素值设为第1像素值、第2像素值，在所述第1相加单位、所述第2相加单位重叠的情况下，

输入所述亮度图像或所述色差图像作为输入图像，

所述第1像素值、所述第2像素值是所述输入图像的像素值、或通过基于所述输入图像的插值而得到的像素值，

求出所述第1像素值与所述第2像素值的差分值，并根据所述差分值求出所述估计亮度值或所述估计色差值作为估计像素值。