CN102726037B - 图像处理装置、摄像装置和图像处理方法 - Google Patents

Abstract

提供能以简单的处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序和图像处理方法等。按每多个像素设定受光单位。将包含于受光单位的多个像素的像素值相加而作为受光值(a₀₀～a₁₁)来读出，取得低分辨帧图像。图像处理装置包括：推定运算部，其根据多个低分辨帧图像来推定包含于受光单位的各像素的像素值(v₀₀～v₁₁)；以及图像输出部，其根据推定出的像素值来输出高分辨帧图像。并且，一边使受光单位重叠地依次进行像素移位一边读出受光值(a₀₀～a₁₁)。推定运算部根据通过像素移位得到的多个受光值(a₀₀～a₁₁)来推定包含于受光单位的各像素的像素值(v₀₀～v₁₁)。

Description

图像处理装置、摄像装置和图像处理方法

技术领域

本发明涉及图像处理装置、摄像装置和图像处理方法等。

背景技术

如今，有的数码相机、摄像机能切换使用静止图像拍摄方式和动态图像拍摄方式。例如，在动态图像拍摄中用户通过进行按钮操作，能拍摄分辨率比动态图像高的静止图像。

现有技术文献

专利文献

专利文献1：特开2009-124621号公报

专利文献2：特开2008-243037号公报

发明内容

发明要解决的问题

然而，在切换静止图像拍摄方式和动态图像拍摄方式的方法中，存在当用户注意快门时机时往往已经错过了决定性的瞬间的问题。

为了实现该决定性的瞬间的拍摄，本发明人考虑利用像素移位的方法从动态图像生成任意定时的高分辨静止图像。作为像素移位的方法，例如专利文献1、2中公开了从通过像素移位取得的低分辨图像合成高分辨图像的方法。然而，在专利文献1、2的方法中，存在处理负荷增大、有时难以推定像素值的问题。

根据本发明的几个实施方式，能提供能以简单处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序和图像处理方法等。

用于解决问题的方案

本发明的一个实施方式涉及一种图像处理装置，包括：存储部，其在按彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定作为取得受光值的单位的受光单位，将包含于上述受光 单位的多个像素的像素值相加而作为上述受光单位的受光值来读出，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；推定运算部，其根据存储于上述存储部的多个低分辨帧图像，推定包含于上述受光单位的各像素的像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像，上述存储部存储一边使上述受光单位重叠一边每次1像素地依次进行像素移位而取得的与构成上述受光单位的像素数相同数量的上述低分辨帧图像，上述推定运算部根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像来推定包含于上述受光单位的各像素的像素值。

根据本发明的一个实施方式，将包含于受光单位的多个像素的像素值相加来读出受光值，取得低分辨帧图像。一边使受光单位重叠地依次进行像素移位一边读出该受光值。根据使受光单位依次进行像素移位而得到的多个受光值来推定包含于受光单位的各像素的像素值，根据推定出的像素值来输出高分辨帧图像。由此，能以简单的处理从低分辨动态图像取得高分辨图像等。

另外，在本发明的一个实施方式中也可以是，通过上述像素移位将上述受光单位依次设定于第1方位和上述第1方位的下一个的第2方位，上述第1方位的受光单位与上述第2方位的受光单位重叠，在该情况下，上述推定运算部求出上述第1方位的受光单位、第2方位的受光单位的受光值的差分值，用上述差分值表示从上述第1方位的受光单位除去重叠区域后的第1受光区域的受光值即第1中间像素值与从上述第2方位的受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式，用上述关系式推定上述第1中间像素值、第2中间像素值，用推定出的上述第1中间像素值来求出上述受光单位的各像素的像素值。

这样，从一边使受光单位重叠地依次进行像素移位一边读出的受光值推定中间像素值，能从推定出的中间像素值求出最终的推定像素值。由此，能简化高分辨帧图像的像素值推定。

另外，在本发明的一个实施方式中也可以是，上述推定运算部 在设包含上述第1中间像素值、第2中间像素值的连续的中间像素值为中间像素值模式的情况下，用上述受光单位的受光值来表示上述中间像素值模式的中间像素值间的关系式，对用中间像素值间的关系式表示的上述中间像素值模式和上述受光单位的受光值进行比较来评价类似性，根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式的中间像素值的值。

这样，能根据使受光单位重叠地进行像素移位而取得的多个受光值来推定中间像素值。

另外，在本发明的一个实施方式中也可以是，上述推定运算部求出表示用中间像素值间的关系式表示的上述中间像素值模式与上述受光单位的受光值之间的误差的评价函数，以使上述评价函数的值为最小的方式决定上述中间像素值模式的中间像素值的值。

这样，以使评价函数的值最小的方式决定中间像素值的值，由此能以使中间像素值模式与受光值的类似性最高的方式决定中间像素值的值。

另外，在本发明的一个实施方式中也可以是，根据已知的高分辨帧图像，取得上述中间像素值模式对上述受光单位的受光值的对应关系作为预先决定上述受光单位的受光值与上述中间像素值模式的类似性的预见信息，上述推定运算部根据上述预见信息来评价用中间像素值间的关系式表示的上述中间像素值模式与所取得的上述受光单位的受光值之间的类似性。

这样，能根据基于已知的高分辨帧图像而取得的预见信息来评价类似性，根据其评价结果来决定中间像素值。

另外，在本发明的一个实施方式中也可以是，上述推定运算部具有神经网络，上述神经网络将如下系数用作节点的权重系数：该系数是通过基于上述已知的高分辨帧图像的学习而作为上述预见信息得到的系数，上述神经网络接受中间像素值模式和上述受光单位的受光值，输出上述类似性的评价结果，上述推定运算部根据来自上述神经网络的上述类似性的评价结果来决定上述中间像素值模式的中间像素值的值。

这样，通过使用以节点的权重系数作为预见信息的神经网络，能实现基于预见信息的类似性评价。

另外，在本发明的一个实施方式中也可以是，将上述受光单位的各像素值加权相加而作为上述受光单位的受光值来读出，上述推定运算部根据通过加权相加得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。

这样，对受光单位的各像素值进行加权相加来取得低分辨帧图像，能从所取得的低分辨帧图像推定高分辨帧图像的像素值。

另外，在本发明的一个实施方式中也可以是，按各帧进行上述像素移位，通过上述像素移位将上述受光单位依次设定于多个方位，按每多个帧将上述受光单位设定于相同的方位，上述低分辨帧图像是按时间序列与各方位对应取得的连续低分辨帧图像，在该情况下，包括插值处理部，上述插值处理部进行对上述各帧中的上述多个方位的受光单位的受光值进行插值的处理，上述插值处理部对插值对象的帧的上述连续低分辨帧图像中的欠缺的方位的受光单位的受光值，用上述插值对象的帧的前后帧的上述连续低分辨帧图像中的与上述欠缺的方位相同的方位的受光单位的受光值进行时间轴插值，上述推定运算部根据通过上述时间轴插值进行了插值的上述连续低分辨帧图像来推定上述各帧中的上述受光单位的各像素的像素值。

这样，通过像素移位取得受光值，用所取得的受光值对欠缺的方位的受光值进行插值，能从插值后的受光值求出受光单位的各像素的像素值。

另外，在本发明的一个实施方式中也可以是，上述图像输出部将以由上述推定运算部推定出的上述各帧中的上述受光单位的各像素的像素值为基础的各帧中的上述高分辨帧图像作为静止图像或者动态图像来输出。

这样，能将各帧中的高分辨帧图像作为静止图像或者动态图像来输出。

另外，在本发明的一个实施方式中也可以是，上述插值处理部 通过时间轴插值滤波来进行上述时间轴插值。

这样，能通过时间轴插值滤波来进行时间轴插值。

另外，在本发明的一个实施方式中也可以是，上述插值处理部在上述前后帧中的受光单位的受光值的差分值小于规定的阈值的情况下，用上述前后帧中的与上述欠缺的方位相同的方位的受光单位的受光值来对上述插值对象的帧中的上述欠缺的方位的受光单位的受光值进行插值，在上述前后帧中的受光单位的受光值的差分值大于规定的阈值的情况下，用在上述插值对象的帧中取得的受光值对上述插值对象的帧中的上述欠缺的方位的受光单位的受光值进行插值。

这样，能根据插值对象的帧的前后帧中的受光单位的受光值的差分值来进行插值对象的帧中的受光值的时间轴插值。

另外，在本发明的一个实施方式中也可以是，第1受光单位与第2受光单位是相邻的受光单位，通过像素移位将上述第1受光单位、第2受光单位依次设定于第1方位和上述第1方位的下一个的第2方位，上述第1方位的上述第1受光单位、第2方位的上述第1受光单位在第1重叠区域中重叠，上述第1方位的上述第2受光单位、第2方位的上述第2受光单位在第2重叠区域中重叠，在该情况下，上述推定运算部推定从上述第1方位的上述第1受光单位除去上述第1重叠区域后的第1受光区域的受光值即第1中间像素值与从上述第2方位的上述第1受光单位除去上述第1重叠区域后的第2受光区域的受光值即第2中间像素值，将从上述第1方位的上述第2受光单位除去上述第2重叠区域后的第3受光区域的受光值即第3中间像素值设为未知数，用使用了上述未知数的关系式来表示从上述第2方位的上述第2受光单位除去上述第2重叠区域后的第4受光区域的受光值即第4中间像素值，根据作为与上述第3受光区域相同的区域的上述第2受光区域的中间像素值而求出的上述第2中间像素值来设定上述未知数的探索范围，在设定的上述探索范围中探索性地求出上述未知数来推定上述第3中间像素值。

这样，能根据先求出的第2中间像素值来设定接着推定的未知 数的探索范围。

另外，在本发明的一个实施方式中也可以是，第1受光单位与第2受光单位是相邻的受光单位，通过像素移位将上述第1受光单位、第2受光单位依次设定于第1方位和上述第1方位的下一个的第2方位，上述第1方位的上述第1受光单位、第2方位的上述第1受光单位在第1重叠区域中重叠，上述第1方位的上述第2受光单位、第2方位的上述第2受光单位在第2重叠区域中重叠，在该情况下，上述推定运算部：推定第1中间像素值模式，上述第1中间像素值模式是包括第1中间像素值和第2中间像素值的连续的中间像素值，上述第1中间像素值是从上述第1方位的上述第1受光单位除去上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2方位的上述第1受光单位除去上述第1重叠区域后的第2受光区域的受光值；推定第2中间像素值模式，上述第2中间像素值模式是包括第3中间像素值和第4中间像素值的连续的中间像素值，上述第3中间像素值是从上述第1方位的上述第2受光单位除去上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2方位的上述第2受光单位除去上述第2重叠区域后的第4受光区域的受光值；推定第3中间像素值模式，上述第3中间像素值模式是包括第5中间像素值、但不包括上述第1中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是作为上述第2方位的上述第1受光单位与上述第1方位的上述第2受光单位的重叠区域的第5受光区域的受光值，在上述第3受光区域、第5受光区域是与上述第2受光区域相同的受光区域的情况下，根据通过上述第1～第3中间像素值模式的推定而得到的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述相同的受光区域的中间像素值。

这样，根据对相同的受光区域的中间像素值进行3次推定而求出的3个推定值，能决定该受光区域的最终的中间像素值。

另外，在本发明的一个实施方式中也可以是，上述推定运算部对通过推定而得到的像素值进行根据上述受光单位内的像素位置而不同的滤波系数的滤波处理。

这样，能对通过推定而得到的像素值进行与受光单位内的像素位置相应的滤波处理。

另外，在本发明的一个实施方式中也可以是，被拍摄体的明亮度越暗像素数越多地设定包含于上述受光单位的像素数，上述图像输出部在上述被拍摄体的明亮度越暗时输出灵敏度越高的上述高分辨帧图像。

这样，根据被拍摄体的明亮度来设定包含于受光单位的像素数，能输出与被拍摄体的明亮度相应的灵敏度的高分辨帧图像。

另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相邻的多个像素不依赖于像素的颜色地设定于上述受光单位，将设定于上述受光单位的上述相邻的多个像素的像素值相加而读出，取得上述低分辨帧图像，上述推定运算部根据所取得的上述低分辨帧图像来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。

另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相同颜色的多个像素设定于上述受光单位，将设定于上述受光单位的上述相同颜色的多个像素的像素值相加而读出，取得上述低分辨帧图像，上述推定运算部根据所取得的上述低分辨帧图像来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。

根据本发明这些实施方式，在使用彩色摄像元件的情况下，也能取得低分辨帧图像，从该低分辨帧图像进行像素值的推定，取得彩色的高分辨帧图像。

另外，本发明的其它实施方式涉及一种摄像装置，包括：彩色摄像元件；读出控制部，其按上述彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定受光单位，将上述受光单位的多个像素的像素值相加而作为上述受光单位的受光值来读出，取得低分辨帧图像；存储部，其存储由上述读出控制部取得的上述低分辨帧图像；推定运算部，其根据存储于上述存储部的多个低分辨帧图像来推定上述受光单位的各像素的像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像，上述读出控制部一边使上述受光单位重叠一边每次1像素地依次进行像素移位，而取得与构成上述受光单位的像素数相同数量的上述低分辨帧图像，上述推定运算部根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像来推定上述受光单位的各像素的像素值。

另外，本发明的其它实施方式涉及一种程序，使计算机作为如下装置发挥功能：存储部，其在按摄像元件的每多个像素设定作为取得受光值的单位的受光单位，将包含于上述受光单位的多个像素的像素值相加而作为上述受光单位的受光值来读出，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；推定运算部，其根据存储于上述存储部的多个低分辨帧图像来推定包含于上述受光单位的各像素的像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像，在上述程序中，一边使上述受光单位重叠一边依次进行像素移位而读出上述受光单位的受光值，取得上述低分辨帧图像，上述推定运算部根据使上述受光单位依次进行像素移位而得到的多个受光值来推定包含于上述受光单位的各像素的像素值。

另外，本发明的其它实施方式涉及一种图像处理方法，在按彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定受光单位，将上述受光单位的多个像素的像素值相加来作为上述受光单位的受光值来读出，取得低分辨帧图像的情况下，存储一边使上述受光单位重叠一边每次1像素地依次进行像素移位而取得的与构成上述受光单位的像素数相同数量的上述低分辨帧图像，根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像，推定上述受光单位的各像素的像素值，根据推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像。

附图说明

[图1]图1(A)是推定处理块的说明图，图1(B)是受光单位 的说明图。

[图2]图2(A)是推定像素值的说明图，图2(B)是中间像素值的说明图。

[图3]图3是第1推定方法的中间像素值的推定方法的说明图。

[图4]图4是第1推定方法的中间像素值的推定方法的说明图。

[图5]图5是第1推定方法的中间像素值的推定方法的说明图。

[图6]图6(A)、图6(B)是第1推定方法的推定像素值的推定方法的说明图。

[图7]图7是第1推定方法的推定像素值的推定方法的说明图。

[图8]图8是第1推定方法的推定像素值的推定方法的说明图。

[图9]图9是第1推定方法的推定像素值的推定方法的说明图。

[图10]图10是第2推定方法的说明图。

[图11]图11是第2推定方法的说明图。

[图12]图12是第2推定方法的说明图。

[图13]图13是第2推定方法的说明图。

[图14]图14是第2推定方法的探索范围设定的说明图。

[图15]图15是第2推定方法的概要说明图。

[图16]图16是第3推定方法的说明图。

[图17]图17是第3推定方法的概要说明图。

[图18]图18是第4推定处理的说明图。

[图19]图19是噪声滤波的构成例。

[图20]图20是第5推定处理中的权重系数的说明图。

[图21]图21(A)、图21(B)是第5推定处理中的中间像素值的推定方法的说明图。

[图22]图22是第5推定处理中的中间像素值的推定方法的说明图。

[图23]图23是第5推定处理中的中间像素值的推定方法的说明图。

[图24]图24是第5推定处理中的中间像素值的推定方法的说明图。

[图25]图25(A)、图25(B)是第5推定处理中的推定像素值的推定方法的说明图。

[图26]图26是第5推定处理中的推定像素值的推定方法的说明图。

[图27]图27是第5推定处理中的推定像素值的推定方法的说明图。

[图28]图28是第5推定处理中的推定像素值的推定方法的说明图。

[图29]图29是受光值的第1插值方法的说明图。

[图30]图30是插值处理的定时图例。

[图31]图31是摄像装置和图像处理装置的第1详细构成例。

[图32]图32是对融合帧的动态补偿的说明图。

[图33]图33是受光值的第2插值方法的说明图。

[图34]图34是受光值的第2插值方法的说明图。

[图35]图35是彩色图像的第1推定方法的说明图。

[图36]图36是彩色图像的第2推定方法的说明图。

[图37]图37是彩色图像的第2推定方法的说明图。

[图38]图38是彩色图像的第2推定方法的说明图。

[图39]图39是彩色图像的第2推定方法的说明图。

[图40]图40是适应于明亮度的相加像素数的设定方法。

[图41]图41是摄像装置和图像处理装置的第2详细构成例。

具体实施方式

下面详细说明本发明的优选实施方式。此外，以下说明的本实施方式并非对权利要求中记载的本发明的内容进行不当限定，在本实施方式中说明的构成未必都是本发明的解决方案所必须的。

1.比较例

首先说明本实施方式的比较例。在数码相机、摄像机的产品中，有些以静止图像拍摄为主的数码相机带有动态图像拍摄功能，有些以动态图像拍摄为主的摄像机带有静止图像拍摄功能。这些照相机 多是切换使用静止图像拍摄方式和动态图像拍摄方式。其中，存在能以伴随动态图像拍摄的高帧速率拍摄高精细静止图像的产品，它能进行短时间的高速连拍。若使用这种器材，则具有能用一个器材来进行静止图像和动态图像的拍摄的便利性。

然而，在这些方法中，存在难以不会错过很多人所追求的快门时机地得到高质量的静止图像的问题。例如，在动态图像拍摄中瞬时切换为拍摄高质量静止图像的方式的方法中，存在动态图像被中断，在用户注意到时已经错过了决定性的瞬间的问题。

为了解决不会错过该快门时机的问题，想到了通过动态图像拍摄无遗漏地拍摄全部场景，从其中自由得到决定性的瞬间作为高质量的静止图像的方法。为了实现该方法，需要能以高帧速率拍摄高精细图像。

然而，该方法的实现并不容易。例如，为了以60fps(fps：帧/秒)连续拍摄1200万像素的图像，需要能进行超高速拍摄的摄像元件、对摄像数据进行超高速处理的处理电路、超高速数据压缩处理功能、记录庞大数据的记录单元。为此，需要使用多个摄像元件、并行处理、大规模存储器、高能力散热机构等，在追求小型化、低成本的民用器材中并不现实。如果不是动态图像拍摄的高清(200万像素)程度的分辨率的高质量的静止图像，可以实现，但是作为高清程度的分辨率的静止图像是不充分的。

另外，作为进行高帧速率的动态图像拍摄的方法，可考虑如下方法：使用能用多像素拍摄高精细图像的高像素图像传感器，通过像素的间拔读出或者相邻像素的相加读出来进行低分辨图像化，通过减少1次读出数据来实现。然而，在该方法中，无法以高帧速率拍摄高精细图像。

为了解决该问题，需要从以高帧速率拍摄到的低分辨图像得到高分辨图像。作为从低分辨图像得到高分辨图像的方法，可考虑如下方法：例如对通过像素偏移而拍摄到的低分辨图像进行所谓超分辨处理来生成高分辨图像。

例如，可考虑使用相加读出的方法。即，将低分辨图像依次进 行位置偏移并且读出后，根据该多个位置偏移图像来暂时假定高精细化图像。并且，使假定的图像恶化来生成低分辨图像，将其与原来的低分辨图像进行比较，以其差异最小的方式使高精细图像变形，推定高精细图像。作为该超分辨处理，已知ML(Maximum-Likelihood：最大似然)法、MAP(Maximum A Posterior：最大后验概率)法、POCS(Projection Onto Convex Set：凸集投影)法、IBP(Iterative Back Projection：迭代反投影)法等。

另外，作为使用超分辨处理的方法，有上述专利文献1公开的方法。在该方法中，在动态图像拍摄时按时间序列依次拍摄进行了像素移位的低分辨图像，将该多个低分辨图像合成来假定高分辨图像。并且，对该假定的高分辨图像实施上述超分辨处理，推定似然高的高分辨图像。

然而，在这些方法中，使用通过多使用二维滤波的反复运算来提高推定精度的一般超分辨处理。因此，存在处理的规模非常大，处理时间增加，难以应用于处理能力、成本受限的器材的问题。例如，当用于数码相机这种小型便携摄像装置时，出现处理电路的规模会变大、消耗电力增大、产生大量的热、成本大幅度增加等问题。

另外，在上述专利文献2中公开了用进行了像素移位的多个低分辨图像来生成高分辨图像的方法。在该方法中，使构成想求出的高分辨图像的假像素为副像素，以该副像素的平均值与拍摄到的低分辨图像的像素值一致的方式推定副像素的像素值。在该像素值的推定中，设定多个副像素的初始值，从低分辨图像的像素值减去除了想算出的副像素以外的副像素的像素值来求出像素值，将其应用于依次相邻的像素。

然而，在该方法中，存在如果初始值确定不好则推定误差会非常大的问题。在该方法中，为了设定初始值，从图像找出副像素的像素值变化小、涵盖它们的低分辨像素值大致等于它们的平均值的部分。因此，当无法从拍摄图像找到适于初始值的设定的部分时，就难以进行初始值的推定。另外，也会需要探索适于初始值的设定的部分的处理。

2.第1推定方法

因此，在本实施方式中，通过像素偏移来拍摄高帧速率的低分辨动态图像，用简单的像素推定方法从该低分辨图像生成高分辨图像。并且，用生成的高分辨图像取得动态图像中的任意定时的高分辨静止图像，或者取得高帧速率的高分辨动态图像。

下面使用附图详细说明这样的本实施方式的方法。图1(A)、图1(B)示出了用于像素推定的推定处理块和受光单位的示意性说明图。在图1(A)、图1(B)中，用实线的方形示出摄像元件上的像素，用i示出水平方向(水平扫描方向)的像素位置，用j示出垂直方向的像素位置(i、j为自然数)。

如图1(A)所示，设定以m×n像素为1块的推定处理块Bk₀₀、Bk₁₀、…。在本实施方式中，按每个该推定处理块来进行高分辨图像的像素值的推定处理。

图1(B)示意性地示出上述推定处理块中的1个。如图1(B)所示，将4像素(广义上为多个像素)设定为1个受光单位，将该受光单位内的4像素的像素值相加读出(混合读出)，取得受光单位的受光值a₀₀～a_(m-1(n-1)(相加像素值，4像素相加值)。该受光单位按每4像素设定，通过按每帧偏移1像素地设定受光单位来依次取得受光值a₀₀～a_(m-1)(n-1)。例如，在第1帧中取得a₀₀、a₂₀、…，在第2帧中取得a₁₀、a₃₀、…，在第3帧中取得a₁₁、a₃₁、…，在第4帧中取得a₀₁、a₂₁、…。

用图2(A)～图9说明本实施方式的像素推定方法。下面为了简化说明，以按每2×2像素设定推定处理块的情况为例进行说明。此外，像素推定所用的受光值a₀₀～a₁₁可以是通过相加读出而取得的受光值，也可以是通过后述的时间轴插值进行插值后的受光值。

图2(A)、图2(B)示出推定像素值和中间像素值的说明图。如图2(A)所示，用受光值a₀₀～a₁₁来最终推定像素值v₀₀～v₂₂(推定像素值)。即，设摄像元件的像素间距为p，从由像素间距为2p的受光单位取得的低分辨图像推定分辨率(像素数)与像素间距为p的摄像元件相同的高分辨图像。

此时，如图2(B)所示，从受光值a₀₀～a₁₁推定中间像素值b₀₀～b₂₁(中间推定像素值，2像素相加值)，从该中间像素值b₀₀～b₂₁推定像素值v₀₀～v₂₂。以图3示出的水平方向的最初的行的中间像素值b₀₀～b₂₀为例说明该中间像素值的推定方法。

在受光值与中间像素值之间，下式(1)的关系成立。 

a₀₀＝b₀₀+b₁₀，

a₁₀＝b₁₀+b₂₀                    …(1)

设b₀₀为未知数(初始变量，初始值)对上式(1)进行变形，则如下式(2)所示，能将中间像素值b₁₀、b₂₀表示为b₀₀的函数。

b₀₀＝(未知数)，

b₁₀＝a₀₀-b₀₀，

b₂₀＝b₀₀+δi₀＝b₀₀+(a₁₀-a₀₀)    …(2)

在此，如下式(3)所示，δi₀是错开1个移位的受光值的差分值，与中间像素值b₂₀、b₀₀的差分值对应。

δi₀＝a₁₀-a₀₀

＝(b₁₀+b₂₀)-(b₀₀+b₁₀)

＝b₂₀-b₀₀                       …(3)

这样，能求出以b₀₀为未知数的高精细的中间像素值{b₀₀，b₁₀，b₂₀}的组合模式。为了决定表示为该b₀₀的函数的中间像素值的绝对值(值，数值)，需要求出未知数b₀₀。

如图4所示，在本实施方式中，将通过重叠移位采样来检测的像素值的模式{a₀₀，a₁₀}与中间像素值的模式{b₀₀，b₁₀，b₂₀}进行比较。并且，导出其误差最小的未知数b₀₀，将导出的未知数b₀₀设定为最终的中间像素值b₀₀。

具体地说，如下式(4)所示，用未知数b₀₀的函数表示误差的评价函数Ej。并且，如图5所示，探索性地求出使评价函数Ej为最小(极小值)的未知数b₀₀＝α(初始值)(最小二乘法)。

[数1]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,\·\·\·\left(4\right)$

$\mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

如上式(4)所示，在本实施方式中，进行中间像素值的平均值与具有低频成分的模式{a₀₀，a₁₀}的误差评价。由此，能抑制导出包含大量高频成分的模式作为中间像素值{b₀₀，b₁₀，b₂₀}的推定解的情况。即，即使未知数的推定不正确，也会生成包含大量低频成分的图像。因此，能抑制生成在比低频成分更容易增强不自然感的高频成分中包含错误的模式，作为图像不会看起来有失自然。由此，能对高频成分比低频成分小的自然图像进行合理的像素推定。

这样，推定中间像素值b₀₀的值，将推定出的b₀₀的值代入上式(2)来决定中间像素值b₁₀、b₂₀的值。并且，同样将b₀₁作为未知数来推定第2行中间像素值b₀₁～b₂₁。

下面说明用推定出的中间像素值b_ij求出最终的推定像素值v_ij的方法。图6(A)、图6(B)示意性地示出中间像素值和推定像素值的说明图。如图6(A)所示，用由上述方法推定出的3列中间像素值b₀₀～b₂₁中的2列中间像素值b₀₀～b₁₁来进行推定。如图6(B)所示，从中间像素值b₀₀～b₁₁推定像素值v₀₀～v₁₂。下面为了简化说明，以图7示出的第1列像素值v₀₀～v₀₂为例进行说明。

像素值v₀₀～v₀₂的推定用与上述中间像素值的推定方法同样的方法进行。具体地说，中间像素值b₀₀、b₀₁与使像素值v₀₀～v₀₂在垂直方向上以2像素为单位分别移位1像素地重叠采样的值等价。因此，在中间像素值与推定像素值之间，下式(5)的关系成立。

b₀₀＝v₀₀+v₀₁，

b₀₁＝v₀₁+v₀₂                    …(5)

如下式(6)所示，能将像素值v₀₁、v₀₂表示为未知数v₀₀的函数。

v₀₀＝(未知数)，

v₀₁＝b₀₀-v₀₀，

v₀₂＝v₀₀+δ_j0＝v₀₀+(b₀₁-b₀₀)    …(6)

在此，如下式(7)所示，δj₀为错开1移位的中间像素值的差分值，与像素值v₀₂、v₀₀的差分值对应。

δi₀＝b₀₁-b₀₀

＝(v₀₁+v₀₂)-(v₀₀+v₀₁)

＝v₀₂-v₀₀                       …(7)

如图8所示，导出使中间像素值的模式{b₀₀，b₁₀}与推定像素值的模式{v₀₀，v₀₁，v₀₂}的误差为最小的未知数v₀₀。即，如下式(8)所示，用评价函数Ei表示误差，如图9所示，探索性地求出使该评价函数Ei最小的未知数v₀₀＝β。

[数2]

$e_{\mathrm{ij}}={(\frac{b_{\mathrm{ij}}}{2}-v_{\mathrm{ij}})}^2+{(\frac{b_{\mathrm{ij}}}{2}-v_{i(j+1)})}^2,\·\·\·\left(8\right)$

$\mathrm{Ei}=\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

并且，通过同样的处理求出第2列像素值v₁₀～v₁₂，决定最终的推定像素值v₀₀、v₀₁、v₁₀、v₁₁。此外，在本实施方式中，也可以对由最终推定像素值构成的图像数据实施适当的噪声减少处理来将其作为显示图像。

在此，在上述实施方式中，说明了探索性地求出未知数b₀₀、v₀₀的情况，但是在本实施方式中，也可以直接求出未知数b₀₀、v₀₀。即，上式(4)示出的误差Ej的式是b₀₀的2次函数式，因此能变形为下式(9)的形式。因此，能直接求出使Ej最小的b₀₀的最小值α。也同样能求出v₀₀的最小值β。

Ej＝(b₀₀-α)²+ξ                …(9)

总之，如上所述，在切换静止图像拍摄方式和动态图像拍摄方式的方法中，存在当用户注意快门时机时往往已经错过了决定性的瞬间的问题。另外，在通过超分辨处理从低分辨动态图像合成高分辨静止图像的方法中，超分辨处理是大负荷的处理，因此存在会增大处理电路的规模等的问题。

关于这一点，根据本实施方式，按摄像元件的每多个像素来设定作为取得受光值(相加像素值，4像素相加值)的单位的受光单位(受光值取得单位)，将包含于该受光单位的多个像素的像素值相加而作为受光单位的受光值来读出，取得低分辨帧图像。并且，存储所取得的低分辨帧图像，根据所存储的多个低分辨帧图像来推 定包含于受光单位的各像素的像素值。根据推定出的像素值来输出分辨率比低分辨帧图像高的高分辨帧图像。此时，低分辨帧图像是一边使受光单位重叠地依次进行像素移位一边读出而取得受光单位的受光值。并且，根据使受光单位依次进行像素移位而得到的多个受光值，推定包含于受光单位的各像素的像素值。

例如，如前面在图1(B)中所述的那样，按每4像素设定受光单位。在第1帧中相加读出受光值a₀₀、a₂₀、…，取得由a₀₀、a₂₀、…构成的低分辨帧图像。然后，依次取得由a₁₀、a₃₀、…构成的低分辨帧图像、由a₁₁、a₃₁、…构成的低分辨帧图像、由a₀₁、a₂₁、…构成的低分辨帧图像。例如，将取得受光值a₀₀、a₁₀、a₁₁、a₀₁的受光单位分别按1像素的量向水平方向或者垂直方向移位，分别有2像素重叠地进行像素偏移。这些低分辨帧图像由例如后面在图31等中描述的摄像装置取得。所取得的低分辨帧图像被输入例如后面在图31等中描述的图像处理装置，存储于未图示的存储器等存储部。并且，由像素值推定运算部(推定运算部)根据通过像素移位取得的多个受光值a₀₀～a_(m-1)(n-1)来推定包含于受光单位的各像素值(推定处理块内的各像素值)。根据推定出的像素值来输出与摄像元件的分辨率相当的高分辨图像。

由此，能通过简单的处理从动态图像取得高分辨图像。例如，能用上述中间像素值的推定来简化推定处理。另外，对于高分辨静止图像而言，由于能生成任意定时的低分辨动态图像，因此用户能容易得到决定性的瞬间的高分辨静止图像。另外，在拍摄时通过取得低分辨动态图像(例如3兆像素)来以高帧速率(例如60帧)进行拍摄，能根据需要显示高分辨静止图像(12兆像素)、高清动态图像。

更具体地说，在本实施方式中，通过像素移位将受光单位依次设定于第1方位和第1方位的下一个的第2方位。第1、第2方位的受光单位重叠。然后，求出第1、第2方位的受光单位的受光值的差分值。用差分值表示从第1方位的受光单位除去重叠区域后的第1受光区域的受光值即第1中间像素值与从第2方位的受光单位除去重叠 区域后的第2受光区域的受光值即第2中间像素值之间的关系式。用该关系式来推定第1、第2中间像素值，用推定出的第1中间像素值求出受光单位的各像素的像素值。

例如，如前面在图2(A)中所述的那样，在第1帧中，受光单位被设定于取得受光值a₀₀的第1方位，在第2帧中，受光单位被设定于取得受光值a₁₀的第2方位。这些受光单位在包含推定像素v₁₀、v₁₁的区域中重叠。如前面在图2(A)、图2(B)中所述的那样，包含推定像素v₀₀、v₀₁的区域与第1受光区域对应，该区域的中间像素值b₀₀与第1中间像素值对应。另外，包含推定像素v₂₀、v₂₁的区域与第2受光区域对应，该区域的中间像素值b₂₀与第2中间像素值对应。并且，如前面在图3中所述的那样，求出受光值a₀₀、a₁₀的差分值δi₀，求出关系式b₂₀＝b₀₀+δi₀。如前面在图4等中所述的那样，推定未知数b₀₀，用关系式来推定b₂₀。如前面在图6(A)等中所述的那样，用b₀₀来求出推定像素值v₀₀、v₀₁。

这样，从重叠移位后的受光值暂时推定中间像素值，从重叠移位后的中间像素值求出推定像素值，由此能简化高分辨图像的推定处理。例如，与上述比较例相比，不需要二维滤波的反复运算(专利文献1)、探索适于初始值设定的部分(专利文献2)等复杂的处理。

另外，在本实施方式中，在设包含第1、第2中间像素值的连续的(连续的顺序的)中间像素值为中间像素值模式的情况下，用受光单位的受光值来表示中间像素值模式的中间像素值间的关系式。并且，对中间像素值模式与受光值模式(受光单位的受光值)进行比较来评价类似性，根据其评价结果，以类似性最高的方式决定中间像素值模式的中间像素值的值。

例如，如前面在图4中所述的那样，连续的中间像素值{b₀₀，b₁₀，b₂₀}与中间像素值模式对应，如前面在上式(2)中所述的那样，{b₀₀，b₁₀，b₂₀}间的关系式用受光值a₀₀、a₁₀表示。并且，对中间像素值模式{b₀₀，b₁₀，b₂₀}与受光值模式{a₀₀，a₁₀}进行比较，以用评价函数Ej表示的类似性最高的方式决定{b₀₀，b₁₀，b₂₀} 的值。在此，受光值模式{a₀₀，a₁₀}是在水平方向上连续的(连续的顺序的)受光值。

这样，能根据使受光单位重叠地进行像素移位而取得的多个受光值来推定中间像素值。

更具体地说，在本实施方式中，求出表示用中间像素值间的关系式表示的中间像素值模式与受光值模式(受光单位的受光值)之间的误差的评价函数。并且，以使该评价函数的值最小的方式决定中间像素值模式的中间像素值的值。

例如，如前面在上式(4)等中所述的那样，中间像素值模式{b₀₀，b₁₀，b₂₀}被表示为未知数b₀₀的函数，中间像素值模式{b₀₀，b₁₀，b₂₀}与受光值模式{a₀₀，a₁₀}之间的误差由评价函数Ej表示。如前面在图5中所述的那样，求出使评价函数Ej的值最小的未知数b₀₀＝α(初始值)，根据求出的b₀₀来决定b₀₀～b₂₀的值。

这样，用评价函数表示误差，求出与该评价函数的极小值对应的中间像素值，由此能推定中间像素值的值。例如，如上述那样用最小二乘法来求出未知数，由此能以简单的处理来设定中间像素推定的初始值。即，与上述比较例(专利文献2)相比，在初始值设定中不需要适当的图像部分的探索。

3.第2推定方法

如前面在图2(B)等中所述的那样，在按中间像素值b₀₀、b₁₀设定的推定处理块中，推定到中间像素值b₂₀为止。该b₂₀相当于按中间像素值b₂₀、b₃₀设定的下一个推定处理块中的未知数(初始变量)。在本实施方式中，利用已经推定出的中间像素值b₂₀，能使下一个推定的未知数b₂₀的推定高速化。

用图10～图15说明能使未知数的推定高速化的第2推定方法。下面以中间像素值(b₂₀等)的推定为例进行说明，但是对推定像素(v₀₂等)也能同样进行推定。

如图10所示，在通过重叠移位采样来检测的水平方向的最初的行中，关注受光值a₀₀、a₁₀时，下式(10)成立。

a₀₀＝b₀₀+b₁₀，

a₁₀＝b₁₀+b₂₀                    …(10)

设b₀₀为未知数，下式(11)成立。

b₀₀＝(未知数)，

b₁₀＝a₀₀-b₀₀，

b₂₀＝b₀₀+δi₀＝b₀₀+(a₁₀-a₀₀)    …(11)

在此，δi₀用下式(12)表示。

δi₀＝a₁₀-a₀₀

＝(b₁₀+b₂₀)-(b₀₀+b₁₀)

＝b₂₀-b₀₀                       …(12)

如图11所示，对受光值模式{a₀₀，a₁₀}与中间像素值模式φ₀＝{b₀₀，b₁₀，b₂₀}进行比较。具体地说，如下式(13)所示，用未知数b₀₀的函数来表示误差的评价函数Ej。并且，如图12所示，探索性地求出使评价函数Ej最小的未知数b₀₀＝α1，通过上式(11)决定中间像素值b₁₀、b₂₀的值。

[数3]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,\·\·\·\left(13\right)$

$\mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

同样，求出水平方向上的下一个未知数b₂₀(初始变量)，求出中间像素值模式φ₂＝{b₂₀，b₃₀，b₄₀}。即，如图13所示，当关注受光值a₂₀、a₃₀时，下式(14)成立。

a₂₀＝b₂₀+b₃₀，

a₃₀＝b₃₀+b₄₀                    …(14)

设b₂₀为未知数，下式(15)成立。

b₂₀＝(未知数)，

b₃₀＝a₂₀-b₂₀，

b₄₀＝b₂₀+δi₂＝b₂₀+(a₃₀-a₂₀)    …(15)

在此，δi₂是错开1移位的受光值的差分值，用下式(16)表示。

δi₂＝a₃₀-a₂₀

＝(b₃₀+b₄₀)-(b₂₀+b₃₀)

＝b₄₀-b₂₀                       …(16)

如图13所示，对受光值模式{a₂₀，a₃₀}与中间像素值模式φ₂＝{b₂₀，b₃₀，b₄₀}进行比较。具体地说，如下式(17)所示，用未知数b₂₀的函数表示误差的评价函数Ej。

[数4]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,\·\·\·\left(17\right)$

$\mathrm{Ej}=\underset{i=2}{\overset{3}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

如上述那样，通过中间像素值b₀₀～b₂₀的推定已经求出了b₂₀的值。如图14所示，将该已经求出的b₂₀(＝α1+δi₀)的附近值的范围设定为探索范围。并且，使未知数b₂₀在该探索范围内变化，求出使评价函数Ej最小的b₀₀＝α2。这样，能显著减少上式(17)的运算次数，实现推定处理的高速化。

如图15所示，根据上述本实施方式，第1受光单位和第2受光单位是相邻的受光单位。并且，通过像素移位将第1、第2受光单位依次设定于第1方位和第1方位的下一个的第2方位。第1、第2方位的第1受光单位在第1重叠区域中重叠，第1、第2方位的第2受光单位在第2重叠区域中重叠。

此时，从第1方位的第1受光单位除去第1重叠区域后的区域是第1受光区域。另外，从第2方位的第1受光单位除去第1重叠区域后的区域是第2受光区域。然后，推定作为该第1、第2受光区域的受光值的第1、第2中间像素值(例如，b₀₀、b₂₀)(b₀₀＝α1，b₂₀＝α1+δi₀)。

另外，从第1方位的第2受光单位除去第2重叠区域后的区域是第3受光区域。另外，从第2方位的第2受光单位除去第2重叠区域后的区域是第4受光区域。然后，设作为该第3受光区域的受光值的第3中间像素值(b₂₀)为未知数，用使用了未知数(b₂₀)的关系式(b₄₀＝b₂₀+δi₂)来表示作为第4受光值的第4中间像素值(b₄₀)。

并且，第3受光区域与第2受光区域是相同的区域，根据作为第2受光区域的中间像素值而先求出的第2中间像素值(b₂₀＝α1+δi₀) 来设定作为第3中间像素值的未知数(b₂₀)的探索范围。在设定的探索范围中探索性地求出未知数(b₂₀)，推定第3中间像素值(b₂₀＝α2)。

这样，能进行中间像素值的高速推定。即，能根据先求出的第2中间像素值(b₂₀＝α1+δi₀)设定下一个推定处理块中推定的未知数(b₂₀)的探索范围。由此，能限定探索未知数(b₂₀)的范围，减少探索次数。

4.第3推定方法

在上述实施方式中，对未知数(b₀₀、b₂₀等)仅进行1次推定，但是在本实施方式中，也可以对未知数进行多次推定，根据其多个推定值来高精度地决定未知数的值。用图16、图17说明从多个推定值决定未知数的值的第3推定方法。下面以中间像素值(b₂₀)为例进行说明，但是推定像素值(v₀₂等)也能同样进行推定。

如图16所示，在通过重叠移位采样来检测的水平方向的受光值中，首先从{a₀₀，a₁₀}求出高精细的中间像素值φ₀＝{b₀₀，b₁₀，b₂₀}。该中间像素值φ₀＝{b₀₀，b₁₀，b₂₀}通过与上式(10)～(13)的方法同样的方法来求出。

通过与上式(14)～(17)的方法同样的方法，从{a₁₀，a₂₀}求出高精细的中间像素值φ₁＝{b₁₀，b₂₀，b₃₀}。通过与上式(14)～(17)的方法同样的方法，从{a₂₀，a₃₀}求出高精细的中间像素值φ₂＝{b₂₀，b₃₀，b₄₀}。

在这3次推定中，中间像素值b₂₀分别表示为集合φ₀、φ₁、φ₂。因此，通过3次推定得到中间像素值b₂₀的3个推定值。在本实施方式中，从这3个推定值决定(判断)最终的中间像素值b₂₀的值。例如，能通过以下的第1～第4决定方法来决定。

在第1决定方法中，设3个b₂₀的候选值的平均值为b₂₀的最终决定值。

在第2决定方法中，确定3个b₂₀的候选值中差分最小的2个值，设确定的2个值的平均值为b₂₀的最终决定值。根据该方法，使值相近的2个推定值为准确的推定值，能提高未知数的推定精度。

在第3决定方法中，将已知的多个高分辨图像样本的像素值相加，求出受光值和中间像素值。从求出的受光值和中间像素值预先确定对受光值模式发生概率高的中间像素值模式。并且，参照该预先确定的对应关系，求出对通过拍摄取得的受光值模式发生概率高的中间像素值模式。判断3个中间像素值模式φ₀、φ₁、φ₂中最接近求出的中间像素值模式的中间像素值模式，设作为判断出的中间像素值模式的元素的b₂₀为最准确的元素，为b₂₀的最终决定值。根据该方法，能进行反映了自然图像等已知的图像的像素值推定。

在第4决定方法中，根据与3个b₂₀的导出有关的附近观测像素值a₀₀～a₃₀的差分值δi₀、δi₁、δi₂的变化程度来决定最终采用的b₂₀。在此，设应用于b₂₀的判断的变化程度的组合模式为ξ＝{δi₀，δi₁，δi₂}。将已知的多个高分辨图像样本的像素值相加，求出φ₀、φ₁、φ₂的元素模式和组合模式ξ。从求出的元素模式和组合模式ξ预先求出b₂₀对组合模式ξ的发生概率分布。在最终判断中，参照预先求出的发生概率分布，求出b₂₀对从拍摄到的图像求出的差分值的模式ξ的发生概率分布。然后，用该发生概率分布判断通过推定运算得到的3个b₂₀的候选值中的哪一个的发生概率最高，确定b₂₀。即，由于预先知道b₂₀对变化程度的组合模式ξ发生的值的概率，因此能用推定处理中的组合模式ξ从通过推定得到的3个b₂₀的候选值中决定最准确的b₂₀的值。根据该方法，能进行反映了自然图像等已知的图像的像素值推定。另外，能不依赖于像素值的大小地进行与像素值的变化程度相应的像素值推定。

如图17所示，根据上述本实施方式，第1受光单位和第2受光单位是相邻的受光单位。并且，通过像素移位将第1、第2受光单位依次设定于第1方位和第1方位的下一个的第2方位。第1、第2方位的第1受光单位在第1重叠区域中重叠，第1、第2方位的第2受光单位在第2重叠区域中重叠。

此时，从第1方位的第1受光单位除去第1重叠区域后的区域是第1受光区域。另外，从第2方位的第1受光单位除去第1重叠区域后的区域是第2受光区域。然后，推定第1中间像素值模式(φ₀＝{b₀₀， b₁₀，b₂₀})，该第1中间像素值模式是包含作为该第1、第2受光区域的受光值的第1、第2中间像素值(例如，b₀₀、b₂₀)的连续的中间像素值。

从第1方位的第2受光单位除去第2重叠区域后的区域是第3受光区域。另外，从第2方位的第2受光单位除去第2重叠区域后的区域是第4受光区域。然后，推定第2中间像素值模式(φ₂＝{b₂₀，b₃₀，b₄₀})，该第2中间像素值模式是包含作为该第3、第4受光区域的受光值的第3、第4中间像素值(b₂₀、b₄₀)的连续的中间像素值。

第2方位的第1受光单位与第1方位的第2受光单位的重叠区域是第5受光区域。并且，推定第3中间像素值模式(φ₁＝{b₁₀，b₂₀，b₃₀})，该第3中间像素值模式是包含作为该第5受光区域的受光值的第5中间像素值(b₂₀)、不包含第1、第4中间像素值(b₀₀、b₄₀)的连续的中间像素值。

上述第3、第5受光区域是与第2受光区域相同的受光区域。并且，该相同的受光区域的中间像素值(b₂₀)是根据通过第1～第3中间像素值模式(φ₀、φ₂、φ₁)的推定而得到的第2、第3、第5中间像素值(b₂₀)最终决定的。

这样，能进行像素值的高精度推定。即，能根据通过3次(多次)推定而求出的3个(多个)推定值来决定最终的像素值。例如，如上述那样使用利用已知的图像的决定方法，由此能进行更符合实际的图像的像素值模式的像素值推定。

5.第4推定方法

在上述推定方法中，用最小二乘法来推定像素值，但是在本实施方式中，也可以用神经网络(非线形的推定方法)来推定像素值。用图18说明该第4推定方法。下面说明中间像素值(b₀₀等)的推定，但是推定像素值(v₀₀等)也能同样进行推定。

在该推定方法中，将已知的高分辨图像的像素值相加，求出受光值{a_m0，a_(m+1)0}和与该受光值对应的中间像素值φ_m＝{b_m0，b_(m+1)0，b_(m+2)0}(m是零以上的整数)。将它们作为学习数据，通过图18示出的神经网络的学习计算来预先算出权重系数W。具体 地说，以使下式(18)示出的误差评价值E为零(包括大致为零。广义上为规定值)的方式算出权重系数W。该神经网络的学习方法只要用一般的神经网络学习法即可。

并且，在从拍摄图像进行推定时，用预先算出的权重系数W进行推定。即，通过用上式(2)等说明的方法表示中间像素值的关系式，使未知数b_m0变化，求出使下式(18)示出的误差评价值E最小的b_m0(＝α)。

[数5]

$\left(\begin{array}{c}{f}_1\\ f_2\\ f_3\end{array}\right)\left(\begin{array}{c}{W}_{11}{W}_{12}{W}_{13}{W}_{14}{W}_{15}\\ W_{21}{W}_{22}{W}_{23}{W}_{24}{W}_{25}\\ W_{31}{W}_{32}{W}_{33}{W}_{34}{W}_{35}\end{array}\right)\left(\begin{array}{c}{b}_{m0}\\ b_{(m+1)0}\\ b_{(m+2)0}\\ a_{m0}\\ a_{(m+1)0}\end{array}\right),\·\·\·\left(18\right)$

E＝W₄₁f₁+W₄₂f₂+W₄₃f₃

根据本实施方式，基于已知的高分辨帧图像，取得中间像素值模式φ_m＝{b_m0，b_(m+1)0，b_(m+2)0}对受光单位的受光值{a_m0，a_(m+1)0}的对应关系，作为预定受光单位的受光值与中间像素值模式的类似性的预见信息。并且，根据所取得的预见信息来评价用中间像素值间的关系式表示的中间像素值模式φ_m＝{b_m0，b_(m+1)0，b_(m+2)0}与所取得的受光单位的受光值{a_m0，a_(m+1)0}的类似性。

这样，根据基于已知的高分辨帧图像取得的预见信息来评价类似性，因此能进行反映了包含于自然图像等已知的图像的图像信息(例如空间频率特性)的像素值推定。

例如，根据上述第4推定方法，图像处理装置具有神经网络。该神经网络将通过基于已知的高分辨帧图像的学习而得到的节点的权重系数W用作预见信息。并且，神经网络接受中间像素值模式φ_m＝{b_m0，b_(m+1)0，b_(m+2)0}和受光单位的受光值{a_m0，a_(m+1)0}，输出类似性的评价结果E。根据来自该神经网络的类似性的评价结果E，决定中间像素值模式φ_m＝{b_m0，b_(m+1)0，b_(m+2)0}的各中间像素值的值。

这样，使用通过学习得到的节点的权重系数W的神经网络，就能根据预见信息评价中间像素值模式与受光单位的受光值的类似性。

另外，根据上述第3推定方法，求出对于受光值模式发生概率高的中间像素值模式作为预见信息(第3决定方法)。另外，也可以求出b₂₀对于变化程度的组合模式ξ＝{δi₀，δi1，δi₂}的发生概率分布作为预见信息(第4决定方法)。

这样，能将像素值的发生概率分布作为预见信息来推定像素值。由此，能将自然图像等已知的图像中发生概率高的像素值作为推定值。

6.适应噪声减少处理

在本实施方式中，也可以对推定出的像素值v_ij进行与像素位置(例如，受光单位内的像素位置)相应的噪声滤波处理(广义上是滤波处理)。图19示出噪声滤波的构成例。

例如，在通过相邻4像素的像素相加的重叠移位采样来进行像素推定的情况下，噪声的出现方式根据最终推定像素v_ij～v_(i+1)(j+1)的位置而不同。如图19所示，拍摄固定灰度级的实心图像(固定灰度级图)，对该摄像图像进行推定处理，由噪声比较部NH对推定出的不同的位置的最终推定像素v_ij～v_(i+1)(j+1)进行比较。并且，根据比较的结果，由滤波系数设定部FK设定滤波系数，使得生成噪声大的像素位置的噪声滤波器F1～F4的噪声减少效果强。结果是设定滤波系数使得噪声的出现方式相同(大致同样)而不依赖于v_ij～v_(i+1)(j+1)的位置。通过进行这样设定了滤波系数的滤波处理，能提高预测像素图像的图像质量。

根据上述噪声滤波处理，对通过推定得到的像素值v_ij～v_(i+1)(j+1)按受光单位内的像素位置进行不同的滤波系数的滤波处理。

这样，在根据受光单位内的像素位置而产生不同的噪声的情况下，也能通过进行与受光单位内的像素位置相应的噪声滤波处理来减少该噪声。

7.第5推定方法(像素值的加权相加)

在上述推定方法中，将受光单位内的像素值单纯相加而读出，但是在本实施方式中，也可以将受光单位内的像素值加权相加而读出，从该受光值求出推定像素值。用图20～图28说明该第5推定方法。

如图20所示，设相加读出的权重系数为c₁、c₂、c₃、c₄。设c₁＝1，则权重系数符合下式(19)示出的比率关系的规则(r是r＞1的实数)。

c₁＝1，c₂＝1/r，c₃＝1/r，c₄＝1/r²    …(19)

下面为了简化说明，设r＝2，则有下式(20)。

c₁＝1，c₂＝1/2，c₃＝1/2，c₄＝1/4     …(20)

如图21(A)所示，关注通过加权像素相加重叠移位采样来检测的水平方向的最初的行，按移位顺序设加权像素相加值为a₀₀、a₁₀、a₂₀。此时，下式(21)成立。

a₀₀＝c₁v₀₀+c₂v₀₁+c₃v₁₀+c₄v₁₁

a₁₀＝c₁v₁₀+c₂v₁₁+c₃v₂₀+c₄v₂₁    …(21)

另外，如下式(22)所示，定义b₀₀、b₁₀、b₂₀，代入上式(20)。

b₀₀＝c₁v₀₀+c₂v₀₁＝v₀₀+(1/2)v₀₁

b₁₀＝c₁v₁₀+c₂v₁₁＝v₁₀+(1/2)v₁₁

b₂₀＝c₁v₂₀+c₂v₂₁＝v₂₀+(1/2)v₂₁  …(22)

下面，用上式(20)、(22)将上式(21)变形，则下式(23)成立。

a₀₀＝v₀₀+(1/2)v₀₁+(1/2)v₁₀+(1/4)v₁₁

＝b₀₀+(1/2)b₁₀

a₁₀＝v₁₀+(1/2)v₁₁+(1/2)v₂₀+(1/4)v₂₁

＝b₁₀+(1/2)b₂₀                 …(23)

在上式(23)中，对a₀₀、a₁₀乘以规定的系数(规定的权重系数)并取差分δi₀，用上式(22)进行变形，则下式(24)成立。

δi₀＝a₁₀-2a₀₀

＝(1/2)v₂₀+(1/4)v₂₁-(2v₀₀+v₀₁)

＝(1/2)b₂₀-2b₀₀                 …(24)

设b₀₀为未知数，则如下式(25)所示，能将中间像素值b₁₀、b₂₀作为b₀₀的函数来求出。

b₀₀＝(未知数)，

b₁₀＝2(a₀₀-b₀₀)，

b₂₀＝4b₀₀+2δi₀＝4b₀₀+2(a₁₀-2a₀₀)…(25)

这样，设b₀₀为未知数(初始变量)来求出高精细的中间像素值{b₀₀，b₁₀，b₂₀}的组合模式。同样，在第2行、第3行中也设b₀₁、b₀₂为未知数来求出中间像素值{b₀₁，b₁₁，b₂₁}、{b₀₂，b₁₂，b₂₂}的组合模式。

下面说明求出未知数b₀₀的方法。如图22所示，对通过加权重叠移位采样来检测的采样像素值的模式{a₀₀，a₁₀}与中间像素值{b₀₀，b₁₀，b₂₀}的模式进行比较。并且，导出使其误差E最小的未知数b₀₀，将其设定为中间像素值b₀₀。

此时，如上式(23)所示，采样像素值{a₀₀，a₁₀}成为中间像素值{b₀₀，b₁₀，b₂₀}的不同加权的相邻值的相加值。因此，单纯比较它们无法得到正确的推定值。因此，如图23所示，对中间像素值加权来进行比较。具体地说，利用中间像素值{b_ij，b_(i+1)j}的加权为c₃＝c₁/2，c₄＝c₂/2，则可知下式(26)成立。

a_ij＝b_ij+(1/2)b_(i+1)j…(26)

考虑该上式(26)的加权，求出下式(27)示出的评价函数Ej。然后，利用该评价函数Ej来进行模式{a₀₀，a₁₀}与中间推定像素值{b₀₀，b₁₀，b₂₀}的类似性评价。

[数6]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-\frac{b_{(i+1)j}}{2})}^2,\·\·\·\left(27\right)$

$\mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

利用上式(25)，由将b₀₀作为初始变量的函数来表示评价函数Ej。因此，如图24所示，求出使Ej最小的未知数b₀₀(＝α)，就能决定b₀₀的值。并且，将推定出的b₀₀的值代入上式(25)，求出b₁₀、b₂₀。此外，b₀₀能取的值的范围为0≤b₀₀≤a₀₀，因此只要在该范围内求出 评价函数Ej的最小值即可。同样，在第2行、第3行中也能将b₀₁，b₀₂作为未知数来求出中间像素值{b₀₁，b₁₁，b₂₁}，{b₀₂，b₁₂，b₂₂}的组合模式。

下面说明用求出的中间像素值b_ij来求最终推定像素值v_ij的方法。下面以图25(A)、图25(B)所示的左端垂直列(i＝0列)为例进行说明。如图26所示，中间像素值{b₀₀，b₀₁}与最终推定像素值{v₀₀，v₀₁，v₀₂}的关系用下式(28)表示。

b₀₀＝c₁v₀₀+c₂v₀₁＝v₀₀+(1/2)v₀₁，

b₀₁＝c₁v₀₁+c₂v₀₂＝v₀₁+(1/2)v₀₂…(28)

当对b₀₀，b₀₁乘以规定的系数并求差分δj₀时，下式(29)成立。

δj₀＝b₀₁-2b₀₀

＝(v₀₁+(1/2)v₀₂)-(2v₀₀+v₀₁)

＝(1/2)v₀₂-2v₀₀            …(29)

设v₀₀为未知数(初始变量)，用上式(28)、(29)将最终推定像素值v₀₁、v₀₂作为v₀₀的函数来求出。下式(30)示出该函数。

v₀₀＝(未知数)，

v₀₁＝2(b₀₀-v₀₀)，

v₀₂＝4v₀₀+2δj₀＝4v₀₀+2(b₀₁-2b₀₀)…(30)

对上式(30)的推定像素值模式{v₀₀，v₀₁，v₀₂}与中间像素值模式{b₀₀，b₀₁}进行比较，导出使其误差Ei最小的未知数v₀₀。此时，利用最终推定像素值{v_ij，v_(i+1)j}的加权为c₂＝c₁/2这一点，则下式(31)成立。

b_ij＝v_ij+(1/2)v_i(j+1)…(31)

如图27所示，考虑上式(31)示出的加权来进行模式的比较。具体地说，求出下式(32)示出的评价函数Ei。

[数7]

$e_{\mathrm{ij}}={(\frac{b_{\mathrm{ij}}}{2}-v_{\mathrm{ij}})}^2+{(\frac{b_{\mathrm{ij}}}{2}-\frac{v_{i(j+1)}}{2})}^2,\·\·\·\left(32\right)$

$\mathrm{Ei}=\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}$

然后，如图28所示，求出使评价函数Ei最小的未知数v₀₀(＝β)， 将求出的v₀₀代入上式(30)并求出最终推定像素值v₀₁、v₀₂。同样，在第2列中也是，设v₁₀为未知数来求出最终推定像素值{v₁₀，v₁₁，v₁₂}的组合模式。

根据上述本实施方式，将受光单位的各像素值(例如，v₀₀、v₁₀、v₀₁、v₁₁)加权相加而作为受光单位的受光值(a₀₀＝v₀₀+(1/2)v₀₁+(1/2)v₁₀+(1/4)v₁₁)来读出。然后，根据通过加权相加得到的受光单位的受光值(a₀₀、a₁₀)来推定受光单位的各像素的像素值(v₀₀、v₁₀、v₀₁、v₁₁)。

这样，能将受光单位的各像素值加权相加来取得低分辨帧图像，从所取得的低分辨帧图像推定高分辨帧图像的像素值。由此，在推定处理中，能提高被拍摄体所具有的高频成分的再现性。即，在将受光单位的像素值单纯相加的情况下，将矩形的窗函数对成像进行卷积运算。另一方面，在对受光单位的像素值进行加权相加的情况下，将比矩形包含更多高频成分的窗函数对成像进行卷积运算。因此，能取得更多地包含被拍摄体所具有的高频成分的低分辨帧图像，能提高推定图像中的高频成分的再现性。

8.第1插值方法

在本实施方式中，用于像素值的推定的受光值(a₀₀等)可以原样使用相加读出的受光值，也可以使用通过插值生成的受光值。用图29～图32说明本实施方式的受光值的插值方法。图29示出了第1插值方法的说明图。

此外，在以下的说明中使用的帧是指例如利用摄像元件拍摄1个低分辨帧图像的定时、在图像处理中处理1个低分辨帧图像的定时。或者，图像数据中的1个低分辨帧图像、高分辨帧图像也适当地称为帧。

在本实施方式中，用在其它帧中取得的受光值来对插值对象的帧的受光值进行插值(时间轴插值)。

具体地说，如图29的A 1所示，在帧fx～fx+3中，依次取得受光值a_ij、a_(i+1)j、a_(i+1)(j+1)、a_i(j+1)。在帧fx+4中，再次取得受光值a_ij。如A2所示，例如由受光值a_ij构成的低分辨帧图像由帧fx、fx +4、fx+8取得。如A3所示，对受光值a_ij的时间序列数据进行时间轴插值滤波处理(滤波处理)。如A4所示，通过该时间轴插值滤波处理，在全部帧(各帧)中生成受光值a′_ij。

这样，每4帧取得各受光值，进行时间轴插值滤波处理，在全部帧中生成受光值a′_ij、a′_(i+1)j、a′_(i+1)(j+1)、a′_i(j+1)。

图30示出插值处理的定时图例。如图30的B 1所示，按各帧将受光单位的设定位置分别偏移1像素。如B2所示，在各帧中拍摄融合帧F1、F2、…(低分辨帧图像)。如B 3所示，生成低分辨动态图像帧，进行实时取景显示、录制。如B4所示，进行受光值的时间轴插值，用插值后的受光值进行像素值推定，生成高分辨静止图像帧。如B5所示，从对全受光值进行插值的第9帧输出高分辨静止图像或者高分辨动态图像。

图31示出摄像装置和图像处理装置的第1详细构成例。图31示出的摄像装置10包括摄像光学系统100(透镜)、宽带通光学LPF110(广义上为光学低通滤波器)、摄像元件120(图像传感器)、重叠移位采样部130(读出控制部)、数据记录部140(存储部)、显示处理部150(显示控制部)、监视显示部160(显示装置)。图像处理装置20包括时间轴像素插值部200(插值处理部)、像素值推定运算部210(推定处理部)、图像输出部300。

此外，本实施方式的摄像装置和图像处理装置不限于该构成，也可以是省略其构成元素的一部分或者增加其它构成元素等的各种变形实施方式。另外，在图31中示出图像处理装置20设于摄像装置10的外部的例子，但是在本实施方式中，图像处理装置20也可以设于摄像装置10的内部。

摄像装置10例如是数码相机、摄像机。摄像光学系统100对被拍摄体进行成像。宽带通光学LPF  110使例如与摄像元件120的分辨率对应的频带通过。摄像元件120(例如12兆像素)由例如能进行模拟相加读出的CCD、CMOS传感器构成。重叠移位采样部130控制例如受光单位的设定、相加读出，取得融合帧(例如3兆像素)。数据记录部140例如由存储卡等实现，记录融合帧(fusion-frame) 的动态图像。监视显示部160进行动态图像的实时取景显示、再现的动态图像的显示。

图像处理装置20例如由图像处理引擎(IC)、PC(计算机)实现。时间轴像素插值部200进行融合帧的受光值的时间轴插值。像素值推定运算部210进行最终推定像素值的推定。图像输出部300包括抗混叠(anti-aliasing)滤波器220、250、低通滤波器230、欠采样(under sampling)部240，根据最终推定像素值输出静止图像或者动态图像。抗混叠滤波器220对最终推定像素值进行抗混叠处理，输出高分辨静止图像(例如12兆像素)。低通滤波器230将最终推定像素值限制于高清的频带。欠采样部240对进行了频带限制的最终推定像素值以高清的像素数进行欠采样。抗混叠滤波器220对进行了欠采样的图像进行抗混叠处理，输出高清动态图像(例如2兆像素)。此外，也可以不进行欠采样而输出高分辨动态图像(例如12兆像素)。

此外，在上述第1插值方法中，进行了时间轴滤波处理的受光值的插值，但是在本实施方式中，也可以进行动态补偿的受光值的插值。例如，如图32所示，使用4个以高帧速率(1/60秒)拍摄到的连续的融合帧，对各融合帧进行动态补偿来生成1个静止图像(相当于以低帧速率1/15秒拍摄到的高精细图像)。

那么，通过像素偏移依次取得低分辨帧图像，因此为了全部取得用于像素值推定的受光值而需要4帧。因此，当将拍摄到的受光值原样用于像素值推定时，将不同的帧的受光值用于推定，在被拍摄体运动的情况下画质有可能恶化。

关于这一点，根据上述实施方式，在各帧fx、fx+1、…中进行像素移位，通过像素移位将受光单位依次设定于多个方位(4个方位。上述图29示出的P1～P4)。并且，按每多个帧(每4帧)将受光单位设定于相同的方位。这样，按时间序列取得与各方位对应的受光值a_ij～a_(i+1)(j+1)，利用所取得的受光值按时间序列取得低分辨帧图像(连续低分辨帧图像)。

对所取得的连续低分辨帧图像进行对多个方位P1～P4的受光 单位的受光值a′_ij～a′_(i+1)(j+1)进行插值的处理。具体地说，对插值对象的帧(例如fx+1)的连续低分辨帧图像中的欠缺的方位(例如P 1)的受光单位的受光值(a′_ij)进行时间轴插值。即，受光值(a′_ij)用与欠缺的方位相同的方位(P1)的、插值对象的帧(fx+1)的前后帧(fx、fx+4)的连续低分辨帧图像中的受光单位的受光值(a_ij)来进行时间轴插值。

然后，根据通过时间轴插值进行了插值的连续低分辨帧图像，推定各帧fx、fx+1、…中的受光单位的各像素的像素值v_ij。

这样，通过像素移位来取得受光值，用所取得的受光值对欠缺的方位的受光值进行插值，能从插值后的受光值求出最终推定像素值。由此，能在各帧中对全方位的受光值进行插值，因此从相同的帧中的受光值进行像素值推定，在被拍摄体运动的情况下也能抑制画质恶化。

例如，在上述实施方式中，通过时间轴插值滤波来进行时间轴插值。由此，对各方位(例如P1)的受光值(fx、fx+4的a_ij)分别进行时间轴插值，能生成欠缺方位(fx+1～fx+3的P1)的受光值(a′_ij)。

另外，在上述实施方式中，图像输出部300根据由像素值推定运算部210推定出的各帧中的最终推定像素值来生成各帧中的高分辨帧图像，将生成的高分辨帧图像作为静止图像或者动态图像来输出。

这样，能根据拍摄到的动态图像输出任意定时的高分辨静止图像。由此，即使没有掌握好快门时机，也能在事后得到决定性的瞬间的高分辨静止图像。

9.第2插值方法

在本实施方式中，也可以进行与被拍摄体的运动相应的适应性受光值的插值。用图33、图34说明进行适应性受光值的插值的第2插值方法。

在第2插值方法中，对于不运动或者运动小的部分(受光值)，应用邻近的前后帧的受光值，对于有运动或者运动大的部分，在相 同帧内对从接近受光值进行了重叠移位的受光值进行插值推定。不过，若进行摇摄(panning)等，则判断为全像素发生运动，因此也可以预先进行动态补偿处理。

下面从图33示出的低分辨图像帧fx～fx+4中关注帧fx+1，以生成该帧的高分辨静止图像的情况为例进行说明。为了简化说明，图34示出在帧fx+1中作为摄像数据而取得的受光值的一部分。在图34中，将所取得的受光值用a₁₀(x+1)、a_(-1)0(x+1)、a_(-1)2(x+1)、a₁₂(x+1)表示。

如图34所示，为了求出例如构成a₁₀(x+1)的4个高分辨像素，需要通过插值求出以该a₁₀(x+1)为基准移位了像素间距p的3个受光值a₀₀(x+1)、a₀₁(x+1)、a₁₁(x+1)。下面说明求出这3个受光值的方法。

首先，如图33的D1所示，对在a₀₀(x+1)的对应位置取得的前后相邻帧fx、fx+4的a₀₀(x)和a₀₀(x+4)进行比较。然后，在其差小于规定阈值δ的情况下，判断为在帧fx、fx+4之间被拍摄体(发生运动的被拍摄体的一部分)没有通过与a₀₀(x+1)对应的像素位置。在这种情况下，如D2所示，将a₀₀(x)或者a₀₀(x+4)分配为a₀₀(x+1)的值。

另一方面，在a₀₀(x)与a₀₀(x+4)的差大于规定阈值δ的情况下，判断为在帧fx、fx+4之间被拍摄体通过了与a₀₀(x+1)对应的像素位置。在这种情况下，如D3所示，用相同帧内接近a₀₀(x+1)的受光值a₁₀(x+1)和a_(-1)0(x+1)求出插值值，将其设为a₀₀(x+1)的值。例如，设a₁₀(x+1)和a_(-1)0(x+1)的平均值为a₀₀(x+1)的值。不过，在本实施方式中，也可以不是接近的2个受光值的平均，而是使用更多的周边的受光值来进行插值。

总结上述a₀₀(x+1)的插值方法，用下式(33)表示。

在|a₀₀(x)-a₀₀(x+4)|≤δ时，

a₀₀(x+1)＝a₀₀(x)＝a₀₀(x+4)

在|a₀₀(x)-a₀₀(x+4)|＞δ时，

a₀₀(x+1)＝{a₁₀(x+1)+a_(-1)0(x+1)}/2…(33)

同样，如D4、D5所示，a₁₁(x+1)用下式(34)进行插值。

在|a₁₁(x-2)-a₁₁(x+2)|≤δ时，

a₁₁(x+1)＝a₁₁(x-2)＝a₁₁(x+2)

在|a₁₁(x-2)-a₁₁(x+2)|＞δ时，

a₁₁(x+1)＝{a₁₀(x+1)+a₁₂(x+1)}/2…(34)

如D6、D7所示，a₀₁(x+1)用下式(35)进行插值。

在|a₀₁(x-1)-a₀₁(x+3)|≤δ时，

a₀₁(x+1)＝a₀₁(x-1)＝a₀₁(x+3)

在|a₀₁(x-1)-a₀₁(x+3)|＞δ时，

a₀₁(x+1)＝{a₁₀(x+1)+a_(-1)2(x+1)}/2…(35)

此外，阈值δ只要是评价所生成的图像质量，设定允许的水平的阈值δ即可。例如，只要设定为不会在静止图像的情况下由于噪声而判断为发生运动的水平即可。

根据上述第2插值方法，求出插值对象的帧(例如fx+1)的前后帧(例如fx、fx+4)中的受光单位的受光值的差分值(a₀₀(x)-a₀₀(x+4))。并且，在差分值小于规定的阈值δ的情况下，插值对象的帧(fx+1)中的欠缺的方位(位置)的受光单位的受光值(a₀₀(x+1))用前后帧(fx、fx+4)中的与欠缺的方位相同的方位的受光单位的受光值(a₀₀(x)、a₀₀(x+4))来进行插值。另一方面，在差分值大于规定的阈值δ的情况下，插值对象的帧(fx+1)中的欠缺的方位的受光单位的受光值(a₀₀(x+1))用在插值对象的帧(fx+1)中取得的受光值(a₁₀(x+1)、a_(-1)0(x+1))来进行插值。

这样，能根据被拍摄体的运动来适应性地对受光值进行插值。具体地说，在运动小的受光单位中，用在相同位置取得的受光值，因此能减少位置上的误差。另一方面，在运动大的受光单位中，用在相同帧中取得的受光值，因此能减少时间上的误差。例如，从受光值a₀₀(x)、a₀₀(x+4)无法得知被拍摄体何时通过帧fx与fx+4之间。因此，如果根据a₀₀(x)、a₀₀(x+4)进行插值，则在比被拍摄体的通过定时靠前的定时也会出现被拍摄体的运动的影响。在 本实施方式中，在判断为被拍摄体通过了时，用相同帧的受光值进行插值，因此能正确地反映被拍摄体的通过定时。

另外，根据第2插值方法，能抑制运动的误检测引起的画质恶化。例如，在4帧拍摄的期间内发生了超过规定阈值δ的单纯的明亮度的变化的情况下，有可能将单纯的明亮度的变化误检测为被拍摄体的运动。关于这一点，根据第2插值方法，在进行了误检测的情况下也仅切换为帧内插值，因此能抑制画质显著恶化。

10.彩色图像的第1推定方法

在上述实施方式中说明了黑白图像的像素值推定，而本实施方式也能应用于彩色图像的像素值推定。用图35说明彩色图像的第1推定方法。

在该方法中，不分离RGB地进行相加读出，推定RGB的最终像素值。例如，如图35所示，在帧f_k+0～f_k+3中，依次取得下式(36)示出的受光值a₀₀、a₁₀、a₀₁、a₁₁。

a₀₀＝R₁₀+G1₀₀+G2₁₁+B₀₁，

a₁₀＝R₁₀+G1₂₀+G2₁₁+B₂₁，

a₀₁＝R₁₂+G1₀₂+G2₁₁+B₀₁，

a₁₁＝R₁₂+G1₂₂+G2₁₁+B₂₁         …(36)

然后，根据这些受光值，与图2(A)等中的上述推定方法同样地推定像素值v₀₀、v₁₀、v₀₁、v₁₁。由于已知推定像素值与RGB的对应关系，因此能求出RGB的推定像素值G1₀₀＝v₀₀，R₁₀＝v₁₀，B₀₁＝v₀₁，G2₁₁＝v₁₁。

根据上述彩色图像的第1推定方法，摄像元件是彩色摄像元件(RGB单板图像传感器)，将相邻的多个像素(例如，G1₀₀、R₁₀、B₀₁、G2₁₁)不依赖于像素的颜色地设定为受光单位。将设定为受光单位的相邻的多个像素的像素值相加而读出(a₀₀＝G1₀₀+R₁₀+B₀₁+G2₁₁)，取得低分辨帧图像。然后，根据所取得的低分辨帧图像来推定受光单位的各像素的像素值(G1₀₀、R₁₀、B₀₁、G2₁₁)，根据推定出的像素值来输出彩色的高分辨帧图像(静止图像或者动态图像)。

这样，在彩色拍摄中也是以高帧速率拍摄低分辨帧图像，从该低分辨帧图像进行像素值推定，能取得任意定时的彩色的高分辨帧图像。另外，将相邻4像素的像素值相加来取得受光值，因此能减少随机噪声。另外，读出像素的位置接近，因此在上述第2插值方法的帧内像素插值中能使用相关性更高的周边像素。

11.彩色图像的第2推定方法

在本实施方式中，也可以将RGB分离而相加读出，推定RGB的最终像素值。用图36～图39说明该彩色图像的第2推定方法。 

如图36所示，对G1的像素通过重叠采样取得下式(37)示出的受光值。从这些受光值推定最终推定像素G1。

a₀₀＝G1₀₀+G1₂₀+G1₀₂+G1₂₂，

a₁₀＝G1₂₀+G1₄₀+G1₂₂+G1₄₂，

a₀₁＝G1₀₂+G1₂₂+G1₀₄+G1₂₄，

a₁₁＝G1₂₂+G1₄₂+G1₂₄+G1₄₄  …(37)

同样，如图37所示，对G2的像素取得下式(38)示出的受光值。从这些受光值推定最终推定像素G2。

a₀₀＝G2₁₁+G2₃₁+G2₁₃+G2₃₃，

a₁₀＝G2₃₁+G2₅₁+G2₃₃+G2₅₃，

a₀₁＝G2₁₃+G2₃₃+G2₁₅+G2₃₅，

a₁₁＝G2₃₃+G2₅₃+G2₃₅+G2₅₅  …(38)

如图38所示，对R的像素取得下式(39)示出的受光值。从这些受光值推定最终推定像素R。

a₀₀＝R₁₀+R₃₀+R₁₂+R₃₂，

a₁₀＝R₃₀+R₅₀+R₃₂+R₅₂，

a₀₁＝R₁₂+R₃₂+R₁₄+R₃₄，

a₁₁＝R₃₂+_R52+R₃₄+R₅₄      …(39)

如图39所示，对B的像素取得下式(40)示出的受光值。从这些受光值推定最终推定像素B。

a₀₀＝B₀₁+B₂₁+B₀₃+B₂₃，

a₁₀＝B₂₁+B₄₁+B₂₃+B₄₃，

a₀₁＝B₀₃+B₂₃+B₀₅+B₂₅，

a₁₁＝B₂₃+B₄₃+B₂₅+B₄₅      …(40)

根据上述彩色图像的第2推定方法，将相同颜色的多个像素(例如G1₀₀、G1₂₀、G1₀₂、G1₂₂)设定于受光单位，将设定于受光单位的相同颜色的多个像素的像素值相加而读出(a₀₀＝G1₀₀+G1₂₀+G1₀₂+G1₂₂)，取得低分辨帧图像。然后，根据所取得的低分辨帧图像来推定受光单位的各像素的像素值(G1、G2、R、B)，根据推定出的像素值来输出彩色的高分辨帧图像。

这样，按各颜色以高帧速率拍摄低分辨帧图像，从该低分辨帧图像进行像素值推定，能取得彩色的高分辨帧图像。

12.适应于明亮度的相加像素数的设定方法

在上述实施方式中，按每4像素设定受光单位，但是在本实施方式中，也可以根据摄像图像的明亮度来使受光单位的设定像素数变化。用图40、图41说明该适应于明亮度的相加像素数的设定方法。

如图40所示，例如以相邻2×2像素的像素相加摄像为基本，在摄像图像的平均亮度值L(广义上是明亮度)低于阈值L2的情况下，使进行像素相加的像素为相邻3×3像素。在平均亮度值L低于阈值L1(L1＜L2)的情况下，使进行像素相加的像素增加为相邻4×4像素。这样设定受光单位的像素数，进行重叠移位采样和像素推定，求出高分辨图像的像素值。

图41示出与明亮度适应而可变地设定相加像素数的摄像装置和图像处理装置的第2详细构成例。图41示出的摄像装置10包括摄像光学系统100、宽带通光学LPF 110(广义上为光学低通滤波器)、摄像元件120、重叠移位采样部130、数据记录部140、显示处理部150、监视显示部160、明亮度检测部170、相加像素数设定部180。图像处理装置20包括时间轴像素插值部200、像素值推定运算部210、图像输出部300。此外，下面对与在图31等中所述的构成元素相同的元素标注相同的附图标记，适当省略说明。

明亮度检测部170算出由摄像元件120(例如16兆像素)拍摄到的图像的平均亮度。相加像素数设定部180根据由明亮度检测部170 算出的平均亮度设定受光单位的相加像素数(例如4×4＝16像素)。重叠移位采样部130按所设定的相加像素数取得融合帧(1兆像素)。像素值推定运算部210从融合帧推定最终推定像素值(16兆像素)。然后，图像输出部300根据最终推定像素值输出静止图像(16兆像素)或者高清动态图像(2兆像素)。

根据上述实施方式，被拍摄体的明亮度(平均亮度)越暗像素数越多地设定包含于受光单位的像素数。

这样，通过随着被拍摄体的明亮度变暗而增加相加像素数，能实现随机噪声的SN改善。另外，越暗越以高灵敏度拍摄低分辨帧图像，能提高推定的高分辨帧图像的灵敏度。

此外，如上所述详细说明了本实施方式，但是本领域技术人员能容易理解：能进行不实质脱离本发明的新事项和效果的多种变形。因此，这种变形例全部包含于本发明的范围。例如，在说明书或者附图中至少一次与更广义或者同义的不同用语(受光单位，中间像素值，像素偏移等)共同记载的用语(受光值取得单位，中间推定像素值，重叠移位采样等)在说明书或者附图的任意位置中都能置换为该不同用语。另外，读出控制部、插值处理部、推定处理部、图像输出部、摄像装置、图像处理装置等的构成、动作也不限于在本实施方式中说明的方案，能进行各种变形实施。

附图标记说明：

10摄像装置，20图像处理装置，100摄像光学系统，

110光学低通滤波器，120摄像元件， 

130重叠移位采样部，140数据记录部， 

150显示处理部， 

160监视显示部，170明亮度检测部，180相加像素数设定部，

200时间轴像素插值部，210像素值推定运算部，

220、250抗混叠滤波器，230低通滤波器，

240欠采样部，300图像输出部， 

Bk₀₀推定处理块，a₀₀受光单位，v₀₀推定像素值，

b₀₀中间像素值，p像素间距，i、j像素位置，

δi₀受光值的差分值，

Ej、Ei评价函数，c₁～c₄权重系数，P1～P4方位，

fx帧。

Claims (15)

1.一种图像处理装置，其特征在于，

包括：

存储部，其在按彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定作为取得受光值的单位的受光单位，将包含于上述受光单位的多个像素的像素值相加而作为上述受光单位的受光值来读出，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；

推定运算部，其根据存储于上述存储部的多个低分辨帧图像来推定包含于上述受光单位的各像素的像素值；以及

图像输出部，其根据由上述推定运算部推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像，

上述存储部存储一边使上述受光单位重叠一边每次1像素地依次进行像素移位而取得的与构成上述受光单位的像素数相同数量的上述低分辨帧图像，

上述推定运算部根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像来推定包含于上述受光单位的各像素的像素值。

2.根据权利要求1所述的图像处理装置，其特征在于，

通过上述像素移位将上述受光单位依次设定于第1方位和上述第1方位的下一个的第2方位，上述第1方位的受光单位与上述第2方位的受光单位重叠，在该情况下，

上述推定运算部求出上述第1方位的受光单位、第2方位的受光单位的受光值的差分值，

用上述差分值表示从上述第1方位的受光单位除去重叠区域后的第1受光区域的受光值即第1中间像素值与从上述第2方位的受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式，

用上述关系式推定上述第1中间像素值、第2中间像素值，用推定出的上述第1中间像素值来求出上述受光单位的各像素的像素值。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述推定运算部在设包含上述第1中间像素值、第2中间像素值的连续的中间像素值为中间像素值模式的情况下，用上述受光单位的受光值来表示上述中间像素值模式的中间像素值间的关系式，

对用中间像素值间的关系式表示的上述中间像素值模式和上述受光单位的受光值进行比较来评价类似性，

根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式的中间像素值的值。

4.根据权利要求1所述的图像处理装置，其特征在于，

将上述受光单位的各像素值用与上述受光单位内的像素位置对应的权重系数进行加权相加而作为上述受光单位的受光值来读出，

上述推定运算部根据通过加权相加得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。

5.根据权利要求4所述的图像处理装置，其特征在于，

在将上述受光单位内的上述水平方向的像素位置设为x，将上述受光单位内的上述垂直方向的像素位置设为y，将上述受光单位内的上述水平方向的左端及上述垂直方向的上端的像素位置设为(x，y)＝(0，0)，将上述水平方向的右方向设为x的正方向，将上述垂直方向的下方向设为y的正方向，将r设为大于1的实数的情况下，

与上述受光单位内的上述像素位置(x，y)对应的权重系数c(x，y)是，c(x，y)＝1/r^(x+y)。

6.根据权利要求1所述的图像处理装置，其特征在于，

包括插值处理部，在按各帧进行上述像素移位，与通过上述像素移位而设定的上述受光单位的各方位对应地取得按时间序列连续的上述低分辨帧图像的情况下，

上述插值处理部，对插值对象的帧的上述低分辨帧图像中的欠缺的方位的受光单位的受光值，用上述插值对象的帧的前后帧的上述低分辨帧图像中的与上述欠缺的方位相同的方位的受光单位的受光值进行时间轴插值，

上述推定运算部根据通过上述时间轴插值进行了插值的上述低分辨帧图像来推定上述各帧中的上述受光单位的各像素的像素值。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述图像输出部将以由上述推定运算部推定出的上述各帧中的上述受光单位的各像素的像素值为基础的各帧中的上述高分辨帧图像作为动态图像来输出。

8.根据权利要求6所述的图像处理装置，其特征在于，

上述插值处理部通过时间轴插值滤波来进行上述时间轴插值。

9.根据权利要求7所述的图像处理装置，其特征在于，

上述插值处理部通过时间轴插值滤波来进行上述时间轴插值。

10.根据权利要求6所述的图像处理装置，其特征在于，

上述插值处理部在上述前后帧中的受光单位的受光值的差分值小于规定的阈值的情况下，用上述前后帧中的与上述欠缺的方位相同的方位的受光单位的受光值来对上述插值对象的帧中的上述欠缺的方位的受光单位的受光值进行插值，

在上述前后帧中的受光单位的受光值的差分值大于规定的阈值的情况下，用在上述插值对象的帧中取得的受光值对上述插值对象的帧中的上述欠缺的方位的受光单位的受光值进行插值。

11.根据权利要求1至10中的任一项所述的图像处理装置，其特征在于，

根据利用上述摄像元件拍摄的图像的明亮度设定包含于上述受光单位的像素数。

12.根据权利要求11所述的图像处理装置，其特征在于，

上述明亮度是上述图像的平均亮度。

13.根据权利要求12所述的图像处理装置，其特征在于，

上述受光单位的像素数在上述平均亮度小于规定的阈值的情况下增加。

14.一种摄像装置，其特征在于，

包括：

彩色摄像元件；

读出控制部，其按上述彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定受光单位，将上述受光单位的多个像素的像素值相加而作为上述受光单位的受光值来读出，取得低分辨帧图像；

存储部，其存储由上述读出控制部取得的上述低分辨帧图像；

推定运算部，其根据存储于上述存储部的多个低分辨帧图像来推定上述受光单位的各像素的像素值；以及

图像输出部，其根据由上述推定运算部推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像，

上述读出控制部一边使上述受光单位重叠一边每次1像素地依次进行像素移位，而取得与构成上述受光单位的像素数相同数量的上述低分辨帧图像，

上述推定运算部

根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像来推定上述受光单位的各像素的像素值。

15.一种图像处理方法，其特征在于，

在按彩色摄像元件所具有的在水平方向及垂直方向相邻的每多个像素设定受光单位，将上述受光单位的多个像素的像素值相加来作为上述受光单位的受光值来读出，取得低分辨帧图像的情况下，

存储一边使上述受光单位重叠一边每次1像素地依次进行像素移位而取得的与构成上述受光单位的像素数相同数量的上述低分辨帧图像，

根据使上述受光单位依次进行像素移位而得到的多个上述低分辨帧图像，推定上述受光单位的各像素的像素值，

根据推定出的像素值来输出分辨率比上述低分辨帧图像高的高分辨帧图像。