CN102106150A - 摄像处理装置 - Google Patents

Abstract

在以往的摄像处理装置中，随着像素尺寸的小型化发展，入射到1像素的光量减少，这带来S/N的降低，难以维持画质。本发明的摄像处理装置具备：光学元件；单板摄像元件，其安装有由多种颜色构成的彩色滤光器阵列，输出与被光学元件引导而透过了彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻取得每个多种颜色的图像；第1累加部，其将在多个帧时刻得到的各图像的与多种颜色中的第1色对应的值累加；第2累加部，其将在相同帧时刻拍摄到的图像的与多种颜色中的第1色以外的第2色对应的多个值累加；图像复原部，其根据基于由第1累加部累加的第1色的图像以及基于由第2累加部累加的第2色的图像，对各帧时刻的包含多种颜色的图像进行复原。

Description

摄像处理装置

技术领域

本发明涉及动态图像的图像处理。更具体来说，涉及生成通过图像处理提高了拍摄到的动态图像的分辨率和帧速率的至少一方而得到的动态图像的技术。

背景技术

专利文献1公开了进行使用了单板摄像元件(single imager)的彩色图像摄影的技术。例如图15表示安装于专利文献1的单板摄像元件中的，被称作拜耳排列的排列的彩色滤光器阵列的一个例子。图中的“R”、“G”、“B”分别表示“红”、“绿”、“蓝”的滤光器(以下，在本说明书和附图中采用相同的标记)。

透过了图15所示的拜耳排列的彩色滤光器的光入射到摄像元件的各像素中。从摄像元件的各像素输出的信号带有关于R、G、B任意一种颜色的值。

由此说明可知，摄像元件的各“像素”是指，接收透过了各色的彩色滤光器的光，并输出与接收到的光的强度相应的信号的摄像元件的1个单位。

另一方面，在显示如上述那样拍摄到的图像时，在各像素中需要R、G、B(或者Y、Pb、Pr等3个颜色)的值。因此，非专利文献1～3公开了通过运算来复原在摄像元件的各像素中没有取得的颜色的像素值，求得摄像元件的各像素的R、G、B的像素值，来得到像素数较多的彩色图像的方法。

专利文献1：美国专利第3971065号说明书

非专利文献1：Daniel Keren，Margarita Osadchy，“Restoring subsampled color images”，Machine Vision and Applications，11，pp.197-202，1999

非专利文献2：Ron Kimmel，“Demosaicing：Image Reconstruction from Color CCD Samples”，IEEE Transactions on Image Processing，Vol.8，No.9，September 1999

非专利文献3：David Alleysson，Sabine Su¨sstrunk，“Linear Demosaicing Inspired by the Human Visual System”，IEEE Transactions on Image Processing，Vol.14，No.4，April 2005

但是，在以往的摄像处理装置中，随着为了实现高分辨率化而将摄像元件的像素尺寸小型化，入射到摄像元件的1个像素中的光量减少。其结果，导致各像素的信噪比(S/N)的降低，难以维持画质。

发明内容

本发明的目的在于，提供一种在抑制摄像元件的S/N的降低的同时，维持画质的摄像处理装置。

本发明的摄像处理装置具备：光学元件；单板摄像元件，其安装有由多种颜色构成的彩色滤光器阵列，输出与被所述光学元件引导而透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得每个所述多种颜色的图像；第1累加部，其将在多个帧时刻得到的各图像的、与所述多种颜色中的第1色对应的值累加；第2累加部，其将在相同帧时刻拍摄到的图像的、与所述多种颜色中的所述第1色以外的第2色对应的多个值累加；图像复原部，其根据基于由所述第1累加部累加后的所述第1色的图像，以及基于由所述第2累加部累加后的所述第2色的图像，对各帧时刻的包含多种颜色的图像进行复原。

也可以为如下结构：所述彩色滤光器阵列，作为所述多种颜色而包含有与所述第1色和所述第2色都不同的第3色，所述第2累加部将在相同帧时刻拍摄到的图像的、与所述第3色对应的多个值累加，所述图像复原部具备：运动检测部，其根据由所述第2累加部累加后的所述第2色的图像和所述第3色的图像来对运动进行检测，并输出与检测出的运动相关的运动信息；和复原部，其根据所述第1色的图像、所述第2色的图像和所述第3图像，以及由运动检测部检测出的运动信息，对各帧时刻的包含多种颜色的图像进行复原。

所述摄像处理装置，也可以为如下结构：还具备控制部，其控制所述第2累加部和所述第1累加部的动作，所述控制部根据所述单板摄像元件所接收到的光的量或像素值，或者根据用户所指定的动作模式，来控制所述第2累加部和所述第1累加部所累加的对象的像素数量。

单板摄像元件也可以为层叠型。

也可以所述第1色为绿，所述第2色和所述第3色为红和蓝。

本发明的摄像处理装置具备：单板摄像元件，其安装有红、绿、蓝和白的彩色滤光器阵列，输出与透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得所述彩色滤光器阵列的每种颜色的图像；第1累加部，其将在多个帧时刻得到的所述红、所述绿和所述蓝的各图像所对应的值累加；运动检测部，其根据所述白色的图像来对运动进行检测，并输出与检测出的运动相关的运动信息；和图像复原部，其根据由所述第1累加部累加后的所述红、所述绿和所述蓝的各图像，所述白色的图像以及所述运动信息，来对各帧时刻的包含所述红、所述绿和所述蓝的图像进行复原。

本发明的摄像处理装置具备：单板摄像元件，其安装有红、绿、蓝和白的彩色滤光器阵列，输出与透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得所述彩色滤光器阵列的每种颜色的图像；第1累加部，其将在多个帧时刻得到的所述红、所述绿和所述蓝的各图像所对应的值累加；第2累加部，其将在相同帧时刻拍摄到的白色的图像所对应的多个值累加；运动检测部，其根据由所述第2累加部累加后的所述白色的图像来检测运动，并输出与检测出的运动相关的运动信息；和图像复原部，其根据由所述第1累加部累加后的所述红、所述绿和所述蓝的各图像，由所述第2累加部累加后的白色的图像，以及所述运动信息，来对各帧时刻的包含所述红、所述绿和所述蓝的图像进行复原。

也可以为如下结构：所述第1累加部通过使所述单板摄像元件的曝光时间成为经过多个帧时刻的长度，将与所述红、所述绿和所述蓝的各图像对应的值累加，所述第1累加部针对所述红、所述绿和所述蓝使曝光时间变化。

本发明的计算机程序，其通过安装于摄像处理装置中的计算机来执行，所述摄像处理装置具备：光学元件；和单板摄像元件，其安装了由多种颜色构成的彩色滤光器阵列，输出与被所述光学元件引导而透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得每个所述多种颜色的图像，所述计算机程序使所述计算机执行如下步骤；将在多个帧时刻得到的各图像的、与所述多种颜色中的第1色对应的值累加的步骤；将在相同帧时刻拍摄到的图像的、与所述多种颜色中的所述第1色以外的第2色对应的多个值累加的步骤；和根据基于由所述第1累加部累加后的所述第1色的图像，以及基于由所述第2累加部累加后的所述第2色的图像，对各帧时刻的包含多种颜色的图像进行复原的步骤。

根据本发明的摄像处理装置，通过对单板摄像元件附加时间累加和空间累加的功能，按照每个像素来对进行了时间累加或空间累加的输入图像进行复原处理的结构，能够在摄像时在确保光量的同时推算并复原高分辨率且高帧速率的图像。

附图说明

图1是表示实施方式1中的摄像处理装置100的结构的模块图。

图2是表示图像复原部105的更详细的结构的一个例子的结构图。

图3的(a)和(b)是表示通过块匹配(block matching)来进行运动检测时的基准帧和参照帧的图。(a)是表示成为基准帧的，时刻t的图像的图，(b)是表示成为参照帧的，时刻t+Δt的图像的图。

图4的(a)和(b)表示进行2×2像素的空间累加时的假想的采样位置。

图5是表示复原处理部202的结构的一个例子的图。

图6表示RGB颜色空间与球面坐标系(θ、ψ、r)的对应例。

图7是表示实施方式2的摄像处理装置300的结构的结构图。

图8表示配置和曝光时间针对R、G、B被设定为长时间曝光，针对白色被设定为短时间曝光的摄像元件的结构例。

图9是表示实施方式3中的摄像处理装置400的结构的模块图。

图10是表示进行长时间曝光的RGB的曝光开始和结束的定时一致的情况的例子的图。

图11是表示进行长时间曝光的RGB的曝光开始和结束的定时错开的情况的例子的图。

图12是表示彩色滤光器阵列和曝光时间的组合的其他例子的图。

图13的(a)是表示使用于3板式的摄像元件用的薄膜光学滤光器的分光特性的图，(b)是表示使用于单板用的染料过滤器(dye filter)的分光特性的图。

图14的(a)是表示使用了全域快门(global shutter)的曝光定时的图，(b)是表示焦平面现象产生时的曝光定时的图。

图15表示安装于现有技术的单板摄像元件中的，被称作拜耳排列的排列的彩色滤光器阵列的一个例子。

具体实施方式

以下，参照附图，对本发明的摄像处理装置的实施方式进行说明。

(实施方式1)

图1是表示本实施方式中的摄像处理装置100的结构的模块图。在图1中，摄像处理装置100具备：光学系统101；单板彩色摄像元件102；两个累加部(即作为第1累加部的时间累加部103和作为第2累加部的空间累加部104)；和图像复原部105。以下，对摄像处理装置100的各构成要素进行详细的说明。

光学系统101将被摄物体的像成像于摄像元件的像面。

单板彩色摄像元件102是安装了彩色滤光器阵列的单板摄像元件。单板彩色摄像元件102对由光学系统101结成的光(光学图像)进行光电变换，并输出由此得到的电信号。该电信号的值是单板彩色摄像元件102的各像素值。从单板彩色摄像元件102输出与入射到各像素中的光的量相应的像素值。根据在相同帧时刻拍摄到的相同颜色的像素值，能够得到每个颜色的图像。根据所有颜色的图像，得到彩色图像。

时间累加部103将由彩色摄像元件12拍摄到的彩色图像的第1色的光电变换值在时间方向上进行多帧累加。在此，“在时间方向上的累加”是指，将在连续的多个帧(图像)的每一帧具有共通的像素坐标值的各像素的像素值累加。具体来说，在从2帧到9帧程度的范围内，将像素坐标值相同的像素的像素值累加。

空间累加部104将由彩色摄像元件12拍摄到的彩色图像的第2色、第3色的光电变换值在空间方向上进行多像素累加。在此，“在空间方向上的累加”是指，将在某时刻拍摄到的构成1帧(图像)的多个像素的像素值累加。具体来说，像素值被累加的“多个像素”的例子为，水平2像素×垂直1像素、水平1像素×垂直2像素、水平2像素×垂直2像素、水平2像素×垂直3像素、水平3像素×垂直2像素、水平3像素×垂直3像素、等。将与这些多个像素相关的像素值(光电变换值)在空间方向上累加。

图像复原部105通过接收由时间累加部103进行了时间累加的第1色图像，以及由空间累加部104进行了空间累加的第2色图像和第3色图像的各数据，并对这些进行图像复原，来推算各像素中的从第1色到第3色的值，并复原彩色图像。

图2是表示图像复原部105的更详细的结构的一个例子的结构图。在图2中，图像复原部105以外的结构与图1相同。图像复原部105具有运动检测部201和复原处理部202。

运动检测部201通过块匹配、梯度法、相位相关法等公知技术，根据进行了空间累加的第2色图像、第3色图像的数据，来检测运动(光流)。运动检测部201输出检测出的该运动的信息(运动信息)。作为公知技术，例如公知P.Anandan.″Computaional framework and an algorithm for the measurement of visual motion″，International Journal of Computer Vision，Vol.2，pp.283-310，1989。

图3(a)和(b)表示了通过块匹配来进行运动检测时的基准帧和参照帧。运动检测部201在作为基准的帧(为了计算运动而关注的时刻t的图像)内，设定图3(a)所示的窗口区域A。并且，在参照帧内搜索与窗口区域内的图案类似的图案。作为参照帧，多使用例如关注帧的下一帧。

搜索范围如图3(b)所示，通常，是以移动量零的位置B为基准，预先设定一定的范围(该图3(b)中的C)。此外，图案的类似的程度(degree)是通过将(数1)所示的残差平方和(SSD：Sum of Square Differrences)或(式2)所示的残差绝对值和(SAD：Sum of Absoluted Differences)作为评价值进行计算来评价的。

[式1]

$\mathrm{SSD}=\underset{x,y\∈W}{\mathrm{\Σ}}{(f(x+u,y+v,t+\mathrm{\Δt})-f(x,y,t))}^2$

[式2]

$\mathrm{SAD}=\underset{x,y\∈W}{\mathrm{\Σ}}|f(x+u,y+v,t+\mathrm{\Δt})-f(x,y,t)|$

在(式1)和(式2)中，f(x、y、t)是图像即像素值的时空间的分布，x，y∈W表示包含于基准帧的窗口区域内的像素的坐标值。

运动检测部201通过在搜索范围内改变(u，v)，来搜索使上述评价值最小的(u，v)的组，并将此作为帧间的运动向量。通过使窗口区域的设定位置依次移动，来按照每个像素或者每个块(例如8像素×8像素)来求得运动。

在此，因为在本申请发明中对安装了彩色滤光器阵列的单板彩色图像的3色中的2色的空间累加图像进行运动检测，所以需要注意搜索范围内的(u，v)的变化步骤。

图4(a)表示进行2×2像素的空间累加时的假想的采样位置。在此，G为第1色，R和B为第2色、第3色。另外，在只记载为“R”、“G”、“B”时，有时也表示只包含其颜色分量(color component)的图像。

图4(b)表示在对图4(a)的R和B进行了2×2像素的空间累加的情况下的，假想的采样位置。在此情况下，假想的采样位置，只对于R或B为隔着4个像素的均匀的配置，而同时包含R和B双方的采样位置不均匀。因此，此时需要每隔4个像素改变(式1)或(式2)的(u，v)。或者，也可以在根据图4(b)所示的假想的采样位置的R和B的值，通过公知的插补方法求出各像素的R和B的值之后，每隔1个像素改变上述(u，v)。

通过对使如上述那样得到的(式1)或(式2)最小的(u，v)的附近的(u，v)的值的分布，应用1次至2次函数(作为等角拟合法或抛物线拟合法而被熟知的公知技术)，来进行子像素精度的运动检测。

<各像素的G的像素值的复原>

复原处理部202将下式最小化，来计算各像素的G的像素值。

[式3]

|Hf-g|^M+Q

在此，H为抽样过程、f为应复原的高空间分辨率且高时间分辨率的G图像、g为由摄像部101拍摄到的G的图像、M为幂指数、Q为应复原的图像f所应满足的条件，即限制条件。

f和g是以动态图像的各像素值为要素的纵向量。以下，针对图像的向量标记，是表示将像素值按照光栅扫描顺序排列后的纵向量的意思，函数标记，是表示像素值的时空间的分布的意思。作为像素值，在亮度值的情况的下，也可以认为每1个像素1个值。f的要素数，例如，若假设应复原的动态图像为横2000像素、纵1000像素、30帧，则为2000×1000×30＝60000000。

在用图4、图15所示的拜耳排列的摄像元件进行摄像的情况下，g的要素数为f的2分之1，为30000000。f的纵横的像素数和使用于信号处理的帧数通过图像复原部105来设定。抽样过程H对f进行抽样。H是行数与g的要素数相等，列数与f的要素数相等的矩阵。

在现在一般普及了的计算机中，与动态图像的像素数(例如宽度2000像素×高度1000像素)和帧数(例如30帧)相关的信息量过多，因此无法用单一的处理来求得将(式2)最小化的f。在此情况下，通过反复对时间上的、空间上的部分区域求得f的一部分的处理，能够计算应复原的动态图像f。

接下来，使用简单的例子对抽样过程H的公式化进行说明。考虑用拜耳排列的摄像元件来拍摄宽度2像素(x＝1，2)、高度2像素(y＝1，2)、2帧(t＝1，2)的图像，并对G进行2帧量的时间累加的情况下的G的摄像过程。

[式4]

f＝(G₁₁₁ G₂₁₁ G₁₂₁ G₂₂₁ G₁₁₂ G₂₁₂ G₁₂₂ G₂₂₂)^T

[式5]

$H=\left(\begin{array}{cccccccc}0& 1& 0& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 0& 1& 0\end{array}\right)$

根据这些，抽样过程H如下这样被公式化。

[式6]

$g=\mathrm{Hf}=\left(\begin{array}{cccccccc}0& 1& 0& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 0& 1& 0\end{array}\right){\left(\begin{array}{cccccccc}{G}_{111}& G_{211}& G_{121}& G_{221}& G_{112}& G_{212}& G_{122}& G_{222}\end{array}\right)}^T$

$={\left(\begin{array}{cc}{G}_{211}+G_{212}& G_{121}+G_{122}\end{array}\right)}^T$

在(式4)中，G₁₁₁～G₂₂₂表示各像素的G的值，3个下标依次表示x、y、t的值。因为g是由拜耳排列的摄像元件拍摄而得到的图像，所以其像素数为读出了全部像素的图像的2分之1。

虽然(式3)的幂指数M的值没有特别限定，但从运算量的角度出发，优选1或2。

(式6)表示利用拜耳排列的摄像元件拍摄f而得到g的过程。反之，从g复原f的问题一般被称作逆问题。在没有限制条件Q的情况下，将下述(式7)最小化的f存在无数个。

[式7]

|Hf-g|^M

这通过即使在没有被抽样的像素值中代入任意的值(式7)也成立，能够容易地说明。因此，通过(式7)的最小化无法唯一地对f求解。

为了得到关于f的唯一的解，作为Q，给予了与像素值f的分布相关的平滑度的限制，或与从f得到的图像的运动的分布相关的平滑度的限制。

作为与像素值f的分布相关的平滑度的限制，使用以下限制式。

[式8]

$Q={\left|\frac{\&PartialD;f}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;f}{\&PartialD;y}\right|}^m$

[式9]

$Q={\left|\frac{{\&PartialD;}^{2}f}{{\&PartialD;x}^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}f}{{\&PartialD;y}^2}\right|}^m$

在此，

是将应复原的动态图像的像素值的x方向的1阶微分值作为要素的纵向量，

是将应复原的动态图像的像素值的y方向的1阶微分值作为要素的纵向量，

是将应复原的动态图像的像素值的x方向的2阶微分值作为要素的纵向量，

是将应复原的动态图像的像素值的y方向的2阶微分值作为要素的纵向量。此外，| |表示向量的范数(norm)。幂指数m的值与(式2)、(式7)中的幂指数M相同地优选1或2。

另外，上述偏微分值

通过关注像素附近的像素值的差分展开，能够通过例如(式10)进行近似计算。

[式10]

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{f(x+1,y,t)-f(x-1,y,t)}{2}$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{f(x,y+1,t)-f(x,y-1,t)}{2}$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;x^2}=f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t)$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;y^2}=f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t)$

差分展开不限于上述(式10)，例如也可以像(式11)那样，参照附近的其他像素。

[式11]

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{1}{6}(f(x+1,y-1,t)-f(x-1,y-1,t)$

$+f(x+1,y,t)-f(x-1,y,t)$

$+f(x+1,y+1,t)-f(x-1,y+1,t))$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{1}{6}(f(x-1,y+1,t)-f(x-1,y-1,t)$

$+f(x,y+1,t)-f(x,y-1,t)$

$+f(x+1,y+1,t)-f(x+1,y-1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;x^2}=\frac{1}{3}(f(x+1,y-1,t)-2f(x,y-1,t)+f(x-1,y-1,t)$

$+f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t)$

$+f(x+1,y+1,t)-2f(x,y+1,t)+f(x-1,y+1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;y^2}=\frac{1}{3}(f(x-1,y+1,t)-2f(x-1,y,t)+f(x-1,y-1,t)$

$+f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t)$

$+f(x+1,y+1,t)-2f(x+1,y,t)+f(x+1,y-1,t))$

(式11)针对(式10)的计算值，在附近进行平均化。由此，虽然空间分辨率降低，但能够不易受到噪声的影响。并且，也可以作为两者的中间的值，用0≤α≤1的范围的α进行加权，采用以下式子。

[式12]

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y-1,t)-f(x-1,y-1,t)}{2}$

$+\mathrm{\&alpha;}\frac{f(x+1,y,t)-f(x-1,y,t)}{2}$

$+\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y+1,t)-f(x-1,y+1,t)}{2}$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{1-\mathrm{\&alpha;}}{2}f(x-1,y+1,t)-f(x-1,y-1,t)$

$+\mathrm{\&alpha;}\frac{f(x,y+1,t)-f(x,y-1,t)}{2}$

$+\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y+1,t)-f(x+1,y-1,t)}{2}$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;x^2}=\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y-1,t)-2f(x,y-1,t)+f(x-1,y-1,t))$

$+\mathrm{\&alpha;}(f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t))$

$+\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y+1,t)-2f(x,y+1,t)+f(x-1,y+1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;y^2}=\frac{1-\mathrm{\&alpha;}}{2}(f(x-1,y+1,t)-2f(x-1,y,t)+f(x-1,y-1,t))$

$+\mathrm{\&alpha;}(f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t))$

$+\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y+1,t)-2f(x+1,y,t)+f(x+1,y-1,t))$

关于如何计算差分展开，既可以根据噪声水平来预先决定α，以使得处理结果的画质进一步得到改善，或者，也可以为了尽量减少电路规模或运算量，而使用(式10)。

另外，作为与图像f的像素值的分布相关的平滑度的限制，不限于(式8)、(式9)，例如，也可以使用(式13)所示的2阶的方向微分的绝对值的m次方。

[式13]

$Q={\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;f}{{\&PartialD;n}_{\min }}\right)\right|}^m={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})\right|}^m$

$={|-\sin \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;x}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})+\cos \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;y}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})|}^m$

$={|{\sin }^2\mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}-\sin \mathrm{\&theta;\&theta;}\cos \frac{{\&PartialD;}^{2}f}{\&PartialD;x\&PartialD;y}-\sin \mathrm{\&theta;}\cos \mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;y\&PartialD;x}+{\cos }^2\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}|}^m$

在此，向量n_min和角度θ是1阶的方向微分的2次方为最小的方向，通过下述(式14)被赋值。

[式14]

$n_{\min }={\left(\begin{array}{cc}\frac{-\frac{\&PartialD;f}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;f}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}-\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)}^T$

并且，作为与图像f的像素值的分布相关的平滑度的限制，也可以使用下述从(式15)到(式17)的任意一个的Q，根据f的像素值的梯度来使限制条件适应性地变化。

[式15]

$Q=w(x,y)|{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2|$

[式16]

$Q=w(x,y)|{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}\right)}^2+{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}\right)}^2|$

[式17]

$Q=w(x,y){\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;f}{\&PartialD;n_{\min }}\right)\right|}^m$

在从(式15)到(式17)中，w(x，y)是像素值的梯度的函数，是对限制条件的加权函数。例如，若使在下述(式18)所示的像素值的梯度分量的幂和较大的情况下w(x，y)的值较小，反之的情况下w(x，y)的值较大，则能够根据f的梯度来使限制条件适应性地变化。

[式18]

${\left|\frac{\&PartialD;f}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;f}{\&PartialD;y}\right|}^m$

通过导入这种加权函数，能够防止被复原的图像f被不必要地平滑化。

此外，也可以代替(式18)所示的亮度梯度的分量的平方和，而根据(式19)所示的方向微分的乘方的大小，来定义加权函数w(x，y)。

[式19]

${\left|\frac{\&PartialD;f}{\&PartialD;n_{\max }}\right|}^m={|\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y}|}^m$

在此，向量n_max和角度θ是方向微分最大的方向，通过下述(式20)被赋值。

[式20]

$n_{\min }={\left(\begin{array}{cc}\frac{\frac{\&PartialD;f}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;f}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\end{array}\right)}^T$

导入如(式8)、(式9)、(式13)～(式17)所示的，与动态图像f的像素值的分布相关的平滑度的限制来对(式2)进行求解的问题，能够通过公知的解法(有限要素法等的变分问题的解法)来计算。

作为与f所包含的图像的运动的分布相关的平滑度的限制，使用下述(式21)或(式22)。

[式21]

$Q={\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m$

[式22]

$Q={\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;y^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;y^2}\right|}^m$

在此，u是将针对从动态图像f得到的各像素的运动向量的x方向分量作为要素的纵向量，v是将针对从动态图像f得到的各像素的运动向量的y方向分量作为要素的纵向量。

作为与从f得到的图像的运动分布相关的平滑度的限制，不限于(式17)、(式18)，例如也可以为(式23)、(式24)所示的1阶或2阶的方向微分。

[式23]

$Q={\left|\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right|}^m$

[式24]

$Q={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right)\right|}^m$

并且，也可以如(式25)～(式28)所示那样，使(式17)～(式20)的限制条件根据f的像素值的梯度来适应性地变化。

[式25]

$Q=w(x,y)({\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m)$

[式26]

$Q=w(x,y)({\left|\frac{{\&PartialD;}^{2}u}{{\&PartialD;x}^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{{\&PartialD;y}^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{{\&PartialD;x}^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{{\&PartialD;y}^2}\right|}^m)$

[式27]

$Q=w(x,y)({\left|\frac{\&PartialD;u}{{\&PartialD;n}_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right|}^m)$

[式28]

$Q=w(x,y)({\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{{\&PartialD;n}_{\min }}\left(\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right)\right|}^m)$

在此，w(x，y)是和与f的像素值的梯度相关的加权函数相同的函数，是通过(式18)所示的像素值的梯度的分量的幂和，或者，(式19)所示的方向微分的乘方来定义的。

通过导入这种加权函数，能够防止f的运动信息被不必要地平滑化，其结果，能够防止被复原的图像f被不必要地平滑化。

导入(式21)～(式28)所示的那种，与从图像f得到的运动的分布相关的平滑度的限制，来对(式2)进行求解的问题，因为应复原的图像f与运动信息(u，v)相互依存，所以与使用针对f的平滑度的限制的情况相比，需要复杂的计算。

对此，能够通过公知的解法(使用了EM算法等的变分问题的解法)来进行计算。此时，在反复计算中需要应复原的图像f和运动信息(u，v)的初始值。作为f的初始值，使用输入图像的插补扩大图像即可。

另一方面，作为运动信息，使用在运动检测部201中对(式1)至(式2)进行计算而求出的运动信息。其结果，在复原处理部202中，如上所述，通过导入(式21)～(式28)所示的那种与从图像f得到的运动的分布相关的平滑度的限制来对(式2)进行求解，能够提高超分辨处理结果的画质。

复原处理部202中的处理也可以将(式8)、(式9)、(式13)～(式17)所示的与像素值的分布相关的平滑度的限制的任意一个，和(式21)～(式28)所示的与运动的分布相关的平滑度的限制的任意一个这两者进行组合，如(式29)那样同时使用。

[式29]

Q＝λ₁Q_f+λ₂Q_uv

在此，Qf是与f的像素值的梯度相关的平滑度的限制，Quv是与从f得到的图像的运动的分布相关的平滑度的限制，λ1，λ2是与Qf和Quv的限制相关的权。

导入与像素值的分布相关的平滑度的限制，和与图像的运动的分布相关的平滑度的限制这两者来对(式3)进行求解的问题，也能够通过公知的解法(使用了EM算法等的变分问题的解法)来进行计算。

此外，与运动相关的限制，不限于与(式21)～(式28)所示的运动向量的分布的平滑度相关的限制，也可以将对应点间的残差(运动向量的始点与终点间的像素值的差)作为评价值，来将其减小。若将f表示为函数f(x，y，t)，则对应点间的残差可以表示为下式。

[式30]

f(x+u，y+v，t+Δt)-f(x，y，t)

若将f作为向量，考虑图像全体，则各像素的残差能够如下述(式31)所示那样进行向量表示。

[式31]

H_mf

残差的平方和能够如下述(式32)所示那样来表示。

[式32]

${\left(H_{m}f\right)}^2=f^T{H}_m^T{H}_{m}f$

在(式31)、(式32)中，H_m是向量f的要素数(时空间的总像素数)×f的要素数的矩阵。H_m在各行中，只有与运动向量的起点和终点相当的要素具有不为0的值，其余的要素具有0的值。在运动向量为整数精度的情况下，与起点和终点相当的要素分别具有-1和1的值，其他要素为0。

在运动向量为子像素精度的情况下，与终点附近的多个像素相当的多个要素具有与运动向量的子像素分量的值相应的值。

也可以将(式32)设为Qm，使限制条件成为(式33)那样。

[式33]

Q＝λ₁Q_f+λ₂Q_uv+λ₃Q_m

在此，λ3是与限制条件Qm相关的权。

通过使用通过上述方法从R和B的低分辨率动态图像中抽出的运动信息，能够将由拜耳排列的摄像元件拍摄到的G的动态图像(在多个帧上被曝光的图像)高时空间分辨率化。

<各像素的R、B的像素值的复原>

针对R和B，通过如图5所示那样，对插补扩大后的R图像、B图像重叠所述高时空间分辨率化后的G的高频分量，能够通过简单的处理将更高分辨率化后的结果输出为彩色图像。此时，通过根据高频域以外(中低频域的)的R、G、B间的局部的相关关系，来控制上述重叠的高频分量的振幅，能够抑制伪色的产生，进行看上去自然的高分辨率化处理。

此外，因为对R、B也重叠G的高频来进行高分辨率化，所以能够进行更稳定的高分辨率化。

图5是表示进行上述动作的复原处理部202的结构的一个例子。复原处理部202具有：G复原部501；子抽样部502；G插补部(interpolation section)503；R插补部504；R用增益控制部505；B插补部506；和B用增益控制部507。

G复原部501进行上述G的复原。

子抽样部502将高分辨率化后的G提取(decimate)为与R、B相同的像素数。

G插补部503通过插补来计算通过子抽样而丢失了像素值的像素的像素值。

R插补部504对R进行插补。

R用增益控制部505计算针对重叠于R的G的高频分量的增益系数。

B插补部506对B进行插补。

B用增益控制部507计算针对重叠于B的G的高频分量的增益系数。

以下，对上述复原处理部202的动作进行说明。

G复原部501将G复原为高分辨率高帧速率图像。G复原部501将复原结果作为输出图像的G分量来输出。该G分量被输入到子抽样部502中。子抽样部502对输入的G分量进行提取(进行子抽样：sub sample)。

G插补部503对被子抽样部502提取的G图像进行插补。由此，通过子抽样而丢失了像素值的像素的像素值，通过来自周围的像素值的插补来进行计算。通过将像这样被插补计算出的G图像从G复原部501的输出中减去，来抽出G的高空间频率分量。

另一方面，R插补部504对进行了空间累加后的R图像进行插补扩大，使其成为与G相同的像素数。R用增益控制部505计算G插补部503的输出(即，G的低空间频率分量)与R插补部504的输出之间的局部的相关系数。作为局部的相关系数，例如通过(式34)，来计算关注像素(x，y)的附近3×3像素的相关系数。

[式34]

$\mathrm{\&rho;}=\frac{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}(R(x+i,y+j)-\stackrel{\&OverBar;}{R})(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}{\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(R(x+i,y+j)-\stackrel{\&OverBar;}{R})}^2}\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}^2}}$

其中，

$\stackrel{\&OverBar;}{R}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}R(x+i,y+j)$

$\stackrel{\&OverBar;}{G}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}G(x+i,y+j)$

通过将像这样计算出的R和G的低空间频率分量中的相关系数，与G的高空间频率分量相乘后，与R插补部504的输出累加，来进行R分量的高分辨率化。

对B分量也与R分量相同地进行处理。即，B插补部506对进行了空间累加后的B图像进行插补扩大，使其成为与G相同的像素数。B用增益控制部507计算G插补部503的输出(即，G的低空间频率分量)与B插补部506的输出之间的局部的相关系数。作为局部的相关系数，例如通过(式35)，来计算关注像素(x，y)的附近3×3像素的相关系数。

[式35]

$\mathrm{\&rho;}=\frac{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}(B(x+i,y+j)-\stackrel{\&OverBar;}{B})(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}{\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(B(x+i,y+j)-\stackrel{\&OverBar;}{B})}^2}\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}^2}}$

其中，

$\stackrel{\&OverBar;}{B}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}B(x+i,y+j)$

$\stackrel{\&OverBar;}{G}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}G(x+i,y+j)$

通过将像这样计算出的B和G的低空间频率分量中的相关系数与G的高空间频率分量相乘后，与B插补部506的输出累加，来进行B分量的高分辨率化。

另外，上述复原部202中的G和R、B的像素值的计算方法是一个例子，也可以采用其他计算方法。例如也可以在复原部202中同时计算R、G、B的像素值。

即在复原部202中，设定评价函数J，来求得将评价函数J最小化的目标图像g，其中所述评价函数J表示作为目标的彩色图像g中的各色图像的空间上的变化图案接近的程度。空间上的变化图案接近是表示蓝色图像、红色图像、和绿色图像的空间上的变化彼此相似的意思。将评价函数J的一个例子表示为(式36)。

[式36]

J(g)＝‖H_RR_H-R_L‖²+‖H_GG_H-G_L‖²+‖H_BB_H-B_L‖²

+λ_θ‖Q_SC_θg‖^p+λ_φ‖Q_SC_φg‖^p+λ_r‖Q_SC_rg‖^p

评价函数J被定义为构成想要生成的高分辨率彩色图像(目标图像)g的红、绿、和蓝的各色图像(作为图像向量标记为R_H、G_H、B_H)的函数。(式36)中的H_R、H_G、H_B分别表示从目标图像g的各色图像R_H、G_H、B_H向各色的输入图像R_L、G_L、B_L(向量标记)的低分辨率化变换。H_R和H_G、H_B分别为例如(式37)(式38)(式39)所示的那种低分辨率化的变换。

[式37]

$R_L(x_{\mathrm{RL}},y_{\mathrm{RL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_R(x^{\&prime;},y^{\&prime;})\&CenterDot;R_H(x\left(x_{\mathrm{RL}}\right)+x^{\&prime;},y\left(y_{\mathrm{RL}}\right)+y^{\&prime;})$

[式38]

$G_L(x_{\mathrm{GL}},y_{\mathrm{GL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_G(x^{\&prime;},y^{\&prime;})\&CenterDot;G_H(x\left(x_{\mathrm{GL}}\right)+x^{\&prime;},y\left(y_{\mathrm{GL}}\right)+y^{\&prime;})$

[式39]

$B_L(x_{\mathrm{BL}},y_{\mathrm{BL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_B(x^{\&prime;},y^{\&prime;})\&CenterDot;B_H(x\left(x_{\mathrm{BL}}\right)+x^{\&prime;},y\left(y_{\mathrm{BL}}\right)+y^{\&prime;})$

输入图像的像素值是以目标图像所对应的位置为中心的、局部区域的像素值的加权和。

在(式37)、(式38)、(式39)中，R_H(x，y)G_H(x，y)B_H(x，y)分别表示目标图像g的像素位置(x，y)中的红(R)的像素值、绿(G)的像素值、蓝(B)的像素值。此外，R_L(x_RL，y_RL)、G_L(x_GL，y_GL)、B_L(x_BL，y_BL)分别表示红色输入图像的像素位置(x_RL，y_RL)的像素值、绿色输入图像的像素位置(x_GL，y_GL)的像素值、蓝色输入图像的像素位置(x_BL，y_BL)的像素值。x(x_RL)、y(y_RL)、x(x_GL)、y(y_GL)、x(x_BL)、y(y_BL)分别表示与输入图像的红色图像的像素位置(x_RL，y_RL)对应的目标图像的像素位置的x、y坐标，和与输入图像的绿色图像的像素位置(x_GL，y_GL)对应的目标图像的像素位置的x、y坐标，以及与输入图像的蓝色图像的像素位置(x_BL，y_BL)对应的目标图像的像素位置的x、y坐标。此外，w_R和w_G以及w_B分别表示目标图像的像素值对红色图像和绿色图像以及蓝色图像的输入图像的像素值的加权函数。另外，(x’，y’)∈C表示w_R和w_G以及w_B被定义的局部区域的范围。

将低分辨率化图像和输入图像的对应像素位置中的像素值的差的平方和，设定为评价函数的评价条件((式30)的第1项、第2项、以及第3项)。也就是说，这些评价条件是根据表示将低分辨率化图像中包含的各像素值作为要素的向量，和将输入图像中包含的各像素值作为要素的向量的差分向量的大小的值来设定的。

(式36)的第4项的Q_s是对像素值的空间上的平滑度进行评价的评价条件。

将作为Q_s的例子的Q_s1和Q_s2表示为(式40)和(式41)。

[式40]

$Q_{s1}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[$

${\mathrm{\&lambda;}}_{\mathrm{\&theta;}}(x,y)\&CenterDot;\{4\&CenterDot;{\mathrm{\&theta;}}_H(x,y)-{\mathrm{\&theta;}}_H(x,y-1)-{\mathrm{\&theta;}}_H(x,y+1)-{\mathrm{\&theta;}}_H(x-1,y)-{\mathrm{\&theta;}}_H(x+1,y){\}}^2$

$+{\mathrm{\&lambda;}}_r(x,y)\&CenterDot;\{4\&CenterDot;r_H(x,y)-r_H(x,y-1)-r_H(x,y+1)-r_H(x-1,y)-r_H(x+1,y){\}}^2]$

在(式40)中，θ_H(x，y)、ψ_H(x，y)、r_H(x，y)是将用目标图像的像素位置(x，y)上的红、绿、蓝的各自的像素值表示的三维正交颜色空间(所谓的RGB颜色空间)内的位置，用与RGB颜色空间对应的球面坐标系(θ、ψ、r)来表现的情况下的坐标值。在此，θ_H(x，y)和ψ_H(x，y)表示两种偏角，r_H(x，y)表示矢径。

图6表示RGB颜色空间和球面坐标系(θ、ψ、r)的对应例。

在图6中，作为一个例子，将θ＝0°且ψ＝0°的方向作为RGB颜色空间的R轴的正方向，将θ＝90°且ψ＝0°的方向作为RGB颜色空间的G轴的正方向。在此，偏角的基准方向不限定于图6所示的方向，也可以为其他方向。根据这种对应，按照每个像素，将作为RGB颜色空间的坐标值的红、绿、蓝的各自的像素值变换为球面坐标系(θ、ψ、r)的坐标值。

在将目标图像的各像素的像素值作为RGB颜色空间内的三维向量来考虑的情况下，通过用与RGB颜色空间对应的球面坐标系(θ、ψ、r)来表示三维向量，像素的明亮度(Brightness)(信号强度、亮度(luminance)也为同意)与表示向量的大小的r轴的坐标值相当。此外，表示像素的色彩(包含色相、色差、彩度等的颜色信息)的向量的方向，通过θ轴和ψ轴的坐标值来规定。因此，通过使用球面坐标系(θ、ψ、r)，能够个别处理对像素的明亮度和色彩进行限定的r、θ、ψ这三个参数。

(式40)定义了目标图像的用球面坐标系来表示的像素值的，xy空间方向的2阶差分值的平方和。(式40)定义了在目标图像内在空间上相邻的像素的用球面坐标系来表示的像素值的变化越一致，则值越小的条件Q_s1。像素值的变化一致，对应于像素的颜色连续。条件Q_s1的值应较小，表示了目标图像内的空间上相邻的像素的颜色应连续。

在图像中像素的明亮度的变化和像素的色彩的变化，可以由物理上不同的现象而产生。因此，如(式40)所示，通过个别设定与像素的明亮度的连续性(r轴的坐标值的变化的一致性)相关的条件((式40)的大括弧内的第3项)，和与像素的色彩的连续性(θ轴和ψ轴的坐标值的变化的一致性)相关的条件((式40)的大括弧内的第1项和第2项)，容易得到希望的画质。

λθ(x，y)、λψ(x，y)、和λ_r(x，y)分别是针对使用θ轴、ψ轴、和r轴的坐标值来设定的条件，在目标图像的像素位置(x，y)上应用的权。这些值预先规定。简单来说，也可以像λθ(x，y)＝λψ(x，y)＝1.0、λ_r(x，y)＝0.01这样，不依赖于像素位置或帧来进行设定。此外，优选也可以在能够预测图像中的像素值的不连续性等的位置上，将该权设定得较小。像素值不连续，也可以根据输入图像的帧图像内的相邻像素的像素值的差分值或2阶差分值的绝对值为一定值以上来进行判断。

应用于与像素的色彩的连续性相关的条件的权，优选大于应用于与像素的明亮度的连续性相关的条件的权。这是因为，由于被摄物体表面的凹凸或运动所产生的被摄物体表面的方向(法线的方向)的变化，图像中的像素的亮度与色彩相比容易变化(缺乏变化的一致性)。

另外，虽然在(式40)中，将目标图像的用球面坐标系来表示的像素值的xy空间方向的2阶差分值的平方和设定为条件Q_s1，但也可以将2阶差分值的绝对值和，或者1阶差分值的平方和或绝对值和设定为条件。

虽然在上述说明中使用与RGB颜色空间对应起来的球面坐标系(θ、ψ、r)来设定了颜色空间条件，但使用的坐标系不限于球面坐标系，通过在具有容易将像素的明亮度和色彩分离的坐标轴的新正交坐标系中设定条件，能够得到与上述相同的效果。

例如，通过对输入动态图像或作为基准的其他动态图像中包含的像素值在RGB颜色空间内的频度分布进行主分量分析，能够求得特征向量的方向，并将新正交坐标系的坐标轴设置于求出的特征向量的方向上(作为特征向量轴)。

[式41]

$Q_{s2}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[$

${\mathrm{\&lambda;}}_{C1}(x,y)\&CenterDot;{\{4\&CenterDot;C_1(x,y)-C_1(x,y-1)-C_1(x,y+1)-C_1(x-1,y)-C_1(x+1,y)\}}^2$

$+{\mathrm{\&lambda;}}_{C2}(x,y)\&CenterDot;{\{4\&CenterDot;C_2(x,y)-C_2(x,y-1)-C_2(x,y+1)-C_2(x-1,y)-C_2(x+1,y)\}}^2$

$+{\mathrm{\&lambda;}}_{C3}(x,y)\&CenterDot;{\{4\&CenterDot;C_3(x,y)-C_3(x,y-1)-C_3(x,y+1)-C_3(x-1,y)-C_3(x+1,y)\}}^2]$

在(式41)中，C₁(x，y)、C₂(x，y)、C₃(x，y)是将目标图像的像素位置(x，y)上的红、绿、蓝的各自的像素值、即RGB颜色空间的坐标值，变换为新正交坐标系的坐标轴C₁、C₂、C₃的坐标值的旋转变换。

(式41)定义了目标图像的用新正交坐标系来表示的像素值的，xy空间方向的2阶差分值的平方和。(式41)定义了在目标图像的各帧图像内在空间上相邻的像素的用新正交坐标系来表示的像素值的变化越一致(也就是说像素值连续)，则值越小的条件Q_s2。

条件Q_s2的值应较小，表示了目标图像内的空间上相邻的像素的颜色应连续。

λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)分别是针对使用C₁轴、C₂轴、C₃轴的坐标值而设定的条件，应用在目标图像的像素位置(x，y)上的权，预先规定。

在C₁轴、C₂轴、C₃轴为特征向量轴的情况下，具有如下优点：通过沿着各特征向量轴个别地设定λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)的值，能够与根据特征向量轴的不同而不同的分散的值相应地来设定合适的λ的值。即，因为在非主分量的方向上可以期待分散较小，且2阶差分的平方和变小，所以增大λ的值。反之，在主分量的方向上相对减小λ的值。

以上，对两种条件Q_s1、Q_s2的例子进行了说明。作为条件Q_s，可以使用Q_s1、Q_s2的任意一个。

例如，在使用了(式40)所示的条件Q_s1的情况下，通过导入球面坐标系(θ、ψ、r)，从而个别使用表示颜色信息的θ轴和ψ轴的坐标值、以及表示信号强度的r轴的坐标值的各个坐标值来设定条件，并且在条件的设定时，能够对颜色信息和信号强度分别赋予合适的权参数λ，因此具有高画质的图像的生成变得容易的优点。

在使用了(式41)所示的条件Q_s2的情况下，因为是用从RGB颜色空间的坐标值通过线性(旋转)变换而得到的新正交坐标系的坐标值来设定条件，因此具有能够简化运算的优点。

此外，通过使特征向量轴为新正交坐标系的坐标轴C₁、C₂、C₃，能够使用反映了更多像素受到影响的颜色变化的特征向量轴的坐标值，来设定条件。因此，与单纯地使用红、绿、蓝的各色分量的像素值来设定条件的情况相比，能够期待得到的目标图像的画质的提高。

另外，评价函数J不限定于上述函数，也可以将(式36)的项替换为由类似式子构成的项，或者追加表示不同条件的新项。

接下来，通过计算使(式36)的评价函数J的值尽量小(优选最小)的目标图像的各像素值，来生成目标图像的各色图像R_H、G_H、B_H。使评价函数J最小的目标图像g，例如，可以对将用目标图像的各色图像R_H、G_H、B_H的各像素值分量对J进行微分后的式子全部设为0(式42)的方程式求解来求得，或者也可以使用最速梯度法等反复运算型的最优化手法来求得。

[式42]

$\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}=\frac{\&PartialD;J}{{\&PartialD;G}_H(x,y)}=\frac{\&PartialD;J}{{\&PartialD;B}_H(x,y)}=0$

另外，在本实施方式中，虽然将输出的彩色图像作为R、G、B来进行了说明，但当然也可以输出例如Y、Pb、Pr等RGB以外的彩色图像。即，可以根据上述(式42)和下述(式43)，进行(式44)所示的变量变换。

[式43]

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{ccc}1& -0.00015& 1.574765\\ 1& -0.18728& -0.46812\\ 1& 1.85561& 0.000106\end{array}\right)\left(\begin{array}{c}Y\\ \mathrm{Pb}\\ \mathrm{Pr}\end{array}\right)$

[式44]

$\left(\begin{array}{c}\frac{\&PartialD;J}{{\&PartialD;Y}_H(x,y)}\\ \frac{\&PartialD;J}{{\&PartialD;\mathrm{Pb}}_H(x,y)}\\ \frac{\&PartialD;J}{{\&PartialD;\mathrm{Pr}}_H(x,y)}\end{array}\right)=\left(\begin{array}{c}\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\frac{{\&PartialD;R}_H(x,y)}{{\&PartialD;Y}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\frac{{\&PartialD;G}_H(x,y)}{{\&PartialD;Y}_H(x,y)}+\frac{\&PartialD;J}{{\&PartialD;B}_H(x,y)}\frac{\&PartialD;B_H(x,y)}{{\&PartialD;Y}_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\frac{\&PartialD;R_H(x,y)}{{\&PartialD;\mathrm{Pb}}_H(x,y)}+\frac{\&PartialD;J}{{\&PartialD;G}_H(x,y)}\frac{{\&PartialD;G}_H(x,y)}{{\&PartialD;\mathrm{Pb}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}\frac{\&PartialD;B_H(x,y)}{\&PartialD;{\mathrm{Pb}}_H(x,y)}\\ \frac{\&PartialD;J}{{\&PartialD;R}_H(x,y)}\frac{\&PartialD;R_H(x,y)}{\&PartialD;{\mathrm{Pr}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\frac{{\&PartialD;G}_H(x,y)}{{\&PartialD;\mathrm{Pr}}_H(x,y)}+\frac{\&PartialD;J}{{\&PartialD;B}_H(x,y)}\frac{{\&PartialD;B}_H(x,y)}{{\&PartialD;\mathrm{Pr}}_H(x,y)}\end{array}\right)$

$=\left(\begin{array}{ccc}1& 1& 1\\ -0.00015& -0.18728& 1.85561\\ 1.574765& -0.46812& 0.000106\end{array}\right)\left(\begin{array}{c}\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;B_H(x,y)}\end{array}\right)=0$

并且，考虑到Pb、Pr与Y相比，水平像素数为一半，通过使用下述(式45)的关系，能够建立关于Y_H、Pb_L、Pr_L的联立方程式。

[式45]

Pb_L(x+0.5)＝0.5(Pb_H(x)+Pb_H(x+1))

Pr_L(x+0.5)＝0.5(Pr_H(x)+Pr_H(x+1))

在此情况下，能够将应该用联立方程式来求解的变量的总数与RGB的情况相比减少为3分之2，能够减少运算量。

如上所述，本实施方式通过对单板摄像元件附加时间累加和空间累加的功能，并对按照每个像素进行了时间累加或者空间累加的输入图像实施复原处理，能够在摄像时在确保光量的同时推算并复原高分辨率且高帧速率的图像(不进行空间累加和时间累加地读出了全部像素的图像)。

(实施方式2)

在实施方式1中，对预先规定了针对R、B的空间上的累加的像素数，和针对G的时间上的累加的像素数的情况进行了说明。在本实施方式中，对根据光量来控制上述累加像素数的情况进行说明。

图7是表示本实施方式的摄像处理装置300的结构的结构图。在图7中，对进行与图1相同的动作的结构要素赋予与图1相同的符号，而省略说明。以下，对控制部107的动作进行说明。

控制部7根据光量来改变时间累加部103、空间累加部104的累加像素数。光量的检测可以看来自摄像元件信号的读出信号的整体平均、可以看每种颜色的平均，也可以看时间累加后或空间累加后的信号，也可以看被图像复原105复原后的图像的亮度水平，也可以另外设置传感器。并且，在光量充足的情况(饱和度的一半以上的情况)下，不进行累加读出，而对1帧读出全部像素。随着光量不足，降低为饱和度的1/2、1/3、1/4、1/6，1/9，控制部将时间累加部103、空间累加部104中的时间累加的帧数和空间累加的像素数分别切换为2、3、4、6、9来进行控制。

由此，能够根据入射到摄像机中的入射光量来切换累加处理，能够从低光量时到高光量时为止，无缝地进行与光量相应的处理，能够扩大动态范围，抑制饱和地进行摄像。

另外，上述累加像素数的控制不限于对图像整体进行控制，当然也可以按照每个场所、每个区域来适应性地进行切换。

另外，从上述说明可知，也可以代替光量，以使用像素值来切换累加处理的方式，使控制部7工作。或者，也可以通过根据来自用户的指定而改变动作模式，来切换累加处理。

(实施方式3)

在实施方式1和2中，主要对使用拜耳排列的彩色滤光器阵列来进行摄像的情况进行了说明。在本实施方式中，对使用了不同种类的彩色滤光器阵列的摄像元件的例子进行说明。

图8表示将配置和曝光时间，针对R、G、B设定为长时间曝光，针对白色设定为短时间曝光的摄像元件的结构例。另外，为了说明的方便，在图8中只表示了2×2像素的最小单位。

在此，彩色滤光器的“白色”是表示无颜色滤光器的状态，或者，遮断红外光和紫外光，透过可视光的透明滤光器。

图9是表示本实施方式中的摄像处理装置400的结构的模块图。摄像处理装置400具备：摄像元件601；时间累加部602；运动检测部603；和复原处理部604。

摄像元件601如图8所示那样安装R、G、B、白的彩色滤光器阵列，并以通常的1帧的累积时间进行摄影。

时间累加部602在时间方向上将例如3帧的R、G、B的像素值累加。另外，在摄像元件601中，若能够以像素为单位来改变曝光时间，则也可以为用像素部进行3帧的累加累积，去掉了时间累加部602的结构。

运动检测部603根据以短时间曝光拍摄到的白色的信息，来检测运动信息。运动检测的具体的方法，与实施方式1中的对R、B的运动检测相同。

复原处理部604输入由运动检测部603检测出的运动信息，和被时间累加部602进行了时间累加的R、G、B图像以及用摄像元件601拍摄到的白色图像，复原并输出各像素的各帧中的R、G、B的像素值。

如上所述，本实施方式通过对单板摄像元件附加时间累加的功能，并对按照每个像素进行了时间累加或空间累加的输入图像实施复原处理，能够在摄像时在确保光量的同时，推算并复原高分辨率且高帧速率的图像(不进行空间累加和时间累加地读出了全部像素的图像)。

另外，在本实施方式中，对不进行针对白色像素的空间累加的情况进行了说明，但也可以对白色像素进行空间累加。

另外，进行长时间曝光的RGB的曝光开始和结束的定时，虽然可以如图10所示那样对齐，但并不一定限于此。例如，也可以如图11所示那样开始和结束的定时错开。在此情况下，R、G、B的抽样时间错开，带来了时间分辨率的提高。

另外，彩色滤光器阵列和曝光时间的组合，不限于本实施方式中的图8所示的组合，例如，如图12所示那样，对R、G、B的像素进行空间累加，也能够得到相同的效果，该方案包含于本发明中。

另外，在实施方式1至3中，对使用原色系的RGB滤光器来作为摄像时的彩色滤光器阵列的情况进行了说明，但彩色滤光器阵列不需要限于此。也可以使用补色系的CMY(青、品红、黄)滤光器。若使用CMY滤光器，则虽然在颜色再现性方面不及RGB滤光器，但在光量方面大概有2倍的优势。

另外，在上述各实施方式中，当然优选通过不同的颜色滤光器和时间累加、空间累加而拍摄到的像素值(时间累加后、空间累加后的像素值，即，相当于光量)的范围，能够处理较宽的颜色范围。例如，在实施方式1、2的情况下，若使空间累加为2像素，则时间累加使用2帧来进行时间累加，若使空间累加为4像素，则使用4帧来进行时间累加。像这样，例如优选事先使进行时间累加的帧数等一致。此外，在实施方式3的情况下，通过使R、G、B的时间累加为3帧，能够使其大致与白色像素的光量一致。

另一方面，作为特殊的例子，在被摄物体的颜色偏向特定的颜色时，例如在使用原色系的滤光器的情况下，通过在R、G、B上适应性地改变时间累加、空间累加的像素数，能够按照每种颜色来有效地使用动态范围。

<滤光器的分光特性的说明>

另外，在本发明的各实施方式中对使用了单板式的摄像元件的情况进行了说明，但在3板式的摄像元件用的薄膜光学滤光器，和单板用的染料过滤器中，如图13所示，分光特性不同。薄膜光学滤光器的分光特性的透过率的上升比染料过滤器快，在RGB间透过率的相互的重叠较少。与此相对，染料过滤器的透过率的上升，不比薄膜光学滤光器快，在RGB间透过率的相互的重叠较多。

在本发明的各实施方式中，使用从R、B的图像中检测出的运动信息来对G的时间累加图像在时间上、空间上进行分解，因此对于G的处理来说，优选像染料过滤器那样在R、B中含有G的信息。

<焦平面现象的补正>

另外，在上述任意一个实施方式中，都针对1帧的图像内的每个颜色的各像素，曝光的开始和结束时间相同(即，所谓使用了全域快门的摄影)情况进行了说明。例如图14(a)表示使用了全域快门的曝光定时。

但是，本发明的可应用范围不限于此。例如针对如图14(b)所示的那种，在CMOS摄像元件的摄影时常常成为问题的焦平面现象，通过将各元件的曝光定时的不同公式化，也能够复原使用全域快门拍摄到的图像。

在上述实施方式中，假设摄像处理装置具有图示的各种结构来进行了说明。例如，图像复原部105(图1、图2)等被记载为从功能上来看的模块。这些功能模块，既可以从硬件上，通过数字信号处理器(DSP)这种一个半导体芯片或IC来实现，也可以使用例如计算机和软件(计算机程序)来实现。计算机(处理器)例如也可以安装于摄像处理装置上，能够通过执行计算机程序，来实现例如时间累加部103、空间累加部104和图像复原部105的处理至少一个。

产业上的可利用性

本发明的摄像处理装置对低光量时的高分辨率摄影或小型像素的摄像是有用的。此外，处理部不限于作为装置的实施，也可以作为程序来应用。

符号说明：

100  摄像处理装置；

101  光学系统；

102  单板彩色摄像元件；

103、602  时间累加部(第1累加部)；

104  空间累加部(第2累加部)；

105  图像复原部。

Claims (9)

1.一种摄像处理装置，其具备：

光学元件；

单板摄像元件，其安装有由多种颜色构成的彩色滤光器阵列，输出与被所述光学元件引导而透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得每个所述多种颜色的图像；

第1累加部，其将在多个帧时刻得到的各图像的、与所述多种颜色中的第1色对应的值累加；

第2累加部，其将在相同帧时刻拍摄到的图像的、与所述多种颜色中的所述第1色以外的第2色对应的多个值累加；

图像复原部，其根据基于由所述第1累加部累加后的所述第1色的图像，以及基于由所述第2累加部累加后的所述第2色的图像，对各帧时刻的包含多种颜色的图像进行复原。

2.根据权利要求1所述的摄像处理装置，其特征在于，

所述彩色滤光器阵列，作为所述多种颜色而包含有与所述第1色和所述第2色都不同的第3色，

所述第2累加部将在相同帧时刻拍摄到的图像的、与所述第3色对应的多个值累加，

所述图像复原部具备：

运动检测部，其根据由所述第2累加部累加后的所述第2色的图像和所述第3色的图像来对运动进行检测，并输出与检测出的运动相关的运动信息；和

复原部，其根据所述第1色的图像、所述第2色的图像和所述第3图像，以及由运动检测部检测出的运动信息，对各帧时刻的包含多种颜色的图像进行复原。

3.根据权利要求1所述的摄像处理装置，其特征在于，

还具备控制部，其控制所述第2累加部和所述第1累加部的动作，

所述控制部根据所述单板摄像元件所接收到的光的量或像素值，或者根据用户所指定的动作模式，来控制所述第2累加部和所述第1累加部所累加的对象的像素数量。

4.根据权利要求1～3的任意一项所述的摄像处理装置，其特征在于，

单板摄像元件为层叠型。

5.根据权利要求2所述的摄像处理装置，其特征在于，

所述第1色为绿，所述第2色和所述第3色为红和蓝。

6.一种摄像处理装置，其具备：

单板摄像元件，其安装有红、绿、蓝和白的彩色滤光器阵列，输出与透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得所述彩色滤光器阵列的每种颜色的图像；

第1累加部，其将在多个帧时刻得到的所述红、所述绿和所述蓝的各图像所对应的值累加；

运动检测部，其根据所述白色的图像来对运动进行检测，并输出与检测出的运动相关的运动信息；和

图像复原部，其根据由所述第1累加部累加后的所述红、所述绿和所述蓝的各图像，所述白色的图像以及所述运动信息，来对各帧时刻的包含所述红、所述绿和所述蓝的图像进行复原。

7.一种摄像处理装置，其具备：

单板摄像元件，其安装有红、绿、蓝和白的彩色滤光器阵列，输出与透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得所述彩色滤光器阵列的每种颜色的图像；

第1累加部，其将在多个帧时刻得到的所述红、所述绿和所述蓝的各图像所对应的值累加；

第2累加部，其将在相同帧时刻拍摄到的白色的图像所对应的多个值累加；

运动检测部，其根据由所述第2累加部累加后的所述白色的图像来检测运动，并输出与检测出的运动相关的运动信息；和

图像复原部，其根据由所述第1累加部累加后的所述红、所述绿和所述蓝的各图像，由所述第2累加部累加后的白色的图像，以及所述运动信息，来对各帧时刻的包含所述红、所述绿和所述蓝的图像进行复原。

8.根据权利要求6或7所述的摄像处理装置，其特征在于，

所述第1累加部通过使所述单板摄像元件的曝光时间成为经过多个帧时刻的长度，将与所述红、所述绿和所述蓝的各图像对应的值累加，

所述第1累加部针对所述红、所述绿和所述蓝使曝光时间变化。

9.一种计算机程序，其通过安装于摄像处理装置中的计算机来执行，所述摄像处理装置具备：

光学元件；和

单板摄像元件，其安装了由多种颜色构成的彩色滤光器阵列，输出与被所述光学元件引导而透过了所述彩色滤光器阵列的光的量相应的值，能够按照每个帧时刻来取得每个所述多种颜色的图像，

所述计算机程序使所述计算机执行如下步骤；

将在多个帧时刻得到的各图像的、与所述多种颜色中的第1色对应的值累加的步骤；

将在相同帧时刻拍摄到的图像的、与所述多种颜色中的所述第1色以外的第2色对应的多个值累加的步骤；和

根据基于由所述第1累加部累加后的所述第1色的图像，以及基于由所述第2累加部累加后的所述第2色的图像，对各帧时刻的包含多种颜色的图像进行复原的步骤。

Images