CN104079905A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

本发明提供了一种可以减少Zipper噪声的图像处理设备、图像处理方法及程序。所述图像处理设备包括：类别抽头选择单元，其从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为抽头类别；类别分类单元，其基于所述类别抽头的特征量将第二图像的目标像素分为多个类别中的任意一类；预测抽头选择单元，其从第一图像中选择与多个颜色分量的第一颜色分量相对应的像素的像素值作为预测抽头；以及积和运算单元，其将所述预测抽头的第一颜色分量的像素值来作为变量，并通过利用读出的系数进行积和运算来运算所述第二图像的像素值。

Description

图像处理设备、图像处理方法及程序

技术领域

本发明涉及一种图像处理设备、图像处理方法及程序，具体涉及一种可以减少Zipper噪声的图像处理设备、图像处理方法及程序。

背景技术

使用图像传感器的成像设备主要包括：使用单个图像传感器的单板式设备(以下称为单板式相机)和使用三个图像传感器的三板式相机(以下称为三板式相机)。

在三板式相机中，例如提供了用于获取R信号、G信号、B信号的三个图像传感器，利用该三个图像传感器获得三个原色信号。此外，从这三个原色信号生成的颜色图像信号记录在记录介质上。

在单板式相机中，采用了单个图像传感器，其中，由分配给各个像素的滤色器的阵列形成的颜色编码滤色器设置在前面，并为各个像素获得由该颜色编码滤色器进行颜色编码的颜色分量信号。作为形成该颜色编码滤色器的滤色器阵列，采用红色(R)、绿色(G)和蓝色(B)的原色滤色器阵列，或者采用黄色(Ye)、青色(Cy)和品红色(Mg)的互补滤色器阵列。此外，在单板式相机中，利用图像传感器为各个像素获得单个颜色分量信号，通过线性插值处理生成各个像素的除颜色分量信号之外的颜色信号，从而得到接近由三板式相机所获得的图像的图像。在摄像机等中，采用单板式是为了小型化并减轻重量。

具有拜耳阵列的滤色器阵列常用作形成颜色编码滤色器的滤色器阵列。在拜耳阵列中，G滤色器设置为网格图案（checkered pattern），R滤色器和B滤色器在余下的部分中对于每一列交替地设置。

在这种情况下，图像传感器从设有R、G和B三种原色的其中一个滤色器的各个像素中仅输出与滤色器的颜色相对应的图像信号。换言之，从设有R滤色器的像素中输出R分量图像信号，但不输出G分量图像信号和B分量图像信号。同样，从G像素中仅输出G分量图像信号，但不输出R分量图像信号和B分量图像信号。从B像素中仅输出B分量图像信号，但不输出R分量图像信号和B分量图像信号。

然而，当在图像处理的后续阶段中处理各个像素的信号时，R分量图像信号、G分量图像信号和B分量图像信号对于每个像素是必须的。因此，在相关技术中，分别通过插值运算从由n×m个像素形成的图像传感器的输出中获得R像素的n×m个图像信号、G像素的n×m个（n和m均为正整数）图像信号和B像素的n×m个图像信号，并将这些图像信号输出到后续阶段。

DLMMSE方法在相关技术中是众所周知的（参见L.Zhang和X.Wu，2005年发表在IEEE Trans.On Image Processing，Vol.14，No.12,第2167～2178页的“Color demosaicking via directional linear minimum meansquare-error estimation”中提及的DLMMSE算法）。

在DLMMSE方法中，首先，针对来自图像传感器的输入图像，对G分量像素信号进行插值，在对G分量进行插值之后利用色差（B-G和R-G)对B分量像素信号和R分量像素信号进行插值。另外，当对G分量进行插值时，生成插值，该插值在输入图像的垂直方向和水平方向上均产生最小平方误差。进而，检测到垂直方向和水平方向上的方向性，并基于检测结果对垂直方向上的插值和水平方向上的插值按比例进行分配。

然而，在采用DLMMSE方法的情况下，在局部仅出现R分量的图案中会发生平均色差小于原有色差的现象。

具体地说，如图1所示，通过采用DLMMSE方法，在来自图像传感器的输入图像（图2）中，基于采用三点（包括与设为中心像素的R像素相邻的左右G像素）计算得出的色差与采用五点（包括相邻的左右G像素和R像素）计算得出的色差之间的比较，采用五点计算得出的色差水平低于采用三点计算得出的色差水平。换言之，在仅出现R分量的图案中，如果作为中心像素的R像素的水平低于相邻的左右R像素的平均水平，那么中央R像素的色差（R-G）水平降低了。结果是，由于R分量是以固定的方式计算得出的，所以中央R像素的G分量水平增加了。

如上所述，仅一个点的G分量水平增加了，因此单独生成了白点或黑点。这种噪声称之为Zipper噪声。换言之，如DLMMSE方法中，在通过对某个方向上的色差进行平均来增加分辨率的感觉的方法中，存在局部出现色差变化的位置会发生Zipper噪声这种可能性。此外，图3图示了通过三点计算得到的图形。图4图示了通过五点计算得到的图形，Zipper噪声发生在通过五点计算得到的图像中。

发明内容

本发明期望即使在来自图像传感器的输入图像中存在局部色差变化的位置处能够减少Zipper噪声的发生。

根据本发明的实施例，提供了一种图像处理设备，其包括：类别抽头选择单元，其从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；类别分类单元，其基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；系数读取单元，其基于所述类别分类的结果读取预先储存的系数；预测抽头选择单元，其从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；以及积和运算单元，其将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值，其中，仅仅由所述第一颜色分量形成的所述第二图像是从由所述多个颜色分量形成的图像中生成的；并且，当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，所述预测抽头从仅仅由所述第一颜色分量形成的所述第二图像获取。

所述图像处理设备可进一步包括：代表值运算单元，其从所述第一图像中选择包括预定数量的像素的指定区域，并为所述指定区域中的各个颜色分量运算代表值；第一颜色分量转换单元，其将所述预测抽头的所述第一颜色分量的像素值转换为第一转换值，所述第一转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述第一颜色分量的像素值进行偏移而获得的。这里，所述积和运算单元将所述第一转换值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值。

所述图像处理设备可进一步包括：第二颜色分量转换单元，其将所述类别抽头的所述多个颜色分量的像素值转换为第二转换值，所述第二转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述多个颜色分量的像素值进行偏移而获得的。这里，所述类别分类单元基于所述第二转换值确定所述类别抽头的特征量。

在所述图像处理设备中，其中，所述单板式像素部是包括R、G和B分量的具有拜耳阵列的像素部。另外，所述代表值运算单元：基于R像素或B像素周围的G像素计算所述R像素或所述B像素的插值g；基于所述G像素周围的所述R像素或所述B像素计算所述G像素的插值r和插值b；通过利用输入值G和所述插值g的平均值来运算G代表值，所述输入值G是从所述G像素直接获得的；基于所述插值r和所述输入值G之间的差值、从所述R像素直接获得的输入值R和所述插值g之间的差值、以及所述G代表值来运算R代表值；以及基于所述插值b和所述输入值G之间的差值、从所述B像素直接获得的输入值B和所述插值g之间的差值、以及所述G代表值来运算B代表值。

在所述图像处理设备中，当所述第二图像仅由所述G像素形成时，所述颜色分量转换单元使所述输入值R偏移所述R代表值和所述G代表值之间的差值，并使所述输入值B偏移所述B代表值和所述G代表值之间的差值。当所述第二图像仅由R像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述R代表值之间的差值，并使所述输入值B偏移所述B代表值和所述R代表值之间的差值。此外，当所述第二图像仅由B像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述B代表值之间的差值，并使所述输入值R偏移所述R代表值和所述B代表值之间的差值。

所述图像处理设备可进一步包括：颜色变化检测单元，其从所述第一图像检测颜色分量变化，并且，所述类别分类单元基于所述颜色变化检测单元的检测结果执行类别分类。

在所述图像处理设备中，所述系数读取单元读出的所述系数是通过学习预先获得的。在所述学习中，将从多个像素部输出的图像信号所形成的图像用作教师图像，各个所述像素部均包含所述多个颜色分量中的仅仅单个颜色分量的像素，所述像素部设置在比设在所述单板式像素部和目标之间的光学低通滤波器更靠近所述目标的位置处；将从所述单板式像素部输出的图像信号所形成的图像用作学生图像；以及通过解算使所述学生图像的像素和所述教师图像的像素彼此映射的标准方程式来计算所述系数。

根据本发明的另一实施例的图像处理方法或程序是与根据本发明的实施例的图像处理设备相对应的图像处理方法或程序。

根据本发明实施例的所述图像处理设备、所述图像处理方法和程序，从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；基于所述类别分类的结果读取预先储存的系数；从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值；从由所述多个颜色分量形成的图像中生成仅仅由所述第一颜色分量形成的所述第二图像；并且，当从由所述多个颜色分量形成的所述图像生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，从仅仅由所述第一颜色分量形成的所述第二图像获取所述预测抽头。

根据本发明的实施例，可以减少Zipper噪声。

附图说明

图1是图示了Zipper噪声的原理的示意图；

图2是图示了输入图像的示意图；

图3是图示了利用DLMMSE方法（三点计算）获得的图像的示意图；

图4是图示了利用DLMMSE方法（五点计算）获得的图像的示意图；

图5是图示了单板式相机的图像传感器中的图像信号采集方法的示意图；

图6是图示了根据应用本发明的图像处理设备的实施例的配置的框图；

图7是图示了指定区域的示例的示意图；

图8是图示了插值g的计算方法的示例的示意图；

图9是图示了插值r的计算方法的示例的示意图；

图10是图示了插值b的计算方法的示例的示意图；

图11是图示了与图6所示图像处理设备相对应的学习设备的配置示例的示意图；

图12A～12D是图示了由图6所示图像处理设备或图11所示学习设备获取的类别抽头或预测抽头的结构示例的示意图；

图13是图示了由图6所示图像处理设备执行的图像处理的示例的流程图；

图14是图示了代表RGB运算处理的示例的流程图；

图15是图示了由图11所示学习设备执行的系数学习处理的示例的流程图；

图16是图示了根据应用本发明的图像处理设备的实施例的配置示例的框图；

图17A～17D是图示了由图16所示图像处理设备获取的G类别抽头的结构示例的示意图；

图18A～18D是图示了由图16所示图像处理设备获取的G预测抽头的结构示例的示意图；

图19A～19D是图示了由图16所示图像处理设备获取的R类别抽头的结构示例的示意图；

图20A～20D是图示了由图16所示图像处理设备获取的R预测抽头的结构示例的示意图；

图21A～21D是图示了由图16所示图像处理设备获取的B类别抽头的结构示例的示意图；

图22A～22D是图示了由图16所示图像处理设备获取的B预测抽头的结构示例的示意图；

图23是图示了图16所示图像处理设备的另一配置示例的框图；

图24是根据应用本发明的图像处理设备的另一实施例的配置示例的框图；

图25是图示了由图24所示图像处理设备执行的图像处理的示例的流程图；

图26是图示了由图16或图24所示图像处理设备获取的类别抽头的另一结构示例的示意图；

图27是图示了由图16或图24所示图像处理设备获取的预测抽头的另一结构示例的示意图；以及

图28是图示了计算机的配置示例的框图。

具体实施方式

下文将基准附图对本发明的实施例进行描述。

图像信号获取方法

图5是图示了单板式相机的图像传感器中的图像信号获取方法的示意图。

在该示例中，由对象11反射的光穿过光学低通滤波器12并由图像传感器13接收。

在单板式相机中，采用了单图像传感器，在该单图像传感器中，为各个像素分配的滤色器阵列所形成的颜色编码滤色器设置在前面，为各个像素获得由颜色编码滤色器进行颜色编码的颜色分量信号。

这里，在图像传感器13中采用了具有拜耳阵列（Bayer array）的滤色器阵列，G滤色器设置为网格图案，R和B滤色器在剩余部分中每一列交替设置。换言之，图像传感器13中矩形区域中的四个像素包括两个G像素、单个R像素和单个B像素。

在单板式相机中，当在图像处理的后续阶段对各个像素的信号进行处理时，R分量、G分量和B分量图像信号对于各个像素都是必要的。为此，必须基于从图像传感器13输出的像素值通过插值运算等获得各个像素的R分量、G分量和B分量像素值。

此外，在图像传感器13中，使入射到图像传感器的光穿过光学低通滤波器12，以避免假色、假象等等的影响。然而，如果如上所述使光通过光学低通滤波器12，则会使图像模糊不清。

因此，在本发明中，基于从图像传感器13输出的像素值，可以获得像素值，该像素值是假设在帧（图5中的虚线矩形）14中设置分别对应于R分量、G分量和B分量的三个图像传感器而获得的。

1.第一实施例

图像处理设备的配置

图6是图示了根据应用了本发明的图像处理设备的实施例的配置示例的框图。图像处理设备100将输入图像中与目标像素及其外围像素对应的像素的值作为变量，并利用通过学习而预先获得的系数通过积和（product-sum）运算预测输出图像的目标像素的像素值。

输入到图像处理设备100的输入图像是利用图像传感器的输出值而形成的图像，该图像传感器采用例如具有拜耳阵列的滤色器阵列。换言之，输入图像是与从例如图5所示图像传感器13输出的信号相对应的图像。因此，在输入图像中，从设有R滤色器的像素中获得R分量图像信号，但是G分量和B分量图像信号则不从设有R滤色器的像素中获得。相似地，仅G分量图像信号从G像素获得，而R分量和B分量图像信号不从G像素获得。相似地，仅B分量图像信号从B像素获得，而R分量和G分量图像信号不从B像素获得。

图6的图像处理设备100包括：代表RGB运算单元101、分别与R、G和B相对应的类别抽头（tap）选择单元、分别与R、G和B相对应的预测抽头选择单元、分别与R、G和B相对应的颜色转换单元、分别与R、G和B相对应的类别分类单元、分别与R、G和B相对应的系数存储器、以及分别与R、G和B相对应的积和运算单元。

代表RGB运算单元101在用于获取下文所述的类别抽头或预测抽头的图像中的区域（下文称为指定区域）中，将Dr、Db和Dg运算为用作R、G和B各个颜色分量的像素值的基准的代表值。

例如，假设该指定区域设置为如图7的实线帧所示。在图7中，各个圆表示输入图像的像素，由位于中心的阴影圆所表示的像素被认为是类别抽头或预测抽头的中心像素。此外，各个圆中的字母R、G和B表示各个像素的颜色分量。

指定区域可任意设置为包括了以中心像素为中心的类别抽头或预测抽头的区域，但是如果设置了大大超过类别抽头或预测抽头的区域，那么可能难以执行对应于图像区域的最佳处理。为此，指定区域优选地是与类别抽头或预测抽头相同的区域。

此外，在下文的描述中，尽管通过运算而得到的平均值、插值和代表值等被恰当地参照，但根据各个像素的颜色分量，执行运算之前的输入图像的各个像素值称为输入值G、输入值R和输入值B，以便彼此区别。换言之，将从设置有具有拜耳阵列的图像传感器的R滤色器的像素直接获得的像素值设置为输入值R；将从设置有具有拜耳阵列的图像传感器的G滤色器的像素直接获得的像素值设置为输入值G；将从设置有具有拜耳阵列的图像传感器的B滤色器的像素直接获得的像素值设置为输入值B。

在该示例中，将图7中以实线围绕且包括以中心像素为中心的25（5x5）个像素的区域设置为指定区域。

代表RGB运算单元101首先计算G分量代表值Dg。

此时，如图8所示，代表RGB运算单元101将指定区域中的R分量像素或B分量像素作为中心像素，并对作为中心像素的四个外围像素（上下左右）的像素G1～G4的输入值G1～G4进行平均，从而计算出插值g，该插值g是插到中心像素的像素位置处的G分量的值。相应地，输入图像中不具有G分量的R分量像素和B分量像素具有插入的G分量（插值g）。

此外，代表RGB运算单元101计算指定区域中所有G像素（在该示例中为12个）的输入值G和插值g的平均值作为代表值Dg。

接着，代表RGB运算单元101计算R分量代表值Dr。此时，代表RGB运算单元101计算插值r，该插值r是在指定区域中插到G像素的各个像素位置处的R分量的值。例如，如图9所示，在计算图8中像素G1或像素G4所在位置处的插值r时，将左右两侧上与G像素相邻的像素R2和R1的平均值当作插值r。

相应地，在指定区域中的G像素的像素位置处可以获得输入值G和插值r，在指定区域中的R像素的像素位置处可以获得输入值R和插值g。

此外，计算各个像素位置处的（插值r-输入值G）和（输入值R-插值g），将在计算出的（插值r-输入值G）和（输入值R-插值g）的平均值上加上代表值Dg而获得的值计算为代表值Dr。

接着，代表RGB运算单元101计算B分量代表值Db。此时，代表RGB运算单元101计算插值b，该插值b是插到指定区域中G像素的各个像素位置处的B分量的值。例如，如图10所示，在计算图8中像素G1或像素G4所在位置上的插值b时，将在上下两侧上与G像素相邻的像素B1和B2的平均值当作插值b。

相应地，在指定区域中的G像素的像素位置处可以获得输入值G和插值b，在指定区域中的B像素的像素位置处可以获得输入值B和插值g。

此外，计算各个像素位置处的（插值b-输入值G）和（输入值B-插值g），将在计算出的（插值b-输入值G）和（输入值B-插值g）的平均值上加上代表值Dg而获得的值计算为代表值Db。

再次参见图6，G类别抽头选择单元102-1选择并获取G类别抽头，该G类别抽头是从输入图像生成G分量图像所必需的类别抽头。G类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将G类别抽头选择单元102-1选择的G类别抽头提供给G转换单元105-11。G转换单元105-11对形成G类别抽头的各个像素值进行G转换处理。

例如，G转换处理执行如下。在形成G类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成G类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成G类别抽头的像素值为输入值B的情况下，运算转换值B'。

这里，利用方程（1）～（3）分别运算转换值G'、转换值R'和转换值B'。

G'＝G    (1)

R'＝R一(Dr一Dg)    (2)

B'＝B一(Db一Dg)    (3)

可以通过执行G转换处理来增加形成G类别抽头的各个像素值的相关性。换言之，相对于用作基准的G像素的像素值，对输入图像的R像素和B像素的各个像素值进行偏移，因此可以消除由形成G类别抽头的各个像素值的颜色分量差异引起的变化。

再次参见图6，将从G转换单元105-11输出的G类别抽头提供给G类别分类单元106-1。此外，从G转换单元105-11输出的G类别抽头包括利用上述方程（1）～（3）已经运算得出的转换值G'、转换值R'和转换值B'。

G类别分类单元106-1通过使用自适应动态范围编码（ADRC）对提供的G类别抽头进行编码以便生成类别代码。将生成的类别代码输出给G系数存储器107-1。

G系数存储器107-1读取存储为与从G类别分类单元106-1输出的类别代码具有相关性的系数，并将读出的系数提供给G积和运算单元108-1。此外，G系数存储器107-1将通过学习而预先获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

G预测抽头选择单元103-1从输入图像选择并获取G预测抽头，该G预测抽头是生成G分量图像所必需的预测抽头。G预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将G预测抽头选择单元103-1选择的G预测抽头提供给G转换单元105-12。G转换单元105-12对形成G预测抽头的各个像素值进行G转换处理。

G转换单元105-12执行的G转换处理与G转换单元105-11执行的G转换处理相同。换言之，通过利用上述方程（1）～（3），在形成G预测抽头的像素值为输入值G的情况下，运算转换值G'；在形成G预测抽头的像素值为输入值R的情况下，运算转换值R'；在形成G预测抽头的像素值为输入值B的情况下，运算转换值B'。

将从G转换单元105-12输出的G预测抽头提供给G积和运算单元108-1。此外，从G转换单元105-12输出的G预测抽头包括利用上述方程（1）～（3）已经运算得出的转换值G'、转换值R'和转换值B'。

G积和运算单元108-1将从G转换单元105-12输出的G预测抽头作为变量分配给预先设置的一阶线性方程，并利用从G系数存储器107-1提供的系数执行预测值的运算。换言之，G积和运算单元108-1基于G预测抽头预测性地运算作为输出图像的G分量图像（下文称为G输出图像）中目标像素的像素值。

本文将对输出图像的目标像素的像素值的预测运算进行描述。

例如，假设从具有拜耳阵列的滤色器阵列的图像传感器输出的图像数据以及从图5所示帧14中设置的G分量图像传感器输出的图像数据为第二图像数据。此外，可以认为通过预定的预测运算从第一图像数据的像素值获得第二图像数据的像素值。

当例如采用一阶线性预测运算作为该预定的预测运算时，利用以下一阶线性方程获得第二图像数据的像素（下文恰当地称为第二图像的像素）的像素值y。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n---\left(4\right)$

这里，在方程（4）中，x_n表示第一图像数据的第n个像素（下文恰当地称为第一图像的像素）的像素值，形成第二图像的像素y的预测抽头；w_n表示与第一图像的第n个像素（的像素值）相乘的第n个抽头系数。此外，在方程（4）中，预测抽头由第一图像的N个像素x₁、x₂、…、x_N形成。

这里，除了方程（4）所表示的一阶线性方程之外，还可以利用二阶或更高阶方程获得第二图像的像素的像素值y。

这里，当将第k个样本的第二图像的像素的像素值的真值表示为y_k，并将利用方程（4）获得的真值yk的预测值表示为y_k'时，其预测误差e_k则表示为以下方程：

e_k=y_k-y_k'    (5)

根据方程（4）获得方程（5）的预测值y_k'，因此根据方程（4）替代了方程（5）的y_k'，这生成了以下方程。

$e_k=y_k-\left(\underset{n-1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)---\left(6\right)$

这里，在方程（6）中，x_n,k表示形成第k个样本的第二图像的像素所用的预测抽头的第一图像的第n个像素。

使方程（6）（或者方程（5））的预测误差e_k为0的抽头系数w_n是预测第二图像的像素的最佳抽头系数，但是一般很难获得第二图像的所有像素的这种最佳抽头系数w_n。

因此，如果采用了例如最小二乘法作为表示抽头系数w_n为最佳抽头系数的模型，那么使以下方程表示的平方误差的总和E最小可以获得最佳抽头系数w_n。

$E=\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e_k}^2---\left(7\right)$

这里，在方程（7）中，K表示第二图像的像素y_k和形成第二图像的像素y_k所用的预测抽头的第一图像的像素x_1,k、x_2,k、…、x_N,k的集合的样本数量（用于学习的样本数量）。

如方程（8）所示，方程（7）的平方误差的总和E的最小值由w_n给出，利用抽头系数w_n生成了总和E的偏微分结果为0。

$\frac{\∂E}{\∂w_n}=e_1\frac{\∂e_2}{\∂w_n}+e_2\frac{\∂e_2}{\∂w_n}+\·\·\·+e_k\frac{\∂e_k}{\∂w_n}=0(n=\mathrm{1,2},\·\·\·,N)---\left(8\right)$

因此，当利用抽头系数w_n对上述方程（6）进行偏微分时，可以获得以下方程：

$\frac{\∂e_k}{\∂w_1}=-x_{1,k},\frac{\∂e_k}{\∂w_2}=-x_{2,k},\·\·\·,\frac{\∂e_k}{\∂w_N}=-x_{N,k},(k=\mathrm{1,2},\·\·\·\·,k)---\left(9\right)$

从方程（8）和方程（9）可以获得以下方程。

$\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_1,k=0,\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_2,k=\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0---\left(10\right)$

将方程（6）代入方程（10）的e_k，因此，方程（10）可由方程（11）表示的标准方程（normal equation）来表达。

可利用例如清除方法（Gauss-Jordan消除法）关于抽头系数w_n来解算方程（11）的标准方程。

为各个类别指定并解算方程（11）的标准方程，因此可以获得各个类别的最佳抽头系数w_n（这里为使平方误差的总和E最小的抽头系数）。例如，将通过这种方式得到的抽头系数w_n作为G系数存储在G系数存储器107-1中。此外，下面将对通过学习初步获得系数的方法进行详细描述。

例如，将已经执行了G转换单元105-12中的处理的G预测抽头代入方程（4）的像素x₁、x₂、…、x_N，方程（4）的抽头系数w_n由G系数存储器107-1提供，然后通过G积和运算单元108-1执行方程（4）的运算，从而预测输出图像的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到G输出图像。

R类别抽头选择单元102-2从输入图像选择并获取R类别抽头，该R类别抽头是生成R分量图像所必需的类别抽头。R类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将R类别抽头选择单元102-2选择的R类别抽头提供给R转换单元105-21。R转换单元105-21对形成R类别抽头的各个像素值进行R转换处理。

例如，R转换处理执行如下。在形成R类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成R类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成R类别抽头的像素值为输入值B的情况下，运算转换值B'。

这里，利用方程式（12）～（14）分别运算转换值G'、转换值R'和转换值B'。

G'=G-(Dg-Dr)    (12)

R'=R    (13)

B'=B-(Db-Dr)    (14)

可以通过执行R转换处理来增加形成R类别抽头的各个像素值的相关性。换言之，相对于用作基准的B像素的像素值，对输入图像的G像素和B像素的各个像素值进行偏移，因此可以消除由形成R类别抽头的各个像素值的颜色分量差异引起的变化。

再次参见图6，将从R转换单元105-21输出的R类别抽头提供给R类别分类单元106-2。此外，从R转换单元105-21输出的R类别抽头包括利用上述方程式（12）～（14）已经运算得出的转换值G'、转换值R'和转换值B'。

R类别分类单元106-2通过使用自适应动态范围编码（ADRC）对提供的R类别抽头进行编码以便生成类别代码。将生成的类别代码输出给R系数存储器107-2。

R系数存储器107-2读取存储为与从R类别分类单元106-2输出的类别代码具有相关性的系数，并将读出的系数提供给R积和运算单元108-2。此外，R系数存储器107-2将通过学习而预先获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

R预测抽头选择单元103-2从输入图像选择并获取R预测抽头，该R预测抽头是生成R分量图像所必需的预测抽头。R预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将R预测抽头选择单元103-2选择的R预测抽头提供给R转换单元105-22。R转换单元105-22对形成R预测抽头的各个像素值进行R转换处理。

R转换单元105-22执行的R转换处理与R转换单元105-21执行的R转换处理相同。换言之，通过利用上述方程式（12）～（14），在形成R预测抽头的像素值为输入值G的情况下，运算转换值G'；在形成R预测抽头的像素值为输入值R的情况下，运算转换值R'；在形成R预测抽头的像素值为输入值B的情况下，运算转换值B'。

将从R转换单元105-22输出的R预测抽头提供给R积和运算单元108-2。此外，从R转换单元105-21输出的R预测抽头包括利用上述方程式（12）～（14）已经运算得出的转换值G'、转换值R'和转换值B'。

R积和运算单元108-2将从R转换单元105-22输出的R预测抽头作为变量代入预先设置的一阶线性方程，并利用从R系数存储器107-2提供的系数执行预测值运算。换言之，R积和运算单元108-2基于R预测抽头预测性地运算作为输出图像的R分量图像（下文称为R输出图像）中目标像素的像素值。

例如，将已经执行了R转换单元105-22中的处理的R预测抽头代入方程（4）的像素x₁、x₂、…、x_N，方程（4）的抽头系数w_n由R系数存储器107-2提供，然后通过R积和运算单元108-2执行方程（4）的运算，从而预测输出图像的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到R输出图像。

B类别抽头选择单元102-3从输入图像选择并获取B类别抽头，该B类别抽头是生成R分量图像所必需的类别抽头。B类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将B类别抽头选择单元102-3选择的B类别抽头提供给B转换单元105-31。B转换单元105-31对形成B类别抽头的各个像素值进行B转换处理。

例如，B转换处理执行如下。在形成B类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成B类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成B类别抽头的像素值为输入值B的情况下，运算转换值B'。

这里，利用方程式（15）～（17）分别运算转换值G'、转换值R'和转换值B'。

G'=G一(Dg一Db)    (15)

R'=R一(Dr一Db)    (16)

B'＝B    (17)

可以通过执行B转换处理来增加形成B类别抽头的各个像素值的相关性。换言之，相对于用作基准的B像素的像素值，对输入图像的G像素和R像素的各个像素值进行偏移，因此可以消除由形成B类别抽头的各个像素值的颜色分量差异引起的变化。

再次参见图6，将从B转换单元105-31输出的B类别抽头提供给B类别分类单元106-3。此外，从B转换单元105-31输出的B类别抽头包括利用上述方程式（15）～（17）已经运算得出的转换值G'、转换值R'和转换值B'。

B类别分类单元106-3通过使用自适应动态范围编码（ADRC）对提供的B类别抽头进行编码以便生成类别代码。将生成的类别代码输出给B系数存储器107-3。

B系数存储器107-3读取存储为与从B类别分类单元106-3输出的类别代码具有相关性的系数，并将读出的系数提供给B积和运算单元108-3。此外，B系数存储器107-3将通过学习而提前获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

B预测抽头选择单元103-3从输入图像选择并获取B预测抽头，该B预测抽头是生成B分量图像所必需的预测抽头。B预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将B预测抽头选择单元103-3选择的B预测抽头提供给B转换单元105-32。B转换单元105-32对形成B预测抽头的各个像素值进行B转换处理。

B转换单元105-32执行的B转换处理与B转换单元105-31执行的B转换处理相同。换言之，通过利用上述方程式（15）～（17），在形成B预测抽头的像素值为输入值G的情况下，运算转换值G'；在形成B预测抽头的像素值为输入值R的情况下，运算转换值R'；在形成B预测抽头的像素值为输入值B的情况下，运算转换值B'。

将从B转换单元105-32输出的B预测抽头提供给B积和运算单元108-3。此外，从B转换单元105-32输出的B预测抽头包括利用上述方程式（15）～（17）已经运算得出的转换值G'、转换值R'和转换值B'。

B积和运算单元108-3将从B转换单元105-32输出的B预测抽头作为变量代入预先设置的一阶线性方程，并利用从B系数存储器107-3提供的系数执行预测值运算。换言之，B积和运算单元108-3基于B预测抽头预测性地运算作为输出图像的B分量图像（下文称为B输出图像）中目标像素的像素值。

例如，将已经执行了B转换单元105-32中的处理的B预测抽头代入方程（4）的像素x₁、x₂、…、x_N，方程（4）的抽头系数w_n由B系数存储器107-3提供，然后通过B积和运算单元108-3执行方程（4）的运算，从而预测输出图像的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到B输出图像。

学习设备的配置

接下来描述对G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中存储的系数进行的学习。

图11是图示了根据图6的图像处理设备的学习设备的配置示例的框图。

图11所示的学习设备200包括目标像素选择单元201、学生图像生成单元202、代表RGB运算单元203、类别抽头选择单元204、预测抽头选择单元205、颜色转换单元206-1、颜色转换单元206-2、类别分类单元207、标准方程添加单元208以及系数数据生成单元209。

在学习设备200中执行了系数学习的情况下，将例如通过在图5的帧14中设置分别与R分量、G分量和B分量相对应的三个图像传感器而得到的G分量图像、R分量图像和B分量图像准备为教师图像。

学生图像生成单元202通过利用例如光学低通滤波器的仿真模型使教师图像质量下降，并生成图像，该图像从包括根据拜耳阵列设置的像素的图像传感器输出。通过这种方式生成的图像用作学生图像。

目标像素选择单元201选择教师图像中的任何一个像素作为目标像素。此外，将选择作为目标像素的像素的坐标值等提供给代表RGB运算单元203、类别抽头选择单元204和预测抽头选择单元205。

代表RGB运算单元203以与图6所示代表RGB运算单元101相同的方式计算与学生图像的指定区域中的像素相关的代表值Dg、代表值Dr和代表值Db。此外，将指定区域设置为以位于与目标像素选择单元201所选目标像素相对应的位置处的像素为中心的预定区域。

类别抽头选择单元204从学生图像的指定区域中的像素中选择并获取类别抽头。此外，在目标像素选择单元201从教师图像的G分量图像中选择目标像素的情况下，类别抽头选择单元204选择G类别抽头。进一步地，在目标像素选择单元201从教师图像的R分量图像中选择目标像素的情况下，类别抽头选择单元204选择R类别抽头；而在目标像素选择单元201从教师图像的B分量图像中选择目标像素的情况下，类别抽头选择单元204选择B类别抽头。

预测抽头选择单元205从学生图像的指定区域中的像素中选择并获取预测抽头。此外，在目标像素选择单元201从教师图像的G分量图像中选择目标像素的情况下，预测抽头选择单元205选择G预测抽头。进一步地，在目标像素选择单元201从教师图像的R分量图像中选择目标像素的情况下，预测抽头选择单元205选择R预测抽头；而在目标像素选择单元201从教师图像的B分量图像中选择目标像素的情况下，预测抽头选择单元205选择B预测抽头。

颜色转换单元206-1对类别抽头选择单元204获取的类别抽头执行预定的转换处理。这里，在G类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对G类别抽头执行G转换处理。此外，在R类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对R类别抽头执行R转换处理，而在B类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对B类别抽头进行B转换处理。

将已经过颜色转换单元206-1中的处理的类别抽头提供给类别分类单元207。

颜色转换单元206-2对预测抽头选择单元205获取的预测抽头执行预定的转换处理。这里，在G预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对G预测抽头执行G转换处理。此外，在R预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对R预测抽头执行R转换处理，而在B预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对B预测抽头进行B转换处理。

将已经过颜色转换单元206-2中的处理的预测抽头提供给标准方程添加单元208。

类别分类单元207通过使用自适应动态范围编码（ADRC）对提供的类别抽头进行编码以便生成类别代码。将这里生成的类别代码与类别抽头一起提供给标准方程添加单元208。

标准方程添加单元208生成由例如上述方程（4）所表示的一阶线性方程。此时，将已经过颜色转换单元中的处理的类别抽头用作方程（4）的像素x₁、x₂、…、x_N。

如果目标像素选择单元201选择了一个新的目标像素，则以上述情况相同的方式生成新的一阶线性方程。标准方程添加单元208将通过这种方式生成的一阶线性方程添加到各个类别代码上以便生成方程（11）的标准方程。

系数数据生成单元209可利用例如清除方法（Gauss-Jordan消除法）关于抽头系数wn来解算方程（11）的标准方程。此外，系数数据生成单元209基于目标像素所在的教师图像的种类（G分量图像、R分量图像和B分量图像），将得到的抽头系数wn作为执行G输出图像的预测运算所需的G系数、执行R输出图像的预测预算所需的R系数以及执行B输出图像的预测运算所需的B系数输出。

将通过这种方式得到的用于各个类别代码的G系数、R系数和B系数分别存储在图6所示的G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中。

这样，执行了系数的学习。

类别抽头或预测抽头的结构示例

图12A～12D是图示了图6所示图像处理设备100或图11所示学习设备200中获取的类别抽头或预测抽头的结构示例的示意图。这里，类别抽头是上述G类别抽头、R类别抽头和B类别抽头的总称，而预测抽头是上述G预测抽头、R预测抽头和B预测抽头的总称。

图12A～12D的示例图示了由以输入图像的像素（中心像素）为中心的九（=3x3）个像素所形成的类别抽头或预测抽头，该中心像素与输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的类别抽头或者预测抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图12A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的类别抽头或预测抽头的示例的示意图。

图12B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的类别抽头或预测抽头的示例的示意图。

图12C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的类别抽头或预测抽头的示例的示意图。

图12D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的类别抽头或预测抽头的示例的示意图。

此外，类别抽头和预测抽头可以具有或可以不具有相同的结构。进一步地，在类别抽头中，G类别抽头、R类别抽头和B类别抽头可以具有或可以不具有相同的结构。相似地，在预测抽头中，G预测抽头、R预测抽头和B预测抽头可以具有或可以不具有相同的结构。

图像处理设备执行的图像处理

图13是图示了图6所示图像处理设备100执行的图像处理的示例的流程图。

在步骤S21中，确定是否输入了作为图像处理目标的图像（输入图像），并且进行等待，一直到确定输入了图像为止。如果步骤S21中确定输入了图像，该处理进行到步骤S22。

此外，如上所述，输入图像是利用例如具有拜耳阵列的滤色器阵列由图像传感器的输出值形成的图像。因此，在输入图像中，R分量图像信号从设有R滤色器的像素获得，但是G分量和B分量图像信号不从设有R滤色器的像素获得。相似地，仅G分量图像信号从G像素获得，而R分量和B分量图像信号不从G像素获得。相似地，仅B分量图像信号从B像素获得，而R分量和G分量图像信号不从B像素获得。

在步骤S22中，设置目标像素。相应地，确定了输入图像中的中心像素。

在步骤S23中，代表RGB运算单元101执行下文参见图14所述的代表RGB运算处理。相应地，对上述代表值Dg、代表值Dr和代表值Db进行运算。

在步骤S24中，G类别选择单元102-1、R类别选择单元102-2和B类别选择单元102-3分别获取G类别抽头、R类别抽头和B类别抽头。

在生成G输出图像的情况下，获取G类别抽头。在生成R输出图像的情况下，获取R类别抽头。在生成B输出图像的情况下，获取B类别抽头。下文中，为描述简便起见，将对生成G输出图像的情况进行描述。

在步骤S25中，执行颜色转换。例如，在生成G输出图像的情况下，G转换单元105-11执行G转换。此时，利用上述方程式（1）～（3）分别运算转换值G'、转换值R'和转换值B'。

在步骤S26中，执行类别分类。例如，在生成G输出图像的情况下，G类别分类单元106-1通过利用自适应动态范围编码（ADRC）对提供的G类别抽头进行编码，以便生成类别代码，从而执行类别分类。

在步骤S27中，获取预测抽头。例如，在生成G输出图像的情况下，G预测抽头选择单元103-1获取G预测抽头。

在步骤S28中，执行颜色转换。例如，在生成G输出图像的情况下，G转换单元105-12执行G转换。此时，利用上述方程式（1）～（3）分别运算转换值G'、转换值R'和转换值B'。

在步骤S29中，读取系数。例如，在生成G输出图像的情况下，从G系数存储器107-1读取存储为与由步骤S26中的处理而生成的类别代码具有相关性的系数。

在步骤S30中，预测目标像素值。例如，在生成G输出图像的情况下，将已经过由步骤S28中的处理而进行的颜色转换的G预测抽头代入方程（4）的像素x₁、x₂、…、x_N，将由步骤S29中的处理而读取的系数提供为方程（4）的抽头系数w_n，然后由G积和运算单元108-1执行方程（4）的运算，从而预测输出图像的目标像素的像素值。

在步骤S31中，确定是否存在下一个目标像素，如果确定存在下一个目标像素，该处理转到步骤S22，重复执行后续处理。

如果步骤S31中确定不存在下一个目标像素，该处理结束。

这样，执行了图像生成处理。

代表RGB运算处理

接着将参见图14的流程图对图13所示步骤S23中的代表RGB运算处理的具体示例进行描述。

在步骤S41中，代表RGB运算单元101计算输入图像的指定区域中R分量像素和B分量像素的插值g。此时，例如，如图8所示，对指定区域中的中心像素的四个外围像素（上下左右）、即像素G1～G4的输入值G1～G4进行平均，从而计算插值g，该插值g是插在中心像素的像素位置处的G分量的值。

在步骤S42中，代表RGB运算单元101计算代表值Dg。此时，指定区域中所有G像素的输入值G和步骤S41中计算出的插值g的平均值计算为代表值Dg。

在步骤S43中，代表RGB运算单元101计算G分量像素的插值r。例如，如图9所示，在计算图8中像素G1或像素G4所在位置上的插值r时，将左右两侧上与G像素相邻的像素R2和R1的平均值当作插值r。

相应地，在指定区域中的G像素的像素位置处可以获得输入值G和插值r，在指定区域中的R像素的像素位置处可以获得输入值R和插值g。

在步骤S44中，代表RGB运算单元101计算代表值Dr。此时，在各个像素位置处计算（插值r-输入值G）和（输入值R-插值g），将在计算出的（插值r-输入值G）和（输入值R-插值g）的平均值上加上代表值Dg而获得的值计算为代表值Dr。

在步骤S45中，代表RGB运算单元101计算G分量像素的插值b。例如，如图10所示，在计算图8中像素G1或像素G4所在位置上的插值b时，将上下两侧上与G像素相邻的像素B1和B2的平均值当作插值b。

相应地，在指定区域中的G像素的像素位置处可以获得输入值G和插值b，在指定区域中的B像素的像素位置处可以获得输入值B和插值g。

在步骤S46中，代表RGB运算单元101计算代表值Db。此外，在各个像素位置处计算（插值b-输入值G）和（输入值B-插值g），将在计算出的（插值b-输入值G）和（输入值B-插值g）的平均值上加上代表值Dg而获得的值计算为代表值Db。

这样，执行了代表RGB运算处理。

学习设备执行的系数学习处理

接着将参见图15的流程图对图11的学习设备执行的系数学习处理的示例进行描述。

在步骤S61中，确定是否输入了教师图像，并且进行等待，一直到确定输入了教师图像为止。如果确定步骤S61中输入了教师图像，该处理进行到步骤S62。

如上所述，教师图像是例如通过设置分别与图5的帧14中的R分量、G分量和B分量相对应的三个图像传感器而获得的G分量图像、R分量图像和B分量图像。

在步骤S62中，学生图像生成单元202生成学生图像。此时，通过利用例如光学低通滤波器的仿真模型使教师图像质量下降，生成了从包括根据拜耳阵列设置的像素的图像传感器输出的图像，并将该图像用作学生图像。

在步骤S63中，目标像素选择单元201选择（设置）教师图像中的任一像素作为目标像素。相应地，确定学生图像中的中心像素。

在步骤S64中，代表RGB运算单元203执行参见图14的流程图所述的代表RGB运算处理。相应地，计算得出代表值Dg、代表值Dr和代表值Db。

在步骤S65中，类别抽头选择单元204从学生图像的指定区域中的像素中选择并获取类别抽头。

这里，在目标像素选择单元201从教师图像的G分量图像中选择目标像素的情况下，类别抽头选择单元204选择G类别抽头。进一步地，在目标像素选择单元201从教师图像的R分量图像中选择目标像素的情况下，类别抽头选择单元204选择R类别抽头；而在目标像素选择单元201从教师图像的B分量图像中选择目标像素的情况下，类别抽头选择单元204选择B类别抽头。

在步骤S66中，颜色转换单元206-1对由步骤S65中的处理而获取的类别抽头进行预定的转换处理。

这里，在G类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对G类别抽头执行G转换处理。此外，在R类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对R类别抽头执行R转换处理；而在B类别抽头由类别抽头选择单元204获取的情况下，颜色转换单元206-1对B类别抽头执行B转换处理。

在步骤S67中，类别分类单元207通过利用自适应动态范围编码（ADRC）对提供的类别抽头进行编码，以便生成类别代码。将生成的类别代码与类别抽头一起提供给标准方程添加单元208。

在步骤S68中，预测抽头选择单元205从学生图像的指定区域中的像素中选择并获取预测抽头。

这里，在目标像素选择单元201从教师图像的G分量图像中选择目标像素的情况下，预测抽头选择单元205选择G预测抽头。进一步地，在目标像素选择单元201从教师图像的R分量图像中选择目标像素的情况下，预测抽头选择单元205选择R预测抽头；而在目标像素选择单元201从教师图像的B分量图像中选择目标像素的情况下，预测抽头选择单元205选择B预测抽头。

在步骤S69中，颜色转换单元206-2对由步骤S68中的处理而获取的预测抽头进行预定的转换处理。

这里，在G预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对G预测抽头执行G转换处理。此外，在R预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对R预测抽头执行R转换处理，而在B预测抽头由预测抽头选择单元205获取的情况下，颜色转换单元206-2对B预测抽头进行B转换处理。

在步骤S70中，标准方程添加单元208执行标准方程的添加。

如上所述，标准方程添加单元208生成由例如上述方程（4）表示的一阶线性方程，已经过颜色转换单元中的处理的类别抽头被用作方程（4）的像素x1、x2、…、xN。此外，标准方程添加单元208将通过这种方式生成的一阶线性方程添加到由步骤S67中的处理而生成的各个类别代码上以便生成方程（11）的标准方程。

在步骤S71中，确定是否存在下一个目标像素，如果确定存在下一个目标像素，该处理转到步骤S63，重复执行后续处理。

如果步骤S71中确定不存在下一个目标像素，该处理进行打到步骤S72。

在步骤S72中，系数数据生成单元209计算系数。

此时，如上所述，系数数据生成单元209可利用例如清除方法（Gauss-Jordan消除法）关于抽头系数wn来解算方程（11）的标准方程。此外，系数数据生成单元209基于设定有目标像素的教师图像的种类（G分量图像、R分量图像和B分量图像），将得到的抽头系数wn输出为执行G输出图像的预测运算所需的G系数、执行R输出图像的预测预算所需的R系数以及执行B输出图像的预测运算所需的B系数。

将通过这种方式得到的用于各个类别代码的G系数、R系数和B系数分别存储在图6所示的G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中，并由图13所示步骤S29中的处理对其进行读取。

这样，执行了系数学习处理。

2、第二实施例

在参见图6所述的实施例中，可一起生成G输出图像、R输出图像和B输出图像。然而，在拜耳阵列中，每单位面积内的G像素数量较多，因而预测准确度较高。此外，由于滤色器的特征，G比R或B具有更好的信噪比。为此，例如，可首先生成G输出图像，再利用生成的G输出图像来生成R输出图像和B输出图像。这样，可以执行在噪声量或分辨率（频率特征）方面具有更高质量的图像处理。

此外，由于Zipper噪声发生在输入图像中具有局部色差变化的位置，所以仅将G分量像素用在各个预测抽头中，因而可以避免R分量和B分量像素值中的局部变化的影响。这样，即使局部变化发生在中心像素周围的R分量和B分量像素中，也可以减少如果G分量像素值的变化较小时发生在输出图像中的Zipper噪声。

图像处理设备的配置

图16是图示了根据应用本发明的图像处理设备的实施例的配置示例的框图。图16所示的图像处理设备150首先生成G输出图像，然后利用生成的G输出图像来生成R输出图像和B输出图像。此外，在图16所示的图像处理设备150中，各个预测抽头仅包括用作减少发生在输出图像中的Zipper噪声的手段的G分量像素。

图16的代表RGB运算单元151的配置与图6所示代表RGB运算单元101的配置相同，因此将不再重复对其的详细描述。

G类别抽头选择单元152-1从输入图像选择并获取G类别抽头，该G类别抽头是生成G分量图像所必需的类别抽头。G类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将G类别抽头选择单元152-1选择的G类别抽头提供给G转换单元155-11。G转换单元155-11对形成G类别抽头的各个像素值进行G转换处理。

G转换单元155-11执行的G转换处理与图6所示G转换单元105-11执行的G转换处理相同。换言之，通过利用上述方程式（1）～（3），在形成G类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成G类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成G类别抽头的像素值为输入值B的情况下，运算转换值B'。

将从G转换单元155-11输出的G类别抽头提供给G类别分类单元156-1。

G类别分类单元156-1通过使用自适应动态范围编码（ADRC）对提供的G类别抽头进行编码以便生成类别代码。将生成的类别代码输出给G系数存储器157-1。

G系数存储器157-1读取存储为与从G类别分类单元156-1输出的类别代码具有相关性的系数，并将读出的系数提供给G积和运算单元158-1。此外，G系数存储器157-1将通过学习而提前获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

此外，在采用了具有图16所示配置的图像处理设备150的情况下，当对存储在G系数存储器157-1中的系数进行学习时，例如，将通过设置与图5的帧14中的G分量相对应的图像传感器而获得G分量图像用作教师图像，执行生成G输出图像的学习。

G预测抽头选择单元153-1从输入图像选择并获取G预测抽头，该G预测抽头是生成G分量图像所必需的预测抽头。G预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。此外，在图16这种情况下，与图6所示情况不同，G预测抽头选择单元153-1从输入图像中仅选择G分量像素。因此，在这种情况下，G预测抽头仅由G分量像素形成。

将G预测抽头选择单元153-1选择的G预测抽头提供给G转换单元155-12。G转换单元155-12对形成G预测抽头的各个像素值进行G转换处理。

例如，这里的G转换处理执行如下。

仍然参见图16，G预测抽头选择单元153-1从输入图像中选择G预测抽头，与图6不同，G预测抽头仅由G分量像素形成。因此，G转换单元155-12对形成G预测抽头的各个像素值执行方程（1）的上述运算以便计算转换值G'。将从G转换单元155-12输出的G预测抽头提供给G积和运算单元158-1。

G积和运算单元158-1的配置与图6所示的G积和运算单元108-1相同，并基于G预测抽头预测性地运算G输出图像中的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到G输出图像。然而，通过将仅包括G分量的G预测抽头代入预设的一阶线性方程并利用与类别代码相关的系数来对得到的G输出图像进行运算，该类别代码是从各个R、G和B分量所形成的G类别抽头中生成的。

通过这种方式得到的G输出图像仅使用在G预测抽头中的G分量像素，因而几乎不受R分量和B分量像素值中局部变化影响的影响。此外，由于在G类别抽头中使用了各个R、G和B分量的像素，所以R分量和B分量像素能够与类别代码相关联。因此，即使G预测抽头仅由G分量像素形成也不会降低G输出图像的分辨率。

此外，与图6的情况不同，在图16所示配置的情况下，将输入图像经由延迟单元161-1提供给R类别抽头选择单元152-2和B类别抽头选择单元152-3。进一步地，与图6的情况不同，在图16所示配置的情况下，将从代表RGB运算单元151输出的数据经由延迟单元161-2提供给R转换单元155-21和R转换单元155-22以及B转换单元155-31和B转换单元155-32。

而且，与图6的情况不同，在图16所示配置的情况下，将从积和运算单元158-1输出的数据提供给R预测抽头选择单元153-2和B预测抽头选择单元153-3。

R类别抽头选择单元152-2从输入图像选择并获取R类别抽头，该R类别抽头是生成R分量图像所必需的类别抽头。R类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将R类别抽头选择单元152-2选择的R类别抽头提供给R转换单元155-21。R转换单元155-21对形成R类别抽头的各个像素值进行R转换处理。

由R转换单元155-21执行的R转换处理与图6所示R转换单元105-21执行的R转换处理相同。换言之，通过利用上述方程式（12）～（14），在形成R类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成R类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成R类别抽头的像素值为输入值B的情况下，运算转换值B'。

将从R转换单元155-21输出的R类别抽头提供给R类别分类单元156-2。

R类别分类单元156-2通过使用自适应动态范围编码（ADRC）对提供的R类别抽头进行编码以便生成类别代码。将生成的类别代码输出给R系数存储器157-2。

R系数存储器157-2读取存储为与从R类别分类单元156-2输出的类别代码具有相关性的系数，并将读出的系数提供给R积和运算单元158-2。此外，R系数存储器157-2将通过学习而预先获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

此外，在采用了具有图16所示配置的图像处理设备150的情况下，当对存储在R系数存储器157-2中的系数进行学习时，例如，将通过设置与图5的帧14中的R分量相对应的图像传感器而获得的R分量图像用作教师图像，执行生成R输出图像的学习。

R预测抽头选择单元153-2从G输出图像选择并获取R预测抽头，该R预测抽头是生成R分量图像所必需的预测抽头。R预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的G输出图像的像素。此外，与图6所示情况不同，在图16这种情况下，R预测抽头选择单元153-2仅从G输出图像中选择R预测抽头。因此，在这种情况下，R预测抽头仅由G分量像素形成。

将R预测抽头选择单元153-2选择的R预测抽头提供给R转换单元155-22。R转换单元155-22对形成R预测抽头的各个像素值进行R转换处理。

例如，这里的R转换处理执行如下。

与图6所示情况不同，在图16所示情况下，R预测抽头选择单元153-2从G输出图像中选择R预测抽头。因此，在这种情况下，R预测抽头仅由G分量像素形成。这里，G输出图像的G分量像素由预测值Gp表示。

Gp'=Gp-(Dg-Dr)    (18)

可以通过执行R转换处理来增加形成R预测抽头的各个像素值的相关性。换言之，相对于用作基准的输入图像的R像素的像素值，对G输出图像的像素值进行偏移，因此可以消除由形成R预测抽头的各个像素值的颜色分量差异引起的变化。

将从R转换单元155-22输出的R预测抽头提供给R积和运算单元158-2。此外，从R转换单元155-22输出的R预测抽头包括利用上述方程式（18）已经运算得出的转换值Gp'。

R积和运算单元158-2的配置与图6所示的R积和运算单元108-2相同，并基于R预测抽头预测性地运算R输出图像中的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到R输出图像。然而，通过将仅包括G分量的R预测抽头代入预设的一阶线性方程并利用与类别代码相关的系数来对这里得到的R输出图像进行运算，该类别代码是从各个R、G和B分量所形成的R类别抽头中生成的。

通过这种方式得到的R输出图像仅使用在R预测抽头中的G分量像素，因而几乎不受R分量和B分量像素值中局部变化影响的影响。此外，由于在R类别抽头中使用了各个R、G和B分量的像素，所以R分量和B分量像素能够与类别代码相关联。因此，即使R预测抽头仅由G分量像素形成也不会降低R输出图像的分辨率。

此外，在图16所示配置的情况下，B类别抽头选择单元152-3从输入图像选择并获取B类别抽头，该B类别抽头是生成B分量图像所必需的类别抽头。B类别抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的输入图像的像素。

将B类别抽头选择单元152-3选择的B类别抽头提供给B转换单元155-31。B转换单元155-31对形成B类别抽头的各个像素值进行B转换处理。

B转换单元155-31执行的B转换处理与图6所示B转换单元105-31执行的B转换处理相同。换言之，通过利用上述方程式（15）～（17），在形成B类别抽头的像素值为输入值G的情况下，运算转换值G'；在形成B类别抽头的像素值为输入值R的情况下，运算转换值R'；在形成B类别抽头的像素值为输入值B的情况下，运算转换值B'。

将从B转换单元155-31输出的B类别抽头提供给B类别分类单元156-3。

B类别分类单元156-3通过使用自适应动态范围编码（ADRC）对提供的B类别抽头进行编码以便生成类别代码。将这里生成的类别代码输出给B系数存储器157-3。

B系数存储器157-3读取存储为与从B类别分类单元156-3输出的类别代码具有相关性的系数，并将读出的系数提供给B积和运算单元158-3。此外，B系数存储器157-3将通过学习而提前获得的且用于下文所述积和运算的系数存储为与类别代码具有相关性。

此外，在采用了具有图16所示配置的图像处理设备150的情况下，当对存储在B系数存储器157-3中的系数进行学习时，例如，将通过设置与图5的帧14中的B分量相对应的图像传感器而获得的B分量图像用作教师图像，执行生成B输出图像的学习。

B预测抽头选择单元153-3从G输出图像选择并获取B预测抽头，该B预测抽头是生成B分量图像所必需的预测抽头。B预测抽头由例如预定数量的以中心像素为中心的像素形成，该中心像素是处于与输出图像的目标像素相对应的位置处的G输出图像的像素。此外，与图6所示情况不同，在图16这种情况下，B预测抽头选择单元153-3仅从G输出图像中选择B预测抽头。因此，在这种情况下，B预测抽头仅由G分量像素形成。

将B预测抽头选择单元153-3选择的B预测抽头提供给B转换单元155-32。B转换单元155-32对形成B预测抽头的各个像素值进行B转换处理。

例如，本文的B转换处理执行如下。

与图6所示情况不同，在图16所示情况下，B预测抽头选择单元153-3从G输出图像中选择B预测抽头。因此，在这种情况下，B预测抽头仅由G分量像素形成。这里，G输出图像的G分量像素由预测值Gp表示。

Gp'=Gp-(Dg-Db)    (19)

可以通过执行B转换处理来增加形成B预测抽头的各个像素值的相关性。换言之，相对于用作基准的输入图像的B像素的像素值，对G输出图像的像素值进行偏移，因此可以消除由形成B预测抽头的各个像素值的颜色分量差异引起的变化。

将从B转换单元155-32输出的B预测抽头提供给B积和运算单元158-3。此外，从B转换单元155-32输出的B预测抽头包括利用上述方程式（19）已经运算得出的转换值Gp'。

B积和运算单元158-3的配置与图6所示的B积和运算单元108-3相同，并基于B预测抽头预测性地运算B输出图像中的目标像素的像素值。

这样，对各个目标像素进行了预测，因此可以得到B输出图像。然而，通过将仅包括G分量的B预测抽头代入预设的一阶线性方程并利用与类别代码相关的系数来对这里得到的B输出图像进行运算，该类别代码是从各个R、G和B分量所形成的B类别抽头中生成的。

通过这种方式得到的B输出图像仅使用在B预测抽头中的G分量像素，因而几乎不受R分量和B分量像素值中局部变化影响的影响。此外，由于在B类别抽头中使用了各个R、G和B分量的像素，所以R分量和B分量像素能够与类别代码相关联。因此，即使B预测抽头仅由G分量像素形成也不会降低B输出图像的分辨率。

类别抽头或预测抽头的结构示例

G类别抽头的结构

图17A～17D是图示了图16所示图像处理设备150获取的G类别抽头的结构示例的示意图。

图17A～17D的示例图示了以输入图像的像素（中心像素）为中心的9（=3x3）个像素所形成的G类别抽头，该中心像素与G输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的G类别抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图17A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的G类别抽头的示例的示意图。

图17B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的G类别抽头的示例的示意图。

图17C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的G类别抽头的示例的示意图。

图17D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的G类别抽头的示例的示意图。

G预测抽头的结构

图18A～18D是图示了图16所示图像处理设备150获取的G预测抽头的结构示例的示意图。

图18A～18D的示例图示了以输入图像的像素（中心像素）为中心的9（=3x3）个像素中仅仅由g像素所形成的G预测抽头，该中心像素与G输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的G预测抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图18A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的G预测抽头的示例的示意图。

图18B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的G预测抽头的示例的示意图。

图18C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的G预测抽头的示例的示意图。

图18D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的G预测抽头的示例的示意图。

此外，只要G类别抽头由各个R、G和B分量像素形成，且G预测抽头仅仅由G分量像素形成，那么G类别抽头和G预测抽头可以具有或可以不具有相同的结构。

R类别抽头的结构

图19A～19D是图示了图16所示图像处理设备150获取的R类别抽头的结构示例的示意图。

图19A～19D的示例图示了以输入图像的像素（中心像素）为中心的十字形状的五个像素所形成的R类别抽头，该中心像素与R输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的R类别抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图19A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的R类别抽头的示例的示意图。

图19B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的R类别抽头的示例的示意图。

图19C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的R类别抽头的示例的示意图。

图19D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的R类别抽头的示例的示意图。

R预测抽头的结构

图20A～20D是图示了图16所示图像处理设备150获取的R预测抽头的结构示例的示意图。在图20A～20D中，R预测抽头从G输出图像获取，因此图20A～20D的所有圆形中均具有Gp。

图20A～20D的示例图示了以输入图像的像素（中心像素）为中心的十字形状的五个像素所形成的R预测抽头，该中心像素与R输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的R预测抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图20A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的R预测抽头的示例的示意图。

图20B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的R预测抽头的示例的示意图。

图20C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的R预测抽头的示例的示意图。

图20D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的R预测抽头的示例的示意图。

此外，R类别抽头和R预测抽头可以具有或可以不具有相同的结构。B类别抽头的结构

图21A～21D是图示了图16所示图像处理设备150获取的B类别抽头的结构示例的示意图。

图21A～21D的示例图示了以输入图像的像素（中心像素）为中心的十字形状的五个像素所形成的B类别抽头，该中心像素与B输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的B类别抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图21A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的B类别抽头的示例的示意图。

图21B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的B类别抽头的示例的示意图。

图21C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的B类别抽头的示例的示意图。

图21D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的B类别抽头的示例的示意图。

R预测抽头的结构

图22A～22D是图示了图16所示图像处理设备150获取的B预测抽头的结构示例的示意图。在图22A～22D中，B预测抽头从G输出图像获取，因此图22A～22D的所有圆形中均具有Gp。

图22A～22D的示例图示了以输入图像的像素（中心像素）为中心的十字形状的五个像素所形成的B预测抽头，该中心像素与B输出图像的目标像素相对应。此外，这里，图示了在以四个像素（一个R分量像素、一个B分量像素和两个G分量像素）为一个单位构成的具有拜耳阵列的像素的情况下的B预测抽头的结构示例，该单位中的四个像素的每一个被设为中心像素。

图22A是图示了将具有拜耳阵列的像素的R分量像素用作中心像素的情况下的B预测抽头的示例的示意图。

图22B是图示了将具有拜耳阵列的像素的G分量像素用作中心像素的情况下的B预测抽头的示例的示意图。

图22C是图示了将具有拜耳阵列的像素的另一G分量像素用作中心像素的情况下的B预测抽头的示例的示意图。

图22D是图示了将具有拜耳阵列的像素的B分量像素用作中心像素的情况下的B预测抽头的示例的示意图。

此外，B类别抽头和B预测抽头可以具有或可以不具有相同的结构。进一步地，在类别抽头中，G类别抽头、R类别抽头和B类别抽头可以具有或可以不具有相同的结构。相似地，在预测抽头中，G预测抽头、R预测抽头和B预测抽头可以具有或可以不具有相同的结构。

如上所述，图像处理设备如图16所示而配置，因此，相较于图6所示配置的情况，可以执行在噪声量或分辨率（频率特征）方面具有更高质量的图像处理。此外，由于仅G分量像素用在了各个预测抽头中，因而输出图像几乎不受R分量和B分量像素值的局部变化的影响，可以减少输出图像中的Zipper噪声。在这种情况下，由于在各个类别抽头中使用了各个R、G和B分量的像素，所以R分量和B分量像素能够与类别代码相关联。因此，即使各个预测抽头仅由G分量像素形成也不会降低输出图像的分辨率。

图像处理设备的另一配置

虽然已经描述了在图16所示的图像处理设备150中，R类别抽头选择单元152-2从输入图像中选择R类别抽头，但是R类别抽头也可从图23所示的G输出图像中选择。在这种情况下，R类别抽头仅由G分量像素形成。因此，在R转换单元155-21执行的R转换处理中，当G输出图像的G分量像素由预测值Gp表示时，利用上述方程（18）对转换值Gp'进行运算。

此外，虽然已经描述了在图16所示的图像处理设备150中，B类别抽头选择单元152-3从输入图像中选择B类别抽头，但是B类别抽头也可从图23所示的G输出图像中选择。在这种情况下，B类别抽头仅由G分量像素形成。因此，在B转换单元155-31执行的B转换处理中，当G输出图像的G分量像素由预测值Gp表示时，利用上述方程（19）对转换值Gp'进行运算。

3、第三实施例

Zipper噪声是一种当抽头中像素之间的色差变化较明显时发生的现象。因此，输入图像中颜色分量变化的检测结果被包括进了由各个类别分类单元生成的类别代码中，因此，可以进一步提高减少Zipper噪声的准确度。

图像处理设备的配置

图24是图示了根据应用本发明的图像处理设备实施例的另一实施例的配置示例的框图。图24所示的图像处理设备180首先生成G输出图像，然后利用生成的G输出图像来生成R输出图像和B输出图像。此外，在图24所示的图像处理设备180中，各个预测抽头仅包括用作减少发生在输出图像中的Zipper噪声的手段的G分量像素。此外，与图16所示情况不同，在图24所示情况下，提供了颜色变化检测单元190，由颜色变化检测单元190执行的颜色分量变化的检测结果包括在了作为减少输出图像中发生的Zipper噪声的手段的类别代码中。

图24的代表RGB运算单元181的配置与图16所示的代表RGB运算单元151的配置相同，因此不再重复对其进行详细描述，但是，在由代表RGB运算单元181运算的代表值Dr、代表值Db和代表值Dg之中，还将G分量代表值Dg提供给颜色变化检测单元190。

颜色变化检测单元190从输入图像中计算R分量的颜色变化量和B分量的颜色变化量。这里，当R分量的颜色变化量由ΔR表示时，颜色变化检测单元190执行方程（20）的运算以计算ΔR。

△R＝DR(R-g)/Dg    (20)

这里，在方程（20）中，DR表示动态范围。此外，R表示像素R的输入值，g表示插值，Dg表示代表值。相应地，得到用于G分量的R分量的变化量。

颜色变化检测单元190确定ΔR的值是否超过了预定阈值。如果ΔR的值大于等于预定阈值，颜色变化检测单元190确定R分量的颜色变化量较大；如果ΔR的值小于预定阈值，颜色变化检测单元190确定R分量的颜色变化量较小。

此外，当B分量的颜色变化量由ΔB表示时，颜色变化检测单元190执行方程（21）的运算以计算ΔB。

△B=DR(B-g)/Dg    (21)

这里，在方程（21）中，DR表示动态范围。此外，B表示像素B的输入值，g表示插值，Dg表示代表值。相应地，得到用于G分量的B分量的变化量。

颜色变化检测单元190确定ΔB的值是否超过了预定阈值。如果ΔB的值大于等于预定阈值，颜色变化检测单元190确定B分量的颜色变化量较大；如果ΔB的值小于预定阈值，颜色变化检测单元190确定B分量的颜色变化量较小。

将通过这种方式得到的颜色变化检测结果提供给G类别分类单元186-1，并且经由延迟单元191-3提供给R类别分类单元186-2和B类别分类单元186-3。换言之，在这种情况下，颜色变化检测结果包括表示R分量的颜色变化量大小和B分量的颜色变化量大小的信息。

在图24中，与生成G输出图像有关的功能块、即G类别抽头选择单元182-1、G转换单元185-11、G类别分类单元186-1、G系数存储器187-1、G预测抽头选择单元183-1、G转换单元185-12以及G积和运算单元188-1的配置分别与图16所示的G类别抽头选择单元152-1、G转换单元155-11、G类别分类单元156-1、G系数存储器157-1、G预测抽头选择单元153-1、G转换单元155-12以及G积和运算单元158-1的配置基本相同，因此不再重复对其进行详细描述。

然而，G类别分类单元186-1通过利用自适应动态范围编码（ADRC）对G类别抽头进行编码以生成类别代码，该类别代码包括颜色变化检测单元190的颜色变化检测结果。此外，G系数存储器187-1对通过学习而预先得到的且用在由G积和运算单元188-1执行的积和运算中的系数存储为与该类别代码相关。

此外，在采用了具有图24所示配置的图像处理设备180的情况下，当对存储在G系数存储器187-1中的系数进行学习时，例如，将通过设置与图5的帧14中的G分量相对应的图像传感器而获得G分量图像用作教师图像，执行生成G输出图像的学习。

利用基于R分量的颜色变化量和B分量的颜色变化量的大小的系数，通过积和运算，来生成通过这种方式得到的G输出图像，因此可以进一步提高减少Zipper噪声的准确度。

此外，在图24中，与生成R输出图像有关的功能块、即R类别抽头选择单元182-2、R转换单元185-21、R类别分类单元186-2、R系数存储器187-2，R预测抽头选择单元183-2，R转换单元185-22以及R积和运算单元188-2的配置分别与图16所示的R类别抽头选择单元152-2、R转换单元155-21、R类别分类单元156-2、R系数存储器157-2、R预测抽头选择单元153-2、R转换单元155-22以及R积和运算单元158-2的配置基本相同，因此不再重复对其进行详细描述。

然而，R类别分类单元186-2通过利用自适应动态范围编码（ADRC）对R类别抽头进行编码以生成类别代码，该类别代码包括颜色变化检测单元190的颜色变化检测结果。此外，R系数存储器187-2对通过学习而预先得到的且用在由R积和运算单元188-2执行的积和运算中的系数存储为与该类别代码相关。

此外，在采用了具有图24所示配置的图像处理设备180的情况下，当对存储在R系数存储器187-2中的系数进行学习时，例如，将通过设置与图5的帧14中的R分量相对应的图像传感器而获得R分量图像用作教师图像，执行生成R输出图像的学习。

利用基于R分量的颜色变化量和B分量的颜色变化量的大小的系数，通过积和运算，来生成通过这种方式得到的R输出图像，因此可以进一步提高减少Zipper噪声的准确度。

在图24中，与生成B输出图像有关的功能块、即B类别抽头选择单元182-3、B转换单元185-31、B类别分类单元186-3、B系数存储器187-3、B预测抽头选择单元183-3、B转换单元185-32以及B积和运算单元188-3分别基本具有与图16的B类别抽头选择单元152-3、B转换单元155-31、B类别分类单元156-3、B系数存储器157-3、B预测抽头选择单元153-3、B转换单元155-32以及B积和运算单元158-3相同的配置，因此本文不再重复对其进行详细描述。

然而。B类别分类单元186-3通过利用自适应动态范围编码（ADRC）对B类别抽头进行编码以便生成类别代码，该类别代码包括颜色变化检测单元190得出的颜色变化检测结果。此外，B系数存储器187-3将通过学习而预先获得的且用于由B积和运算单元188-3执行的积和运算中的系数存储为与类别代码具有相关性。

此外，在利用具有图24所示配置的图像处理设备180的情况下，当对存储在B系数存储器187-3中的系数进行学习时，将例如通过在图5所示帧14中设置与B分量相对应的图像传感器而获得的B分量图像用作教师图像，执行生成B输出图像的学习。

通过这种方式得到的B输出图像是利用基于R分量的颜色变化量大小和B分量的颜色变化量大小的系数通过积和运算生成的，因此可以进一步改善减少Zipper噪声的准确度。

此外，在上述描述中，将R分量的颜色变化量ΔR描述为通过方程（20）的运算而计算得出，但其也可利用能够计算得出R分量的颜色变化量的其它运算方程而获得。进一步地，将B分量的颜色变化量ΔB描述为通过方程（21）的运算而计算得出，但其也可利用能够计算得出B分量的颜色变化量的其它运算方程而获得。

在上述描述中，对G类别分类单元186-1、R类别分类单元186-2和B类别分类单元186-3均生成包括了表示颜色变化检测结果的代码的类别代码进行了描述，但是表示颜色变化检测结果的代码并不一定必须包括在各个类别分类单元中的类别代码中。例如，仅在G类别分类单元186-1中，表示颜色变化检测结果的代码可以包括在类别代码中。

此外，在上述描述中，对表示R分量的颜色变化量大小的信息和B分量的颜色变化量大小的信息均处于颜色变化检测结果中进行了描述，但是可以包括至少一条信息。进一步地，通过利用预定的运算方程而获得的表示G分量的颜色变化量大小的信息可以包括在颜色变化检测结果中。例如，作为检测颜色变化的结果，R类别分类单元186-2可生成包括仅表示R分量的颜色变化量大小的信息的代码的类别代码，以便获得R输出图像。此外，B类别分类单元186-3可生成包括仅表示B分量的颜色变化量大小的信息的代码的类别代码，以便获得B输出图像。

图像处理设备执行的图像处理

图25是图示了由图24的图像处理设备180执行的图像处理的示例的流程图。

在步骤S81中，确定是否输入了作为图像处理目标的图像（输入图像），并且进行等待，一直到确定输入了图像为止。如果步骤S81中确定输入了图像，该处理进行到步骤S82。

在步骤S82中，设置目标像素。相应地，确定输入图像中的中心像素。

在步骤S83中，代表RGB运算单元181执行参见图14所述的代表RGB运算处理。相应地，对上述代表值Dg、代表值Dr和代表值Db进行运算。

在步骤S84中，颜色变化检测单元190检测输入图像中的颜色分量变化。例如，作为检测颜色变化的结果，获得表示R分量的颜色变化量大小的信息和表示B分量的颜色变化量大小的信息。

在步骤S85中，G类别选择单元182-1、R类别选择单元182-2和B类别选择单元182-3分别获取G类别抽头、R类别抽头和B类别抽头。

在生成G输出图像的情况下，获取G类别抽头。在生成R输出图像的情况下，获取R类别抽头。在生成B输出图像的情况下，获取B类别抽头。下文中，为描述简便起见，将对生成G输出图像的情况进行描述。然而，如上所述，G类别抽头由各个R、G和B分量形成。

在步骤S86中，执行颜色转换。例如，在生成G输出图像的情况下，G转换单元185-11执行G转换。此时，利用上述方程式（1）～（3）分别运算转换值G'、转换值R'和转换值B'。

在步骤S87中，执行类别分类。例如，在生成G输出图像的情况下，G类别分类单元186-1通过利用自适应动态范围编码（ADRC）对提供的G类别抽头进行编码，以便生成类别代码，从而执行类别分类。生成的类别代码包括表示颜色变化检测结果的代码。

在步骤S88中，获取预测抽头。例如，在生成G输出图像的情况下，G预测抽头选择单元183-1获取G预测抽头。然而，如上所述，G预测抽头仅由G像素形成。

在步骤S89中，执行颜色转换。例如，在生成G输出图像的情况下，G转换单元185-12执行G转换。此时，由于G预测抽头仅由G分量像素形成，所以转换值G'利用上述方程（1）运算得出。

在步骤S90中，读取系数。例如，在生成G输出图像的情况下，从G系数存储器107-1读取存储为与由于步骤S87中的处理而生成的类别代码具有相关性的系数。

在步骤S91中，预测目标像素值。例如，在生成G输出图像的情况下，将已经经过由步骤S89中的处理而产生的颜色转换的G预测抽头代入方程（4）的像素x₁、x₂、…、x_N，将由步骤S90中的处理而读取的系数提供为方程（4）的抽头系数w_n，然后由G积和运算单元188-1执行方程（4）的运算，从而预测输出图像的目标像素的像素值。

在步骤S92中，确定是否存在下一个目标像素，如果确定存在下一个目标像素，该处理转到步骤S82，重复执行后续处理。

如果步骤S92中确定不存在下一个目标像素，该处理结束。

这样，执行了图像生成处理。

滤色器阵列的其它布置示例

在上述描述中，对将具有拜耳阵列的滤色器阵列用作滤色器阵列的示例进行了描述，但也可采用具有除拜耳阵列之外的其它布置的滤色器阵列。例如，可采用一种像素布置（下文称为斜拜耳阵列），其中，像素所在位置移动了拜耳阵列的各个水平线上的1/2像素。图26和图27图示了当采用斜拜耳阵列时的类别抽头和预测抽头的示例。

类别抽头的结构

图26是图示了图16所示图像处理设备150或图24所示图像处理设备180中获取的类别抽头的结构的示意图。这里，类别抽头是上述G类别抽头、R类别抽头和B类别抽头的总称。

图26的示例图示了由设置在斜拜耳阵列中的十三个像素形成的类别抽头。在图16所示图像处理设备或图24所示图像处理设备中，各个类别抽头由各个R、G和B分量的像素形成。

预测抽头的结构

图27是图示了图16所示图像处理设备150或图24所示图像处理设备180中获取的预测抽头的结构的示意图。这里，预测抽头是上述G预测抽头、R预测抽头和B预测抽头的总称。

图27的示例图示了仅由与图26的类别抽头相对应的十三个像素中的九个G分量像素形成的预测抽头。在图16的图像处理设备150或图24的图像处理设备180中，各个预测抽头仅由G分量像素形成。

此外，同样在利用斜拜耳阵列的情况下，以与上述具有拜耳阵列相同的方式，类别抽头和预测抽头可以具有或可以不具有相同的结构。进一步地，在类别抽头中，G类别抽头、R类别抽头和B类别抽头可以具有或可以不具有相同的结构。相似地，在预测抽头中，G预测抽头、R预测抽头和B预测抽头可以具有或可以不具有相同的结构。

计算机的配置

上述一系列处理可由硬件或软件执行。当上述一系列处理由软件执行时，构成该软件的程序从网络或记录介质安装到并入专用硬件的计算机中，或者例如安装到如图28所示的能够通过安装多种程序执行多种功能的通用个人计算机900等中。

在图28中，CPU（中央处理器）901根据存储在只读存储器（ROM）902中的程序或从存储单元908加载到随机存取存储器（RAM）903的程序来执行多种处理。RAM903恰当地存储CPU901执行多种处理所需的数据等。

CPU901、ROM902和RAM903通过总线904彼此连接。此外，输入输出接口905也与总线904连接。

输入输出接口905与包括键盘和鼠标等的输入单元906、包括液晶显示器（LCD）等显示器和扬声器等的输出单元907、包括硬盘等的存储单元908、包括调制解调器的通信单元909、比如LAN卡等网络接口卡等等连接。通信单元909通过包括因特网的网络执行通信处理。

必要时驱动器910与输入输出接口905连接，诸如磁盘、光盘、磁光盘或半导体存储器等可移除介质911恰当地安装在该驱动器910中，必要时将从驱动器910中读出的计算机程序安装在存储单元908中。

在上述一系列处理均在软件中执行的情况下，构成该软件的程序从因特网等网络或者包括可移除介质911等记录介质安装。

例如，如图28中所示，记录介质不仅包括分布式的以单独将程序从装置本体递送到用户的可移除介质911，比如磁盘（包括软盘（注册商标））、光盘（包括压缩式光盘只读存储器（CD-ROM）和数字通用碟片（DVD））、磁光盘（包括迷你光碟（MD））或半导体存储器，还包括以原本包含在装置本体中的状态发送给用户并将程序记录在其中的ROM902，或者包括存储单元908中包含的硬盘。

在本说明书中，上述一系列步骤不仅包括根据上述顺序以时间序列的方式执行的步骤，还包括不必按照时间序列的方式并行或单独执行的步骤。

此外，本发明的实施例不限于上述实施例，在不脱离本发明的精神的情况下还可具有多种变化。

此外，本发明可具有以下配置。

(1)一种图像处理设备，其包括：

类别抽头选择单元，其从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

类别分类单元，其基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

系数读取单元，其基于所述类别分类的结果读取预先储存的系数；

预测抽头选择单元，其从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；以及

积和运算单元，其将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值，

其中，仅仅由所述第一颜色分量形成的所述第二图像是从由所述多个颜色分量形成的图像中生成的；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，所述预测抽头从仅仅由所述第一颜色分量形成的所述第二图像获取。

(2)根据(1)所述的图像处理设备，其进一步包括：

代表值运算单元，其从所述第一图像中选择包括预定数量的像素的指定区域，并为所述指定区域中的各个颜色分量运算代表值；

第一颜色分量转换单元，其将所述预测抽头的所述第一颜色分量的像素值转换为第一转换值，所述第一转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述第一颜色分量的像素值进行偏移而获得的，

其中，所述积和运算单元将所述第一转换值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值。

(3)根据(2所述的图像处理设备，其进一步包括：

第二颜色分量转换单元，其将所述类别抽头的所述多个颜色分量的像素值转换为第二转换值，所述第二转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述多个颜色分量的像素值进行偏移而获得的，

其中，所述类别分类单元基于所述第二转换值确定所述类别抽头的特征量。

(4)根据(3所述的图像处理设备，

其中，所述单板式像素部是包括R、G和B分量的具有拜耳阵列的像素部，并且，

所述代表值运算单元：

基于R像素或B像素周围的G像素计算所述R像素或所述B像素的插值g；

基于所述G像素周围的所述R像素或所述B像素计算所述G像素的插值r和插值b；

通过利用输入值G和所述插值g的平均值来运算G代表值，所述输入值G是从所述G像素直接获得的；

基于所述插值r和所述输入值G之间的差值、从所述R像素直接获得的输入值R和所述插值g之间的差值、以及所述G代表值来运算R代表值；以及

基于所述插值b和所述输入值G之间的差值、从所述B像素直接获得的输入值B和所述插值g之间的差值、以及所述G代表值来运算B代表值。

(5)根据(4)所述的图像处理设备，

其中，当所述第二图像仅由所述G像素形成时，所述颜色分量转换单元使所述输入值R偏移所述R代表值和所述G代表值之间的差值，并使所述输入值B偏移所述B代表值和所述G代表值之间的差值，

当所述第二图像仅由R像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述R代表值之间的差值，并使所述输入值B偏移所述B代表值和所述R代表值之间的差值，并且，

当所述第二图像仅由B像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述B代表值之间的差值，并使所述输入值R偏移所述R代表值和所述B代表值之间的差值。

(6)根据(1)～(5)中的任一项所述的图像处理设备，其进一步包括：

颜色变化检测单元，其从所述第一图像检测颜色分量变化，

其中，所述类别分类单元基于所述颜色变化检测单元的检测结果执行类别分类。

(7)根据(1)～(5)中的任一项所述的图像处理设备，

其中，所述系数读取单元读出的所述系数是通过学习预先获得的，在所述学习中，

将从多个像素部输出的图像信号所形成的图像用作教师图像，各个所述像素部均包含所述多个颜色分量中的仅仅单个颜色分量的像素，所述像素部设置在比设在所述单板式像素部和目标之间的光学低通滤波器更靠近所述目标的位置处；

将从所述单板式像素部输出的图像信号所形成的图像用作学生图像；以及

通过解算使所述学生图像的像素和所述教师图像的像素彼此映射的标准方程式来计算所述系数。

(8)一种图像处理设备的图像处理方法，所述方法包括：

使所述图像处理设备：

从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

基于所述类别分类的结果读取预先储存的系数；

从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；

将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值；

从由所述多个颜色分量形成的图像中生成仅仅由所述第一颜色分量形成的所述第二图像；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，从仅仅由所述第一颜色分量形成的所述第二图像获取所述预测抽头。

(9)一种使计算机执行从第一图像生成第二图像的图像处理的程序，所述程序使所述计算机：

从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

基于所述类别分类的结果读取预先储存的系数；

从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；

将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值；

从由所述多个颜色分量形成的图像中生成仅仅由所述第一颜色分量形成的所述第二图像；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，从仅仅由所述第一颜色分量形成的所述第二图像获取所述预测抽头。

本领域的技术人员应理解，根据本发明所附权利要求或其等同物的保护范围内的设计要求和其它因素，本发明可具有各种修改、组合、子组合和变更。

相关文件的交叉引用

本申请要求于2013年3月29日提交的日本专利申请JP2013-074761的优先权，其全部内容以引用的方式并入本文。

Claims (9)

1.一种图像处理设备，其包括：

类别抽头选择单元，其从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

类别分类单元，其基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

系数读取单元，其基于所述类别分类的结果读取预先储存的系数；

预测抽头选择单元，其从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；以及

积和运算单元，其将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值，

其中，仅仅由所述第一颜色分量形成的所述第二图像是从由所述多个颜色分量形成的图像中生成的；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，所述预测抽头从仅仅由所述第一颜色分量形成的所述第二图像获取。

2.根据权利要求1所述的图像处理设备，其进一步包括：

代表值运算单元，其从所述第一图像中选择包括预定数量的像素的指定区域，并为所述指定区域中的各个颜色分量运算代表值；

第一颜色分量转换单元，其将所述预测抽头的所述第一颜色分量的像素值转换为第一转换值，所述第一转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述第一颜色分量的像素值进行偏移而获得的，

其中，所述积和运算单元将所述第一转换值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值。

3.根据权利要求2所述的图像处理设备，其进一步包括：

第二颜色分量转换单元，其将所述类别抽头的所述多个颜色分量的像素值转换为第二转换值，所述第二转换值是通过利用所述代表值相对于作为基准的所述多个颜色分量之一的像素值使所述多个颜色分量的像素值进行偏移而获得的，

其中，所述类别分类单元基于所述第二转换值确定所述类别抽头的特征量。

4.根据权利要求3所述的图像处理设备，

其中，所述单板式像素部是包括R、G和B分量的具有拜耳阵列的像素部，并且，

所述代表值运算单元：

基于R像素或B像素周围的G像素计算所述R像素或所述B像素的插值g；

基于所述G像素周围的所述R像素或所述B像素计算所述G像素的插值r和插值b；

通过利用输入值G和所述插值g的平均值来运算G代表值，所述输入值G是从所述G像素直接获得的；

基于所述插值r和所述输入值G之间的差值、从所述R像素直接获得的输入值R和所述插值g之间的差值、以及所述G代表值来运算R代表值；以及

基于所述插值b和所述输入值G之间的差值、从所述B像素直接获得的输入值B和所述插值g之间的差值、以及所述G代表值来运算B代表值。

5.根据权利要求4所述的图像处理设备，

其中，当所述第二图像仅由所述G像素形成时，所述颜色分量转换单元使所述输入值R偏移所述R代表值和所述G代表值之间的差值，并使所述输入值B偏移所述B代表值和所述G代表值之间的差值，

当所述第二图像仅由R像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述R代表值之间的差值，并使所述输入值B偏移所述B代表值和所述R代表值之间的差值，并且，

当所述第二图像仅由B像素形成时，所述颜色分量转换单元使所述输入值G偏移所述G代表值和所述B代表值之间的差值，并使所述输入值R偏移所述R代表值和所述B代表值之间的差值。

6.根据权利要求1～5中的任一项所述的图像处理设备，其进一步包括：

颜色变化检测单元，其从所述第一图像检测颜色分量变化，

其中，所述类别分类单元基于所述颜色变化检测单元的检测结果执行类别分类。

7.根据权利要求1～5中的任一项所述的图像处理设备，

其中，所述系数读取单元读出的所述系数是通过学习预先获得的，在所述学习中，

将从多个像素部输出的图像信号所形成的图像用作教师图像，各个所述像素部均包含所述多个颜色分量中的仅仅单个颜色分量的像素，所述像素部设置在比设在所述单板式像素部和目标之间的光学低通滤波器更靠近所述目标的位置处；

将从所述单板式像素部输出的图像信号所形成的图像用作学生图像；以及

通过解算使所述学生图像的像素和所述教师图像的像素彼此映射的标准方程式来计算所述系数。

8.一种图像处理设备的图像处理方法，所述方法包括：

使所述图像处理设备：

从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

基于所述类别分类的结果读取预先储存的系数；

从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；

将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值；

从由所述多个颜色分量形成的图像中生成仅仅由所述第一颜色分量形成的所述第二图像；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，从仅仅由所述第一颜色分量形成的所述第二图像获取所述预测抽头。

9.一种使计算机执行从第一图像生成第二图像的图像处理的程序，所述程序使所述计算机：

从由单板式像素部输出的图像信号形成的第一图像中，选择与对应于多个颜色分量的像素相关的像素值作为类别抽头，在所述单板式像素部中，分别对应于所述多个颜色分量的所述像素规则地设置在平面上；

基于从所述类别抽头的所述多个颜色分量的像素值中获得的特征量，将第二图像的目标像素分为多个类别中的任意一类，所述第二图像中的每一个由所述多个颜色分量中的仅仅单个颜色分量的像素形成；

基于所述类别分类的结果读取预先储存的系数；

从所述第一图像中选择与对应于所述多个颜色分量中的第一颜色分量的像素相关的像素值作为预测抽头；

将所述预测抽头的所述第一颜色分量的像素值用作变量，并利用读出的所述系数通过积和运算来运算所述第二图像的像素值；

从由所述多个颜色分量形成的图像中生成仅仅由所述第一颜色分量形成的所述第二图像；并且，

当从由所述多个颜色分量形成的所述图像中生成仅仅由与所述第一颜色分量不同的第二颜色分量形成的所述第二图像时，从仅仅由所述第一颜色分量形成的所述第二图像获取所述预测抽头。