CN104079899B - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理装置、图像处理方法和程序。所述图像处理装置包括：代表值计算单元，它从第一图像选择指定区，并且计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，它对所述指定区进行类别分类；系数读取单元，它读取预先存储的系数；颜色分量变换单元，它将所述指定区内的预定的像素有关的像素值设定为预测抽头，将一个颜色分量的像素值设定为基准，并将各颜色分量的像素值变换成变换值；和积和计算单元，它将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值。根据本发明，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。

Description

图像处理装置、图像处理方法和程序

相关申请的交叉参考

本申请要求于2013年3月29日提交的日本在先专利申请JP2013-074577的权益，其全部内容以引用的方式并入本文。

技术领域

本技术涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种在进行分辨率变换的图像处理时能够从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号而不会降低图像质量的图像处理装置、图像处理方法和程序。

背景技术

近年来，对诸如所谓的4k2k或8k4k等图像分辨率的改善的需求日益增加。然而，例如，即使图像传感器的尺寸可以增大，但是由于光学系统的尺寸、重量等，也难以实现分辨率的足够改善。此外，在图像传感器的灵敏度方面也难以提高帧速率。

由此，已经提出了其中在不会降低图像传感器的胞的面积超过预定程度的情况下改善分辨率的技术。例如，已经提出了其中生成输出图像的像素并且通过对低分辨率的输入图像进行图像处理获得高分辨率的输出图像的技术。

此外，目前主要有两种使用图像传感器的成像装置。一种是使用一个图像传感器的单芯式(one-chip)装置(以下称为单芯式相机)。另一种是使用三个图像传感器的三芯式装置(以下称为三芯式相机)。

在三芯式相机中，例如，使用三个图像传感器，即，R信号用的图像传感器、G信号用的图像传感器和B信号用的图像传感器，因此通过三个图像传感器获得三原色信号。然后，从三原色信号产生的彩色图像信号被存储在记录介质中。

在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。作为构成彩色编码滤波器的彩色滤波器阵列，例如，使用红色(R)、绿色(G)和蓝色(B)的原彩色滤波器阵列或黄色(Ye)、青色(Cy)和品红色(Ma)的互补滤波器阵列。然后，在单芯式相机中，通过图像传感器针对一个像素获得一种颜色分量的信号，并且通过进行线性插值处理产生由每个像素保持的颜色分量的信号以外的其他颜色信号，从而获得接近由三芯式相机获得的图像的图像。在摄像机中，为了小型化和轻量化而使用单芯式方式。

作为构成彩色编码滤波器的彩色滤波器阵列，在大部分时间使用拜耳(Bayer)布局的彩色滤波器阵列。在拜耳布局中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。

在这种情况下，在图像传感器中，从其中配置三原色R、G和B之一颜色的滤波器的各像素中，只有对应于该滤波器颜色的图像信号被输出。即，从其中配置R色滤波器的像素中，R分量的图像信号被输出，但是G分量和B分量的图像信号没有被输出。按相同方式，从G像素中，仅有G分量的图像信号被输出，R分量和B分量的图像信号没有被输出。从B像素中，仅有B分量的图像信号被输出，R分量和G分量的图像信号没有被输出。

然而，在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，在现有的技术中，从来自n×m(n和m是正整数)个像素构成的图像传感器的输出通过各自的插值计算获得n×m个R像素的图像信号、n×m个G像素的图像信号和n×m个B像素的图像信号，并输出到下游侧。

此外，提出了以下的技术，其中从n×m个R像素的图像信号通过插值计算获得2n×2m个R像素的图像信号，从n×m个G像素的图像信号通过插值计算获得2n×2m个G像素的图像信号，从n×m个B像素的图像信号通过插值计算获得2n×2m个B像素的图像信号(例如，参照日本未经审查的专利申请公开No.2000-341705)。

在日本未经审查的专利申请公开No.2000-341705中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。通过这样做，从来自单芯式相机的图像传感器的输出可以生成三原色信号，并且可以生成像素密度是原始图像的4倍的图像信号。

顺便说一下，在日本未经审查的专利申请公开No.2000-341705中，对应于图像传感器中各R、G和B的像素值原样地用作抽头(tap，タップ)，即，预测计算的变量。

然而，由于R、G和B的像素值中的相关性初始很低，例如，即使在关注像素附近的多个像素值被作为抽头输入，也难以在预测计算中产生足够的效果。

此外，在单芯式相机的图像传感器中，为了避免伪色、假像等的影响，入射在图像传感器上的光通常被设置成通过光学低通滤波器。

然而，按这种方式通过将入射到图像传感器光被设置成通过光学低通滤波器使图像褪色。

即，在现有的技术中，在单芯式相机中，在不会造成图像质量下降的情况下，例如图像的褪色、伪色或假像，很难获得三原色信号。

在这种条件下，由于在从低分辨率的输入图像获得高分辨率的输出图像的图像处理中，在现有的技术中，诸如在拜耳变换时发生的伪色或假像等图像质量劣化突出，因此难以达到足够的效果。

发明内容

希望在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号，而不会降低图像质量。

根据本技术的实施方案，提供了一种图像处理装置，包括：代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

在所述图像处理装置中，所述单芯式像素单元可以是具有R、G和B颜色分量的像素单元；和其中所述代表值计算单元可以基于R或B像素附近的G像素计算R或B像素的插值g，可以基于G像素附近的R像素或B像素计算G像素的插值r和插值b，可以通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，可以基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和可以基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。

在所述图像处理装置中，如果第二图像是仅由G像素构成的图像，所述颜色分量变换单元可以通过使用R的代表值和G的代表值之间的差抵消输入值R，和可以通过使用B的代表值和G的代表值之间的差抵消输入值B；其中如果第二图像是仅由R像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和R的代表值之间的差抵消输入值G，和可以通过使用B的代表值和R的代表值之间的差抵消输入值B，和其中如果第二图像是仅由B像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和B的代表值之间的差抵消输入值G，和可以通过使用R的代表值和B的代表值之间的差抵消输入值R。

在所述图像处理装置中，所述单芯式图像单元可以被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。

在所述图像处理装置中，如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么可以从仅由第一颜色分量构成的第二图像获取所述预测抽头。

所述图像处理装置还可以包括：计算所述预测抽头的虚拟色差的虚拟色差计算单元，其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么所述积和计算单元可以将所述预测抽头的虚拟色差设定为变量并可以通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和其中可以从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽头。

在所述图像处理装置中，所述虚拟色差计算单元可以通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。

所述图像处理装置还可以包括：另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，其中所述类别分类单元可以基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。

在所述图像处理装置中，可以通过预先学习获得由所述系数读取单元读取的系数，其中在所述预先学习中，通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像可以被设定为教师图像，其中由使用从所述单芯式像素单元输出的图像信号构成的图像可以被设定为学生图像，和其中可以通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。

根据本技术的另一个施方案，提供了一种图像处理方法，包括：使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

根据本技术的另一个施方案，提供了一种使计算机起到图像处理装置功能的程序，包括：代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

根据本技术的实施方案，从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；基于进行所述类别分类的结果读取预先存储的系数；将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和所述变换值被设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

根据本技术，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。

附图说明

图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图；

图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图；

图3是示出指定区的例子的图；

图4是用于说明计算插值g的方法的例子的图；

图5是用于描述计算插值r的方法的例子的图；

图6是用于说明计算插值b的方法的例子的图；

图7是示出对应于图2的图像处理装置的学习装置的构成例的方框图；

图8A～8D是示出在图2的图像处理装置或图7的学习装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图9是说明由图2的图像处理装置进行的图像处理的例子的流程图；

图10是说明代表RGB计算处理的例子的流程图；

图11是说明由图7的学习装置进行的系数学习处理的例子的流程图；

图12是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；

图13A～13D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图14A～14D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图15A～15D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图16是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；

图17A～17D是示出在图16的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图18A～18D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；

图19A～19D是说明在图2的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；

图20是说明拜耳布局的像素的配置的图；

图21是说明倾斜拜耳布局的像素的配置的图；

图22A和图22B是说明在图2的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；

图23A～23D是说明在图12的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；

图24A和图24B是说明在图12的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；

图25A～25D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；

图26A～26D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图

图27A～27D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；

图28A和图28B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；

图29A和图29B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；和

图30是示出个人电脑的构成例的方框图。

具体实施方式

下面参照附图说明本说明书中所公开的技术的实施方案。

图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图。

在这个例子中，从被写体11反射的光通过光学低通滤波器12，并且被图像传感器13接收。

在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。

在这点上，拜耳布局的彩色滤波器阵列用于图像传感器13中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。即，在图像传感器13中的矩形区域内的4个像素由两个G像素、一个R像素和一个B像素构成。

在单芯式相机中，在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，必须基于从图像传感器13输出的像素值，通过进行插值运算以获得针对每个像素的R分量、G分量和B分量的像素值。

此外，在图像传感器13中，为了避免伪色、假像等的影响，入射在图像传感器上的光被设置为通过光学低通滤波器。然而，按这种方式通过将入射到图像传感器光设置为通过光学低通滤波器使图像褪色。

因此，根据本技术，基于从图像传感器13输出的像素值，可以获得当分别对应于R分量、G分量和B分量的三个图像传感器配置成框(由图中的虚线表示的矩形)14时获得的像素值。

图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图。在图像处理装置100中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。

输入图像被输入到图像处理装置100中，例如，被设置为由其中使用拜耳布局的彩色滤波器阵列的图像传感器的输出值构成的图像。即，输入图像被设置为对应于信号是从图1的图像传感器13输出的信号的图像。因此，在输入图像中，从其中配置R色滤波器的像素中，获得R分量的图像信号，但是没有获得G分量和B分量的图像信号。按相同方式，从G像素中，仅获得G分量的图像信号，没有获得R分量和B分量的图像信号。然后，从B像素中，仅获得B分量的图像信号，没有获得R分量和G分量的图像信号。

图2的图像处理装置100由代表RGB计算单元101以及分别对应于RGB色的类别抽头选择单元、分别对应于RGB色的预测抽头选择单元、分别对应于RGB色的色变换单元、分别对应于RGB色的类别分类单元、分别对应于RGB色的系数存储器和分别对应于RGB色的积和计算单元构成。

在下述的用于获取类别抽头或预测抽头的图像的区域(称为指定区)中，代表RGB计算单元101计算被设置为分别作为R、G和B的颜色分量的像素值的基准的代表值Dr、Db和Dg。

例如，如图3的粗线框所示，指定区被设定。在图3中，图中的每个圆圈表示输入图像的像素，并且中央的阴影圆圈表示的像素被设定为类别抽头或预测抽头的中心像素。此外，每个圆圈内写入的字母R、G、B表示各像素的颜色分量。

指定区，即，中心像素被设定为中心的包括类别抽头或预测抽头的区域，被任意地设定，但是当指定区设定为大幅地超出类别抽头或预测抽头的区域时，根据图像的区域的最佳处理难以进行。由此，优选的是，指定区被设定为与类别抽头或预测抽头相同的区域。

此外，在下面的说明中，通过运算计算出的平均值、插值、代表值等被适当地参照，但是运算前的输入图像的像素值根据各像素的颜色分量分别称为输入值G、输入值R和输入值B，以区分各像素值。即，从其中拜耳布局的图像传感器的R色滤波器被配置的像素直接获得的像素值被设定为输入值R，从其中拜耳布局的图像传感器的G色滤波器被配置的像素直接获得的像素值被设定为输入值G，从其中拜耳布局的图像传感器的B色滤波器被配置的像素直接获得的像素值被设定为输入值B。

在这个例子中，由图中的粗线包围并且由中心像素被设定为中心的25(=5×5)个像素构成的区域被设定为指定区。

首先，代表RGB计算单元101计算G分量的代表值Dg。

此时，如图4所示，其中指定区内的R分量像素或B分量像素被设定为中心，代表RGB计算单元101对像素G1～G4(即，中心像素附近(上下左右方向)的4个G像素)的输入值G1～输入值G4取平均，从而计算出插值g，它是在中心像素的像素位置中的插值的G分量的值。通过这样做，在输入图像中不具有G分量的R分量像素和B分量像素具有插值的G分量(插值g)。

然后，代表RGB计算单元101计算指定区内的所有G像素(这里，12个)的输入值G和插值g的平均值作为代表值Dg。

接下来，代表RGB计算单元101计算R分量的代表值Dr。此时，代表RGB计算单元101计算插值r，它是在指定区内的G像素的各像素位置中的插值的R分量的值。例如，如果计算图4中的像素G1或像素G4所示位置中的插值r，那么如图5所示，分别紧挨着G像素左侧和紧挨着G像素右侧的像素R1和R2的平均值被设定为插值r。

通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值r，并且可以在指定区内的R像素的像素位置中获得输入值R和插值g。

然后，在各像素位置中，计算(插值r-输入值G)和(输入值R-插值g)，并且计算代表值Dr，它是从将代表值Dg加到计算出的(插值r-输入值G)和(输入值R-插值g)的平均值上得到的值。

此外，代表RGB计算单元101计算B分量的代表值Db。此时，代表RGB计算单元101计算插值b，它是在指定区内的G像素的各像素位置中的插值的B分量的值。例如，如果计算图4中的像素G1或像素G4所示位置中的插值b，那么如图6所示，分别紧挨着G像素上侧和紧挨着G像素下侧的像素B1和像素B的平均值被设定为插值b。

通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值b，并且可以在指定区内的B像素的像素位置中获得输入值B和插值g。

然后，在各像素位置中，计算(插值b-输入值G)和(输入值B-插值g)，并且计算代表值Db，它是从将代表值Dg加到计算出的(插值b-输入值G)和(输入值B-插值g)的平均值上得到的值。

返回参照图2，G类别抽头选择单元102-1从输入图像中选择G类别抽头，它是生成G分量图像需要的类别抽头，并且获取G类别抽头。例如，G类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

G类别抽头选择单元102-1选择的G类别抽头被供给到G变换单元105-11。G变换单元105-11被设定成对构成G类别抽头的各像素值进行G变换处理。

例如，G变换处理如下进行。如果构成G类别抽头的像素值是输入值G，那么计算变换值G'，如果构成G类别抽头的像素值是输入值R，那么计算变换值R'，如果构成G类别抽头的像素值是输入值B，那么计算变换值B'。

在这点上，变换值G'、变换值R'和变换值B'使用下式(1)～(3)计算。

G'=G (1)

R'=R-(Dr-Dg) (2)

B'=B-(Db-Dg) (3)

构成G类别抽头的各像素值之间的相关性通过进行G变换处理提高。即，输入图像的R像素和B像素的各像素值抵消被设定为基准的G像素的像素值，因此，可以除去由于构成G类别抽头的各像素值之间的颜色分量的差异带来的变化。

返回参照2，从G变换单元105-11输出的G类别抽头被供给到G类别分类单元106-1。此外，从G变换单元105-11输出的G类别抽头由使用上式(1)～(3)计算的变换值G'、变换值R'和变换值B'构成。

G类别分类单元106-1使用自适应动态范围编码(ADRC)对供给的G类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到G系数存储器107-1。

G系数存储器107-1读取被映射到从G类别分类单元106-1输出的类别代码的存储的系数。然后，G系数存储器107-1将读取的系数供给到G积和计算单元108-1。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在G系数存储器107-1中。

G预测抽头选择单元103-1从输入图像中选择G预测抽头，它是生成G分量图像需要的预测抽头，并且获取G预测抽头。例如，G预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

G预测抽头选择单元103-1选择的G预测抽头被供给到G变换单元105-12。G变换单元105-12被设定成对构成G预测抽头的各像素值进行G变换处理。

G变换单元105-12进行的G变换处理与G变换单元105-11的相同。即，使用上式(1)～(3)，如果构成G预测抽头的像素值是输入值G，那么计算变换值G'，如果构成G预测抽头的像素值是输入值R，那么计算变换值R'，如果构成G预测抽头的像素值是输入值B，那么计算变换值B'。

从G变换单元105-12输出的G预测抽头被供给到G积和计算单元108-1。此外，从G变换单元105-12输出的G预测抽头由使用上式(1)～(3)计算的变换值G'、变换值R'和变换值B'构成。

G积和计算单元108-1在预先构造的线性一次式中代入从G变换单元105-12输出的G预测抽头作为变量，并且使用从G系数存储器107-1供给的系数进行预测值运算。即，基于G预测抽头，G积和计算单元108-1对成为输出图像的G分量图像(称为G输出图像)的关注像素的像素值进行预测计算。

在这点上，说明输出图像的关注像素的像素值的预测计算。

下面，例如，从具有拜耳布局的彩色滤波器阵列的图像传感器输出的图像数据被定义为第一图像数据，从配置在图1的框14中的G分量图像传感器输出的图像数据被定义为第二图像数据。然后，考虑使用预定的预测计算从第一图像数据的像素值获得第二图像数据的像素值。

当例如采用作为预定的预测计算的线性一次预测计算时，使用下面的线性一次式获得第二图像数据(下文中适当地称为第二图像的像素)的像素的像素值y。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n---\left(4\right)$

然而，在式(4)中，x_n表示构成第二图像的像素y用的预测抽头的第n个第一图像数据的像素(下文中适当地称为第一图像的像素)的像素值，w_n表示与第n个第一图像的像素(像素值)相乘的第n个抽头系数。此外，在式(4)中，预测抽头由N个第一图像的像素x₁，x₂，...，x_N构成。

在这点上，第二图像的像素的像素值y也可以通过二次以上的高次式获得，而不是式(4)表示的线性一次式。

下面，当第k个样本中的第二图像的像素的像素值的真值由y_k表示并且通过式(4)获得的其真值y_k的预测值是y_k'时，其预测误差e_k由下式表示。

e_k=y_k-y_k' (5)

下面，由于式(5)的预测值y_k'根据式(4)获得，因此当式(5)的y_k'根据式(4)置换时，获得下式。

$e_k=y_k-(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n,k)---\left(6\right)$

然而，在式(6)中，x_n,k表示构成第k个样本的第二图像的像素用的预测抽头的第n个第一图像的像素。

当预测第二图像的像素时，将式(6)(或式(5))的预测误差e_k设定为0的抽头系数w_n是最佳的，但通常对于所有第二图像的所有像素很难获得抽头系数w_n。

因此，当例如最小二乘法用作用于指示抽头系数w_n是最佳的标准时，最佳的抽头系数w_n可以通过最小化由下式表示的均方误差的总和E来获得。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(7\right)$

然而，在式(7)中，K表示集合的第二图像的像素y_k和构成第二图像的像素y_k用的预测抽头的第一图像的像素x_1,k，x_2,k，...，x_N,k的集合的样本数(学习用的样本数)。

式(7)中的均方误差的总和E的最小值(极小值)，如式(8)所示，由用抽头系数w_n设定总和E的偏微分的结果为0的w_n给出。

$\frac{\∂E}{{\∂w}_n}=e_1\frac{{\∂e}_1}{{\∂w}_n}+e_2\frac{{\∂e}_2}{{\∂w}_n}+...+e_k\frac{{\∂e}_k}{{\∂w}_n}=0,(n=\mathrm{1,2},...,N)---\left(8\right)$

因此，当上式(6)用抽头系数w_n偏微分时，获得下式。

$\frac{{\∂e}_k}{{\∂w}_1}=-x_{1,k},\frac{{\∂e}_k}{{\∂w}_2}=-x_{2,k},...,\frac{{\∂e}_k}{{\∂w}_N}=-x_{N,k},(k=\mathrm{1,2},...,K)---\left(9\right)$

从式(8)和式(9)获得下式。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0---\left(10\right)$

当将式(6)代入式(10)中的e_k时，式(10)可以由式(11)表示的正规方程式表示。

从式(11)的正规方程式例如可以使用扫出法(Gauss-Jordan消去法)等来求解抽头系数w_n。

通过针对各类别形成及求解式(11)的正规方程式，可以获得各类别的最佳的抽头系数w_n(这里，最小化均方误差的总和E的抽头系数)。例如，按这种方式获得的抽头系数w_n作为G系数被存储在G系数存储器107-1中。此外，通过预先学习获得系数的方法将在下面详细说明。

例如，经过G变换单元105-12的处理的G预测抽头代入式(4)的像素x₁，x₂，...，x_N，式(4)中的抽头系数w_n从G系数存储器107-1供给，并在G积和计算单元108-1中进行式(4)的运算。因此，预测输出图像的关注图像的像素值。

按这种方式，通过预测各关注像素可以获得G输出图像。

R类别抽头选择单元102-2从输入图像中选择R类别抽头，它是生成R分量图像需要的类别抽头，并且获取R类别抽头。例如，R类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

R类别抽头选择单元102-2选择的R类别抽头被供给到R变换单元105-21。R变换单元105-21对构成R类别抽头的各像素值进行R变换处理。

例如，R变换处理如下进行。如果构成R类别抽头的像素值是输入值G，那么计算变换值G'，如果构成R类别抽头的像素值是输入值R，那么计算变换值R'，如果构成R类别抽头的像素值是输入值B，那么计算变换值B'。

在这点上，变换值G'、变换值R'和变换值B'使用下式(12)～(14)计算。

G'=G-(Dg-Dr) (12)

R'=R (13)

B'=B-(Db-Dr) (14)

构成R类别抽头的各像素值之间的相关性通过进行R变换处理提高。即，输入图像的G像素和B像素的各像素值抵消被设定为基准的R像素的像素值，因此，可以除去由于构成R类别抽头的各像素值之间的颜色分量的差异带来的变化。

返回参照2，从R变换单元105-21输出的R类别抽头被供给到R类别分类单元106-2。此外，从R变换单元105-21输出的R类别抽头由使用上式(12)～(14)计算的变换值G'、变换值R'和变换值B'构成。

R类别分类单元106-2通过进行自适应动态范围编码(ADRC)对供给的R类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到R系数存储器107-2。

R系数存储器107-2读取被映射到从R类别分类单元106-2输出的类别代码的存储的系数。然后，R系数存储器107-2将读取的系数供给到R积和计算单元108-2。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在R系数存储器107-2中。

R预测抽头选择单元103-2从输入图像中选择R预测抽头，它是生成R分量图像需要的预测抽头，并且获取R预测抽头。例如，R预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

R预测抽头选择单元103-2选择的R预测抽头被供给到R变换单元105-22。R变换单元105-22对构成R预测抽头的各像素值进行R变换处理。

R变换单元105-22进行的R变换处理与R变换单元105-21的相同。即，使用上式(12)～(14)，如果构成R预测抽头的像素值是输入值G，那么计算变换值G'，如果构成R预测抽头的像素值是输入值R，那么计算变换值R'，如果构成R预测抽头的像素值是输入值B，那么计算变换值B'。

从R变换单元105-22输出的R预测抽头被供给到R积和计算单元108-2。此外，从R变换单元105-21输出的R预测抽头由使用上式(12)～(14)计算的变换值G'、变换值R'和变换值B'构成。

R积和计算单元108-2在预先构造的线性一次式中代入从R变换单元105-22输出的R预测抽头作为变量，并且使用从R系数存储器107-2供给的系数进行预测值运算。即，基于R预测抽头，R积和计算单元108-2对成为输出图像的R分量图像(称为R输出图像)的关注像素的像素值进行预测计算。

例如，经过R变换单元105-22的处理的R预测抽头代入式(4)的像素x₁，x₂，...，x_N，式(4)中的抽头系数w_n从R系数存储器107-2供给，并在R积和计算单元108-2中进行式(4)的运算。因此，预测输出图像的关注图像的像素值。

按这种方式，通过预测各关注像素可以获得R输出图像。

B类别抽头选择单元102-3从输入图像中选择B类别抽头，它是生成B分量图像需要的类别抽头，并且获取B类别抽头。例如，B类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

B类别抽头选择单元102-3选择的B类别抽头被供给到B变换单元105-31。B变换单元105-31对构成B类别抽头的各像素值进行B变换处理。

例如，B变换处理如下进行。如果构成B类别抽头的像素值是输入值G，那么计算变换值G'，如果构成R类别抽头的像素值是输入值R，那么计算变换值R'，如果构成B类别抽头的像素值是输入值B，那么计算变换值B'。

在这点上，变换值G'、变换值R'和变换值B'使用下式(15)～(17)计算。

G'=G-(Dg-Db) (15)

R'=R-(Dr-Db) (16)

B'=B (17)

构成B类别抽头的各像素值之间的相关性通过进行B变换处理提高。即，输入图像的G像素和R像素的各像素值抵消被设定为基准的B像素的像素值，因此，可以除去由于构成B类别抽头的各像素值之间的颜色分量的差异带来的变化。

返回参照2，从B变换单元105-31输出的B类别抽头被供给到B类别分类单元106-3。此外，从B变换单元105-31输出的B类别抽头由使用上式(15)～(17)计算的变换值G'、变换值R'和变换值B'构成。

B类别分类单元106-3通过进行自适应动态范围编码(ADBC)对供给的B类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到B系数存储器107-3。

B系数存储器107-3读取被映射到从B类别分类单元106-3输出的类别代码的存储的系数。然后，B系数存储器107-3将读取的系数供给到B积和计算单元108-3。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在B系数存储器107-3中。

B预测抽头选择单元103-3从输入图像中选择B预测抽头，它是生成B分量图像需要的预测抽头，并且获取B预测抽头。例如，B预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。

B预测抽头选择单元103-3选择的B预测抽头被供给到B变换单元105-32。B变换单元105-32对构成B预测抽头的各像素值进行B变换处理。

B变换单元105-32进行的B变换处理与B变换单元105-31的相同。即，使用上式(15)～(17)，如果构成B预测抽头的像素值是输入值G，那么计算变换值G'，如果构成B预测抽头的像素值是输入值R，那么计算变换值R'，如果构成B预测抽头的像素值是输入值B，那么计算变换值B'。

从B变换单元105-32输出的B预测抽头被供给到B积和计算单元108-3。此外，从B变换单元105-31输出的B预测抽头由使用上式(15)～(17)计算的变换值G'、变换值R'和变换值B'构成。

B积和计算单元108-3在预先构造的线性一次式中代入从B变换单元105-32输出的B预测抽头作为变量，并且使用从B系数存储器107-3供给的系数进行预测值运算。即，基于B预测抽头，B积和计算单元108-3对成为输出图像的B分量图像(称为B输出图像)的关注像素的像素值进行预测计算。

例如，经过B变换单元105-32的处理的B预测抽头代入式(4)的像素x₁，x₂，...，x_N，式(4)中的抽头系数w_n从B系数存储器107-3供给，并在B积和计算单元108-3中进行式(4)的运算。因此，预测输出图像的关注图像的像素值。

按这种方式，通过预测各关注像素可以获得B输出图像。

接下来，说明对在G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中存储的系数进行的学习。

图7是示出对应于图2的图像处理装置100的学习装置的构成例的方框图。

如图7所示，学习装置200包括关注像素选择单元201、学生图像生成单元202、代表RGB计算单元203、类别抽头选择单元204、预测抽头选择单元205、色变换单元206-1、色变换单元206-2、类别分类单元207、正规方程式加法单元208和系数数据生成单元209。

如果学习装置200对系数进行学习，例如，那么准备G分量图像、R分量图像和B分量图像作为教师图像，它们通过在图1的框14中配置分别对应于R分量、G分量和B分量的三个图像传感器而获得。

例如，通过使用光学低通滤波器的仿真模型等，学生图像生成单元202使教师图像劣化，并生成从由根据拜耳布局配置的像素构成的图像传感器输出的图像。按这种方式生成的图像被定义为学生图像。

关注像素选择单元201从教师图像中选择任意一个像素作为关注像素。此外，被选择作为关注像素的像素的坐标值等被设置成使得它们被供给到代表RGB计算单元203、类别抽头选择单元204和预测抽头选择单元205。

代表RGB计算单元203针对在学生图像中的指定区内的像素计算代表值Dg、代表值Dr和代表值Dr，与图2中的代表RGB计算单元101的情况一样。此外，指定区被设定为预定区域，其中对应于由关注像素选择单元201选择的关注像素的位置中的像素被设定为中心。

类别抽头选择单元204从学生图像中的指定区内的像素选择类别抽头，并获取类别抽头。此外，如果关注像素选择单元201从教师图像中的G分量图像选择关注像素，那么类别抽头选择单元204被设置成使得它选择G类别抽头。此外，如果关注像素选择单元201从教师图像中的R分量图像选择关注像素，那么类别抽头选择单元204被设置成选择R类别抽头，并且如果关注像素选择单元201从教师图像中的B分量图像选择关注像素，那么类别抽头选择单元204被设置成选择B类别抽头。

预测抽头选择单元205从学生图像中的指定区内的像素选择预测抽头，并获取预测抽头。此外，如果关注像素选择单元201从教师图像中的G分量图像选择关注像素，那么预测抽头选择单元205被设置成选择G预测抽头。此外，如果关注像素选择单元201从教师图像中的R分量图像选择关注像素，那么预测抽头选择单元205被设置成选择R预测抽头，并且如果关注像素选择单元201从教师图像中的B分量图像选择关注像素，那么预测抽头选择单元205被设置成选择B预测抽头。

色变换单元206-1对由类别抽头选择单元204获取的类别抽头进行预定的变换处理。在这点上，如果由类别抽头选择单元204获取G类别抽头，那么色变换单元206-1被设置成进行G变换处理。此外，如果由类别抽头选择单元204获取R类别抽头，那么色变换单元206-1被设置成进行R变换处理，并且如果由类别抽头选择单元204获取B类别抽头，那么色变换单元206-1被设置成进行B变换处理。

经过色变换单元206-1的处理的类别抽头被供给到类别分类单元207。

色变换单元206-2对由预测抽头选择单元205获取的预测抽头进行预定的变换处理。在这点上，如果由预测抽头选择单元205获取G预测抽头，那么色变换单元206-2被设置成进行G变换处理。此外，如果由预测抽头选择单元205获取R预测抽头，那么色变换单元206-2被设置成进行R变换处理，并且如果由预测抽头选择单元205获取B预测抽头，那么色变换单元206-2被设置成进行B变换处理。

经过色变换单元206-2的处理的预测抽头被供给到正规方程式加法单元208。

类别分类单元207通过进行自适应动态范围编码(ADRC)对供给的类别抽头进行编码，从而生成类别代码。这里生成的类别代码连同类别抽头一起被供给到正规方程式加法单元208。

正规方程式加法单元208例如生成式(4)表示的线性一次式。此时，经过色变换单元的处理的类别抽头被用作式(4)中的像素x₁，x₂，...，x_N。

当关注像素选择单元201选择新的关注像素时，按与上述情况相同的方式产生新的线性一次式。正规方程式加法单元208将按这种方式生成的线性一次式加到每个类别代码上，从而生成式(11)的正规方程式。

系数数据生成单元209通过使用扫出法(Gauss-Jordan消去法)等从(11)式的正规方程式求解出抽头系数w_n。然后，根据其中关注像素被设定的教师图像的类型(G分量图像、R分量图像或B分量图像)，系数数据生成单元209输出所获得的抽头系数w_n，作为进行G输出图像的预测计算所需的G系数、进行R输出图像的预测计算所需的R系数或进行B输出图像的预测计算所需的B系数。

因此，获得的每个类别代码的G系数、R系数和系数B分别被存储在图2的G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中。

因此，对系数进行学习。

图8A～8D是示出在图2的图像处理装置100或图7的学习装置200中获取的类别抽头或预测抽头的结构的例子的示意图。在这点上，上述的G类别抽头、R类别抽头和B类别抽头统称为类别抽头，上述的G预测抽头、R预测抽头和B预测抽头统称为预测抽头。

在图8A～8D的例子中，示出了由9(=3×3)个像素构成的类别抽头或预测抽头，其中对应于输出图像的关注像素的输入图像的像素(中心像素)被设定为中心。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图8A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图8B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图8C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图8D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。此外，在类别抽头中，G类别抽头、R类别抽头和B类别抽头可以具有相同的结构或者可以具有不同的结构。按相同方式，在预测抽头中，G预测抽头、R预测抽头和B预测抽头可以具有相同的结构或者可以具有不同的结构。

图9是说明由图2的图像处理装置100进行的图像处理的例子的流程图。

在步骤S21中，判断用于图像处理的对象的图像(输入图像)是否被输入，并且处理等待，直到确定用于图像处理的对象的图像被输入。在步骤S21中，如果确定图像被输入，那么处理前进到步骤S22。

此外，如上所述，输入图像例如被设定为由从其中使用拜耳布局的彩色滤波器阵列的图像传感器的输出值构成的图像。因此，在输入图像中，从在其上配置R彩色滤波器的像素获得R分量的图像信号，但是没有获得G分量和B分量的图像信号。按相同方式，仅从G像素获得G分量的图像信号，没有获得R分量和B分量的图像信号。然后，仅从B像素获得B分量的图像信号，没有未获得R分量和G分量的图像信号。

在步骤S22中，设定关注像素。通过这样做，确定输入图像中的心像素。

在步骤S23中，代表RGB计算单元101进行下面参照图10说明的代表RGB计算处理。通过这样做，计算出代表值Dg、代表值Dr和代表值Db。

在步骤S24中，G类别抽头选择单元102-1、R类别抽头选择单元102-2和B类别抽头选择单元102-3分别获取G类别抽头、R类别抽头和B类别抽头。

此外，如果生成G输出图像，那么G类别抽头被获取，如果生成R输出图像，那么R类别抽头被获取，并且如果生成B输出图像，那么B类别抽头被获取。从现在起，为了说明简单，对生成G输出图像的情况进行说明。

在步骤S25中，进行色变换。例如，在生成G输出图像的情况下，G变换单元105-11进行G变换。此时，使用上式(1)～(3)计算变换值G'、变换值R'和变换值B'。

在步骤S26中，进行类别分类。例如，如果生成G输出图像，那么G类别分类单元106-1通过进行自适应动态范围编码(ADRC)对供给的G类别抽头进行编码而进行类别分类，并因此生成类别代码。

在步骤S27中，获取预测抽头。例如，如果生成G输出图像，那么G预测抽头选择单元103-1获取G预测抽头。

在步骤S28中，进行色变换。例如，如果生成G输出图像，那么G变换单元105-12进行G变换。此时，使用上式(1)～(3)计算变换值G'、变换值R'和变换值B'。

在步骤S29中，读取系数。例如，如果生成G输出图像，那么从G系数存储器107-1读取被映射到在步骤S26中生成的类别代码而存储的系数。

在步骤S30中，对关注像素值进行预测。例如，如果生成G输出图像时，那么通过步骤S28中的处理而色变换的G预测抽头被代入式(4)中的像素x₁，x₂，...，x_N，通过步骤S29中的处理读取的系数被供给作为式式(4)中的抽头系数w_n，并且G积和计算单元108-1进行式(4)的计算，从而预测输出图像的关注图像的像素值。

在步骤S31中，判断后续的关注像素是否存在。如果确定后续的关注像素存在，那么处理返回到步骤S22。然后，步骤S22和随后的步骤重复进行。

在步骤S31中，如果确定后续的关注像素不存在，那么处理结束。

因此，进行图像生成处理。

接下来，参照图10的流程图说明图9的步骤S23中的代表RGB计算处理的详细例子。

在步骤S41中，代表RGB计算单元101计算输入图像中的R分量像素和B分量像素的插值g。此时，例如，如图4所示，像素G1～G4(即，指定区内的中心像素附近(上下左右方向)的4个G像素)的输入值G1～输入值G4被取平均，从而计算出插值g，它是在中心像素的像素位置中的插值的G分量的值。

在步骤S42中，代表RGB计算单元101计算代表值Dg。此时，指定区内的所有G像素的输入值G和步骤中S41中计算出的插值g的平均值作为代表值Dg。

在步骤S43中，代表RGB计算单元101计算G分量像素的插值r。例如，如果计算图4中的像素G1或像素G4所示位置中的插值r，那么如图5所示，分别紧挨着G像素左侧和紧挨着G像素右侧的像素R1和像素R2的平均值被设定为插值r。

通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值r，并且可以在指定区内的R像素的像素位置中获得输入值R和插值g。

在步骤S44中，代表RGB计算单元101计算代表值Dr。此时，在各像素位置中，计算(插值r-输入值G)和(输入值R-插值g)，并且计算代表值Dr，它是从将代表值Dg加到计算出的(插值r-输入值G)和计算出的(输入值R-插值g)的平均值上得到的值。

在步骤S45中，代表RGB计算单元101计算G分量像素的插值b。例如，如果计算图4中的像素G1或像素G4所示位置中的插值b，那么如图6所示，分别紧挨着G像素上侧和紧挨着G像素下侧的像素B1和像素B的平均值被设定为插值b。

通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值b，并且可以在指定区内的B像素的像素位置中获得输入值B和插值g。

在步骤S46中，代表RGB计算单元101计算代表值Db。此时，在各像素位置中，计算(插值b-输入值G)和(输入值B-插值g)，并且计算代表值Db，它是从将代表值Dg加到计算出的(插值b-输入值G)和计算出的(输入值B-插值g)的平均值上得到的值。

因此，进行代表RGB计算处理。

接下来，参照图11的流程图说明通过图7的学习装置200的系数学习处理的例子。

在步骤S61中，判断教师图像是否被输入，并且处理等待，直到确定教师图像被输入。在步骤S61中，如果确定教师图像被输入，那么处理前进到步骤S62。

此外，如上所述，教师图像例如被设定为通过在图1的框14中配置分别对应于R分量、G分量和B分量的三个图像传感器而获得的G分量图像、R分量图像和B分量图像。

在步骤S62中，学生图像生成单元202生成学生图像。此时，例如，通过使用光学低通滤波器的仿真模型等，使教师图像劣化，并生成从由根据拜耳布局配置的像素构成的图像传感器输出的图像，且被设定为学生图像。

在步骤S63中，关注像素选择单元201从教师图像中选择(设定)任意一个像素作为关注像素。通过这样做，确定学生图像中的心像素。

在步骤S64中，代表RGB计算单元203进行参照图10的流程图说明的代表RGB计算处理。通过这样做，计算出代表值Dg、代表值Dr和代表值Db。

在步骤S65中，类别抽头选择单元204从学生图像中的指定区内的像素选择类别抽头，并获取类别抽头。

此外，如果关注像素选择单元201从教师图像中的G分量图像选择关注像素，那么类别抽头选择单元204被设置成使得它选择G类别抽头。此外，如果关注像素选择单元201从教师图像中的R分量图像选择关注像素，那么类别抽头选择单元204被设置成选择R类别抽头，并且如果关注像素选择单元201从教师图像中的B分量图像选择关注像素，那么类别抽头选择单元204被设置成选择B类别抽头。

在步骤S66中，色变换单元206-1对由通过步骤S65的处理获取的类别抽头进行预定的变换处理。

在这点上，如果由类别抽头选择单元204获取G类别抽头，那么色变换单元206-1被设置成进行G变换处理。此外，如果由类别抽头选择单元204获取R类别抽头，那么色变换单元206-1被设置成进行R变换处理，并且如果由类别抽头选择单元204获取B类别抽头，那么色变换单元206-1被设置成进行B变换处理。

在步骤S67中，类别分类单元207通过进行自适应动态范围编码(ADRC)对供给的类别抽头进行编码，从而生成类别代码。这里生成的类别代码连同类别抽头一起被供给到正规方程式加法单元208。

在步骤S68中，预测抽头选择单元205从学生图像中的指定区内的像素选择预测抽头，并获取预测抽头。

在这点上，如果关注像素选择单元201从教师图像中的G分量图像选择关注像素，那么预测抽头选择单元205被设置成选择G预测抽头。此外，如果关注像素选择单元201从教师图像中的R分量图像选择关注像素，那么预测抽头选择单元205被设置成选择R预测抽头，并且如果关注像素选择单元201从教师图像中的B分量图像选择关注像素，那么预测抽头选择单元205被设置成选择B预测抽头。

在步骤S69中，色变换单元206-2对在步骤S68中获取的预测抽头进行预定的变换处理。

在这点上，如果由预测抽头选择单元205获取G预测抽头，那么色变换单元206-2被设置成进行G变换处理。此外，如果由预测抽头选择单元205获取R预测抽头，那么色变换单元206-2被设置成进行R变换处理，并且如果由预测抽头选择单元205获取B预测抽头，那么色变换单元206-2被设置成进行B变换处理。

在步骤S70中，正规方程式加法单元208进行正规方程式的加法。

如上所述，正规方程式加法单元208例如生成上式(4)表示的线性一次式，并且经过色变换单元的处理的类别抽头被用作式(4)中的像素x₁，x₂，...，x_N。然后，正规方程式加法单元208将按这种方式生成的线性一次式加到在步骤S67中生成的每个类别代码上，从而生成式(11)的正规方程式。

在步骤S71中，判断后续的关注像素是否存在。如果确定后续的关注像素存在，那么处理返回到步骤S63。然后，步骤S63和随后的步骤重复进行。

另一方面，在步骤S71中，如果确定后续的关注像素不存在，那么处理前进到步骤S72。

在步骤S72中，系数数据生成单元209计算系数。

此时，如上所述，系数数据生成单元209通过使用扫出法(Gauss-Jordan消去法)等从(11)式的正规方程式求解出抽头系数w_n。然后，根据其中关注像素被设定的教师图像的类型(G分量图像、R分量图像或B分量图像)，系数数据生成单元209输出所获得的抽头系数w_n，作为进行G输出图像的预测计算所需的G系数、进行R输出图像的预测计算所需的R系数或进行B输出图像的预测计算所需的B系数。

因此，获得的每个类别代码的G系数、R系数和系数B分别被存储在图2的G系数存储器107-1、R系数存储器107-2和B系数存储器107-3中，并被设定为在图9的步骤S29的处理中读取。

因此，进行系数学习处理。

顺便提及的是，根据参照图2说明的实施方案，G输出图像、R输出图像和B输出图像被设定成同时获得。然而，由于在拜耳布局中G像素的数量每单位面积较大，因此预测精度高。此外，由于彩色滤波器的特性，G的S/N比大于R或B。由此，例如，G输出图像可以首先生成，然后，可以设置为使用所生成的G输出图像来生成R输出图像和B输出图像。通过这样做，可以进行在噪声量和分辨率(频率特性)方面提供更高质量的图像处理。

图12是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图。图12示出的图像处理装置150被设置成首先生成G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。

图12中的代表RGB计算单元151与图2中的代表RGB计算单元101具有相同的构成，因此其详细说明将被省略。

此外，在图12中，作为与G输出图像的生成相关的功能块，G类别抽头选择单元152-1、G变换单元155-11、G类别分类单元156-1、G系数存储器157-1、G预测抽头选择单元153-1、G变换单元155-12和G积和计算单元158-1分别与图2中示出的G类别抽头选择单元102-1、G变换单元105-11、G类别分类单元106-1、G系数存储器107-1、G预测抽头选择单元103-1、G变换单元105-12和G积和计算单元108-1具有相同的构成，因此其详细说明将被省略。

在图12的构成的情况下，与图2的构成的情况不同的是，从G积和计算单元108-1输出的数据被设定成使得该数据经由延迟单元161-1被供给到R类别抽头选择单元152-2和R预测抽头选择单元153-2，以及被供给到B类别抽头选择单元152-3和B预测抽头选择单元153-3。此外，在图12的构成的情况下，与图2的构成的情况不同的是，从代表RGB计算单元151输出的数据被设置成使得该数据经由延迟单元161-2被供给到R变换单元155-21和R变换单元155-22，以及被供给到B变换单元155-31和B变换单元155-32。

在图12的构成的情况下，R类别抽头选择单元152-2从G输出图像选择R类别抽头，它是生成R分量图像需要的类别抽头，并且因此获取R类别抽头。例如，R类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的G输出图像的像素被设定为中心像素，并且中心像素被设定为中心。

R类别抽头选择单元152-2选择的R类别抽头被供给到R变换单元155-21。R变换单元155-21对构成R类别抽头的各像素值进行R变换处理。

例如，这里的R变换处理如下进行。

在图12，与图2中不同的是，通过R类别抽头选择单元152-2从G输出图像选择R类别抽头。因此，在这种情况下，R类别抽头由所有的G分量像素构成。下面，G输出图像的G分量像素由预测值Gp表示。

R变换单元155-21通过进行式(18)的计算对构成R类别抽头的各像素值计算变换值Gp'。

Gp'=Gp-(Dg-Dr) (18)

构成R类别抽头的各像素值之间的相关性通过进行R变换处理提高。即，G输出图像的像素值抵消被设定为基准的输入图像的R像素的像素值，因此，可以除去由于构成R类别抽头的各像素值之间的颜色分量的差异带来的变化。

从R变换单元155-21输出的R类别抽头被供给到R类别分类单元156-2。此外，从R变换单元155-21输出的R类别抽头由使用上式(18)计算的变换值Gp'构成。

R类别分类单元156-2通过进行自适应动态范围编码(ADRC)对供给的R类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到R系数存储器157-2。

R系数存储器157-2读取被映射到从R类别分类单元156-2输出的类别代码的存储的系数。然后，R系数存储器157-2将读取的系数供给到R积和计算单元158-2。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在R系数存储器157-2中。

此外，如果使用图12中构成的图像处理装置150，那么即使当对存储在R系数存储器157-2中的系数进行学习时，生成其中G输出图像被设定为教师图像的R输出图像的学习也被设定为进行。

R预测抽头选择单元153-2从G输出图像中选择R预测抽头，它是生成R分量图像需要的预测抽头，并且获取R预测抽头。例如，R预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的G输出图像的像素被设定为中心像素，并且中心像素被设定为中心。此外，在图12，与图2中不同的是，通过R类别抽头选择单元153-2从G输出图像选择R类别抽头。因此，在这种情况下，R类别抽头由所有的G分量像素构成。

R预测抽头选择单元153-2选择的R预测抽头被供给到R变换单元155-22。R变换单元155-22对构成R预测抽头的各像素值进行R变换处理。

R变换单元155-22进行的R变换处理与R变换单元155-21的相同。即，使用上式(18)计算变换值Gp'。

从R变换单元155-22输出的R预测抽头被供给到R积和计算单元158-2。此外，从R变换单元155-21输出的R预测抽头由使用上式(18)计算的变换值Gp'构成。

R积和计算单元158-2与图2中的R积和计算单元108-2具有相同的构成，但是，基于R预测抽头，对成为输出图像的R分量图像(称为R输出图像)的关注像素的像素值进行预测计算。

按这种方式，通过预测各关注像素可以获得R输出图像。

此外，在图12的构成的情况下，B类别抽头选择单元152-3从G输出图像中选择B类别抽头，它是生成B分量图像需要的类别抽头，并且因此获取B类别抽头。例如，B类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的G输出图像的像素被设定为中心像素，并且中心像素被设定为中心。

B类别抽头选择单元152-3选择的B类别抽头被供给到B变换单元155-31。B变换单元155-31对构成B类别抽头的各像素值进行B变换处理。

例如，这里的B变换处理如下进行。

在图12，与图2中不同的是，B类别抽头选择单元152-3从G输出图像选择B类别抽头。因此，在这种情况下，B类别抽头由所有的G分量像素构成。下面，G输出图像的G分量像素由预测值Gp表示。

B变换单元155-31通过进行式(19)的计算对构成B类别抽头的各像素值计算变换值Gp'。

Gp'=Gp-(Dg-Db) (19)

构成B类别抽头的各像素值之间的相关性通过进行B变换处理提高。即，G输出图像的像素值抵消被设定为基准的输入图像的B像素的像素值，因此，可以除去由于构成B类别抽头的各像素值之间的颜色分量的差异带来的变化。

从B变换单元155-31输出的B类别抽头被供给到B类别分类单元156-3。此外，从B变换单元155-31输出的B类别抽头由使用上式(19)计算的变换值Gp'构成。

B类别分类单元156-3通过进行自适应动态范围编码(ADBC)对供给的B类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到B系数存储器157-3。

B系数存储器157-3读取被映射到从B类别分类单元156-3输出的类别代码的存储的系数。然后，B系数存储器157-3将读取的系数供给到B积和计算单元158-3。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在B系数存储器157-3中。

此外，如果使用图12中构成的图像处理装置150，那么即使当对存储在B系数存储器157-3中的系数进行学习时，生成其中G输出图像被设定为教师图像的B输出图像的学习也被设定为进行。

B预测抽头选择单元153-3从G输出图像中选择B预测抽头，它是生成B分量图像需要的预测抽头，并且获取B预测抽头。例如，B预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的G输出图像的像素被设定为中心像素，并且中心像素被设定为中心。

B预测抽头选择单元153-3选择的B预测抽头被供给到B变换单元155-32。B变换单元155-32对构成B预测抽头的各像素值进行B变换处理。

B变换单元155-32进行的B变换处理与B变换单元155-31的相同。即，使用上式(19)计算变换值Gp'。

从B变换单元155-32输出的B预测抽头被供给到B积和计算单元158-3。此外，从B变换单元155-31输出的B预测抽头由使用上式(19)计算的变换值Gp'构成。

B积和计算单元158-3与图2中的B积和计算单元108-3具有相同的构成，但是，基于B预测抽头，对成为输出图像的B分量图像(称为B输出图像)的关注像素的像素值进行预测计算。

按这种方式，通过预测各关注像素可以获得B输出图像。

图13A～13D是示出在图12的图像处理装置150中获取的G类别抽头或G预测抽头的结构的例子的示意图。

在图13A～13D的例子中，示出了由9(=3×3)个像素构成的类别抽头或预测抽头，其中对应于输出图像的关注像素的输入图像的像素(中心像素)被设定为中心。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图13A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图13B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图13C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图13D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图14A～14D是示出在图12的图像处理装置150中获取的R类别抽头或R预测抽头的结构的例子的示意图。如图14A～14D所示，由于从G输出图像获取R类别抽头或R预测抽头，因此所有R类别抽头或所有的R预测抽头都由图中的圆圈内的Gp表示。

在图14A～14D的例子中，示出了由十字型的5个像素构成的类别抽头或预测抽头，其中对应于输出图像的关注像素的输入图像的像素(中心像素)被设定为中心。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图14A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图14B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图14C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图14D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图15A～15D是示出在图12的图像处理装置150中获取的B类别抽头或B预测抽头的结构的例子的示意图。如图15A～15D所示，由于从G输出图像获取B类别抽头或B预测抽头，因此所有B类别抽头或所有的B预测抽头都由图中的圆圈内的Gp表示。

在图15A～15D的例子中，示出了由十字型的5个像素构成的类别抽头或预测抽头，其中对应于输出图像的关注像素的输入图像的像素(中心像素)被设定为中心。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图15A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图15B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图15C是示出在拜耳布局的像素中的情况下类别抽头或预测抽头的例子的图，另一个G分量像素被设定为中心像素。

图15D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

例如，通过构造如图12所示的图像处理装置可以进行与图2的构造相比在噪声量和分辨率(频率特性)方面提供更高质量的图像处理。

在参照图2和图12描述的例子中，通过进行色变换而用变换值置换像素值，因此进行类别分类及积和计算，但是例如，色差可以置换像素值，并且因此可以进行类别分类及积和计算。

图16是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图。图16示出的图像处理装置180被设置成首先生成G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。此外，当使用所生成的G输出图像来生成R输出图像和B输出图像时，色差置换像素值，因此进行类别分类及积和计算。

由于图16中的代表RGB计算单元181与图2中的代表RGB计算单元101具有相同的构成，因此其详细说明将被省略。

此外，在图16中，作为与G输出图像的生成相关的功能块，G类别抽头选择单元182-1、G变换单元185-11、G类别分类单元186-1、G系数存储器187-1、G预测抽头选择单元183-1、G变换单元185-12和G积和计算单元188-1分别与图2中示出的G类别抽头选择单元102-1、G变换单元105-11、G类别分类单元106-1、G系数存储器107-1、G预测抽头选择单元103-1、G变换单元105-12和G积和计算单元108-1具有相同的构成，因此其详细说明将被省略。

在图16的构成的情况下，与图2的构成的情况不同的是，输入图像被设定成使得该输入图像经由延迟单元191-1被供给到R类别抽头选择单元182-2和R预测抽头选择单元183-2，以及被供给到B类别抽头选择单元182-3和B预测抽头选择单元183-3。

此外，在图16的构成的情况下，与图2的构成的情况不同的是，从G积和计算单元108-1输出的数据被设置成使得该数据被供给到R变换单元189-2和B变换单元189-3。

此外，在图16的构成的情况下，从代表RGB计算单元181输出的数据被设置成使得该数据经由延迟单元191-2被供给到(R-G)变换单元185-21和(R-G)变换单元185-22，以及被供给到(B-G)变换单元185-31和(B-G)变换单元185-32。

此外，在使用图16的构成的情况下，R类别抽头、B类别抽头、R预测抽头和B预测抽头分别与图2或图12中的那些在结构上不同。此外，即使使用图16的构成，G类别抽头和G预测抽头也分别与参照图13的上述那些在结构上相同。

图17A～17D是示出在图16的图像处理装置180中获取的R类别抽头或R预测抽头的结构的例子的示意图。

在图17A～17D的例子中，示出了由十字型的5个像素构成的类别抽头或预测抽头。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图17A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图17B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图17C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图17D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

如图17A～17D所示，构成R类别抽头或R预测抽头的5个像素都被设定为R分量像素，不包括G分量像素和B分量像素。此外，在图17B～17D中，作为R类别抽头或R预测抽头的中心的像素被设定为邻近由图中的阴影圆圈表示的原始中心像素的位置中的像素。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图18A～18D是示出在图16的图像处理装置180中获取的B类别抽头或B预测抽头的结构的例子的示意图。

在图18A～18D的例子中，类别抽头或预测抽头由十字型的5个像素构成。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图18A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图18B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图18C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

图18D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

如图18A～18D所示，构成B类别抽头或B预测抽头的5个像素都被设定为B分量像素，不包括G分量像素和R分量像素。此外，在图18A～18C中，作为B类别抽头或B预测抽头的中心的像素被设定为邻近由图中的阴影圆圈表示的原始中心像素的位置中的像素。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

返回参照图16，R类别抽头选择单元182-2从输入图像中选择R类别抽头，它是生成R分量图像需要的类别抽头，并且获取R类别抽头。

R类别抽头选择单元182-2选择的R类别抽头被供给到(R-G)变换单元185-21。(R-G)变换单元185-21被设置成对构成R类别抽头的各像素值进行(R-G)变换处理，并且通过(R-G)变换处理计算虚拟色差。

即，(R-G)变换单元185-21对构成R类别抽头的各像素值进行式(20)的计算，因此计算虚拟色差RGc。

RGc=R-g (20)

此外，式(20)中的插值g从代表RGB计算单元181供给。

从(R-G)变换单元185-21输出的R类别抽头被供给到(R-G)类别分类单元186-2。此外，从(R-G)变换单元185-21输出的R类别抽头由使用上式(20)计算的虚拟色差RGc构成。

(R-G)类别分类单元186-2通过进行自适应动态范围编码(ADRC)对供给的R类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到(R-G)系数存储器187-2。

(R-G)系数存储器187-2读取被映射到从(R-G)类别分类单元186-2输出的类别代码的存储的系数。然后，(R-G)系数存储器187-2将读取的系数供给到(R-G)积和计算单元188-2。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在(R-G)系数存储器187-2中。

此外，如果使用图16中构成的图像处理装置180，那么即使当对存储在(R-G)系数存储器187-2中的系数进行学习时，生成其中虚拟色差被设定为类别抽头或预测抽头的R输出图像的学习也被设定为进行。

R预测抽头选择单元183-2从输入图像中选择R预测抽头，它是生成R分量图像需要的预测抽头，并且获取R预测抽头。

R预测抽头选择单元183-2选择的R预测抽头被供给到(R-G)变换单元185-22。(R-G)变换单元185-22被设置成对构成R预测抽头的各像素值进行(R-G)变换处理，并且通过(R-G)变换处理计算虚拟色差。

(R-G)变换单元185-22进行的(R-G)变换处理与(R-G)变换单元185-21的相同。即，使用上式(20)计算虚拟色差RGc。

从(R-G)变换单元185-22输出的R预测抽头被供给到(R-G)积和计算单元188-2。此外，从(R-G)变换单元185-21输出的R预测抽头由使用上式(20)计算的虚拟色差RGc构成。

(R-G)积和计算单元188-2基于R预测抽头，对成为输出图像的R分量图像(称为R输出图像)的关注像素的(R-G)色差进行预测计算。

R变换单元189-2将从(R-G)积和计算单元188-2输出的关注像素的(R-G)色差的预测值(R-G)p通过使用式(21)的计算变换成例如R分量的像素值的预测值Rp。

Rp=(R-G)p+Gp (21)

按这种方式，通过预测各关注像素可以获得R输出图像。

B类别抽头选择单元182-3从输入图像中选择B类别抽头，它是生成B分量图像需要的类别抽头，并且获取B类别抽头。

B类别抽头选择单元182-3选择的B类别抽头被供给到(B-G)变换单元185-31。(B-G)变换单元185-31被设置成对构成B类别抽头的各像素值进行(B-G)变换处理，并且通过(B-G)变换处理计算虚拟色差。

即，(B-G)变换单元185-31对构成B类别抽头的各像素值进行式(22)的计算，因此计算虚拟色差BGc。

BGc=B-g (22)

此外，式(22)中的插值g从代表RGB计算单元181供给。

从(B-G)变换单元185-31输出的B类别抽头被供给到(B-G)类别分类单元186-3。此外，从(B-G)变换单元185-31输出的B类别抽头由使用上式(22)计算的虚拟色差BGc构成。

(B-G)类别分类单元186-3通过进行自适应动态范围编码(ADBC)对供给的B类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到(B-G)系数存储器187-3。

(B-G)系数存储器187-3读取被映射到从(B-G)类别分类单元186-3输出的类别代码的存储的系数。然后，(B-G)系数存储器187-3将读取的系数供给到(B-G)积和计算单元188-3。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在(B-G)系数存储器187-3中。

此外，如果使用图16中构成的图像处理装置180，那么即使当对存储在(B-G)系数存储器187-3中的系数进行学习时，生成其中虚拟色差被设定为类别抽头或预测抽头的B输出图像的学习也被设定为进行。

B预测抽头选择单元183-3从输入图像中选择B预测抽头，它是生成B分量图像需要的预测抽头，并且获取B预测抽头。

B预测抽头选择单元183-3选择的B预测抽头被供给到(B-G)变换单元185-32。(B-G)变换单元185-32被设置成对构成B预测抽头的各像素值进行(B-G)变换处理，并且通过(B-G)变换处理计算虚拟色差。

(B-G)变换单元185-32进行的(B-G)变换处理与(B-G)变换单元185-31的相同。即，使用上式(22)计算虚拟色差BGc。

从(B-G)变换单元185-32输出的B预测抽头被供给到(B-G)积和计算单元188-3。此外，从(B-G)变换单元185-31输出的B预测抽头由使用上式(22)计算的虚拟色差BGc构成。

(B-G)积和计算单元188-3基于B预测抽头，对成为输出图像的B分量图像(称为B输出图像)的关注像素的(B-G)色差进行预测计算。

B变换单元189-3将从(B-G)积和计算单元188-3输出的关注像素的(B-G)色差的预测值(B-G)p通过使用式(23)的计算变换成例如B分量的像素值的预测值Bp。

Bp=(B-G)p+Gp (23)

按这种方式，通过预测各关注像素可以获得B输出图像。

此外，当计算虚拟色差时，各颜色分量的像素值，例如，可以被作为在BT709、BT601等中规定的矩阵系数并且进行从RGB变换成pb或pr时使用的系数相乘。通过这样做，可以在输出图像中实现较高的S/N比。

在上面的例子中说明了其中基于对应于从单芯式相机的图像传感器输出的图像信号的图像的像素值，生成(预测)具有相同分辨率的G输出图像、R输出图像和B输出图像的像素值。

然而，基于对应于从单芯式相机的图像传感器输出的图像信号的图像的像素值，也可以生成(预测)具有不同分辨率的G输出图像、R输出图像和B输出图像的像素值。例如，可以生成(预测)具有超过在单芯式相机的图像传感器中配置数量的像素的G输出图像、R输出图像和B输出图像的像素值，并且可以变换分辨率。

图19A～19D是说明在上面参照图2描述的图像处理装置100中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间关系的图。在图19A～19D的例子中，类别抽头或预测抽头由9(=3×3)个像素构成，其中中心像素被设定为中心。

在图19A中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在R分量像素被设定为中心像素的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间的关系。在图19A中，在阴影圆圈内写入的R表示的像素被设定为中心像素，并且黑色小圆圈被设定为G输出图像、R输出图像和B输出图像的像素的位置。

如图19A所示，G输出图像、R输出图像和B输出图像的像素配置在作为中心像素的R分量像素附近的4个位置。即，基于图19A所示的9个预测抽头，预测(生成)四种类型的像素值。此外，在这点上，G预测抽头、R预测抽头和B预测抽头被设定成具有相同的结构，并且对于G输出图像、R输出图像和B输出图像每个预测(生成)四种类型的像素值。

在图19B中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在G分量像素被设定为中心像素的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间的关系。在图19B中，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为G输出图像、R输出图像和B输出图像的像素的位置。

如图19B所示，G输出图像、R输出图像和B输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图19B所示的9个预测抽头，预测(生成)四种类型的像素值。此外，在这点上，G预测抽头、R预测抽头和B预测抽头被设定成具有相同的结构，并且对于G输出图像、R输出图像和B输出图像每个预测(生成)四种类型的像素值。

按相同方式，在图19C中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间的关系。此外，在图19D中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在B分量像素被设定为中心像素的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间的关系。

顺便提及的是，近年来，一直在考虑增大单芯式相机的图像传感器的像素密度的构思。例如，通过倾斜地改变在图像传感器中的拜耳布局的像素的配置可以增大像素密度。

例如，图20所示的拜耳布局的像素的配置变为图21所示。在图20和图21中的小矩形表示图像传感器的像素，在矩形内写入的字母R、G和B表示各像素的颜色分量。

在配置图像传感器的像素时，例如，限制上下左右方向的相邻像素之间的距离，以避免光的混入等，因此不能将相邻像素之间的距离减小到小于给定的距离。然而，像素的倾斜配置可以增加每单位面积的像素数量，同时保持上下左右方向的相邻像素之间的距离。

例如，如果图20所示的拜耳布局的像素的配置变为图21所示，那么每相同的面积可以配置两倍的像素数量。

在这点上，图21所示的像素的配置被称为倾斜拜耳配置。

图22A和图22B是说明在上面参照图2描述的图像处理装置100中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头与G输出图像、R输出图像和B输出图像的像素的位置之间关系的图。在图22A和图22B的例子中，类别抽头或预测抽头由9(=3×3)个像素构成，其中中心像素被设定为中心。在图22A和图22B中，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为G输出图像、R输出图像和B输出图像的像素的位置。

如图22A和图22B所示，G输出图像、R输出图像和B输出图像的像素配置在输入图像中的G分量像素和R分量像素之间或者在G分量像素和B分量像素之间。因此，在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头使得G分量像素被设定为中心，并且如图22A或图22B所示，获取类别抽头或预测抽头。

此外，在这点上，G预测抽头、R预测抽头和B预测抽头被设定成具有相同的结构，并且如图22A或图22B所示，对于G输出图像、R输出图像和B输出图像每个预测(生成)像素值。

此外，即使图像的分辨率变换，例如，G输出图像也可以首先生成，然后，可以设置为使用所生成的G输出图像来生成R输出图像和B输出图像。通过这样做，可以进行在噪声量和分辨率(频率特性)方面提供更高质量的图像处理。

图23A～23D是示出在上面参照图12描述的图像处理装置150中在变换由拜耳布局的像素构成的图像的分辨率的情况下R类别抽头或R预测抽头的例子或者B类别抽头或B预测抽头的例子的图。在图23A～23D的例子中，G类别抽头或G预测抽头由9(=3×3)个像素构成，其中中心像素被设定为中心。如上所述，图像处理装置150被设置成首先生成G输出图像G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。

此外，在上面参照图12描述的图像处理装置150中，在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头与G输出图像的像素的位置之间的关系与图19A～19D中相同。

因此，在上面参照图12描述的图像处理装置150中，在变换由拜耳布局的像素构成的图像的分辨率的情况下，G预测抽头(或G类别抽头)和R预测抽头(或R类别抽头)在结构上彼此不同。此外，G预测抽头(或G类别抽头)和B预测抽头(或B类别抽头)在结构上彼此不同。

在图23A～23D中，输入图像的像素由写入字母R、G或B的圆圈表示，写入字母R、G或B的圆圈附近的4个白色圆圈表示G输出图像的像素。然后，在G输出图像中，虚线圆圈表示类别抽头或预测抽头，黑色虚线圆圈表示类别抽头或预测抽头的中心像素。

在图23A中，当在生成G输出图像时的G预测抽头(或G类别抽头)使得在单芯式相机的图像传感器中的拜耳布局的像素中R分量像素被设定为中心像素的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

在图23B中，当在生成G输出图像时的G预测抽头(或G类别抽头)使得在单芯式相机的图像传感器中的拜耳布局的像素中G分量像素被设定为中心像素的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

在图23C中，当在生成G输出图像时的G预测抽头(或G类别抽头)使得在单芯式相机的图像传感器中的拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

在图23D中，当在生成G输出图像时的G预测抽头(或G类别抽头)使得在单芯式相机的图像传感器中的拜耳布局的像素中B分量像素被设定为中心像素的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

图24A和图24B是示出在上面参照图12描述的图像处理装置150中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下R类别抽头或R预测抽头的例子或者B类别抽头或B预测抽头的例子。在图24A和图24B的例子中，G类别抽头或G预测抽头由9(=3×3)个像素构成，其中中心像素被设定为中心。如上所述，图像处理装置150被设置成首先生成G输出图像G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。

此外，在上面参照图12描述的图像处理装置150中，在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头与G输出图像的像素的位置之间的关系与图22A～22B中相同。

因此，在上面参照图12描述的图像处理装置150中，在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下，G预测抽头(或G类别抽头)和R预测抽头(或R类别抽头)在结构上彼此不同。此外，G预测抽头(或G类别抽头)和B预测抽头(或B类别抽头)在结构上彼此不同。

在图24A和图24B中，输入图像的像素由写入字母R、G或B的圆圈表示，写入字母R、G或B的圆圈附近的4个白色圆圈表示G输出图像的像素。然后，在G输出图像中，虚线圆圈表示类别抽头或预测抽头，黑色虚线圆圈表示类别抽头或预测抽头的中心像素。

在图24A中，当在生成G输出图像时的G预测抽头(或G类别抽头)如图22A所示的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

在图24B中，当在生成G输出图像时的G预测抽头(或G类别抽头)如图22B所示的情况下，R预测抽头(或R类别抽头)或B预测抽头(或B类别抽头)被示出。

此外，在变换图像的分辨率的情况下，例如，色差置换像素值，因此可以进行类别分类及积和计算。

图25A～25D是说明在上面参照图16描述的图像处理装置180中在变换由拜耳布局的像素构成的图像的分辨率的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间关系的图。在图25A～25D中，类别抽头或预测抽头由9(=3×3)个像素构成，其中中心像素被设定为中心。此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

在图25A～25D中，输入图像的像素由写入字母R、G或B的圆圈表示，写入字母R、G或B的圆圈附近的4个白色圆圈表示G输出图像的像素。

如上所述，图像处理装置180被设置成首先生成G输出图像G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。然而，R类别抽头和R预测抽头以及B类别抽头和B预测抽头从输入图像直接获取。此外，当使用所生成的G输出图像来生成R输出图像和B输出图像时，色差置换像素值，因此进行类别分类及积和计算。

在图25A中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在R分量像素被设定为中心像素的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间的关系。在图25A中，从现在起，在阴影圆圈内写入的R表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的G输出图像的像素的位置。此外，在图25A中，为了容易参考，所有的G输出图像的像素的位置都由白色小圆圈表示。

如图25A所示，G输出图像的像素配置在作为中心像素的R分量像素附近的4个位置。即，基于图25A所示的9个预测抽头，预测(生成)四种类型的像素值。

在图25B中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在G分量像素被设定为中心像素的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间的关系。在图25B中，从现在起，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的G输出图像的像素的位置。此外，在图25B中，为了容易参考，所有的G输出图像的像素的位置都由白色小圆圈表示。

如图25B所示，G输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图25B所示的9个预测抽头，预测(生成)四种类型的像素值。

同样，在图25C中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在另一个G分量像素被设定为中心像素的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间的关系。在图25D中，在单芯式相机的图像传感器中的拜耳布局的像素中，示出了在B分量像素被设定为中心像素的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间的关系。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图26A～26D是说明在上面参照图16描述的图像处理装置180中在变换由拜耳布局的像素构成的图像的分辨率的情况下R类别抽头或R预测抽头与R输出图像的像素的位置之间关系的图。在图26A～26D的例子中，类别抽头或预测抽头由十字型的5个像素构成。

此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图26A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

在图26A中，从现在起，在阴影圆圈内写入的R表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的R输出图像的像素的位置。此外，在图26A中，为了容易参考，所有的R输出图像的像素的位置都由白色小圆圈表示。

如图26A所示，R输出图像的像素配置在作为中心像素的R分量像素附近的4个位置。即，基于图26A所示的5个预测抽头，预测(生成)四种类型的像素值。

图26B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

在图26B中，从现在起，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的R输出图像的像素的位置。此外，在图26B中，为了容易参考，所有的R输出图像的像素的位置都由白色小圆圈表示。

如图26B所示，R输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图26B所示的5个预测抽头，预测(生成)四种类型的像素值。

按相同方式，图26C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。图26D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

如图26A～26D所示，构成R类别抽头或R预测抽头的5个像素都被设定为R分量像素，不包括G分量像素和B分量像素。此外，在图26B～26D中，作为R类别抽头或R预测抽头的中心的像素被设定为邻近由图中的阴影圆圈表示的原始中心像素的位置中的像素。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图27A～27D是说明在上面参照图16描述的图像处理装置180中在变换由拜耳布局的像素构成的图像的分辨率的情况下B类别抽头或B预测抽头与B输出图像的像素的位置之间关系的图。在图27A～27D的例子中，类别抽头或预测抽头由十字型的5个像素构成。

此外，在这点上，在由4个像素(一个R分量像素、一个B分量像素和两个G分量像素)的单元构成的拜耳布局的像素的情况下，示出了类别抽头或预测抽头的结构的例子，其中4个单位像素的每一个被设定为中心像素。

图27A是示出在拜耳布局的像素中R分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

在图27A中，从现在起，在阴影圆圈内写入的R表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的B输出图像的像素的位置。此外，在图27A中，为了容易参考，所有的B输出图像的像素的位置都由白色小圆圈表示。

如图27A所示，B输出图像的像素配置在作为中心像素的R分量像素附近的4个位置。即，基于图27A所示的5个预测抽头，预测(生成)四种类型的像素值。

图27B是示出在拜耳布局的像素中G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

在图27B中，从现在起，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的B输出图像的像素的位置。此外，在图27B中，为了容易参考，所有的B输出图像的像素的位置都由白色小圆圈表示。

如图27B所示，B输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图27B所示的5个预测抽头，预测(生成)四种类型的像素值。

按相同方式，图27C是示出在拜耳布局的像素中另一个G分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。图27D是示出在拜耳布局的像素中B分量像素被设定为中心像素的情况下类别抽头或预测抽头的例子的图。

如图27A～27D所示，构成B类别抽头或B预测抽头的5个像素都被设定为B分量像素，不包括G分量像素和R分量像素。此外，在图27A～27C中，作为B类别抽头或B预测抽头的中心的像素被设定为邻近由图中的阴影圆圈表示的原始中心像素的位置中的像素。

此外，类别抽头和预测抽头可以具有相同的结构或者可以具有不同的结构。

图28A和图28B是说明在上面参照图16描述的图像处理装置180中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下R类别抽头或R预测抽头的例子的图。如上所述，图像处理装置180被设置成首先生成G输出图像G输出图像，然后被设置成使用所生成的G输出图像来生成R输出图像和B输出图像。然而，R类别抽头和R预测抽头及B类别抽头和B预测抽头从输入图像直接获取。此外，当使用所生成的G输出图像来生成R输出图像和B输出图像时，色差置换像素值，因此进行类别分类及积和计算。

此外，在上面参照图16描述的图像处理装置180中，在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下G类别抽头或G预测抽头与G输出图像的像素的位置之间的关系与图22A～22B相同。

在图28A和图28B中，输入图像的像素由写入字母R、G或B的圆圈表示，写入字母R、G或B的圆圈附近的4个白色圆圈表示G输出图像的像素、R输出图像的像素或B输出图像的像素。

在图28A和图28B中，从现在起，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的R输出图像的像素的位置。此外，在图28A和图28B中，为了容易参考，所有的R输出图像的像素的位置都由白色小圆圈表示。在这点上，R类别抽头或R预测抽头由右或左倾斜的长方形状的6个像素构成。

在图28A中，在G预测抽头(或G类别抽头)如图22A所示的情况下，R预测抽头或R类别抽头被示出。

在图28B中，在G预测抽头(或G类别抽头)如图22B所示的情况下，R预测抽头或R类别抽头被示出。

如图28A和图28B所示，R输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图28A和图28B所示的6个预测抽头，预测(生成)四种类型的像素值。

图29A和图29B是说明在上面参照图16描述的图像处理装置180中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下B类别抽头或B预测抽头的例子的图。

在图29A和图29B中，输入图像的像素由写入字母R、G或B的圆圈表示，写入字母R、G或B的圆圈附近的4个白色圆圈表示G输出图像的像素、R输出图像的像素或B输出图像的像素。

在图29A和图29B中，从现在起，在阴影圆圈内写入的G表示的像素被设定为中心像素，并且黑色小圆圈被设定为所生成的R输出图像的像素的位置。此外，在图29A和图29B中，为了容易参考，所有的B输出图像的像素的位置都由白色小圆圈表示。在这点上，B类别抽头或B预测抽头由左或右倾斜的长方形状的6个像素构成。

在图29A中，在G预测抽头(或G类别抽头)如图22A所示的情况下，B预测抽头或B类别抽头被示出。

在图29B中，在G预测抽头(或G类别抽头)如图22B所示的情况下，B预测抽头或B类别抽头被示出。

如图29A和图29B所示，B输出图像的像素配置在作为中心像素的G分量像素附近的4个位置。即，基于图29A和图29B所示的6个预测抽头，预测(生成)四种类型的像素值。

按这种方式，根据本技术，基于对应于从单芯式相机的图像传感器输出的图像信号的图像的像素值，也可以生成(预测)具有不同分辨率的G输出图像、R输出图像和B输出图像的像素值。此外，此时，例如，通过倾斜地改变在图像传感器中的拜耳布局的像素的配置，可以变换对应于从倾斜拜耳配置的图像传感器输出的图像信号的图像的分辨率，其中像素密度增大。

此外，上述的一系列处理可以在硬件中实施，并且可以在软件中实施。如果上述的一系列处理在软件中实施，那么在软件中实施一系列处理的程序可以从在内置于专用硬件的计算机上或者在能够通过安装各种程序执行各种功能的例如图30所示的通用个人电脑700上的记录介质或网络安装。

在图30中，中央处理单元(CPU)701根据存储在只读存储器(ROM)702中的程序或者从存储单元708加载到随机存取存储器(RAM)703上的程序实施各种处理。CPU701实施各种处理需要的数据等适当地存储在RAM703中。

CPU701、ROM702和RAM703经由总线704彼此连接。输入和输出接口705也连接到总线704。

诸如键盘或鼠标等输入单元706、由液晶显示器(LCD)等制成的显示器、由扬声器等制成的输出单元707、由硬盘等构成的存储单元708以及由诸如调制解调器或LAN卡等网络接口卡构成的通信单元709连接到输入和输出接口705。通信单元709经由包括因特网的网络进行通信处理。

驱动器710在必要时连接到输入和输出接口705，磁盘、光盘、光磁盘或诸如半导体存储器等可移动介质711被适当地安装在输入和输出接口705上。从这些读取的计算机程序在必要时安装在存储单元708中。

如果上述的一系列处理在软件中实施，那么在软件中实施一系列处理的程序经由诸如因特网等网络或者通过由可移动介质711构成的记录介质安装。

此外，记录介质由磁盘(包括软盘(注册商标))、光盘(包括致密盘-只读存储器(CD-ROM)和数字通用光盘(DVD))、光磁盘(包括迷你盘(MD)(注册商标))或者由其中存储程序的半导体存储器等制成的可移动介质711构成，其被分配以将程序传递到与图30所示的装置主体分离的使用者。此外，记录介质由ROM702或包含在存储单元708中的硬盘构成，其在预先内置于装置主体内并在其上存储程序的状态下被传递给使用者。

在本公开中，上述的一系列处理不仅包括根据创建的顺序按时间序列进行的处理，而且包括不必按时间序列实施而是并行地或单独地实施的处理。

此外，本技术的实施方案不限于上述各实施方案，可以在不脱离本技术要点的范围内进行各种变形。

此外，本技术可以具有以下构成。

(1).一种图像处理装置，包括：代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

(2).如(1)所述的图像处理装置，其中所述单芯式像素单元是具有R、G和B颜色分量的像素单元；和其中所述代表值计算单元基于R或B像素附近的G像素计算R或B像素的插值g，基于G像素附近的R像素或B像素计算G像素的插值r和插值b，通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。

(3).如(2)所述的图像处理装置，其中如果第二图像是仅由G像素构成的图像，所述颜色分量变换单元通过使用R的代表值和G的代表值之间的差抵消输入值R，和通过使用B的代表值和G的代表值之间的差抵消输入值B；其中如果第二图像是仅由R像素构成的图像，所述颜色分量变换单元通过使用G的代表值和R的代表值之间的差抵消输入值G，和通过使用B的代表值和R的代表值之间的差抵消输入值B，和其中如果第二图像是仅由B像素构成的图像，所述颜色分量变换单元通过使用G的代表值和B的代表值之间的差抵消输入值G，和通过使用R的代表值和B的代表值之间的差抵消输入值R。

(4).如(3)所述的图像处理装置，其中所述单芯式图像单元被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。

(5).如(1)～(4)中任一项所述的图像处理装置，其中如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么从仅由第一颜色分量构成的第二图像获取所述预测抽头。

(6).如(1)～(5)中任一项所述的图像处理装置，还包括：计算所述预测抽头的虚拟色差的虚拟色差计算单元，其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么所述积和计算单元将所述预测抽头的虚拟色差设定为变量并通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和其中从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽头。

(7).如(6)所述的图像处理装置，其中所述虚拟色差计算单元通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。

(8).如(1)～(7)中任一项所述的图像处理装置，还包括：另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，其中所述类别分类单元基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。

(9).如(1)～(8)中任一项所述的图像处理装置，其中通过预先学习获得由所述系数读取单元读取的系数，其中在所述预先学习中，通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像被设定为教师图像，其中由使用从所述单芯式像素单元输出的图像信号构成的图像被设定为学生图像，和其中通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。

(10).一种图像处理方法，包括：使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

(11).一种使计算机起到图像处理装置功能的程序，包括：代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明所附的权利要求书或其等同物的范围内进行各种修改、组合、次组合以及改变。

Claims (10)

1.一种图像处理装置，包括：

代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；

类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；

系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；

颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和

积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

2.如权利要求1所述的图像处理装置，

其中所述单芯式像素单元是具有R、G和B颜色分量的像素单元，和

其中所述代表值计算单元，

基于R或B像素附近的G像素计算R或B像素的插值g，

基于G像素附近的R像素或B像素计算G像素的插值r和插值b，

通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，

基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和

基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。

3.如权利要求2所述的图像处理装置，

其中如果第二图像是仅由G像素构成的图像，

所述颜色分量变换单元通过使用R的代表值和G的代表值之间的差抵消输入值R，和

通过使用B的代表值和G的代表值之间的差抵消输入值B，

其中如果第二图像是仅由R像素构成的图像，

所述颜色分量变换单元通过使用G的代表值和R的代表值之间的差抵消输入值G，和

通过使用B的代表值和R的代表值之间的差抵消输入值B，和

其中如果第二图像是仅由B像素构成的图像，

所述颜色分量变换单元通过使用G的代表值和B的代表值之间的差抵消输入值G，和

通过使用R的代表值和B的代表值之间的差抵消输入值R。

4.如权利要求3所述的图像处理装置，

其中所述单芯式像素单元被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。

5.如权利要求1所述的图像处理装置，

其中如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和

在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么

从仅由第一颜色分量构成的第二图像获取所述预测抽头。

6.如权利要求1所述的图像处理装置，还包括：

计算所述预测抽头的虚拟色差的虚拟色差计算单元，

其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么

所述积和计算单元将所述预测抽头的虚拟色差设定为变量并通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和

其中从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽头。

7.如权利要求6所述的图像处理装置，

其中所述虚拟色差计算单元通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。

8.如权利要求1所述的图像处理装置，还包括：

另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，

其中所述类别分类单元基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。

9.如权利要求1所述的图像处理装置，

其中通过预先学习获得由所述系数读取单元读取的系数，

其中在所述预先学习中，

通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像被设定为教师图像，

其中由使用从所述单芯式像素单元输出的图像信号构成的图像被设定为学生图像，和

其中通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。

10.一种图像处理方法，包括：

使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；

使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；

使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；

使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和

使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。