CN103238335A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法和程序。提供了一种用于从具有RGBW布置的照片成像装置的成像信号生成RGB布置数据的装置和方法。边缘检测单元分析来自成像装置的RGBW布置中的输出信号，并且因此获得与每个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行根据与转换像素对应的边缘方向对应用像素位置进行转换的内插处理。混和处理单元输入参数计算单元生成的参数、边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过执行改变参数计算单元计算的参数的混和比率的混和处理来确定转换像素值。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及一种图像处理装置、一种图像处理方法和一种程序。本发明具体地涉及一种用于对具有RGBW布置的成像装置的输出执行信号处理图像处理装置、方法和程序。

背景技术

例如，成像装置中使用的成像元件（图像传感器）具有如下配置：其中允许光（R、G、B）的特定波长成分透过像素单元的滤色器附着到元件表面。例如，使用如图1（a）中所示的具有RGB布置的滤波器。在使用成像元件的输出信号生成彩色图像的处理中，执行使用多个像素的集合恢复所需的颜色成分的处理。滤色器的颜色布置具有许多类型，并且经常使用由3种仅允许特定波长的光（图1（a）中示出的红色（R）、绿色（G）和蓝色（B））透过的滤波器构成的Bayer（拜耳）布置。

近年来，成像元件（图像传感器）的像素的尺寸日益变小，并且因此出现了入射到每个像素的光量减少，并且因此信噪比（S/N比）劣化的问题。为了解决该问题，如图1（b）中所示，除了仅允许例如RGB等的特定波长的光透过的滤波器之外，已提出了具有额外允许可见光范围中的光宽广地透过的白色滤波器（W：White）的图像传感器（成像元件）。在图1（b）中，图示了具有RGBW布置的滤波器的一个示例。图1（b）中所示的RGBW布置中的W像素是允许可见光范围中的光宽广地透过的滤波器。

在这一点上，在例如专利文献1（美国未审专利申请公布第2007/0024879号）和专利文献2（美国未审专利申请公布第2007/0024934号）中公开了配备具有白色（W:White）像素的滤色器的成像元件。

如图1（b）中所示，使用具有带白色（W：White）像素的滤色器的成像元件（图像传感器），并且因此滤波器的透光率增加并且可以实现高灵敏度。

然而，关于RGBW类型元件的问题如下。

图1（a）中所示的RGB布置和图1（b）中所示的RGBW布置是其中R、G、B或W的滤波器以马赛克状态布置的单个元件，即单板型图像传感器。因此，当生成彩色图像时，有必要执行去马赛克处理，作为生成与每个像素对应的RGB像素值的颜色编码。

在图1（b）中所示的RGBW布置中，较之图1（a）中所示的RGB布置，R、G和B成分的采样速率降低。作为结果，在其中当执行生成彩色图像的处理时使用由具有图1（b）中所示的RGBW布置的元件获得的获得数据的情况下，存在如下问题：较之图1（a）中所示的RGB布置，可能容易出现假彩色。此外，由于白色（W）的波长成分包括R、G和B的所有波长成分，因此存在如下问题：当使用具有大量的色差的光学透镜时，较之单色成分，RGB波长成分的集中率降低并且分辨率降低。随着像素尺寸越小，该问题越显著。

作为防止由于光学透镜中的色差导致的分辨率劣化的技术，有效的是通过组合折射率不同的透镜来抑制色差的出现，但是在该情况下，存在由于光学透镜的数目增加引起成本增加的另一问题。此外，在该配置中，还出现了如下问题：上述由于RGB分量的采样速率下降导致的假彩色的问题更加显著。

此外，由于单板型图像传感器的每个像素仅具有关于单色成分的信息，因此执行获得与所有像素对应的RGB像素值的去马赛克处理以从离散获得的R、G、B和W信号获得彩色图像。当执行去马赛克处理时，基于几乎均匀地保持颜色比率并且在局部区域中存在强的颜色关联的假设来执行内插处理。具体地，当计算像素的特定颜色的像素值时，广泛地采用使用相邻像素的像素值进行内插的方法。在例如专利文献3（日本未审专利申请公布第2009-17544号）中公开了该方法。然而，几乎均匀地保持颜色比率并且在局部区域中存在颜色关联的上述假设对于边缘附近并不成立。结果，存在在边缘附近容易出现假彩色的问题。

引用文献列表

专利文献

专利文献1：美国未审专利申请公布第2007/0024879号

专利文献2：美国未审专利申请公布第2007/0024934号

专利文献3：日本未审专利申请公布第2009-17544号

发明内容

技术问题

本发明的目的在于提供一种图像处理装置、一种图像处理方法和一种程序，用于实现在应用由具有例如包括白色（W：White）的RGBW型滤色器的成像元件（图像传感器）获得的获得数据的彩色图像生成处理中，生成具有少的假彩色的高质量彩色图像。

根据本发明的第一方面，提供了一种图像处理装置，其包括数据转换处理单元，该数据转换处理单元通过解析二维像素布置信号来执行像素转换，在二维像素布置信号中作为亮度信号的主要成分的像素处于网状状态，并且作为颜色信息成分的多个颜色的像素被布置在剩余区域中，

数据转换处理单元包括参数计算单元，该参数计算单元通过解析二维像素布置信号来计算应用到像素转换处理的参数，并且

参数计算单元在计算应用到像素转换处理的参数的计算中，使用第一关联信息和第二关联信息中的至少任一个来执行计算参数的计算处理，第一关联信息关于作为二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而第二关联信息关于从颜色信息成分中选择的一个选择颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

此外，在根据本发明的图像处理装置的一个实施例中，参数计算单元使用关于颜色信息成分中的分布比率最高的颜色信息成分和转换之后的像素的颜色信息成分之间的关联的关联信息，作为第二关联信息。

此外，在根据本发明的图像处理装置的一个实施例中，数据转换处理单元包括边缘检测单元，边缘检测单元通过解析二维像素布置信号来生成边缘信息，并且参数计算单元根据边缘检测单元检测的边缘方向，通过有选择地使用第一关联信息和第二关联信息中的任一个，执行计算参数的计算处理。

此外，在根据本发明的图像处理装置的一个实施例中，亮度信号的主要成分的颜色是白色，并且分布比率最高的颜色信息成分的颜色是绿色，并且参数计算单元在计算应用到像素转换处理的参数的计算处理中，根据边缘检测单元检测的边缘方向，获取关于白色和转换之后的像素的颜色信息成分之间的关联的第一关联信息以及关于绿色和转换之后的像素的颜色信息成分之间的关联的第二关联信息中的任一个，使用所获取的关联信息执行计算参数的计算处理。

此外，在根据本发明的图像处理装置的一个实施例中，数据转换处理单元包括：纹理检测单元，其通过解析二维像素布置信号来生成纹理信息；以及混和处理单元，其输入参数计算单元计算的参数以及边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值。

此外，在根据本发明的图像处理装置的一个实施例中，边缘检测单元通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号，生成与每个像素对应的包括强度信息和边缘方向的边缘信息，纹理检测单元通过解析RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息，参数计算单元是计算用于将RGBW布置转换成RGB布置的参数的参数计算单元，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数，并且混和处理单元输入参数计算单元计算的参数以及边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变参数计算单元计算的参数的混和比率，通过执行混和处理来执行确定转换像素值的处理。

此外，在根据本发明的图像处理装置的一个实施例中，参数计算单元具有通过将应用到内插处理的像素位置定义为沿边缘方向的像素位置的内插处理来生成参数的配置。

此外，在根据本发明的图像处理装置的一个实施例中，参数计算单元具有如下配置：其通过使用配置RGBW布置的W像素和其他RGB像素之间的局部区域中的关联或者配置RGBW布置的G像素和其他RGB像素之间的局部区域中的关联中的任一个的内插处理来生成参数。

此外，在根据本发明的图像处理装置的一个实施例中，图像处理装置进一步包括临时像素设定单元，临时像素设定单元通过使用配置RGBW布置的W像素和其他RGB像素之间的局部区域中的关联的内插处理，针对W像素位置设定RGB中的任意的像素的像素值，并且参数计算单元具有通过应用临时像素设定数据的内插处理来生成参数的配置。

此外，在根据本发明的图像处理装置的一个实施例中，参数计算单元根据边缘检测单元检测的4类边缘方向，即纵向、横向、左斜向上和右斜向上，选择使用关于配置RGBW布置的W像素和转换之后的像素的颜色信息成分之间的关联的第一关联信息以及关于配置RGBW布置的G像素和转换之后的像素的颜色信息成分之间的关联的第二关联信息中的哪一个。

此外，在根据本发明的图像处理装置的一个实施例中，参数计算单元通过将参考像素位置设定为沿边缘方向的像素位置并且使用第一关联信息和第二关联信息来生成多个应用到像素转换处理的参数，并且混和处理单元通过执行4类边缘方向，即纵向、横向、左斜向上和右斜向上的强度比较，根据比较结果执行改变多个参数的混和比率的混和处理。

此外，在根据本发明的图像处理装置的一个实施例中，混和处理单元执行如下混和处理：计算与转换像素对应的纵向和横向方向边缘以及倾斜方向边缘的边缘方向比率（ratioFlat），额外地基于边缘方向比率（ratioFlat）计算纵向和横向方向边缘方向权重（weightHV），其中纵向和横向方向边缘方向权重（weightHV）指示其值越大，则纵向和横向方向边缘比倾斜方向边缘越强，并且其值越小，则倾斜方向边缘比纵向和横向方向边缘越强，在其中与转换像素对应的纵向和横向方向边缘比倾斜方向边缘强的情况下，通过将边缘方向设定为纵向或横向方向来增加所计算的参数的混和比率，以及在其中与转换像素对应的纵向和横向方向边缘比倾斜方向边缘弱的情况下，通过将边缘方向设定为倾斜方向来增加所计算的参数的混和比率。

此外，在根据本发明的图像处理装置的一个实施例中，纹理检测单元计算与每个像素对应的平坦度权重（weightFlat）作为纹理信息，该平坦度权重（weightFlat）对于纹理数量少并且平坦度高的像素区域指示较高值，并且对于纹理数量多并且平坦度低的像素区域指示较低值，并且参数计算单元计算用于对内插像素值执行对比度增强处理的对比度增强处理适用参数，以及用于不对内插像素值执行对比度增强处理的对比度增强处理不适用参数，并且混和处理单元执行如下混和处理：对于平坦度权重大的像素，将对比度增强处理不适用参数的混和比率设定为高，并且对于平坦度权重小的像素，将对比度增强处理适用参数的混和比率设定为高。

此外，在根据本发明的图像处理装置的一个实施例中，边缘检测单元具有如下配置：其通过仅使用RGBW布置信号的白色（W）像素的解析处理来生成与每个像素对应的边缘信息，并且通过计算处理对象像素附近的W像素的信号值梯度来生成与每个像素对应的包括边缘方向和强度信息的边缘信息。

此外，在根据本发明的图像处理装置的一个实施例中，纹理检测单元通过仅使用RGBW布置信号的白色（W）像素的解析处理，来生成指示与每个像素对应的纹理程度的纹理信息。

此外，根据本发明的第二方面，提供了一种在图像处理装置中执行图像信号处理的图像处理方法，其执行如下步骤：边缘检测步骤，使得边缘检测单元能够通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号来生成与每个像素对应的包括边缘方向和强度信息的边缘信息，

纹理检测步骤，使得纹理检测单元能够通过解析RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息，

参数计算步骤，使得参数计算单元能够成为计算用于将RGBW布置转换成RGB布置的参数的参数计算步骤，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数，以及

混和处理步骤，使得混和处理单元能够输入参数计算单元计算的参数以及边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值，

其中参数计算步骤在计算应用到像素转换处理的参数的计算中，执行使用第一关联信息和第二关联信息中的至少任一个来计算参数的计算处理，第一关联信息关于作为二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而第二关联信息关于颜色信息成分中的分布比率最高的颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

此外，根据本发明的第三方面，提供了一种用于使得在图像处理装置中执行图像信号处理的程序，图像信号处理包括：边缘检测步骤，使得边缘检测单元能够通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号来生成与每个像素对应的包括边缘方向和强度信息的边缘信息；

纹理检测步骤，使得纹理检测单元能够通过解析RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息；

参数计算步骤，使得参数计算单元能够成为计算用于将RGBW布置转换成RGB布置的参数的参数计算步骤，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数；以及

混和处理步骤，使得混和处理单元能够输入参数计算单元计算的参数以及边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值，

其中使参数计算步骤在计算应用到像素转换处理的参数的计算中，执行使用第一关联信息和第二关联信息中的至少任一个来计算参数的计算处理，第一关联信息关于作为二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而第二关联信息关于颜色信息成分中的分布比率最高的颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

此外，根据本发明的程序是例如用于能够运行各种程序代码的图像处理装置和计算机系统的、可以由设置成计算机可读格式的存储器介质提供的或者可以通过通信介质提供的程序。该程序被设置成计算机可读形成，并且因此在图像处理装置和计算机系统上实现根据程序的处理。

本发明的其他目的、特性和优点将通过下文描述的本发明的实施例以及基于附图的本发明的描述而变得清晰。此外，本说明书中的系统是多个设备的逻辑集合配置，并且每个配置中的设备不限于同一壳体内的一个设备。

本发明的有利效果

基于根据本发明的一个实施例的配置，可以生成RGB布置数据，用于通过输入由具有例如包括白色（W：White）的RGBW型滤色器的成像元件（图像传感器）获得的获得数据来生成具有少的假彩色的高质量彩色图像。具体地，边缘检测单元解析具有RGBW布置的成像元件的输出信号，并且因此获得与每个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元通过执行改变与边缘方向对应的应用像素位置的内插处理，其中边缘方向与转换像素对应，来生成与内插像素值对应的参数。混和处理单元输入参数计算单元生成的参数、边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过执行改变参数计算单元计算的参数的混和比率的混和处理，来确定转换像素值。通过该处理，可以生成通过其能够生成具有少的假彩色的高质量彩色图像的RGB布置数据。

附图说明

图1是说明作为通用滤色器中使用的颜色布置的Bayer布置和应用于本发明的RGBW布置的示例的视图。

图2是说明作为根据本发明的一个实施例中的处理的、作为将RGBW布置转换成RGB布置的转换处理而执行的再马赛克处理的视图。

图3是说明作为本发明的处理的、作为将RGBW布置转换成RGB布置的转换处理而执行的再马赛克处理的各个处理的视图。

图4是说明作为本发明的处理的、作为将RGBW布置转换成RGB布置的转换处理而执行的再马赛克处理的各个处理的视图。

图5是说明与本发明的图像处理装置的一个示例相关的成像设备的配置示例的视图。

图6是说明数据转换处理单元的配置和处理的视图。

图7是说明图6中所示的噪声去除单元201执行的处理的视图。

图8是说明如图6中所示的边缘检测单元209执行的边缘检测处理的视图。

图9是说明如图6中所示的边缘检测单元209执行的边缘检测处理的视图。

图10是说明如图6中所示的边缘检测单元209执行的边缘检测处理的视图。

图11是说明如图6中所示的边缘检测单元209执行的边缘检测处理的视图。

图12是说明如图6中所示的纹理检测单元210执行的纹理检测处理的视图。

图13是说明如图6中所示的纹理检测单元210执行的纹理检测处理的视图。

图14是说明如图6中所示的纹理检测单元210执行的纹理检测处理的视图。

图15是说明如图6中所示的第一像素内插参数计算单元（GonW）202执行的处理的视图。

图16是说明如图6中所示的第一像素内插参数计算单元（GonW）202执行的处理的视图。

图17是说明如图6中所示的第一像素内插参数计算单元（GonW）202执行的处理的视图。

图18是说明如图6中所示的第一像素内插参数计算单元（GonW）202执行的处理的视图。

图19是说明如图6中所示的第一临时像素设定单元（RBonWaroundG）203执行的处理的视图。

图20是说明如图6中所示的第一临时像素设定单元（RBonWaroundG）203执行的处理的视图。

图21是说明如图6中所示的第一临时像素设定单元（RBonWaroundG）203执行的处理的视图。

图22是说明如图6中所示的第二像素内插参数计算单元（RBonGofHV）204执行的处理的视图。

图23是说明如图6中所示的第二像素内插参数计算单元（RBonGofHV）204执行的处理的视图。

图24是说明如图6中所示的第二像素内插参数计算单元（RBonGofHV）204执行的处理的视图。

图25是说明如图6中所示的第三像素内插参数计算单元（RBonGofAD）205执行的处理的视图。

图26是说明如图6中所示的第三像素内插参数计算单元（RBonGofAD）205执行的处理的视图。

图27是说明如图6中所示的第二临时像素设定单元（RBonWaroundRB）206执行的处理的视图。

图28是说明如图6中所示的第四像素内插参数计算单元（RBonRBofHV）207执行的处理的视图。

图29是说明如图6中所示的第五像素内插参数计算单元（RBonRBofAD）208执行的处理的视图。

图30是说明如图6中所示的混和处理单元211执行的处理的视图。

图31是说明如图6中所示的混和处理单元211执行的处理的视图。

图32是说明如图6中所示的混和处理单元211执行的处理的视图。

图33是图示说明如图6中所示的数据转换处理单元200执行的系列处理的流程图的视图。

具体实施方式

参照附图，下文描述了根据本发明的一种图像处理装置、一种图像处理方法和一种程序。描述顺序如下。

1.根据本发明的处理的概况

2.成像装置和图像处理装置的配置示例和处理示例

3.数据转换处理单元的处理的描述

3-1.噪声去除单元的处理

3-2.边缘检测单元的处理

3-3.纹理检测单元的处理

3-4.像素内插参数计算单元的处理

3-5.混和处理单元的处理

4.图像处理装置的数据转换处理单元执行的马赛克处理的序列

[1.根据本发明的处理的概况]

首先，参照图2，描述了由根据本发明的诸如成像装置的图像处理装置执行的处理的概况。根据本发明的图像处理装置执行由具有RGBW型滤色器的成像元件（图像传感器）获得的获得数据的处理，该RGBW型滤色器允许RGB包括白色（W：White）的全部每个波长光透过，不同于有选择地允许RGB的每个颜色的波长光透过的RGB滤波器。具体地，通过分析二维像素布置信号来执行像素转换，在二维像素布置信号中作为亮度信号的主要成分的像素被布置成网状状态，并且具有作为颜色信息成分的多个颜色的像素被布置在剩余区域中。此外，作为亮度信号的主要成分的颜色是白色或绿色。

根据本发明的图像处理装置执行被应用于如下处理的参数计算处理：其中如图2（1）中所示的由具有例如包括白色（W：White）的RGBW型滤色器的成像元件（图像传感器）获得的获得数据被转换成图2（2）中所示的RGB布置（例如，Bayer布置）。此外，在该转换处理中，处理被同时执行，用于减少假彩色的出现。

如图2（1）中所示的由具有例如包括白色（W：White）的RGBW型滤色器的成像元件（图像传感器）获得的获得数据是二维像素布置信号，其中作为亮度信号的主要成分的W像素被布置成网状状态，并且具有作为颜色信息成分的多个颜色的像素被布置在剩余区域中。

根据本发明的图像处理装置包括数据转换处理单元，其分析该图像信号并且因此执行像素转换。数据转换处理单元通过分析输入图像信号，使用关联信息来执行例如作为应用于像素转换处理的参数的转换参数的计算，并且执行设定处理，即设定被应用所计算的参数的转换像素值，其中该关联信息关于作为二维像素布置信号中包括的亮度信号的主要成分的像素（例如，W像素）和转换之后的像素的颜色信息成分之间的关联，或者从颜色信息成分中选择的一个选择颜色信息成分（例如分布比率最高的颜色信息成分（例如，G））和转换之后的像素的颜色信息成分之间的关联。

如图2中所示，根据本发明的图像处理装置执行如下处理：将被设定成RGBW颜色布置的RGBW中每个像素的至少一部分转换成其他颜色（RGB的任何颜色）或者对RGBW的每个像素的至少一部分进行补偿。具体地，在将RGBW布置转换成RGB Bayer布置的转换处理中，执行五个如下转换或补偿处理。

（a）将W像素位置转换成G像素（估计G像素值）=（GonW）

（b）将G像素位置转换成R像素（估计R像素值）=（RonG）

（c）将G像素位置转换成B像素（估计B像素值）=（BonG）

（d）将B像素位置转换成R像素（估计R像素值）=（RonB）

（e）将R像素位置转换成B像素（估计B像素值）=（BonR）

执行每个上述转换处理（a）到（e），作为用于将RGBW布置中的RGBW的每个像素转换成RGB布置中的RGB像素的像素值估计或补偿处理。通过执行该处理，根据图2（1）中示出的RGBW颜色布置生成图2（2）中示出的RGB布置。

这种转换颜色布置的转换处理在下文中被称为“再马赛克”。

在下面的实施例中，描述了如下配置：其执行将具有白色（W）的RGBW型颜色布置转换成RGB型颜色布置（Bayer布置）的再马赛克处理，并且进一步执行减少在该再马赛克处理时的假彩色的出现的处理。

在根据本发明的图像处理装置的像素转换处理中，执行如下转换处理：其中输入具有n×n个像素的矩形像素区域作为输入像素单位。就是说，使用关于具有n×n个像素的矩形像素区域的像素信息来确定n×n个像素的中心处的一个像素的转换像素值。具体地，例如，在图像中按7×7个像素的单位来执行处理（宽度为7个像素并且高度为7个像素）。例如，在其中按7×7个像素的处理单位执行处理的情况下，图像处理装置按7×7个像素的单位输入像素信息并且使用关于7×7个像素的像素信息来确定中心像素的转换像素值。7×7个像素的中心像素是RGBW中的任何颜色的像素，并且根据上述转换模式（a）至（e）来对RGBW进行转换。

作为像素转换处理的单位的具有n×n个像素的矩形像素在下文中被称为“输入像素单位”。在其中执行上述转换模式（a）至（e）中的一个模式（a）的处理，也就是“（a）将W像素位置转换成G像素（估计G像素值）=（GonW）”的转换处理的情况下，在作为输入像素单位的7×7个像素的像素模式中存在图3中所示的四个不同模式（a1）至（a4）。

在图3的（a1）至（a4）中，图示了其中W像素是7×7个像素的中心位置的输入像素单位（处理单位）。在图3左侧是输入像素单位，并且在右侧是作为最终处理结果的RGB布置数据。

在W像素是7×7个像素的中心位置的输入中，存在图3的（a1）至（a4）中所示的四个不同模式。在其中输入具有这些模式中的任何模式的7×7个像素的情况下，执行“（a）将W像素位置转换成G像素（估计G像素值）=（GonW）”的处理。

此外，在图3的（a1）至（a4）的右侧示出了最终改变结果，并且在图3的（a1）至（a4）的左侧示出了对输入像素单位执行中心像素W到G像素的转换处理。随后，逐个移动处理单位并且执行转换处理（转换处理（a）至（e）中的任何转换处理），并且因此获得了在图3的（a1）至（a4）的右侧示出的最终改变结果。

此外，在其中执行上述转换模式（a）至（e）中的处理（b）至（e），也就是

（b）将G像素位置转换成R像素（估计R像素值）=（RonG）

（c）将G像素位置转换成B像素（估计B像素值）=（BonG）

（d）将R像素位置转换成B像素（估计B像素值）=（BonR）

（e）将B像素位置转换成R像素（估计R像素值）=（RonB）

的情况下，图4的（b）至（e）中示出了输入像素单位（处理单位）和转换处理的最终输出之间的关系。

图4（b）图示了“将G像素位置转换成R像素（估计R像素值）=（RonG）”的处理示例。

图4（c）图示了“将G像素位置转换成B像素（估计B像素值）=（BonG）”的处理示例。

图4（d）图示了“将R像素位置转换成B像素（估计B像素值）=（BonR）”的处理示例。

图4（e）图示了“将B像素位置转换成R像素（估计B像素值）=（RonB）”的处理示例。

[2.成像装置和图像处理装置的配置示例和处理示例]

参照图5和6，描述了与根据本发明的一个实施例相关的成像装置和图像处理装置的配置示例和处理示例。图5是图示与根据本发明的一个实施例相关的成像装置100的配置示例的视图。成像装置100包括光学透镜105、成像元件（图像传感器）110、信号处理单元120、存储器130和控制单元140。此外，成像装置是图像处理装置的一个实施例。图像处理装置包括诸如PC的装置。诸如PC的图像处理装置具有如下配置：其包括其他部件，没有图3中所示的成像装置100的光学透镜105和成像元件110，并且包括输入成像装置100获得的获得数据的输入单元或者存储器单元。具体地，成像装置100是静物摄像装置、视频摄像装置等。成像装置100包括能够处理图像的信息处理装置，诸如PC。

下文描述了作为根据本发明的图像处理装置的典型示例的成像装置100。图5中所示的成像装置100的成像元件（图像传感器）110具有如下配置：其包括参照图1（b）和图2（1）描述的具有带白色（W）的RGBW布置181的滤波器。具体地，成像元件（图像传感器）110分析二维像素布置信号并且因此执行像素转换，在二维像素布置信号中作为亮度信号的主要成分的像素被布置成网状状态，并且具有作为颜色信息成分的多个颜色的像素被布置在剩余区域中。此外，作为亮度信号的主要成分的颜色是白色或绿色。

成像元件（图像传感器）110是包括具有四种谱特性的滤波器的成像元件，这四种谱特性即透过红色附近的波长的红色（R）、透过绿色附近的波长的绿色（G）、透过蓝色附近的波长的蓝色（B）、以及另外的透过RGB的所有颜色的白色（W）。

包括该RGBW布置181的滤波器的成像元件110通过光学透镜105按像素单位接收RGBW的任何光，并且通过光电转换生成与光接收信号强度对应的电信号，从而输出结果。成像元件110可以获得根据RGBW的四类的光分析获得的马赛克图像。

成像元件（图像传感器）110的输出信号被输入到信号处理单元120的数据转换处理单元200。

如上文参照图2所述，数据转换处理单元200执行将RGBW布置181转换成RGB布置182的转换处理。当执行该转换处理时，如上文所述，执行五种转换或补偿处理，即

“将W像素位置转换成G像素（估计G像素值）=（GonW）”

“将G像素位置转换成R像素（估计R像素值）=（RonG）”

“将G像素位置转换成B像素（估计B像素值）=（BonG）”

“将B像素位置转换成R像素（估计R像素值）=（RonB）”

“将R像素位置转换成B像素（估计B像素值）=（BonR）”。

在该转换/补偿处理中，同时执行用于抑制假彩色的处理。

数据转换处理单元200生成的RGB布置182，即具有Bayer布置的数据，是具有可由诸如传统摄像装置的成像元件获得的颜色布置的数据。该颜色布置数据被输入到RGB信号处理单元250。

RGB信号处理单元250执行与例如传统的摄像装置中设置的信号处理单元执行的处理相同的处理。具体地，通过执行去马赛克处理、白平衡调整处理、γ补偿处理等生成彩色图像183。所生成的彩色图像183存储在存储器130中。

控制单元140执行这些处理的序列。例如，使得执行处理序列的程序存储在存储器130中，并且控制单元140从存储器130读取程序，并且因此控制处理序列。

参照图6，描述了数据转换处理单元200的详细配置。数据转换处理单元200执行将RGBW颜色布置转换成RGB布置182的转换处理。此外，在该处理中，同时执行用于抑制假彩色的处理。

如图6中所示，数据转换处理单元200包括噪声去除单元201、第一至第五像素内插参数计算单元202至208、边缘检测单元209、纹理检测单元210和混和处理单元211。数据转换处理单元200从作为处理图像的RGBW布置181按n×n个像素的处理单位依次输入像素值，并且确定n×n个像素的中心像素的转换像素值，从而输出结果。当完成所有像素的转换处理时，RGB布置182被实现并且被提供给图5中所示的RGB信号处理单元250。

噪声去除单元201对输入像素单位的中心处的W像素执行噪声去除。

第一像素内插参数计算单元（GonW）202执行应用于将W像素转换成G像素的处理的参数计算处理。

第一临时像素设定单元（RBonWaroundG）203执行将G像素附近的W像素转换成R或B像素的临时像素（R'）（B'）的处理，作为将与G像素相邻的W像素的位置转换成R或B像素的处理之前的预备处理。

第二像素内插参数计算单元（RBonGofHV）204计算例如与纵向或横向边缘对应的参数，作为应用于将G像素转换成R像素或B像素的处理的参数。

第三像素内插参数计算单元（RBonGofAD）205计算例如与倾斜边缘对应的参数，作为应用于将G像素转换成R像素或B像素的处理的参数。

第二临时像素设定单元（RBonWaroundRB）206执行将R或B像素附近的W像素转换成R或B像素的临时像素（R'）（B'）的处理，作为将与R像素或B像素相邻的W像素的位置转换成R像素或B像素的处理之前的预备处理。

第四像素内插参数计算单元（RBonRBofHV）207计算例如与纵向或横向边缘对应的参数，作为应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

第五像素内插参数计算单元（RBonRBofAD）208计算例如与倾斜边缘对应的参数，作为应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

边缘检测单元209使用W像素执行边缘方向检测处理。

纹理检测单元210使用W像素执行纹理检测处理。

混和处理单元211执行混和上文所述的每个处理中的像素输出的处理。

[3.数据转换处理单元的处理的描述]

接下来，下文描述了构成图6中所示的数据转换处理单元200的每个处理单元执行的处理。

此外，如上文参照图6所述，数据转换处理单元200从RGBW布置181按n×n个像素的处理单位依次输入像素值并且确定n×n个像素的中心像素的转换像素值，从而输出结果。在下文所述的实施例中，描述了基于n=7的、通过输入具有7×7个像素的像素区域作为数据转换处理单元200中的一个处理单位来执行处理的配置。

然而，图6中所示的处理单元中的噪声去除单元201、边缘检测单元209和纹理检测单元210可以被设定为按7×7像素区域单位或者具有7×7个像素的像素区域的中心部分中的5×5像素区域单位中的任何单位来执行处理。作为其他处理单元的第一像素内插参数计算单元202至第五像素内插参数计算单元208按7×7像素区域单位执行处理。

边缘检测、噪声去除或纹理检测的处理生成被用作像素值转换中的补充信息的信息。用于这种信息生成的像素区域可以通过各种方式进行设定。处理单位越小，处理单元在处理负荷方面就越高效。然而，在其中处理能力充足的情况下，较大的像素区域可以被设定为处理单位。例如，按7×7像素单位执行处理的配置是可能的。

这样，用于边缘检测、噪声去除和纹理检测的处理的处理单位可以通过各种方式进行设定。在下面的实施例中，具有以下设定的处理示例被描述为一个示例。

第一像素内插参数计算单元202至第五像素内插参数计算单元208对输入到数据转换处理单元200的RGBW布置181按7×7像素区域单位执行处理。边缘检测单元209也按与输入到数据转换处理单元200的RGBW布置181的7×7处理单位相同的处理单位执行边缘检测处理。

在噪声去除单元201和纹理检测单元210中，从具有7×7个像素的像素区域的中心部分提取5×5像素区域，并且对作为处理单位的所提取的5×5像素区域执行处理。

在每个处理单元中，以该方式设定处理单位并且执行处理。下文依次描述每个处理单元的处理。

（3-1.噪声去除单元的处理）

首先，参照图7描述噪声去除单元201的处理。噪声去除单元201对数据执行噪声去除处理，其中数据转换处理单元200的输入像素单位（7×7个像素）的中心像素是W像素。如上文所述，噪声去除单元201从数据转换处理单元200输入的具有7×7个像素的像素区域的中心部分提取5×5像素区域，并且对作为处理单位的所提取的5×5像素区域执行处理。执行噪声去除，作为计算作为输入像素单位的中心的W像素的噪声减少像素值的计算处理。

用于噪声去除的各种技术是适用的。这里，参照图7描述了使用双边滤波器的噪声减少处理示例。

图7（a）图示了设定在作为输入像素单位的7×7个像素的中心部分的5×5像素区域被定义为对其执行噪声去除处理的处理对象数据301。图7是说明其中将噪声去除应用于处理对象数据301的中心处的W像素（像素p）的示例的视图。

图7图示了（a）处理对象数据、（b）噪声减少像素计算式、以及（c）函数φ(r)的线性近似示例。

如（a）处理对象数据中所示，在具有RGBW布置的输入像素单位（7×7个像素）的中心部分处的具有5×5个像素的噪声去除处理对象数据301的中心像素（p）是W像素的情况下，噪声去除单元201执行处理。图7（a）中所示的灰色区域是W像素，并且其他白色区域是RGB像素中的任何像素。此外，在下面的描述中参照的其他附图中，灰色区域也被定义为W像素，并且其他白色区域被定义为RGB像素中的任何像素。

噪声去除单元201使用作为处理对象数据301的中心像素（p）的W像素的像素值I(p)和处理对象数据301（5×5个像素）中包括的像素的像素值I(q)，并且因此根据图7（2）中示出的噪声减少像素计算式来计算噪声减少像素值I_NR(p)。就是说，根据下式（式1）计算噪声减少像素值I_NR(p)。

[数学式1]

...式1

在上述式中，Ωp是作为处理对象数据301的（5×5个像素）中包括的像素集合，I(q)是其像素值，并且I(p)是中心像素p（=W像素）的像素值。

函数φ(r)通常使用指数函数。然而，为了抑制运算量，如图7（3）中所示，函数φ(r)可以是被应用线性近似的函数。

图7（3）中所示的线性近似是线性近似示例，其中r=0至Th1(2.0)->φ(r)=1.0，r=Th1(2.0)至Th2(3.0)->φ(r)=1.0至0（线性变化），并且r=等于或大于Th2->φ(r)=0，其中Th1=2.0并且Th2=3.0被设定为阈值。

通过这种方式，噪声去除单元201应用双边滤波器，并且因此根据上述式（式1）计算噪声去除处理单位（5×5个像素）的中心处的W像素的噪声减少像素值I_NR(p)。所计算的噪声减少W像素（I_NR(p)）被输出到如图6中所示的第一像素内插参数计算单元（GonW）202。

此外，参照图7描述的被应用双边滤波器的处理是噪声去除处理的一个示例，并且噪声去除单元201不限于参照图7描述的被应用双边滤波器的处理，并且可以具有使用其他噪声去除方法的配置。

（3-2.边缘检测单元的处理）

接下来，描述边缘检测单元209的处理。边缘检测单元209验证作为输入信号的RGBW布置中包括的离散白色（W）信号，并且生成图像中包括的边缘信息，例如包括边缘方向和边缘强度的边缘信息，从而将结果输出到混和处理单元211并且额外输出到多个像素内插参数计算单元。

参照图8和后继附图描述了边缘检测单元209执行的判断方法，该判断方法使用W像素判断边缘方向和边缘强度。

边缘检测单元209仅使用输入的RGBW布置181的信号中的白色（W）信号来判断边缘方向和边缘强度。在本实施例中，如上文所述，边缘检测单元209按与输入到数据转换处理单元200的RGBW布置181的7×7处理单位相同的处理单位来执行边缘检测处理。边缘检测单元209在逐个移动7×7像素区域的同时依次对7×7像素区域执行边缘检测处理。通过对一个7×7像素区域执行处理，获得与7×7像素区域的中心像素对应的边缘信息（边缘方向和边缘强度）。与每个像素对应的边缘信息被输出到混和处理单元211，以及第一至第五像素内插参数计算单元。

多种技术可应用于边缘检测处理。参照图8和9描述了一种这样的技术。在下述方法中，使用7×7像素区域的中心附近的4×4个像素。

如图8中所示，作为处理对象的7×7个像素的中心像素分为两种情况。一种情况是（a）W像素，并且另一种情况是（b）W像素以外的像素。

此外，在图8中，标有灰色的像素是W像素并且其他像素对应于RGB中的任何。

对这两种情况（a）和（b）执行边缘判断处理，以使用不同的计算式来估计包括水平、竖直、右斜和左斜方向中的哪个方向是边缘方向，或者估计其强度。

参照图9描述了具体处理。

在图9中，示出了应用于如下两种情况（a）和（b）下的判断边缘方向和边缘强度的判断处理的计算式：（a）中心像素是W像素的情况和（b）中心像素是W像素以外的像素的情况。

所应用的式是用于计算在图像中的特定方向上的像素梯度的式，并且是用于计算每个如下值的式。

gradH：水平方向上的梯度绝对值的平均，

gradV：竖直方向上的梯度绝对值的平均，

gradA：右斜向上方向上的梯度绝对值的平均，以及

gradD：左斜向上方向上的梯度绝对值的平均，

gradH、gradV、gradA和gradD对应于不同方向上的像素值的梯度（差）的绝对值。下文描述了具体的计算处理。

（a）在中心像素是W像素的情况下的处理

首先，参照图9（a），描述了在中心像素是W像素的情况下执行的处理。在图9（a）中，（a1）至（a4）图示了在中心像素是W像素的情况下的计算gradH、gradV、gradA和gradD的计算处理示例。

标有双环的位置是7×7个像素的中心像素的位置。

此外，标有单环“○”的位置是边缘重心的位置。

在中心像素是W像素的情况下，使用如下计算式（式2）来计算gradH、gradV、gradA和gradD。

[数学式2]

$\mathrm{grad}H=\frac{|W_{22}-W_{02}|+|W_{31}-W_{11}|}{2}$

$\mathrm{grad}V=\frac{|W_{22}-W_{20}|+|W_{13}-W_{11}|}{2}$

$\mathrm{grad}A=\frac{|W_{22}-W_{31}|+|W_{13}-W_{22}|}{2}$

$\mathrm{grad}D=\frac{|W_{22}-W_{11}|+|W_{33}-W_{22}|}{2}$

...式2

此外，Wxy指示在其中图9中所示的4×4个像素的最左上的像素的坐标被设定为(0,0)，并且最右下的像素的坐标被设定为(3,3)，水平方向被定义为（x）并且竖直方向被定义为（y）的坐标系中，x-y坐标位置的W像素值。

gradH是水平方向上的梯度绝对值的平均，并且与在水平方向上接近的W像素的差值绝对值的平均值对应。

如图9（a1）中所示，在4×4像素区域的中心部分中的两条水平线的水平方向上接近的两个W像素的差值绝对值的平均值被计算为gradH。

gradV是竖直方向上的梯度绝对值的平均，并且与在竖直方向上接近的W像素的差值绝对值的平均值对应。

如图9（a2）中所示，在4×4像素区域的中心部分中的两条竖直线的竖直方向上接近的两个W像素的差值绝对值的平均值被计算为gradV。

gradA是右斜向上方向上的梯度绝对值的平均，并且与在右斜向上方向上接近的W像素的差值绝对值的平均值对应。

如图9（a3）中所示，在4×4像素区域的中心部分中的右斜向上方向上的一条线的右斜向上方向上接近的两个W像素的差值绝对值的平均值被计算为gradA。

gradD是左斜向上方向上的梯度绝对值的平均，并且与在左斜向上方向上接近的W像素的差值绝对值的平均值对应。

如图9（a4）中所示，在4×4像素区域的中心部分中的左斜向上方向上的一条线的左斜向上方向上接近的两个W像素的差值绝对值的平均值被计算为gradD。

水平方向上的梯度绝对值的平均gradH的值越大，竖直方向上的边缘强度较大的可能性越高。

竖直方向上的梯度绝对值的平均gradV的值越大，水平方向上的边缘强度较大的可能性越高。

右斜向上方向上的梯度绝对值的平均gradA的值越大，左斜向上方向上的边缘强度较大的可能性越高。

左斜向上方向上的梯度绝对值的平均gradD的值越大，右斜向上方向上的边缘强度较大的可能性越高。

通过这种方式，可以基于计算的值的每个值gradH、gradV、gradA和gradD来判断边缘方向和边缘强度。

（b）在中心像素是W像素以外的像素的情况下的处理

接下来，参照图9（b），描述了中心像素是W像素以外的像素的情况下执行的处理。在图9（b）中，（b1）至（b4）图示了在中心像素是W像素以外的像素的情况下的计算gradH、gradV、gradA和gradD的计算处理示例。

标有双环

的位置是7×7个像素的中心像素的位置。

此外，标有单环“○”的位置是边缘重心位置。

在中心像素是W像素以外的像素的情况下，使用如下计算式（式3）来计算gradH、gradV、gradA和gradD。

[数学式3]

$\mathrm{grad}H=\frac{|W_{32}-W_{12}|+|W_{21}-W_{01}|}{2}$

$\mathrm{grad}V=\frac{|W_{23}-W_{21}|+|W_{12}-W_{10}|}{2}$

$\mathrm{grad}A=\frac{|W_{23}-W_{32}|+|W_{12}-W_{21}|}{2}$

$\mathrm{grad}D=\frac{|W_{23}-W_{12}|+|W_{32}-W_{21}|}{2}$

...式3

此外，Wxy指示在其中图9中所示的4×4个像素的最左上的像素的坐标被设定为(0,0)，并且最右下的像素的坐标被设定为(3,3)，水平方向被定义为（x）并且竖直方向被定义为（y）的坐标系中，x-y坐标位置的W像素值。

gradH是水平方向上的梯度绝对值的平均，并且与在水平方向上接近的W像素的差值绝对值的平均值对应。

如图9（b1）中所示，在4×4像素区域的中心部分中的两条水平线的水平方向上接近的两个W像素的差值绝对值的平均值被计算为gradH。

gradV是竖直方向上的梯度绝对值的平均，并且与在竖直方向上接近的W像素的差值绝对值的平均值对应。

如图9（b2）中所示，在4×4像素区域的中心部分中的两条竖直线的竖直方向上接近的两个W像素的差值绝对值的平均值被计算为gradV。

gradA是右斜向上方向上的梯度绝对值的平均，并且与在右斜向上方向上接近的W像素的差值绝对值的平均值对应。

如图9（b3）中所示，在4×4像素区域的中心部分中的右斜向上方向上的两条线的右斜向上方向接近的两个W像素的差值绝对值的平均值被计算为gradA。

gradD是左斜向上方向上的梯度绝对值的平均，并且与在左斜向上方向上接近的W像素的差值绝对值的平均值对应。

如图9（b4）中所示，在4×4像素区域的中心部分中的左斜向上方向上的两条线的左斜向上方向上接近的两个W像素的差值绝对值的平均值被计算为gradD。

水平方向上的梯度绝对值的平均gradH的值越大，竖直方向上的边缘强度较大的可能性越高。

竖直方向上的梯度绝对值的平均gradV的值越大，水平方向上的边缘强度较大的可能性越高。

右斜向上方向上的梯度绝对值的平均gradA的值越大，左斜向上方向上的边缘强度较大的可能性越高。

左斜向上方向上的梯度绝对值的平均gradD的值越大，右斜向上方向上的边缘强度较大的可能性越高。

通过这种方式，可以基于计算的值的每个值gradH、gradV、gradA和gradD的值来估计边缘方向和边缘强度。

通过这种方式，边缘检测单元209基于gradH、gradV、gradA和gradD中的每个，获得与每个像素对应的边缘信息（边缘方向和边缘强度）。所获得的边缘信息被输出到混和处理单元211。此外，上述边缘方向·强度检测方法是一个示例，并且使用其他边缘检测方法的配置是可能的。例如，由于上文参照图9描述的边缘检测方法使用极窄范围中的特定像素值信息，因此当噪声高时预见到出现错误判断。参照图10描述了用于防止该错误判断的获得边缘信息的获得处理示例。

图10中所示的获得边缘信息的获得处理示例是一种使用如下处理的技术：其中对作为参照图9描述的计算值的梯度绝对值的平均执行加权相加。在图10中，示出了（1）获得关于水平·竖直成分的边缘信息的获得处理示例和（2）获得关于倾斜成分的边缘信息的获得处理示例。

在图10（1）和10（2）中，图示了关于7×7个像素的图像数据。该数据是边缘检测单元209定义成处理对象的数据并且其中按与图9中所示的方式相同的方式仅离散地布置W像素值。获得与位于7×7个像素的中心的中心像素对应的边缘信息（边缘方向和边缘强度）。

描述了在图10（1）中所示的获得关于水平·竖直成分的边缘信息的获得处理。在图10（1）中，图示了16个边缘重心。这些边缘重心与图9（a1）、（a2）、（b1）和（b2）中所示的边缘重心对应。就是说，这些边缘重心与计算值gradH（水平方向上的梯度绝对值的平均）和gradV（竖直方向上的梯度绝对值的平均）时的边缘重心对应。

图9（a1）、（a2）、（b1）和（b2）中所示的4×4像素区域被设定在图10（1）中所示的7×7像素区域中。有设定可能的4×4像素区域是16个，从图中所示的最左上的4×4像素区域302到最右下的4×4像素区域304。图10（1）中所示的16个边缘重心是与16个4×4像素区域对应的边缘重心，就是说，具有与图9（a1）、（a2）、（b1）和（b2）中所示的16个4×4像素区域相同的位置的边缘重心。

在其中如图中所示的0、1、2和3的刻度上，水平轴被定义为i并且竖直轴被定义为j，边缘重心的坐标位置被表述为(i，j)的情况下，边缘重心(0,0)301是与4×4像素区域302对应的边缘重心。在4×4像素区域302被定义为图9（a1）、（a2）、（b1）和（b2）中所示的4×4像素区域的情况下，边缘重心(0,0)301与图9（a1）、（a2）、（b1）和（b2）中所示的重心对应。

此外，边缘重心(3,3)303是通过与4×4像素区域304对应来设定的边缘重心。在其中4×4像素区域304被定义为图9（a1）、（a2）、（b1）和（b2）中所示的4×4像素区域的情况下，边缘重心(3,3)303与图9（a1）、（a2）、（b1）和（b2）中所示的重心对应。

在图10（1）中所示的7×7像素区域中，设定了16个集合，每个集合由4×4像素区域和边缘重心组成。此外，使用参照图9（a1）、（a2）、（b1）和（b2）描述的计算式，并且因此可以计算关于这16个集合中的每个的各16个gradH（水平方向上的梯度绝对值的平均）和gradV（竖直方向上的梯度绝对值的平均）的值。

使用与边缘重心(i,j)对应的4×4像素区域计算的梯度绝对值的平均（gradH）和（gradV）被分别表述为gradH_i，j和gradV_i，j。除了使用这些之外，使用如下计算式（式4）计算梯度绝对值的平均的加权相加值，即dirH：水平梯度信息，和dirV：竖直梯度信息。

[数学式4]

$\mathrm{dirH}=\frac{\underset{i,j}{\mathrm{\Σ}}{w}_{i,i}\·\mathrm{grad}{H}_{i,j}}{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}},$ $\mathrm{dirV}=\frac{\underset{i,j}{\mathrm{\Σ}}{w}_{i,j}\·\mathrm{grad}{H}_{i,j}}{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}},$

...式4

在上述式中，w_ij是与(i,j)位置处的边缘重心对应的加权系数。例如，如图10（1）中所示、加权系数被设定为在中心部分中大并且在外围部分中小的加权系数。在图10（1）中，图示了将范围（4/36）至（1/36）中的加权系数映射到16个边缘重心的示例，作为加权系数的一个示例。

接下来，描述了图10（2）中所示的获得关于倾斜成分的边缘信息的获得处理示例。在图10（2）中，示出了25个边缘重心。这些边缘重心与图9（a3）、（a4）、（b3）和（b4）中所示的边缘重心对应。就是说，这些边缘重心与计算值gradA（右斜向上方向上的梯度绝对值的平均）和gradD（左斜向上方向上的梯度绝对值的平均）时的边缘重心对应。

图9（a3）、（a4）、（b3）和（b4）中所示的4×4像素区域被设定在7×7像素区域中。有设定可能的4×4像素区域是16个，从图中所示的最左上的4×4像素区域312到最右下的4×4像素区域314。在图10（2）中所示的25个边缘重心中，图10（2）中所示的虚线矩形框315中的16个边缘重心是与16个4×4像素区域对应的边缘重心，就是说，具有与图9（a3）、（a4）、（b3）和（b4）中所示的16个4×4像素区域相同的位置的边缘重心。

在如图中所示的0、1、2、3和4的刻度上，水平轴被定义为i并且竖直轴被定义为j，边缘重心的坐标位置被表述为(i，j)的情况下，边缘重心(1,1)311是与4×4像素区域312对应的边缘重心。在4×4像素区域312被定义为图9（a3）、（a4）、（b3）和（b4）中所示的4×4像素区域的情况下，边缘重心(1，1)311与图9（a3）、（a4）、（b3）和（b4）中所示的重心对应。

此外，边缘重心(4,4)313是通过与4×4像素区域314对应来设定的边缘重心。在4×4像素区域314被定义为图9（a3）、（a4）、（b3）和（b4）中所示的4×4像素区域的情况下，边缘重心(4,4)313与图9（a3）、（a4）、（b3）和（b4）中所示的重心对应。

在图10（2）中，还图示了在虚线矩形框315外部的边缘重心。

当位置i=0或j=0，并且(i,j)=(0,0)至(0,4)时，(1,0)至(4,0)是边缘重心。

如图9（a3）、（a4）、（b3）和（b4）中所示，计算gradA（右斜向上方向上的梯度绝对值的平均）和gradD（左斜向上方向上的梯度绝对值的平均）时的像素位置仅是边缘重心附近的8个像素。因此，即使边缘重心被设定成图10（2）中所示的i=0或者j=0的位置，仍可以计算gradA和gradV。

因此，使用7×7像素区域，可通过将边缘重心设定成不同的位置而计算的gradA和gradD是与图10（2）中所示的25个边缘重心位置对应的25个数据。

使用参照图9（a3）、（a4）、（b3）和（b4）描述的计算式，并且因此可以根据图10（2）中所示的7×7像素区域，计算关于每个的各25个gradA（右斜向上方向上的梯度绝对值的平均）和gradD（左斜向上方向上的梯度绝对值的平均）的值。

使用与边缘重心(i，j)对应的4×4像素区域计算的梯度绝对值的平均（gradA）和（gradD）被分别表述为gradA_i，j和gradD_i，j。除了使用这些之外，使用如下计算式（式5）计算梯度绝对值的平均的加权相加值，即dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息。

[数学式5]

$\mathrm{dirA}=\frac{\underset{i,j}{\mathrm{\Σ}}{w}_{i,i}\·\mathrm{grad}{A}_{i,j}}{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}},$ $\mathrm{dirD}=\frac{\underset{i,j}{\mathrm{\Σ}}{w}_{i,j}\·\mathrm{grad}{A}_{i,j}}{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}},$

...式5

在上述式中，w_ij是与(i,j)位置处的边缘重心对应的加权系数。例如，如图10（2）中所示，加权系数被设定为在中心部分中大并且在外围部分中小的加权系数。在图10（2）中，图示了将范围（16/100）至（1/100）中的加权系数映射到25个边缘重心的示例，作为加权系数的一个示例。

通过执行参照图10描述的处理而计算的边缘信息，即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，是使用7×7像素区域中包括的多个像素值（W像素值）计算的边缘信息。

因此，较之参照图9描述的通过应用少量信息而计算的边缘信息，由于例如噪声而引发错误结果的可能性降低。

此外，上述式和图10中所示的设定加权系数w_ij的设定示例是一个示例，并且因此可以使用其他平均系数。

此外，参照图10描述的示例是其中使用7×7像素区域来计算梯度绝对值的平均的加权相加值（dirH、dirV、dirA和dirD）的示例，但是例如，如图11中所示，还可以采用其中使用5×5像素区域来计算梯度绝对值的平均的加权相加值（dirH、dirV、dirA和dirD）的配置。

就是说，还可以采用其中通过从输入到数据转换处理单元200的7×7像素区域的中心部分提取5×5像素区域来执行边缘检测的配置。参照图11描述该处理示例。

在图11中，如在图10中，图示了（1）获得关于水平·竖直成分的边缘信息的获得处理示例和（2）获得关于倾斜成分的边缘信息的获得处理示例中的每个。

在图11（1）和11（2）中，示出了5×5像素图像数据。该数据是边缘检测单元209定义为处理对象的数据，并且其中按与图9中所示的方式相同的方式仅离散地布置W像素值。获得与位于5×5个像素的中心的中心像素对应的边缘信息（边缘方向和边缘强度）。

描述了在图11（1）中所示的（1）获得关于水平·竖直成分的边缘信息的获得处理示例。在图11（1）中所示的5×5像素区域中，设定了4个集合，每个集合由4×4像素区域和边缘重心组成。此外，使用参照图9（a1）、（a2）、（b1）和（b2）描述的计算式，并且因此可以计算关于这4个集合中的每个的各4个gradH（水平方向上的梯度绝对值的平均）和gradV（竖直方向上的梯度绝对值的平均）的值。

使用与边缘重心(i，j)对应的4×4像素区域计算的梯度绝对值的平均（gradH）和（gradV）被分别表述为gradH_i，j和gradV_i，j。除了使用这些之外，使用上述计算式（式4）计算梯度绝对值的平均的加权相加值，即dirH：水平梯度信息，和dirV：竖直梯度信息。

接下来，描述了图11（2）中所示的获得关于倾斜成分的边缘信息的获得处理示例。在图11（2）中，图示了9个边缘重心。这些边缘重心与图9（a3）、（a4）、（b3）和（b4）中所示的边缘重心对应。就是说，这些边缘重心与计算gradA（右斜向上方向上的梯度绝对值的平均）和gradD（左斜向上方向上的梯度绝对值的平均）时的边缘重心对应。

使用参照图9（a3）、（a4）、（b3）和（b4）描述的式，并且因此可以根据图11（2）中所示的5×5像素区域，计算关于每个的各9个gradA（右斜向上方向上的梯度绝对值的平均）和gradD（左斜向上方向上的梯度绝对值的平均）的值。

使用与边缘重心(i，j)对应的4×4像素区域计算的梯度绝对值的平均（gradA）和（gradD）被分别表述为gradA_i，j和gradD_i，j。除了使用这些之外，使用上述计算式（式5）计算梯度绝对值的平均的加权相加值，即dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息。

通过这种方式，在计算梯度绝对值的平均的加权相加值（dirH、dirV、dirA和dirD）的处理中，可以使用包括7×7像素区域和5×5像素区域的多种像素区域。

边缘检测单元209将以该方式获得的边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，输出到混和处理单元211，并且额外输出到多个像素内插参数计算单元。

（3-3.纹理检测单元的处理）

接下来，描述了纹理检测单元210的处理。纹理检测单元210使用作为输入信号的RGBW布置中包括的离散白色（W）像素来执行纹理检测处理。就是说，检测与每个像素对应的纹理信息，并且检测信息输出到混和处理单元211。

具体地，检测与每个像素相邻的区域是具有大量纹理（平坦度低）的图像还是具有少量纹理（平坦度高）的图像，并且该检测信息被输出到混和处理单元211，作为与每个像素对应的纹理信息。

参照图12和后继的图描述了纹理检测单元210的处理。

如上文所述，纹理检测单元210从作为数据转换处理单元200的输入单位的7×7像素区域的中心部分提取5×5像素区域，并且因此对作为处理单位的所提取的5×5像素区域执行处理。针对每个处理单位（5×5个像素）计算W像素的平均值Wave。

例如，在计算W像素平均值Wave的计算处理中使用平滑滤波器。在输入像素单位的中心是W像素的情况下，使用如图12中所示设定其滤波器系数的滤波器来获得W像素的平均值Wave，并且在输入像素单位的中心不是W像素的情况下，使用设定图13中所示的系数的滤波器来获得W像素的平均值Wave。

参照图12描述在输入像素单位的中心是W像素的情况下执行的处理。在用于处理中心像素是W像素的5×5个像素的处理单位321中的其中心是W像素位置的9个像素中，W像素的值乘以与滤波器322对应的像素位置的滤波器系数。此外，计算相加值，即将乘法结果加在一起的结果。该相加结果被定义为W信号的平均值Wave。平均值Wave被计算作为处理单位321的中心W像素的平均值Wave。纹理检测单元210进一步使用与该像素对应的平均值Wave，并且因此计算平坦度权重（weightFlat）作为与中心W像素对应的纹理程度的指标。下文描述了该计算处理。

此外，对于图12中所示的滤波器322的滤波器系数，（4/8至1/8）被设定用于5×5个像素的处理单位321中的中心W像素和相邻的W像素。该滤波器系数是一个示例，并且可以采用使用其他系数的配置，并且在所谓的低通滤波器的情况下未向系数给出该限制。此外，可以采用使用多于9个像素的区域的配置。

接下来，参照图13描述在输入像素单位的中心是W像素以外的像素的情况下的处理。在用于处理中心像素是W像素以外的像素的5×5个像素的处理单位331中的其中心是中心像素位置的9个像素中，W像素的值乘以与滤波器332对应的像素位置的滤波器系数。此外，计算相加值，即将乘法结果加在一起的结果。该相加结果被定义为W信号的平均值Wave。所计算的平均值Wave被计算作为处理单位331的中心像素（RGB中的任何一个）的平均值Wave。

此外，对于图13中所示的滤波器332的滤波器系数，5×5个像素的处理单位331的中心像素附近的相邻W像素中的每个被设定成1/4。该滤波器系数是一个示例，并且可以采用使用其他系数的配置，并且在所谓的低通滤波器的情况下未向系数给出该限制。此外，可以采用使用比9个像素宽的区域的配置。

通过这种方式，纹理检测单元210应用图12中所示的滤波器322或者图13中所示的滤波器332，并且因此根据输入像素单位的中心像素是W像素还是W像素以外的RGB像素来计算与输入像素单位的中心像素对应的W像素平均值Wave。

纹理检测单元210使用计算的W像素平均值Wave，并且因此使用如下计算式（式6），根据中心像素p=(x,y)来计算纹理程度WTX(p)。

[数学式6]

...式6

在上述式（式6）中，Ωp是作为处理对象数据的处理单位（5×5个像素）中包括的像素集合，I(q)是其像素值，Iave(p)是通过应用图12或图13中所示的滤波器计算的W像素平均值（与Wave相同的值），并且φ(r)是预先约定的加权函数。

此外，函数φ(r)通常使用指数函数。然而，为了抑制运算量，如图7（3）中所示并且如上文所述，可以使用被应用线性近似的函数。

图7（3）中所示的线性近似是线性近似示例，其中r=0至Th1(2.0)->φ(r)=1.0，r=Th1(2.0)至Th2(3.0)->φ(r)=1.0至0（线性变化），并且r=等于或大于Th2->φ(r)=0，其中Th1=2.0并且Th2=3.0被设定为阈值。

此外，纹理检测单元210应用根据上述式计算的与中心像素p对应的纹理程度WTX(p)，并且因此根据下式（式7）计算与中心像素p=(x,y)对应的平坦度权重（weightFlat）。

weightFlat(x,y)=f_flat(WTX(p))...（式7）

在上述式（式7）中，例如，f_flat(r)可以使用如图14中所示的线性近似函数。

图14中所示的线性近似函数是线性近似示例，其中r=0至Th 0->f_flat(r)=0，r=Th 0至Th 1->f_flat(r)=0至1.0（线性变化），并且r=等于或大于Th 1->f_flat(r)=1，其中0<Th 0(FLAT_LIMIT0)<Th 1(FLAT_LIMIT 1)<1被设定为阈值。

此外，指出了平坦度权重（weightFlat）的值越小，则平坦度越低并且图像区域中的纹理的数量越大，并且平坦度权重（weightFlat）的值越大，则图像区域中的平坦度较高的可能性越大并且图像区域中的纹理数量较小的可能性越大。

纹理检测单元210将以该方式计算的平坦度权重（weightFlat）输出到混和处理单元211。

（3-4.像素内插参数计算单元的处理）

接下来，描述了图6的数据转换处理单元200中的第一至第五像素内插参数计算单元202、204、205、207和208的处理以及第一和第二临时像素设定单元203和206的处理。这些单元执行如下处理。

第一像素内插参数计算单元（GonW）202执行应用于将W像素转换成G像素的处理的参数计算处理。

第一临时像素设定单元（RBonWaroundG）203执行将G像素附近的W像素转换成R或B像素的临时像素（R'）（B'）的处理，作为将与G像素相邻的W像素的位置转换成R或B像素的处理之前的预备处理。

第二像素内插参数计算单元（RBonGofHV）204计算与纵向或横向边缘对应的参数，作为应用于将G像素转换成R像素或B像素的处理的参数。

第三像素内插参数计算单元（RBonGofAD）205计算与倾斜边缘对应的参数，作为应用于将G像素转换成R像素或B像素的处理的参数。

第二临时像素设定单元（RBonWaroundRB）206执行将R或B像素附近的W像素转换成R或B像素的临时像素（R'）（B'）的处理，作为将与R像素或B像素相邻的W像素的位置转换成R像素或B像素的处理之前的预备处理。

第四像素内插参数计算单元（RBonRBofHV）207计算与纵向或横向边缘对应的参数，作为应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

第五像素内插参数计算单元（RBonRBofAD）208计算与倾斜边缘对应的参数，作为应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

（3-4-1.第一像素内插参数计算单元（GonW）202的处理）

首先，描述第一像素内插参数计算单元（GonW）202的处理。第一像素内插参数计算单元（GonW）202计算应用于被设定到RGBW布置181中的W像素位置的G像素值的计算的内插参数。

此外，第一像素内插参数计算单元（GonW）202对作为处理单位（输入像素单位）的7×7像素区域执行处理。

第一像素内插参数计算单元（GonW）202首先获得作为处理单位的7×7像素区域中的W信号的低频成分mW。

如图15中所示，图15中所示的滤波器411被应用于7×7个像素的输入像素单位401，并且因此计算与7×7个像素的输入像素单位401对应的低频成分mW。此时，作为将被转换成G像素的对象的W像素是在具有7×7个像素的输入像素单位401的中心处的转换对象像素402。在图15中所示的输入像素单位401中，标有灰色的像素是W像素。其他像素是RGB像素。同样地，在图15中所示的滤波器411中，标有灰色的像素是与W像素对应的位置。其他像素是与RGB像素对应的位置。此外，在下面的图中，W像素或者与W像素对应的位置也标有灰色，并且RGB像素位置或者相应的位置标有白色。

滤波器411是滤波器系数以如下方式设定的滤波器：使得转换对象像素对应位置412的滤波器系数最高，并且随着偏离附近区域的程度变大，系数变低。范围（16/128至1/128）中的系数被设定为系数。通过应用滤波器411计算低频成分mW。7×7个像素的输入像素单位401中的W像素位置的像素值乘以与滤波器411对应的像素位置的滤波器系数，并且计算相加值，即将乘法结果加在一起的结果，作为W信号的低频成分mW。

此外，图15中所示的滤波器411的滤波器系数设定示例是一个示例，并且可以应用滤波器系数被设定为不同滤波器的滤波器。可以使用图15中所示的滤波器以外的其他示例，例如，具有低通特性的其他平滑滤波器。

此外，第一像素内插参数计算单元（GonW）202获得作为处理单位的7×7像素区域中的W信号的高频成分w。

如图16中所示，图16中所示的滤波器415被应用于7×7个像素的输入像素单位401，并且因此计算与7×7个像素的输入像素单位401对应的高频成分w。作为将被转换成G像素的对象的W像素是在具有7×7个像素的输入像素单位401的中心处的转换对象像素402。

滤波器415是仅用于转换对象像素对应位置416的滤波器系数被设定为1的滤波器。应用滤波器416，并且因此计算高频成分w。7×7个像素的输入像素单位401中的W像素位置的像素值乘以与滤波器415对应的像素位置的滤波器系数，并且因此计算W信号的高频成分w。

接下来，参照图17描述了计算G信号的低频成分mG的计算处理。在计算G信号的低频成分mG的计算处理中，应用根据7×7个像素的输入像素单位401的配置和边缘方向而变化的滤波器。

具体地，如图17中所示，根据如下两类模式：（a）G像素在输入像素单位401的中心W像素的左侧的情况，和（b）G像素在输入像素单位401的中心W像素的右侧的情况，来适当地使用图17中所示的滤波器421和422。

通过应用滤波器，计算与7×7个像素的输入信号401对应的低频成分mG。此时，作为将被转换成G像素的对象的W像素是7×7个像素的输入信号401的中心处的转换对象像素402。

在（a）G像素在输入像素单位401的中心W像素的左侧的情况下，应用如图17（a）中所示设定系数的滤波器421，并且因此计算G像素的低频成分mG。呈现指示滤波器系数的值的像素是与G像素对应的位置。滤波器421的中心是转换对象像素对应位置423。在G像素在输入像素单位401的中心W像素的左侧的情况下，可以使用如下配置：其中转换对象像素对应位置423的紧邻区域左侧的G像素位置的滤波器系数的权重被设定为大的，并且因此该G像素的像素值对转换值的影响增加。

在（b）G像素在输入像素单位401的中心W像素的右侧的情况下，应用如图17（b）中所示设定系数的滤波器422，并且因此计算G像素的低频成分mG。呈现指示滤波器系数的值的像素是与G像素对应的位置。滤波器422的中心是转换对象像素对应位置424。在G像素在输入像素单位401的中心W像素的右侧的情况下，可以使用如下配置：其中转换对象像素对应位置423的紧邻区域右侧的G像素位置的滤波器系数的权重被设定为大的，并且因此该G像素的像素值对转换值的影响增加。

所应用的滤波器被设定为如下滤波器：与对应于转换对象像素的位置附近的G像素对应的位置的滤波器系数是最高的，并且滤波器系数随着偏离邻近区域的程度变大而变低。范围（1/64至12/64）中的系数被设定为系数。应用滤波器421和422中的任何滤波器，并且因此计算低频成分mG。7×7个像素的输入像素单位401中的G像素位置的像素值乘以滤波器421和422中的任何滤波器具有的滤波器系数，并且计算相加值，即将乘法结果加在一起的结果，作为G信号的低频成分mG。

此外，图17中所示的滤波器421和422的滤波器系数设定示例是一个示例，并且可以应用滤波器系数被设定为不同的滤波器系数的滤波器。

这样，第一像素内插参数计算单元202将中心像素是作为将被转换成G像素的转换对象的W像素的7×7像素区域定义为处理单位，并且因此计算W信号和G信号的低频成分mW和mG，以及W信号的高频成分w。

假设在图像内的局部区域维持以该方式计算的mW与mG的比率。根据该假设，呈现局部区域中的W与G的像素值比率的对应关系是在图18中的曲线图上绘出的对应关系。在图18中的曲线图上，沿水平轴绘制W像素值，并且沿竖直轴绘制G像素。如果W像素值与G像素值的比率保持恒定，则假设W像素和G像素在图像中的特别窄的局部区域中具有类似图18中所示的直线（线L1）的比例关系。

根据该假设，在输入像素单位401中的中心W像素，即转换对象像素位置的W信号的像素值，被定义为w（=高频成分）的情况下，可以根据下式计算必须被设定成该转换对象像素位置的G信号的像素值GonW。

该表达式GonW=(mG/mW)w是基于W像素值与G像素值的比率在局部区域中恒定的假设的像素值估计方法。

此外，mW是通过执行参照图15描述的处理而计算的、W信号的低频成分mW。

mG是通过执行参照图17描述的处理而计算的、G信号的低频成分mG。对于mG，应用根据输入像素单位401的配置和边缘方向而不同的值。

图18中所示的直线（线L1）是基于W像素值与G像素值的比率在局部区域中恒定的假设而绘制的线。在其中在像素值转换处理时执行对比度增强处理的情况下，可以应用如图18中所示的类似直线（线L2）的线。k是对比度增强处理调整参数。

如下计算在应用对比度增强处理的情况下被设定成转换对象W像素的G像素的像素值。

转换对象像素位置的W信号的像素值被定义为w，并且将被设定成转换对象像素位置的G信号的像素值被定义为GonW。可以根据下式计算转换之后的G像素值GonW。

GonW=f_contrast(mG，mW，w，k)f_contrast(mG，mW，w，k)

=k(mG/mW)(w-mW)+mG)…(≥0)

=0…(<0)

此外，k是对比度增强处理调整参数（当k=1时没有增强）。

mW是通过执行参照图15描述的处理而计算的W信号的低频成分mW。

mG是通过执行参照图17描述的处理而计算的G信号的低频成分mG。此外，在其中G像素在中心W像素的左侧的情况下以及在其中G像素在中心W像素的右侧的情况下使用图17（a）和（b）中所示的不同的滤波器来计算mG。

通过这种方式，第一像素内插参数计算单元202计算如下参数，作为应用于在RGBW布置中将W像素转换成G像素的内插参数。

这些参数，即W信号的低频成分mW、W信号的高频成分w和G信号的低频成分mG，是与作为处理对象的7×7个像素的中心部分中的一个W像素对应的参数。第一像素内插参数计算单元202对所输入的RGBW布置中包括的W像素执行同一处理，并且因此针对每个W像素计算以上参数。计算参数被输出到图6中所示的混和处理单元211。

混和处理单元使用这些参数和从例如纹理检测单元210输出的数据，并且因此根据下式计算被设定成RGBW布置中包括的W像素的位置的G像素值（GonW）。

GonW=(weightFlat)(mG/mW)w+(1-weightFlat)(k(mG/mW)(w-mW)+mG)

此外，在上述式中，mW=W信号的低频成分mW，w=W信号的高频成分w，mG=G信号的低频成分mG，weightFlat=平坦度权重，并且k=对比度增强处理调整参数（当k=1时没有增强（参照图18））。

此外，weightFlat是纹理检测单元210检测的平坦度权重，平坦度权重（weightFlat）的值越小，则平坦度越低并且图像区域中的纹理的数量越大，并且平坦度权重（weightFlat）的值越大，则图像区域中的平坦度高的可能性越大并且图像区域中的纹理的数量小的可能性越大。

可以通过各种方式设定对比度增强处理调整参数（k），诸如使用预设值，或者使用用户输入的输入值。

（3-4-2.第一临时像素设定单元（RBonWaroundG）203的处理）

接下来，将描述第一临时像素设定单元（RBonWaroundG）203的处理。如根据图6中所示的框图而明显的，第一临时像素设定单元（RBonWaroundG）203设置在第二像素内插参数计算单元（RBonGofHV）204和第三像素内插参数计算单元（RBonGofAD）205前面。

第二像素内插参数计算单元（RBonGofHV）204和第三像素内插参数计算单元（RBonGofAD）205中的任何单元计算用于将G像素转换成R或B像素的参数。第一临时像素设定单元（RBonWaroundG）203在这些处理之前执行将与RB像素相邻的W像素位置转换成临时R像素（R'）或临时B像素（B'）的处理。

第一临时像素设定单元（RBonWaroundG）203首先获得作为处理单位的7×7像素区域中的W信号的低频成分mW、R信号的低频成分mR和B信号的低频成分mB。

如图19中所示，图19中所示的滤波器511被应用于7×7个像素的输入像素单位501，并且因此获得与7×7个像素的输入像素单位501对应的W信号的低频成分mW。

此外，如图20中所示，对7×7个像素的输入像素单位501应用图20中所示的滤波器513和515，并且因此获得与7×7个像素的输入像素单位501的中心处的转换对象像素502对应的、R信号的低频成分mR和B信号的低频成分mB。

图19和图20中所示的7×7个像素的输入像素单位501的中心像素是转换对象像素502。在该情况下，输入像素单位501是针对第二像素内插参数计算单元（RBonGofHV）204和第三像素内插参数计算单元（RBonGofAD）205的输入，并且由于这些单元是计算用于将G像素转换成R或B像素的参数的处理单元，因此输入像素单位501的中心处的转换对象像素502是G像素。

获得图19中所示的W信号的低频成分mW的滤波器511是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置512，并且系数设定单元是与W像素对应的位置。针对与滤波器511中的W像素对应的位置来设定范围（2/128至12/128）中的系数。7×7个像素的输入像素单位501中的W像素位置的每个像素值乘以与滤波器511对应的像素位置的滤波器系数，并且计算相加值，即将乘法结果加在一起的结果，作为W信号的低频成分mW。

图20的上部所示的获得R信号的低频成分mR的滤波器513是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置514，并且系数设定单元是与R像素对应的位置。针对与滤波器513中的R像素对应的位置来设定范围（1/32至9/32）中的系数。7×7个像素的输入像素单位501中的R像素位置的每个像素值乘以与滤波器513对应的像素位置的滤波器系数，并且计算相加值，即将乘法结果加在一起的结果，作为R信号的低频成分mR。

图20的下部所示的获得B信号的低频成分mB的滤波器515是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置516，并且系数设定单元是与B像素对应的位置。针对与滤波器515中的B像素对应的位置来设定范围（1/32至9/32）中的系数。7×7个像素的输入像素单位501中的B像素位置的每个像素值乘以与滤波器515对应的像素位置的滤波器系数，并且因此计算相加值，即将乘法结果加在一起的结果，作为B信号的低频成分mB。

接下来，如图21中所示，第一临时像素设定单元（RBonWaroundG）203估计关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值和B像素值。

如图21中所示，与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的数目是4。估计关于W像素位置的R像素值和B像素值。假设在图像中的局部区域中维持mW和mR，或者mW与mB的比率，执行上文参照图18描述的估计处理。

基于该动作，可以如下估计图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）。R₂₃'=(mR/mW)w₂₃，R₃₂'=(mR/mW)w₃₂，R₄₃'=(mR/mW)w₄₃，R₃₄'=(mR/mW)w₃₄。

此外，w₂₃、w₃₂、w₄₃和w₃₄是图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的W像素值。

同样地，可以如下估计图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的B像素值（B_xy′＝B₂₃'，B₃₂'，B₄₃'，B₃₄'）。B₂₃'=(mB/mW)w₂₃，B₃₂'=(mB/mW)w₃₂，B₄₃'=(mB/mW)w₄₃，B₃₄'=(mB/mW)w₃₄。此外，w₂₃、w₃₂、w₄₃和w₃₄是图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的W像素值。

通过这种方式，第一临时像素设定单元（RBonWaroundG）203估计关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值和B像素值，并且将这些值提供给第二像素内插参数计算单元（RBonGofHV）204和第三像素内插参数计算单元（RBonGofAD）205。

（3-4-3.第二像素内插参数计算单元（RBonGofHV）204的处理）

接下来，描述了第二像素内插参数计算单元（RBonGofHV）204的处理。第二像素内插参数计算单元（RBonGofHV）204计算与纵向或横向边缘对应的参数，作为应用到将G像素转换成R像素或B像素的处理的参数。

如上文所述，边缘检测单元209生成边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，作为与每个像素对应的边缘信息。

第二像素内插参数计算单元（RBonGofHV）204输入与被定义为转换对象的G像素对应的边缘信息。

第二像素内插参数计算单元（RBonGofHV）204比较与被定义为转换对象的G像素对应的四个方向边缘信息（dirH、dirV、dirA和dirD）中的dirH和dirV，并且因此根据比较结果计算与纵向或横向边缘对应的参数。所计算的参数是用于将G像素转换成R像素或B像素的内插参数。

第二像素内插参数计算单元（RBonGofHV）204根据7×7个像素的输入像素单位501的边缘方向，计算与7×7个像素的输入像素单位501的中心位置处的转换对象像素502对应的高频成分。从边缘检测单元209输入边缘方向信息。

在尺寸上比较从边缘检测单元209输入的dirH（水平梯度信息）和dirV（竖直梯度信息），并且因此判断7×7个像素的输入像素单位501的边缘方向是横向方向还是纵向方向，以及边缘方向是否是不能指定的平坦区域。例如，使用预设阈值执行该判断处理。此外，7×7个像素的输入像素单位501的中心位置处的转换对象像素502在最初时是G像素。

参照图22和图23描述了估计与7×7个像素的输入像素单位501的中心位置处的转换对象像素502对应的高频成分的处理。

在其中7×7个像素的输入像素单位501的边缘方向是横向方向的情况下，如图22（a）中所示，应用滤波器531，并且因此计算与中心位置处的转换对象像素502横向相邻的两个W像素的像素值的平均。

该平均值被计算作为在横向边缘方向上与转换对象像素502对应的高频成分（w_h）。

滤波器531是如下滤波器，其滤波器系数被设定为与边缘方向（横向方向）平行的线。就是说，滤波器反映了仅在像素值的改变被估计为小的方向上的像素值。

在其中7×7个像素的输入像素单位501的边缘方向是纵向方向的情况下，如图22（b）中所示，应用滤波器532，并且因此计算与中心位置处的转换对象像素502纵向相邻的两个W像素的像素值的平均。

该平均值被计算作为在纵向边缘方向上与转换对象像素502对应的高频成分（w_v）。

滤波器532是如下滤波器，其滤波器系数被设定为与边缘方向（纵向方向）平行的线。就是说，滤波器反映了仅在像素值的改变被估计为小的方向上的像素值。

此外，在图22的最右侧，示出了图像图示，其图示了被定义为处理对象的7×7个像素的输入像素单位501的边缘示例。

此外，第二像素内插参数计算单元（RBonGofHV）204将滤波器533应用于如图23（c）中所示的所有像素，不论7×7个像素的输入像素单位501的边缘方向如何，并且因此计算与中心位置处的转换对象像素502纵向和横向相邻的四个W像素的像素值的平均，并且计算与转换对象像素502对应的高频成分（w_n）。

滤波器533被设定为如下滤波器：其滤波器系数在所有方向上等同地设定。

接下来，第二像素内插参数计算单元（RBonGofHV）204计算与纵向或横向边缘对应的参数，作为应用于将G像素转换成R像素或B像素的处理的参数。

具体地，如下参数被计算作为应用于将G像素转换成R像素的处理的参数。

RonG(H)=(mR'/mW)(w_h)，RonG(V)=(mR'/mW)(w_v)，RonGn=(mR'/mW)(w_n)。

此外，如下参数被计算作为应用于将G像素转换成B像素的处理的参数。

BonG(H)=(mB'/mW)(w_h)，BonG(V)=(mB'/mW)(w_v)，BonGn=(mB'/mW)(w_n)。

此外，RonG(H)和BonG(H)是针对如下像素计算的参数：其中边缘方向被判断为横向方向，并且因此计算与横向边缘对应的高频成分（w_h）。

此外，RonG(V)和BonG(V)是针对如下像素计算的参数：其中边缘方向被判断为纵向方向，并且因此计算与纵向边缘对应的高频成分（w_v）。0

RonGn和BonGn被计算作为与所有像素对应的参数，不论边缘方向如何。

此外，在上述参数计算式中，mR'是与7×7个像素的输入像素单位501对应的R信号的低频成分mR的补偿值mR'，补偿值mR'是使用上述第一临时像素设定单元（RBonWaroundG）203计算的、关于与输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值来计算的。

就是说，mR'是与7×7个像素的输入像素单位501对应的R信号的低频成分补偿值mR'，低频成分补偿值mR'是通过应用图21中所示的关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）来计算的。

同样地，mB'是与7×7个像素的输入像素单位501对应的B信号的低频成分mB的补偿值mB'，补偿值mB'是使用如上文所述的第一临时像素设定单元（RBonWaroundG）203计算的、关于与输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的B像素值来计算的。

就是说，mB'是与7×7个像素的输入像素单位501对应的B信号的低频成分补偿值mB'，其是通过应用图21中所示的关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的B像素值（B_xy′＝B₂₃'，B₃₂'，B₄₃'，B₃₄'）来计算的。

参照图24描述计算与7×7个像素的输入像素单位501对应的R信号的低频成分补偿值mR'和B信号的低频成分补偿值mB'的计算处理示例。

图24的上部所示的获得R信号的补偿低频成分mR'的滤波器551是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置552，并且系数设定单元是与输入RGBW布置图像中的原始R像素对应的位置，并且也是上述第一临时像素设定单元（RBonWaroundG）203计算R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）的位置。

如上文参照图21所述，第一临时像素设定单元（RBonWaroundG）203估计与转换对象像素对应位置502附近（上、下、左和右）的四个W像素位置对应的R像素值（R_xy′＝R₂₃'，R₃₂'，R₄₃'，R₃₄'）。

除了RGBW布置中最初包括的R像素之外，还使用第一临时像素设定单元（RBonWaroundG）203估计的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'），来执行计算与7×7个像素的输入像素单位501对应的R信号的低频成分补偿值mR'的计算处理。

在计算低频成分补偿值mR'时，执行如下处理：其中关于7×7个像素的输入像素单位501中的原始R像素位置的每个R像素值以及第一临时像素设定单元（RBonWaroundG）203估计的每个R像素值（R_xy′＝R₂₃，R₃₂'，R₄₃'，R₃₄'）乘以关于与滤波器551对应的像素位置的滤波器系数。计算相加值，即将乘法结果加在一起的结果，作为R信号的补偿低频成分mR'。

同样地，在计算低频成分补偿值mB'时，执行如下处理：其中关于7×7个像素的输入像素单位501中的原始B像素位置的每个B像素值以及第一临时像素设定单元（RBonWaroundG）203估计的每个B像素值（B_xy'=B₂₃'，B₃₂'，B₄₃'，B₃₄'）乘以关于与滤波器553对应的像素位置的滤波器系数。计算相加值，即将乘法结果加在一起的结果，作为B信号的补偿低频成分mB'。

可以使用如下计算第二像素内插参数计算单元（RBonGofHV）204计算的参数（也就是，诸如RonG(H)=(mR'/mW)(w_h)，RonG(V)=(mR'/mW)(w_v)，RonGn=(mR'/mW)(w_n)，BonG(H)=(mB'/mW)(w_h)，BonG(V)=(mB'/mW)(w_v)，和BonGn=(mB'/mW)(w_n)的参数）：通过与参照图19描述的处理相同的处理计算的W信号的低频成分mW，参照图22和23描述的与转换对象像素502对应的高频成分（w_h）、（w_v）和（w_n），参照图24描述的R信号的补偿低频成分mR'，以及B信号的补偿低频成分mB'。

此外，参照图19描述的W信号的低频成分mW是第一临时像素设定单元（RBonWaroundG）203计算的值，并且第二像素内插参数计算单元（RBonGofHV）204可以按原样使用该值，并且可以使用其中通过执行与参照图19描述的处理相同的处理来再次重新计算该值的配置。

第二像素内插参数计算单元（RBonGofHV）204将上述的计算参数输出到混和处理单元211。混和处理单元211根据边缘状态执行混和处理，并且因此确定当对作为7×7个像素的输入像素单位501的中心位置处的转换对象像素502的G像素位置进行转换时的R像素值。下文描述了混和处理单元211的处理。

（3-4-4.第三像素内插参数计算单元（RBonGofAD）205的处理）

接下来，描述了第三像素内插参数计算单元（RBonGofAD）205的处理。第三像素内插参数计算单元（RBonGofAD）205计算例如与倾斜边缘对应的参数，作为应用到将G像素转换成R像素或B像素的处理的参数。

如上文所述，边缘检测单元209生成边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，作为与每个像素对应的边缘信息。第三像素内插参数计算单元（RBonGofAD）205输入与被定义为转换对象的G像素对应的该边缘信息。

第三像素内插参数计算单元（RBonGofAD）205比较与被定义为转换对象的G像素对应的四个方向边缘信息（dirH、dirV、dirA和dirD）中的dirA和dirD，并且因此通过根据比较结果执行不同的处理来生成与倾斜边缘对应的参数。所计算的参数是用于将G像素转换成R像素或B像素的内插参数。

第三像素内插参数计算单元（RBonGofAD）205首先根据7×7个像素的输入像素单位501的边缘方向，估计与7×7个像素的输入像素单位501的中心位置处的转换对象像素502对应的高频成分。从边缘检测单元209输入边缘方向信息。

在尺寸上比较从边缘检测单元209输入的dirA（关于右斜向上方向的梯度信息）和dirD（关于左斜向上方向的梯度信息），并且因此判断7×7个像素的输入像素单位501的边缘方向是右斜向上方向还是左斜向上方向。例如，使用预设阈值执行该判断处理。此外，7×7个像素的输入像素单位501的中心位置处的转换对象像素502在最初时是G像素。

根据7×7个像素的输入像素单位501的边缘方向是右斜向上方向还是左斜向上方向，处理是不同的。

首先，描述在其中7×7个像素的输入像素单位501的边缘方向是右斜向上方向的情况下执行的处理。

在其中7×7个像素的输入像素单位501的边缘方向是右斜向上方向的情况下，第三像素内插参数计算单元（RBonGofAD）205估计与7×7个像素的输入像素单位501的中心位置处的转换对象像素502对应的高频成分。参照图25描述了该处理。

在其中7×7个像素的输入像素单位501的边缘方向是右斜向上方向的情况下，如图25中所示，应用滤波器571，并且应用从右斜向上方向到中心位置处的转换对象像素502的右斜向上方向的12个W像素的像素值，并且因此计算与转换对象像素502对应的高频成分（W_a）。滤波器571是如下滤波器，其滤波器系数被设定为与边缘方向（右斜向上）平行的线并且因此中心部分的系数值是高的。就是说，滤波器571是反映了仅在像素值的改变被估计为小的方向上的像素值的滤波器。

第三像素内插参数计算单元（RBonGofAD）205使用例如通过应用图25中所示的滤波器571计算的高频成分（W_a），并且因此计算如下参数作为应用于将G像素转换成R像素的处理的参数。

RonG(A)=(mR'/mW)(w_a)。

此外，如下参数被计算作为应用于将G像素转换成B像素的处理的参数。

BonG(A)=(mB'/mW)(w_a)。

该参数被计算作为与如下转换对象像素对应的参数：中心像素被设定为转换对象像素的7×7个像素的输入像素单位501的边缘方向被判断为右斜向上方向，并且该参数被输出到混和处理单元211。

此外，在上述参数计算式中，mW是通过与参照图19描述的处理相同的处理计算的W信号的低频成分mW，w_a是参照图25描述的与转换对象像素502对应的高频成分（w_a），并且mR'和mB'是参照图24描述的R信号的补偿低频成分mR'和B信号的补偿低频成分mB'。

这些值可以是在第一临时像素设定单元（RBonWaroundG）203中计算的值，或者可以在第二像素内插参数计算单元（RBonGofHV）204中计算，并且可以是在第三像素内插参数计算单元（RBonGofAD）205中新计算的值。

接下来，参照图26描述在其中7×7个像素的输入像素单位501的边缘方向是左斜向上方向的情况下，第三像素内插参数计算单元（RBonGofAD）205执行的参数计算处理。

在其中7×7个像素的输入图像单位501的边缘方向是左斜向上方向的情况下，如图26中所示，第三像素内插参数计算单元（RBonGofAD）205计算与7×7个像素的输入像素单位501的中心位置处的转换对象像素502对应的G信号的低频成分mG和高频成分g。

例如，图26中的滤波器581被应用于G信号的低频成分mG的计算。滤波器581是如下滤波器：其滤波器系数针对7×7个像素的G信号像素部分来设定，并且关于中心部分的系数被设定为高。

例如，图26中所示的滤波器582被应用于G信号的高频成分g的计算。滤波器582是滤波器系数被设定用于获得转换对象像素502的像素值的滤波器。

第三像素内插参数计算单元（RBonGofAD）205使用例如通过应用图26中所示的滤波器581和582计算的G信号的低频成分mG和高频成分g，并且因此计算如下参数作为应用于将G像素转换成R像素的处理的参数：

RonG(D)=(mR'/mG)g。

此外，计算如下参数作为应用于将G像素转换成B像素的处理的参数：

BonG(D)=(mB'/mG)g。

该参数被计算作为与如下转换对象像素对应的参数：中心像素被设定为转换对象像素的7×7个像素的输入像素单位501的边缘方向被判断为左斜向上方向，并且该参数被输出到混和处理单元211。

此外，在上述参数计算式中，mG是参照图26描述的G信号的低频成分mG，g是参照图26描述的G信号的高频成分g，并且mR'和mB'是参照图24描述的R信号的补偿低频成分mR'和B信号的补偿低频成分mB'。

通过这种方式，第三像素内插参数计算单元（RBonGofAD）205计算应用于将倾斜边缘上的G像素转换成R像素或B像素的处理的参数，即RonG(A)=(mR'/mW)(w_a)，RonG(D)=(mR'/mG)g，BonG(A)=(mB'/mW)(w_a)，和BonG(D)=(mB'/mG)g，并且将这些参数输出到混和处理单元211。

此外，在本实施例中，当在其中7×7个像素的输入像素单位501的边缘方向是左斜向上方向的情况下执行估计关于G像素位置的R像素值的估计处理时，应用上述式RonG(D)=(mR'/mG)g，并且当执行估计关于G像素位置的B像素值的估计处理时，应用上述式BonG(D)=(mB'/mG)g。这用于根据G像素和R像素之间的关联来估计RonG(D)和BonG(D)。出于该原因，由于G像素和R像素的相位在左斜向上方向上相等，并且因此防止假彩色的出现的效果是大的。

（3-4-5.第二临时像素设定单元（RBonWaroundRB）206的处理）

描述了第二临时像素设定单元（RBonWaroundRB）206的处理。如根据图6中所示的框图而明显的，第二临时像素设定单元（RBonWaroundRB）206设置在第四像素内插参数计算单元（RBonRBofHV）207和第五像素内插参数计算单元（RBonRBofAD）208前面。

第四像素内插参数计算单元（RBonRBofHV）207和第五像素内插参数计算单元（RBonRBofAD）208中的任何单元计算用于将R或B像素转换（补偿）成相同R像素或B像素的参数。第二临时像素设定单元（RBonWaroundRB）206在执行这些处理之前执行将与RB像素相邻的W像素位置转换成临时R像素（R'）或临时B像素（B'）的处理。

第二临时像素设定单元（RBonWaroundRB）206首先获得作为处理单位的7×7像素区域中的W信号的低频成分mW、R信号的低频成分mR和B信号的低频成分mB。

处理W信号的低频成分mW的计算处理首先执行与参照图19描述的第一临时像素设定单元（RBonWaroundG）203的处理相同的处理。

此外，如图27中所示，将滤波器611和613应用于7×7个像素的输入像素单位601，并且因此获得与7×7个像素的输入像素单位601的中心处的转换对象像素602对应的R信号的低频成分mR和B信号的低频成分mB。

图27的上部所示的获得R信号的低频成分mR的滤波器611是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置612，并且系数设定单元是与R像素对应的位置。针对与滤波器611中的R像素对应的位置来设定范围（1/32至9/32）中的系数。7×7个像素的输入像素单位601的R像素位置的每个像素值乘以与滤波器611对应的像素位置的滤波器系数，并且因此计算相加值，即将乘法结果加在一起的结果，作为R信号的低频成分mR。

图27的下部所示的获得B信号的低频成分mB的滤波器613是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置614，并且系数设定单元是与B像素对应的位置。针对与滤波器613中的B像素对应的位置来设定范围（1/32至9/32）中的系数。7×7个像素的输入像素单位601的B像素位置的每个像素值乘以与滤波器613对应的像素位置的滤波器系数，并且计算相加值，即将乘法结果加在一起的结果，作为B信号的低频成分mB。

接下来，第二临时像素设定单元（RBonWaroundRB）206估计关于与7×7个像素的输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的R像素值和B像素值。

该处理与上文参照图21描述的第一临时像素设定单元（RBonWaroundG）203的处理相同，并且省略该处理的描述。

第二临时像素设定单元（RBonWaroundRB）206如下估计图26中所示的、关于与7×7个像素的输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的R像素值（R_xy′＝R₂₃'，R₃₂，R₄₃'，R₃₄'）和B像素值（B_xy′＝B₂₃'，B₃₂'，B₄₃'，B₃₄'）。

R₂₃'=(mR/mW)w₂₃，R₃₂'=(mR/mW)w₃₂，R₄₃'=(mR/mW)w₄₃，R₃₄'=(mR/mW)w₃₄，B₂₃'=(mB/mW)w₂₃，B₃₂'=(mB/mW)w₃₂，B₄₃'=(mB/mW)w₄₃，B₃₄'=(mB/mW)w₃₄。

此外，w₂₃、w₃₂、w₄₃和w₃₄是图中所示的、关于与7×7个像素的输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的W像素值。

通过这种方式，第二临时像素设定单元（RBonWaroundRB）206估计关于与7×7个像素的输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的R像素值和B像素值，并且将这些值提供给第四像素内插参数计算单元（RBonRBofHV）207和第五像素内插参数计算单元（RBonRBofAD）208。

（3-4-6.第四像素内插参数计算单元（RBonRBofHV）207的处理）

接下来，描述了第四像素内插参数计算单元（RBonRBofHV）207的处理。第四像素内插参数计算单元（RBonRBofHV）207计算例如与纵向或横向边缘对应的参数，作为应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

如上文所述，边缘检测单元209生成边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，作为与每个像素对应的边缘信息。第四像素内插参数计算单元（RBonRBofHV）207输入与被定义为转换对象的R或B像素对应的这些边缘信息。

第四像素内插参数计算单元（RBonRBofHV）207比较与被定义为转换对象的R/B像素对应的四个方向边缘信息（dirH、dirV、dirA和dirD）中的dirH和dirV，并且因此根据比较结果计算例如与纵向或横向边缘对应的参数。所计算的参数是被应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

第四像素内插参数计算单元（RBonRBofHV）207首先根据7×7个像素的输入像素单位601的边缘方向，计算与7×7个像素的输入像素单位601的中心位置处的转换对象像素602对应的高频成分。从边缘检测单元209输入边缘方向信息。

在尺寸上比较从边缘检测单元209输入的dirH（水平梯度信息）和dirV（竖直梯度信息），并且因此判断7×7个像素的输入像素单位601的边缘方向是横向方向还是纵向方向，以及边缘方向是否是不能指定的平坦区域。例如，使用预设阈值执行该判断处理。此外，7×7个像素的输入像素单位601的中心位置处的转换对象像素602是原始的R或B像素。

估计与7×7个像素的输入像素单位601的中心位置处的转换对象像素602对应的高频成分的处理是与参照图22和23的第二像素内插参数计算单元（RBonGofHV）204的处理相同的处理，并且因此省略了该处理的描述。

第四像素内插参数计算单元（RBonRBofHV）207计算的高频成分数据如下。

在其中7×7个像素的输入像素单位601的边缘方向是横向方向的情况下，应用例如图22（a）中所示的滤波器531，并且因此计算与横向方向上的转换对象像素602对应的高频成分（w_h）。

在其中7×7个像素的输入像素单位601的边缘方向是纵向方向的情况下，应用例如图22（b）中所示的滤波器532，并且因此计算与纵向方向的边缘方向上的转换对象像素602对应的高频成分（w_v）。

此外，对于与边缘方向无关的所有像素，应用例如图23（c）中所示的滤波器533，并且因此计算与转换对象像素602对应的高频成分（w_n）。

接下来，第四像素内插参数计算单元（RBonRBofHV）207计算应用于将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

具体地，如下参数被计算作为应用于将B像素转换成R像素的处理的参数。

RonB(H)=(mR′/mW)(w_h)，RonB(V)=(mR′/mW)(w_v)，RonBn=(mR′/mW)(w_n)。

此外，如下参数被计算作为应用于将R像素转换成B像素的处理的参数。BonR(H)=(mB'/mW)(w_h)，BonR(V)=(mB'/mW)(w_v)，BonRn=(mB'/mW)(w_n)。

此外，RonB(H)和BonR(H)是针对如下像素计算的参数：其中边缘方向被判断为横向方向，并且因此计算与横向边缘对应的高频成分（w_h）。

此外，RonB(V)和BonR(V)是针对如下像素计算的参数：其中边缘方向被判断为纵向方向，并且因此计算与纵向边缘对应的高频成分（w_v）。

RonBn和BonRn被计算作为与边缘方向无关的所有像素的参数。

此外，在上述参数计算式中，mR'是与7×7个像素的输入像素单位601对应的R信号的低频成分mR的补偿值mR'，补偿值mR'是使用上述第二临时像素设定单元（RBonWaroundRB）206计算的、关于与输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的R像素值来计算的。

同样地，mB'是与7×7个像素的输入像素单位501对应的B信号的低频成分mB的补偿值mB'，补偿值mB'是使用如上文所述的第二临时像素设定单元（RBonWaroundRB）206计算的、关于与输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的B像素值来计算的。

参照图28描述计算与7×7个像素的输入像素单位601对应的R信号的低频成分补偿值mR'和B信号的低频成分补偿值mB'的计算处理示例。

图28的上部所示的获得R信号的补偿低频成分mR'的滤波器621是如下的7×7个像素的滤波器：其中心是转换对象像素对应位置622，并且系数设定单元是与输入RGBW布置图像中的原始R像素对应的位置，并且也是上述第二临时像素设定单元（RBonWaroundRB）206计算R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）的位置。

第二临时像素设定单元（RBonWaroundRB）206估计与转换对象像素对应位置602附近（上、下、左和右）的四个W像素位置对应的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）。

除了RGBW布置中最初包括的R像素之外，还使用第二临时像素设定单元（RBonWaroundRB）206估计的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃，R₃₄'），来执行计算与7×7个像素的输入像素单位601对应的R信号的低频成分补偿值mR'的计算处理。

在计算低频成分补偿值mR'时，执行如下处理：其中关于7×7个像素的输入像素单位601中的原始R像素位置的每个R像素值以及第二临时像素设定单元（RBonWaroundRB）206估计的每个R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）乘以关于与滤波器621对应的像素位置的滤波器系数。计算相加值，即将乘法结果加在一起的结果，作为R信号的补偿低频成分mR'。

同样地，在计算低频成分补偿值mB'时，执行如下处理：其中关于7×7个像素的输入像素单位601中的原始B像素位置的每个B像素值以及第二临时像素设定单元（RBonWaroundRB）206估计的每个R像素值（B_xy'=B₂₃'，B₃₂'，B₄₃'，B₃₄'）乘以关于与滤波器623对应的像素位置的滤波器系数。计算相加值，即将乘法结果加在一起的结果，作为B信号的补偿低频成分mB'。

可以使用如下计算第四像素内插参数计算单元（RBonRBofHV）207计算的参数（也就是，诸如RonB(H)=(mR'/mW)(w_h)，RonB(V)=(mR'/mW)(w_v)，RonBn=(mR′/mW)(w_n)，BonR(H)=(mB'/mW)(w_h)，BonR(V)=(mB'/mW)(w_v)，和BonRn=(mB'/mW)(w_n)的参数）：通过与参照图19描述的处理相同的处理计算的W信号的低频成分mW，通过与参照图22和23描述的处理相同的处理计算的高频成分（w_h）、（w_v）和（w_n），参照图28描述的R信号的补偿低频成分mR'，以及B信号的补偿低频成分mB'。

此外，例如，对于W信号的低频成分mW，在其中可以应用在其他处理单元中结束计算的值的情况下，可以使用该计算结束的值。

第四像素内插参数计算单元（RBonRBofHV）207将上述的计算参数输出到混和处理单元211。混和处理单元211根据边缘状态执行混和处理，并且因此确定关于作为7×7个像素的输入像素单位601的中心位置处的转换对象像素602的R或B像素的转换像素值。下文描述了混和处理单元211的处理。

（3-4-7.第五像素内插参数计算单元（RBonRBofAD）208的处理）

接下来，描述了第五像素内插参数计算单元（RBonRBofAD）208的处理。第五像素内插参数计算单元（RBonRBofAD）208计算例如与倾斜边缘对应的参数，作为应用到将R像素转换成B像素或者将B像素转换成R像素的处理的参数。

如上文所述，边缘检测单元209生成边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息，作为与每个像素对应的边缘信息。第五像素内插参数计算单元（RBonRBofAD）208输入这些与被定义为转换对象的G像素对应的边缘信息。

第五像素内插参数计算单元（RBonRBofAD）208比较与被定义为转换对象的G像素对应的四个方向边缘信息（dirH、dirV、dirA和dirD）中的dirA和dirD，并且因此通过根据比较结果执行不同的处理来计算与倾斜边缘对应的参数。所计算的参数是用于将R像素转换成B像素或者将B像素转换成R像素的内插参数。

第五像素内插参数计算单元（RBonRBofAD）208首先根据图27和图28中所示的7×7个像素的输入像素单位601的边缘方向，估计例如与7×7个像素的输入像素单位601的中心位置处的转换对象像素602对应的高频成分。从边缘检测单元209输入边缘方向信息。

在尺寸上比较从边缘检测单元209输入的dirA（右斜向上方向梯度信息）和dirD（左斜向上方向梯度信息），并且因此判断7×7个像素的输入像素单位601的边缘方向是右斜向上方向还是左斜向上方向。例如，使用预设阈值执行该判断处理。此外，7×7个像素的输入像素单位601的中心位置处的转换对象像素602是R像素或B像素。

根据7×7个像素的输入像素单位601的边缘方向是右斜向上方向还是左斜向上方向，处理是不同的。

首先，描述在其中7×7个像素的输入像素单位601的边缘方向是右斜向上方向的情况下的处理。

在该情况下，第五像素内插参数计算单元（RBonRBofAD）208使用与上文参照图25描述的第三像素内插参数计算单元（RBonGofAD）205的处理相同的处理，计算与7×7个像素的输入像素单位的中心位置处的转换对象像素对应的高频成分（w_a）。

第五像素内插参数计算单元（RBonRBofAD）208使用例如通过应用图25中所示的滤波器571计算的高频成分（w_a），并且因此计算如下参数作为应用于将B像素转换成R像素的处理的参数：

RonB(A)=(mR'/mW)(w_a)。

此外，计算如下参数被作为应用于将R像素转换成B像素的处理的参数：

BonR(A)=(mB'/mW)(w_a)。

该参数被计算作为与如下转换对象像素对应的参数：中心像素被设定为转换对象像素的7×7个像素的输入像素单位601的边缘方向被判断为右斜向上方向，并且该参数被输出到混和处理单元211。

此外，在上述参数计算式中，mW是通过执行与参照图19描述的处理相同的处理计算的W信号的低频成分mW，w_a是参照图25描述的与转换对象像素502对应的高频成分（w_a），并且mR'和mB'是参照图28描述的R信号的补偿低频成分mR'和B信号的补偿低频成分mB'。

对于这些值，可以应用在其他处理单元中完成计算的值并且可以在第五像素内插参数计算单元（RBonRBofAD）208中计算新的值。

接下来，参照图29描述在其中7×7个像素的输入像素单位601的边缘方向是左斜向上方向的情况下，第五像素内插参数计算单元（RBonRBofAD）208执行的参数计算处理。

在其中7×7个像素的输入像素单位601的边缘方向是左斜向上方向的情况下，如图29中所示，第五像素内插参数计算单元（RBonRBofAD）208计算与7×7个像素的输入像素单位601的中心位置处的转换对象像素602对应的G信号的低频成分mG和高频成分g。

例如，图29中所示的滤波器661被应用于G信号的低频成分mG的计算。滤波器661是如下滤波器：其滤波器系数针对7×7个像素的G信号像素部分设定，并且关于中心部分的系数被设定为高。

例如，图29中所示的滤波器662被应用于G信号的高频成分g的计算。滤波器662是如下滤波器：其滤波器系数被设定为转换对象像素602的左上和右下像素的像素值的平均，即边缘方向上的像素值的平均。

第五像素内插参数计算单元（RBonRBofAD）208使用例如通过应用图29中所示的滤波器661和662计算的G信号的低频成分mG和高频成分g，并且因此计算如下参数作为应用于将B像素转换成R像素的处理的参数：

RonB(D)=(mR'/mG)g。

此外，计算如下参数作为应用于将R像素转换成B像素的处理的参数：

BonR(D)=(mB'/mG)g。

该参数被计算作为与如下转换对象像素对应的参数：中心像素被设定为转换对象像素的7×7个像素的输入像素单位601的边缘方向被判断为左斜向上方向，并且该参数被输出到混和处理单元211。

此外，在上述参数计算式中，mG是参照图29描述的G信号的低频成分mG，g是参照图29描述的G信号的高频成分g，并且mR'和mB'是参照图28描述的R信号的补偿低频成分mR'和B信号的补偿低频成分mB'。

通过这种方式，第五像素内插参数计算单元（RBonRBofAD）208计算被应用于将倾斜边缘上的B像素转换成R像素或者将R像素转换成B像素的处理的参数，即RonB(A)=(mR'/mW)(w_a)，RonB(D)=(mR'/mG)g，BonR(A)=(mB'/mW)(w_a)，和BonR(D)=(mB'/mG)g，并且因此将这些参数输出到混和处理单元211。

此外，在本实施例中，当在其中7×7个像素的输入像素单位601的边缘方向是左斜向上方向的情况下，执行估计关于R像素位置的R像素值或者关于B像素位置的B像素值的估计（补偿）处理时，应用上述式，即RonB(D)=(mR'/mG)g或者BonR(D)=(mB'/mG)g。这意味着根据G像素和R像素之间的关联来估计RonB(D)和BonR(D)。出于该原因，由于G像素以及R像素和B像素的相位在左斜向上方向上相等，并且因此防止假彩色的出现的效果是大的。

（3-5.混和处理单元的处理）

接下来，描述了混和处理单元211的处理。混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数，此外输入边缘检测单元209检测的边缘信息和纹理检测单元210检测的纹理信息，并且计算最终转换像素值。

从边缘检测单元209输入的边缘信息如下。输入边缘信息（dirH、dirV、dirA和dirD），即dirH：水平梯度信息，dirV：竖直梯度信息，dirA：关于右斜向上方向的梯度信息，和dirD：关于左斜向上方向的梯度信息。

此外，从纹理检测单元210输入的纹理信息是根据上述式（式7）计算的如下平坦度权重（weightFlat）信息。

weightFlat(x,y)=f_flat(WTX(p))...（式7）

此外，如上文所述，在上述式（式7）中，对于f_flat(r)，例如可以使用如图14中所示的线性近似函数。图14中所示的线性近似函数是如下线性近似函数：其中r=0至Th 0->φ(r)=0，r=Th 0至Th 1->φ(r)=0至1.0（线性近似），r=等于或大于Th 1->φ(r)=1，其中0<Th 0<Th 1<1被设定为阈值。

此外，指出了平坦度权重（weightFlat）的值越小，则平坦度越低并且图像区域中的纹理的数量越大，并且平坦度权重（weightFlat）的值越大，则图像区域中的平坦度较高的可能性越大并且图像区域中的纹理的数量较小的可能性越大。

混和处理单元211输入该信息，并且因此确定用于将RGBW布置转换成RGB布置的最终转换像素值。

参照图30和31中的流程图描述混和处理单元211执行的处理序列。

混和处理单元211首先在图30中所示的步骤S11中判断像素单位的边缘方向性质。

混和处理单元211根据如下判断式，使用从边缘检测单元209输入的、关于像素单位的边缘信息（dirH、dirV、dirA和dirD）来判断像素单位的边缘方向性质。

首先，如下定义dirHV。当dirH≤dirV时，dirHV=H，并且当dirH>dirV时，dirHV=V，并且dirHV是H（水平方向）或V（竖直方向）中的任一个。

此外，如下定义dirAD。

当dirA≤dirD时，dirAD=A，并且当dirA>dirD时，dirAD=D并且dirAD是A（右斜向上方向）或D（左斜向上方向）中的任一个。

dirHV和dirAD是指示每个像素的边缘方向的性质信息。

接下来，混和处理单元211在图30中所示的步骤S12中根据下式，从这些dirHV和dirAD获得纵向和横向方向边缘与倾斜方向边缘的边缘方向比率（ratioHV）。

当dirA=dirD时，ratioHV=(dirD+offset)/(dirA+offset)，并且当dirA>dirD时，ratioHV=(dirA+offset)/(dirD+offset)。此外，在上述式中，（offset）是非负值，并且是用于避免零比率并且用于调整检测灵敏度的参数。

此外，根据上述式计算的边缘方向比率（ratioHV）通过图32中所示的函数fratio(ratioHV)的非线性处理来计算纵向和横向方向边缘方向权重（weightHV）。此外，阈值Th0(HV_LIMIT0)和Th1(HV_LIMIT1)是作为应用于非线性处理的阈值的调整参数。

图32中所示的线性近似函数f_ratio(r)是如下线性近似函数，其中r=0至Th0(HV_LIMIT0)->f_ratio(r)=0，r=Th0(HV_LIMIT0)至Th1(HV_LIMIT1)->f_ratio(r)=0至1.0（线性改变），r=等于或大于Th1(HV_LIMIT1)->f_ratio(r)=1，其中0<Th0(HV_LIMIT0)<Th1(HV_LIMIT1)<1被设定为阈值。

此外，纵向和横向方向边缘方向权重（weightHV）指示纵向和横向方向边缘相对倾斜方向边缘的强度，并且指示纵向和横向方向边缘方向权重（weightHV）的值越大，则纵向和横向方向边缘比倾斜方向边缘越强，并且纵向和横向方向边缘方向权重（weightHV）的值越小，则倾斜方向边缘比纵向和横向方向边缘越强。

接下来，混和处理单元211在图31中所示的步骤S13中确定用于将RGBW布置转换成RGB布置的最终转换像素值（RGB像素值）。

如上文参照图2描述的根据本发明的图像处理装置的数据转换处理单元200，执行将RGBW布置181转换成RGB布置182的转换处理。当执行如上所述的该转换处理时，执行如下五个转换和补偿处理：

“将W像素位置转换成G像素（估计G像素值）=（GonW）”

“将G像素位置转换成R像素（估计R像素值）=（RonG）”

“将G像素位置转换成B像素（估计B像素值）=（BonG）”

“将B像素位置转换成R像素（估计R像素值）=（RonB）”

“将R像素位置转换成B像素（估计B像素值）=（BonR）”

混和处理单元211确定这些最终转换像素值。

根据下式（式11）计算在将W像素位置转换成G像素的转换处理中设定的G像素值（GonW）。

GonW=(weightFlat)(mG/mW)w+(1-weightFlat)(k(mG/mW)(w-mW)+mG)…（式11）

此外，在上述式中，mW是W信号的低频成分mW，w是W信号的高频成分w，mG是G信号的低频成分mG，weightFlat是平坦度权重，并且k是对比度增强处理调整参数（当k=1时没有增强）（参照图18）。

通过这种方式，计算在将RGBW布置中的W像素位置转换成G像素的情况下的G像素值（GonW）。

此外，上述式（式11）中示出的G像素值（GonW）计算式是用于通过根据转换对象像素的平坦度权重（weightFlat）改变如下值的混和比率来计算最终G像素值的式：（GonW(dirHV)）：通过应用对比度增强计算的转换G像素值，和（GonWn(dirHV)）：在没有应用对比度增强的情况下计算的转换G像素值。

在其中转换对象像素的平坦度权重（weightFlat）大并且是平坦区域的情况下，与没有对比度增强的转换G像素对应的（GonWn(dirHV)）的混和比率是高的，并且在其中转换对象像素的平坦度权重（weightFlat）小并且是具有许多纹理的平坦区域的情况下，与对比度增强之后的转换像素值对应的（GonW(dirHV)）的混和比率是高的。

通过这种方式，通过根据转换对象像素的平坦度改变混和比率来确定最终G像素值（GonW）。

接下来，描述了在将RGBW布置中的G像素位置转换成R像素的处理中计算R像素值（RonG）的计算处理。

首先，根据下式（式21）和（式22）获得与纵向和横向方向边缘对应的转换像素值（RonG_hv）和与倾斜方向边缘对应的转换像素值（RonG_ad）。

RonG_hv=(1-weightFlat)·(RonG(dirHV))+(weightFlat)·(RonGn)

…（式21）

RonG_ad=(RonG(dirAD))…（式22）

此外，根据下式（式23），对根据上述式（式21）和（式22）计算的（RonG_hv）和（RonG_ad）执行混和处理，并且因此计算最终R像素值（RonG）。

RonG=(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad    …（式23）

通过这种方式，执行在将RGBW布置中的G像素位置转换成R像素的情况下计算R像素值（RonG）的计算处理。

描述了上述式。

在上述式（式21）中，RonG(dirHV)和RonGn是上述第二像素内插参数计算单元（RBonGofHV）204计算的内插参数，并且是应用于将纵向或横向边缘上的G像素转换成R像素的处理的如下参数：

RonG(H)=(mR'/mW)(w_h)，RonG(V)=(mR'/mW)(w_v)，RonGn=(mR'/mW)(w_n)。

当dirH≤dirV时，如步骤S11中所示，dirHV=H，并且当RonG(dirHV)=RonG(H)=(mR'/mW)(w_h)，或者dirH>dirV时，如步骤S11中所示，dirHV=V，并且RonG(dirHV)=RonG(V)=(mR'/mW)(w_v)。

此外，在上述式（式22）中，RonG(dirAD)是第三像素内插参数计算单元（RBonGofAD）205计算的内插参数，并且是应用于将倾斜方向边缘上的G像素转换成R像素的处理的如下参数：

RonG(A)=(mR'/mW)(w_a)，RonG(D)=(mR'/mG)g。

当dirA≤dirD时，如步骤S11中所示，dirAD=A，并且RonG(dirAD)=RonG(A)=(mR'/mw)(w_a)，并且此外当dirA>dirD时，如步骤S11中所示，dirAD=D，并且RonG(dirAD)=RonG(D)=(mR'/mG)g。

式（式21）是用于根据关于转换对象像素的纵向和横向方向边缘信息和平坦度权重（wightFlat），计算依据纵向和横向方向边缘的R像素值（RonG_hv）的计算式。

在其中转换对象像素的平坦度权重（wightFlat）大并且是平坦区域的情况下，使用通过应用上述图25（c）中所示的滤波器533计算的W像素值（w_n）来估计的R像素值增加，就是说RonGn=(mR'/mW)(w_n)的值的权重增加。

另一方面，在其中转换对象像素的平坦度权重（wightFlat）小并且是具有低平坦度和大量纹理的平坦区域的情况下，使用通过应用上述图25（a）和（b）中所示的滤波器531和532计算的W像素值（w_n）或（w_v）来估计的R像素值增加，就是说RonG(H)=(mR'/mW)(w_h)和RonG(V)=(mR'/mw)(w_v)的值的权重增加。

此外，在横向方向边缘的情况下，RonG(dirHV)的值是dirH≤dirV，并且使用通过应用上述图25（a）中所示的滤波器531计算的W像素值（w_h）来估计的R像素值被应用，就是说RonG(dirHV)=RonG(H)=(mR'/mw)(w_h)的值被应用。

此外，在纵向方向边缘的情况下，RonG(dirHV)的值是dirH>dirV，并且使用通过应用上述图25（b）中所示的滤波器532计算的W像素值（w_v）来估计的R像素值被应用，就是说RonG(dirHV)=RonG(H)=(mR′/mW)(w_v)的值被应用。

通过这种方式，式（式21）是用于根据转换对象像素的纵向和横向边缘信息和平坦度权重（wightFlat），计算依据纵向和横向方向边缘的R像素值（RonG_hv）的计算式。

式（式22）是RonG_ad=(RonG(dirAD))，并且是用于选择应用于将第三像素内插参数计算单元（RBonGofAD）205计算的内插参数倾斜方向边缘上的G像素转换成R像素的处理的如下参数的式：即RonG(A)=(mR'/mW)(w_a)，RonG(D)=(mR'/mG)g。

当dirA>dirD时，使用通过应用上述图26（a）中所示的滤波器541计算的W像素值（w_d）来估计的R像素值被选择，就是说RonG(dirAD)=RonG(D)=(mR'/mG)g被选择，并且当dirA≤dirD时，使用通过应用上述图26（b）中所示的滤波器542计算的W像素值（w_a）来估计的R像素值被选择，就是说RonG(dirAD)=RonG(A)=(mR'/mW)(w_a)被选择。

通过这种方式，式（式22）是用于根据关于转换对象像素的倾斜方向的边缘方向信息，计算依据倾斜方向边缘的R像素值（RonG_hv）的计算式。

此外混和处理单元211根据下式（式23），对使用上述式（式21和22）计算的（RonG_hv）和（RonG_ad）执行混和处理，并且因此计算最终R像素值（RonG）。

RonG=(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad。

上述式（式23）是如下的式：根据在步骤S12中计算的纵向和横向方向边缘方向权重（wightHV），通过混和使用式21计算的依据纵向和横向方向边缘的R像素值（RonG_hv）和使用式22计算的依据倾斜方向边缘的R像素值（RonG_ad）来计算最终R像素值（RonG）。

如上文所述，纵向和横向方向边缘方向权重（wightHV）指示纵向和横向方向边缘相对倾斜方向边缘的强度，并且指示了，纵向和横向方向边缘方向权重（wightHV）的值越大，则纵向和横向方向边缘比倾斜方向边缘越强，并且纵向和横向方向边缘方向权重（wightHV）的值越小，则倾斜方向边缘比纵向和横向方向边缘越强。

因此，在式（式23）中，在其中纵向和横向方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值大的情况下，使用式21计算的依据纵向和横向方向边缘的R像素值（RonG_hv）的权重被设定为大。

此外，在其中倾斜方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值小的情况下，使用式22计算的依据倾斜方向边缘的R像素值（RonG_ad）的权重被设定为大。

通过这种方式，通过根据转换对象像素的边缘方向改变混和比率来确定最终R像素值（RonG）。

接下来，描述了在将RGBW布置中的G像素位置转换成B像素的处理中计算B像素值（BonG）的计算处理。

混和处理单元211首先根据下式（式31）和（式32）获得与纵向和横向方向边缘对应的转换像素值（BonG_hv）和与倾斜方向边缘对应的转换像素值（BonG_ad）。

BonG_hv=(1-weightFlat)·(BonG(dirHV))+(weightFlat)·(BonGn)…（式31）

BonG_ad=(BonG(dirAD))…（式32）

此外，根据下式（式33），对使用上述式（式31）和（式32）计算的（BonG_hv）和（BonG_ad）执行混和处理，并且因此计算最终B像素值（BonG）。

BonG=(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad  …（式33）

通过这种方式，在将RGBW布置中的G像素位置转换成B像素的情况下，执行计算B像素值（BonG）的计算处理。

式31至33与上述式21至23相同，就是说，与应用于将RGBW布置中的G像素位置转换成R像素时的计算R像素值（RonG）的计算处理的式相同，不同之处在于R被替换成B，并且除了R被替换成B之外，处理是相同的。

在式（式31）中，BonG(dirHV)和BonGn是上述第二像素内插参数计算单元（RBonGofHV）204计算的内插参数，并且是应用于将纵向或横向方向边缘上的G像素转换成B像素的处理的如下参数：BonG(H)=(mB'/mW)(w_h)，BonG(V)=(mB'/mW)(w_v)，BonGn=(mB'/mW)(w_n)。

在上述式（式32）中，BonG(dirAD)是上述第三像素内插参数计算单元（RBonGofAD）205计算的内插参数，并且是应用于将倾斜方向边缘上的G像素转换成R像素的处理的如下参数：

BonG(A)=(mB'/mW)(w_a)，BonG(D)=(mB'/mW)(w_d)。

上述式（式33）是如下的计算式：根据在步骤S12中计算的纵向和横向方向边缘方向权重（wightHV），通过混和使用式31计算的依据纵向和横向方向边缘的B像素值（BonG_hv）和使用式32计算的依据倾斜方向边缘的B像素值（BonG_ad）来计算最终B像素值（BonG）。

在式（式33）中，在其中纵向和横向方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值大的情况下，使用式31计算的依据纵向和横向方向边缘的B像素值（BonG_hv）的权重被设定为大。

此外，在其中倾斜方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值小的情况下，使用式32计算的依据倾斜方向边缘的B像素值（BonG_ad）的权重被设定为大。

通过这种方式，通过根据转换对象像素的边缘方向改变混和比率来确定最终B像素值（BonG）。

接下来，描述了在将RGBW布置中的B像素位置转换成R像素的处理中计算R像素值（RonB）的计算处理。

混和处理单元211首先根据下式（式41）和（式42）获得纵向和横向方向边缘对应的转换像素值（RonB_hv）和倾斜方向边缘对应的转换像素值（RonB_ad）。

RonB_hv=(1-weightFlat)·(RonB(dirHV))+(weightFlat)·(RonBn)…（式41）

RonB_ad=(RonB(dirAD))…（式42）

此外，根据下式（式43），对使用上述式（式41）和（式42）计算的（RonB_hv）和（RonB_ad）执行混和处理，并且因此计算最终R像素值（RonB）。

RonB=(weightHV)(RonB_hv)+(1-weightHV)RonB_ad  …（式43）

通过这种方式，在将RGBW布置中的B像素位置转换成R像素的情况下，执行计算R像素值（RonB）的计算处理。

式41至43是与上述式21至23相同的式，就是说，是与应用于将RGBW布置中的G像素位置转换成R像素时的计算R像素值（RonG）的计算处理的式相同的式，不同之处在于G被替换成B，并且除了G被替换成B之外，处理是相同的。

在上述式（式41）中，RonB(dirHV)和RonBn是上述第四像素内插参数计算单元（RBonRBofHV）207计算的内插参数，并且是应用于将纵向或横向方向边缘上的B像素转换成R像素的处理的如下参数：RonB(H)=(mR′/mW)(w_h)，RonB(V)=(mR'/mW)(w_v)，RonBn=(mR′/mW)(w_n)。

此外，在上述式（式42）中，RonB(dirAD)是第五像素内插参数计算单元（RBonRBofAD）208计算的内插参数，并且是应用于将倾斜方向边缘上的B像素转换成R像素的处理的如下参数。

当dirA≤dirD时，使用W像素值（w_a）估计的R像素值被选择，就是说RonB(dirAD)=RonB(A)=(mR'/mW)(w_a)被选择。此外，当dirA>dirD时，RonB(dirAD)=RonB(D)=(mR'/mG)g被选择。

上述式（式43）是如下的式：根据在步骤S12中计算的纵向和横向方向边缘方向权重（wightHV），通过混和使用式41计算的依据纵向和横向方向边缘的R像素值（RonB_hv）和使用式42计算的依据倾斜方向边缘的R像素值（RonB_ad）来计算最终R像素值（RonB）。

在式（式43）中，在其中纵向和横向方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值大的情况下，使用式41计算的依据纵向和横向方向边缘的R像素值（RonB_hv）的权重被设定为大。

此外，在其中倾斜方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值小的情况下，使用式42计算的依据倾斜方向边缘的R像素值（RonB_ad）的权重被设定为大。通过这种方式，通过根据转换对象像素的边缘方向改变混和比率来确定最终R像素值（RonB）。

接下来，描述了在将RGBW布置中的R像素位置转换成B像素的处理中计算B像素值（BonR）的计算处理。

混和处理单元211首先根据下式（式51）和（式52）获得纵向和横向方向边缘对应的转换像素值（BonR_hv）和倾斜方向边缘对应的转换像素值（BonR_ad）。

BonR_hv=(1-weightFlat)·(BonR(dirHV))+(weightFlat)·(BonRn)…（式51）

BonR_ad=(BonR(dirAD))…（式52）

此外，根据下式（式53），对使用上述式（式51）和（式52）计算的（BonR_hv）和（BonR_ad）执行混和处理，并且因此计算最终B像素值（BonR）。

BonR=(weightHV)(BonR_hv)+(1-weightHV)BonR_ad  …（式53）

通过这种方式，在将RGBW布置中的R像素位置转换成B像素的情况下，执行计算B像素值（BonR）的计算处理。

式51至53与上述式41至43相同，就是说，与应用于将RGBW布置中的B像素位置转换成R像素时的计算R像素值（RonB）的计算处理的式相同，不同之处在于R和B互换，并且除了R和B互换之外，处理是相同的。

在上述式（式51）中，BonR(dirHV)和BonRn是上述第四像素内插参数计算单元（RBonRBofHV）207计算的内插参数，并且是应用于将纵向或横向方向边缘上的R像素转换成B像素的处理的如下参数：

BonR(H)=(mB'/mW)(w_h)，

BonR(V)=(mB'/mW)(w_v)，

BonRn=(mB'/mW)(w_n)。

此外，在上述式（式52）中，BonR(dirAD)是第五像素内插参数计算单元（RBonRBofAD）208计算的内插参数，并且是应用于将倾斜方向边缘上的R像素转换成B像素的处理的如下参数。

当dirA≤dirD时，使用W像素值（w_a）估计的B像素值被选择，就是说BonR(dirAD)=BonR(A)=(mB'/mW)(w_a)被选择。

此外，当dirA>dirD时，BonR(dirAD)=BonR(D)=(mB'/mG)g被选择。

上述式（式53）是如下的式：根据在步骤S12中计算的纵向和横向方向边缘方向权重（wightHV），通过混和使用式51计算的依据纵向和横向方向边缘的B像素值（BonR_hv）和使用式52计算的依据倾斜方向边缘的B像素值（BonR_ad）来计算最终B像素值（BonR）。

在式（式53）中，在其中纵向和横向方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值大的情况下，使用式51计算的依据纵向和横向方向边缘的B像素值（BonR_hv）的权重被设定为大。

此外，在其中倾斜方向边缘强并且纵向和横向方向边缘方向权重（wightHV）的值小的情况下，使用式52计算的依据倾斜方向边缘的B像素值（BonR_ad）的权重被设定为大。

通过这种方式，通过根据转换对象像素的边缘方向改变混和比率来确定最终B像素值（BonR）。

如上文所述，混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数，此外输入边缘检测单元209检测的边缘信息和纹理检测单元210检测的纹理信息，并且因此计算最终转换像素值。就是说，确定将RGBW布置转换成RGB布置的处理中的如下转换像素值。

在将W像素位置转换成G像素（估计G像素值）时的G像素值（GonW）

在将G像素位置转换成R像素（估计R像素值）时的R像素值（RonG）

在将G像素位置转换成B像素（估计B像素值）时的B像素值（BonG）

在将B像素位置转换成R像素（估计R像素值）时的B像素值（RonB）

在将R像素位置转换成B像素（估计B像素值）时的R像素值（BonR）

确定这五个转换和补偿像素值。

混和处理单元211根据与转换对象像素对应的边缘信息，即边缘强度和边缘方向，确定第一至第五像素内插参数计算单元生成的像素内插参数的混和比率，并且因此计算最终像素值。用于计算每个像素值的式被如下共同示出。

GonW=(1-weightFlat)·(GonW(dirHV))+(weightFlat)·(GonWn(dirHV))

RonG=(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

BonG=(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad

RonB=(weightHV)·(RonB_hv)+(1-weightHV)RonB_ad

BonR=(weightHV)·(BonR_hv)+(1-weightHV)BonR_ad

[4.图像处理装置的数据转换处理单元执行的再马赛克处理的序列]

参照图33中所示的流程图描述图像处理装置的数据转换处理单元执行的再马赛克处理的序列。图33中所示的流程图是图示在图5中所示的图像处理装置中将RGBW布置转换成RGB布置的转换处理（即再马赛克处理的整个序列）的流程图。该流程图图示了上述所有处理的序列。此外，例如通过运行图5中所示的图像处理装置的控制单元140存储在存储器130中的程序并且控制每个处理单元，可以使得执行图33中所示的流程。

描述了图33中所示的流程图的每个步骤。

首先，在步骤S101中，通过应用RGBW布置中包括的W像素来确定边缘方向。

该处理是图6中所示的边缘检测单元209执行的处理。如上文所述，边缘检测单元209使用输入的RGBW布置的信号中的白色（W）信号来确定边缘方向和边缘强度。

边缘检测单元209通过执行边缘检测处理来计算与像素对应的边缘信息（dirH、dirV、dirA和dirD），并且将结果输出到混和处理单元211以及多个像素内插参数计算单元。

接下来，在步骤S102中，通过应用RGBW布置中包括的W像素来执行纹理检测处理。

该处理是图6中所示的纹理检测单元210执行的处理。如上文所述，纹理检测单元210使用输入的RGBW布置的信号中的白色（W）信号来计算与像素对应的纹理信息，即平坦度权重（weightFlat）。

weightFlat(x,y)=f_flat(W_TX(p))

f_flat(r)是例如图14中所示的线性近似函数，计算平坦度权重（weightFlat）并且将结果输出到混和处理单元211，该平坦度权重（weightFlat）被设定为r=0至Th 0->f_flat(r)=0，r=Th 0至Th 1->f_flat(r)=0至1.0（线性变化），r=等于或大于Th 1->f_flat(r)=1。

接下来，在步骤S103中，对输入像素单位的中心处的W像素执行噪声去除。

该处理是图6中所示的噪声去除单元201执行的处理。如上文所述，噪声去除单元201对输入像素单位的中心处的W像素执行噪声去除。

如上文参照图7所述，噪声去除单元201在其中通过应用双边滤波器将W像素设定到处理单位（7×7个像素的中心的5×5个像素）的中心的情况下，根据上述式（式1）计算例如噪声减少像素值I_NR(p)。计算的噪声减少W像素值（I_NR(p)）被输出到图6中所示的第一像素内插参数计算单元（GonW）202。

接下来，在步骤S104中，计算被应用于将RGBW布置中的W像素转换成G像素的内插参数。

该处理是如图6中所示的第一像素内插参数计算单元（GonW）202执行的处理。如上文所述，第一像素内插参数计算单元（GonW）202计算如下参数，作为应用于将RGBW布置中的W像素转换成G像素的内插参数。

W信号的低频成分mW（参照图15）

W信号的高频成分w（参照图16）

G信号的低频成分mG（参照图17）

接下来，在步骤S105中，根据R/W和B/W关联对G像素附近的W位置处的R和B进行内插。

该处理是如图6中所示的第一临时像素设定单元（RBonWaroundG）203执行的处理。

如上文参照图21所述，第一临时像素设定单元（RBonWaroundG）203估计关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值和B像素值。

可以如下估计图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃，R₃₄'）。

R₂₃'=(mR/mW)w₂₃，R₃₂'=(mR/mW)w₃₂，R₄₃'=(mR/mW)w₄₃，R₃₄'=(mR/mW)w₃₄。

此外，w₂₃、w₃₂、w₄₃和w₃₄是图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的W像素值。

同样地，可以如下估计图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的B像素值（B_xy'=B₂₃'，B₃₂'，B₄₃'，B₃₄'）。

B₂₃'=(mB/mW)w₂₃，B₃₂'=(mB/mW)w₃₂，B₄₃'=(mB/mW)w₄₃，B₃₄'=(mB/mW)w₃₄。

此外，w₂₃、w₃₂、w₄₃和w₃₄是图21中所示的、关于与7×7个像素的输入像素单位501的中心处的转换对象像素502的附近区域相邻的W像素位置的W像素值。

此外，以下是可能的：mW：输入像素单位的W信号的低频成分，w：输入像素单位的中心处的W像素的像素值，mR'：通过应用被设定到RB像素附近的W像素位置的临时R像素（R'）而计算的R信号的低频成分，以及mB'：通过应用被设定到RB像素附近的W像素位置的临时B像素（B'）而计算的B信号的低频成分。

接下来，在步骤S106中，使用R/W和B/W关联针对在纵向和横向方向上的G位置对R和B进行内插。

该处理是如图6中所示的第二像素内插参数计算单元（RBonGofHV）204执行的处理。第二像素内插参数计算单元（RBonGofHV）204执行如下计算处理：计算应用于将主要在纵向边缘或横向边缘上的G像素转换成R像素或B像素的处理的参数。

第二像素内插参数计算单元（RBonGofHV）204计算应用于将纵向边缘或横向边缘上的G像素转换成R像素或B像素的处理的参数，即

RonG(H)=(mR'/mW)(w_h)

RonG(V)=(mR'/mw)(w_v)

RonGn=(mR'/mW)(w_n)

BonG(H)=(mB'/mW)(w_h)

BonG(V)=(mB'/mW)(w_v)和

BonGn=(mB'/mW)(w_n)，

并且将这些参数输出到混和处理单元211。

此外，mR'：输入像素单位的R信号的补偿低频成分，mB'：输入像素单位的B信号的补偿低频成分，mW：输入像素单位的W信号的低频成分，如参照图22和23描述的，（w_h）、（w_v）和（w_n）是通过应用根据边缘方向选择的滤波器计算的、关于输入像素单位的中心处的像素位置的高频成分值。

接下来，在步骤S107a中，使用R/W和B/W关联针对具有右斜向上方向边缘的G位置对R和B进行内插。

该处理是如图6中所示的第三像素内插参数计算单元（RBonGofAD）205执行的处理。第三像素内插参数计算单元（RBonGofAD）205执行如下计算处理：计算应用于将倾斜边缘上的G像素转换成R像素或B像素的处理的参数。

第三像素内插参数计算单元（RBonGofAD）205计算应用于将具有右斜向上方向边缘的G像素转换成R像素或B像素的处理的参数，即RonG(A)=(mR'/mW)(w_a)和BonG(A)=(mB'/mW)(w_a)，并且将这些参数输出到混和处理单元211。

接下来，在步骤S107b中，使用R/W和B/W关联针对具有左斜向上方向边缘的G位置对R和B进行内插。

该处理是如图6中所示的第三像素内插参数计算单元（RBonGofAD）205执行的处理。第三像素内插参数计算单元（RBonGofAD）205执行如下计算处理：计算应用于将倾斜边缘上的G像素转换成R像素或B像素的处理的参数。

第三像素内插参数计算单元（RBonGofAD）205计算应用于将具有左斜向上方向边缘的G像素转换成R像素或B像素的处理的参数，即RonG(D)=(mR'/mG)g和BonG(D)=(mB'/mG)g，并且将这些参数输出到混和处理单元211。

接下来，在步骤S108中，使用R/W和B/W关联针对R和B像素附近的W位置对R和B进行内插。

该处理是如图6中所示的第二临时像素设定单元（RBonWaroundRB）206执行的处理。

接下来，如参照图28描述的，第二临时像素设定单元（RBonWaroundRB）206估计关于与7×7个像素的输入像素单位601的中心处的转换对象像素602的附近区域相邻的W像素位置的R像素值和B像素值。

如步骤S105中的处理那样计算关于与输入像素单位的中心处的转换对象像素的附近区域相邻的W像素位置的R像素值（R_xy'=R₂₃'，R₃₂'，R₄₃'，R₃₄'）和B像素值（B_xy'=B₂₃'，B₃₂'，B₄₃'，B₃₄'）。

接下来，在步骤S109中，使用R/W和B/W关联针对在纵向和横向方向上的R和B位置对R和B进行内插。该处理是如图6中所示的第四像素内插参数计算单元（RBonRBofHV）207执行的处理。第四像素内插参数计算单元（RBonRBofHV）207执行计算如下参数的计算处理，作为应用于将纵向或横向边缘上的R像素转换成B像素或者将B像素转换成R像素的处理的参数。

RonB(H)=(mR′/mW)(w_h)

RonB(V)=(mR′/mW)(w_v)

RonBn=(mR'/mW)(w_n)

BonR(H)=(mB'/mW)(w_h)

BonR(V)=(mB'/mW)(w_v)，以及

BonRn=(mB'/mW)(w_n)，计算这些参数并且将这些参数输出到混和处理单元211。

接下来，在步骤S110a中，使用R/W和B/W关联对具有右斜向上方向边缘的R和B位置处的R和B进行内插。

该处理是如图6中所示的第五像素内插参数计算单元（RBonRBofAD）208执行的处理。第五像素内插参数计算单元（RBonRBofAD）208执行如下计算处理：计算应用于将倾斜边缘上的R像素转换成经补偿的R像素或者将B像素转换成经补偿的B像素的处理的参数。

通过这种方式，第五像素内插参数计算单元（RBonRBofAD）208计算应用于将具有右斜向上方向边缘的R像素转换成经补偿的R像素或者将B像素转换成经补偿的B像素的处理的参数，即RonB(A)=(mR′/mW)(w_a)和BonR(A)=(mB'/mW)(w_a)，并且将这些参数输出到混和处理单元211。

接下来，在步骤S110b中，使用R/W和B/W关联针对具有左斜向上方向边缘的R和B位置对R和B进行内插。

该处理是如图6中所示的第五像素内插参数计算单元（RBonRBofAD）208执行的处理。第五像素内插参数计算单元（RBonRBofAD）208执行如下计算处理：计算应用于将倾斜边缘上的R像素转换成B像素或者将B像素转换成R像素的处理的参数。

第五像素内插参数计算单元（RBonRBofAD）208计算应用于将具有左斜向上方向边缘的R像素转换成经补偿的R像素或者将B像素转换成经补偿的B像素的处理的参数，即RonB(D)=(mR'/mG)g和BonR(D)=(mB'/mG)g，并且将这些参数输出到混和处理单元211。

接下来，在步骤S111中，通过根据边缘方向性质执行混和处理来确定对RGBW布置进行转换之后的配置RGB布置的RGB像素值。该处理是如图6中所示的混和处理单元211执行的处理。

混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数，此外输入边缘检测单元209检测的边缘信息和纹理检测单元210检测的纹理信息，并且因此计算最终转换像素值。

混和处理单元211根据与转换对象像素对应的边缘信息，即边缘强度和边缘方向，确定第一至第五像素内插参数计算单元生成的像素内插参数的混和比率，并且因此来计算最终像素值。该处理是参照图30和31中所示的流程描述的处理。用于计算每个转换像素值的计算式被如下共同示出：

GonW=(weightFlat)(mG/mW)w+(1-weightFlat)(k(mG/mW)(w-mW)+mG)

RonG=(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

BonG=(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad

RonB=(weightHV)·(RonB_hv)+(1-weightHV)RonB_ad

BonR=(weightHV)·(BonR_hv)+(1-weightHV)BonR_ad

通过这种方式，在根据本发明的图像处理装置中，每个内插参数计算单元根据与转换像素对应的边缘方向执行改变应用像素位置的内插处理，并且因此生成与补偿内插值对应的参数。此外，混和处理单元输入每个参数计算单元生成的参数以及边缘信息和纹理信息，并且通过根据与转换像素对应的边缘信息和纹理信息改变参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值。通过该处理，可以生成RGB布置数据，其使得可以生成具有少的假彩色的高质量彩色图像。

上文参照具体实施例描述了本发明。然而，显然本领域技术人员能够在不偏离本发明的主旨的范围内对实施例进行修改或替换。就是说，由于本发明作为被称作示例的实施例而被公开，因此不应以限制性的方式解释本发明。为了判断本发明的主旨，应考虑权利要求。

说明书通篇描述的处理序列可以由硬件、软件或者组合这两者的多种配置来执行。在其中通过软件执行处理的情况下，存储处理序列的程序可以安装在内建到计算机中的专用硬件中的存储器上，或者可以安装在能够运行多种处理的通用计算机中，以便运行该程序。例如，程序可以预先存储在可记录介质中。除了从可记录介质安装在计算机上的程序之外，在LAN（局域网）和如互联网的网络上接收程序并且可以将程序安装在诸如内建硬盘的可记录介质上。

此外，说明书中公开的各种处理不仅如所公开的那样依次执行，而且可以根据执行处理的设备的能力或者在需要时而并行地或单独地执行。此外，本说明书中的系统是多个设备的逻辑集合配置，并且每个配置中的设备不限于同一壳体内的一个设备。

工业适用性

如上文所述，在根据本发明的一个实施例的配置中，可以生成RGB布置数据，用于通过输入由具有例如包括白色（W：White）的RGBW型滤色器的成像元件（图像传感器）获得的获得数据来生成具有少的假彩色的高质量彩色图像。具体地，边缘检测单元解析具有RGBW布置的成像元件的输出信号，并且因此获得与每个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元通过执行转换与对应于转换像素的边缘方向对应的应用像素位置的内插处理，生成与内插像素值对应的参数。混和处理单元输入参数计算单元生成的参数、边缘信息和纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，改变参数计算单元计算的参数的混和比率，并确定转换像素值。通过这些处理，可以生成能够通过其生成具有少的假彩色的高质量彩色图像的RGB布置数据。

附图标记列表

100成像装置

105光学透镜

110成像元件（图像传感器）

120信号处理单元

130存储器

140控制单元

181RGBW布置

182RGB布置

183彩色图像

200数据转换处理单元

201噪声去除单元

202第一像素内插参数计算单元（GonW）

203第一临时像素设定单元（RBonWaroundG）

204第二像素内插参数计算单元（RBonGofHV）

205第三像素内插参数计算单元（RBonGofAD）

206第二临时像素设定单元（RBonWaroundRB）

207第四像素内插参数计算单元（RBonRBofHV）

208第五像素内插参数计算单元（RBonRBofAD）

209边缘检测单元

210纹理检测单元

211混和处理单元

Claims (17)

1.一种图像处理装置，包括：

数据转换处理单元，其通过解析二维像素布置信号来执行像素转换，在所述二维像素布置信号中作为亮度信号的主要成分的像素被布置成网状状态，并且作为颜色信息成分的多个颜色的像素被布置在剩余区域中，

其中所述数据转换处理单元包括参数计算单元，所述参数计算单元通过解析所述二维像素布置信号来计算应用到像素转换处理的参数，并且所述参数计算单元在应用到像素转换处理的参数的计算处理中，使用第一关联信息和第二关联信息中的至少一个来执行计算所述参数的计算处理，所述第一关联信息关于作为所述二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而所述第二关联信息关于从颜色信息成分中选择的一个选择颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

2.根据权利要求1所述的图像处理装置，

其中所述参数计算单元使用关于所述颜色信息成分中具有最高分布比率的颜色信息成分和转换之后的像素的颜色信息成分之间的关联的关联信息，作为所述第二关联信息。

3.根据权利要求1或2所述的图像处理装置，

其中所述数据转换处理单元包括边缘检测单元，所述边缘检测单元通过解析所述二维像素布置信号来生成边缘信息，以及

所述参数计算单元根据所述边缘检测单元检测的边缘方向，通过有选择地使用所述第一关联信息和所述第二关联信息中的任一个，执行计算所述参数的计算处理。

4.根据权利要求3所述的图像处理装置，

其中所述亮度信号的主要成分的颜色是白色，并且分布比率最高的颜色信息成分是绿色，以及

所述参数计算单元在计算应用到像素转换处理的参数的计算处理中，根据所述边缘检测单元检测的边缘方向，获取关于白色和转换之后的像素的颜色信息成分之间的关联的第一关联信息以及关于绿色和转换之后的像素的颜色信息成分之间的关联的第二关联信息中的任一个，使用所获取的关联信息执行计算所述参数的计算处理。

5.根据权利要求3或4所述的图像处理装置，

其中所述数据转换处理单元包括：

纹理检测单元，其通过解析所述二维像素布置信号来生成纹理信息，以及

混和处理单元，其输入所述参数计算单元计算的参数、所述边缘信息和所述纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变所述参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值。

6.根据权利要求5所述的图像处理装置，

其中所述边缘检测单元通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号，生成与每个像素对应的包括强度信息和边缘方向的边缘信息，

所述纹理检测单元通过解析所述RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息，

所述参数计算单元是计算用于将RGBW布置转换成RGB布置的参数的参数计算单元，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数，以及

所述混和处理单元输入所述参数计算单元计算的参数、所述边缘信息和所述纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变所述参数计算单元计算的参数的混和比率，通过执行混和处理来执行确定转换像素值的处理。

7.根据权利要求6所述的图像处理装置，

其中所述参数计算单元具有通过将应用到内插处理的像素位置定义为沿边缘方向的像素位置的内插处理来生成参数的配置。

8.根据权利要求6或7所述的图像处理装置，

其中所述参数计算单元具有如下配置：其通过使用配置RGBW布置的W像素和其他RGB像素之间的局部区域中的关联或者配置RGBW布置的G像素和其他RGB像素之间的局部区域中的关联中的任一个的内插处理来生成参数。

9.根据权利要求6至8中任一项所述的图像处理装置，

其中所述图像处理装置进一步包括临时像素设定单元，所述临时像素设定单元通过使用配置RGBW布置的W像素和其他RGB像素之间的局部区域中的关联的内插处理，针对W像素位置设定RGB中的任意的像素的像素值，以及

所述参数计算单元具有通过应用临时像素设定数据的内插处理来生成参数的配置。

10.根据权利要求6至9中任一项所述的图像处理装置，

其中所述参数计算单元根据所述边缘检测单元检测的4类边缘方向，即纵向、横向、左斜向上和右斜向上，选择使用关于配置RGBW布置的W像素和转换之后的像素的颜色信息成分之间的关联的第一关联信息以及关于配置RGBW布置的G像素和转换之后的像素的颜色信息成分之间的关联的第二关联信息中的哪一个。

11.根据权利要求10所述的图像处理装置，

其中所述参数计算单元通过将参考像素位置设定为沿边缘方向的像素位置并且使用所述第一关联信息和所述第二关联信息来生成多个应用到像素转换处理的参数，以及

所述混和处理单元通过执行4类边缘方向，即纵向、横向、左斜向上和右斜向上的强度比较，根据比较结果执行改变所述多个参数的混和比率的混和处理。

12.根据权利要求11所述的图像处理装置，

其中所述混和处理单元执行如下混和处理：计算与转换像素对应的纵向和横向方向边缘以及倾斜方向边缘的边缘方向比率（ratioFlat），额外地基于所述边缘方向比率（ratioFlat）计算纵向和横向方向边缘方向权重（weightHV），其中所述纵向和横向方向边缘方向权重（weightHV）指示其值越大，则纵向和横向方向边缘比倾斜方向边缘越强，并且其值越小，则倾斜方向边缘比纵向和横向方向边缘越强，

在其中与转换像素对应的纵向和横向方向边缘比倾斜方向边缘强的情况下，通过将边缘方向设定为纵向或横向方向来增加所计算的参数的混和比率，以及

在其中与转换像素对应的纵向和横向方向边缘比倾斜方向边缘弱的情况下，通过将边缘方向设定为倾斜方向来增加所计算的参数的混和比率。

13.根据权利要求6至12中任一项所述的图像处理装置，

其中所述纹理检测单元计算与每个像素对应的平坦度权重（weightFlat）作为纹理信息，该平坦度权重（weightFlat）对于纹理数量少并且平坦度高的像素区域指示较高值，并且对于纹理数量多并且平坦度低的像素区域指示较低值，

所述参数计算单元计算用于对内插像素值执行对比度增强处理的对比度增强处理适用参数，以及用于不对内插像素值执行对比度增强处理的对比度增强处理不适用参数，以及

所述混和处理单元执行如下混和处理：对于平坦度权重大的像素，将所述对比度增强处理不适用参数的混和比率设定为高，并且对于平坦度权重小的像素，将所述对比度增强处理适用参数的混和比率设定为高。

14.根据权利要求3至13中任一项所述的图像处理装置，

其中所述边缘检测单元具有如下配置：其通过仅使用所述RGBW布置信号的白色（W）像素的解析处理来生成与每个像素对应的边缘信息，并且通过计算处理对象像素附近的W像素的信号值梯度来生成与每个像素对应的包括边缘方向和强度信息的边缘信息。

15.根据权利要求5至14中任一项所述的图像处理装置，

其中所述纹理检测单元通过仅使用所述RGBW布置信号的白色（W）像素的解析处理，来生成指示与每个像素对应的纹理程度的纹理信息。

16.一种在图像处理装置中执行图像信号处理的图像处理方法，包括：

边缘检测步骤，使得边缘检测单元能够通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号来生成与每个像素对应的包括边缘方向和强度信息的边缘信息；

纹理检测步骤，使得纹理检测单元能够通过解析所述RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息；

参数计算步骤，其是如下参数计算步骤：使得参数计算单元能够计算用于将RGBW布置转换成RGB布置的参数，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数；以及

混和处理步骤，使得混和处理单元能够输入所述参数计算单元计算的参数以及所述边缘信息和所述纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变所述参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值，

其中所述参数计算步骤在计算应用到像素转换处理的参数的计算处理中，执行使用第一关联信息和第二关联信息中的至少任一个来计算所述参数的计算处理，所述第一关联信息关于作为所述二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而所述第二关联信息关于所述颜色信息成分中的分布比率最高的颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

17.一种用于使得在图像处理装置中执行图像信号处理的程序，所述图像信号处理包括：

边缘检测步骤，使得边缘检测单元能够通过解析根据RGB像素和白色（W）像素生成的RGBW布置信号来生成与每个像素对应的包括边缘方向和强度信息的边缘信息；

纹理检测步骤，使得纹理检测单元能够通过解析所述RGBW布置信号来生成指示与每个像素对应的纹理程度的纹理信息；

参数计算步骤，其是如下参数计算步骤：使得参数计算单元能够计算用于将RGBW布置转换成RGB布置的参数，并且根据与转换像素对应的边缘方向生成与通过改变应用像素位置的内插处理计算的内插像素值对应的参数；以及

混和处理步骤，使得混和处理单元能够输入所述参数计算单元计算的参数、所述边缘信息和所述纹理信息，并且根据与转换像素对应的边缘信息和纹理信息，通过改变所述参数计算单元计算的参数的混和比率，通过执行混和处理来确定转换像素值，

其中使所述参数计算步骤在计算应用到像素转换处理的参数的计算中，执行使用第一关联信息和第二关联信息中的至少任一个来计算所述参数的计算处理，所述第一关联信息关于作为所述二维像素布置信号中包括的亮度信号的主要成分的像素和转换之后的像素的颜色信息成分之间的关联，而所述第二关联信息关于所述颜色信息成分中的分布比率最高的颜色信息成分和转换之后的像素的颜色信息成分之间的关联。

Images