CN102273208B

CN102273208B - 图像处理设备和图像处理方法

Info

Publication number: CN102273208B
Application number: CN201080003488.3A
Authority: CN
Inventors: 斋藤泰; 广田功
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-10-20
Filing date: 2010-08-19
Publication date: 2014-08-20
Anticipated expiration: 2030-08-19
Also published as: WO2011048870A1; EP2352301A1; US20140240567A1; JP5454075B2; EP2352301B1; JP2011091483A; US20120257821A1; CN102273208A; US9609291B2; US8755640B2; EP2352301A4; KR20120081018A; KR101633946B1

Abstract

本发明提供了一种根据具有RGBW模式的图像获取元件的图像获取信号生成RGB模式数据的设备及方法。边缘检测单元对RGBW模式的图像获取元件的输出信号进行分析，以获得与各个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行根据转换目标像素的边缘方向而改变所应用的像素位置的内插处理，以生成与内插像素值等同的参数。在混和处理单元中，输入参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息，改变参数计算单元算出的参数的混和比率，执行混和处理，并且确定转换像素值。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、图像处理方法及程序。特别地，一种对具有RGBW模式的图像获取元件的输出执行信号处理的图像处理设备、图像处理方法以及程序。

背景技术

例如在图像获取设备中使用的图像获取元件(图像传感器)具有如下结构：其中，透射特定波长分量的光(R、G和B)的滤色器以各个像素为单位固定到元件前表面上。例如，利用具有图1(a)中示出的RGB模式的滤波器。在使用图像获取元件的输出信号的彩色图像生成处理中，执行通过多个像素的集合来重构必要的颜色分量的处理。对于滤色器的色彩模式存在多种类型，但是通常利用由仅透射红(R)、绿(G)以及蓝(B)的特定波长光的三种类型的滤波器构成的、图1(a)中示出的拜耳模式。

近年来，图像获取元件(图像传感器)中的像素的小型化得到了发展，并且伴随于此，出现了如下问题：各个像素上的入射光的量减小，并且S/N比率劣化。为了解决该问题，如图1(b)所示，提出了如下图像传感器(图像获取元件)：除了仅透射特定波长光(诸如RGB)的滤波器之外，其还具有广泛地透射可见光范围中的光的白(W：White)。图1(b)示出了具有RGBW模式的滤波器的示例。图1(b)中示出的RGBW模式中的W像素是广泛地透射可见光范围中的光的滤波器。

例如，在专利文献1(美国专利第2007/0024879号)和专利文献2(美国专利第2007/0024934号)中公开了安装有具有白(W：White)像素的滤色器的这种图像获取元件。

通过使用具有图1(b)中示出的包括白(W：White)像素的滤色器的图像获取元件(图像传感器)，增大了滤波器的透光因子，并且可以实现较高的灵敏度。

然而，作为RGBW类型元件的问题点，存在以下问题点。

图1(a)中示出的RGB模式或者图1(b)中示出的RGBW模式是R、G、B以及W中任意的滤波器以马赛克方式排列的一片元件，即，单个图像传感器。因此，当生成彩色图像时，需要用作用于生成与各个像素对应的RGB像素值的彩色编码的去马赛克处理。

在图1(b)中示出的RGBW模式中，与图1(a)中示出的RGB模式相比，R、G以及B分量的采样速率降低。结果，在彩色图像生成处理时，在使用具有图1(b)中示出的RGBW模式的元件的获得数据的情况下，与图1(a)中示出的RGB模式相比，出现了易于产生假彩色的问题。另外，由于白(W)的波长分量包括R、G以及B的所有波长分量，因此当使用具有较大色差的光学透镜时，与具有单个颜色分量的光学透镜相比，对于RGB波长分量的集光率下降，并且还出现了引起分辨率降低的问题。随着像素小型化的发展，该问题点变得愈加突出。

作为用于防止分辨率由于光学透镜的色差而下降的技术，通过组合不同折射率的透镜来抑制色差的产生是有效的，但是在该情况下，出现了成本随着光学透镜的数量增加而增加的新问题。此外，对于这样的配置，还出现了如下问题：由于对于上述RGB分量的采样速率的下降而导致的假彩色问题变得更加突出。

另外，由于单个图像传感器的各个像素仅具有关于信号颜色分量的信息，因此执行获得与所有像素对应的RGB像素值的去马赛克处理，以从离散地获得的R、G、B以及W信号获得彩色图像。在该去马赛克处理时，执行内插处理，同时假设在局部区域中颜色比率基本保持恒定并且存在较强的颜色相关性。具体地，当计算某一像素的特定颜色的像素值时，广泛地采用使用周围像素值的内插方法。关于该方法，例如，在专利文献3(日本未审查专利申请公布第2009-17544号)中进行了描述。然而，在边缘附近，上述假设(即，在局部区域中颜色比率保持基本恒定并且存在较强的颜色相关性)不成立。结果，出现了在边缘附近易于产生假颜色的问题。

引用列表

专利文献

PTL 1：美国专利第2007/0024879号

PTL 2：美国专利第2007/0024934号

PTL 3：日本未审查专利申请公布第2009-17544号

发明内容

技术问题

本发明的目的是提供一种图像处理设备、图像处理方法以及程序，通过该图像处理设备、图像处理方法以及程序，在应用具有例如包括白(W：White)的RGBW类型滤色器的图像获取元件(图像传感器)的获得数据的彩色图像生成处理中，实现了生成具有较少假彩色的高质量彩色图像。

问题的解决方案

本发明的第一方面在于一种包括数据转换处理单元的图像处理设备，该数据转换处理单元通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式(checkered)方式布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中。

此外，在根据本发明的图像处理设备的实施例中，作为亮度信号的主分量的颜色是白色或绿色。

此外，在根据本发明的图像处理设备的实施例中，数据转换处理单元包括：边缘检测单元，其通过对二维像素阵列信号进行分析来生成边缘信息；纹理检测单元，其通过对二维像素阵列信号进行分析来生成纹理信息；参数计算单元，其通过对二维像素阵列信号进行分析来计算应用于像素转换处理的参数；以及混和处理单元，其输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。

此外，在根据本发明的图像处理设备的实施例中，设置有：

边缘检测单元，其通过对由RGB像素和白(W)像素构成的RGBW模式信号进行分析，来生成包括与各个像素对应的边缘方向和强度信息的边缘信息；

纹理检测单元，其通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；

参数计算单元，其计算用于将RGBW模式转换为RGB模式的参数，并且生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及

混和处理单元，其输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。

此外，在根据本发明的图像处理设备的实施例中，参数计算单元具有通过内插处理生成参数的配置，在该内插处理中，应用于内插处理的像素位置被设置为沿边缘方向的像素位置。

此外，在根据本发明的图像处理设备的实施例中，参数计算单元具有通过内插处理生成参数的配置，该内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性。

此外，在根据本发明的图像处理设备的实施例中，图像处理设备还包括临时像素设置单元，其通过内插处理对于W像素位置设置RGB像素之一的像素值，该内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性，并且参数计算单元具有通过应用临时像素设置数据的内插处理来生成参数的配置。

此外，在根据本发明的图像处理设备的实施例中，参数计算单元生成与通过内插处理算出的内插像素值等同的多个参数，在该内插处理中，根据作为垂直、水平、左斜上以及右斜上四种类型的边缘方向的边缘方向，将所应用的像素位置设置在沿边缘方向的像素位置，并且混和处理单元在垂直、水平、左斜上以及右斜上四种类型的边缘方向当中执行强度比较，并且执行根据比较结果来改变多个参数的混和比率的混和处理。

此外，在根据本发明的图像处理设备的实施例中，混和处理单元计算与转换像素对应的垂直水平方向边缘和对角线方向边缘的边缘方向比率(ratioFlat)，并且还基于边缘方向比率(ratioFlat)计算垂直水平方向边缘方向权重(weightHV)，当值较大时，该垂直水平方向边缘方向权重(weightHV)表示垂直水平方向边缘比对角线方向边缘更强，而当值较小时，其表示对角线方向边缘比垂直水平方向边缘更强，并且在与转换像素对应的垂直水平方向边缘比对角线方向边缘更强的情况下，通过增加在边缘方向被设置为垂直或水平方向时算出的参数的混和比率来执行混和处理，而在与转换像素对应的垂直水平方向边缘比对角线方向边缘更弱的情况下，通过增加在边缘方向被设置为对角线方向时算出的参数的混和比率来执行混和处理。

此外，在根据本发明的图像处理设备的实施例中，纹理检测单元计算与各个像素对应的平坦度权重(weightFlat)作为纹理信息，对于具有小纹理和高平坦度的像素区域，该平坦度权重(weightFlat)表示高值，而对于具有大纹理和低平坦度的像素区域，其表示低值，参数计算单元计算对内插像素值执行对比度强调处理的、对比度强调处理可适用参数、以及不对内插像素值执行对比度强调处理的、对比度强调处理非适用参数，并且混和处理单元通过对于具有大平坦度权重的像素将对比度强调处理非适用参数的混和比率设置得较大而对于具有小平坦度权重的像素将对比度强调处理可适用参数的混和比率设置得较大，来执行混和处理。

此外，在根据本发明的图像处理设备的实施例中，边缘检测单元具有通过仅利用RGBW模式信号的白(W)像素的分析处理，生成与各个像素对应的边缘信息的配置，并且通过计算处理目标像素附近的W像素的信号值梯度，生成包括与各个像素对应的边缘方向和强度信息的边缘信息。

此外，在根据本发明的图像处理设备的实施例中，纹理检测单元通过仅利用RGBW模式信号的白(W)像素的分析处理，生成表示与各个像素对应的纹理比率的纹理信息。

此外，本发明的第二方面在于一种在图像处理设备中执行图像信号处理的图像处理方法，该图像处理方法包括：

边缘检测步骤，其利用边缘检测单元，通过对由RGB像素和白(W)像素构成的RGBW模式信号进行分析，来生成包括与各个像素对应的边缘方向和强度信息的边缘信息；

纹理检测步骤，其利用纹理检测单元，通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；

参数计算步骤，其利用参数计算单元，生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置，该参数计算单元是计算用于将RGBW模式转换为RGB模式的参数的参数计算单元；以及

混和处理步骤，其利用混和处理单元，输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。

此外，本发明的第三方面在于一种用于使图像处理设备执行图像信号处理的程序，该程序包括：

边缘检测步骤，其使边缘检测单元通过对由RGB像素和白(W)像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；

纹理检测步骤，其使纹理检测单元通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；

参数计算步骤，其使参数计算单元计算用于将RGBW模式转换为RGB模式的参数并且生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及

混和处理步骤，其使混和处理单元输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。

应注意，本发明的程序是例如可以通过以计算机可读方式设置于能够执行各种程序代码的图像处理设备和计算机系统的存储介质或通信介质来提供的程序。通过以计算机可读方式提供这样的程序，在图像处理设备或计算机系统上实现了根据该程序的处理。

从基于以下将描述的本发明的实施例和附图的更详细描述中，本发明另外的目的、特征以及优点将变得明显。应注意，本说明书中的系统是多个设备的逻辑集合配置，并且各个配置的设备不限于同一外壳中的设备。

发明的有利效果

根据本发明的实施例的配置，可以通过输入包括白(W：White)的、例如具有RGBW类型滤色器的图像获取元件(图像传感器)的获得数据，生成用于生成具有较少假彩色的高质量彩色图像的RGB模式数据。具体地，边缘检测单元对RGBW模式的图像获取元件的输出信号进行分析，以获得与各个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行内插处理以生成与内插像素值等同的参数，在该内插处理中，根据转换像素的边缘方向来改变所应用的像素位置。在混和处理单元中，输入参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，执行混合处理，并且确定转换像素值。通过这些处理，可以生成RGB模式数据，用于生成具有较少假彩色的高质量彩色图像。

附图说明

图1是用于描述作为在一般的滤色器中使用的颜色模式的拜耳模式和本发明中所应用的RGBW模式的示例的说明图。

图2是用于描述作为根据本发明的实施例的处理的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克(remosaic)处理的说明图。

图3是用于描述根据本发明的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克处理的各个处理的说明图。

图4是用于描述根据本发明的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克处理的各个处理的说明图。

图5是用于描述与根据本发明的实施例的图像处理设备有关的图像获取设备的配置示例的说明图。

图6是用于描述数据转换处理单元的配置和处理的说明图。

图7是用于描述图6中示出的噪声去除单元201执行的处理的说明图。

图8是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。

图9是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。

图10是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。

图11是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。

图12是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。

图13是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。

图14是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。

图15是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图16是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图17是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图18是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图19是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图20是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图21是用于描述图6中示出的第一像素内插参数计算单元(GonW)202执行的处理的说明图。

图22是用于描述图6中示出的第一临时像素设置单元(RBonWaroundG)203执行的处理的说明图。

图23是用于描述图6中示出的第一临时像素设置单元(RBonWaroundG)203执行的处理的说明图。

图24是用于描述图6中示出的第二像素内插参数计算单元(RBonGofHV)204执行的处理的说明图。

图25是用于描述图6中示出的第二像素内插参数计算单元(RBonGofHV)204执行的处理的说明图。

图26是用于描述图6中示出的第三像素内插参数计算单元(RBonGofAD)205执行的处理的说明图。

图27是用于描述图6中示出的第二临时像素设置单元(RBonWaroundRB)206执行的处理的说明图。

图28是用于描述图6中示出的第二临时像素设置单元(RBonWaroundRB)206执行的处理的说明图。

图29是用于描述图6中示出的第四像素内插参数计算单元(RBonRBofHV)207执行的处理的说明图。

图30是用于描述图6中示出的第四像素内插参数计算单元(RBonRBofHV)207执行的处理的说明图。

图31是用于描述图6中示出的第五像素内插参数计算单元(RBonRBofAD)208执行的处理的说明图。

图32是用于描述图6中示出的混和处理单元211执行的处理的说明图。

图33是用于描述图6中示出的混和处理单元211执行的处理的说明图。

图34是用于描述图6中示出的混和处理单元211执行的处理的说明图。

图35是用于描述图6中示出的数据转换处理单元200执行的处理序列的流程图。

具体实施方式

在下文中，参照附图，将描述根据本发明的图像处理设备、图像处理方法以及程序。将按以下顺序进行描述。

1.关于根据本发明的处理的概述

2.关于图像获取设备和图像处理设备的配置示例和处理示例

3.关于数据转换处理单元的处理的细节

3-1.关于噪声去除单元的处理

3-2.关于边缘检测单元的处理

3-3.关于纹理检测单元的处理

3-4.关于像素内插参数计算单元的处理

3-5.关于混和处理单元的处理

4.图像处理设备的数据转换处理单元执行的重排马赛克处理序列

[1.关于根据本发明的处理的概述]

首先，参照图2，将描述根据本发明的诸如图像获取设备的图像处理设备执行的处理的概述。根据本发明的图像处理设备对图像获取元件(图像传感器)的获得数据执行处理，其中，该图像获取元件除了选择性地透射各个RGB颜色的波长光的RGB滤波器之外，还具有透射包括白(W：White)的全部各个RGB波长光的RGBW类型滤色器。具体地，通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式布置，并且作为颜色信息分量的多种颜色的像素布置在剩余部分中。应注意，作为亮度信号的主分量的颜色是白色或绿色。

根据本发明的图像处理设备执行被应用于如下处理的参数的计算处理：该处理将具有图2(1)中示出的、例如包括白(W：White)的RGBW类型滤色器的图像获取元件(图像传感器)的获得数据转换为图2(2)中示出的RGB模式(例如，拜耳模式)。此外，在该转换处理时，还执行减少生成假彩色的处理。

如图2所示，执行将以RGBW颜色模式设置的各个RGBW像素的至少一部分转换或校正成另一颜色(RGB之一)的处理。具体地，在从RGBW模式到RGB拜耳模式的转换处理中，执行以下五个转换和校正处理。

(a)将W像素位置转换为G像素(估计G像素值)＝(GonW)

(b)将G像素位置转换为R像素(估计R像素值)＝(RonG)

(c)将G像素位置转换为B像素(估计B像素值)＝(BonG)

(d)将R像素位置转换为R像素(校正R像素值)＝(RonR)

(e)将B像素位置转换为B像素(校正B像素值)＝(BonB)

执行上述各个转换处理(a)至(e)作为将RGBW模式的各个RGBW像素转换成RGB模式的RGB像素的像素值估计或校正处理。通过执行这些处理，从图2(1)中示出的RGBW颜色模式生成图2(2)中示出的RGB模式。

在下文中，这样的颜色模式转换处理将被称为重排马赛克处理。

在以下实施例中，将描述如下配置：其中，执行将具有白(W)的RGBW类型颜色模式转换为RGB类型颜色模式(拜耳模式)的重排马赛克处理，并且在该重排马赛克处理时还执行减少生成假彩色的处理。

对于根据本发明的图像处理设备中的像素转换处理，在将n×n像素的矩形像素区域设置为输入像素单位的情况下执行转换处理。即，为了确定n×n像素的中心处的一个像素的转换像素值，利用n×n像素的矩形像素区域的像素信息。具体地，例如，以图像的5×5像素(宽度为5个像素并且高度为5个像素)为单位或7×7像素(宽度为7个像素并且高度为7个像素)为单位执行处理。例如，在处理单位设置为5×5像素时执行处理的情况下，图像处理设备以5×5像素为单位输入像素信息，并且使用5×5像素的像素信息来确定中心像素的转换像素值。5×5像素的中心像素是RGBW中任意的像素，并且按照上述转换模式(a)至(e)对这些RGBW进行转换。

在以下描述中，被设置作为像素转换处理的单位的n×n像素的矩形像素被称作“输入像素单位”，并且给出了描述。处理(a)是上述转换模式(a)至(e)之一，即，

(a)将W像素位置转换为G像素(估计G像素值)＝(GonW)。

在执行该转换处理的情况下，作为输入像素单位的5×5像素的像素模式包括图3中示出的四种不同的模式(a1)至(a4)。

在图3中，(a1)至(a4)示出了输入像素单位(处理单位)，其中，W像素在5×5像素的中心位置。左侧是输入像素单位，而右侧是成为最终处理结果的RGB模式数据。

5×5像素的中心位置是W像素的输入包括图3(a1)至3(a4)中示出的四种不同的模式。在输入模式之一中的5×5像素的情况下，执行如下处理：

(a)将W像素位置转换为G像素(估计G像素值)＝(GonW)。

应注意，图3(a1)至3(a4)的右侧表示最终改变结果，而对于在图3(a1)至3(a4)的左侧示出的输入像素单位，仅执行将中心像素W转换为G像素的处理。此后，在每次移动一个处理单位的情况下，执行转换处理(上述处理(a)至(e)之一)，并且获得在图3(a1)至3(a4)的右侧示出的最终改变结果。

另外，上述(a)至(e)的转换模式的处理(b)至(e)是，即，

(b)将G像素位置转换为R像素(估计R像素值)＝(RonG)

(c)将G像素位置转换为B像素(估计B像素值)＝(BonG)

(d)将R像素位置转换为R像素(校正R像素值)＝(RonR)

(e)将B像素位置转换为B像素(校正B像素值)＝(BonB)

在执行这些转换处理的情况下，输入像素单位(处理单位)和转换处理的最终输出之间的关系如图4(b)至4(e)所示。

[2.关于图像获取设备和图像处理设备的配置示例和处理示例]

参照图5和图6，将描述根据本发明的实施例的图像获取设备和图像处理设备的配置示例和处理示例。

图5示出了根据本发明的实施例的图像获取设备100的配置示例。图像获取设备100具有光学透镜105、图像获取元件(图像传感器)110、信号处理单元120、存储器130以及控制单元140。应注意，图像获取设备是图像处理设备的一种模式。图像处理设备还包括诸如例如PC(个人计算机)的设备。诸如PC的图像处理设备没有图3中示出的图像获取设备100的光学透镜105和图像获取元件110，而是由其它部件来配置，并且具有包括用于图像获取元件100的获得数据的输入单元或存储单元的配置。具体地，图像获取设备100是照相机、摄像机等，并且图像处理设备100包括能够执行图像处理的、诸如PC的信息处理设备。

在下文中，将描述图像获取设备100作为根据本发明的图像处理设备的代表性示例。图5中示出的图像获取设备100的图像获取元件(图像传感器)110具有设置有滤波器的配置，该滤波器具有参照图1(b)或图2(1)描述的、包括白(W)的RGBW模式181。具体地，通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中。应注意，作为亮度信号的主分量的颜色是白色或绿色。

图像获取元件(图像传感器)110是设置有具有如下这四种类型的谱特性的滤波器的图像获取元件：

透射红色附近的波长的红(R)，

透射绿色附近的波长的绿(G)，

透射蓝色附近的波长的蓝(B)，以及

除了这些之外，

透射全部RGB的白(W)。

具有该RGBW模式181滤波器的图像获取元件110以各个像素为单位、经由光学透镜105接收RGBW的任何光，并且通过光电转换生成与所接收的光信号强度对应的电信号以输出。通过该图像获取元件110获得包括四种类型的RGBW谱的马赛克图像。

图像获取元件(图像传感器)110的输出信号被输入到信号处理单元120的数据转换处理单元200。

如之前参照图2所述，数据转换处理单元200执行从RGBW模式181到RGB模式182的转换处理。在该转换处理时，如上所述，执行如下这五种转换和校正处理：

将W像素位置转换为G像素(估计G像素值)＝(GonW)

将G像素位置转换为R像素(估计R像素值)＝(RonG)

将G像素位置转换为B像素(估计B像素值)＝(BonG)

将R像素位置转换为R像素(校正R像素值)＝(RonR)

将B像素位置转换为B像素(校正B像素值)＝(BonB)

在该转换/校正处理时，还执行抑制假彩色的处理。

数据转换处理单元200生成的RGB模式182(即，具有拜耳模式的数据)是具有图像获取元件(诸如传统摄像装置)获得的颜色模式的数据。该颜色阵列数据被输入到RGB信号处理单元250。

RGB信号处理单元250执行与设置于传统摄像装置等的信号处理单元类似的处理。具体地，通过执行去马赛克处理、白平衡调整处理、γ校正处理等，生成彩色图像183。生成的彩色图像183被记录在存储器130中。

控制单元140对一系列这些处理执行控制。例如，用于执行该系列处理的程序存储在存储器130中，并且控制单元140通过执行从存储器130读出的程序而执行该系列处理。

将参照图6描述数据转换处理单元200的详细配置。数据转换处理单元200执行从RGBW颜色模式到RGB模式182的转换处理。此外，在该处理时，还执行抑制假彩色的处理。

如图6所示，数据转换处理单元200具有噪声去除单元201、第一至第五像素内插参数计算单元202至208、边缘检测单元209、纹理检测单元210以及混和处理单元211。数据转换处理单元200以n×n像素为处理单位顺序地输入来自作为处理图像的RGBW模式181的像素值，并且确定n×n像素的中心处的像素的转换像素值以输出。当完成所有像素的转换处理时，完成RGB模式182，并且将其提供到图5中示出的RGB信号处理单元250。

噪声去除单元201对位于输入像素单位的中心处的W像素执行噪声去除。

第一像素内插参数计算单元(GonW)202执行被应用于将W像素转换为G像素的处理的参数的计算处理。

第一临时像素设置单元(RBonWaroundG)203执行将G像素周围的W像素转换为R或B像素的临时像素(R’)或(B’)的处理，作为将与G像素相邻的W像素位置转换为R像素或B像素的处理的在前处理。

第二像素内插参数计算单元(RBonGofHV)204计算与垂直或水平边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

第三像素内插计算单元(RBonGofAD)205计算与对角线边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

第二临时像素设置单元(RBonWaroundRB)206执行将R或B像素周围的W像素转换为R或B像素的临时像素(R’)或(B’)的处理，作为将与R像素或B像素相邻的W像素位置转换为R像素或B像素的处理的在前处理。

第四像素内插参数计算单元(RBonRBofHV)207计算与垂直或水平边缘对应的参数，作为被应用于将R像素转换为R像素或者将B像素转换为B像素的处理的参数。

第五像素内插参数计算单元(RBonRBofAD)208计算与对角线边缘对应的参数，作为被应用于将R像素转换为R像素或者将B像素转换为B像素的处理的参数。

边缘检测单元209使用W像素执行边缘方向检测处理。

纹理检测单元210使用W像素执行纹理检测处理。

混和处理单元211执行对通过上述各个处理输出的像素进行混和的处理。

[3.关于数据转换处理单元的处理的细节]

接下来，将描述由构成图6中示出的数据转换处理单元200的各个处理单元执行的处理的细节。

(3-1.噪声去除单元的处理)

首先，将参照图7描述噪声去除单元201的处理。噪声去除单元201对输入像素单位(5×5像素)中的中心像素是W像素的数据执行噪声去除处理。执行噪声去除作为针对位于输入像素单位的中心处的W像素的噪声降低像素值的计算处理。

作为用于噪声去除的技术，可以应用多种技术。这里，将参照图7描述使用双边滤波器的噪声降低处理示例。图7是示出输入像素单位是5×5像素的情况的、用于描述向位于中心处的W像素(像素p)应用噪声去除的说明图。

图7示出了这些。

(a)处理目标数据

(b)噪声降低像素值计算表达式

(c)函数的线性近似示例

如(a)处理目标数据所示，噪声去除单元201执行在具有RGBW模式的输入像素单位(5×5像素)中的中心像素(p)是W像素的情况下的处理。该图示出的输入像素单位(5×5像素)中的灰色部分是W像素，而其它白色部分是RGB像素之一。应注意，还是在用于以下描述的图中，灰色部分被设置作为W像素，而其它白色部分被设置作为RGB像素之一。

噪声去除单元201通过使用作为处理目标数据301的中心像素(p)的W像素的像素值I(p)和包括在输入像素单位(5×5像素)中的像素的像素值I(q)，在按照图7(2)中示出的噪声降低像素值计算表达式的情况下，计算噪声降低像素值I_NR(p)。即，在按照以下表达式(表达式1)的情况下，计算噪声降低像素值I_NR(p)。

[数字表达式1]

…(表达式1)

在上述表达式中，

Ωp表示包括在作为处理目标数据301的输入像素单位(5×5像素)中的像素集，I(q)表示其像素值，并且I(p)表示中心像素p(＝W像素)的像素值。

函数一般使用指数函数。然而，为了抑制计算量，如图7(3)所示，可使用线性近似的函数。

图7(3)中示出的线性近似是在阈值被设置为Th1＝2.0且Th2＝3.0的情况下的以下设置中的线性近似示例。

r＝0至Th1(2.0)→

r＝Th1(2.0)至Th2(3.0)→ 至0(线性改变)

r＝大于或等于Th2→

噪声去除单元201通过以此方式应用双边滤波器，在按照上述表达式(表达式1)的情况下，计算输入像素单位(5×5像素)中的中心处的W像素的噪声降低像素值I_NR(p)。算出的噪声降低W像素值(I_NR(p))被输出到图6中示出的第一像素内插参数计算单元(GonW)202。

应注意，参照图7描述的应用双边滤波器的处理是噪声去除处理的示例，并且噪声去除单元201不限于参照图7描述的应用双边滤波器的处理，而是还可采用使用另一噪声去除系统的配置。

(3-2.关于边缘检测单元的处理)

接下来，将描述边缘检测单元209的处理。边缘检测单元209验证包括在作为输入信号的RGBW模式中的离散白(W)信号，并且生成包括在图像中的边缘信息(例如，包括边缘方向和边缘强度的边缘信息)，以输出到混和处理单元211并且还输出到多个像素内插参数计算单元。

参照图8和随后的图，将描述边缘检测单元209执行的、使用W像素以得到边缘方向和边缘强度的确定方法。

边缘检测单元209通过仅利用输入的RGBW模式181的信号当中的白(W)信号，确定边缘方向和边缘强度。边缘检测单元209对7×7像素的区域单位中的输入数据执行边缘检测处理。边缘检测单元209顺序地执行边缘检测处理，同时移动7×7像素的区域。通过对一个7×7像素区域的处理，获得与7×7像素区域的中心像素对应的边缘信息(边缘方向和边缘强度)。将与各个像素对应的边缘信息输出到混和处理单元211以及第一至第五像素内插参数计算单元。

多种技术可以应用于边缘检测处理。参照图8和图9，将描述边缘检测处理的一种技术。在以下将描述的方法中，利用7×7像素区域的中心附近的4×4像素。

如图8所示，被设置作为7×7像素的处理目标的中心像素具有这两种情况：

(a)在W像素的情况下；以及

(b)在除W像素之外的像素的情况下。

应注意，图8中以灰色表示的像素是W像素，而其它对应于RGB像素之一。

对于这两种类型的情况(a)和(b)，通过使用各自不同的计算表达式，执行估计边缘方向是水平、垂直、右斜上以及左斜上四个方向中的哪一个以及其强度的边缘确定处理。

将参照图9描述具体的处理。

在图9中，表示在这些情况(a)和(b)下被应用于边缘方向和边缘强度的确定处理的计算表达式。

(a)中心像素是W像素的情况

(b)中心像素是除W之外的像素的情况

所应用的计算表达式是用于计算像素值在图像的特定方向上的梯度的表达式，并且是以下各个值的计算表达式。

gradH：水平方向上的梯度绝对值平均

gradV：垂直方向上的梯度绝对值平均

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均

这些gradH、gradV、gradA以及gradD等于像素值在各个不同方向上的梯度(差分)的绝对值的平均值。在下文中，将描述具体的计算处理。

(a)关于中心像素是W像素的情况下的处理

首先，将参照图9(a)描述中心像素是W像素的情况下的处理。在图9(a)中，(a1)至(a4)表示在中心像素是W像素的情况下对于gradH、gradV、gradA以及gradD的计算处理示例。

以双圆圈[◎]表示的位置是7×7像素中的中心像素位置。

另外，以圆圈[○]表示的位置是边缘重心位置。

在中心像素是W像素的情况下，通过以下计算表达式(表达式2)计算gradH、gradV、gradA以及gradD。

[数字表达式2]

grad H = \frac{| W_{22} - W_{02} | + | W_{31} - W_{11} |}{2}

grad V = \frac{| W_{22} - W_{20} | + | W_{13} - W_{11} |}{2}

grad A = \frac{| W_{22} - W_{31} | + {| W}_{13} - W_{22} |}{2}

grad D = \frac{| W_{22} - W_{11} | + | W_{33} - W_{22} |}{2}

…(表达式2)

应注意，Wxy表示在水平方向被设置为(x)并且垂直方向被设置为(y)的坐标系中，xy坐标位置处的W像素值，并且图9中示出的4×4像素的左上端像素的坐标被设置为(0，0)，且右下端的像素坐标被设置为(3，3)。

gradH是水平方向上的梯度绝对值平均，并且对应于在水平方向上相邻的W像素的差分绝对值的平均值。

如图9(a1)所示，在4×4像素区域的中心部分中的两条水平线的水平方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradH。

gradV是垂直方向上的梯度绝对值平均，并且对应于在垂直方向上相邻的W像素的差分绝对值的平均值。

如图9(a2)所示，在4×4像素区域的中心部分中的两条垂直线的垂直方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradV。

gradA是右斜上方向上的梯度绝对值平均，并且对应于在右斜上方向上相邻的W像素的差分绝对值的平均值。

如图9(a3)所示，在4×4像素区域的中心部分中的两条右斜上线的右斜上方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradA。

gradD是左斜上方向上的梯度绝对值平均，并且对应于在左斜上方向上相邻的W像素的差分绝对值的平均值。

如图9(a4)所示，在4×4像素区域的中心部分中的两条左斜上线的左斜上方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradD。

随着水平方向上的梯度绝对值平均gradH的值越大，垂直方向上的边缘强度较大的概率越高。

随着垂直方向上的梯度绝对值平均gradV的值越大，水平方向上的边缘强度较大的概率越高。

随着右斜上方向上的梯度绝对值平均gradA的值越大，左斜上方向上的边缘强度较大的概率越高。

随着左斜上方向上的梯度绝对值平均gradD的值越大，右斜上方向上的边缘强度较大的概率越高。

以此方式，可以基于gradH、gradV、gradA以及gradD的各个值的算出值，确定边缘方向和边缘强度。

(b)关于中心像素是除W像素之外的像素的情况下的处理

接下来，将参照图9(b)描述中心像素是除W像素之外的像素的情况下的处理。在图9(b)中，(b1)至(b4)表示在中心像素是除W像素之外的像素的情况下对于gradH、gradV、gradA以及gradD的计算处理示例。

以双圆圈[◎]表示的位置是7×7像素中的中心像素位置。

另外，以圆圈[○]表示的位置是边缘重心位置。

在中心像素是除W像素之外的像素的情况下，通过以下计算表达式(表达式3)计算gradH、gradV、gradA以及gradD。

[数字表达式3]

grad H = \frac{| W_{32} - W_{12} | + | W_{21} - W_{01} |}{2}

grad V = \frac{| W_{23} - W_{21} | + | W_{12} - W_{10} |}{2}

grad A = \frac{| W_{23} - W_{32} | + | W_{12} - W_{21} |}{2}

grad D = \frac{| W_{23} - W_{12} | + | W_{32} - W_{21} |}{2}

…(表达式3)

应注意，Wxy表示在水平方向被设置为(x)并且垂直方向被设置为(y)的坐标系中，xy坐标位置处的W像素值，并且图9中示出4×4像素的左上端像素的坐标被设置为(0，0)，而右下端的像素坐标被设置为(3，3)。

如图9(b1)所示，在4×4像素区域的中心部分中的两条水平线的水平方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradH。

如图9(b2)所示，在4×4像素区域的中心部分中的两条垂直线的垂直方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradV。

如图9(b3)所示，在4×4像素区域的中心部分中的两条右斜上线的右斜上方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradA。

如图9(b4)所示，在4×4像素区域的中心部分中的两条左斜上线的左斜上方向上相邻的两个W像素的差分绝对值的平均值被计算作为gradD。

以此方式，可以基于gradH、gradV、gradA以及gradD的各个值的算出值，估计边缘方向和边缘强度。

边缘检测单元209基于gradH、gradV、gradA以及gradD的各个值，以此方式获得与各个像素对应的边缘信息(边缘方向和边缘强度)。所获得的边缘信息被输出到混和处理单元211。

应注意，上述边缘方向·强度检测方法是示例，并且还可采用使用其它边缘检测方法的配置。例如，参照图9描述的边缘检测方法使用极窄范围内的特定像素值信息，并且预期当噪声较大时发生错误确定。将参照图10描述防止该错误确定的边缘信息的获得处理示例。

图10中示出的边缘信息获得处理示例是使用如下处理的技术：其执行作为参照图9描述的计算值的梯度绝对值平均的加权相加。图10示出了这些各个处理示例。

(1)水平·垂直分量边缘信息获得处理示例

(2)对角线分量边缘信息获得处理示例

图10(1)和10(2)示出了7×7像素的图像数据。该数据是被设置作为边缘检测单元209的处理目标的数据，并且是与图9所示的类似地、仅W像素值离散排列的数据。获得与位于这些7×7像素的中心的该中心像素对应的边缘信息(边缘方向和边缘强度)。

将描述图10(1)中示出的水平·垂直分量边缘信息获得处理示例。图10(1)示出了16个边缘重心。这些对应于图9(a1)、9(a2)、9(b1)以及9(b2)中示出的边缘重心。即，这些对应于当计算以下这些值时的边缘重心。

gradH：水平方向上的梯度绝对值平均

gradV：垂直方向上的梯度绝对值平均

在图10(1)中示出的7×7像素区域中，设置图9(a1)、9(a2)、9(b1)以及9(b2)中示出的4×4像素区域。可设置的4×4像素区域的数量从图中示出的左上端处的4×4像素区域302到右下端处的4×4像素区域304为16个。图10(1)中示出的16个边缘重心是与这16片4×4像素区域对应的边缘重心，即，与图9(a1)、9(a2)、9(b1)以及9(b2)中示出的位置类似的位置的边缘重心。

在边缘重心的坐标位置以(i，j)来表示、并且设置图中示出的标度0、1、2以及3同时水平轴被设置为i而垂直轴被设置为j的情况下，边缘重心(0，0)301成为与4×4像素区域302对应的边缘重心。在4×4像素区域302被设置为图9(a1)、9(a2)、9(b1)以及9(b2)中示出的4×4像素区域的情况下，边缘重心(0，0)301对应于图9(a1)、9(a2)、9(b1)以及9(b2)中示出的重心。

另外，边缘重心(3，3)303是在与4×4像素区域304对应的情况下所设置的边缘重心。在4×4像素区域304被设置为图9(a1)、9(a2)、9(b1)以及9(b2)中示出的4×4像素区域的情况下，边缘重心(3，3)303对应于图9(a1)、9(a2)、9(b1)以及9(b2)中示出的重心。

在图10(1)示出的7×7像素区域中，设置16个4×4像素区域和边缘重心的集合。对于这16个集合，通过使用参照图9(a1)、9(a2)、9(b1)以及9(b2)描述的计算表达式，可以分别计算16个集合中的每个的以下这些值：

gradH：水平方向上的梯度绝对值平均

gradV：垂直方向上的梯度绝对值平均

通过使用与边缘重心(i，j)对应的4×4像素区域算出的梯度绝对值平均(gradH)和(gradV)分别被表示为如下。

gradH_i，j

gradV_i，j

通过使用这些值，通过以下计算表达式(表达式4)来计算梯度绝对值平均的加权相加值，即，

dirH：水平梯度信息

dirV：垂直梯度信息

[数字表达式4]

dirH = \frac{\underset{i, j}{Σ} w_{i, i} \cdot grad H_{i, j}}{\underset{i, j}{Σ} w_{ij}},

dirV = \frac{\underset{i, j}{Σ} w_{i, j} \cdot {grad V}_{i, j}}{\underset{i, j}{Σ} w_{i, j}}

…(表达式4)

在上述表达式中，w_ij是与(i，j)位置处的边缘重心对应的加权因子。加权因子被设置作为中心部分较大而周边部分较小的情况下的因子，例如，如图10(1)所示。图10(1)示出了如下示例：其中，作为加权因子的示例，等于(4/36)至(1/36)的加权因子与16个边缘重心相关联。

接下来，将描述图10(2)中示出的对角线分量边缘信息获得处理示例。图10(2)示出了25个边缘重心。这些对应于图9(a3)、9(a4)、9(b3)以及9(b4)中示出的边缘重心。即，这些对应于当计算以下值时的边缘重心。

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均

在7×7像素区域中，设置图9(a3)、9(a4)、9(b3)以及9(b4)中示出的4×4像素区域。可设置的4×4像素区域的数量从图中示出的左上端处的4×4像素区域312至右下端处的4×4像素区域314为16个。在图10(2)示出的25个边缘重心当中，图10(2)中示出的虚线矩形框315中的16个边缘重心是与这16片4×4像素区域对应的边缘重心，即，位于与图9(a3)、9(a4)、9(b3)以及9(b4)中示出的位置类似的位置处的边缘重心。

在边缘重心的坐标位置以(i，j)来表示、并且设置图中示出的标度0、1、2、3以及4同时水平轴被设置为i而垂直轴被设置为j的情况下，边缘重心(1，1)311成为与4×4像素区域312对应的边缘重心。在4×4像素区域312被设置作为图9(a3)、9(a4)、9(b3)以及9(b4)中示出的4×4像素区域的情况下，边缘重心(1，1)311对应于图9(a3)、9(a4)、9(b3)以及9(b4)中示出的边缘重心。

另外，边缘重心(4，4)313是在与4×4像素区域314对应的情况下所设置的边缘重心。在4×4像素区域314被设置作为图9(a3)、9(a4)、9(b3)以及9(b4)中示出的4×4像素区域的情况下，边缘重心(4，4)313对应于图9(a3)、9(a4)、9(b3)以及9(b4)中示出的边缘重心。

图10(2)还示出了虚线矩形框315的外侧的边缘重心。这些边缘重心位于i＝0且j＝0处。

(i，j)＝(0，0)至(0，4)以及(1，0)至(4，0)

如图9(a3)、9(a4)、9(b3)以及9(b4)所示，计算以下这些值利用率最高的像素位置仅是边缘重心周围的八个像素。

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均

因此，即使在边缘重心被设置在图10(2)中示出的i＝0且j＝0的位置处的情况下，也可以计算gradA和gradD。

因此，可以通过使用7×7像素区域、在边缘重心被设置在不同位置处的情况下计算的gradA和gradD成为与图10(2)中示出的25个边缘重心位置对应的25个数据。

根据图10(2)中示出的7×7像素区域，通过使用参照图9(a3)、9(a4)、9(b3)以及9(b4)描述的计算表达式，可以分别计算25个数据中的每个的以下这些值：

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均

通过使用与边缘重心(i，j)对应的4×4像素区域算出的梯度绝对值平均(gradA)和(gradD)分别被表示为如下。

gradA_i，j

gradD_i，j

通过使用这些值，通过使用以下计算表达式(表达式5)来计算梯度绝对值平均的加权相加值，即，

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

[数字表达式5]

dirA = \frac{\underset{i, j}{Σ} w_{i, i} \cdot {grad A}_{i, j}}{\underset{i, j}{Σ} w_{ij}},

dirD = \frac{\underset{i, j}{Σ} w_{i, j} \cdot {grad D}_{i, j}}{\underset{i, j}{Σ} w_{i, j}}

…(表达式5)

在上述表达式中，w_ij是与(i，j)位置处的边缘重心对应的加权因子。加权因子被设置作为中心部分较大而周边部分较小的情况下的因子，例如，如图10(2)所示。图10(2)示出了作为加权因子的示例，等于(16/100)至(1/100)的加权因子与25个边缘重心相关联。

通过参照图10描述的处理算出的边缘信息，即，

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

这些dirH、dirV、dirA以及dirD是通过利用包括在7×7像素区域中的大量像素值(W像素值)算出的边缘信息。

因此，与通过应用参照图9描述的少量像素信息而算出的边缘信息相比，降低了由于噪声等而出现错误结果的概率。

应注意，上述表达式和对于图10中示出的加权因子w_ij的设置示例是示例，并且还可以使用其它平均因子。

应注意，参照图10描述的示例是通过使用7×7像素的区域而计算梯度绝对值平均的加权相加值(dirH、dirV、dirA以及dirD)的处理示例，但是，例如，如图11所示，也可采用通过使用5×5像素的区域来计算梯度绝对值平均的加权相加值(dirH、dirV、dirA以及dirD)的配置。

与图10中类似，图11示出了这些各个处理示例。

(1)水平·垂直分量边缘信息获得处理示例

(2)对角线分量边缘信息获得处理示例

图11(1)和11(2)示出了5×5像素的图像数据。该数据是被设置作为边缘检测单元209的处理目标的数据，并且是与图9所示的类似地、W像素值离散排列的数据。获得与位于5×5像素的该中心处的中心像素对应的边缘信息(边缘方向和边缘强度)。

将对图11(1)中示出的(1)水平·垂直分量边缘信息获得处理示例进行描述。在图11(1)中示出的5×5像素区域中设置4×4像素区域和边缘重心的四个集合。参照这四个集合，通过使用参照图9(a1)、9(a2)、9(b1)以及9(b2)描述的计算表达式，可以分别计算这四个集合中每个的如下这些值：

gradH：水平方向上的梯度绝对值平均

gradV：垂直方向上的梯度绝对值平均。

通过使用与边缘重心(i，j)对应的4×4像素区域算出的梯度绝对值平均(gradH)和(gradV)分别表示为如下。

gradH_i，j

gradV_i，j

通过使用这些值，通过使用上述表达式(表达式4)计算梯度绝对值平均的加权相加值，即，

dirH：水平梯度信息

dirV：垂直梯度信息

接下来，将描述图11(2)中示出的对角线分量边缘信息获得处理示例。图11(2)示出了九个边缘重心。这些对应于图9(a3)、9(a4)、9(b3)以及9(b4)中示出的边缘重心。即，这些对应于当计算以下这些值时的边缘重心。

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均

根据图11(2)中示出的5×5像素区域，通过使用参照图9(a3)、9(a4)、9(b3)以及9(b4)描述的计算表达式，可以分别计算九个边缘重心中每个的如下这些值：

gradA：右斜上方向上的梯度绝对值平均

gradD：左斜上方向上的梯度绝对值平均。

gradA_i，j

gradD_i，j

通过使用这些值，通过使用上述表达式(表达式5)计算梯度绝对值平均的加权相加值，即，

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

以此方式，在计算梯度绝对值平均的加权相加值(dirH、dirV、dirA以及dirD)的处理中，可以利用诸如7×7像素区域或5×5像素区域的各种区域。

对于如此获得的边缘信息，即，

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

边缘检测单元209将这些边缘信息(dirH、dirV、dirA以及dirD)输出到混和处理单元211和多个像素内插参数计算单元。

(3-3.关于纹理检测单元的处理)

接下来，将描述纹理检测单元210的处理。纹理检测单元210使用包括在作为输入信号的RGBW模式中的离散白W像素，执行纹理检测处理。即，检测与各个像素对应的纹理信息，并且将检测到的信息输出到混和处理单元211。

具体地，检测各个像素的邻近图像区域是具有大纹理(低平坦度)的图像还是具有小纹理(高平坦度)的图像，并且将该检测到的信息作为与各个像素对应的纹理信息输出到混和处理单元211。

将参照图12和随后的图描述纹理检测单元210的处理。

纹理检测单元210首先计算构成RGBW模式图像的每个输入像素单位(5×5像素)的W像素的平均值Wave。

在W像素的平均值Wave的计算处理中，例如使用平滑滤波器。在输入像素单位中的中心是W像素的情况下，通过设置了图12所示的因子的滤波器来获得W像素的平均值Wave，而在输入像素单位中的中心不是W像素的情况下，通过设置了图13所示的因子的滤波器来获得W像素的平均值Wave。

参照图12，将描述输入像素单位中的中心是W像素的情况下的处理。将具有5×5像素的输入像素单位321(中心像素为W像素)中的W像素位置被设置作为中心的九个像素中的W像素值与滤波器322的相应像素位置处的滤波器因子相乘。此外，计算各个相乘结果的相加值。将该相加结果设置作为W信号的平均值Wave。该平均值Wave被计算作为关于输入像素单位321中的中心W像素的平均值Wave。此外，通过使用与像素对应的该平均值Wave，纹理检测单元210计算平坦度权重(weightFlat)作为与中心W像素对应的纹理比率的指标值。以下将描述该计算处理。

应注意，图12中示出的滤波器322的滤波器因子具有关于具有5×5像素的输入像素单位321中的中心W像素到周围W像素(4/8至1/8)的设置。由于该滤波器因子是示例，因此也可采用利用另一因子的配置，只要是低通滤波器即可，因子不限于此。另外，也可采用利用比九个像素更宽的区域的配置。

接下来，参照图13，将描述输入像素单位中的中心是除W像素之外的情况下的处理。将具有5×5像素的输入像素单位331(中心像素为除W像素之外的像素)中的中心像素位置被设置作为中心的九个像素中的W像素值与滤波器332的相应像素位置处的滤波器因子相乘。此外，计算各个相乘结果的相加值。将该相加结果设置作为W信号的平均值Wave。算出的平均值Wave被计算作为关于输入像素单位331中的中心像素(RGB中的任意)的平均值Wave。

应注意，图13中示出的滤波器332的滤波器因子关于具有5×5像素的输入像素单位331中的中心像素周围的周围W像素具有均为(1/4)的设置。由于该滤波器因子是示例，因此也可采用利用另一因子的配置，只要是低通滤波器即可，因子不限于此。另外，也可采用利用比九个像素更宽的区域的配置。

纹理检测单元210根据输入像素单位中的中心像素是W像素还是除W像素之外的RGB像素来应用图12中示出的滤波器322或图13中示出的滤波器332，从而以此方式计算与输入像素单位中的中心像素对应的W像素的平均值Wave。

纹理检测单元210在使用以下计算表达式(表达式6)的情况下，通过使用算出的W像素的平均值Wave，计算与中心像素p＝(x，y)对应的纹理比率W_TX(p)。

[数字表达式6]

…(表达式6)

在上述表达式(表达式6)中，

Ωp表示包括在作为处理目标数据的输入像素单位(5×5像素)中的像素集，

I(q)表示其像素值，

Iave(p)表示通过应用图12或图13的滤波器而算出的W像素平均值(与Wave相同的值)，以及

表示之前规定的权重函数。

应注意，函数一般使用指数函数。然而，为了抑制计算量，也可利用图7(3)中示出的前述线性近似函数。

图7(3)中示出的线性近似是具有以下设置的、Th1＝2.0且Th2＝3.0被设置作为阈值时的线性近似示例。

r＝0至Th1(2.0)→

r＝Th1(2.0)至Th2(3.0)→ 至0(线性改变)

r＝大于或等于Th2→

此外，纹理检测单元210在按照以下表达式(表达式7)的情况下，应用与按照上述表达式算出的中心像素p对应的纹理比率W_TX(p)，来计算与中心像素p＝(x，y)对应的平坦度权重(weightFlat)。

weightFlat(x，y)＝f_flat(W_TX(p))

…(表达式7)

在上述表达式(表达式7)中，

f_flat(r)可以使用例如图14中示出的线性近似函数。

图14中示出的线性近似函数是具有以下设置的、在0＜Th0(FLAT_LIMIT0)＜Th1(FLAT_LIMIT0)＜1被设置作为阈值时的线性近似函数。

r＝0至Th0→f_flat(r)＝0

r＝Th0至Th1→f_flat(r)＝0至1.0(线性改变)

r＝大于或等于Th1→f_flat(r)＝1

应注意，随着平坦度权重(weightFlat)的值越小，图像区域具有低平坦度和大纹理的概率越高，而随着平坦度权重(weightFlat)的值越大，图像区域具有高平坦度和小纹理的概率越高。

纹理检测单元210将如此算出的平坦度权重(weightFlat)输出到混和处理单元211。

(3-4.关于像素内插参数计算单元的处理)

接下来，将描述图6的输入转换处理单元200中的第一至第五像素内插参数计算单元202、204、205、207和208、以及第一和第二临时像素设置单元203和206的处理。这些各个单元执行以下处理。

第二像素内插参数计算单元(RBonGofHV)204计算与垂直或水平边缘对应的参数，作为被应用于将G像素转换为R像素或B像素的处理的参数。

第三像素内插参数计算单元(RBonGofAD)205计算与对角线边缘对应的参数，作为被应用于将G像素转换为R像素或B像素的处理的参数。

(3-4-1.第一像素内插参数计算单元(GonW)202的处理)

首先，将描述第一像素内插参数计算单元(GonW)202的处理。第一像素内插参数计算单元(GonW)202计算被应用于计算设置在RGBW模式181中的W像素位置处的G像素值的内插参数。

应注意，第一像素内插参数计算单元(GonW)202执行7×7或5×5像素区域被设置作为处理单位(输入像素单位)时的处理。

首先，将参照图15和随后的图描述在7×7像素区域被设置作为处理单位(输入像素单位)时执行处理的情况。

第一像素内插参数计算单元(GonW)202首先计算作为处理单位的7×7像素区域中的W信号的低频分量mW。

如图15所示，图15中示出的滤波器411被应用于7×7像素的输入像素单位401，以计算与7×7像素的输入像素单位401对应的低频分量mW。这里，作为要被转换为G像素的目标的W像素是位于7×7像素的输入像素单位401的中心处的转换目标像素402。图15中示出的输入像素单位401中以灰色表示的像素是W像素。其它是RGB像素。类似地，图15中示出的滤波器411中以灰色表示的像素是W像素对应位置。其它是RGB像素对应位置。应注意，在以下的图中，W像素或W像素对应位置以灰色来表示，而RGB像素位置或对应位置以白色来表示。

滤波器411是具有如下这样设置的滤波器：转换目标像素对应位置412的滤波器因子最高，并且因子随着远离到达周围而减小。作为因子，设置等于(8/52至1/52)的各个因子。通过应用该滤波器411，计算低频分量mW。7×7像素的输入像素单位401中的W像素位置处的像素值与滤波器411的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为W信号的低频分量mW。

应注意，图15中示出的滤波器411的滤波器因子设置示例是示例，并且也可应用设置其它滤波器因子的滤波器。除图15中示出的滤波器示例之外，例如，还可以使用具有低通特性的其它平滑滤波器。

接下来，参照图16和图17，将描述G信号的低频分量mG的计算处理。在G信号的低频分量mG的计算处理中，根据7×7像素的输入像素单位401的配置和边缘方向来应用不同的滤波器。

具体地，如图16和图17所示，

(a)G像素在输入像素单位401中的中心W像素的左侧，并且边缘方向是水平(h)方向的情况

(b)G像素在输入像素单位401中的中心W像素的左侧，并且边缘方向是垂直(v)方向的情况

(c)G像素在输入像素单位401中的中心W像素的右侧，并且边缘方向是水平(h)方向的情况

(d)G像素在输入像素单位401中的中心W像素的右侧，并且边缘方向是垂直(v)方向的情况

根据这四种类型的模式，选择性地使用图16和图17中示出的滤波器421、422、425以及426。

通过应用这些滤波器，计算与7×7像素的输入信号401对应的低频分量mG。这里，作为要被转换为G像素的目标的W像素是位于7×7像素的输入信号401的中心的转换目标像素402。

(a)在G像素在输入像素单位401中的中心W像素的左侧，并且边缘方向是水平(h)方向的情况下，通过应用具有图16(a)中示出的因子设置的滤波器421，计算G信号的低频分量mG_h。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器421的中心是转换目标像素对应位置423。

(b)在G像素在输入像素单位401中的中心W像素的左侧，并且边缘方向是垂直(v)方向的情况下，通过应用具有图16(b)中示出的因子设置的滤波器422，计算G信号的低频分量mG_v。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器422的中心是转换目标像素对应位置424。

(c)在G像素在输入像素单位401中的中心W像素的右侧，并且边缘方向是水平(h)方向的情况下，通过应用具有图17(c)中示出的因子设置的滤波器425，计算G信号的低频分量mG_h。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器425的中心是转换目标像素对应位置427。

(d)在G像素在输入像素单位401中的中心W像素的右侧，并且边缘方向是垂直(v)方向的情况下，通过应用具有图17(d)中示出的因子设置的滤波器426，计算G信号的低频分量mG_v。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器426的中心是转换目标像素对应位置428。

任何所应用的滤波器被设置作为具有如下这样设置的滤波器：在靠近转换目标像素对应位置的G像素对应位置处的滤波器因子最高，并且因子随着远离到达周围而减小。作为因子，设置等于(1/20至4/20)的各个因子。通过应用这些滤波器421、422、425以及426之一，计算低频分量mG。7×7像素的输入像素单位401中的G像素位置处的像素值与滤波器421、422、425以及426之一相乘，并且各个相乘结果的相加值被计算作为G信号的低频分量mG。

应注意，图16和图17中示出的滤波器421、422、425以及426的滤波器因子设置示例是示例，并且也可应用设置其它滤波器因子的滤波器。

以此方式，在作为被转换为G像素的转换目标的W像素是中心像素的7×7像素区域被设置作为处理单位时，第一像素内插参数计算单元202计算W信号和G信号的低频分量mW和mG。

假设在图像的局部区域中保持如此算出的mW和mG的比率。当按照该假设时，局部区域中的W和G的像素值比率的对应关系变为图18的图示指示的对应关系。在图18的图示中，水平轴是W像素值，而垂直轴是G像素值。在图像的特别窄的局部区域中，如果W像素值和G像素值的该比率恒定，则可以假设建立像图18中示出的直线(线L1)一样的比例关系。

当按照该假设时，在输入像素单位401中的中心W像素(即，转换目标像素位置处的W信号)的像素值被设置为w的情况下，可以按照以下表达式来计算应该被设置在转换目标像素位置处的G信号的像素值GonW。

GonW＝(mG/mW)w

这是在假设W像素值和G像素值的比率恒定时的像素值估计方法。

应注意，mW是通过参照图15描述的处理算出的W信号的低频分量mW。

mG是通过参照图16和图17描述的处理算出的G信号的低频分量mG。对于mG，根据输入像素单位401中的配置和边缘方向来应用不同的值。

图18中示出的直线(线L1)是基于如下假设的线：在局部区域中，W像素值和G像素值的比率是恒定的。在像素值转换处理时执行对比度强调处理的情况下，也可应用像图18中示出的直线(线L2)一样的线。k是对比度强调处理调整参数。

如下计算在应用对比度强调处理的情况下为转换目标W像素设置的G像素的像素值。

转换目标像素位置处的W信号的像素值被设置为w，并且应被设置在转换目标像素位置处的G信号的像素值被设置为GonW。可以按照以下表达式计算转换后的G像素值GonW。

GonW＝f_contrast(mG，mW，w，k)

f_contrast(mG，mW，w，k)

＝k(mG/mW)(w-mW)+mG)…(≥0)

＝0…(＜0)

应注意，k是对比度强调处理调整参数(当k＝1时无对比度强调)。

mW是通过参照图15描述的处理算出的W信号的低频分量mW。

mG是通过参照图16和图17描述的处理算出的G信号的低频分量mG。对于mG，根据输入像素单位401中的配置和边缘方向来应用不同的值(mG_h，mG_v)。

第一像素内插参数计算单元202计算以下参数作为被应用于将RGBW模式中的W像素转换为G像素的内插参数。

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w

应注意，

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

它们是要通过应用对比度强调算出的值。

另一方面，

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w

它们是无需应用对比度强调算出的值。

第一像素内插参数计算单元202计算要输出到混和处理单元211的这些内插参数。

混和处理单元执行应用这些参数的混和处理，并且确定最终的G像素值(即，设置在RGBW模式中的W像素位置处的G像素值)。以下将描述该混和处理。

应注意，第一像素内插参数计算单元(GonW)202执行在如上所述7×7或5×5像素区域被设置作为处理单位(输入像素单位)时的处理。上述说明是关于在7×7像素区域被设置作为处理单位(输入像素单位)时执行处理的情况的说明，但是在5×5像素区域被设置作为处理单位(输入像素单位)时执行处理的情况下，应用于计算W信号的低频分量mW和计算G信号的低频分量mG的滤波器的设置变化。

将参照图19至图21描述在5×5像素区域被设置作为处理单位(输入像素单位)时执行处理的情况下，应用于计算W信号的低频分量mW和计算G信号的低频分量mG的计算的滤波器的配置示例。

如图19所示，通过将图19中示出的滤波器441应用于5×5像素的输入像素单位431，计算与5×5像素的输入像素单位431对应的低频分量mW。成为要被转换为G像素的目标的W像素是位于5×5像素的输入像素单位431中的中心处的转换目标像素432。在图19示出的输入像素单位431中，以灰色表示的像素是W像素。其它是RGB像素。类似地，在图19中示出的滤波器441中，以灰色表示的像素是W像素对应位置。其它是RGB像素对应位置。

滤波器441是具有如下这样设置的滤波器：转换目标像素对应位置442的滤波器因子最高，并且因子随着远离到达周围而减小。作为因子，设置等于(4/32至1/32)的各个因子。通过应用该滤波器441，计算低频分量mW。5×5像素的输入像素单位431中的W像素位置处的像素值与滤波器441的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为W信号的低频分量mW。

应注意，图19中示出的滤波器411的滤波器因子设置示例是示例，并且也可应用设置其它滤波器因子的滤波器。除了图19中示出的滤波器示例之外，例如，也可以使用具有低通特性的其它平滑滤波器。

接下来，参照图20和图21，将描述G信号的低频分量mG的计算处理。

(a)在G像素在输入像素单位431中的中心W像素的左侧，并且边缘方向是水平(h)方向的情况下，通过应用具有图20(a)中示出的因子设置的滤波器451，计算G信号的低频分量mG_h。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器451的中心是转换目标像素对应位置453。

(b)在G像素在输入像素单位431中的中心W像素的左侧，并且边缘方向是垂直(v)方向的情况下，通过应用具有图20(b)中示出的因子设置的滤波器452，计算G信号的低频分量mG_v。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器452的中心是转换目标像素对应位置454。

(c)在G像素在输入像素单位431中的中心W像素的右侧，并且边缘方向是水平(h)方向的情况下，通过应用具有图21(c)中示出的因子设置的滤波器455，计算G信号的低频分量mG_h。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器455的中心是转换目标像素对应位置457。

(d)在G像素在输入像素单位431中的中心W像素的右侧，并且边缘方向是垂直(v)方向的情况下，通过应用具有图21(d)中示出的因子设置的滤波器456，计算G信号的低频分量mG_v。表示数值(其表示滤波器因子)的像素是G像素对应位置。滤波器456的中心是转换目标像素对应位置458。

任何所应用的滤波器被设置作为具有如下这样设置的滤波器：在靠近转换目标像素对应位置的G像素对应位置处的滤波器因子最高，并且因子随着远离到达周围而减小。作为因子，设置等于(1/8至2/8)的各个因子。通过应用这些滤波器451、452、455以及456之一，计算低频分量mG。5×5像素的输入像素单位431中的G像素位置处的像素值与滤波器451、452、455以及456的滤波器因子之一相乘，并且各个相乘结果的相加值被计算作为G信号的低频分量mG。

应注意，图20和图21中示出的滤波器451、452、455以及456的滤波器因子设置示例是示例，并且也可应用设置其它滤波器因子的滤波器。

在5×5像素区域被设置作为处理单位的情况下，以此方式，在作为被转换为G像素的转换目标的W像素是中心像素的5×5像素区域被设置作为处理单位时，第一像素内插参数计算单元202计算W信号和G信号的低频分量mW和mG。

在上述计算W信号和G信号的低频分量mW和mG之后的处理与使用7×7像素区域的情况类似。即，第一像素内插参数计算单元202计算以下参数作为被应用于将RGBW模式中的W像素转换为G像素的内插参数。

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w

(3-4-2.第一临时像素设置单元(RBonWaroundG)203的处理)

接下来，将描述第一临时像素设置单元(RBonWaroundG)203的处理。如将从图6中示出的配置图所理解的，在第二像素内插参数计算单元(RBonGofHV)204和第三像素内插参数计算单元(RBonGofAD)205之前的级，设置第一临时像素设置单元(RBonWaroundG)203。

第二像素内插参数计算单元(RBonGofHV)204和第三像素内插参数计算单元(RBonGofAD)205均计算用于将G像素转换为R或B像素的参数。在这些处理之前，第一临时像素设置单元(RBonWaroundG)203执行将与RB像素相邻的W像素位置转换为临时的R像素(R’)或B像素(B’)的处理。

第一临时像素设置单元(RBonWaroundG)203首先获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量R’以及B信号的低频分量B’。

如图22所示，通过将图22中示出的滤波器511至513应用于5×5像素的输入像素单位501，获得与5×5像素的输入像素单位501对应的W信号的低频分量mW、R信号的低频分量R’以及B信号的低频分量B’。5×5像素的输入像素单位501中的中心像素是转换目标像素。在该情况下，输入像素单位501是关于第二内插参数计算单元(RBonGofHV)204和第三像素内插参数计算单元(RBonGofAD)205的输入，并且它们是计算用于将G像素转换为R或B像素的参数的处理单元，因此输入像素单位501中的中心像素是G像素。

在滤波器511中，因子设置单位是W像素对应位置，并且作为因子，设置等于(1/16至2/16)的各个因子。5×5像素的输入像素单位501中的W像素位置处的像素值与滤波器511的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为W信号的低频分量mW。

在滤波器512中，因子设置单位是R像素对应位置，并且作为因子，设置等于(1/4)的各个因子。5×5像素的输入像素单位501中的R像素位置处的像素值与滤波器512的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为R信号的低频分量mR’。

在滤波器513中，因子设置单位是B像素对应位置，并且作为因子，设置等于(1/4)的各个因子。5×5像素的输入像素单位501中的B像素位置处的像素值与滤波器513的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为B信号的低频分量mB’。

接下来，如图23所示，第一临时像素设置单元(RBonWaroundG)203估计在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值和B像素值。

如图23所示，在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置的数量是4。估计这些W像素位置处的R像素值和B像素值。如之前参照图18所描述的，基于在图像的局部区域中保持mW与mR’或mW与mB’的比率的假设来执行估计处理。

基于这样的假设，可以如下估计在位于图23中示出的5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值(R_xy′＝R₁₂′，R₂₁′，R₃₂′，以及R₂₃′)。

R₁₂′＝(mR′/mW)w₁₂，

R₂₁′＝(mR′/mW)w₂₁，

R₃₂′＝(mR′/mW)w₃₂，

R₂₃′＝(mR′/mW)w₂₃，

应注意，w₁₂、w₂₁、w₃₂以及w₂₃是在位于图中示出的5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的W像素值。

类似地，可以如下估计在位于图23中示出的5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的B像素值(B_xy′＝B₁₂′，B₂₁′，B₃₂′，以及B₂₃′)

B₁₂′＝(mB′/mW)w₁₂，

B₂₁′＝(mB′/mW)w₂₁，

B₃₂′＝(mB′/mW)w₃₂，

B₂₃′＝(mB′/mW)w₂₃，

以此方式，第一临时像素设置单元(RBonWaroundG)203估计在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值和B像素值，并且将这些值提供到第二像素内插参数计算单元(RBonGofHV)204和第三像素内插参数计算单元(RBonGofAD)205。

(3-4-3.第二像素内插参数计算单元(RBonGofHV)204的处理)

接下来，将描述第二像素内插参数计算单元(RBonGofHV)204的处理。第二像素内插参数计算单元(RBonGofHV)204计算与垂直或水平边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

如上所述，边缘检测单元209生成如下这些边缘信息(dirH、dirV、dirA以及dirD)作为与各个像素对应的边缘信息：

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

第二像素内插参数计算单元(RBonGofHV)204输入与被设置作为转换目标的G像素对应的这些边缘信息。

第二像素内插参数计算单元(RBonGofHV)204比较与被设置作为转换目标的G像素对应的四个方向上的边缘信息(dirH、dirV、dirA以及dirD)中的dirH和dirV，以根据比较结果计算与垂直或水平边缘对应的参数。要计算的参数是用于将G像素转换为R像素或B像素的内插参数。

第二像素内插参数计算单元(RBonGofHV)204首先计算作为处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。将参照图24描述这些计算处理。

如图24所示，通过将图24中示出的滤波器521应用于5×5像素的输入像素单位501，计算与5×5像素的输入像素单位501对应的W信号的低频分量mW。这里，成为要被转换为R或B像素的目标的G像素是位于5×5像素的输入像素单位501中的中心处的转换目标像素502。应注意，该处理与之前参照图22描述的第一临时像素设置单元(RBonWaroundG)203的处理相同。因此，可使用如下设置：接收第一临时像素设置单元(RBonWaroundG)203算出的W信号的低频分量mW。

此外，第二像素内插参数计算单元(RBonGofHV)204计算处理单位的5×5像素区域中的R信号的低频分量mR和B信号的低频分量mB。在该处理中，利用第一临时像素设置单元(RBonWaroundG)203算出的、在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值和B像素值的估计值。

通过将图24中示出的滤波器522应用于设置第一临时像素设置单元(RBonWaroundG)203算出的R像素值的估计值的数据502，计算与5×5像素的输入像素单位501对应的R信号的低频分量mR。

在滤波器522中，(3/16至1/16)被设置作为滤波器因子。因子(1/16)的设置位置对应于5×5像素的原始输入像素单位501中的R像素位置。因子(3/16)的设置位置对应于5×5像素的原始输入像素单位501中的W像素位置，并且对应于第一临时像素设置单元(RBonWaroundG)203估计R像素值的位置。

类似地，通过将图24中示出的滤波器523应用于设置第一临时像素设置单元(RBonWaroundG)203算出的B像素值的估计值的数据503，计算与5×5像素的输入像素单位501对应的B信号的低频分量mB。

在滤波器522中，(3/16至1/16)被设置作为滤波器因子。因子(1/16)的设置位置对应于5×5像素的原始输入像素单位501中的B像素位置。因子(3/16)的设置位置对应于5×5像素的原始输入像素单位501中的W像素位置，并且对应于第一临时像素设置单元(RBonWaroundG)203估计B像素值的位置。

第二像素内插参数计算单元(RBonGofHV)204以此方式获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。

接下来，第二像素内插参数计算单元(RBonGofHV)204根据5×5像素的输入像素单位501中的边缘方向，估计位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的W像素值。从边缘检测单元209输入边缘方向信息。

通过比较从边缘检测单元209输入的dirH(水平梯度信息)和dirV(垂直梯度信息)的幅值，确定5×5像素的输入像素单位501中的边缘方向是水平方向还是垂直方向，或者是无法识别边缘方向的平坦区域。例如，通过利用先前设置的阈值来执行确定处理。应注意，位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502原始是G像素。

将参照图25描述估计位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的W像素值的处理。

在5×5像素的输入像素单位501中的边缘方向是水平方向的情况下，

如图25(a)所示，通过应用滤波器531，计算与中心位置处的转换目标像素502水平相邻的两个W像素的像素值的平均值，以被设置作为转换目标像素502的W像素值(W_h)。

在5×5像素的输入像素单位501中的边缘方向是垂直方向的情况下，

如图25(b)所示，通过应用滤波器532，计算与中心位置处的转换目标像素502垂直相邻的两个W像素的像素值的平均值，以被设置作为转换目标像素502的W像素值(W_v)。

在5×5像素的输入像素单位501是平坦区域的情况下，

如图25(c)所示，通过应用滤波器533，计算与中心位置处的转换目标像素502垂直和水平相邻的四个W像素的像素值的平均值，以被设置作为转换目标像素502的W像素值(W_n)。

应注意，在图25的右端，示出了表示成为处理目标的5×5像素的输入像素单位501中的边缘示例的图像视图。

接下来，第二像素内插参数计算单元(RBonGofHV)204计算与垂直或水平边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

首先，计算以下参数作为被应用于将G像素转换为R像素的处理的参数。

RonG(H)＝(mR/mW)(w_h)

RonG(V)＝(mR/mW)(w_v)

RonGn＝(mR/mW)(w_n)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的R像素值的处理：作为位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的G像素位置被转换为R像素。将在稍后的阶段描述混和处理单元211的处理。

计算以下参数作为被应用于将G像素转换为B像素的处理的参数。

BonG(H)＝(mB/mW)(w_h)

BonG(V)＝(mB/mW)(w_v)

BonGn＝(mB/mW)(w_n)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的B像素值的处理：作为位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的G像素位置被转换为B像素。

第二像素内插参数计算单元(RBonGofHV)204以此方式计算与垂直或水平边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数，即，

RonG(H)＝(mR/mW)(w_h)

RonG(V)＝(mR/mW)(w_v)

RonGn＝(mR/mW)(w_n)

BonG(H)＝(mB/mW)(w_h)

BonG(V)＝(mB/mW)(w_v)

BonGn＝(mB/mW)(w_n)

这些参数要被输出到混和处理单元211。

(3-4-4.第三像素内插参数计算单元(RBonGofAD)205的处理)

接下来，将描述第三像素内插参数计算单元(RBonGofAD)205的处理。第三像素内插参数计算单元(RBonGofAD)205计算与对角线边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

第三像素内插参数计算单元(RBonGofAD)205输入与被设置作为转换目标的G像素对应的这些边缘信息。

第三像素内插参数计算单元(RBonGofAD)205比较与被设置作为转换目标的G像素对应的四个方向上的边缘信息(dirH、dirV、dirA以及dirD)中的dirA和dirD，并且根据比较结果执行不同的处理，从而计算与对角线边缘对应的参数。要计算的参数是用于将G像素转换为R像素或B像素的内插参数。

第三像素内插参数计算单元(RBonGofAD)205首先获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。这些计算处理与第二像素内插参数计算单元(RBonGofHV)204的计算处理类似，并且与之前参照图24描述的处理相同，因此将省略描述。

第三像素内插参数计算单元(RBonGofAD)205根据5×5像素的输入像素单位501中的边缘方向，估计位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的W像素值。从边缘检测单元209输入边缘方向信息。

通过比较从边缘检测单元209输入的dirA(右斜上方向梯度信息)与dirD(左斜上方向梯度信息)的幅值，确定5×5像素的输入像素单位501中的边缘方向是右斜上方向还是左斜上方向，或者是无法识别边缘方向的平坦区域。例如，通过利用先前设置的阈值来执行确定处理。应注意，位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502 原始是G像素。

将参照图26描述估计位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的W像素值的处理。

在5×5像素的输入像素单位501中的边缘方向是左斜上方向的情况下，如图26(a)所示，通过应用滤波器541，通过应用从中心位置处的转换目标像素502的左斜上到右斜下方向的八个W像素的像素值，设置转换目标像素502的W像素值(W_d)。

在5×5像素的输入像素单位501中的边缘方向是右斜上方向的情况下，如图26(b)所示，通过应用滤波器542，通过应用从中心位置处的转换目标像素502的右斜上到左斜下方向的八个W像素的像素值，设置转换目标像素502的W像素值(W_a)。

应注意，在图26的右端，示出了表示成为处理目标的5×5像素的输入像素单位501中的边缘示例的图像视图。

接下来，第三像素内插参数计算单元(RBonGofAD)205计算与对角线边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。

RonG(A)＝(mR/mW)(w_a)

RonG(D)＝(mR/mW)(w_d)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的R像素值的处理：作为位于5×5像素的输入像素单位501中的中心位置处的转换目标像素502的G像素位置被转换为R像素。将在稍后的阶段中描述混和处理单元211的处理。

BonG(A)＝(mB/mW)(w_a)

BonG(D)＝(mB/mW)(w_d)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的B像素值的处理：作为位于5×5像素的输入像素单位501中的中心位置处的转换目标像素 502的G像素位置被转换为B像素。

第三像素内插参数计算单元(RBonGofAD)205以此方式计算被应用于将对角线边缘上的G像素转换为R像素或B像素的处理的参数，即，

RonG(A)＝(mR/mW)(w_a)

RonG(D)＝(mR/mW)(w_d)

BonG(A)＝(mB/mW)(w_a)

BonG(D)＝(mB/mW)(w_d)

这些参数要被输出到混和处理单元211。

(3-4-5.第二临时像素设置单元(RBonWaroundRB)206的处理)

接下来，将描述第二临时像素设置单元(RBonWaroundRB)206的处理。如将从图6中示出的配置图所理解的，在第四像素内插参数计算单元(RBonRBofHV)207和第五像素内插参数计算单元(RBonRBofAD)208之前的级，设置第二临时像素设置单元(RBonWaroundRB)206。

第四像素内插参数计算单元(RBonRBofHV)207和第五像素内插参数计算单元(RBonRBofAD)208均计算用于将R或B像素转换(校正)为相同的R或B像素的参数。在这些处理之前，第二临时像素设置单元(RBonWaroundRB)206执行将与RB像素相邻的W像素位置转换为临时的R像素(R’)或B像素(B’)的处理。

第二临时像素设置单元(RBonWaroundRB)206首先获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量R’以及B信号的低频分量B’。

如图27所示，通过将图27中示出的滤波器611至613应用于5×5像素的输入像素单位601，获得与5×5像素的输入像素单位601对应的W信号的低频分量mW、R信号的低频分量R’以及B信号的低频分量B’。5×5像素的输入像素单位601中的中心像素是转换目标像素。在该情况下，由于输入像素单位601是关于第四像素内插参数计算单元(RBonRBofHV)207和第五像素内插参数计算单元(RBonRBofAD)208的输入，并且它们是计算用于将R或B像素转换(校正)为R或B像素的参数的处理单元，因此输入像素单位601中的中心像素是R或B像素。

在滤波器611中，因子设置单元是W像素对应位置，并且作为因子，设置等于(1/16至2/16)的各个因子。5×5像素的输入像素单位501中的 W像素位置处的像素值与滤波器511的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为W信号的低频分量mW。

当输入像素单位601中的中心像素是R像素时，应用滤波器612。因子设置单元是R像素对应位置，并且作为因子，设置等于(1/8至4/8)的各个因子。5×5像素的输入像素单位601中的R像素位置处的像素值与滤波器612的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为R信号的低频分量mR’。

当输入像素单位601中的中心像素是R像素时，应用滤波器613。因子设置单元是B像素对应位置，并且作为因子，设置等于(1/8至4/8)的各个因子。5×5像素的输入像素单位601中的B像素位置处的像素值与滤波器613的相应像素位置处的滤波器因子相乘，并且各个相乘结果的相加值被计算作为B信号的低频分量mB’。

接下来，如图28所示，第二临时像素设置单元(RBonWaroundRB)206估计在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值和B像素值。

如图28所示，在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置的数量是4。估计这些W像素位置处的R像素值和B像素值。如之前参照图18所描述的，基于在图像的局部区域中保持mW与mR’或mW与mB’的比率的假设来执行估计处理。

基于这样的假设，可以如下估计图28中示出的、在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值(R_xy′＝R₁₂′，R₂₁′，R₃₂′，以及R₂₃′)。

R₁₂′＝(mR′/mW)w₁₂，

R₂₁′＝(mR′/mW)w₂₁，

R₃₂′＝(mR′/mW)w₃₂，

R₂₃′＝(mR′/mW)w₂₃，

应注意，w₁₂、w₂₁、w₃₂以及w₂₃是图中示出的在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的W像素值。

类似地，可以如下估计图28中示出的、在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的B像素值(B_xy′＝B₁₂′，B₂₁′，B₃₂′，以及B₂₃′)

B₁₂′＝(mB′/mW)w₁₂，

B₂₁′＝(mB′/mW)w₂₁，

B₃₂′＝(mB′/mW)w₃₂，

B₂₃′＝(mB′/mW)w₂₃，

以此方式，第二临时像素设置单元(RBonWaroundRB)206估计在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值和B像素值，并且将这些值提供到第四内插参数计算单元(RBonRBofHV)207和第三像素内插参数计算单元(RBonRBofAD)208。

(3-4-6.第四像素内插参数计算单元(RBonRBofHV)207的处理)

接下来，将描述第四像素内插参数计算单元(RBonRBofHV)207的处理。第四像素内插参数计算单元(RBonRBofHV)207计算与垂直或水平边缘对应的参数作为被应用于将R像素转换为R像素或将B像素转换为B像素的处理的参数。

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

第四像素内插参数计算单元(RBonRBofHV)207输入与被设置作为转换目标的R或B像素对应的这些边缘信息。

第四像素内插参数计算单元(RBonRBofHV)207比较与被设置作为转换目标的R/B像素对应的四个方向上的边缘信息(dirH、dirV、dirA以及dirD)中的dirH和dirV，以根据比较结果计算与垂直或水平边缘对应的参数。要计算的参数是被应用于将R像素转换为R像素或将B像素转换为B像素的处理的参数。

第四像素内插参数计算单元(RBonRBofHV)207首先获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。将参照图29描述这些计算处理。

如图29所示，通过将图29中示出的滤波器621应用于5×5像素的输入像素单位601，计算与5×5像素的输入像素单位501对应的W信号的低频分量mW。这里，成为要被转换成R或B像素的目标的R或B像素是位于5×5像素的输入像素单位601中的中心处的转换目标像素602。应注意，该处理是与之前参照图27描述的第二临时像素设置单元(RBonWaroundRB)206的处理相同的处理。因此，可使用如下设置：接收第二临时像素设置单元(RBonWaroundRB)206算出的W信号的低频分量mW。

此外，第四像素内插参数计算单元(RBonRBofHV)207获得处理单位的5×5像素区域中的R信号的低频分量mR和B信号的低频分量mB。在该处理中，利用第二临时像素设置单元(RBonWaroundRB)206算出的、在5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值和B像素值的估计值。

通过将图29中示出的滤波器622应用于设置了第二临时像素设置单元(RBonWaroundRB)206算出的R像素值估计值的数据611，计算与5×5像素的输入像素单位601对应的R信号的低频分量mR。

在滤波器622中，(4/16至1/16)被设置作为滤波器因子。因子(1/16)和(4/16)的设置位置对应于5×5像素的原始输入像素单位601中的R像素位置。因子(2/16)的设置位置对应于5×5像素的原始输入像素单位601中的W像素位置，并且对应于第二临时像素设置单元(RBonWaroundRB)206估计R像素值的位置。

类似地，通过将图29中示出的滤波器623应用于设置了第二临时像素设置单元(RBonWaroundRB)206算出的B像素值估计值的数据612，计算与5×5像素的输入像素单位601对应的B信号的低频分量mB。

在滤波器622中，(4/16至1/16)被设置作为滤波器因子。因子(1/16)和(4/16)的设置位置对应于5×5像素的原始输入像素单位601中的B像素位置。因子(2/16)的设置位置对应于5×5像素的原始输入像素单位601 中的W像素位置，并且对应于第二临时像素设置单元(RBonWaroundRB)206估计B像素值的位置。

第四像素内插参数计算单元(RBonRBofHV)207以此方式获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。

接下来，第四像素内插参数计算单元(RBonRBofHV)207根据5×5像素的输入像素单位601中的边缘方向，估计位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的W像素值。从边缘检测单元209输入边缘方向信息。

通过比较从边缘检测单元209输入的dirH(水平梯度信息)和dirV(垂直梯度信息)的幅值，确定5×5像素的输入像素单位601中的边缘方向是水平方向还是垂直方向，或者是无法识别边缘方向的平坦区域。例如，通过利用先前设置的阈值来执行确定处理。应注意，位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602原始是R或B像素。

位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602是R像素或B像素。将参照图30描述该处理。

在5×5像素的输入像素单位601中的边缘方向是水平方向的情况下，

如图30(a)所示，通过应用滤波器631，计算与中心位置处的转换目标像素602水平相邻的两个W像素的像素值的平均值，并且该平均值被设置作为转换目标像素602的W像素值(W_h)。

在5×5像素的输入像素单位601中的边缘方向是垂直方向的情况下，

如图30(b)所示，通过应用滤波器632，计算与中心位置处的转换目标像素602垂直相邻的两个W像素的像素值的平均值，并且该平均值被设置作为转换目标像素602的W像素值(W_v)。

在5×5像素的输入像素单位601是平坦区域的情况下，

如图30(c)所示，通过应用滤波器633，计算与中心位置处的转换目标像素602垂直和水平相邻的四个W像素的像素值的平均值，并且该平均值被设置作为转换目标像素602的W像素值(W_n)。

应注意，在图30的右端，示出了表示成为处理目标的5×5像素的输入像素单位601中的边缘示例的图像视图。

接下来，第四像素内插参数计算单元(RBonRBofHV)207计算与垂直或水平边缘对应的参数作为被应用于将R像素转换为校正的R像素以及将B像素转换为校正的B像素的处理的参数。

首先，计算以下参数作为被应用于将R像素转换为校正的R像素的处理的参数。

RonR(H)＝(mR/mW)(w_h)

RonR(V)＝(mR/mW)(w_v)

RonRn＝(mR/mW)(w_n)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的校正的R像素值的处理：作为位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的R像素位置被转换为R像素。将在稍后的阶段描述混和处理单元211的处理。

计算以下参数作为被应用于将B像素转换为校正的B像素的处理的参数。

BonB(H)＝(mB/mW)(w_h)

BonB(V)＝(mB/mW)(w_v)

BonBn＝(mB/mW)(w_n)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的校正的B像素值的处理：作为位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的B像素位置被转换为B像素。

第四像素内插参数计算单元(RBonRBofHV)207以此方式计算与垂直或水平边缘对应的参数作为被应用于将R像素转换为校正的R像素以及将B像素转换为校正的B像素的处理的参数，即，

RonR(H)＝(mR/mW)(w_h)

RonR(V)＝(mR/mW)(w_v)

RonRn＝(mR/mW)(w_n)

BonB(H)＝(mB/mW)(w_h)

BonB(V)＝(mB/mW)(w_v)

BonBn＝(mB/mW)(w_n)

这些参数要被输出到混和处理单元211。

(3-4-7.第五像素内插参数计算单元(RBonRBofAD)208的处理)

接下来，将描述第五像素内插参数计算单元(RBonRBofAD)208的处理。第五像素内插参数计算单元(RBonRBofAD)208计算与对角线边缘对应的参数作为被应用于将R像素转换为校正的R像素以及将B像素转换为校正的B像素的处理的参数。

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

第五像素内插参数计算单元(RBonRBofAD)208输入与被设置作为转换目标的R或B像素对应的这些边缘信息。

第五像素内插参数计算单元(RBonRBofAD)208首先获得处理单位的5×5像素区域中的W信号的低频分量mW、R信号的低频分量mR以及B信号的低频分量mB。这些计算处理与第四像素内插参数计算单元(RBonRBofHV)207的计算处理类似，并且与之前参照图29描述的处理相同，因此将省略描述。

第五像素内插参数计算单元(RBonRBofAD)208根据5×5像素的输入像素单位601中的边缘方向，估计位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的W像素值。从边缘检测单元209输入边缘方向信息。

通过比较从边缘检测单元209输入的dirA(右斜上方向梯度信息)与dirD(左斜上方向梯度信息)的幅值，确定5×5像素的输入像素单位601中的边缘方向是右斜上方向还是左斜上方向，或者是无法识别边缘方向的平坦区域。例如，通过利用先前设置的阈值来执行确定处理。应注意，位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602原始是R或B像素。

将参照图31描述估计位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的W像素值的处理。

在5×5像素的输入像素单位601中的边缘方向是左斜上方向的情况下，如图31(a)所示，通过应用滤波器641，通过应用从中心位置处的转换目标像素602的左斜上到右斜下方向的八个W像素的像素值，设置转换目标像素602的W像素值(W_d)。

在5×5像素的输入像素单位601中的边缘方向是右斜上方向的情况下，如图31(b)所示，通过应用滤波器642，通过应用从中心位置处的转换目标像素602的右斜上到左斜下方向的八个W像素的像素值，设置转换目标像素602的W像素值(W_a)。

应注意，在图31的右端，示出了表示成为处理目标的5×5像素的输入像素单位501中的边缘示例的图像视图。

接下来，第五像素内插参数计算单元(RBonRBofAD)208计算与对角线边缘对应的参数作为被应用于将R像素转换为校正的R像素以及将B像素转换为校正的B像素的处理的参数。

RonR(A)＝(mR/mW)(w_a)

RonR(D)＝(mR/mW)(w_d)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的R像素值的处理：作为位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的R像素被转换为校正的R像素。将在稍后的阶段中描述混和处理单元211的处理。

BonB(A)＝(mB/mW)(w_a)

BonB(D)＝(mB/mW)(w_d)

这些参数被输出到混和处理单元211、在混和处理单元211中根据边缘状态经受混和处理、并且被应用于确定如下情况下的B像素值的处理：作为位于5×5像素的输入像素单位601中的中心位置处的转换目标像素602的B像素位置被转换为校正的B像素。

第五像素内插参数计算单元(RBonRBofAD)208以此方式计算被应用于将对角线边缘上的R像素转换为校正的R像素以及将B像素转换为校正的B像素的处理的参数，即，

RonR(A)＝(mR/mW)(w_a)

RonR(D)＝(mR/mW)(w_d)

BonB(A)＝(mB/mW)(w_a)

BonB(D)＝(mB/mW)(w_d)

这些参数要被输出到混和处理单元211。

(3-5.关于混和处理单元的处理)

接下来，将描述混和处理单元211的处理。混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数，并且还输入边缘检测单元209检测到的边缘信息和纹理检测单元210检测到的纹理信息，以计算最终的转换像素值。

从边缘检测单元209输入的边缘信息是以下信息。

dirH：水平梯度信息

dirV：垂直梯度信息

dirA：右斜上方向梯度信息

dirD：左斜上方向梯度信息

输入这些边缘信息(dirH、dirV、dirA以及dirD)。

另外，从纹理检测单元210输入的纹理信息是按照之前描述的表达式(表达式7)算出的以下平坦度权重(weightFlat)信息。

weightFlat(x，y)＝f_flat(W_TX(p))…(表达式7)

应注意，如上所述，在上述表达式(表达式7)中，f_flat(r)可以使用例如图14中示出的线性近似函数。在0＜Th0＜Th1＜1被设置为阈值时，图14中示出的线性近似函数是具有这样设置的线性近似函数。

r＝0至Th0→

r＝Th0至Th1→ 至1.0(线性改变)

r＝大于或等于Th1→

平坦度权重(weightFlat)的值越小，则图像区域具有低平坦度和大纹理的概率越高，而当平坦度权重(weightFlat)的值较大时，图像区域具有高平坦度和小纹理。

混和处理单元211输入这些信息，并且确定用于将RGBW模式转换成RGB模式的最终转换像素值。

将参照图32和图33中描述的流程图来描述混和处理单元211执行的处理序列。

混和处理单元211首先在图32示出的步骤S11中确定像素单位中的边缘方向属性。

混和处理单元211通过使用从边缘检测单元209输入的像素单位中的边缘信息(dirH、dirV、dirA以及dirD)，使用以下确定表达式，来确定像素单位中的边缘方向属性。

首先，如下定义dirHV。

在dirH≤dirV的情况下，

dirHV＝H

在dirH＞dirV的情况下，

dirHV＝V

dirHV是H(水平方向)或V(垂直方向)。

此外，如下定义dirAD。

在dirA≤dirD的情况下，

dirAD＝A

在dirA＞dirD的情况下，

dirAD＝D

dirAD是A(右斜上方向)或D(左斜上方向)。

这些dirHV和dirAD是表示各个像素中的边缘方向的属性信息。

接下来，在图32示出的步骤S12中，根据这些dirHV和dirAD，在按照以下表达式的情况下，混和处理单元211获得垂直水平方向边缘和对角线方向边缘的边缘方向比率(ratioHV)。

在dirA≤dirD的情况下，

ratioHV＝(dirD+offset)/(dirA+offset)

在dirA＞dirD的情况下，

ratioHV＝(dirA+offset)/(dirD+offset)

应注意，上述表达式中的(offset)是非负值，并且是用于避免与零相除并调整检测灵敏度的参数。

此外，通过上述表达式算出的边缘方向比率(ratioHV)通过利用例如图34中示出的函数f_ratio(ratioHV)的非线性化处理计算垂直水平方向边缘方向权重(weightHV)。应注意，阈值Th0(HV_LIMIT0)和Th1(HV_LIMIT1)是用于应用于非线性化处理的调整的参数。

在0＜Th0(HV_LIMIT0)＜Th1(HV_LIMIT1)＜1被设置作为阈值时，图32中示出的线性近似函数f_ratio(r)是具有这样设置的线性近似函数。

r＝0至Th0(HV_LIMIT0)→f_ratio(r)＝0

r＝Th0(HV_LIMIT0)至Th1(HV_LIMIT1)→f_ratio(r)＝0至1.0(线性改变)

r＝Th1(HV_LIMIT1)或更大→f_ratio(r)＝1

应注意，垂直水平方向边缘方向权重(weightHV)表示垂直水平方向边缘相对于对角线方向边缘的强度，其表示当垂直水平方向边缘方向权重(weightHV)的值较大时，垂直水平方向边缘比对角线方向边缘更强，而当垂直水平方向边缘方向权重(weightHV)的值较小时，对角线方向边缘比垂直水平方向边缘更强。

接下来，在图33示出的步骤S13中，混和处理单元211确定用于将RGBW模式转换为RGB模式的最终转换像素值(RGB像素值)。

如之前参照图2描述的，本发明的图像处理设备的数据转换处理单元200执行从RGBW模式181到RGB模式182的转换处理。在该转换处理时，如上所述，执行这五个转换和校正处理：

将W像素位置转换为G像素(估计G像素值)＝(GonW)

将G像素位置转换为R像素(估计R像素值)＝(RonG)

将G像素位置转换为B像素(估计B像素值)＝(BonG)

将R像素位置转换为R像素(校正R像素值)＝(RonR)

将B像素位置转换为B像素(校正B像素值)＝(BonB)。

混和处理单元211确定这些最终转换像素值。

通过以下表达式(表达式11)计算在从W像素位置到G像素的转换处理中设置的G像素值(GonW)。

GonW＝(1-weightFlat)·(GonW(dirHV))+(weightFlat)·(GonWn(dirHV))

……(表达式11)

应注意，在上述表达式(表达式11)中，

GonW(dirHV)，

GonWn(dirHV)

它们是之前描述的第一像素内插参数计算单元(GonW)202算出的内插参数，并且其是如下这些值之一：

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w。。

在dirH≤dirV的情况下，如步骤S11所示，

建立dirHV＝H，并且建立

GonW(dirHV)＝GonW(H)＝(mG_h/mW)w以及

GonWn(dirHV)＝GonWn(H)＝(mG_h/mW)w。

另外，在dirH＞dirV的情况下，如步骤S11所示，

建立dirHV＝V，并且建立

GonW(dirHV)＝GonW(V)＝(mG_v/mW)w以及

GonWn(dirHV)＝GonWn(V)＝(mG_v/mW)w

以此方式，计算在RGBW模式中的W像素位置被转换为G像素的情况下的G像素值(GonW)。

应注意，上述表达式(表达式11)中示出的G像素值(GonW)计算表达式是如下表达式：其通过改变如下这些值的混和比率，根据转换目标像素的平坦度权重(weightFlat)来计算最终转换的G像素值。

(GonW(dirHV))：通过应用对比度强调而算出的转换的G像素值

(GonWn(dirHV))：在不应用对比度强调的情况下算出的转换的G像素值

在平坦区域的情况下，当转换目标像素的平坦度权重(weightFlat) 较大时，等于没有对比度强调的情况下的转换G像素值的(GonWn(dirHV))的混和比率变得较高，而在如下区域的情况下，等于对比度强调之后的转换像素值的(GonW(dirHV))的混合比率变得较高：当平坦度权重(weightFlat)较小时，平坦度较低，并且纹理较大。

以此方式，通过根据转换目标像素的平坦度来改变混和比率，确定最终的G像素值(GonW)。

接下来，将描述在将RGBW模式中的G像素位置转换为R像素的处理中的R像素值(RonG)的计算处理。

首先，在按照以下表达式(表达式21)和(表达式22)的情况下，获得与垂直水平方向边缘对应的转换像素值(RonG_hv)和与对角线方向边缘对应的转换像素值(RonG_ad)。

RonG_hv＝(1-weightFlat)·(RonG(dirHV))+(weightFlat)·(RonGn)

……(表达式21)

RonG_ad＝(RonG(dirAD))

……(表达式22)

此外，在按照以下表达式(表达式23)的情况下，通过对经由上述表达式(表达式21)和(表达式22)算出的(RonG_hv)和(RonG_ad)执行混和处理，来计算最终的R像素值(RonG)。

RonG＝(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

……(表达式23)

以此方式，执行RGBW模式中的G像素位置被转换为R像素的情况下的R像素值(RonG)的计算处理。

将描述上述表达式。

在上述表达式(表达式21)中，

RonG(dirHV)，

RonGn

它们是之前描述的第二像素内插参数计算单元(RBonGofHV)204算出的内插参数，并且是以下被应用于将垂直或水平边缘上的G像素转换为R像素的处理的参数。

RonG(H)＝(mR/mW)(w_h)

RonG(V)＝(mR/mW)(w_v)

RonGn＝(mR/mW)(w_n)

在dirH≤dirV的情况下，如步骤S11所示，

建立dirHV＝H，并且

RonG(dirHV)＝RonG(H)＝(mR/mW)(w_h)，以及

另外，在dirH＞dirV的情况下，如步骤S11所示，

建立dirHV＝V，并且建立

RonG(dirHV)＝RonG(V)＝(mR/mW)(w_v)。

另外，在上述表达式(表达式22)中，

RonG(dirAD)

这是第三像素内插参数计算单元(RBonGofAD)205算出的内插参数，并且是以下被应用于将对角线方向边缘上的G像素转换为R像素的处理的参数。

RonG(A)＝(mR/mW)(w_a)

RonG(D)＝(mR/mW)(w_d)

在dirA≤dirD的情况下，如步骤S11所示，

建立dirAD＝A，并且

RonG(dirAD)＝RonG(A)＝(mR/mW)(w_a)，以及

另外，在dirA＞dirD的情况下，如步骤S11所示，

建立dirAD＝D，并且建立

RonG(dirAD)＝RonG(D)＝(mR/mW)(w_d)。

表达式(表达式21)是如下计算表达式：其用于根据转换目标像素的垂直水平方向的边缘信息和平坦度权重(weightFlat)，计算依赖于垂直水平方向边缘的R像素值(RonG_hv)。

在平坦区域的情况下，当转换目标像素的平坦度权重(weightFlat)较大时，通过利用通过应用之前描述的图25(c)中示出的滤波器533算出的W像素值(w_n)而估计的R像素值，即，

RonGn＝(mR/mW)(w_n)

该值的权重增大。

另一方面，在转换目标像素的平坦度权重(weightFlat)较小、平坦度较低、并且纹理较大的区域的情况下，通过利用通过应用之前描述的图25(a)或25(b)中示出的滤波器531或532算出的W像素值(w_h)或(w_v)而估计的R像素值，即，

RonG(H)＝(mR/mW)(w_h)

RonG(V)＝(mR/mW)(w_v)

这些值的权重增加。

应注意，对于RonG(dirHV)的值，

在水平方向边缘的情况下，建立dirH≤dirV，并且应用如下值：通过利用通过应用之前描述的图25(a)中示出的滤波器531算出的W像素值(w_h)而估计的R像素值，即，

RonG(dirHV)＝RonG(H)＝(mR/mW)(w_h)。

另外，在垂直方向边缘的情况下，建立dirH＞dirV，并且应用如下值：通过利用通过应用之前描述的图25(b)中示出的滤波器532算出的W像素值(w_v)而估计的R像素值，即，

RonG(dirHV)＝RonG(H)＝(mR/mW)(w_v)。

以此方式，表达式(表达式21)是如下计算表达式：其用于根据转换目标像素的垂直水平方向边缘信息和平坦度权重(weightFlat)，计算依赖于垂直水平方向边缘的R像素值(RonG_hv)。

表达式(表达式22)是：

RonG_ad＝(RonG(dirAD))

并且是用于选择以下被应用于如下处理的参数的表达式：该处理将第三像素内插参数计算单元(RBonGofAD)205算出的内插参数对角线方向边缘上的G像素转换为R像素，即，

RonG(A)＝(mR/mW)(w_a)

RonG(D)＝(mR/mW)(w_d)

选择如下这些值：

在dirA＞dirD的情况下，通过利用通过应用之前描述的图26(a)中示出的滤波器541算出的W像素值(w_d)而估计的R像素值，即，

RonG(dirAD)＝RonG(D)＝(mR/mW)(w_d)，并且

在dirA≤dirD的情况下，通过利用通过应用之前描述的图26(b)中示出的滤波器542算出的W像素值(w_a)而估计的R像素值，即，

RonG(dirAD)＝RonG(A)＝(mR/mW)(w_a)，

以此方式，表达式(表达式22)是如下计算表达式：其用于根据转换像素的对角线方向边缘方向信息，计算依赖于对角线方向边缘的R像素值(RonG_hv)。

混和处理单元211此外在按照以下表达式(表达式23)的情况下，对通过上述表达式(表达式21)和(表达式22)算出的(RonG_hv)和(RonG_ad)执行混和处理，以计算最终的R像素值(RonG)。

RonG＝(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

上述表达式(表达式23)是用于通过根据在步骤S12中算出的垂直水平方向边缘方向权重(weightHV)而混和如下像素值来计算最终的R像素值(RonG)的计算表达式：

通过表达式21算出的、依赖于垂直水平方向边缘的R像素值(RonG_hv)，以及

通过表达式22算出的、依赖于对角线方向边缘的R像素值(RonG_ad)。

如之前所述，垂直水平方向边缘方向权重(weightHV)表示垂直水平方向边缘相对于对角线方向边缘的强度，并且表示当垂直水平方向边缘方向权重(weightHV)的值较大时，垂直水平方向边缘比对角线方向边缘更强，而当垂直水平方向边缘方向权重(weightHV)的值较小时，对角线方向边缘比垂直水平方向边缘更强。

因此，在表达式(表达式23)中，在垂直水平方向边缘较强且垂直水平方向边缘方向权重(weightHV)的值较大的情况下，

通过表达式21算出的、依赖于垂直水平方向边缘的R像素值(RonG_hv)的权重被设置得较大。

另外，在对角线方向边缘较强且垂直水平方向边缘方向权重 (weightHV)的值较小的情况下，

通过表达式22算出的、依赖于对角线方向边缘的R像素值(RonG_ad)的权重被设置得较大。

以此方式，通过根据转换目标像素的边缘方向改变混和比率，来确定最终的R像素值(RonG)。

接下来，将描述用于在将RGBW模式中的G像素位置转换为B像素的处理中的B像素值(BonG)的计算处理。

混和处理单元211在按照以下表达式(表达式31)和(表达式32)的情况下，首先获得与垂直水平方向边缘对应的转换像素值(BonG_hv)和与对角线方向边缘对应的转换像素值(BonG_ad)。

BonG_hv＝(1-weightFlat)·(BonG(dirHV))+(weightFlat)·(BonGn)

……(表达式31)

BonG_ad＝(BonG(dirAD))

……(表达式32)

此外，在按照以下表达式(表达式33)的情况下，对通过上述表达式(表达式31)和(表达式32)算出的(BonG_hv)和(BonG_ad)执行混和处理，以计算最终的B像素值(BonG)。

BonG＝(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad

……(表达式33)

以此方式，执行用于在RGBW模式中的G像素位置被转换为B像素的情况下的B像素值(BonG)的计算处理。

这些表达式31至33是如下表达式：其中，上述表达式21至23(即，被应用于RGBW模式中的G像素位置被转换成R像素的情况下针对R像素值(RonG)的计算处理的表达式)中的R被改变成B，并且除了将R变成B之外，该处理是类似处理。

在上述表达式(表达式31)中，

BonG(dirHV)，

BonGn

它们是之前描述的第二像素内插参数计算单元(RBonGofHV)204 算出的内插参数，并且是以下被应用于将垂直或水平边缘上的G像素转换为B像素的处理的参数。

BonG(H)＝(mB/mW)(w_h)

BonG(V)＝(mB/mW)(w_v)

BonGn＝(mB/mW)(w_n)

另外，在上述表达式(表达式32)中，

BonG(dirAD)

BonG(A)＝(mB/mW)(w_a)

BonG(D)＝(mB/mW)(w_d)

上述表达式(表达式33)是用于通过根据经由步骤S12算出的垂直水平方向边缘方向权重(weightHV)混和如下像素值来计算最终的B像素值(BonG)的表达式：

通过表达式31算出的、依赖于垂直水平方向边缘的B像素值(BonG_hv)，以及

通过表达式32算出的、依赖于对角线方向边缘的B像素值(BonG_ad)。

在表达式(表达式33)中，在垂直水平方向边缘较强且垂直水平方向边缘方向权重(weightHV)的值较大的情况下，

通过表达式31算出的、依赖于垂直水平方向边缘的B像素值(BonG_hv)的权重被设置得较大。

另外，在对角线方向边缘较强且垂直水平方向边缘方向权重(weightHV)的值较小的情况下，

通过表达式32算出的、依赖于对角线方向边缘的B像素值(BonG_ad)的权重被设置得较大。

以此方式，通过根据转换目标像素的边缘方向改变混和比率来确定最终的B像素值(BonG)。

接下来，将描述用于将RGBW模式中的R像素位置转换(校正)为R像素的处理中的R像素值(RonR)的计算处理。

混和处理单元211在按照以下表达式(表达式41)和(表达式42)的情况下，首先获得垂直水平方向边缘对应转换像素值(RonR_hv)和对角线方向边缘对应转换像素值(RonR_ad)。

RonR_hv＝(1-weightFlat)·(RonR(dirHV))+(weightFlat)·(RonRn)

……(表达式41)

RonR_ad＝(RonR(dirAD))

……(表达式42)

此外，在按照以下表达式(表达式43)的情况下，对通过上述表达式(表达式41)和(表达式42)算出的(RonR_hv)和(RonR_ad)执行混和处理，以计算最终的R像素值(RonR)。

RonR＝(weightHV)·(RonR_hv)+(1-weightHV)RonR_ad

……(表达式43)

以此方式，执行用于在RGBW模式中的R像素位置被转换(校正)为R像素的情况下的R像素值(RonR)的计算处理。

这些表达式41至43是如下表达式：其中，上述表达式21至23(即，被应用于在RGBW模式中的G像素位置被转换成R像素的情况下针对R像素值(RonG)的计算处理的表达式)中的G被改变成R，并且除了将R变成R之外，该处理是类似处理。

在上述表达式(表达式41)中，

RonR(dirHV)，

RonRn

它们是之前描述的第四像素内插参数计算单元(RBonRBofHV)207算出的内插参数，并且是以下被应用于将垂直或水平边缘上的R像素转换为R像素的处理的参数。

RonR(H)＝(mR/mW)(w_h)

RonR(V)＝(mR/mW)(w_v)

RonRn＝(mR/mW)(w_n)

另外，在上述表达式(表达式42)中，

RonR(dirAD)

这是第五像素内插参数计算单元(RBonRBofAD)208算出的内插参数，并且是以下被应用于将对角线方向边缘上的R像素转换为R像素的处理的参数。

RonR(A)＝(mR/mW)(w_a)

RonR(D)＝(mR/mW)(w_d)

上述表达式(表达式43)是用于通过根据经由步骤S12算出的垂直水平方向边缘方向权重(weightHV)混和如下像素值来计算最终的R像素值(RonR)的表达式。

通过表达式41算出的、依赖于垂直水平方向边缘的R像素值(RonG_hv)，以及

通过表达式42算出的、依赖于对角线方向边缘的R像素值(RonG_ad)。

在表达式(表达式43)中，在垂直水平方向边缘较强且垂直水平方向边缘方向权重(weightHV)的值较大的情况下，

通过表达式41算出的、依赖于垂直水平方向边缘的R像素值(RonR_hv)的权重被设置得较大。

通过表达式42算出的、依赖于对角线方向边缘的R像素值(RonR_ad)的权重被设置得较大。

以此方式，通过根据转换目标像素的边缘方向改变混和比率来确定最终的R像素值(RonR)。

接下来，将描述用于将RGBW模式中的B像素位置转换(校正)为B像素的处理中的B像素值(BonB)的计算处理。

混和处理单元211在按照以下表达式(表达式51)和(表达式52)的情况下，首先获得垂直水平方向边缘对应转换像素值(BonB_hv)和对角线方向边缘对应转换像素值(BonB_ad)。

BonB_hv＝(1-weightFlat)·(BonB(dirHV))+(weightFlat)·(BonBn)

……(表达式51)

BonB_ad＝(BonB(dirAD))

……(表达式52)

此外，在按照以下表达式(表达式53)的情况下，对通过上述表达式(表达式51)和(表达式52)算出的(BonB_hv)和(BonB_ad)执行混和处理，以计算最终的B像素值(BonB)。

BonB＝(weightHV)·(BonB_hv)+(1-weightHV)BonB_ad

……(表达式53)

以此方式，执行用于在RGBW模式中的B像素位置被转换(校正)为B像素的情况下的B像素值(BonB)的计算处理。

这些表达式51至53是如下表达式：其中，上述表达式41至43(即，被应用于RGBW模式中的R像素位置被转换成R像素的情况下针对R像素值(RonR)的计算处理的表达式)中的R被改变成B，并且除了将R变成B之外，该处理是类似处理。

在上述表达式(表达式51)中，

BonB(dirHV)，

BonBn

它们是之前描述的第四像素内插参数计算单元(RBonRBofHV)207算出的内插参数，并且是以下被应用于将垂直或水平边缘上的B像素转换为B像素的处理的参数。

BonB(H)＝(mB/mW)(w_h)

BonB(V)＝(mB/mW)(w_v)

BonBn＝(mB/mW)(w_n)

另外，在上述表达式(表达式52)中，

BonB(dirAD)

这是第五像素内插参数计算单元(RBonRBofAD)208算出的内插参数，并且是以下被应用于将对角线方向边缘上的B像素转换为B像素的处理的参数。

BonB(A)＝(mB/mW)(w_a)

BonB(D)＝(mB/mW)(w_d)

上述表达式(表达式53)是用于通过根据经由步骤S12算出的垂直水平方向边缘方向权重(weightHV)混和如下像素值来计算最终的B像素值(BonB)的表达式。

通过表达式51算出的、依赖于垂直水平方向边缘的B像素值(BonG_hv)，以及

通过表达式52算出的、依赖于对角线方向边缘的B像素值(BonG_ad)。

在表达式(表达式53)中，在垂直水平方向边缘较强且垂直水平方向边缘方向权重(weightHV)的值较大的情况下，

通过表达式51算出的、依赖于垂直水平方向边缘的B像素值(BonB_hv)的权重被设置得较大。

通过表达式52算出的、依赖于对角线方向边缘的B像素值(BonB_ad)的权重被设置得较大。

以此方式，通过根据转换目标像素的边缘方向改变混和比率来确定最终的B像素值(BonB)。

如上所述，混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数，并且还输入边缘检测单元209检测到的边缘信息和纹理检测单元210检测到的纹理信息，以计算最终的转换像素值。即，确定从RGBW模式到RGB模式的转换处理中的以下转换像素值。

当将W像素位置转换为G像素(估计G像素值)时的G像素值(GonW)

当将G像素位置转换为R像素(估计R像素值)时的R像素值(RonG)

当将G像素位置转换为B像素(估计B像素值)时的B像素值(BonG)

当将R像素位置转换为R像素(校正R像素值)时的R像素值(RonR)

当将B像素位置转换为B像素(校正B像素值)时的B像素值(BonB)。

确定这五个转换和校正像素值。

混和处理单元211根据与转换目标像素对应的边缘信息(即，边缘强度和边缘方向)，确定第一至第五像素内插参数计算单元生成的像素内插参数的混和比率，以计算最终像素值。以下将共同表示对各个像素值的计算表达式。

GonW＝(1-weightFlat)·(GonW(dirHV))+(weightFlat)·(GonWn(dirHV))

RonG＝(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

BonG＝(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad

RonR＝(weightHV)·(RonR_hv)+(1-weightHV)RonR_ad

BonB＝(weightHV)·(BonB_hv)+(1-weightHV)BonB_ad

[4.图像处理设备的数据转换处理单元执行的重排马赛克处理序列]

接下来，参照图35中示出的流程图，将描述图像处理设备的数据转换处理单元执行的重排马赛克处理序列。图35中示出的流程图是如下流程图：其示出了在图5示出的图像处理设备中执行的、从RGBW模式到RGB模式的转换处理(即，重排马赛克处理)的整个序列。这是至此描述的全部处理的序列。应注意，可以在例如图5中示出的图像处理设备的控制单元140执行存储在存储器130中的程序并且控制各个处理单元的情况下执行图35中示出的流程。

将描述图35中示出的流程图中的各个步骤。

首先，在步骤S101中，通过应用包括在RGBW模式中的W像素，确定边缘方向。

该处理是由图6中示出的边缘检测单元209执行的处理。如之前所述，边缘检测单元209利用输入的RGBW模式的信号当中的白(W)信号来确定边缘方向和边缘强度。

边缘检测单元209通过边缘检测处理计算与像素对应的边缘信息(dirH、dirV、dirA以及dirD)，以输出到混和处理单元211和多个像素内插参数计算单元。

接下来，在步骤S102中，通过应用包括在RGBW模式中的W像素来执行纹理检测处理。

该处理是由图6中示出的纹理检测单元210执行的处理。如之前所述，纹理检测单元210利用输入的RGBW模式的信号当中的白(W)信号来计算像素对应纹理信息，具体地为平坦度权重(weightFlat)。

weightFlat(x，y)＝f_flat(W_TX(p))

f_flat(r)是例如图14中示出的线性近似函数，并且计算具有这样设置的平坦度权重(weightFlat)以输出到混和处理单元211。

r＝0至Th0→f_flat(r)＝0

r＝Th0至Th1→f_flat(r)＝0至1.0(线性改变)

r＝大于或等于Th1→f_flat(r)＝1

接下来，在步骤S103中，对输入像素单位的中心处的W像素执行噪声去除。

该处理是图6中示出的噪声去除单元201的处理。如之前所述，噪声去除单元201对位于输入像素单位的中心处的W像素执行噪声去除。

如之前参照图7描述的，噪声去除单元201例如通过应用双边滤波器，在W像素被设置在输入像素单位(5×5像素)的中心的情况下，按照上述表达式(表达式1)计算噪声降低像素值I_NR(p)。算出的噪声降低W像素值(I_NR(p))被输出到图6中示出的第一像素内插参数计算单元(GonW)202。

接下来，在图像S104中，计算被应用于将RGBW模式中的W像素转换为G像素的内插参数。

该处理是图6中示出的第一像素内插参数计算单元(GonW)202的处理。

第一像素内插参数计算单元(GonW)202计算以下参数作为用于将RGBW模式中的W像素转换为G像素的内插参数。

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w

在上述表达式中，设置如下：

mG：输入像素单位中的G信号的低频分量

mW：输入像素单位中的W信号的低频分量

w：输入像素单位的中心处的W像素的像素值

应注意，对于mG，如之前参照图16和图17描述的，根据输入像素单位中的中心处的W像素的G像素的相邻位置和边缘方向，通过应用具有不同因子设置的滤波器，计算mG_v或mG_h作为G信号的低频分量。

在上述(a)至(d)中，

(a)GonW(H)＝(mG_h/mW)w

(b)GonW(V)＝(mG_v/mW)w

它们是要通过应用对比度强调算出的值。

(c)GonWn(H)＝(mG_h/mW)w

(d)GonWn(V)＝(mG_v/mW)w

它们是要在不应用对比度强调的情况下算出的值。

这些参数(a)至(d)是被应用于将RGBW模式中的W像素转换为G像素的内插参数并且被输出到混和处理单元211。

接下来，在步骤S105中，根据R/W和B/W相关性内插与G像素相邻的W位置处的R和B。

该处理是图6中示出的第一临时像素设置单元(RBonWaroundG)203的处理。

如之前参照图23描述的，第一临时像素设置单元(RBonWaroundG)203估计在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值和B像素值。可以如下估计图23中示出的在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的R像素值(R_xy′＝R₁₂′，R₂₁′，R₃₂′，以及R₂₃′)。

R₁₂′＝(mR′/mW)w₁₂，

R₂₁′＝(mR′/mW)w₂₁，

R₃₂′＝(mR′/mW)w₃₂，

R₂₃′＝(mR′/mW)w₂₃，

应注意，w₁₂、w₂₁、w₃₂以及w₂₃是图中示出的在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的W像素值。

类似地，可以如下估计图23中示出的、在位于5×5像素的输入像素单位501中的中心处的转换目标像素502的周围相邻的W像素位置处的B像素值(B_xy′＝B₁₂′，B₂₁′，B₃₂′，以及B₂₃′)。

B₁₂′＝(mB′/mW)w₁₂，

B₂₁′＝(mB′/mW)w₂₁，

B₃₂′＝(mB′/mW)w₃₂，

B₂₃′＝(mB′/mW)w₂₃，

应注意，设置如下：

mW：输入像素单位中的W信号的低频分量

w：输入像素单位中的中心处的W像素的像素值

mR′：通过应用设置在与RB像素相邻的W像素位置处的临时R像素(R′)而算出的R信号的低频分量

mB′：通过应用设置在与RB像素相邻的W像素位置处的临时B像素(B′)而算出的B信号的低频分量。

接下来，在步骤S106中，通过利用R/W和B/W相关性来内插垂直水平方向上的G位置处的R和B。

该处理是图6中示出的第二像素内插参数计算单元(RBonGofHV)204的处理。第二像素内插参数计算单元(RBonGofHV)204执行被应用于如下处理的参数的计算处理：该处理将主要在垂直或水平边缘上的G像素转换为R像素或B像素。

第二像素内插参数计算单元(RBonGofHV)204计算被应用于将垂直或水平边缘上的G像素转换为R像素或B像素的处理的参数，即，

RonG(H)＝(mR/mW)(w_h)

RonG(V)＝(mR/mW)(w_v)

RonGn＝(mR/mW)(w_n)

BonG(H)＝(mB/mW)(w_h)

BonG(V)＝(mB/mW)(w_v)

BonGn＝(mB/mW)(w_n)

这些参数要被输出到混和处理单元211。

应注意，

mR：输入像素单位中的R信号的低频分量

mB：输入像素单位中的BR信号的低频分量

mW：输入像素单位中的W信号的低频分量

如之前参照图25描述的，(w_h)、(w_v)以及(w_n)是通过应用根据边缘方向选择的滤波器算出的、设置在输入像素单位中的中心像素位置处的W像素值。

接下来，在步骤S107中，通过利用R/W和B/W相关性来内插对角线方向上的G位置处的R和B。

该处理是图6中示出的第三像素内插参数计算单元(RBonGofAD)205的处理。第三像素内插参数计算单元(RBonGofAD)205执行被应用于如下处理的参数的计算处理：该处理将对角线边缘上的G像素转换为R像素或B像素。

第三像素内插参数计算单元(RBonGofAD)205计算被应用于将对角线边缘上的G像素转换为R像素或B像素的处理的参数，即，

RonG(A)＝(mR/mW)(w_a)

RonG(D)＝(mR/mW)(w_d)

BonG(A)＝(mB/mW)(w_a)

BonG(D)＝(mB/mW)(w_d)

这些参数要被输出到混和处理单元211。

接下来，在步骤S108中，通过利用R/W和B/W相关性，内插与R和B像素相邻的W位置处的R和B。

该处理是图6中示出的第二临时像素设置单元(RBonWaroundRB)206的处理。

接下来，如之前参照图28描述的，第二临时像素设置单元 (RBonWaroundRB)206估计在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值和B像素值。

可以如下估计图28中示出的、在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的R像素值(R_xy′＝R₁₂′，R₂₁′，R₃₂′，以及R₂₃′)。

R₁₂′＝(mR′/mW)w₁₂，

R₂₁′＝(mR′/mW)w₂₁，

R₃₂′＝(mR′/mW)w₃₂，

R₂₃′＝(mR′/mW)w₂₃，

类似地，可以如下估计图28中示出的、在位于5×5像素的输入像素单位601中的中心处的转换目标像素602的周围相邻的W像素位置处的B像素值(B_xy′＝B₁₂′，B₂₁′，B₃₂′，以及B₂₃′)。

B₁₂′＝(mB′/mW)w₁₂，

B₂₁′＝(mB′/mW)w₂₁，

B₃₂′＝(mB′/mW)w₃₂，

B₂₃′＝(mB′/mW)w₂₃，

接下来，在步骤S109中，通过利用R/W和B/W相关性，内插垂直水平方向上的R和B位置处的R和B。该处理是图6中示出的第四像素内插参数计算单元(RBonRBofHV)207的处理。第四像素内插参数计算单元(RBonRBofHV)207执行作为被应用于如下处理的参数的以下参数的计算处理：该处理将垂直或水平边缘上的R像素转换为校正的R像素以及将B像素转换为校正的B像素。

RonR(H)＝(mR/mW)(w_h)

RonR(V)＝(mR/mW)(w_v)

RonRn＝(mR/mW)(w_n)

BonB(H)＝(mB/mW)(w_h)

BonB(V)＝(mB/mW)(w_v)

BonBn＝(mB/mW)(w_n)

计算这些参数，以输出到混和处理单元211。

接下来，在步骤S110中，通过利用R/W和B/W相关性，内插对角线方向上的R和B位置处的R和B。

该处理是图6中示出的第五像素内插参数计算单元(RBonRBofAD)208的处理。第五像素内插参数计算单元(RBonRBofAD)208执行被应用于如下处理的参数的计算处理：该处理将对角线边缘上的R像素转换为校正的R像素以及将B像素转换为校正的B像素。

RonR(A)＝(mR/mW)(w_a)

RonR(D)＝(mR/mW)(w_d)

BonB(A)＝(mB/mW)(w_a)

BonB(D)＝(mB/mW)(w_d)

这些参数要被输出到混和处理单元211。

接下来，在步骤S111中，在按照边缘方向属性的情况下执行混和处理，以确定构成RGBW模式转换后的RGB模式的RGB像素值。该处理是图6中示出的混和处理单元211的处理。

混和处理单元211输入第一至第五像素内插参数计算单元生成的像素内插参数并且还输入边缘检测单元209检测到的边缘信息和纹理检测单元210检测到的纹理信息，以计算最终的转换像素值。

混合处理单元211根据与转换目标像素对应的边缘信息(即，边缘强度和边缘方向)来确定第一至第五像素内插参数计算单元生成的像素内插参数的混合比率，以计算最终像素值。该处理是参照图32和图33中描述的流程描述的处理。将在以下共同表示各个转换目标像素值的计算表达式。

GonW＝(1-weightFlat)·(GonW(dirHV))+(weightFlat)·(GonWn(dirHV))

RonG＝(weightHV)·(RonG_hv)+(1-weightHV)RonG_ad

BonG＝(weightHV)·(BonG_hv)+(1-weightHV)BonG_ad

RonR＝(weightHV)·(RonR_hv)+(1-weightHV)RonR_ad

BonB＝(weightHV)·(BonB_hv)+(1-weightHV)BonB_ad

以此方式，在根据本发明的图像处理设备中，每个内插参数计算单元执行根据与转换像素对应的边缘方向来改变所应用的像素位置的内插处理并且生成与内插像素值等同的参数。此外，混和处理单元输入各个内插参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息而改变参数计算单元算出的参数的混和比率，执行混和处理并且确定转换像素值。通过这些处理，可以生成其中可以生成具有较少假彩色的高质量彩色图像的RGB模式数据。

在以上中，参照特定实施例，详细描述了本发明。然而，明显的是，本领域技术人员可以在不背离本发明的要旨的范围内实现实施例的变型和替选。即，本发明是以示例方式公开的并且不应以限制方式来解释。为了确定本发明的要旨，应该考虑权利要求部分。

另外，在说明书中描述的系列处理可以通过硬件或软件或者二者的组合来执行。在通过软件执行处理的情况下，可能的是，记录处理序列的程序被安装到包括在专用硬件中的计算机的存储器中并且被执行，或者程序安装在能够执行各种处理的通用计算机中并且被执行。例如，程序可以预先记录在记录介质上。除了从记录介质安装到计算机中之外，程序可以经由诸如LAN(局域网)或因特网的网络来接收并且被安装到诸如内置硬盘的记录介质中。

应注意，说明书中描述的各种处理不仅以按照描述的时间序列方式来执行，而且可以根据执行处理的设备的处理性能或在请求时以并行方式或单独地而执行。另外，本说明书中的系统是多个设备的逻辑集合配置，并且各个配置的设备不限于在同一外壳中的设备。

工业适用性

如上所述，根据本发明的实施例的配置，可以通过输入包括白(W：White)的、例如具有RGBW类型滤色器的图像获取元件(图像传感器)的获得数据，生成用于生成具有较少假彩色的高质量彩色图像的RGB模式数据。具体地，边缘检测单元对RGBW模式的图像获取元件的输出信号进行分析，以获得与各个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行根据转换像素的边缘方向改变所应用的像素位置的内插处理，以生成与内插像素值等同的参数。在混和处理单元中，输入参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息而改变参数计算单元算出的参数的混和比率，执行混和处理，并且确定转换像素值。通过这些处理，可以生成RGB模式数据，该数据用于生成具有较少假彩色的高质量彩色图像。

附图标记列表

100图像获取设备

105光学透镜

110图像获取元件(图像传感器)

120信号处理单元

130存储器

140控制单元

181RGBW模式

182RGB模式

183彩色图像

200数据转换处理单元

201噪声去除处理单元

202第一像素内插参数计算单元(GonW)

203第一临时像素设置单元(RBonWaroundG)

204第二像素内插参数计算单元(RBonGofHV)

205第三像素内插参数计算单元(RBonGofAD)

206第二临时像素设置单元(RBonWaroundRB)

207第四像素内插参数计算单元(RBonRBofHV)

208第五像素内插参数计算单元(RBonRBofAD)

209边缘检测单元

210纹理检测单元

211混和处理单元

Claims

1.一种图像处理设备，包括数据转换处理单元，所述数据转换处理单元通过对二维像素阵列信号进行分析来执行像素转换，在所述二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式来布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中，其中，作为所述亮度信号的主分量的颜色是白色或绿色，

其中，所述数据转换处理单元包括：

边缘检测单元，其通过对所述二维像素阵列信号进行分析来生成边缘信息；

纹理检测单元，其通过对所述二维像素阵列信号进行分析来生成纹理信息，其中，所述纹理检测单元被配置成通过对由RGB像素和白W像素构成的RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；

参数计算单元，其通过对所述二维像素阵列信号进行分析来计算应用于像素转换处理的参数；以及

混和处理单元，其输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。

2.根据权利要求1所述的图像处理设备，

其中，所述边缘检测单元被配置成通过对所述RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；以及

所述参数计算单元被配置成计算用于将RGBW模式转换成RGB模式的参数，并且生成与通过内插处理算出的内插像素值等同的参数，在所述内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置。

3.根据权利要求2所述的图像处理设备，

其中，所述参数计算单元具有通过内插处理生成参数的配置，在所述内插处理中，应用于所述内插处理的像素位置被设置为沿边缘方向的像素位置。

4.根据权利要求2或3所述的图像处理设备，

其中，所述参数计算单元具有通过内插处理生成参数的配置，所述内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性。

5.根据权利要求2或3所述的图像处理设备，还包括：

临时像素设置单元，其通过内插处理对于W像素位置设置RGB像素之一的像素值，所述内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性，

其中，所述参数计算单元具有通过应用所述临时像素设置数据的内插处理来生成参数的配置。

6.根据权利要求2或3所述的图像处理设备，

其中，所述参数计算单元生成与通过内插处理算出的内插像素值等同的多个参数，在所述内插处理中，根据垂直、水平、左斜上以及右斜上四种类型的边缘方向，将所应用的像素位置设置在沿边缘方向的像素位置，并且

其中，所述混和处理单元在垂直、水平、左斜上以及右斜上四种类型的边缘方向当中执行强度比较，并且执行根据比较结果来改变所述多个参数的混和比率的混和处理。

7.根据权利要求2或3所述的图像处理设备，

其中，所述混和处理单元计算与转换像素对应的垂直水平方向边缘和对角线方向边缘的边缘方向比率ratioFlat，并且还基于所述边缘方向比率ratioFlat计算垂直水平方向边缘方向权重weightHV，随着值越大，所述垂直水平方向边缘方向权重weightHV表示所述垂直水平方向边缘比所述对角线方向边缘越强，而随着值越小，所述垂直水平方向边缘方向权重weightHV表示所述对角线方向边缘比所述垂直水平方向边缘越强，并且

在与转换像素对应的所述垂直水平方向边缘比所述对角线方向边缘更强的情况下，通过增加在边缘方向被设置为垂直或水平方向时算出的参数的混和比率来执行混和处理，以及

在与转换像素对应的所述垂直水平方向边缘比所述对角线方向边缘更弱的情况下，通过增加在边缘方向被设置为对角线方向时算出的参数的混和比率来执行所述混和处理。

8.根据权利要求2或3所述的图像处理设备，

其中，所述纹理检测单元计算与各个像素对应的平坦度权重weightFlat作为所述纹理信息，随着值越高，所述平坦度权重weightFlat表示像素区域中纹理越小及平坦度越高，而随着值越低，所述平坦度权重weightFlat表示像素区域中纹理越大及平坦度越低，

其中，所述参数计算单元计算对内插像素值执行对比度强调处理的、对比度强调处理可适用参数，以及不对所述内插像素值执行对比度强调处理的、对比度强调处理非适用参数，并且

其中，所述混和处理单元通过执行以下处理来执行混和处理：

对于具有越大平坦度权重的像素，将所述对比度强调处理非适用参数的混和比率设置得越大，以及

对于具有越小平坦度权重的像素，将所述对比度强调处理可适用参数的混和比率设置得越大。

9.根据权利要求2或3所述的图像处理设备，

其中，所述边缘检测单元具有通过仅利用所述RGBW模式信号的白W像素的分析处理来生成与各个像素对应的边缘信息的配置，并且

通过计算处理目标像素附近的W像素的信号值梯度，生成包括与各个像素对应的边缘方向和强度信息的边缘信息。

10.根据权利要求2或3所述的图像处理设备，

其中，所述纹理检测单元通过仅利用所述RGBW模式信号的白W像素的分析处理，生成表示与各个像素对应的纹理比率的纹理信息。

11.一种在图像处理设备中执行图像信号处理的图像处理方法，所述图像处理方法包括：

边缘检测步骤，其利用边缘检测单元，通过对由RGB像素和白W像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；

纹理检测步骤，其利用纹理检测单元，通过对所述RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；

参数计算步骤，其利用参数计算单元，生成与通过内插处理算出的内插像素值等同的参数，在所述内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置，所述参数计算单元是计算用于将RGBW模式转换为RGB模式的参数的参数计算单元；以及

混和处理步骤，其利用混和处理单元，输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。