CN104247409A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

提供了一种用于对图像中的局部高亮区域中出现的伪色进行伪色校正的装置和方法。在数据转换处理期间为了从RGBW阵列图像生成RGB阵列图像，检测伪色像素；计算低频带信号，该低频带信号与RGBW颜色中的每个颜色对应，并且取决于像素是否是伪色像素而不同；以及通过插值处理对RGBW阵列图像进行转换，以生成RGB阵列图像，所计算的低频带信号被应用于所述插值处理。在插值处理中，基于W低频带信号mW和RGB低频带信号mR、mG和mB在局部区域内具有比例关系的假设，使用低频带信号。在感兴趣像素是伪色像素的情况下，通过应用具有以下系数的低通滤波器来计算低频带信号：在该系数中靠近感兴趣像素的像素值的贡献相对小于更远的像素的像素值的贡献。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明内容涉及图像处理装置、处理图像的方法以及程序，并且特别地涉及用于对图像中出现的伪色(false color)执行校正处理的图像处理装置、处理图像的方法以及程序。

背景技术

例如，当如图1所示通过相机拍摄通过树叶滤过的阳光时，可以看到由点线圆圈围大约的高亮区域h1至h5被上色为绿色或品红色的现象。

图2(a)示出了由RGB像素构成且在许多传统相机中使用的拜耳阵列(Bayer array)。

图2(b)示出了在新近的相机中日益使用的RGBW阵列。每个RGB像素是包括以下滤光器的像素：该滤光器选择性地传送R、G或B的波长区域的光，并且W像素是包括以下滤光器的像素：该滤光器传送几乎所有的RGB波长光的可见光。

当图1中示出的图像(即，像通过树叶滤过的阳光一样，具有大约几个像素的小面积的高亮区域的图像)被相机拍摄时，该相机包括如图2(b)所示的包含W像素的RGBW阵列的成像装置，在作为小的高亮度区域的高亮区域h1至h5中生成伪色，例如绿色或品红色。

在下文中，出现在大约几个像素的小面积的高亮区域中的伪色被称为亮度伪色。

将参照图3(a)和图3(b)来描述出现亮度伪色的原理。

例如，如图3(a)所示，当高亮区域的面积很小并且几乎仅从W像素和G像素来配置高亮区域的像素时，G像素的像素值相对大于周边的R像素和B像素。因此，失去了颜色平衡，并且该区域被上色成绿色。

此外，如图3(b)所示，当高亮区域的面积很小并且几乎从W像素、R像素和B像素来配置高亮区域的像素时，R像素和B像素的像素值相对大于周边的G像素的像素值。因此，失去了颜色平衡，并且该区域被上色成品红色。

如上所述，根据作为高亮度部分的高亮区域中所包括的像素的配置来生成各种模式的伪色，即亮度伪色。

为了减少这样的亮度伪色，使用光学低通滤光器来对伪色出现区域进行校正的处理是有效的。也就是说，处理是为了减少入射到成像装置上的光的高频分量，并且将像素值的极度变化校正为温和变化。然而，该方法使得分辨率降低，导致图像质量的劣化，因此不能够说该方法是合适的方法。

注意，在例如专利文献1(日本专利申请公开号2009-124598)和专利文献2(日本专利申请公开号2006-14261)中描述了用于减少通常被称为紫边(purple fringing)的伪色的技术。

紫边主要是由相机中所包括的透镜的色差(aberration)引起，并且其是出现在高光溢出(blown-out highlight)的高对比度边缘周围的伪色。

然而，上述亮度伪色在不具有高光溢出的像素区域中产生。因此，存在着不能够通过减少紫边的传统处理来解决的一些情况。

引用列表

专利文献

专利文献1：日本专利申请公开号2009-124598

专利文献2：日本专利申请公开号2006-14261

发明内容

本发明要解决的问题

本公开是鉴于上述问题而作出的，并且其目的是提供一种用于检测在大约几个像素的小面积的高亮度区域(高亮区域)中出现的伪色并且进行校正，从而输出高质量的图像的图像处理装置、处理图像的方法以及程序。

此外，在本公开的一个实施方式的配置中，其目的是提供一种用于在去马赛克之前输入包括W(白色)像素的阵列的马赛克图像作为待处理的对象，检测在大约几个像素的小面积的高亮度区域(高亮区域)中出现的伪色，并且进行校正，从而输出高质量的图像的图像处理装置、处理图像的方法以及程序。

问题的解决方案

根据本公开的第一方面，提供有一种图像处理装置，包括：

数据转换处理单元，该数据转换处理单元被配置成将RGBW阵列图像作为输入图像，以及生成RGB阵列图像作为输出图像，

该数据转换处理单元包括：

伪色检测单元，该伪色检测单元被配置成检测输入图像中的伪色像素，并且输出检测信息，

低频带信号计算单元，该低频带信号计算单元被配置成输入来自伪色检测单元的所述检测信息，并且根据所述检测信息改变处理方面，以计算与各个RGBW颜色对应的低频带信号，以及

像素插值单元，该像素插值单元被配置成通过像素插值来执行输入图像的RGBW阵列的像素转换，以生成RGB阵列图像，其中由所述低频带信号计算单元计算的低频带信号被应用于所述像素插值，并且

该插值处理单元

基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

此外，根据本公开的图像处理装置的一个实施方式，当从伪色检测单元输入了表明感兴趣像素是伪色像素的检测信息时，低频带信号计算单元应用低通滤波器以计算低频带信号，对于该低通滤波器设置低通滤波器系数，其中使感兴趣像素附近的像素的像素值贡献率相对低于与感兴趣像素分隔开的像素的像素值贡献率。

此外，根据本公开的图像处理装置的一个实施方式，当从伪色检测单元输入了表明感兴趣像素不是伪色像素的检测信息时，低频带信号计算单元应用低通滤波器以计算低频带信号，对于该低通滤波器设置低通滤波器系数，其中使感兴趣像素附近的像素的像素值贡献率相对高于与感兴趣像素分隔开的像素的像素值贡献率。

此外，根据本公开的图像处理装置的一个实施方式，伪色检测单元检测是否存在局部高亮区域，该局部高亮区域是输入图像中的局部高亮度区域，并且当感兴趣像素被包括在局部高亮区域中时，伪色检测单元确定感兴趣像素是伪色像素。

此外，根据本公开的图像处理装置的一个实施方式，伪色检测单元检测感兴趣像素附近的W像素的斜度信息，并且当感兴趣像素附近的W像素值在两个垂直方向上均高于周边的W像素值时，伪色检测单元确定感兴趣像素被包括在作为局部高亮度区域的局部高亮区域中，并且感兴趣像素是伪色像素。

此外，根据本公开的图像处理装置的一个实施方式，伪色检测单元(a)基于设置在感兴趣像素附近的多个右下对角线上的多个W像素的像素值来计算与各个线对应的W像素低频分量信号，并且执行差值Diff1与阈值Thr1之间的比较处理，所述差值Diff1是靠近感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及(b)基于设置在感兴趣像素附近的多个右上对角线上的多个W像素的像素值来计算与各个线对应的W像素低频分量信号，并且执行差值Diff2与阈值Thr2之间的比较处理，所述差值Diff2是靠近感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及作为上述(a)和(b)这两种情况的比较结果，当在这两种情况下差值均大于阈值时，伪色检测单元确定感兴趣像素是伪色像素。

注意，阈值Thr1和阈值Thr2可以是固定值，可以是由用户设定的值，或者可以被自动计算。

此外，根据本公开的图像处理装置的一个实施方式，伪色检测单元检测在W像素和G像素集中在局部高亮区域中时出现的伪色，或者在W像素、R像素和B像素集中在局部高亮区域中时出现的伪色，所述局部高亮区域是输入图像中的局部高亮度区域。

此外，根据本公开的图像处理装置的一个实施方式，伪色检测单元从输入图像中检测具有高像素值的W像素；将所检测的具有高像素值的W像素的配置模式与登记的高亮区域模式进行比较，所述登记的高亮区域模式是预先记录在存储器中的局部高亮度区域的形状；以及当所检测的具有高像素值的W像素的配置模式与登记的高亮区域模式相匹配时，确定在具有高像素值的W像素的配置模式中包括的像素是伪色像素。

此外，根据本公开的图像处理装置的一个实施方式，低频带信号计算单元应用低通滤波器来计算所述低频带信号，对于所述低通滤波器设置低通滤波器系数，其中根据被伪色检测单元确定为与具有高像素值的W像素的配置模式相匹配的登记的高亮区域模式，使高亮区域的像素值贡献率相对低于在高亮区域以外的像素的像素值贡献率。

此外，根据本公开的第二方面，提供有在图像处理装置中执行的处理图像的方法，所述方法包括：

由数据转换处理单元执行将RGBW阵列图像作为输入图像，并且生成RGB阵列图像作为输出图像的数据转换处理，

在数据转换处理中，执行：

检测输入图像的伪色像素，并且输出检测信息的伪色检测处理，

输入检测信息，并且根据检测信息改变处理方面，以计算与各个RGBW颜色对应的低频带信号的低频带信号计算处理，以及

通过像素插值来执行输入图像的RGBW阵列的像素转换，以生成RGB阵列图像的像素插值处理，所述低频带信号被应用于所述像素插值，并且

在插值处理中，

基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

此外，根据本公开的第三方面，提供有一种用于使得图像处理装置执行图像处理的程序，该图像处理包括：

使数据转换处理单元执行将RGBW阵列图像作为输入图像，并且生成RGB阵列图像作为输出图像的数据转换处理步骤，

在所述数据转换处理步骤中，使数据转换处理单元执行：

检测输入图像的伪色像素，并且输出检测信息的伪色检测处理，

输入检测信息，并且根据检测信息改变处理方面，以计算与各个RGBW颜色对应的低频带信号的低频带信号计算处理，以及

通过像素插值来执行输入图像的RGBW阵列的像素转换，以生成RGB阵列图像的像素插值处理，所述低频带信号被应用于所述像素插值，并且

在插值处理中，基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

注意，本公开内容的程序是能够被提供有存储介质或通信介质的程序，该存储介质或通信介质被以计算机可读的形式提供给能够执行各种程序代码的信息处理装置或计算机系统。以计算机可读的形式提供这种程序，因此可以在信息处理装置或计算机系统中实现根据该程序的处理。

通过下文基于本公开内容的实施方式和附图的更详细的说明，本公开内容的其他目的、特征和优点将变得清晰。注意，本说明书中的系统是多个装置的逻辑集合配置，并且不限于各个配置的装置被包括在相同的壳体内的配置。

发明的效果

根据本公开的一个实施方式的配置，可以实现对出现在图像的局部高亮区域中的伪色进行校正的装置和方法。

具体地，在从RGBW阵列图像生成RGB阵列图像的数据转换处理中检测伪色；与各个RGBW颜色对应的低频带信号根据像素是否是伪色像素而不同；以及通过插值处理对RGBW阵列进行转换以生成RGB阵列，所计算的低频带信号被应用于该插值处理。基于W低频带信号mW和相应的RGB低频带信号mR、mG和mB在局部区域中具有比例关系的假设，使用低频带信号来进行插值处理。当感兴趣的像素是伪色像素时，通过应用具有以下系数的低通滤光器来计算低频带信号：在该系数中，在感兴趣的像素附近的像素值的贡献率相对低于分隔开的像素的像素值的贡献率。

利用这些处理，连同将RGBW阵列图像转换为RGB阵列的去马赛克处理，来校正出现在图像的局部高亮区域中的伪色，并且可以生成和输出从其去除或减少了伪色的高质量图像。

附图说明

图1是示出在高亮区域中出现的亮度伪色的出现的图。

图2是示出成像设备的像素阵列的配置示例的图。

图3是示出出现亮度伪色的高亮区域的图。

图4是示出本公开的图像处理装置的配置示例的图。

图5是示出本公开的成像处理装置的数据转换处理单元的配置示例的图。

图6是示出由本公开的图像处理装置执行的像素插值处理的图。

图7是示出出现亮度伪色的高亮区域的图。

图8是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图9是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图10是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图11是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图12是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图13是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图14是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图15是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图16是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图17是示出由本公开的图像处理装置的低频带信号计算单元执行的处理的图。

图18是示出由本公开的图像处理装置的低频带信号计算单元执行的处理的图。

图19是示出由本公开的图像处理装置的低频带计算单元执行的处理的图。

图20是示出由本公开的图像处理装置的低频带计算单元执行的处理的图。

图21是示出流程的图，该流程示出由本公开的图像处理装置执行的处理的序列。

图22是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图23是示出由本公开的图像处理装置的低频带信号计算单元执行的处理的图。

图24是示出由本公开的图像处理装置的伪色检测单元执行的处理的图。

图25是示出由本公开的图像处理装置的低频带信号计算单元执行的处理的图。

图26是示出流程的图，该流程示出由本公开的图像处理装置执行的处理的序列。

具体实施方式

在下文中，将参照附图来描述本公开内容的图像处理装置、处理图像的方法以及程序的细节。注意将根据下列各项给出描述。

1.本公开内容的成像处理装置的第一实施方式的配置和处理

2.伪色检测单元和低频带信号计算单元的变型

3.本公开内容的图像处理装置的处理的效果

4.本公开内容的配置的结论

[1.本公开内容的成像处理装置的第一实施方式的配置和处理]

本公开内容的图像处理装置针对包括RGBW类型的颜色滤光器的成像装置(图像传感器)所获取的数据进行处理，该RGBW类型的颜色滤光器除了包括选择性地传送各个RGB波长的光的RGB滤光器之外，还包括传送所有的RGB波长的光、与白色(W)对应的滤光器。

具体地，图像处理装置分析二维像素阵列的信号并且进行像素转换，在该二维像素阵列中以方格图案(checkered pattern)的方式来布置用作为亮度信号的主分量的像素，并且用作为颜色信息分量的像素的多个颜色被布置在剩余部分中。注意，亮度信号的主分量的颜色是白色或绿色。

本公开内容的图像处理装置执行将如图2(b)所示的具有包括白色(W)的RGBW型颜色滤光器的成像装置(图像传感器)所获取的数据转换为如图2(a)所示的RGB阵列(例如，拜耳阵列)的处理。在下文中，这样的转换颜色阵列的处理被称为重新马赛克(re-mosaic)处理。注意，在日本专利申请公开号2011-182354中描述了重新马赛克处理的细节，并且可以将所公开的重新马赛克处理应用到本公开内容的图像处理装置。

本公开内容的图像处理装置以该转换处理(重新马赛克处理)来执行校正亮度伪色的处理。亮度伪色是出现在大约几个像素的小面积的高亮区域中的伪色。

将参照图4描述根据本公开内容的一个实施方式的图像处理装置的配置示例和处理示例。

图4是示出根据本公开内容的图像处理装置的一个实施方式的成像设备100的配置示例的图。成像设备100包括光学透镜105、成像装置(图像传感器)110、信号处理单元120、存储器130，以及控制单元140。

注意，图4中示出的成像设备100是本公开内容的图像处理装置的一个方面。例如PC的装置也被包括在本公开内容的图像处理装置的示例中。如PC的图像处理装置不包括图4中示出的成像设备100的光学透镜105和成像装置110，并且从其他配置元件来配置。PC的成像设备100具有以下配置：该配置包括成像装置100的存储单元或获取数据的输入单元。具体地，成像设备100是静态相机、视频摄像机等。能够进行图像处理的信息处理装置(例如PC)被包括在图像处理装置100的一个方面中。

在下文中，将成像设备100描述为本发明内容的图像处理装置的代表示例。图4中示出的成像设备100的成像装置(图像处理器)110具有设置有滤光器的配置，该滤光器包括图2(b)中示出的具有白色(W)的RGBW阵列181。具体地，成像装置100分析二维像素阵列的信号并且进行像素转换，在该二维像素阵列中以方格图案的方式来布置用作为亮度信号的主分量的像素，并且用作为颜色信息分量的像素的多个颜色被布置在剩余部分中。注意，亮度信号的主分量的颜色是白色或绿色。

在下文描述的实施方式中，成像装置(图像传感器)110是设置有滤光器的成像装置，该滤光器具有如下四种类型的光谱特征：

传送接近红色的波长的红光(R)；

传送接近绿色的波长的绿光(G)；

传送接近蓝色的波长的蓝光(B)；

传送RGB的几乎所有波长的光的白光(W)。

包括RGBW阵列181的滤光器的成像装置110通过光学透镜105以像素单位来接收RGBW光中的任何光，并且通过光电转换生成并输出与所接收的光信号的强度对应的电信号。可以通过成像装置110获得由四种类型的RGBW光谱构成的马赛克图像。

成像装置(图像传感器)110的输出信号被输入到信号处理单元120的数据转换处理单元200。

数据转换处理单元200执行从RGBW阵列181到RGB阵列182的转换处理。数据转换处理单元200在像素阵列转换处理中执行校正亮度伪色的处理。

由数据转换处理单元200生成的RGB阵列182(即具有拜耳阵列的数据)是具有由成像装置(例如传统相机)获得的颜色阵列的数据。颜色阵列数据被输入到RGB信号处理单元250。

RGB信号处理单元250进行与设置在传统相机中的信号处理单元类似的处理。具体地，RGB信号处理单元250执行去马赛克处理、白平衡调整处理、γ校正处理等，并且生成彩色图像183。所生成的彩色图像183被记录在存储器130中。

控制单元140执行对该一系列处理的控制。例如，使得控制单元140执行该一系列处理的程序被存储在存储器130中。控制单元140执行从存储器130读取的程序，以控制该一系列处理。

将参照图5来描述数据转换处理单元200的详细配置。数据转换处理单元200执行从RGBW阵列181到RGB阵列182的转换处理(重新马赛克处理)。此外，数据转换处理单元200执行用于降低亮度伪色的处理以及转换处理。

数据转换处理单元200的输入像素单元是7像素×7像素，使得要为像素值转换而待处理的像素位于中心，像素值转换被执行，作为减少亮度伪色以及像素阵列转换的处理。也就是说，数据转换处理单元200进行处理，在该处理中，将待处理的像素作为中心的7×7像素参考区域被设定。注意，待处理的像素依次改变，并且数据转换处理单元200依次针对像素进行处理。

注意，将被设定为输入像素单元的参考区域的尺寸设定为7像素×7像素是一个示例，并且可以将具有不同于该尺寸的尺寸的区域设定为输入像素单元(参考区域)。

如图5所示，数据转换处理单元200包括伪色检测单元201、低频带信号计算单元202，以及像素插值单元203。

像素插值单元203在输入像素单元的区域中插值中心像素，以使得具有RGBW阵列181的图像(其是成像装置110的输出)变为RGB阵列182。

像素插值处理被执行作为以下处理：例如从7×7像素的参考区域中选择与待设置的RGB中的任何一个具有相同颜色的像素，并且在使所选择的像素值作为参考像素的同时使用参考像素的像素值来计算待处理的像素的像素值，即计算7×7像素的中心像素的像素值。

注意，在插值处理中，可应用现有的各种方法，例如在考虑到边缘方向的情况下选择参考像素的处理，以及在参考区域中使用W像素与RGB像素之间的相关性的方法。

将参照图6(a)和图6(b)来描述在输入像素单元(此处，7像素×7像素)的中心处以W像素来插值G像素时的插值处理的示例。

图6(a)示出了在中心处具有W像素的输入像素单元(7×7像素区域)，W像素是用作为待转换像素的感兴趣的像素。

首先，W像素的低频带信号mW基于在参考区域中W像素的像素值，其中输入像素单元(7×7像素区域)是参考区域。

例如，针对在参考区域中W像素的像素值通过低通滤波应用处理来计算低频带信号mW。

类似地，根据输入像素单元(参考区域)中的G像素来计算G像素的低频带信号。该低频带信号是低频带信号mG。

W像素(其是用作为待转换像素的感兴趣的像素)的像素值是w。在此时，根据下面的(表达式1)来计算要被设置到感兴趣的像素的位置的G像素，即要被插值的G像素的值G。

G＝mG/mW×w......(表达式1)

插值处理是基于以下估计的插值处理：W像素的低频带信号mW与G像素的低频带信号mG在局部区域中彼此成比例。

也就是说，在狭小的局部区域中，如本实施方式中设置的7×7像素的参考区域中，估计到：W像素的低频带信号mW与G像素的低频带信号mG之间的比例关系被建立，如图6(b)所示的，并且基于比例关系根据(表达式1)来估计W像素位置中的G像素值。

注意，当RGBW像素阵列被转换为RGB像素阵列时，除了将W像素转换为G像素之外，以下处理也是必需的：

将G像素转换为R像素或B像素的处理；

将R像素转换为B像素的处理；以及

将B像素转换为R像素的处理。

假设在局部区域，例如7×7参考区域中建立下面的关系：

W像素的低频带信号mW与G像素的低频带信号mG之间的比例关系；

W像素的低频带信号mW与R像素的低频带信号mR之间的比例关系；

W像素的低频带信号mW与B像素的低频带信号mB之间的比例关系，

当进行以上几条转换处理时，根据感兴趣的像素之间的转换的转换目标的像素颜色，将参考区域的W像素设定为转换目标的像素颜色，并且计算感兴趣的像素的像素值。

注意，在作为本申请的在先申请的日本专利申请公开号2011-182354中描述了这种插值处理，并且可以将所公开的处理应用到本公开内容的图像处理装置。

注意，在本公开的处理中，根据检测到/没检测到亮度伪色来进行以下处理：改变与应用到像素插值单元203的像素值转换处理的RGBW像素相对应的低频带信号mR、mG、mB和mW的计算处理方面。

图5的伪色检测单元201确定感兴趣的像素是否是亮度伪色像素，并且将确定信息输出给低频带信号计算单元202。

低频带信号计算单元202根据确定信息来改变与在像素插值单元203的像素值转换处理中所应用的RGBW像素相对应的低频带信号mR、mG、mB和mW的计算处理方面，计算低频带信号mR、mG、mB和mW，并且将计算的低频带信号mR、mG、mB和mW输出给像素插值单元203。

通过应用从低频带信号计算单元202输入的低频带信号mR、mG、mB和mW，像素插值单元203进行像素插值处理，作为将RGBW像素阵列转换为RGB像素阵列的重新马赛克处理。

注意，除了使用从低频带信号计算单元202输入的低频带信号mR、mG、mB和mW，由像素插值单元203执行的像素插值处理是根据作为本申请的在先申请的日本专利申请公开号2011-182354中所描述的处理的处理。

在下文中，将描述在伪色检测单元201中检测亮度伪色的处理和在低频带信号计算单元202中计算低频带信号(mR、mG、mB和mW)的处理。

伪色检测单元201通过将输入像素单元(7×7像素)使用作为参考区域并且在参考区域中应用W像素的像素值，来执行检测亮度伪色的处理。

如参照图3(a)和图3(b)所述，亮度伪色出现使得如图3(a)所示，当局部区域(即作为大约几个像素的高亮度区域的高亮区域)的像素仅为W像素和G像素时，G像素的像素值变得相对大于周边的R像素和B像素的像素值，因此，失去颜色平衡，并且区域被上色成绿色。

此外，如图3(b)所示，当高亮区域的像素从W像素、R像素和B像素来配置时，R像素和B像素的像素值变得相对大于周边的G像素的像素值。因此，失去颜色平衡，并且区域被上色成品红色。以该方式，根据包括在作为高亮度部分的高亮区域中的像素的配置，各种模式的伪色，即亮度伪色出现。

在下文中，如图3(a)所示，作为示例将描述检测到在高亮区域的像素仅为W像素和G像素时出现绿伪色的处理。

图7(a)至图7(c)类似于图3(a)示出了出现绿伪色的高亮区域的配置示例。由点线圆圈围绕的区域示出了高亮区域。

伪色检测单元201输入将感兴趣的像素作为中心的输入像素单元(7×7像素)，感兴趣的像素是要被数据转换处理单元200中的像素值转换(重新马赛克处理)所处理的像素，并且伪色检测单元201确定感兴趣的像素是否被包括在高亮区域中，即感兴趣的像素是否是亮度伪色像素。

图7(a)至图7(c)示出了当感兴趣的像素被包括在高亮区域中时，即感兴趣的像素是亮度伪色像素时的示例。在图7(a)至图7(c)中由点线圆圈围绕的高亮区域几乎是从G像素和W像素来配置。

将参照图8(1a)至图8(1c)来描述伪色检测单元201的处理的示例。

在图8(1a)至图8(1c)和图9(2a)至图9(2c)中示出的处理的示例是在输入像素单元(7×7像素)的中心像素(感兴趣的像素)为W像素(W4)，并且中心像素(W4)的左部相邻像素和下部相邻像素为G像素时的处理的示例。

当输入像素单元具有这样的阵列时，伪色检测单元201通过在图8(1a)至图8(1c)和图9(2a)至图9(2c)中示出的处理，来确定中心像素(感兴趣的像素)是否是使得绿伪色出现的亮度伪色像素。

首先，如图8(1a)所示，当G像素位于中心W像素(W4)的左部和下部时，伪色检测单元201根据下面的表达式(表达式2a)至(表达式2d)来获得out_up、in_up、in_dn和out_dn。注意，W0至W11表示在图8(1a)至图8(1c)中示出的W像素的像素值。

out_up＝(W0+2×W1+W2)/4......(表达式2a)

in_up＝(W3+2×W4+W5)/4......(表达式2b)

in_dn＝(W6+2×W7+W8)/4......(表达式2c)

out_dn＝(W9+2×W10+W11)/4......(表达式2d)

注意，此处，

所有的out_up、in_up、in_dn和out_dn是利用作为7×7像素的输入像素单元的参考区域中的右下对角方向上的多个W像素的像素值的平均值或加权相加而生成的W像素低频信号。

也就是说，out_up、in_up、in_dn和out_dn是与右下对角方向线相对应的W像素低频信号。

在本处理示例中，所有的out_up、in_up、in_dn和out_dn是使得右下对角方向上的三个W像素的像素值以1:2:1的比率加权相加而获得的值。

in_up和in_dn是基于最靠近参考区域中心的两个右下对角线[上侧线(in_up)和下侧线(in_dn)]中的每个线上的三个W像素的W像素低频信号。

out_up是基于在上方向上与in_up相邻的右下对角线上的三个W像素的W像素低频信号。

out_dn是基于在下方向上与in_dn相邻的右下对角线上的三个W像素的W像素低频信号。

在这四个计算的值out_up、in_up、in_dn和out_dn中，当作为靠近参考区域中心位置的两个计算值之一的in_up或in_dn的值大，而作为与中心分隔开的两个计算值之一的out_up或out_dn的值小时，伪色检测单元201确定在中心附近的G像素被包括在高亮区域中，并且伪色的出现的可能性高。

具体地，根据在右下对角线上的四个W像素低频信号out_up、in_up、in_dn和out_dn来计算

靠近中心的两个W像素低频信号in_up和in_dn的最大值max(in_up，in_dn)，

与中心分隔开的两个W像素低频信号out_up和out_dn的最大值max(out_up，out_dn)，

以及这两个最大值之间的差值Diff1。

也就是说，垂直于四个右下对角线的右上对角方向上的W像素的差值Diff1被计算，并且当差值满足下面的(表达式3)时，伪色检测单元201确定感兴趣的像素为伪色出现像素的可能性高，而当差值不满足(表达式3)时，伪色检测单元201确定感兴趣的像素不是伪色出现像素。

Diff1＝max(in_up,in_dn)–max(out_up,out_dn)

Diff1>Thr1......(表达式3)

注意，在(表达式3)中，

max(A，B)是返回A和B中的较大值的函数，并且

Thr1是阈值。

注意，阈值Thr1可以是固定值、可由用户设定的值，或者自动计算的值。

图8(1b)示出了当伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性很高时的out_up、in_up、in_dn、out_dn和阈值Thr1的相应示例。

图8(1c)示出了当伪色检测单元201确定感兴趣的像素不是伪色出现像素时的out_up、in_up、in_dn、out_dn和阈值Thr1的相应示例。

当差值满足上述(表达式3)时，即差值满足下面的(表达式3)：

Diff1>Thr1......(表达式3)时，

伪色检测单元201还使用参考区域的右下对角方向上的W像素的像素值来进行确定处理。

将参照图9(2a)至图9(2c)来描述使用参考区域的右下对角方向上的W像素的像素值的确定处理。

图9(2a)类似于图8(1a)示出了7×7像素的参考区域，其中G像素位于中心W像素(W4)的左部和下部。

如图9(2a)所示，当G像素位于中心W像素(W4)的左部和下部时，伪色检测单元201根据下面的表达式(表达式4a)至(表达式4e)获得out_up、in_up、center、in_dn和out_dn。注意，W0至W9表示在图9(2a)中示出的W像素的像素值。

out_up＝(W0+W1)/2......(表达式4a)

in_up＝(W2+W3)/2......(表达式4b)

center＝(W4+W5)/2......(表达式4c)

in_dn＝(W6+W7)/2......(表达式4d)

out_dn＝(W8+W9)/2......(表达式4e)

注意，其中，

所有的out_up、in_up、center、in_dn和out_dn是利用参考区域中的右上对角方向上的多个W像素的像素值的平均值或加权相加而计算的W像素低频信号。

在本处理示例中，out_up、in_up、center、in_dn和out_dn是使得右上对角方向上的两个W像素的像素值以1:1的比率加权相加而获得的值。

center是基于最靠近G像素的右上对角线上的两个W像素的W像素低频信号，该G像素在参考区域的中心附近。

in_up是基于在上方向上与中心相邻的右上对角线上的两个W像素的W像素低频信号。

in_dn是基于在下方向上与中心相邻的右上对角线上的两个W像素的W像素低频信号。

out_up是基于在上方向上与in_up相邻的右上对角线上的两个W像素的W像素低频信号。

out_dn是基于在下方向上与in_dn相邻的右上对角线上的两个W像素的W像素低频信号。

在这五个计算的值out_up、in_up、center、in_dn和out_dn中，当作为靠近参考区域中心位置的三个计算值之一的in_up、in_dn或center的值大，并且上述值与作为与中心分隔开的两个计算值之一的out_up或out_dn的值之间的差很大时，伪色检测单元201确定在中心附近的G像素被包括在高亮区域中，并且伪色出现的可能性高。

具体地，根据在右上对角线上的五个W像素低频信号out_up、in_up、center、in_dn和out_dn来计算

靠近中心的三个W像素低频信号in_up、center和in_dn的最大值max(in_up，center，in_dn)，

与中心分隔开的两个W像素低频信号out_up和out_dn的最大值max(out_up，out_dn)，

以及这两个最大值之间的最大差值Diff2。

也就是说，垂直于五个右上对角线的右下对角方向上的W像素的差值Diff2被计算，并且当差值满足下面的(表达式5)时，伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高，而当差值不满足(表达式5)时，伪色检测单元201确定感兴趣的像素不是伪色出现像素。

Diff2＝max(in_up,center,in_dn)-max(out_up,out_dn)

Diff2>Thr2......(表达式5)

注意，在(表达式5)中，

max(A，B，C)是返回A、B和C中的最大值的函数，

并且Thr2是阈值。

注意，阈值Thr2可以是固定值、可由用户设定的值，或者可以被自动计算。

图9(2b)示出了当伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性很高时的out_up、in_up、center、in_dn、out_dn和阈值Thr2的相应示例。

图9(2c)示出了当伪色检测单元201确定感兴趣的像素不是伪色出现像素时的out_up、in_up、center、in_dn、out_dn和阈值Thr2的相应示例。

最后，伪色检测单元201确定：

当差值满足(表达式3)和(表达式5)这两个确定表达式时，感兴趣的像素是伪色出现像素，而当差值不满足(表达式3)和(表达式5)中的任一个时，感兴趣的像素不是伪色出现像素。

也就是说，仅当差值满足下面的两个确定表达式：

Diff1>Thr1......(表达式3)

Diff2>Thr2......(表达式5)

时，伪色检测单元201确定感兴趣的像素是伪色出现像素。

确定结果被输出到低频带信号计算单元202。

参照图8(1a)至图8(1c)和图9(2a)至图9(2c)描述的伪色确定处理是在作为输入像素单元的7×7像素的中心像素(感兴趣的像素)是W像素，并且G像素与中心W像素的左部和下部相邻时的处理。

接下来，将描述在作为输入像素单元的7×7像素的中心像素(感兴趣的像素)是W像素，并且G像素与中心W像素的右部和上部相邻时的伪色确定处理的示例。

如图10(3a)所示，当输入像素单元的中心像素像素是W像素(W7)并且G像素与中心W像素的右部和上部相邻时，伪色检测单元201根据下面的表达式(表达式6a)至(表达式6d)获得out_up、in_up、in_dn和out_dn。注意，W0至W11表示在图10(3a)中示出的W像素的像素值。

out_up＝(W0+2×W1+W2)/4......(表达式6a)

in_up＝(W3+2×W4+W5)/4......(表达式6b)

in_dn＝(W6+2×W7+W8)/4......(表达式6c)

out_dn＝(W9+2×W10+W11)/4......(表达式6d)

上述表达式类似于参照图8(1a)至图8(1c)描述的(表达式2a)至(表达式2d)，

所有的out_up、in_up、in_dn、out_dn是基于在参考区域中的右下对角方向上的多个W像素的像素值的W像素低频信号。

在本处理示例中，这些W像素低频信号是使得在右下对角方向上的三个W像素的像素值以1:2:1的比率加权相加而获得的值。

in_up和in_dn是基于最靠近参考区域中心的两个右下对角线[上侧线(in_up)和下侧线(in_dn)]中的每个线上的三个像素的W像素低频信号。

out_up是基于在上方向上与in_up相邻的右下对角线上的三个W像素的W像素低频信号。

out_dn是基于在下方向上与in_dn相邻的右下对角线上的三个W像素的W像素低频信号。

在这四个计算的值out_up、in_up、in_dn和out_dn中，当作为靠近参考区域中心位置的两个计算值之一的in_up或in_dn的值大，而作为与中心分隔开的两个计算值之一的out_up或out_dn的值小时，伪色检测单元201确定在中心附近的G像素被包括在高亮区域中，并且伪色出现的可能性高。

具体地，类似于参照图8(1a)至图8(1c)描述的处理，根据在右下对角线上的四个W像素低频信号out_up、in_up、in_dn和out_dn来计算

靠近中心的两个W像素低频信号in_up和in_dn的最大值max(in_up，in_dn)，

远离中心的两个W像素低频信号out_up和out_dn的最大值max(out_up，out_dn)，以及

这两个最大值之间的差值Diff1。

也就是说，计算垂直于四个右下对角线的右上对角方向上的W像素的差值Diff1，并且当差值满足下面的(表达式7)时，伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高，而当差值不满足(表达式)时，伪色检测单元201确定感兴趣的像素不是伪色出现像素。

Diff1＝max(in_up,in_dn)-max(out_up,out_dn)

Diff1>Thr1......(表达式7)

注意，在(表达式7)中，

max(A，B)是返回A和B中的较大值的函数，

并且Thr1是阈值。

图10(3b)示出了当伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高时的out_up、in_up、in_dn、out_dn和阈值Thr1的相应示例。

图10(3c)示出了当伪色检测单元201确定感兴趣的像素不是伪色出现像素时的out_up、in_up、in_dn、out_dn和阈值Thr1的相应示例。

当差值满足上述(表达式7)时，即差值满足下面的(表达式7)：

Diff1>Thr1......(表达式7)时，

伪色检测单元201还使用参考区域的右下对角方向上的W像素的像素值来进行确定处理。

将参照11(4a)至图11(4c)来描述使用参考区域的右下对角方向上的W像素的像素值的确定处理。

图11(4a)类似于图10(3a)示出了7×7像素的参考区域，其中G像素位于中心W像素(W5)的右部和上部。

如图11(4a)所示，当G像素位于中心W像素(W5)的左部和下部时，伪色检测单元201根据下面的表达式(表达式8a)至(表达式8e)获得out_up、in_up、center、in_dn和out_dn。注意，W0至W9表示在图11(4a)中示出的W像素的像素值。

out_up＝(W0+W1)/2......(表达式8a)

in_up＝(W2+W3)/2......(表达式8b)

center＝(W4+W5)/2......(表达式8c)

in_dn＝(W6+W7)/2......(表达式8d)

out_dn＝(W8+W9)/2......(表达式8e)

注意，此处，

所有的out_up、in_up、center、in_dn和out_dn是基于参考区域中右上对角方向上的多个W像素的像素值的W像素低频信号。

在本处理示例中，W像素低频信号是使得右上对角方向上的两个W像素的像素值以1:1的比率加权相加而获得的值。

center是基于最靠近G像素的右上对角线上的两个W像素的W像素低频信号，该G像素在参考区域的中心附近。

in_up是基于在上方向上与中心相邻的右上对角线上的两个W像素的W像素低频信号。

in_dn是基于在下方向上与中心相邻的右上对角线上的两个W像素的W像素低频信号。

out_up是基于在上方向上与in_up相邻的右上对角线上的两个W像素的W像素低频信号。

out_dn是基于在下方向上与in_dn相邻的右上对角线上的两个W像素的W像素低频信号。

在这五个计算的值out_up、in_up、center、in_dn和out_dn中，当作为靠近参考区域中心位置的三个计算值之一的in_up、in_dn或center的值大，并且上述值与作为与中心分隔开的两个计算值之一的out_up或out_dn的值之间的差很大时，伪色检测单元201确定在中心附近的G像素被包括在高亮区域中，并且伪色出现的可能性高。

具体地，根据在右上对角线上的五个W像素低频信号out_up、in_up、center、in_dn和out_dn来计算

靠近中心的三个W像素低频信号in_up、center和in_dn的最大值max(in_up，center，in_dn)，

远离中心的两个W像素低频信号out_up和out_dn的最大值max(out_up，out_dn)，以及

这两个最大值之间的差值Diff2。

也就是说，垂直于五个右上对角线的右下对角方向上的W像素的差值Diff2被计算，并且当差值满足下面的(表达式9)时，伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高，而当差值不满足(表达式9)时，伪色检测单元201确定感兴趣的像素不是伪色出现像素。

Diff2＝max(in_up,center,in_dn)-max(out_up,out_dn)

Diff2>Thr2......(表达式9)

注意，在(表达式9)中，

max(A，B，C)是返回A、B和C中的最大值的函数，并且

Thr2是阈值。

图11(4b)示出了当伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高时的out_up、in_up、center、in_dn、out_dn和阈值Thr2的相应示例。

图11(4c)示出了当伪色检测单元201确定感兴趣的像素不是伪色出现像素时的out_up、in_up、center、in_dn、out_dn和阈值Thr2的相应示例。

最后，伪色检测单元201确定：

当差值满足(表达式7)和(表达式9)这两个确定表达式时，感兴趣的像素是伪色出现像素，而当差值不满足(表达式7)和(表达式9)中的任一个时，感兴趣的像素不是伪色出现像素。

也就是说，仅当差值满足下面的两个确定表达式：

Diff1>Thr1......(表达式7)

Diff2>Thr2......(表达式9)

时，伪色检测单元201确定感兴趣的像素是伪色出现像素。

确定结果被输出到低频带信号计算单元202。

作为由伪色检测单元201执行的处理的示例，已描述了当

(A)中心像素是W像素，并且G像素与中心W像素的左部和下部相邻(图8(1a)至图8(1c)和图9(2a)至图9(2c))时，以及

(B)中心像素是W像素，并且G像素与中心W像素的右部和上部相邻(图10(3a)至图10(3c)和图11(4a)至图11(4c))时，

确定绿色亮度伪色是否出现的处理示例。

对于输入像素单元的设置而言，存在多种其他类型的设置，并且即使在多种其他类型的设置的情况下，伪色检测单元201也基本上基于下面两种类型的比较处理来执行类似的处理，即确定处理：

(1)基于右下对角线上的多个W像素的像素值所计算的差值Diff1与阈值Thr1之间的比较处理，以及

(2)基于右上对角线上的多个W像素的像素值所计算的差值Diff2与阈值Thr2之间的比较处理。

作为这两种类型的比较的比较结果，当差值大于阈值时，伪色检测单元201确定感兴趣的像素是亮度伪色像素。

伪色检测单元201执行这几条确定处理，并且将确定结果输出给低频带信号计算单元202。

接下来，将描述如图3(b)所示的，检测在高亮区域的像素几乎仅为W像素、R像素和B像素时出现绿色伪色的处理。如图3(b)所示，当高亮区域的像素从W像素、R像素和B像素来配置时，R像素和B像素的像素值变得相对大于周边的G像素的像素值。因此，失去颜色平衡，并且该区域被上色成品红色。

图12(a)至图12(e)类似于图3(b)示出了出现品红伪色的高亮区域的示例。由点线圆圈围绕的区域表示高亮区域。

将参照图13(5a)至图13(5c)来描述伪色检测单元201的处理示例。

图13(5a)至图13(5c)和图14(6a)至图14(6c)中示出的处理示例是在输入像素单元(7×7像素)的中心像素(感兴趣的像素)为R像素时的处理示例。

图13(5a)至图13(5c)示出了基于右下对角线上的多个W像素的像素值所计算的差值Diff1与阈值Thr1之间的比较处理的示例，并且

图14(6a)至图14(6c)示出了基于右上对角线上的多个W像素的像素值所计算的差值Diff2与阈值Thr2之间的比较处理的示例。

图13(5a)至图13(5c)中示出的示例是与上述图8(1a)至图8(1c)和图10(3a)至图10(3c)的处理类似的处理。然而，不同之处在于输入像素单元的中心是R像素。

来自于靠近参考区域的一位置的多个右下对角线被设置，使用该线上的多个W像素值来计算W像素的低频信号，即W像素的W低频带信号，以及计算更靠近中心的多个线的最大W低频信号值与远离中心的多个线的最大W低频信号值之间的差值。也就是说，垂直于4个右下对角线的右上对角方向上的W像素的差值被计算为Diff1。此外，将所计算的差值Diff1与预先设定的阈值Thr1进行比较。

该处理类似于参照图8(1a)至图8(1c)描述的[(表达式2a)至(表达式2d)，以及(表达式3)]的处理，以及参照图10(3a)至图10(3c)描述的[(表达式6a)至(表达式6d)，以及(表达式7)]的处理。

当差值Diff1大于预先确定的阈值Thr1时，存在着感兴趣的像素是亮度伪色像素的可能性，并且进一步地，进行图14(6a)至图14(6c)中示出的处理，即基于右上对角线上的多个W像素的像素值所计算的差值Diff2与阈值Thr2之间的比较处理。

图14(6a)至图14(6c)示出的示例是与上述图9(2a)至图9(2c)和图11(4a)至图11(4c)的处理类似的处理。然而，不同之处在于输入像素单元的中心是R像素。此外，不同之处在于设置并使用6个右上对角线。

如图14(6)所示，当R像素被定位在中心时，伪色检测单元201根据下面的表达式(表达式10a)至(表达式10f)获得out_up、in_up、center、in_dn和out_dn。注意，W0至W11表示在图14(6a)中示出的W像素的像素值。

out_up＝(W0+W1)/2......(表达式10a)

mid_up＝(W2+W3)/2......(表达式10b)

in_up＝(W4+W5)/2......(表达式10c)

in_dn＝(W6+W7)/2......(表达式10d)

mid_dn＝(W8+W9)/2......(表达式10e)

out_dn＝(W10+W11)/2......(表达式10f)

注意，此处，

所有的out_up、mid_up、in_up、in_dn、mid_dn和out_dn是利用参考区域中右上对角方向上的多个W像素的像素值的平均值或加权相加而计算的W像素低频信号。

在本处理示例中，使得右上对角方向上的两个W像素的像素值以1:1的比率加权相加来获得W像素低频信号。

in_up是基于在上方向上与中心R像素相邻的右上对角线上的两个W像素的W像素低频信号。

in_dn是基于在下方向上与中心R像素相邻的右上对角线上的两个W像素的W像素低频信号。

mid_up是基于在上方向上与in_up相邻的右上对角线上的两个W像素的W像素低频信号。

mid_dn是基于在下方向上与in_dn相邻的右上对角线上的两个W像素的W像素低频信号。

out_up是基于在上方向上与mid_up相邻的右上对角线上的两个W像素的W像素低频信号。

out_dn是基于在下方向上与mid_dn相邻的右上对角线上的两个W像素的W像素低频信号。

在这六个计算的值out_up、mid_up、in_up、in_dn、mid_dn和out_dn中，当作为靠近参考区域中心位置的四个计算值之一的mid_up、in_up、in_dn或mid_dn的值大，并且该四个计算值的值与作为与中心分隔开的两个计算值之一的out_up或out_dn的值之间的差很大时，伪色检测单元201确定在中心附近的R像素被包括在高亮区域中，并且伪色出现的可能性高。

具体地，根据在右上对角线上的六个W像素低频信号out_up、mid_up、in_up、in_dn、mid_dn和out_dn来计算

靠近中心的四个W像素低频信号mid_up、in_up、in_dn和mid_dn的最大值max(mid_up、in_up、in_dn、mid_dn)，

远离中心的两个W像素低频信号out_up和out_dn的最大值max(out_up，out_dn)，以及

这两个最大值之间的差值Diff2。

也就是说，垂直于六个右上对角线的右下对角方向上的W像素的差值Diff2被计算，并且当差值满足下面的(表达式11)时，伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高，而当差值不满足(表达式11)时，伪色检测单元201确定感兴趣的像素不是伪色出现像素。

Diff2＝max(mid-up,in_up,in_dn,mid_dn)-max(out_up,out_dn)

Diff2>Thr2......(表达式11)

注意，在(表达式11)中，

max(A，B，C)是返回A、B和C中的最大值的函数，并且

Thr2是阈值。

注意，阈值Thr2可以是固定值、可以是由用户设定的值，或者可以被自动计算。

图14(6b)示出了当伪色检测单元201确定感兴趣的像素是伪色出现像素的可能性高时的out_up、mid_up、in_up、in_dn、mid_dn、out_dn和阈值Thr2的相应示例。

图14(6c)示出了当伪色检测单元201确定感兴趣的像素不是伪色出现像素时的out_up、mid_up、in_up、in_dn、mid_dn、out_dn和阈值Thr2的相应示例。

如上所述，伪色检测单元201根据参照图13(5a)至图13(5c)和图14(6a)至图14(6c)描述的处理来确定是否满足下面的确定表达式。

Diff1>Thr1

Diff2>Thr2

仅当满足上述两个确定表达式时，伪色检测单元201确定感兴趣的像素是伪色出现像素。

确定结果被输出到低频带信号计算单元202。

图15(5a)至图15(5c)和图16(6a)至图16(6c)示出了当中心像素是B像素时的处理示例。

图15(5a)至图15(5c)示出了基于右下对角线上的多个W像素的像素值所计算的差值Diff1与阈值Thr1之间的比较处理的示例，并且

图16(6a)至图16(6c)示出了基于右上对角线上的多个W像素的像素值所计算的差值Diff2与阈值Thr2之间的比较处理的示例。

这些处理类似于参照图13(5a)至图13(5c)和图14(6a)至图14(6c)描述的处理，不同之处在于中心像素被替换为B像素。

如上所述，即使在中心像素为R像素或B像素时，伪色检测单元201确定下面的两个表达式是否被满足：

Diff1>Thr1

Diff2>Thr2

当表达式被满足时，伪色检测单元201确定感兴趣的像素是亮度伪色像素。

当上述两个表达式中的至少一个不被满足时，伪色检测单元201确定感兴趣的像素不是亮度伪色像素，并且将确定结果输出给低频带信号计算单元202。

如上所述，伪色检测单元201基于下面两条比较处理来执行确定处理。

(1)基于被设置在感兴趣像素附近的多个右下对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且进行差值Diff1与阈值Thr1之间的比较处理，该差值Diff1是靠近感兴趣像素的多个内侧线上的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线上的W像素低频分量信号的最大值之间的差值，以及

(2)基于被设置在感兴趣像素附近的多个右上对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且进行差值Diff2与阈值Thr2之间的比较处理，该差值Diff2是靠近感兴趣像素的多个内侧线上的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线上的W像素低频分量信号的最大值之间的差值。

作为这两条比较处理的结果，当差值大于阈值时，伪色检测单元201确定感兴趣的像素是亮度伪色像素。

伪色检测单元201执行这些比较处理，并且将确定结果输出给低频带信号计算单元202。

接下来，将描述低频带信号计算单元202的处理。

低频带信号计算单元202计算在像素插值单元203中使用的R像素、G像素和B像素中的任何像素的低频带信号(mR、mG、mB)，以及W像素的低频带信号(mW)。

低频带信号计算单元202输入来自伪色检测单元201的确定结果，该确定结果指示用作为要在像素插值单元203中插值的对象的感兴趣像素，即在输入像素单元(7×7像素)的中心处的感兴趣像素是否是亮度伪色像素。

当从伪色检测单元201输入用于指示感兴趣的像素不是亮度伪色像素的确定结果时，低频带信号计算单元202使用预先确定的第一低通滤波器(LPF)系数，即使得更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)具有更大系数的正常LPF系数，来计算低频带信号。

同时，当从伪色检测单元201输入用于指示感兴趣的像素是亮度伪色像素的确定结果时，低频带信号计算单元202通过应用第二低通滤波器(LPF)系数来计算低频带信号，在该第二LPF系数中伪色的校正效果增强。

第二低通滤波器(LPF)系数是使得靠近感兴趣像素(其作为待转换的对象)的位置的像素，即靠近作为7×7输入像素单元的参考区域的中心的像素被设置成具有小系数的系数。该处理是用于在抑制高亮区域中的像素值的影响的同时计算插值像素值的处理。

进行这样的处理抑制了高亮区域中的像素值的影响，并且减少了伪色。

低频带信号计算单元202针对各个RGBW信号来计算低频带信号mR、mG、mB和mW。也就是说，低频带信号计算单元202选择性地执行下面的处理。

当感兴趣的像素被确定为是伪色像素时，低频带信号计算单元202将在靠近感兴趣像素的区域中的参考像素的像素值贡献率设置为低，并且通过应用低通滤波器(LPF)进行计算低频带信号的处理，其中远离感兴趣像素的周围区域中的参考像素的像素值贡献率被设置为高。

当感兴趣的像素被确定为不是伪色像素时，低频带信号计算单元202将在靠近感兴趣像素的区域中的参考像素的像素值贡献率设置为高，并且通过应用低通滤波器(LPF)进行计算低频带信号的处理，其中远离感兴趣像素的周围区域中的参考像素的像素值贡献率被设置为低。

将参照图17(1a)至图17(1c)来描述LPF的系数的示例。

图17(1a)至图17(1c)中示出的示例是被应用于以下处理的LPF的设置示例：计算在输入像素单元的中心像素是W像素，并且G像素位于中心W像素的左部和下部时的G信号的低频带信号mG的处理。

图17(1a)示出了输入像素单元的示例，并且通过粗框示出了被应用于以下处理的G像素：计算在中心像素是W像素，并且G像素位于中心W像素的左部和下部时的G信号的低频带信号mG的处理。

图17(1b)示出了当作为中心像素的感兴趣像素被确定为不是伪色像素时的第一低通滤波器(LPF)系数，即使得更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)具有更大的系数的正常LPF系数的设置示例。

图17(1c)示出了当作为输入像素单元的中心像素的感兴趣像素被确定为是伪色像素时的第二低通滤波器(LPF)系数，即更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)被设置成具有更小系数的LPF系数的设置示例。

当作为中心像素的感兴趣像素被确定为不是伪色像素时，位于感兴趣像素处的G低频带信号mG是通过以下方式获得的值：使得图17(1a)示出的参考区域中的各个像素位置处的十二个G像素的G像素值乘以图17(1b)中示出的系数(1/32至6/32)，并且将相乘的值进行相加。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，与感兴趣像素的位置对应的G低频带信号mG是通过如下方式获得的值：使得图17(1a)示出的参考区域中的各个像素位置处的十二个G像素的像素值乘以图17(1c)中示出的系数(0/16至3/16)，并且将相乘的值进行相加。

在图17(1b)和图17(1c)之间LPF系数的设置的主要不同点是关于靠近中心的两个G像素的系数。当作为中心像素的感兴趣像素被确定为不是伪色像素时，大的系数被设置，而当作为中心像素的感兴趣像素被确定为是伪色像素时，小的系数被设置。

利用该处理，当作为中心像素的感兴趣像素被确定为不是伪色像素时，G低频带信号mG变为以下值：靠近参考区域的中心的G像素值大部分被反映到该值。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，G低频带信号mG变为以下值：在该值中靠近参考区域的中心的G像素值的反映为零或被抑制。

注意，图17(1a)至图17(1c)中示出的系数的设置示例是特定示例，并且可以将系数设置为其他系数，只要LPF系数被设置为使得当作为中心像素的感兴趣像素被确定为不是伪色像素时，靠近参考区域的中心的像素具有大的系数，并且当感兴趣的像素被确定为是伪色像素时，靠近参考区域的中心的像素具有小的系数。

图18(2a)至图18(2c)中示出的示例是被应用于以下处理的LPF的设置示例：计算在输入像素单元的中心像素是W像素，并且G像素位于中心W像素的右部和上部时的G信号的低频带信号mG的处理。

图18(2a)示出了输入像素单元的示例，并且通过粗框示出了被应用于以下处理的G像素：计算在中心像素是W像素，并且G像素位于中心W像素的右部和上部时的G信号的低频带信号mG的处理。

图18(2b)示出了当作为中心像素的感兴趣像素被确定为不是伪色像素时的第一低通滤波器(LPF)系数，即被设置成使得更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)具有更大系数的正常LPF系数的设置示例。

图18(2c)示出了当作为输入像素单元的中心像素的感兴趣像素被确定为是伪色像素时的第二低通滤波器(LPF)系数，即更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)被设置成具有更小系数的LPF系数的设置示例。

当作为中心像素的感兴趣像素被确定为不是伪色像素时，位于感兴趣像素处的G低频带信号mG是通过以下方式获得的值：使得图18(2a)示出的参考区域中的各个像素位置处的十二个G像素的G像素值乘以图18(2b)中示出的系数(1/32至6/32)，并且将相乘的值进行相加。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，与感兴趣像素的位置对应的G低频带信号mG是通过以下方式获得的值：使得图18(2a)示出的参考区域中的各个像素位置处的十二个G像素的像素值乘以图18(2c)中示出的系数(0/16至3/16)，并且将相乘的值进行相加。

在图18(2b)和图18(2c)之间LPF系数的设置的主要不同点是关于靠近中心的两个G像素的系数。当作为中心像素的感兴趣像素被确定为不是伪色像素时，大的系数被设置，而当作为中心像素的感兴趣像素被确定为是伪色像素时，小的系数被设置。

利用该处理，当作为中心像素的感兴趣像素被确定为不是伪色像素时，G低频带信号mG变为以下值：靠近参考区域的中心的G像素值大部分被反映到该值。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，G低频带信号mG变为以下值：在该值中靠近参考区域的中心的G像素值的反映为零或被抑制。

注意，图18(2a)至图18(2c)中示出的系数的设置示例是特定示例，并且可以将系数设置为其他系数，只要LPF系数被设置为使得当作为中心像素的感兴趣像素被确定为不是伪色像素时，更靠近参考区域的中心的像素具有更大系数，并且当感兴趣像素被确定为是伪色像素时，更靠近参考区域的中心的像素具有更小系数。

在图17(1a)至图17(1c)和图18(2a)至图18(2c)中示出的示例是被应用于计算在输入单元像素区域的中心是W像素时的G低频带信号mG的LPF系数的设置示例。

在输入单元像素设置的其他情况下计算多种低频带信号mR、mG、mB和mW的处理中，低频带信号计算单元202也执行类似的处理，并且进行计算低频带信号的处理。

也就是说，低频带信号计算单元202执行低通滤波器应用处理，并且执行计算低频带信号mR、mG、mB和mW的处理，其中LPF系数被设置成使得当作为参考区域的中心像素的感兴趣像素被确定为不是伪色像素时，更靠近参考区域的中心的像素具有更大的系数，而当感兴趣的像素被确定为是伪色像素时，更靠近参考区域的中心的像素具有更小的系数。

图19(3a)至图19(3c)示出了被应用于以下处理的LPF的设置示例：计算在输入像素单元的中心像素是R像素时的B信号的低频带信号mB的处理。

图19(3a)示出了输入像素单元的示例，并且通过粗框示出了被应用于以下处理的B像素：计算在中心像素是R像素时的B信号的低频带信号mB的处理。

图19(3b)示出了当作为中心像素的感兴趣像素被确定为不是伪色像素时的第一低通滤波器(LPF)系数，即被设置成使得更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)具有更大系数的正常LPF系数的设置示例。

图19(3c)示出了当作为输入像素单元的中心像素的感兴趣像素被确定为是伪色像素时的第二低通滤波器(LPF)系数，即更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)被设置成具有更小系数的LPF系数的设置示例。

当作为中心像素的感兴趣像素被确定为不是伪色像素时，与感兴趣的像素的位置对应的B低频带信号mB是通过以下方式获得的值：使得图19(3a)中示出的参考区域中的各个像素位置处的八个B像素的B像素值乘以图19(3b)中示出的系数(1/32至9/32)，并且将相乘的值进行相加。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，与感兴趣的像素的位置对应的B低频带信号mB是通过以下方式获得的值：使得图19(3a)示出的参考区域中的各个像素位置处的八个B像素的像素值乘以图19(3c)中示出的系数(0/16至3/16)，并且将相乘的值进行相加。

在图19(3b)和图19(3c)之间LPF系数的设置的主要不同点是关于靠近中心的两个B像素的系数。当作为中心像素的感兴趣像素被确定为不是伪色像素时，大的系数被设置，而当作为中心像素的感兴趣像素被确定为是伪色像素时，小的系数被设置。

利用该处理，当作为中心像素的感兴趣像素被确定为不是伪色像素时，B低频带信号mB变为以下值：靠近参考区域的中心的B像素值大部分被反映到该值。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，B低频带信号mB变为以下值：在该值中靠近参考区域的中心的B像素值的反映为零或被抑制。

注意，图19(3a)至图19(3c)中示出的系数的设置示例是特定示例，并且可以将系数设置为其他系数，只要LPF系数被设置为使得当作为中心像素的感兴趣的像素被确定为不是伪色像素时，更靠近参考区域的中心的像素具有更大的系数，而当感兴趣的像素被确定为是伪色像素时，更靠近参考区域的中心的像素具有更小的系数。

图20(4a)至图20(4c)示出了被应用于以下处理的LPF的设置示例：计算在输入像素单元的中心像素是B像素时的R信号的低频带信号mR的处理。

图20(4a)示出了输入像素单元的示例，并且通过粗框示出了被应用于以下处理的R像素：计算在中心像素是B像素时的R信号的低频带信号mR的处理。

图20(4b)示出了当作为中心像素的感兴趣像素被确定为不是伪色像素时的第一低通滤波器(LPF)系数，即被设置成使得更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)具有更大系数的正常LPF系数的设置示例。

图20(4c)示出了当作为输入像素单元的中心像素的感兴趣像素被确定为是伪色像素时的第二低通滤波器(LPF)系数，即更靠近感兴趣像素的位置的像素(即更靠近参考区域的中心的像素)被设置成具有更小系数的LPF系数的设置示例。

当作为中心像素的感兴趣像素被确定为不是伪色像素时，与感兴趣像素的位置对应的R低频带信号mR是通过以下方式获得的值：使得图20(4a)示出的参考区域中的各个像素位置处的八个R像素的R像素值乘以图20(4b)中示出的系数(1/32至9/32)，并且将相乘的值进行相加。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，与感兴趣像素的位置对应的R低频带信号mR是通过以下方式获得的值：使得图20(4a)示出的参考区域中的各个像素位置处的八个R像素的像素值乘以图20(4c)中示出的系数(0/16至3/16)，并且将相乘的值进行相加。

在图20(4b)和图20(4c)之间LPF系数的设置的主要不同点是关于靠近中心的两个B像素的系数。当作为中心像素的感兴趣像素被确定为不是伪色像素时，大的系数被设置，而当作为中心像素的感兴趣像素被确定为是伪色像素时，小的系数被设置。

利用该处理，当作为中心像素的感兴趣像素被确定为不是伪色像素时，R低频带信号mR变为以下值：靠近参考区域的中心的R像素值大部分被反映到该值。

同时，当作为中心像素的感兴趣像素被确定为是伪色像素时，R低频带信号mR变为以下值：在该值中靠近参考区域的中心的R像素值的反映为零或被抑制。

注意，在图20(4a)至图20(4c)中示出的系数的设置示例是特定示例，并且可以将系数设置为其他系数，只要LPF系数被设置为使得当作为中心像素的感兴趣像素被确定为不是伪色像素时，更靠近参考区域的中心的像素具有更大的系数，而当感兴趣的像素被确定为是伪色像素时，更靠近参考区域的中心的像素具有更小的系数。

以该方式，低频带信号计算单元202从伪色检测单元输入确定信息，该确定信息指示作为待处理对象的像素的、在输入像素单元的中心处的感兴趣像素是否是亮度伪色；通过LPF应用处理来计算各个RGBW信号的低频带信号mR、mG、mB和mW，在该LPF应用处理中根据输入信息来设置不同的LPF系数；以及将计算的信号输入到像素插值单元203。

像素插值单元203通过应用从低频带信号计算单元202输入的各个RGBW信号的低频带信号mR、mG、mB和mW，来进行将RGBW阵列转换为RGB阵列的像素插值处理，即重新马赛克处理。

注意，如上所述，由像素插值单元203执行的像素插值处理是根据作为本申请的在先申请的日本专利申请公开号2011-182354中所描述的处理的处理，不同之处在于使用从低频带信号计算单元202输入的低频带信号mR、mG、mB和mW。

也就是说，像素插值单元203执行下面的处理，作为将RGBW像素阵列转换为RGB像素阵列的处理：

将W像素转换为G像素的处理；

将G像素转换为R像素或B像素的处理；

将R像素转换为B像素的处理；以及

将B像素转换为R像素的处理。

例如，假设在诸如7×7参考区域的局部区域中建立以下关系：

W像素的低频带信号mW与G像素的低频带信号mG之间的比例关系；

W像素的低频带信号mW与R像素的低频带信号mR之间的比例关系；以及

W像素的低频带信号mW与B像素的低频带信号mB之间的比例关系；

当进行以上转换处理时，像素插值单元203根据感兴趣像素之间的转换的目标的像素颜色，来将参考区域中的W像素设置成所述像素颜色，并且像素插值单元203计算感兴趣的像素的像素值。

在该处理中，从低频带信号计算单元202输入的各个RGBW信号的低频带信号mR、mG、mB和mW被应用。

当感兴趣的像素(即待转换的对象)被确定为具有亮度伪色时，从低频带信号计算单元202输入的各个RGBW信号的低频带信号mR、mG、mB和mW变为以下信号：在该信号中，在亮度伪色区域附近的像素值的反映的程度被抑制为低，并且因此，像素插值单元203可以设置其中抑制了伪色的影响的插值像素值。

将参照图21中示出的流程图来描述由本公开内容的图像处理装置的数据转换处理单元执行的处理序列。

图21中示出的流程图是针对当RGBW阵列被转换为RGB阵列时要被转换的一个像素的处理序列，并且图21中示出的流程图是通过输入包括待转换像素的参考像素区域(例如7×7像素区域)，在数据转换处理单元中执行的处理。针对处理像素顺序地执行根据图21中示出的流程的处理。

首先，在步骤S101中，获得参考区域的右上对角方向上的W的差值Diiff1。

接下来，在步骤S102中，对Diff1和阈值Thr1进行比较。

该处理是由图5中示出的伪色检测单元201执行的处理，并且是参照图8(1a)至图8(1c)、图10(3a)至图10(3c)和图12(a)至图12(e)描述的处理。

从靠近参考区域中心的一位置设置多个右下对角线，使用各个线上的多个W像素值来计算W低频带信号，以及计算更靠近中心的多个线上的最大W低频信号值与远离中心的多个线上的最大W低频信号值之间的差值。也就是说，在垂直于4个右下对角线的右上对角方向上的W像素的差值被计算作为Diff1。

此外，将所计算的差值Diff1与预定阈值Thr1进行比较。

作为Diff1与阈值Thr1之间的比较处理的结果，在步骤S102中，

当Diff1大于阈值Thr1时(是)，处理进行到步骤S103，并且当Diff1不大于阈值Thr1时(否)，处理进行到步骤S106。

Diff1不大于阈值Thr1的情况(否)是感兴趣的像素被确定为不是亮度伪色的情况，并且处理进行到步骤S106，以及通过低通滤波器(LPF)应用处理来计算必需的低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。注意，必需的低频带信号是需要被应用于要在像素插值单元203中执行的、转换感兴趣像素的处理的低频带信号。计算低频带信号mR、mG、mB和mW中的至少一个或更多个低频带信号。

计算低频带信号的处理是图5中示出的低频带信号计算单元202的处理。

例如，如图17(1b)和图18(2b)所示，通过低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近感兴趣的像素的参考像素的LPF系数被设置成相对高。

同时，作为步骤S102的在Diff1与阈值Thr1之间比较处理的结果，

当Diff1被确定为大于阈值Thr1时(是)，处理进行到步骤S103。

该情况是感兴趣的像素被确定为是亮度伪色出现像素的情况。在该情况下，处理进行到步骤S103。

在步骤S103中，获得参考区域的右下对角方向上的W的差值Diff2。

接下来，在步骤S104中，对Diff2和阈值Thr2进行比较。

该处理是参照图9(2a)至图9(2c)、图11(4a)至图11(4c)和图13(5a)至图13(5c)描述的处理。

从靠近参考区域中心的一位置设置多个右上对角线；使用各个线上的多个W像素值来计算W低频带信号；以及计算更靠近中心的多个线上的最大W低频信号值与远离中心的多个线上的最大W低频信号值之间的差值。也就是说，例如，在垂直于5个右上对角线的右下对角方向上的W像素的差值被计算作为Diff2。

此外，将所计算的差值Diff2与预定阈值Thr2进行比较。

作为步骤S104的在Diff2与阈值Thr2之间比较处理的结果，

当Diff2大于阈值Thr2时(是)，处理进行到步骤S105，并且当Diff2不大于阈值Thr2时(否)，处理进行到步骤S106。

Diff2不大于阈值Thr2的情况(否)是感兴趣的像素被确定为不是亮度伪色的情况，并且处理进行到步骤S106。通过低通滤波器(LPF)应用处理来计算必需的低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。注意，必需的低频带信号是需要被应用于要在像素插值单元203中执行的、转换感兴趣像素的处理的低频带信号。计算低频带信号mR、mG、mB和mW中的至少一个或更多个低频带信号。

计算低频带信号的处理是图5的低频带信号计算单元202的处理。

例如，如图17(1b)和图18(2b)所示，通过低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。

同时，作为，步骤S104的在Diff2与阈值Thr2之间比较处理的结果，

当Diff2被确定为大于阈值Thr2时(是)，处理进行到步骤S105。

该情况是感兴趣的像素被确定为是亮度伪色出现像素的情况。在该情况下，处理进行到步骤S105。

在步骤S105中，通过低通滤波器(LPF)应用处理来计算必需的低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对低。注意，必需的低频带信号是需要被应用于要在像素插值单元203中执行的、转换感兴趣像素的处理的低频带信号。计算低频带信号mR、mG、mB和mW中的至少一个或更多个低频带信号。

计算低频带信号的该处理是图5中示出的低频带信号计算单元202的处理。

例如，如图17(1c)和图18(2c)所示，通过低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对低。

在步骤S107中，通过应用在步骤S105中生成的低频带信号或在步骤S106中生成的低频带信号，来计算感兴趣像素的插值像素值。

该处理是由图5中示出的像素插值单元203执行的处理。

在感兴趣的像素被确定为是亮度伪色时，像素插值单元203使用在步骤S105中生成的低频带信号来进行插值处理，并且在感兴趣的像素被确定为不是亮度伪色时，像素插值单元203使用在步骤S106中生成的低频带信号来进行插值处理。

具体地，当感兴趣的像素被确定为是亮度伪色时，像素插值单元203使用由以下低通滤波器(LPF)应用处理生成的低频带信号来进行插值处理，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对低。

同时，当感兴趣的像素被确定为不是亮度伪色时，像素插值单元203使用由以下低通滤光器(LPF)应用处理生成的低频带信号来进行插值处理，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。

利用这些处理，针对被确定为是亮度伪色的像素区域的插值像素值，进行其中降低了亮度伪色的影响的插值像素值的设置。

注意，例如在控制单元140的控制下，根据存储在图4所示的存储器130中的程序来执行图21中示出的处理。

图4和图5中示出的数据转换处理单元200根据RGB阵列182(其作为伪色校正和重新马赛克处理的结果)，通过上述处理来生成图像，并且将所述图像输出给RGB信号处理单元250。

RGB信号处理单元250与传统相机等中所包括的信号处理单元类似地执行处理。具体地，RGB信号处理单元250执行去马赛克处理、白平衡调整处理、γ校正处理等，以生成彩色图像183。所生成的彩色图像183被记录在存储器130中。

[伪色检测单元和低频带信号计算单元的变型]

在上述实施方式中，当满足确定处理的两个确定表达式：

在图21的流程中步骤S102的确定处理，即，

Diff1>Thr1，以及

步骤S104的确定处理，即，

Diff2>Thr2时，

伪色检测单元201确定感兴趣的像素是亮度伪色出现像素。

此外，如参照图17(1a)至图17(1c)和图18(2a)至图18(2c)所描述的，已给出了下述描述：低频带信号计算单元根据感兴趣的像素是否是亮度伪色像素而应用不同的LPF系数，来执行计算低频带信号的处理。

由伪色检测单元201进行的检测伪色的处理和由低频带信号计算单元202进行的计算低频带信号的处理不限于此，并且可以采用执行其他处理的配置。下文将描述示例。

图22(a)至图22(g)示出了在G像素位于中心W像素的左部和下部时出现亮度伪色的高亮区域的示例。图22(a)至图22(g)中点线框内的区域是高亮区域。

伪色检测单元201关注输入像素单元(即7×7像素的参考区域)中的W像素，并且检测具有高像素值的W像素。此外，伪色检测单元201确定具有高像素值的W像素是否与图22(a)至图22(g)中示出的任一高亮区域中的W像素的模式相匹配。注意，作为获得合适的W像素的布置的方式，可以应用通常使用的方法，例如模式匹配。

当具有高像素值的W像素与图22(a)至图22(g)中示出的任一高亮区域中的W像素的模式相匹配时，伪色检测单元201确定像素区域是亮度伪色出现区域。

接下来，低频带信号计算单元202选择与在伪色检测单元201中获得的W像素的布置相对应的LPF，并且计算要应用于像素插值处理的低频带信号。

图23(a)至图23(g)示出了设置要应用于计算G信号的低频带信号mG的LPF系数的示例。

图23(a)至图23(g)是设置要应用于计算低频带信号mG的LPF系数的示例，对应于图22(a)至图22(g)的高亮区域使用该低频带信号mG。

如图23(a)至图23(g)所示，其中描述了L或H的像素是G像素，其中

L指示其中设置了相对低的LPF系数的像素，并且

H指示其中设置了相对高的LPF系数的像素。

如图23(a)至图23(g)所示，在高亮区域中G像素的位置处的LPF系数被设置成相对小。

例如，当图22(a)中示出的四个像素的高亮区域被检测时，通过利用图23(a)中示出的LPF系数的设置对输入像素单元进行卷积操作来获得所需的低频带信号。

对于图23(a)示出的LPF系数，仅是图22(a)中示出的高亮区域中G像素位置处的系数是L，并且其他G像素位置处的系数是H。

使用应用了这样的系数的低通滤波器来计算低频带信号mG，由此可以计算其中降低了高亮区域中G像素值的影响的低频带信号mG。

同样的内容适用于图22(b)至图22(g)中示出的其他高亮区域，并且如在图23(b)至图23(g)中所示的来计算以下低频带信号：在该低频带信号中，高亮区域中的像素值的贡献率低。

当以这种方式感兴趣像素的位置被包括在高亮区域中时，低频带信号计算单元202根据高亮区域的形状来计算以下低频带信号：在该低频带信号中，配置高亮区域的像素值的贡献率低，并且低频带信号计算单元202将低频带信号输出给像素插值单元203。

图24(a)至图24(h)示出了从W像素、R像素和B像素来配置高亮区域的示例。图24(a)至图24(h)中点线框内的区域是高亮区域。

伪色检测单元201关注输入像素单元中(即7×7像素的参考区域中)的W像素，并且检测具有高像素值的W像素。此外，伪色检测单元201确定具有高像素值的W像素是否与图24(a)至图24(h)中示出的任一高亮区域中的W像素的模式相匹配。注意，作为获得合适的W像素的布置的方式，可以应用通常使用的方法，例如模式匹配。

当具有高像素值的W像素与图24(a)至图24(h)中示出的任一高亮区域中的W像素的模式相匹配时，伪色检测单元201确定像素区域是亮度伪色出现区域。

接下来，低频带信号计算单元202选择与在伪色检测单元201中获得的W像素的布置相对应的LPF，并且计算要应用于像素插值处理的低频带信号。

图25(a)至图25(h)示出了设置要应用于计算B信号的低频带信号mB的LPF系数的示例。

图25(a)至图25(h)是设置要应用于计算低频带信号mB的LPF系数的示例，对应于图24(a)至图24(h)的高亮区域使用该低频带信号mB。

如图25(a)至图25(h)所示，其中描述了L或H的像素是B像素，其中

L指示其中设置了相对低的LPF系数的像素，并且

H指示其中设置了相对高的LPF系数的像素。

如图25(a)至图25(h)所示，在高亮区域中B像素的位置处的LPF系数被设置成相对小。

例如，当图24(a)中示出的四个像素的高亮区域被检测时，通过利用图25(a)中示出的LPF系数的设置对输入像素单元进行卷积操作来获得所需的低频带信号。

对于图25(a)示出的LPF系数，仅是图24(a)中示出的高亮区域中B像素位置处的系数是L，并且其他B像素位置处的系数是H。

使用应用了这样的系数的低通滤波器来计算低频带信号mB，由此可以计算出其中高亮区域中的B像素值的影响被降低的低频带信号mB。

同样的内容适用于图24(b)至图24(h)中示出的其他高亮区域，并且如在图25(b)至图25(h)中所示的来计算以下低频带信号：在该低频带信号中，高亮区域中的像素值的贡献率低。

当以这种方式感兴趣像素的位置被包括在高亮区域中时，低频带信号计算单元202根据高亮区域的形状来计算以下低频带信号：在该低频带信号中，配置高亮区域的像素值的贡献率低，并且低频带信号计算单元202将低频带信号输出给像素插值单元203。

像素插值单元203使用由低频带信号计算单元202计算的低频带信号来执行插值处理，在该低频带信号中，配置高亮区域的像素值的贡献率低。

利用该处理，可以计算出根据高亮区域的形状的最佳低频带信号，并且可以实现高亮区域中的像素值的贡献率低的最佳像素插值。

图26是示出了根据本实施方式进行亮度伪色的检测、低频带信号的计算，以及像素插值时的流程的图。

与上述图21的流程类似，图26中示出的流程图是针对当RGBW阵列被转换为RGB阵列时要被转换的一个像素的处理序列，并且图26中示出的流程图是输入包括待转换像素的参考像素区域(例如7×7像素区域)，并且在数据转换处理单元中执行的处理。针对处理像素顺序地执行根据图26中示出的流程的处理。

在下文中，将描述每个步骤。

首先，在步骤S201中，从参考区域检测具有大像素值的W像素的布置模式。

接下来，在步骤S202中，确定在步骤S201中检测的具有大像素值的W像素的布置模式是否与预先登记在存储器中的高亮区域的模式相匹配。在存储器中，预先登记图22(a)至图22(g)中示出的高亮区域的模式。

该处理是由图5中示出的伪色检测单元201执行的处理。

在步骤S202中，当伪色检测单元201确定不存在与具有高像素值的W像素的布置模式相匹配的登记模式时(否)，处理进行到步骤S204。

该情况是感兴趣的像素被确定为不是亮度伪色的情况。处理进行到步骤S204，并且通过以下低通滤波器(LPF)应用处理来计算必需的低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。注意，必需的低频带信号是需要被应用到要在像素插值单元203中执行的、感兴趣像素的转换处理的低频带信号。计算低频带信号mR、mG、mB和mW中的至少一个或更多个低频带信号。

计算低频带信号的处理是图5的低频带信号计算单元202的处理。

例如，如图17(1b)和图18(2b)所示，通过以下低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。

同时，在步骤S202中，当检测到与具有高像素值的W像素的所检测布置模式相匹配的登记模式时(是)，处理进行到步骤S203。

在步骤S203中，选择对应于以下登记模式的LPF系数：该登记模式与具有高像素值的W像素的所检测布置模式相匹配，并且计算以下低频带信号，该低频带信号使得执行也用作为伪色校正的处理。

该计算低频带信号的处理是图5中示出的低频带信号计算单元202的处理。

低频带信号计算单元202从伪色检测单元201输入与具有高像素值的W像素的布置模式相匹配的登记模式的信息，并且通过以下低通滤波器(LPF)应用处理根据该信息来计算低频带信号：与登记模式对应的LPF系数被设置给该LPF应用处理。

也就是说，当与具有高像素值的W像素的布置模式相匹配的登记模式是图22(a)时，通过以下低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近图23(a)示出的感兴趣像素的参考像素的LPF系数被设置成相对低。

同样的内容适用于以下情况：与具有高像素值的W像素的布置模式相匹配的登记模式是图22(b)至图22(g)的另一登记模式。在每种情况下，通过以下低通滤波器(LPF)应用处理来计算低频带信号，在该LPF应用处理中，靠近图23(b)至图23(g)中示出的感兴趣像素的参考像素的LPF系数被设置成相对低。

在步骤S205中，通过应用在步骤S203中生成的低频带信号或在步骤S204中生成的低频带信号来计算感兴趣像素的插值像素值。

该处理是图5中示出的像素插值单元203的处理。

在感兴趣的像素被确定为是亮度伪色时，像素插值单元203使用在步骤S203中生成的低频带信号来进行插值处理，并且在感兴趣的像素被确定为不是亮度伪色时，像素插值单元203使用在步骤S204中生成的低频带信号来进行插值处理。

具体地，如图23(a)至图23(g)所示，当感兴趣的像素被确定为是亮度伪色时，像素插值单元203使用由以下低通滤波器(LPF)应用处理生成的低频带信号来进行插值处理，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对低。

同时，当感兴趣的像素被确定为不是亮度伪色时，像素插值单元203使用由以下低通滤波器(LPF)应用处理生成的低频带信号来进行插值处理，在该LPF应用处理中，靠近感兴趣像素的参考像素的LPF系数被设置成相对高。

利用这些处理，针对被确定为是亮度伪色的像素区域的插值像素值，进行其中降低了亮度伪色的影响的插值像素值的设置。

注意，例如在控制单元140的控制下，根据存储在图4所示的存储器130中的程序来执行图26中示出的处理。

图4和图5中示出的数据转换处理单元200根据RGB阵列182(其作为伪色校正和去马赛克处理的结果)通过上述处理来生成图像，并且将所述图像输出给RGB信号处理单元250。

RGB信号处理单元250与传统相机等中所包括的信号处理单元类似地执行处理。具体地，RGB信号处理单元250执行去马赛克处理、白平衡调整处理、γ校正处理等，以生成彩色图像183。所生成的彩色图像183被记录在存储器130中。

[3.本公开的图像处理装置的处理的效果]

例如，通过进行上述本公开的图像处理装置的处理，可以获得下述效果。

(a)可以减少在图像平面上的小区域中出现伪色，例如通过树叶滤过的阳光。

(b)甚至在不产生高光溢出(例如紫边)时可以减少伪色。

(c)与使用光学低通滤波器降低分辨率的方法相比，可以进行图像质量较少劣化的校正。

(d)可以在去马赛克前将处理应用于原始数据，可以将图像处理装置结合在图像传感器等中。

(e)该处理可以被应用于在颜色滤光器中包括白色像素的阵列图像。

例如，可以呈现上述效果。

[4.本公开的配置的结论]

已参照具体示例详细描述了本公开的实施方式。然而，明显的是，本领域的技术人员可以在不脱离本公开的精神的情况下实现对实施方式的修改和替代。也就是说，本发明内容是以示例性描述的形式公开的，而不应当被限制性地解释。为了判断本公开的精神，应当考虑权利要求。

注意，在本说明书中公开的技术可以采用下面的配置：

(1)一种图像处理装置，包括：

数据转换处理单元，所述数据转换处理单元被配置成将RGBW阵列图像作为输入图像，并且生成RGB阵列图像作为输出图像，

所述数据转换处理单元包括：

伪色检测单元，所述伪色检测单元被配置成检测输入图像中的伪色像素，并且输出检测信息，

低频带信号计算单元，所述低频带信号计算单元被配置成从伪色检测单元输入检测信息，并且根据检测信息来改变处理方面，以计算与各个RGBW颜色对应的低频带信号，以及

像素插值单元，所述像素插值单元被配置成通过像素插值来执行输入图像的RGBW阵列的像素转换，以生成RGB阵列图像，由低频带信号计算单元计算的低频带信号被应用于所述像素插值，并且

所述插值处理单元

基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

(2)根据上述(1)所述的图像处理装置，其中，当从所述伪色检测单元输入了感兴趣像素是伪色像素的检测信息时，所述低频带信号计算单元应用低通滤波器来计算所述低频带信号，对于所述低通滤波器设置低通滤波器系数，在所述低通滤波器系数中，使得与感兴趣像素接近的像素的像素值贡献率相对低于与感兴趣像素分隔开的像素的像素值贡献率。

(3)根据上述(1)或(2)所述的图像处理装置，其中，当从所述伪色检测单元输入了感兴趣像素不是伪色像素的检测信息时，所述低频带信号计算单元应用低通滤波器来计算所述低频带信号，对于所述低通滤波器设置低通滤波器系数，在所述低通滤波器系数中，使得与感兴趣像素接近的像素的像素值贡献率相对高于与感兴趣像素分隔开的像素的像素值贡献率。

(4)根据上述(1)至(3)中的任一项所述的图像处理装置，其中，所述伪色检测单元检测是否存在局部高亮区域，所述局部高亮区域是输入图像中的局部高亮度区域，并且当感兴趣像素被包括在所述局部高亮区域中时，所述伪色检测单元确定感兴趣像素是伪色像素。

(5)根据上述(1)至(4)中的任一项所述的图像处理装置，其中，所述伪色检测单元检测接近感兴趣像素的W像素的斜度信息，并且当接近感兴趣像素的W像素值在两个垂直方向上均高于周边的W像素值时，所述伪色检测单元确定感兴趣像素被包括在局部高亮区域中，所述局部高亮区域是局部高亮度区域，并且感兴趣像素是伪色像素。

(6)根据上述(1)至(5)中的任一项所述的图像处理装置，其中，所述伪色检测单元(a)基于设置在感兴趣像素附近的多个右下对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且执行差值Diff1与阈值Thr1之间的比较处理，所述差值Diff1是靠近感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及(b)基于设置在感兴趣像素附近的多个右上对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且执行差值Diff2与阈值Thr2之间的比较处理，该差值Diff2是靠近感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及作为上述(a)和(b)这两种情况的比较结果，当在这两种情况下所述差值均大于所述阈值时，所述伪色检测单元确定感兴趣像素是伪色像素。

(7)根据上述(1)至(6)中的任一项所述的图像处理装置，其中，所述伪色检测单元检测在W像素和G像素集中在局部高亮区域中时出现的伪色，所述局部高亮区域是所述输入图像中的局部高亮度区域，或者检测在W像素、R像素和B像素集中在所述局部高亮区域中时出现的伪色。

(8)根据上述(1)至(7)中的任一项所述的图像处理装置，其中，所述伪色检测单元

从输入图像检测具有高像素值的W像素；将所检测的具有高像素值的W像素的配置模式与登记的高亮区域模式进行比较，所述登记的高亮区域模式是预先记录在存储器中的局部高亮区域的形状；以及当所检测的具有高像素值的W像素的配置模式与登记的高亮区域模式相匹配时，确定在具有高像素值的W像素的配置模式中包括的像素是伪色像素。

(9)根据上述(8)所述的图像处理装置，其中，所述低频带信号计算单元应用低通滤波器来计算所述低频带信号，对所述低通滤波器设置低通滤波器系数，在所述低通滤波器系数中，根据被伪色检测单元确定为与具有高像素值的W像素的配置模式相匹配的登记的高亮区域模式，使得高亮区域的像素值贡献率相对低于在高亮区域以外的像素的像素值贡献率。

此外，在上述的装置和系统中执行的处理的方法、用于使得装置和系统执行处理的程序、以及记录有程序的记录介质也被包括在本公开内容的配置中。

此外，本说明书中描述的系列处理可以通过硬件、软件以及硬件和软件的组合配置来实现。在由软件执行处理时，可以将记录有处理序列的程序安装在被结合在专用硬件中的计算机内的存储器中，并且执行该程序，或者也可以将该程序安装在能够执行各种类型的处理的通用计算机中，并且执行该程序。例如，可以预先将程序记录在存储介质中。可以通过网络(例如局域网(LAN)和因特网)接收程序，并且除了将程序从记录介质安装到计算机中，也可以将程序安装到记录介质(例如内置硬盘)。

注意，在本说明书中所描述的各种类型的处理不仅可以根据描述以时间序列来执行，也可以根据执行处理的装置的处理能力或根据需要而单独地执行或并行地执行。此外，本说明书中的系统是多个装置的逻辑集合配置，并且不限于以下配置：其中将具有各个配置的装置都包含在同一壳体内。

工业实用性

如上所述，根据本公开的一个实施方式的配置，可以实现对出现在图像的局部高亮区域中的伪色进行校正的装置和方法。

具体地，在从RGBW阵列图像生成RGB阵列图像的数据转换处理中检测伪色像素；与各个RGBW颜色对应的低频带信号根据像素是否是伪色像素而不同；以及通过插值处理来转换RGBW阵列，以生成RGB阵列图像，所计算的低频带信号被应用于该插值处理。基于W低频带信号mW以及RGB的各个低频带信号mR、mG和mB在局部区域中具有比例关系的假设，使用低频带信号来进行插值处理。当感兴趣的像素是伪色像素时，通过具有以下系数的低通滤波器的应用来计算低频带信号：在该系数中，使得在感兴趣像素附近的像素值的贡献率相对低于分隔开的像素的像素值的贡献率。

利用该处理，以及利用将RGBW阵列图像转换为RGB阵列的重新马赛克处理，校正了出现在图像的局部高亮区域中的伪色，并且可以生成和输出其中去除或减少了伪色的高质量图像。

附图标记列表

100  成像设备

105  光学透镜

110  成像装置(图像传感器)

120  信号处理单元

130  存储器

140  控制单元

181  RGBW阵列

182  RGB阵列

183  彩色图像

200  数据转换处理单元

201  伪色检测单元

202  低频带信号计算单元

203  像素插值单元

Claims (11)

1.一种图像处理装置，包括：

数据转换处理单元，所述数据转换处理单元被配置成将RGBW阵列图像作为输入图像，以及生成RGB阵列图像作为输出图像，

所述数据转换处理单元包括：

伪色检测单元，所述伪色检测单元被配置成检测所述输入图像中的伪色像素，并且输出检测信息，

低频带信号计算单元，所述低频带信号计算单元被配置成输入来自所述伪色检测单元的所述检测信息，并且根据所述检测信息来改变处理方面，以计算与各个RGBW颜色对应的低频带信号，以及

像素插值单元，所述像素插值单元被配置成通过像素插值来执行所述输入图像的所述RGBW阵列的像素转换，以生成所述RGB阵列图像，其中由所述低频带信号计算单元计算的所述低频带信号被应用于所述像素插值，并且

所述插值处理单元

基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

2.根据权利要求1所述的图像处理装置，其中，

当从所述伪色检测单元输入了表明感兴趣像素是伪色像素的所述检测信息时，

所述低频带信号计算单元应用低通滤波器来计算所述低频带信号，对于所述低通滤波器设置低通滤波器系数，其中使所述感兴趣像素附近的像素的像素值贡献率相对低于与所述感兴趣像素分隔开的像素的像素值贡献率。

3.根据权利要求1所述的图像处理装置，其中，

当从所述伪色检测单元输入了表明感兴趣像素不是伪色像素的所述检测信息时，

所述低频带信号计算单元应用低通滤波器来计算所述低频带信号，对于所述低通滤波器设置低通滤波器系数，其中使所述感兴趣像素附近的像素的像素值贡献率相对高于与所述感兴趣像素分隔开的像素的像素值贡献率。

4.根据权利要求1所述的图像处理装置，其中，

所述伪色检测单元

检测是否存在局部高亮区域，所述局部高亮区域是所述输入图像中的局部高亮度区域，并且当感兴趣像素被包括在所述局部高亮区域中时，所述伪色检测单元确定所述感兴趣像素是伪色像素。

5.根据权利要求1所述的图像处理装置，其中，

所述伪色检测单元

检测感兴趣像素附近的W像素的斜度信息，并且当所述感兴趣像素附近的W像素值在两个垂直方向上均高于周边的W像素值时，所述伪色检测单元确定所述感兴趣像素被包括在局部高亮区域中，所述局部高亮区域是局部高亮度区域，并且所述感兴趣像素是伪色像素。

6.根据权利要求1所述的图像处理装置，其中，

所述伪色检测单元

(a)基于设置在感兴趣像素附近的多个右下对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且执行差值Diff1与阈值Thr1之间的比较处理，所述差值Diff1是靠近所述感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离所述感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及

(b)基于设置在感兴趣像素附近的多个右上对角线上的多个W像素的像素值来计算与各个线相对应的W像素低频分量信号，并且执行差值Diff2与阈值Thr2之间的比较处理，该差值Diff2是靠近所述感兴趣像素的多个内侧线的W像素低频分量信号的最大值与远离感兴趣像素的多个外侧线的W像素低频分量信号的最大值之间的差值，以及

作为上述(a)和(b)这两种情况的比较结果，当在这两种情况下所述差值均大于所述阈值时，所述伪色检测单元确定所述感兴趣像素是伪色像素。

7.根据权利要求1所述的图像处理装置，其中，

所述伪色检测单元

检测在W像素和G像素集中在局部高亮区域中时出现的伪色，或者在W像素、R像素和B像素集中在所述局部高亮区域中时出现的伪色，所述局部高亮区域是所述输入图像中的局部高亮度区域。

8.根据权利要求1所述的图像处理装置，其中，

所述伪色检测单元

从所述输入图像中检测具有高像素值的W像素，

将所检测的具有高像素值的W像素的配置模式与登记的高亮区域模式进行比较，所述登记的高亮区域模式是预先记录在存储器中的局部高亮度区域的形状，以及

当所检测的具有高像素值的W像素的所述配置模式与所述登记的高亮区域模式相匹配时，确定在所述具有高像素值的W像素的所述配置模式中包括的像素是伪色像素。

9.根据权利要求8所述的图像处理装置，其中，

所述低频带信号计算单元

应用低通滤波器来计算所述低频带信号，对所述低通滤波器设置低通滤波器系数，其中根据被所述伪色检测单元确定为与所述具有高像素值的W像素的所述配置模式相匹配的所述登记的高亮区域模式，使高亮区域的像素值贡献率相对低于在所述高亮区域以外的像素的像素值贡献率。

10.一种在图像处理装置中执行的处理图像的方法，所述方法包括：

由数据转换处理单元执行将RGBW阵列图像作为输入图像，并且生成RGB阵列图像作为输出图像的数据转换处理，

在所述数据转换处理中，执行：

检测所述输入图像的伪色像素，并且输出检测信息的伪色检测处理，

输入所述检测信息，并且根据所述检测信息来改变处理方面，以计算与各个RGBW颜色对应的低频带信号的低频带信号计算处理，以及

通过像素插值来执行所述输入图像的所述RGBW阵列的像素转换，以生成所述RGB阵列图像的像素插值处理，所述低频带信号被应用于所述像素插值，并且

在所述插值处理中，

基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。

11.一种用于使得图像处理装置执行图像处理的程序，所述图像处理包括：

使数据转换处理单元执行将RGBW阵列图像作为输入图像，并且生成RGB阵列图像作为输出图像的数据转换处理步骤，

在所述数据转换处理步骤中，使所述数据转换处理单元执行：

检测所述输入图像的伪色像素，并且输出检测信息的伪色检测处理，

输入所述检测信息，并且根据所述检测信息改变处理方面，以计算与各个RGBW颜色对应的低频带信号的低频带信号计算处理，以及

通过像素插值来执行所述输入图像的所述RGBW阵列的像素转换，以生成所述RGB阵列图像的像素插值处理，所述低频带信号被应用于所述像素插值，并且

在所述插值处理中，基于W像素的低频带信号mW和各个RGB像素的低频带信号mR、mG和mB在局部区域中具有比例关系的假设来计算插值像素值。