CN105007474B - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法，即使白平衡增益按照每个颜色成分而不同也能够适当减轻无彩色图像部分的着色。图像处理装置具有：白平衡校正部(23)，其分别对图像数据乘以各颜色成分的白平衡增益；色差计算部(25)，其按照每个像素计算白平衡校正后的图像数据的色差成分；以及色差校正部(26)，其设定为白平衡增益越大则色差校正范围越宽，在处理对象像素的全部色差成分在所设定的色差校正范围内的情况下，进行减小处理对象像素的色差成分的色差校正处理。

Description

图像处理装置、图像处理方法

技术领域

本发明涉及进行白平衡校正和色差校正的图像处理装置、图像处理方法。

背景技术

模拟信号的信号值能够连续变化，与此相对，数字信号只能以规定量化单位变化。因此，例如当在亮度信号中产生与本来信号值之间的变化量时，有时出现伪轮廓。

作为减少这种伪轮廓的技术，例如在日本专利第4301627号公报中记载了检测影像信号的最小量化单位的2倍的变化作为比特缺失部分并将其校正为最小量化单位的变化的伪轮廓校正技术。

另一方面，作为图像处理之一，以往进行针对彩色图像的白平衡处理。该白平衡处理是如下处理：按照每个颜色成分乘以不同的增益，调整彩色平衡以使得白色部分看起来较白。

具体而言，在白平衡处理中，进行对某个颜色成分乘以1倍以上的白平衡增益、不对其他的某个颜色成分乘以白平衡增益(或相乘的白平衡增益为1)等的处理。

但是，当进行这种白平衡处理时，处理后的灰度精度按照每个颜色成分而不同，有时在晕染中出现作为颜色噪声的伪色(伪色轮廓)。

作为减少这种伪色的技术，例如在日本特开2013-223061号公报中记载了如下的颜色噪声降低技术：计算按照每个颜色成分乘以白平衡增益而得到的图像数据的色差数据，减小无彩色晕染中的颜色噪声明显的色差范围内的色差数据。根据该公报所记载的技术，能够期待减轻无彩色晕染中的着色的效果，并且，还能够期待改善由于白平衡增益而导致的灰度精度的劣化的效果。

但是，在近年来的数字照相机中具有能够高速读出摄像数据的摄像驱动模式，在进行高速连拍拍摄的情况下或进行运动顺畅的高速帧率的实时取景显示的情况下等被加以利用。通过读出低比特(即比特精度较低)的摄像数据来实现这种高速读出。

但是，在上述日本专利第4301627号公报中，并未言及白平衡处理，也没有考虑在乘以大于2倍的白平衡增益的情况下产生大于最小量化单位的2倍的变化。因此，仅使用该公报所记载的技术，有时残留有白平衡处理后的颜色轮廓。

并且，在上述日本特开2013-223061号公报中，虽然言及白平衡处理，但是，没有考虑由于按照每个颜色成分相乘的增益不同而产生与增益对应的灰度数的伪色轮廓。因此，产生在未考虑增益而设定的色差范围内无法消除颜色轮廓或甚至消除了颜色轮廓以外的部分的颜色的情况。

进而，上述各公报没有考虑在将通过上述这种高速读出得到的比特精度较低的摄像数据转换为图像处理中的处理比特精度的数据时，伪色轮廓的灰度数也变化。

发明内容

本发明的目的在于，提供即使白平衡增益按照每个颜色成分而不同也能够适当减轻无彩色图像部分的着色的图像处理装置、图像处理方法。

简略地讲，本发明的某个方式的图像处理装置具有：白平衡校正部，其分别对图像数据的各颜色成分乘以各颜色成分的白平衡增益，进行白平衡校正；色差计算部，其按照每个像素计算所述白平衡校正后的所述图像数据的色差成分；色差校正部，其在处理对象像素的全部所述色差成分在规定色差校正范围内的情况下，对该处理对象像素进行减小所述色差成分的色差校正处理；以及色差校正范围设定部，其将所述色差校正范围设定为所述白平衡增益越大则所述色差校正范围越宽，所述白平衡增益越小则所述色差校正范围越窄。

本发明的某个方式的图像处理方法具有以下步骤：白平衡校正步骤，分别对图像数据的各颜色成分乘以各颜色成分的白平衡增益，进行白平衡校正；色差计算步骤，按照每个像素计算所述白平衡校正后的所述图像数据的色差成分；色差校正步骤，在处理对象像素的全部所述色差成分在规定色差校正范围内的情况下，对该处理对象像素进行减小所述色差成分的色差校正处理；以及色差校正范围设定步骤，将所述色差校正范围设定为所述白平衡增益越大则所述色差校正范围越宽，所述白平衡增益越小则所述色差校正范围越窄。

附图说明

图1是示出具有本发明的实施方式1中的图像处理装置的摄像装置的结构的框图。

图2是示出上述实施方式1中的图像处理部的结构的框图。

图3是示出由上述实施方式1的图像处理部进行的图像处理的子例程的流程图。

图4是示出上述实施方式1中的图3的步骤S6中的颜色噪声降低处理的详细情况的流程图。

图5是示出上述实施方式1中的图4的步骤S15中的白平衡增益对应调整的详细情况的流程图。

图6是示出上述实施方式1中的图4的步骤S16中的比特精度转换对应调整的详细情况的流程图。

图7是示出上述实施方式1中的R色差降低系数Kr的曲线图的例子的图。

图8是示出上述实施方式1中的B色差降低系数Kb的曲线图的例子的图。

图9是示出上述实施方式1中的色差和亮度值在规定范围内的像素数据的处理例的图。

图10是示出上述实施方式1中的R色差在规定范围外的像素数据的处理例的图。

图11是示出上述实施方式1中的亮度值在规定范围外的像素数据的处理例的图。

图12是用于说明上述实施方式1中的由于在R成分和G成分中白平衡增益不同而产生的颜色噪声的线图。

图13是示出上述实施方式1中的去除了图12所示的颜色噪声后的状况的线图。

图14是用于说明上述实施方式1中的由于在B成分和G成分中白平衡增益不同而产生的颜色噪声的线图。

图15是示出上述实施方式1中的去除了图14所示的颜色噪声后的状况的线图。

图16是示出上述实施方式1中的针对色差dR的R色差降低系数Kr的基本特性的例子的图。

图17是示出上述实施方式1中的针对色差dB的B色差降低系数Kb的基本特性的例子的图。

图18是示出上述实施方式1中的对应于白平衡增益进行校正后的R色差降低系数Kr的特性的例子的图。

图19是示出上述实施方式1中的通过白平衡校正而产生1个灰度的色差dB1的颜色噪声的例子的线图。

图20是示出上述实施方式1中的通过2比特的比特精度转换而放大了图19所示的颜色噪声的状况的线图。

图21是示出上述实施方式1中的对应于比特精度转换进行校正后的B色差降低系数Kb的特性的例子的图。

图22是示出上述实施方式1中的将亮度范围分为3个部分来准备R、B色差降低系数的例子的图表。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

[实施方式1]

图1～图22示出本发明的实施方式1，图1是示出具有图像处理装置的摄像装置的结构的框图。

本实施方式在具有摄像功能的摄像装置中应用图像处理装置，摄像装置的具体一例是数字照相机。

如图1所示，摄像装置具有镜头1、镜头驱动部2、镜头驱动控制电路3、摄像元件4、摄像电路5、模拟/数字(A/D)转换部6、总线7、SDRAM8、图像处理部9、LCD驱动器10、LCD11、JPEG处理部12、存储器接口(I/F)13、记录介质14、操作部15、闪速(Flash)存储器16、微计算机17。

镜头1是用于在摄像元件4上形成被摄体的光学像的光学系统。该镜头1可以由对焦镜头或变焦镜头等多个镜头构成。

镜头驱动部2驱动镜头1以进行对焦调整，或者在电动变焦镜头的情况下还进行变焦调整等。

镜头驱动控制电路3按照微计算机17的指令来控制镜头驱动部2并使其进行动作。

摄像元件4在摄像面上呈二维状配置有多个像素，对由镜头1形成的被摄体的光学像进行光电转换并输出图像信号。设该摄像元件4是输出具有多个颜色成分的图像信号的彩色摄像元件，但是，不限于CCD、CMOS、单板、三板等特定结构。并且，本实施方式的摄像元件4能够在通常读出模式以及以高于该通常读出模式的帧率进行读出的高速读出模式下进行动作。

摄像电路5对从摄像元件4输出的图像信号实施CDS(相关双重取样)处理和AGC(自动增益控制)处理等模拟处理。

A/D转换部6将由摄像电路5进行处理后的图像信号转换为数字信号(以下称为图像数据)。这里，关于从A/D转换部6输出的图像数据的比特精度，与通常读出模式时相比，高速读出模式时较低。作为具体例，在通常读出模式时被转换为10比特的数字信号，但是在高速读出模式时被转换为8比特的数字信号等。

总线7是从摄像装置内的某个位置向其他位置传输各种数据和命令等的传输路径。从A/D转换部6输出的图像数据经由该总线7被传输到SDRAM8。

SDRAM8是暂时存储包含图像数据在内的摄像装置内部产生的各种数据的存储部。该SDRAM8还被用作图像处理部9进行图像处理时的缓存。

作为本实施方式中的图像处理装置的一例的图像处理部9对所输入的图像数据进行后述各种图像处理。

LCD驱动器10将由图像处理部9进行处理后的图像数据或从记录介质14中读出并由JPEG处理部12进行解压缩后的图像数据等转换为影像信号，并将其输出到LCD11。

LCD11是根据从LCD驱动器10输入的影像信号显示图像的显示装置。另外，这里，作为显示装置，举出液晶显示器(LCD)的例子，但是，当然也可以使用有机电致发光(有机EL)等其他显示器件。

JPEG处理部12在记录图像时对由图像处理部9进行处理后的图像数据进行压缩，在再现图像时对被压缩的图像数据进行解压缩。这里，作为压缩/解压缩方式，针对静态图像使用例如JPEG或TIFF等，针对动态图像使用例如MPEG或H.264等。

存储器I/F13是用于供微计算机17等访问记录介质14并针对记录介质14进行写入或从记录介质14进行读出的接口。

记录介质14非易失地记录对由JPEG处理部12进行压缩后的图像数据附加头信息而生成的图像文件等。该记录介质14例如构成为相对于摄像装置拆装自如的存储卡。因此，记录介质14可以不是摄像装置固有的结构。

操作部15用于对摄像装置进行各种操作输入。该操作部15例如包括用于接通/断开摄像装置的电源的电源按钮；用于设定静态图像拍摄模式、动态图像拍摄模式、再现模式、白平衡模式等的模式设定按钮；以及用于指示输入拍摄开始的释放按钮等。

这里，在白平衡模式中，除了能够设定根据所拍摄的图像自动进行白平衡校正的自动白平衡模式以外，还能够进行使用户从正午太阳光、傍晚太阳光、电灯泡、荧光灯等中选择光源种类的手动设定。

并且，在通过模式设定按钮设定了静态图像拍摄模式或动态图像拍摄模式的情况下，还能够对通常读出模式和高速读出模式进行选择操作。

另外，这里，作为操作部15的例子，举出操作按钮，但是也可以通过触摸面板来实现同样功能，还可以采用其他结构。

闪速(Flash)存储器16是非易失地存储微计算机17执行的处理程序(例如，用于进行后述图3～图6所示的处理的图像处理程序)、摄像装置的动作所需要的各种参数的、计算机可读取的非暂时性的记录介质。这里，作为Flash存储器16存储的参数，举出表示用于判断是否需要进行颜色噪声降低处理的色差范围或亮度值范围的阈值、颜色噪声降低处理中使用的色差降低系数K的基本特性数据(参照图16和图17)、白平衡校正用的白平衡增益、颜色矩阵运算用的颜色矩阵系数、伽马转换用的伽马表等作为几个例子。

微计算机17是对上述摄像装置内的各部进行总括控制的控制部。

接着，图2是示出图像处理部9的结构的框图。

该图像处理部9具有比特精度转换部21、光学黑体(OB)减法部22、白平衡校正部23、同时化处理部24、色差计算部25、色差校正部26、颜色矩阵运算部27、伽马转换部28。

比特精度转换部21在色差校正部26的前级侧将所输入的图像数据的比特精度转换为色差校正部26的处理比特精度。图像处理部9例如被设计成，作为处理对象的图像数据的比特精度为通常读出模式时的比特精度。因此，该情况下，色差校正部26的处理比特精度也与通常读出模式时的比特精度一致。与此相对，在高速读出模式时从A/D转换部6输出的图像数据的比特精度如上所述与通常读出模式时的比特精度不同，即，与处理比特精度不同。因此，在输入到图像处理部9的图像数据的比特精度与处理比特精度不同的情况下，比特精度转换部21进行比特精度转换以使它们一致。

OB减法部22进行从图像数据中减去光学黑体成分的OB减法处理，降低暗电流成分。

白平衡校正部23分别对所输入的图像数据的各颜色成分乘以各颜色成分的白平衡增益，进行白平衡校正处理。这里，如果为自动白平衡模式，则根据所取得的图像数据来计算白平衡校正部23使用的白平衡增益。并且，在用户从正午太阳光、傍晚太阳光、电灯泡、荧光灯等中选择光源种类的情况下，使用根据所选择出的光源种类而预先确定的白平衡增益。然后，如图2中虚线箭头所示，白平衡校正部23使用的各颜色成分的白平衡增益被输出到色差校正部26。

在摄像元件4例如为单板摄像元件、针对1个像素只能得到1个颜色成分的情况下，同时化处理部24进行插值处理，以使得1个像素中构成彩色图像的全部颜色成分一致。具体而言，在摄像元件4是具有原色拜尔排列的彩色滤镜的单板摄像元件的情况下，进行同时化处理，以使得在全部像素中红色(R)成分、绿色(G)成分、蓝色(B)成分一致。

色差计算部25按照每个像素计算进行了白平衡校正处理和同时化处理后的图像数据的色差成分。

在处理对象像素的全部色差成分在规定色差校正范围内的情况下，色差校正部26针对该处理对象像素进行减小色差成分的色差校正处理。该色差校正部26还具有如下的作为色差校正范围设定部的功能：其根据从白平衡校正部23输入的白平衡增益，将色差校正范围设定为，白平衡增益越大则色差校正范围越宽，白平衡增益越小则色差校正范围越窄。

这些色差计算部25和色差校正部26构成颜色噪声降低处理部，进行降低所输入的图像数据的无彩色(下面，为了简便，将包含白色和灰色的无彩色称为白色等)部分中产生的颜色轮廓等颜色噪声的颜色噪声降低处理。

颜色矩阵运算部27对图像数据进行与白平衡校正的结果对应的颜色矩阵运算，进行将图像数据映射到特定颜色空间上的颜色矩阵运算处理。

伽马转换部28进行例如结合显示装置的特性对所输入的图像数据的灰度特性进行转换的伽马转换处理。

对由比特精度转换部21进行了比特精度转换后的图像数据进行处理的图像处理部9内的各部中的OB减法部22、白平衡校正部23、同时化处理部24、颜色矩阵运算部27是进行线性处理的线性处理部，伽马转换部28是进行非线性处理的非线性处理部。即，构成颜色噪声降低处理部的色差计算部25和色差校正部26配置在非线性处理部的前级。如后所述，作为色差校正部26进行的色差校正处理的对象的色差校正范围根据输入信号与输出信号的比率(信号的增减率)而变化，但是，在非线性处理中，该增减率复杂(例如，如果举出伽马转换的例子，则增减率根据信号的亮度值而不同)。因此，优选色差校正部26在对图像数据进行的任意的非线性图像处理的前级进行颜色噪声降低处理，以使得色差校正范围根据信号的放大率而变化。

接着，对摄像装置中的实时取景显示动作和拍摄动作的概要进行说明。

当摄像装置的电源接通后，微计算机17从Flash存储器16中依次读入程序代码，开始进行处理。

实时取景显示开始后，微计算机17使摄像元件4进行规定曝光时间的曝光，输出图像信号。所输出的图像信号通过摄像电路5实施模拟处理，通过A/D转换部6转换为数字信号，经由总线7存储在SDRAM8中。作为曝光动作的结果而存储在SDRAM8中的图像数据通过图像处理部9实施图像处理，再次存储在SDRAM8中。作为图像处理的结果而存储在SDRAM8中的图像数据通过LCD驱动器10读出，转换为影像信号并输出到LCD11。由此，在LCD11中显示与由摄像元件4得到的图像信号对应的图像。通过例如以帧单位反复进行从基于该摄像元件4的曝光到基于LCD11的显示的一连串动作，在LCD11中实时显示图像，即进行实时取景显示动作。用户通过观看LCD11中实时取景显示的图像，能够进行要拍摄的图像的构图确认等。

然后，通过对操作部15的释放按钮进行操作，开始进行拍摄动作。于是，微计算机17根据需要来控制镜头驱动控制电路3，使镜头1驱动到对焦位置。然后，微计算机17例如根据被摄体的亮度来决定曝光时间，使摄像元件4进行曝光动作。与实时取景显示动作时同样，曝光结束后从摄像元件4输出的图像信号被转换为数字信号并实施图像处理，存储在SDRAM8中。作为图像处理的结果而存储在SDRAM8中的图像数据通过JPEG处理部12进行压缩并再次存储在SDRAM8中。作为压缩处理的结果而存储在SDRAM8中的图像数据通过微计算机17附加规定的头信息并构成为图像文件。微计算机17经由存储器I/F13将这样生成的图像文件记录在记录介质14中。

接着，图3是示出由图像处理部9进行的图像处理的子例程的流程图。按照基于从Flash存储器16中读出的图像处理程序的微计算机17的控制来进行该图像处理。

在该实施方式中，图3所示的图像处理的子例程成为从对摄像装置整体的处理进行控制的未图示的主例程执行的子例程之一。

该处理开始后，比特精度转换部21判定从SDRAM8中读出并经由总线7输入的图像数据的比特精度是否与图像处理部9中的处理比特精度相等(步骤S1)。如上所述，由于高速读出模式中的A/D转换部6的A/D转换等而产生比特精度的不一致。

这里，在判定为比特精度不一致的情况下，比特精度转换部21将输入图像数据的比特精度转换为图像处理部9中的处理比特精度(步骤S2)。

在该步骤S2的处理结束或步骤S1中判定为比特精度一致的情况下，OB减法部22从所输入的图像数据中减去光学黑体成分(步骤S3)。

接着，白平衡校正部23例如进行对R成分乘以R成分用的白平衡增益WGr、对B成分乘以B成分用的白平衡增益WGb、对G成分乘以G成分用的白平衡增益WGg的白平衡校正处理(步骤S4)。但是，由于白平衡校正是对各颜色成分之比进行变更的校正处理，所以，例如，

WGr：WGb：WGg＝(WGr/WGg)：(WGb/WGg)：1

左边与右边的差异即WGg仅有助于图像信号整体的增益放大，无助于白平衡的变更。因此，可以将任意一个颜色成分的白平衡增益、例如G成分用的白平衡增益WGg固定为“1”(即，可以不对G成分乘以白平衡增益)，下面，主要考虑这种情况。

进而，同时化处理部24对所输入的图像数据进行同时化处理，生成任意像素中全部颜色成分一致的彩色图像数据(步骤S5)。

然后，色差计算部25和色差校正部26进行后面参照图4说明的颜色噪声降低处理(步骤S6)。

然后，颜色矩阵运算部27对所输入的图像数据进行颜色矩阵运算处理，对颜色空间进行转换(步骤S7)。

而且，伽马转换部28按照通过微计算机17从Flash存储器16中读出的伽马表，对所输入的图像数据进行伽马转换处理(步骤S8)。

这样，在进行了步骤S8的处理后，将图像处理后的图像数据存储在SDRAM8中，结束该图像处理部9进行的图像处理，返回主例程，继续进行处理。

另外，图2和图3所示的图像处理的顺序是一例，例如，也可以如在白平衡校正处理之前进行同时化处理、或在颜色矩阵运算处理之后进行颜色噪声降低处理等那样进行变更。但是，设为在比白平衡校正处理更靠后级进行本实施方式的颜色噪声降低处理。进而，如上所述，优选在作为非线性处理的伽马转换处理的前级进行颜色噪声降低处理。

接着，图4是示出图3的步骤S6中的颜色噪声降低处理的详细情况的流程图。

开始进行该处理后，色差计算部25计算处理对象像素的色差(步骤S11)。

具体而言，将构成摄像元件4的全部N(N为正整数)个像素中的第i(i为1以上N以下的整数)个像素作为处理对象像素，使i在1～N之间变化而依次变更处理对象像素。此时，当将同时化处理后的像素数据中的第i个像素的R成分表示为Rin(i)、G成分表示为Gin(i)、B成分表示为Bin(i)时，色差计算部25例如通过以下的数学式1计算与R成分对应的色差dR(i)和与B成分对应的色差dB(i)。

[数学式1]

dR(i)＝Gin(i)-Rin(i)

dB(i)＝Gin(i)-Bin(i)

色差dR(i)表示从白色朝向R成分方向的偏移量(如果还考虑符号，则为朝向-R成分方向的偏移量)，色差dB(i)表示从白色朝向B成分方向的偏移量(如果还考虑符号，则为朝向-B成分方向的偏移量)，在白色时，由于Gin(i)＝Rin(i)＝Bin(i)，所以dR(i)和dB(i)均为0。

另外，这里为了简化计算，将G成分相对于R、B颜色成分的差分作为色差，但是不限于此，也可以使用YCbCr颜色空间中的色差或其他颜色空间中的色差。

接着，如以下的数学式2所示，色差校正部26判定色差dR(i)是否在规定范围内(步骤S12)。

[数学式2]

-TH_dR<dR(i)<TH_dR

该数学式2中的用于设定规定范围的阈值TH_dR对应于后面参照图7说明的阈值TH_dR2，根据白平衡增益或比特精度转换率而变化。

在该步骤S12中，在判定为色差dR(i)在数学式2所示的规定范围内的情况下，进而，如以下的数学式3所示，色差校正部26判定色差dB(i)是否在规定范围内(步骤S13)。

[数学式3]

-TH_dB<dB(i)<TH_dB

该数学式3中的用于设定规定范围的阈值TH_dB对应于后面参照图8说明的阈值TH_dB2，根据白平衡增益或比特精度转换率而变化。

在Flash存储器16中预先存储有后述在制造时进行实测而设定的R色差降低系数Kr的基本特性数据和B色差降低系数Kb的基本特性数据。根据微计算机17从Flash存储器16中读出的这些基本特性数据，考虑白平衡增益和比特精度转换率，通过色差校正部26设定数学式2和数学式3所示的用于设定规定范围的阈值TH_dR、TH_dB。

这里，在判定为色差dB(i)在数学式3所示的规定范围内的情况下，表示从白色朝向R成分方向的颜色偏移在一定范围内、且从白色朝向B成分方向的颜色偏移在一定范围内。在满足这种数学式2和数学式3双方的情况下，判定为处理对象像素是颜色噪声。另一方面，在不满足数学式2和数学式3中的至少一方的情况下，判定为处理对象像素是原本具有白色以外的颜色的像素，不进行颜色噪声降低处理。

这样，在步骤S13中满足数学式3的情况下，判定为处理对象像素是颜色噪声像素，但是，颜色噪声由于亮度值而有时明显有时不明显。首先，关于颜色的表现范围，在低亮度时，任意颜色全部接近黑色，颜色的表现范围较窄，在高亮度时，任意颜色全部接近白色，同样，颜色的表现范围较窄，在中亮度的情况下，颜色的表现范围最宽。并且，在人类的视觉中，颜色噪声的感知难易度也由于亮度而不同。因此，如以下的数学式4所示，色差校正部26还判定处理对象像素的亮度成分的值(亮度值)是否在需要进行颜色噪声降低处理的规定亮度范围内(步骤S14)。

[数学式4]

Lg≤Gin(i)≤Ug

这里，与上述同样，数学式4所示的用于设定规定亮度范围的下限阈值Lg和上限阈值Ug例如也是在制造时进行实测而设定、预先存储在Flash存储器16中并由微计算机17读出的值。

另外，这里为了简化计算，使用G成分作为亮度成分的值(亮度值)，但是，与上述同样，也可以使用YCbCr颜色空间中的亮度或其他颜色空间中的亮度。

这里，参照图9～图11对上述步骤S12～S14的判定进行说明。图9是示出色差和亮度值在规定范围内的像素数据的处理例的图，图10是示出R色差在规定范围外的像素数据的处理例的图，图11是示出亮度值在规定范围外的像素数据的处理例的图。

首先，图9所示的例子是色差dR(i)满足数学式2所示的规定范围、色差dB(i)满足数学式3所示的规定范围、且亮度值Gin(i)满足数学式4所示的规定亮度范围(即，步骤S12～S14的判定全部为“是”)的例子。该情况下，左侧所示的颜色噪声降低处理前的像素数据Rin、Gin、Bin通过后述步骤S18的处理进行颜色噪声降低，成为右侧所示的颜色噪声降低处理后的像素数据Rout、Gout、Bout。在该图9所示的例子中，特别应用了R色差降低系数Kr＝1和B色差降低系数Kb＝1(这些系数参照后面的说明)，完全去除了颜色噪声，像素返回无彩色(白色)。

并且，图10所示的例子是色差dB(i)满足数学式3所示的规定范围、且亮度值Gin(i)满足数学式4所示的规定亮度范围、但是色差dR(i)不满足数学式2所示的规定范围(即，步骤S12的判定为“否”)的例子。该情况下，跳过后述步骤S18的处理，即，不进行颜色噪声降低处理。

进而，图11所示的例子是色差dR(i)满足数学式2所示的规定范围、且色差dB(i)满足数学式3所示的规定范围、但是亮度值Gin(i)不满足数学式4所示的规定亮度范围(即，步骤S14的判定为“否”)的例子。该情况下，也跳过后述步骤S18的处理，即，不进行颜色噪声降低处理。

接着，如后面参照图5说明的那样，色差校正部26进行用于根据白平衡增益来调整表示颜色噪声降低处理中的色差成分的降低程度的色差降低系数K的白平衡增益对应调整(步骤S15)。

接着，如后面参照图6说明的那样，色差校正部26进行用于根据比特精度转换来调整上述色差降低系数K的比特精度转换对应调整(步骤S16)。

另外，这里，先进行白平衡增益对应调整、后进行比特精度转换对应调整，但是处理顺序也可以相反。

通过步骤S15和步骤S16调整后的R、B色差降低系数Kr、Kb例如如图7和图8所示。这里，图7是示出R色差降低系数Kr的曲线图的例子的图，图8是示出B色差降低系数Kb的曲线图的例子的图。

图7所示的R色差降低系数Kr成为如下特性：在|dR|≤TH_dR1时成为Kr＝1，在|dR|>TH_dR1时Kr随着|dR|的增加而减小，在|dR|>TH_dR2(这里，TH_dR1≤TH_dR2)时成为Kr＝0。

同样，图8所示的B色差降低系数Kb成为如下特：在|dB|≤TH_dB1时成为Kb＝1，在|dB|>TH_dB1时Kb随着|dB|的增加而减小，在|dB|>TH_dB2(这里，TH_dB1≤TH_dB2)时成为Kb＝0。

色差校正部26根据处理对象像素的色差dR(i)，从图7所示的R色差降低系数Kr的曲线图中决定应用于处理对象像素的R色差降低系数Kr，进而，根据处理对象像素的色差dB(i)，从图8所示的B色差降低系数Kb的曲线图中决定应用于处理对象像素的B色差降低系数Kb(步骤S17)。

然后，如以下的数学式5所示，色差校正部26根据所决定的R、B色差降低系数Kr、Kb进行颜色噪声降低处理(步骤S18)。

[数学式5]

Rout(i)＝Rin(i)+(Kr×dR(i))

Bout(i)＝Bin(i)+(Kb×dB(i))

Gout(i)＝Gin(i)

观察该数学式5可知，首先，G成分不受颜色噪声降低处理的影响。

并且，如果参照数学式1所示的色差dR(i)、dB(i)的定义以及图7和图8所示的R、B色差降低系数Kr、Kb，则可知在Kr＝0时不对R成分进行校正，在Kb＝0时不对B成分进行校正。进而，在Kr＝1时将R成分置换为G成分Gin(i)，在Kb＝1时将B成分置换为G成分Gin(i)。即，可知在Kr＝Kb＝1时成为Rout(i)＝Bout(i)＝Gout(i)，颜色噪声降低处理后的像素成为完全的白色(如上所述，更准确地讲为无彩色)。而且，在0<Kr<1、0<Kb<1时，根据Kr的值和Kb的值，输入像素数据接近白色。

这样计算出的Rout(i)、Bout(i)、Gout(i)成为色差校正部26的输出。

在进行了步骤S18的处理后，判定针对全部N个像素的处理是否结束(步骤S19)。这里，在判定为存在未处理的像素的情况下，在移动处理对象像素的位置后(步骤S20)，返回步骤S11，对新的处理对象像素进行上述处理。

这样，在步骤S19中判定为针对全部N个像素的处理结束后，从该处理返回图3所示的处理。

接着，图5是示出图4的步骤S15中的白平衡增益对应调整的详细情况的流程图。

进入该处理后，色差校正部26判定在由白平衡校正部23进行的白平衡校正处理中、针对R成分的白平衡增益WGr与针对G成分的白平衡增益WGg的比(WGr/WGg)是否为“1”(步骤S31)。

这里，在判定为不是“1”的情况下，有时产生例如图12所示的颜色噪声。这里，图12是用于说明由于在R成分和G成分中白平衡增益不同而产生的颜色噪声的线图。

该图12示出WGg＝1、WGr＝3时的例子。由于G成分未进行增益放大，所以，信号值变化的最小单位为量化单位的1个灰度。与此相对，由于R成分被增益放大为3倍，所以，信号值变化的最小单位为量化单位的3倍的3个灰度。因此，在白平衡校正后应该成为白色的像素中产生的、基于信号值变化的最小单位的差异的误差、这里为1个灰度的色差dR1和2个灰度的色差dR2成为颜色噪声。这里，产生最大几个灰度的色差作为颜色噪声是根据R成分的增益值(更一般而言为(WGr/WGg))而不同的。

因此，在步骤S31中判定为不是“1”的情况下，色差校正部26进行如下校正(步骤S32)：以与比率(WGr/WGg)对应的倍率在色差轴方向上对例如图16所示的R色差降低系数Kr的曲线图进行比例转换，该曲线图是经由微计算机17从Flash存储器16中读出的R色差降低系数Kr的基本特性数据。

这里，图16是示出针对色差dR的R色差降低系数Kr的基本特性的例子的图。该图16所示的例子成为WGr＝2、WGg＝1、且将输入图像的比特精度与处理比特精度一致时的R色差降低系数Kr的曲线图作为基本特性的例子。具体而言，图16所示的R色差降低系数Kr成为如下特性：在|dR|≤1时成为Kr＝1，在|dR|>1时Kr随着|dR|的增加而减小，在|dR|>3时成为Kr＝0。

此时，与参照图14下述说明的色差dB的情况同样，在白平衡校正后应该成为白色的像素中产生的、基于信号值变化的最小单位的差异的误差成为1个灰度的色差dR1(不会产生WGr＝3的情况下的2个灰度的色差dR2)。而且，如果参照该图16，则与色差dR1对应的R色差降低系数Kr成为1.0。可知如果将Kr＝1.0应用于数学式5的第1式，则成为Rout(i)＝Gin(i)，完全去除了针对R成分的颜色噪声。并且，Kr随着|dR|从1增加到3而减小，这是为了避免在进行颜色噪声校正/不进行颜色噪声校正中急剧变化，为了减轻色差变化的不舒适感，以使得色差朝向周边区域平缓地变化。

而且，在采用该图16所示的基本特性的情况下，通过使R色差降低系数Kr的曲线图在色差轴方向上成为例如{(WGr/WGg)-1}倍来进行步骤S32的比例转换。特别是在设WGg＝1的情况下，R色差降低系数Kr的曲线图在色差轴方向上成为(WGr-1)倍。

但是，由于数字图像中的色差仅取整数值，所以，更准确地讲，阶段性地进行步骤S32的比例转换。例如，在1<WGr≤2时不进行比例转换(即，直接使用WGr＝2时的R色差降低系数Kr的曲线图)，在2<WGr≤3时使WGr＝2时的R色差降低系数Kr的曲线图在色差轴方向上成为2倍，在3<WGr≤4时使WGr＝2时的R色差降低系数Kr的曲线图在色差轴方向上成为3倍，…，当设n为正整数时，在n<WGr≤(n+1)时使WGr＝2时的R色差降低系数Kr的曲线图在色差轴方向上成为n倍等。

具体而言，在图12所示的情况下，由于WGr＝3，所以，通过步骤S32的比例转换，图16所示的R色差降低系数Kr的曲线图在色差轴方向上成为2倍，生成图18所示的R色差降低系数Kr的曲线图。这里，图18是示出对应于白平衡增益进行校正后的R色差降低系数Kr的特性的例子的图。

如上所述，在WGr＝3时可能产生的颜色噪声为1个灰度的色差dR1或2个灰度的色差dR2。可知在任意情况下，如果参照图18，则R色差降低系数Kr成为1.0，成为Rout(i)＝Gin(i)，如图13所示完全去除了针对R成分的颜色噪声即色差dR1、dR2。这里，图13是示出去除了图12所示的颜色噪声的状况的线图。并且，在图18的曲线图中，Kr随着|dR|从2增加到6而减小，减轻了由于色差急剧变化而导致的不舒适感，这与上述同样。

在进行了该步骤S32的处理或步骤S31中判定为“1”的情况下，色差校正部26判定在由白平衡校正部23进行的白平衡校正处理中、针对B成分的白平衡增益WGb与针对G成分的白平衡增益WGg的比(WGb/WGg)是否为“1”(步骤S33)。

这里，在判定为不是“1”的情况下，与上述同样，有时产生例如图14所示的颜色噪声。这里，图14是用于说明由于在B成分和G成分中白平衡增益不同而产生的颜色噪声的线图。

该图14示出WGg＝1、WGb＝2时的例子。G成分的信号值变化的最小单位为1个灰度，与此相对，由于R成分被增益放大为2倍，所以，信号值变化的最小单位为2个灰度。因此，白平衡校正后应该成为白色的像素中产生的1个灰度的色差dB1成为颜色噪声。而且，与上述同样，产生最大几个灰度的色差作为颜色噪声是根据B成分的增益值(更一般而言为(WGb/WGg))而不同的。

因此，在步骤S33中判定为不是“1”的情况下，色差校正部26进行如下校正(步骤S34)：以与比率(WGb/WGg)对应的倍率在色差轴方向上对例如图17所示的B色差降低系数Kb的曲线图进行比例转换，该曲线图是经由微计算机17从Flash存储器16中读出的B色差降低系数Kb的基本特性数据。

这里，图17是示出针对色差dB的B色差降低系数Kb的基本特性的例子的图。该图17所示的例子成为WGb＝2、WGg＝1、且将输入图像的比特精度与处理比特精度一致时的B色差降低系数Kb的曲线图作为基本特性的例子。具体而言，图17所示的B色差降低系数Kb成为如下特性：在|dB|≤1时成为Kb＝1，在|dB|>1时Kb随着|dB|的增加而减小，在|dB|>3时成为Kb＝0。

此时，与参照图16说明的例子同样，可知与色差dB1对应的B色差降低系数Kb＝1.0应用于数学式5的第2式，成为Bout(i)＝Gin(i)，如图15所示，完全去除了针对B成分的颜色噪声即色差dB1。这里，图15是示出去除了图14所示的颜色噪声的状况的线图。并且，在图17的曲线图中，Kb随着|dB|从1增加到3而减小，减轻了由于色差急剧变化而导致的不舒适感，这与上述同样。

在采用该图17所示的基本特性的情况下，通过使B色差降低系数Kb的曲线图在色差轴方向上成为例如{(WGb/WGg)-1}倍来进行步骤S34的比例转换。特别是在设WGg＝1的情况下，B色差降低系数Kb的曲线图在色差轴方向上成为(WGb-1)倍。

并且，与上述同样，阶段性地进行步骤S34的比例转换。例如，在1<WGb≤2时不进行比例转换(即，直接使用WGb＝2时的B色差降低系数Kb的曲线图)，在2<WGb≤3时使WGb＝2时的B色差降低系数Kb的曲线图在色差轴方向上成为2倍，在3<WGb≤4时使WGb＝2时的B色差降低系数Kb的曲线图在色差轴方向上成为3倍，…，当设n为正整数时，在n<WGb≤(n+1)时使WGb＝2时的B色差降低系数Kb的曲线图在色差轴方向上成为n倍等。

这样，进行步骤S32或步骤S34的处理的色差校正部26作为色差校正范围设定部发挥功能，其将色差校正范围设定为，白平衡增益越大则色差校正范围越宽，白平衡增益越小则色差校正范围越窄。

在进行了该步骤S34的处理或步骤S33中判定为“1”的情况下，从该处理返回图4所示的处理。

接着，图6是示出图4的步骤S16中的比特精度转换对应调整的详细情况的流程图。

进入该处理后，色差校正部26判定是否通过比特精度转换部21实施了比特精度转换(步骤S41)。

例如，设通过白平衡校正而产生图19所示的1个灰度的色差dB1的颜色噪声。这里，图19是示出通过白平衡校正而产生1个灰度的色差dB1的颜色噪声的例子的线图。而且，如上所述，设比特精度转换部21进行的比特精度转换例如是从8比特到10比特的转换、即相当于4倍的增益的转换。该情况下，图19所示的1个灰度的色差dB1的颜色噪声被放大为图20所示的4个灰度的色差dB4的颜色噪声。这里，图20是示出通过2比特的比特精度转换而放大了图19所示的颜色噪声的状况的线图。因此，在实施了比特精度转换的情况下进行以下处理。

即，在判定为实施了比特精度转换的情况下，根据比特精度转换率，进行在色差轴方向上仅对步骤S15的白平衡增益对应调整后的R色差降低系数Kr的曲线图和B色差降低系数Kb的曲线图进行比例转换的校正(步骤S42)。具体而言，当设输入图像数据的比特精度为B0、处理比特精度为Bpro时，进行使R色差降低系数Kr的曲线图和B色差降低系数Kb的曲线图在色差轴方向上成为(Bpro/B0)倍的处理。

在图19所示的例子中，由于产生dB1，所以，即使进行步骤S15的白平衡增益对应调整，也直接使用图17所示的B色差降低系数Kb的曲线图。因此，在该步骤S42中，进行使图17所示的B色差降低系数Kb的曲线图在色差轴方向上成为4倍的比例转换，生成图21所示的曲线图。这里，图21是示出对应于比特精度转换而进行校正后的B色差降低系数Kb的特性的例子的图。

这样，作为色差校正范围设定部发挥功能的色差校正部26设定为，根据比特精度的放大率来扩宽色差校正范围。

另外，上述说明了比特精度转换部21进行的比特精度的转换为精度放大的情况，但是，在精度缩小的情况下也能够同样应用上述技术。因此，色差校正部26设定为，在比特精度转换部21进行的比特精度的转换为精度放大的情况下，根据放大率来扩宽色差校正范围，在比特精度转换部21进行的比特精度的转换为精度缩小的情况下，根据缩小率来缩窄色差校正范围。

在进行了该步骤S42的处理或步骤S41中判定为未实施比特精度转换的情况下，从该处理返回图4所示的处理。

通过上述步骤S15的白平衡增益对应调整和步骤S16的比特精度转换对应调整，图16所示的R色差降低系数Kr和图17所示的B色差降低系数Kb如下所示被调整。

在将R色差降低系数Kr和B色差降低系数Kb统一表示为色差降低系数K、通过WG统一表示WGg＝1时的针对R成分或B成分的白平衡增益、将不进行图16和图17所示的比特精度转换且WGg＝1、WGr＝2、WGb＝2时的色差降低系数K的曲线图表记为K2时，使用天花板函数ceiling()，通过以下的数学式6表现步骤S15和步骤S16的处理后的校正色差降低系数Kcor。

[数学式6]

Kcor＝{ceiling(WG)-1}×(Bpro/B0)×K2

这里，如上所述，B0是输入图像数据的比特精度，Bpro是处理比特精度。

因此，在步骤S15和步骤S16的处理后，作为基本的根据色差降低系数曲线图K2进行色差校正的范围即基本色差校正范围Width(K2)成为以下的数学式7所示的色差校正范围Width(Kcor)。

[数学式7]

Width(Kcor)

＝{ceiling(WG)-1}×(Bpro/B0)×Width(K2)

另外，具体而言，处理后的色差校正范围Width(Kcor)相当于图7所示的-(TH_dR2)～TH_dR2以及图8所示的-(TH_dB2)～TH_dB2。

并且，在不是WGg＝1时，由于G成分中也产生基于白平衡增益的噪声，所以，很难对校正色差降低系数Kcor进行一般化而准确表示R成分的校正色差降低系数KRcor和B成分的校正色差降低系数KBcor，但是，近似地如与上述数学式6相同的以下的数学式7所示。

[数学式7]

KRcor

＝{ceiling(WGr/WGg)-1}×(Bpro/B0)×K2

KBcor

＝{ceiling(WGb/WGg)-1}×(Bpro/B0)×K2

另外，上述假设了作为基本的色差降低系数曲线图K2相对于R色差和B色差分别各为一个的情况，但是不限于此，也可以根据处理对象像素的亮度值而分别准备多个。

图22是示出将亮度范围分成3个部分来准备R、B色差降低系数的例子的图表。

在图22所示的例子中，当设全部亮度范围为0～Ymax时，使用0<Y1<Y2<Ymax这样的亮度值Y1和Y2，设定为第1规定亮度范围为0～Y1、第2规定亮度范围为Y1～Y2、第3规定亮度范围为Y2～Ymax，即，设定为多个规定亮度范围在全部亮度范围0～Ymax内彼此不会重复。

而且，按照第1～第3规定亮度范围预先确定给出色差校正范围的色差降低系数，针对第1规定亮度范围0～Y1确定R色差降低系数Kr1和B色差降低系数Kb1，针对第2规定亮度范围Y1～Y2确定R色差降低系数Kr2和B色差降低系数Kb2，针对第3规定亮度范围Y2～Ymax确定R色差降低系数Kr3和B色差降低系数Kb3。

具体而言，R色差降低系数Krj(j＝1、2、3)成为如下特性：在|dR|≤TH_dRj 1时成为Krj＝1，在|dR|>TH_dRj 1时Krj随着|dR|的增加而减小，在|dR|>TH_dRj2(这里，TH_dRj1≤TH_dRj2)时成为Krj＝0。

同样，B色差降低系数Kbj(j＝1、2、3)成为如下特性：|dB|≤TH_dBj 1时成为Kbj＝1，在|dB|>TH_dBj 1时Kbj随着|dB|的增加而减小，在|dB|>TH_dBj2(这里，TH_dBj 1≤TH_dBj2)时成为Kbj＝0。

而且，考虑到颜色噪声在低亮度区域内更为明显，在该图22所示的例子中，设定色差降低系数，以使得越是亮度值较低的亮度范围，则色差校正范围越宽(即，TH_dR11≥TH_dR21≥TH_dR31、TH_dR12≥TH_dR22≥TH_dR32、TH_dB11≥TH_dB21≥TH_dB31、TH_dB12≥TH_dB22≥TH_dB32)。具体而言，在该图22所示的例子中，成为TH_dR12>TH_dR22>TH_dR32、且TH_dB12>TH_dB22>TH_dB32。

在处理对象像素的亮度成分的值(亮度值)包含在第1～第3规定亮度范围中的任意一方内的情况下，作为色差校正范围设定部发挥功能的色差校正部26设定包含有处理对象像素的亮度值的亮度范围的色差校正范围。

因此，在处理对象像素的亮度值进入第1规定亮度范围0～Y1内的情况下，使用R色差降低系数Kr1和B色差降低系数Kb1，在处理对象像素的亮度值进入第2规定亮度范围Y1～Y2内的情况下，使用R色差降低系数Kr2和B色差降低系数Kb2，在处理对象像素的亮度值进入第3规定亮度范围Y2～Ymax内的情况下，使用R色差降低系数Kr3和B色差降低系数Kb3。

根据这种实施方式1，由于将进行减小色差成分的色差校正处理的色差校正范围设定为，白平衡增益越大则色差校正范围越宽，白平衡增益越小则色差校正范围越窄，所以，即使白平衡增益按照每个颜色成分而不同，也能够适当减轻无彩色图像部分的着色。

进而，由于根据比特精度的转换中的放大率或缩小率来扩宽或缩窄色差校正范围，所以，在进行了比特精度的转换的情况下，也能够适当减轻无彩色图像部分的着色。

具体而言，通过将色差校正范围设定为(Bpro/B0)倍，能够使颜色噪声的降低最优化。

并且，通过将R成分的色差校正范围设定为与比率(WGr/WGg)对应的倍率、将B成分的色差校正范围设定为与比率(WGb/WGg)对应的倍率，能够分别适当进行R色差的降低和B色差的降低。

而且，如果在处理对象像素的亮度值在规定亮度范围内的情况下进行色差校正处理，则能够省略颜色噪声不明显的亮度范围的校正，能够减轻处理负荷。

而且，通过按照多个亮度范围预先确定色差校正范围，能够进行与处理对象像素的亮度值对应的适当的颜色噪声降低。

进而，通过在任意的非线性图像处理的前级进行色差校正处理，能够避免色差校正处理的复杂化。

另外，上述主要对图像处理装置进行了说明，但是，也可以是进行与上述图像处理装置相同的处理的图像处理方法，还可以是用于使计算机执行该图像处理方法的图像处理程序、记录该图像处理程序的计算机可读取的非暂时性的记录介质等。

Claims (8)

1.一种图像处理装置，其对具有颜色成分的图像数据进行图像处理，其特征在于，所述图像处理装置具有：

白平衡校正部，其分别对图像数据的各颜色成分乘以各颜色成分的白平衡增益，进行白平衡校正；

色差计算部，其按照每个像素计算所述白平衡校正后的所述图像数据的色差成分；

色差校正部，其在处理对象像素的全部所述色差成分在规定的色差校正范围内的情况下，对该处理对象像素进行减小所述色差成分的色差校正处理；以及

色差校正范围设定部，其将所述色差校正范围设定为所述白平衡增益越大则所述色差校正范围越宽，所述白平衡增益越小则所述色差校正范围越窄。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还在所述色差校正部的前级侧具有比特精度转换部，该比特精度转换部将所述图像数据的比特精度转换为所述色差校正部的处理比特精度，

所述色差校正范围设定部还设定为，在所述比特精度转换部进行的比特精度的转换为精度放大的情况下，与放大率相应地扩宽所述色差校正范围，在所述比特精度转换部进行的比特精度的转换为精度缩小的情况下，与缩小率相应地缩窄所述色差校正范围。

3.根据权利要求2所述的图像处理装置，其特征在于，

在设所述图像数据的比特精度为B0、所述色差校正部的处理比特精度为Bpro时，所述色差校正范围设定部将所述色差校正范围设定为Bpro/B0倍。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述白平衡校正部分别对图像数据的RGB成分乘以每个RGB成分的白平衡增益WGr、WGg、WGb，进行白平衡校正，

所述色差校正范围设定部将R成分的色差校正范围设定为与比率WGr/WGg对应的倍率，将B成分的色差校正范围设定为与比率WGb/WGg对应的倍率。

5.根据权利要求1所述的图像处理装置，其特征在于，

在所述处理对象像素的亮度成分的值在规定的亮度范围内的情况下，所述色差校正部进行所述色差校正处理。

6.根据权利要求5所述的图像处理装置，其特征在于，

在整个亮度范围内以不会彼此重叠的方式设定了多个所述规定的亮度范围，

按照多个所述规定的亮度范围预先确定了所述色差校正范围，

在所述处理对象像素的亮度成分的值包含在多个所述规定的亮度范围中的任意一方的情况下，所述色差校正范围设定部设定包含有该处理对象像素的亮度成分的值的亮度范围的色差校正范围。

7.根据权利要求1～6中的任意一项所述的图像处理装置，其特征在于，

在对所述图像数据进行的任意的非线性图像处理的前级进行所述色差校正部的色差校正处理。

8.一种图像处理方法，对具有颜色成分的图像数据进行图像处理，其特征在于，所述图像处理方法具有以下步骤：

白平衡校正步骤，分别对图像数据的各颜色成分乘以各颜色成分的白平衡增益，进行白平衡校正；

色差计算步骤，按照每个像素计算所述白平衡校正后的所述图像数据的色差成分；

色差校正步骤，在处理对象像素的全部所述色差成分在规定的色差校正范围内的情况下，对该处理对象像素进行减小所述色差成分的色差校正处理；以及

色差校正范围设定步骤，将所述色差校正范围设定为所述白平衡增益越大则所述色差校正范围越宽，所述白平衡增益越小则所述色差校正范围越窄。