CN102630021A - 信号处理装置、信号处理方法、成像设备和成像处理方法 - Google Patents

Abstract

本发明涉及信号处理装置、信号处理方法、成像设备和成像处理方法。该信号处理装置包括：增强对策单元，其中，在使用线性矩阵系数的线性矩阵增益与图像信号的像素值相乘，来由此在图像中基于所述图像信号进行颜色增强时，基于从所述线性矩阵系数与每个通道的所述像素值相乘的结果分离出的色差成分和由所述结果计算出的亮度，来输出其中对于每个通道校正发生颜色增强的部分的所述图像信号。

Description

信号处理装置、信号处理方法、成像设备和成像处理方法

技术领域

本公开涉及信号处理装置、信号处理方法、成像设备和成像处理方法。更具体地，本公开涉及对着色边缘(colored edge，下文中称作彩色条纹(color fringe))进行校正的技术，该着色边缘发生在图像中包含的亮物体的边界处。

背景技术

在现有技术中，已知一种线性矩阵电路，其执行对由成像装置读取的红色(R)、绿色(G)和蓝色(B)(下文中称作为“RGB”)各个颜色中每一者的图像信号的像素值的增益进行调整的处理，来增强颜色再现性，诸如图像的色调或者颜色的饱和度。这里，“颜色再现性”指的是输出到显示装置(诸如监视器)的图像按物体的原始颜色再现的程度。此外，对像素值的增益进行调整的线性矩阵电路的处理被称作为“与线性矩阵增益相乘”。

在基于与线性矩阵相乘之后的图像信号的图像中，在亮物体的边界处可能发生着色边缘。着色边缘可以被称作为“彩色条纹”并且彩色条纹可能对于用户很明显。用户可以识别发生彩色条纹的部分并感觉到不一致的部分。将会参照图5到图8B描述彩色条纹的原因以及具有彩色条纹的图像的示例。

图5示出了当在L*a*b*颜色空间中与理想线性矩阵增益相乘时的色度值的示例。在图5和下文中描述的图6中示出的L*a*b*颜色空间表示a*和b*轴被用作坐标轴的坐标系统，并且表示光亮度的L*轴上的值被固定到预定的值。

在L*a*b*颜色空间中，当像素的色度值在由a*和b*轴构成的色调坐标上移动时，像素的色调改变。a*轴的正方向表示红色，负方向表示蓝绿色(青绿色)或绿色。另一方面，b*轴的正方向表示黄色，并且负方向表示蓝色。此外，原点是无色的，并且色彩随着离开原点的距离而增加。

假设当线性矩阵电路的操作关闭并且没有与线性矩阵增益相乘，那么色度点100存在于色调坐标(a*，b*)＝(8，28)处。这里，需要打开现有技术的线性矩阵电路，使得由色度点100表示的色调在由坐标(-18，60)的色度点101表示的颜色处。

图6示出了当在L*a*b*颜色空间与线性矩阵增益实际相乘时的色度值的示例。

如图6所示，当线性矩阵电路的操作被打开并且与线性矩阵增益相乘时，可能与过度大的线性矩阵增益相乘，使得所得到的色调超出期望的色度点101并且被设置在色度点102。由于与线性矩阵增益相乘而导致的色调的改变被称作为“色调的旋转”。

图7A和图7B示出的是线性矩阵增益太大以使得在图像中可以看到彩色条纹。

图7A示出了基于在与线性矩阵增益相乘之前的图像信号的图像的示例。

图7B示出了基于在与线性矩阵增益相乘之后的图像信号的图像的示例。

在图7A中，通过在暗室中对具有进入其中的的亮的外部光的格子窗进行成像而获得的、并且基于在与线性矩阵增益相乘之前的图像信号的图像被描述为原始图像。在原始图像的一部分的放大部分105中，颜色渗透到亮的外部景观与暗的格子部分之间的边界中。另一方面，在图7B中，线性矩阵增益与原始图像的图像信号相乘，由此增强了与放大部分105相对应的放大部分106中的蓝色条纹。下文中，在图像中可以看到的由于线性矩阵增益的相乘而具有增强染色可见性的彩色条纹将会被称作为条纹增强。

图8A和图8B示出了其中与过大的线性矩阵增益相乘以使得在发生彩色条纹的部分中梯度差异消失(下文中被称作“梯度消失”)的显示示例。

图8A示出了基于在与线性矩阵增益相乘之前的图像信号的图像的示例。

图8B示出了基于在与线性矩阵增益相乘之后的图像信号的图像的示例。

在图8A中，通过在暗室中对具有从其中进入的亮的外部光的格子窗进行成像而获得的、并且基于没有与线性矩阵增益相乘的图像信号的图像被描述为原始图像。在原始图像的一部分的放大部分107中，在亮的外部景观与暗的格子部分之间的亮度差异较大。另一方面，在图8B中，线性矩阵增益与原始图像相乘，由此线性矩阵增益在与放大部分107相对应的放大部分108中如此之大，以使得在格子部分中的梯度消失。这种梯度消失发生的原因是由于：暗部分与亮部分之间的水平差异较大，并且水平差异由于线性矩阵增益的相乘而增加，使得水平差异超出可以由监视器等显示的水平。因此，图8B中的图像可以被认为是表现出了物体的梯度差异没有被足够地表现，并且质量不好。

JP-A-2007-36719公开了一种技术，其对在线性矩阵增益的调整之后获得的结果进行反馈，以调整图像信号的高频成分的增益，来由此减少在色调改变的位置处的噪音。

JP-A-2010-178226公开了一种技术，其在颜色分离之后校正Y信号的大的斜率以由此减少颜色条纹。

发明内容

存在多种彩色条纹的起因。其光学起因包括设置在成像装置前方以将入射光分离为多种颜色的棱镜透镜的倍率色差。此外，在由线性矩阵电路调整图像的增益时，颜色可以由于内在像差或从周围像素泄露的光而被增强。此外，当在图像的亮部分由于成像装置的特性发生彩色条纹时，可能发生对于数字图像独有的“紫色条纹”，使得图像内的紫色被增强。

因此，为了防止彩色条纹的发生，例如采取这样的对策：通过执行像差校正来移除光学起因或者改善成像装置的质量来执行校正，使得没有光从周围像素泄露。然而，成像设备包括大量处理块，并且由各个块执行许多信号处理。因此，即使当通过移除由于光学元件或成像装置的起因来从图像信号移除彩色条纹的效果时，在作为随后处理来执行的图像制作处理中仍然增强彩色条纹。

例如，当在图像制作处理期间执行诸如白平衡或线性矩阵增益控制的图像增强处理时，可以增强已经预先减少的彩色条纹。此外，当过度大的增益与图像信号相乘时，可以增强条纹，并且特定颜色的色调可能在特定亮度区域中改变，使得图像的梯度消失。

然而，JP-A-2007-36719中公开的技术可能不能够应对与由于色调的旋转而引起的梯度的消失有关的问题。因为该技术执行基于差分信号(诸如亮度信号或色差信号)的处理，用于移除彩色条纹的效果的“彩色条纹对策”仅在亮区域中有效并且不能够检测图像内的色度和色调的变化的差异。此外，在彩色条纹对策中，虽然有必要实现色调的自然改变，但是难以改变到期望的色调。

此外，JP-A-2010-178226没有提供涉及使用线性矩阵增益执行校正的技术的描述，并且仅公开了在单个板型成像设备中使用拜耳(Bayer)布置内插图像信号的方法。

因此期望提供基于线性矩阵增益与像素值相乘的图像信号防止图像中的部分的颜色过度增强的技术。

在使用线性矩阵系数的线性矩阵增益与图像信号的像素值相乘，由此在图像中基于所述图像信号发生颜色增强时，可以应用本发明，其中由成像装置的每个像素对于每个通道输出图像信号的像素值。基于从所述线性矩阵系数与对于每个通道的所述像素值相乘的结果分离出的色差成分和由像素值获得的亮度，来输出对于每个通道校正的所述图像信号。

通过这样，可以校正在基于与线性矩阵增益相乘的图像信号的图像中发生的颜色的过度增强。

根据本公开的实施例，可以通过校正其中由于过度大的线性矩阵增益的相乘而发生彩色条纹或梯度消失的图像的图形信号的颜色增强来抑制其中不自然的彩色条纹。

附图说明

图1是示出了根据本公开的实施例的成像设备的内部构造的示例的框图。

图2是示出了根据本公开的实施例的增强对策单元的内部构造的示例的框图。

图3是示出了根据本公开的实施例的用于校正彩色条纹的处理的示例的流程图。

图4A到图4D是示出了根据本公开的实施例的在采取彩色条纹对策时图像的示例的图。

图5是示出了当在L*a*b*颜色空间中与理想线性矩阵增益相乘时色度值的示例的图。

图6是示出了当在L*a*b*颜色空间中与理想线性矩阵增益实际相乘时色度值的示例的图。

图7A和图7B是示出了线性矩阵增益过大以使得彩色条纹增强的示例的图。

图8A和图8B是示出了线性矩阵增益过大以使得梯度消失的示例的图。

具体实施方式

下文中，将会描述用于执行本公开的优选实施例。将会按照以下顺序进行描述。

1.实施例(校正彩色条纹的示例)

2.修改例

<1.实施例>

[校正彩色条纹的示例]

下文中，将会参照图1到图4D描述本公开的实施例。在本实施例中，将会描述其中用于对于发生于图像中的彩色条纹进行校正的图像信号处理被应用到成像设备10的示例(下文中称作为“本示例”)。涉及本公开的技术也应用到由成像设备10执行的成像处理方法。此外，之后描述的增强对策(enhancement countermeasure)单元9被用作为将预定处理引用到图像信号的信号处理装置。通过执行由增强对策单元9作为软件程序进行的信号处理方法来实现该信号处理装置。

图1是示出了成像设备10的内部构造的示例的框图。

成像设备10包括透镜单元1、彩色滤光片2和成像装置3。透镜单元1包括光学透镜系统和光圈机构(未示出)并且在成像装置3的成像表面上形成物体的图像光。成像装置3具有2维布置并且包括输出RGB的模拟图像信号的多个像素。作为成像装置3，例如，使用电荷耦合器件(CCD)成像器、互补金属氧化物半导体(CMOS)图像传感器等。

RGB的彩色滤光片2被布置在成像装置3的像素中，并且由穿过彩色滤光片2的入射光而获得对应于每像素的一个颜色的模拟图像信号。在入射光穿过彩色滤光片2时，彩色滤光片2的各个颜色成分的入射光到达成像装置3的光接收单元。在这种情况下，在光接收单元中，RGB的各个成分的入射光进入不同位置。此外，成像装置3读取由对通过光学系统进入成像表面的入射光进行光电转换而获得的模拟图像信号，并且将模拟图像信号输出到各个处理块。

此外，成像装置10包括模拟-数字转换单元4和校正处理单元5，该模拟-数字转换单元4将由成像装置3输出的模拟图像信号转换为数字图像信号，并且校正处理单元5在由模拟-数字转换单元4转换的数字图像信号上执行预定校正处理。模拟-数字转换单元4将由成像装置3输出的RGB的各个成分的模拟图像信号转换为数字图像信号，并且将数字图像信号输出到校正处理单元5。校正处理单元5执行处理，诸如用于校正由于光学系统的特性而发生的亮度不均匀性的阴影校正或者由于成像装置3的缺陷而发生的像素缺陷的校正。

此外，成像装置10包括颜色分离单元6，其对从具有拜耳布置等的成像装置输出的图像信号进行空间内插，以获得RGB的全彩图像信号。此外，成像装置10包括线性矩阵操作单元7和线性矩阵系数产生单元8，其中，线性矩阵操作单元7根据线性矩阵系数C₀到C₈将线性矩阵增益与RGB的图像信号相乘，线性矩阵系数产生单元8将线性矩阵系数C₀到C₈输出到线性矩阵操作单元7。此外，成像设备10包括增强对策单元9，其当在图像中基于在其中使用线性矩阵系数的线性矩阵增益与由成像装置的像素对于每个通道输出的图像信号的像素值相乘的图像信号发生颜色增强时，输出具有被校正的像素值的图像信号。此外，成像设备10包括信号输出单元11，其输出具有被抑制的彩色条纹的RGB的图像信号。

线性矩阵操作单元7使用由线性矩阵系数产生单元8输出的线性矩阵系数C₀到C₈将线性矩阵增益与由颜色分离单元6输出的图像信号的像素值相乘。在其中线性矩阵增益被相乘的RGB的图像信号中，增强对策单元9关于由发生彩色条纹或梯度消失的像素输出的图像信号对颜色增强进行抑制。此外，信号输出单元11关于由增强对策单元9输出的RGB的图像信号应用与预定传输标准对应的信号处理，并且输出RGB的图像信号。RGB的图像信号受到图像处理，诸如由图像处理单元(未示出)进行的膝校正(knee correction)、伽马校正和轮廓增强并且输出到诸如监视器的显示装置或者诸如打印机的输出装置。

图2示出了增强对策单元9的内部构造的示例。

增强对策单元9包括色差成分分离单元21，其将每个通道的色差成分与其中与线性矩阵系数相乘的像素值分离。这里，RGB的三原色被称作为“通道”。

此外，增强对策单元9包括亮度产生单元22，其产生亮度Y和用于抑制亮度值Y的抑制增益，使得通过从每个RGB通道的像素的像素值减去色差成分的值而获得的值不小于预定值。此外，增强对策单元9包括彩色条纹校正系数计算单元23，其计算用于对色差成分的值进行校正的校正系数α，使得与每个通道的像素的像素值相加的色差成分的值等于或大于基于亮度和抑制增益计算的值。此外，增强对策单元9包括彩色条纹校正单元24，其通过增加使用校正系数α校正的色差成分的值来校正彩色条纹，以校正每个通道的像素值。

增强对策单元9输出图像信号，在该图像信号中，基于从线性矩阵系数与每个通道的像素的像素值相乘的结果分离而来的色差成分以及从该结果计算的亮度，对于每个通道校正发生颜色增强的部分。此外，当颜色的增强是在亮图案周围出现特定颜色的彩色条纹或者在梯度的差异消失处的梯度消失时，增强对策单元9基于彩色条纹的发生条件计算用于增强与特定颜色相反的颜色的色调的亮度。此外，增强对策单元9计算满足以下关系的校正系数，并且使用该校正系数来校正每个通道的像素值，该关系是：通过将色差成分与预定校正系数相乘而获得的值等于或大于通过将亮度与色差成分相乘而获得的值，该色差成分与每个通道的像素的像素值相加。

之后，将会具体描述实现增强对策单元9的功能的各个单元的操作。

色差成分分离单元21从线性矩阵系数与每个通道的像素值相乘的结果对于每个通道分离出RGB的色差成分，并且将RGB的色差成分输出到彩色条纹校正系数计算单元23和彩色条纹校正单元24。此外，色差成分分离单元21将RGB的图像信号输出到亮度产生单元22和彩色条纹校正系数计算单元23。

亮度产生单元22产生亮度Y，使得关于RGB的图像信号产生于产生在图像中的彩色条纹的颜色相反的颜色。此外，亮度产生单元22将通过将亮度与预定增益系数gain_r、gain_g和gain_b(下文中称作为“gain_rgb”)相乘而获得的值Y×gain_rgb输出到彩色条纹校正系数计算单元23。在这种情况下，基于系数β、γ和κ来计算亮度Y。系数β、γ和κ被用来计算亮度Y，之后将会描述其细节。彩色条纹计算系数计算单元23基于RGB的像素值、RGB的色差成分和与增益系数相乘的亮度Y×gain_rgb计算用于校正彩色条纹所必须的校正系数α。亮度和校正系数α可以由使用操作单元(未示出)的用户的人工操作改变。例如，通过将校正系数α存储在RAM(未示出)中，用户可以通过从外部对操作单元进行操作来改变校正系数α或者结合光圈信息来改变亮度Y。

彩色条纹校正单元24基于RGB的像素值、RGB的色差成分和校正系数α来校正通过RGB的像素值引起彩色条纹的色差成分，并且将RGB的经校正的图像信号输出到信号输出单元11。将会参照图3描述各个单元的具体处理的示例。

(1)与线性矩阵增益相乘的方法

这里，将会描述线性矩阵操作单元7如何将线性矩阵增益与图像信号相乘。

当线性矩阵操作单元7将线性矩阵增益与图像信号相乘以调整每个像素的色调或色度，来由此执行校正以实现生动的颜色再现性时，可能发生诸如颜色增强或者梯度消失的现象。例如，已知当线性矩阵增益被相乘以增强蓝天等使其具有生动的色彩时，可能发生诸如梯度消失的现象。在线性矩阵操作单元7将线性矩阵增益与RGB的图像信号相乘时使用的基础表达式(1)在下文中示出。其中线性矩阵增益被相乘的三原色的图像信号的像素值被分别计算为R₁、G₁和B₁的像素值。

$\left(\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right)=\left(\begin{array}{ccc}{C}_0& C_1& C_2\\ C_3& C_4& C_5\\ C_6& C_7& C_8\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right)$

在将线性矩阵增益与RGB图像信号相乘时，线性矩阵操作单元7将负增益与系数C₁、C₂、C₃、C₅、C₆和C₇相乘并且将正增益与系数C₀、C₃和C₆相乘。

将注意力仅集中在与R相乘的增益上，因为R的水平对于诸如蓝天或蓝色衣服的纯净的颜色较低并且当正增益与C₀相乘时C₁和C₂的增益变为负，所以R₁的像素值变为0以下。G₁的像素值变为0以下。在这种情况下，因为仅有B1的像素值具有正值，所以在经校正的图像中蓝色被进一步加强。此外，因为在将R₁和G₁的像素值输出到成像设备10时，不可以作为0以下的值将它们输出，所以R₁和G₁的像素值都被钳制在0。因此，被校正的像素的色调旋转，并且因为纯蓝是围绕像素的唯一颜色并且与像素具有相同的水平，所以R₁和G₁的像素值被钳制在0附近，被校正的图像的梯度消失。

(2)图像颜色的一般解释

之后，将会描述图像颜色的一般解释。

为了表达包括在图像中的每个像素的颜色，“通道”被确定为表示RGB的三原色中每一者的像素值的数据区域。例如，当RGB的像素值为(R，G，B)＝(255，0，0)时，可以表示纯净的红色。此外，通过结合通道，可以再现任意颜色并且显示在诸如监视器的显示装置上。然而，虽然存在通过RGB的一种纯净颜色(例如，B)的通道显示图像的目的，但是不存在其中通道由其他颜色(例如，R和G)变为0的目标颜色或者光源颜色。因此，当过度大的线性矩阵增益与图像信号相乘时，被过度增强的纯净蓝色可能对于用户看起来图像包括不自然的颜色。

此外，如图5所示，即使当期望改变像素的色调时，如果线性矩阵增益仅被相乘，色调如图6所示在L*a*b*颜色空间中旋转。类似地，当线性矩阵增益被相乘以从图像移除像差的效果时，颜色被作为像差输出，使得颜色被增强到更加纯净的颜色。因此，具有梯度消失的图像被显示在显示装置上。在这种情况下，用户可能将在所显示的图像内的被过度增强的部分识别为过度大的线性矩阵增益被相乘的部分。

另一方面，即使当被相乘的线性矩阵增益的量减小时，仍然不可能再现期望的颜色。对于其他颜色(例如，R和G)，例如蓝天变为不自然的颜色，并且从地面反射的阳光的染色不能被生动地表示。此外，不可以调整其他物体的颜色再现等。这对于类似的颜色也是成立的。虽然在具有强烈的蓝色染色的蓝天中梯度消失，但是即使在色度增强时，因为染色较轻微，所以具有蓝色染色的目标颜色或光源颜色将会不自然地消失。然而，因为期望具有轻微染色的部分具有尽可能生动的染色，有必要与线性矩阵增益相乘并且之后对所获得的图像信号进行校正。

如上所述，在以下两者之间存在权衡关系：归因于由于应用过度大的线性矩阵增益所导致的彩色条纹或梯度消失的过度增强，以及能够实现生动地表示光源颜色和光目标颜色的颜色再现性。因此，在现有技术的增益矩阵电路中，因为担心可能产生彩色条纹，所以不可能与线性矩阵增益相乘来使得光源颜色和目标颜色被生动地再现。相反，增益矩阵电路仅能够抑制图像的染色。然而，在根据本公开的实施例的成像设备10中，在增强对策单元9将线性矩阵增益与RGB的像素值相乘时，执行处理以使得在抑制发生于图像中的颜色增强的同时生动地表现图像。

下文中，将会参照用于校正图3中示出的彩色条纹的处理的流程描述用于校正彩色条纹的处理的示例。

(3)在线性矩阵操作之后的色差成分的分离

首先，线性矩阵操作单元7执行处理，使得使用以上表达式(1)来优化图像的颜色再现性。该处理是使用3×3矩阵将线性矩阵系数C₀到C₈与RGB的像素值相乘的线性矩阵处理(步骤S1)。

随后，增强对策单元9执行彩色条纹对策处理，其用于抑制在于图像中产生彩色条纹的位置处的像素相对应的像素值上的彩色条纹。

包括在增强对策单元9中的色差成分分离单元21将如表达式(2)所示的线性矩阵增益相乘，以判定是否执行彩色条纹对策，来由此在对于每个被校正的通道进行校正之前分离像素值和色差成分(步骤S2)。对于无色颜色(R＝G＝B)，C₀+C₁+C₂＝1、C₃+C₄+C₅＝1和C₆+C₇+C₈＝1的条件被满足，以消除线性矩阵增益的效果。

$\left(\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right)=\left(\begin{array}{ccc}{C}_0& C_1& C_2\\ C_3& C_4& C_5\\ C_6& C_7& C_8\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{c}R-C_1(R-G)-C_2(R-B)\\ G-C_3(G-R)-C_5(G-B)\\ B-C_6(B-R)-C_7(B-G)\end{array}\right)---\left(2\right)$

由色差成分分离单元21分离的色差成分由包括在表达式(2)右侧上得表达式(3)表示。

-C₁×(R-G)-C₂×(R-B)

-C₃×(G-R)-C₅×(G-B)……(3)

-C₆×(B-R)-C₇×(B-G)

当恒定增益被设置为使其增加色差成分时，颜色沿着色度增加的方向移动，而不改变像素的色调。即，如果可以控制与色差成分相乘的增益，也可以抑制色度而不使得颜色旋转。在这种情况下，如果可以判定产生彩色条纹的像素，那么可以通过削弱与该像素相对应的图像信号的增益消除梯度的消失或条纹的增强。

(4)作为彩色条纹的产生条件的水平的计算

虽然可以通过仅抑制表达式(2)中示出的色差成分来抑制彩色条纹，但是亮度产生单元22设置彩色条纹的产生条件。由于与线性矩阵增益相乘所造成的梯度消失或彩色条纹增强的原因的示例包括由RGB通道表示的像素值具有0以下的值，由此改变像素的色调。这里，其中当线性矩阵增益与图像信号相乘时，特定通道的像素值具有0以下的值的现象将会被称作为“通道的消失”。

例如，如果存在满足与表达式(2)的右侧相对应的表达式(4)的一个通道，那么其中梯度消失的不自然的图像被显示在显示装置上。

R-C₁×(R-G)-C₂×(R-B)＜0

G-C₃×(G-R)-C₅×(G-B)＜0……(4)

B-C₆×(B-R)-C₇×(B-G)＜0

因为以通道朝向L*-轴方向上的下侧消失的状态显示的图像的颜色和亮度下降，所以色调也改变，其中L*-轴方向垂直于L*a*b颜色空间的a*-b*坐标系统。虽然具有负号的像素值也被保存在包括于成像设备10内的各种电路和块中，但是在图像信号被输出到显示装置或输出装置时，通道的像素值被钳制在0以下。这是因为由显示装置显示或由输出装置输出的图像被表示在0以上的像素值的范围内，如果像素值为0以下，那么通道消失，由此图像的亮度下降。梯度消失的现象可以发生在任何显示装置和任何输出装置中。

因此，亮度产生单元22在通道的像素值被降低到0以下之前将gain_rgb设置为用于抑制增益的抑制增益，并且也计算亮度Y。此外，亮度产生单元22将亮度变得等于或小于Y×gain_rgb的条件设置为诸如梯度消失的彩色条纹的产生条件。

亮度产生单元22识别像素的色调旋转，使得在存在包括满足表达式(5)中示出的彩色条纹的产生条件的像素值的一个通道时产生彩色条纹。

R+(-C₁(R-G)-C₂(R-B))＜Y×gain_r

G+(-C₃(G-R)-C₅(G-B))＜Y×gain_g……(5)

B+(-C₆(B-R)-C₇(B-G))＜Y×gain_b

此外，亮度产生单元22基于表达式(6)产生图像信号的亮度Y(步骤S3)。用在表达式(6)中的系数β、γ和κ是自由系数并且取决于彩色条纹的颜色的变量。

Y＝β×R₁+γ×G₁+κ×B₁……(6)

例如，当蓝色被增强的位置处产生蓝色条纹时，用于增强作为与蓝色相反的颜色的洋红色(R和G通道)的像素值被设置为亮度Y。因此，自由系数可以根据在类似于β＝0.5、γ＝0.5和κ＝0的图像中产生的彩色条纹的颜色来改变。

此外，亮度产生单元22可以通过设置作为抑制增益的gain_rgb来自由地改变用于确定彩色条纹的产生条件的亮度Y的水平。例如，当gain_rgb被设置为0时，布置在表达式(5)左侧上的每个通道的像素值小于0的条件变为彩色条纹的产生条件。此外，当gain_rgb的值增加时，Y×gain_rgb的值也增加，彩色条纹的产生条件可能对于许多图像得到满足。以此方式，亮度产生单元22设置作为彩色条纹的产生条件的亮度Y和Y×gain_rgb。

(5)控制彩色条纹的方法

随后，彩色条纹校正系数计算单元23限定校正系数α，彩色条纹校正单元24将该校正系数α与由表达式(1)分离的色差成分相乘。校正系数α由彩色条纹校正单元24使用来消弱下文中描述的表达式(9)中的线性矩阵系数的效果。彩色条纹校正系数计算单元23计算增益(Y×gain_rgb)以校正彩色条纹(步骤S4)。

随后，彩色条纹校正系数计算单元23调整校正系数α的值并且进行控制使得在图像中不产生彩色条纹。在这种情况下，彩色条纹校正系数计算单元23判定由色差成分分离单元21输出的色差成分是否是负值(步骤S5)。当色差成分是0或为正时，校正系数α被设置为1(步骤S6)。另一方面，当色差成分为负时，对于RGB的每个通道计算校正系数α。

校正系数α在0到1的范围内移动，并且随着彩色条纹的影响度增加，校正系数α接近0，由此消弱了线性矩阵增益的效果。另一方面，随着校正系数α接近1，图像中的彩色条纹的影响度被判定为较小，并且线性矩阵增益的效果被保持。

校正系数α可以由多种方法控制。然而，如果使用各个通道的水平的阈值(Y×gain_rgb)或差分值(Y-R、Y-G和Y-B)计算校正系数α，那么像素的亮度水平可以改变，并且校正系数α的值根据亮度改变。在这种情况下，在亮度水平较低的部分中难以执行有效的彩色条纹对策。因此，彩色条纹校正系数计算单元23设置“下限值”，其为用于使用线性矩阵增益与像素值相乘的结果来校正对于每个通道的亮度水平的阈值。在RGB的通道中，关于亮度低于下限水平的通道来设置校正系数α。即使在线性矩阵增益被相乘时，校正系数α仍然是将不会等于或小于下限水平的值。此外，彩色条纹校正系数计算单元23将线性矩阵增益的相乘结果反馈给各个颜色RGB，来由此计算对于每个通道的校正系数α，同时监视下限水平。在本示例中，产生彩色条纹的下限水平是通过将抑制增益gain_rgb与亮度Y相乘而获得的值。

在下文中示出满足以上条件的表达式(7)。

R+αr×(-C₁(R-G)-C₂(R-B)≥Y×gain_r

G+αg×(-C₃(G-R)-C₅(G-B)≥Y×gain_g……(7)

B+αb×(-C₆(B-R)-C₇(B-G)≥Y×gain_b

在这种情况下，彩色条纹校正系数计算单元23对于每个通道设置校正系数α，使得所得到的线性矩阵系数与像素值的乘积不小于Y×gain_rgb。这里，彩色条纹校正系数计算单元23通过对下文的表达式(8)进行演算来计算满足表达式(7)的校正系数α(步骤S8)，其中表达式(8)用于从各个通道的校正系数αr、αg、和αb提取最小值。这里，MIN功能是从多个值提取最小值的功能。

α＝MIN(αr，αg，αb)……(8)

彩色条纹校正系数计算单元23计算校正系数αr、αg、和αb中的最小值，来作为对于多个通道公共的校正系数α，以满足表达式(8)。通过以此方式计算校正系数α，任何通道的像素中不产生彩色条纹，并且用于判断彩色条纹的不等式(7)对于任何通道都满足。然而，彩色条纹校正系数计算单元23不计算校正系数α，除非色差成分变为负。这是因为，如果色差成分为负的条件不满足，这意味着线性矩阵系数与像素值相乘的结果总是正整数，并且因此，像素值不朝向下限方向消失。在这种情况下，校正系数α总是1。这里，如果像素值增加，颜色可以沿着向上方向消失。然而，在这种情况下，因为图像处理单元(未示出)的膝校正电路、伽马校正电路等将曲线设置为使得像素值不沿着向上方向消失，所以增强对策单元9部执行校正。

(6)校正彩色条纹的方法

之后，彩色条纹校正单元24使用由彩色条纹校正系数计算单元23计算的校正系数α来计算用于RGB的每个通道的像素值(R₁、G₁、B₁)，如下文中的表达式(9)所示(步骤S9)。以此方式，通过将校正系数α与色差成分相乘，可以削弱线性矩阵系数的效果。

R₁＝R+α×(-C₁(R-G)-C₂(R-B)≥Y×gain_r

G₁＝G+α×(-C₃(G-R)-C₅(G-B)≥Y×gain_g……(9)

B₁＝B+α×(-C₆(B-R)-C₇(B-G)≥Y×gain_b

(7)设置示例

当彩色条纹校正单元24使用表达式(9)中示出的计算来校正蓝色条纹时，参数gain_rgb可以被调整为使得具有与类似蓝色的颜色相反的颜色的像素的水平不朝向像素值的下限方向消失。即，通过设置gain_b＝0，没有不必要的判定条件被包括在B通道的像素值中。这里，因为判断产生在图像中的彩色条纹的可能性随着值gain_r和gain_g增加而增加，所以可以抑制产生蓝色条纹的部分中的、与线性矩阵增益相乘的颜色增强。在这种情况下，可以获得蓝色不会由于过度大的线性矩阵增益的相乘而被不自然地增强的效果。

如上所述，对于紫色条纹，彩色条纹校正单元24将增益设置为gain_r＝0并且gain_b＝0，并且增加gain_g来由此抑制彩色条纹。以此方式，在产生紫色条纹的像素中，图像不会由于过度大的线性矩阵增益的相乘而被过度地增强。

图4A到图4D示出了其中彩色条纹被校正的图像的示例。

图4A使出了在房间中成像的格子窗作为目标的图像，并且图4B示出了格子的放大的图像。

图4C示出了通过将线性矩阵增益与图4B的放大图相乘而获得的图像。

由于线性矩阵增益的相乘，格子的阴影的差异消失并且颜色再现性下降。

图4D示出了通过由增强对策单元9对图4C的放大图像执行彩色条纹校正而获得的图像。

由于彩色条纹的校正，在经校正的图像的格子中能看到阴影的差异，并且增加了颜色再现性。

根据上述实施例的增强对策单元9校正像素值，使其对于由于线性矩阵增益的相乘而产生彩色条纹的像素的RGB通道抑制彩色条纹的产生。由增强对策单元9执行的抑制彩色条纹的处理不是由于由颜色分离单元6执行的颜色分离而产生的彩色条纹的过程，而是减少在图像中由于线性矩阵增益而产生的过度的颜色增强的过程。因此，彩色条纹抑制处理不仅在亮物体的图像中是有效的，并且也在颜色再现性由于各种原因而下降的图像中也是有效的，各种原因例如是图像信号中与各种传感器相关的噪音泄露或者由透镜单元1的像差或颜色分离的效果而导致的波纹的产生。在这种情况下，线性矩阵操作单元7可以通过与线性矩阵增益相乘来增加颜色再现性，并且增强对策单元9可以保持通过与线性矩阵增益相乘而增加的颜色再现性。

此外，当抑制彩色条纹时，增强对策单元9将注意力集中在其中图像中的颜色不自然地改变或者突然消失而使得色调改变的像素值上，但是不集中在亮度或色度的值较大的像素上。然而，因为存在抑制亮度的增益的效果，所以可以说其导致通过过度大的线性矩阵增益而引起的噪声的减小而不是已有噪声的减小。

此外，由增强对策单元9执行的处理不为了移除由于颜色分离而引起的彩色条纹。此外，处理不是为了在对诸如金属关泽的亮部分成像时，执行发生在高亮度范围内的白化(whiteout)的色彩校正。相反，处理是为了校正RGB通道中的任何一者中的梯度的消失和条纹的增强，而不论该图像中是否存在高亮度范围。当由于图像中存在高亮度范围而引起可以由显示装置或输出装置表示的亮度溢出时，可以在随后的处理块中应对膝校正或伽马校正。

<2.修改示例>

在上述实施例中，已经描述了应用到其中提供了线性矩阵操作单元7和增强对策单元9的成像设备10的示例，然而，本公开不局限于这些实施例。例如，线性矩阵操作单元7和增强对策单元9可以与成像设备10分离并且用作为独立的信号处理装置。在这种情况下，除了实时处理视频之外，例如可以校正从外部存储装置读取的图像信号。此外，虽然图1示出了其中成像设备10包括透镜单元1的示例，但是透镜单元1可以是可从成像设备10拆卸的。

此外，虽然上述实施例中的一系列处理可以由硬件执行，但是这些处理也可以由软件执行。当一系列处理由软件执行时，处理可以由其中构成软件的程序结合到专用硬件中的计算机或者其中安装了用于执行各种功能的程序的计算机来执行。例如，处理可以例如通过将构成期望软件的程序安装到通用目的个人计算机中来执行。

可以为系统或设备提供记录介质，其中记录了实现上述实施例的功能的软件的程序码。此外，可以在系统或设备的计算机(或者诸如CPU的控制装置)读取并执行存储在记录介质中的程序码时实现功能呢。

在这种情况下，作为用于提供程序码的记录介质，可以例如使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

此外，上述实施例的功能可以通过执行由计算机读取的程序码来实现。此外，实际处理的一部分或整体可以由基于程序码的指令而运行在计算机上的OS等来执行。上述实施例的功能也可以由处理来实现。

此外，本公开不局限于上述实施例，并且可以在不超出在权利要求中公开的本公开的精神的情况下作出许多其他的应用示例和修改示例。

本公开可以实施为以下构造。

(1)一种信号处理装置，包括：增强对策单元，其中，在使用线性矩阵系数的线性矩阵增益与图像信号的像素值相乘、从而在基于图像信号的图像中发生颜色增强时，基于从线性矩阵系数与每个通道的像素值相乘的结果分离出的色差成分和由结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的图像信号。

(2)根据(1)所述的信号处理装置，其中，当颜色增强是围绕与高亮度像素相对应的图像发生的具体颜色的彩色条纹或者在梯度差异消失处的梯度消失时，增强对策单元计算对与具体颜色相反的颜色进行增强的亮度、计算满足下述关系的预定校正系数、并使用校正系数对于每个通道校正像素值，所述关系使得通过把加到每个通道的像素的像素值的色差成分与预定校正系数相乘而获得的值等于或大于通过把色差成分与该亮度相乘而获得的值。

(3)根据(1)或(2)所述的信号处理装置，

其中，增强对策单元包括：

色差成分分离单元，其从将线性矩阵系数与每个通道的像素的像素值相乘的结果分离出用于像素的每个通道的色差成分，

亮度产生单元，其产生亮度和抑制亮度的抑制增益，所述亮度使得通过从每个通道的像素的像素值减去色差成分的值而获得的值不小于预定值，

彩色条纹校正系数计算单元，其计算校正系数，所述校正系数用于校正色差成分的值，使得被加到每个通道的像素的像素值的色差成分的值等于或大于基于亮度和抑制增益而计算的值，以及

彩色条纹校正单元，其通过增加使用校正系数校正的色差成分的值来校正每个通道的像素值。

(4)根据(1)到(3)中任意一项所述的信号处理装置，

其中，亮度和校正系数是能够由人工操作而改变的。

(5)一种信号处理方法，其中，在使用线性矩阵系数的线性矩阵增益与图像信号的像素值相乘、从而在基于图像信号的图像中发生颜色增强时，基于从线性矩阵系数与每个通道的像素值相乘的结果分离出的色差成分和由结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的图像信号。

(6)一种成像设备，包括：

成像装置，其对通过光学系统进入成像表面的入射光进行光电转换，来输出图像信号；

线性矩阵操作单元，其将使用线性矩阵系数的线性矩阵增益与每个通道的图像信号的像素值相乘；以及

增强对策单元，其中当在基于图像信号的图像中由于线性矩阵增益的相乘而发生颜色增强时，基于从线性矩阵系数与每个通道的像素值相乘的结果分离出的色差成分和由所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的图像信号。

(7)一种成像处理方法，包括：

将使用线性矩阵系数的线性矩阵增益与每个通道的图像信号的像素值相乘；以及

当在基于所述图像信号的图像中由于线性矩阵增益的相乘而发生颜色增强时，基于从线性矩阵系数与每个通道的像素值相乘的结果分离出的色差成分和由所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的图像信号。

本公开的主题涉及2011年2月7日递交给日本专利局的日本优先权专利申请JP 2011-024392中公开的主题，并且通过引用将其全部结合在这里。

本领域技术人员应当理解可以根据设计需要和其他因素进行各种修改、结合、子结合和替换，只要他们在权利要求及其等同含义的范围内。

Claims (7)

1.一种信号处理装置，包括：

增强对策单元，其中，在把由成像设备的像素针对每个通道输出的图像信号的像素值乘以使用线性矩阵系数的线性矩阵增益、从而在基于所述图像信号的图像中发生颜色增强时，基于从把针对每个通道的所述像素值乘以所述线性矩阵系数的结果分离出的色差成分和从所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的所述图像信号。

2.根据权利要求1所述的信号处理装置，

其中，当所述颜色增强是围绕与高亮度像素相对应的图像发生的具体颜色的彩色条纹或者在梯度差异消失处的梯度消失时，所述增强对策单元计算对与所述具体颜色相反的颜色进行增强的亮度、计算满足下述关系的预定校正系数、并使用所述校正系数对于每个通道校正所述像素值，所述关系使得通过把加到每个通道的像素的像素值的色差成分与预定校正系数相乘而获得的值等于或大于通过把该色差成分与所述亮度相乘而获得的值。

3.根据权利要求2所述的信号处理装置，

其中，所述增强对策单元包括：

色差成分分离单元，其从将所述线性矩阵系数与每个通道的像素的像素值相乘的结果分离出针对像素的每个通道的色差成分，

亮度产生单元，其产生亮度和抑制所述亮度的抑制增益，所述亮度使得通过从每个通道的像素的像素值减去所述色差成分的值而获得的值不小于预定值，

彩色条纹校正系数计算单元，其计算所述校正系数，所述校正系数用于校正所述色差成分的值，使得被加到每个通道的像素的像素值的所述色差成分的值等于或大于基于所述亮度和所述抑制增益而计算的值，以及

彩色条纹校正单元，其通过增加使用所述校正系数校正的所述色差成分的值来校正每个通道的像素值。

4.根据权利要求3所述的信号处理装置，

其中，所述亮度和所述校正系数是能够由人工操作而改变的。

5.一种信号处理方法，其中，

在把每个通道的图像信号的像素值乘以使用线性矩阵系数的线性矩阵增益、从而在基于所述图像信号的图像中发生颜色增强时，基于从把针对每个通道的像素值乘以所述线性矩阵系数的结果分离出的色差成分和由所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的所述图像信号。

6.一种成像设备，包括：

成像装置，其对通过光学系统进入成像表面的入射光进行光电转换，来输出图像信号；

线性矩阵操作单元，其把每个通道的图像信号的像素值乘以使用线性矩阵系数的线性矩阵增益；以及

增强对策单元，其中当在基于所述图像信号的图像中由于乘以所述线性矩阵增益而发生颜色增强时，基于从把针对每个通道的像素值乘以所述线性矩阵系数的结果分离出的色差成分和由所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的所述图像信号。

7.一种成像处理方法，包括：

把每个通道的图像信号的像素值乘以使用线性矩阵系数的线性矩阵增益；以及

当在基于所述图像信号的图像中由于乘以所述线性矩阵增益而发生颜色增强时，基于从把针对每个通道的像素值乘以所述线性矩阵系数的结果分离出的色差成分和由所述结果计算出的亮度，来输出针对每个通道对发生颜色增强的部分进行了校正的所述图像信号。

Images