CN102124744A - 图像处理装置、图像处理方法、成像设备及计算机程序 - Google Patents

Abstract

即使在诸如要使用的透镜之类的光学条件未知的情况下，也可以适应性地校正串扰量。根据其中使用包括白色像素的颜色编码的成像装置的输出信号，基于各个RGB像素的信号量的总和相对于白色的信号量的比率来计算串扰量的相对的变化。然后，使用先前获得的串扰校正系数与串扰量之间的关系式，计算与当前的串扰量相对应的串扰校正系数，并且通过从校正目标像素的信号中减去作为串扰量的相邻像素的信号的百分比来对校正目标像素的信号进行校正。

Description

图像处理装置、图像处理方法、成像设备及计算机程序

技术领域

本发明涉及图像处理装置和图像处理方法、成像设备以及计算机程序，其中来自具有滤色器的成像装置的输出信号被处理，该滤色器具有颜色编码，更具体地，本发明涉及图像处理装置和图像处理方法、成像设备以及计算机程序，其中来自使用颜色编码中的白色像素的成像装置的输出信号被处理。

背景技术

摄像机作为用于记录视觉信息的器件已经有长久的历史。迄今为止，对利用固态成像装置(如CCD(电荷耦合装置)或CMOS(互补式金属氧化物半导体)等)捕获的图像执行数字编码的数字摄像机已变得普及，并代替了使用胶片或感光板来摄影的银盐摄像机。数字摄像机在以下方面是有利的：经历数字编码的图像被存储在存储器中，并且可以通过计算机来执行图像处理和图像管理，此外，不存在胶片预期寿命的问题。当前，许多数字照相机、数字视频摄像机、在蜂窝电话和PDA(个人数字助理)中实现的数字摄像机、以及监视摄像机使用固态装置。

CCD和CMOS成像装置中的任一种被配置成具有以下布置：其中二维地布置的像素(光电二极管)使用光电效应将光转换成电荷。每个像素的表面具有例如三种颜色R(红色)、绿色(G)、蓝色(B)中的一种颜色的颜色像素，并且在每个像素中累积与通过每个滤色器的入射光的量相对应的信号电荷。滤色器是使具有预定波长的光通过的带通滤波器。根据每种颜色的入射光的量的信号电荷被从每个像素中读出，并且可以根据三种颜色中的每种颜色的信号电荷的量来再现在每个像素位置处的入射光的颜色。

近来，随着微型化技术的进步，开发了更高分辨率的成像装置。但是，由于高分辨率而产生的微型化像素导致了以下考虑：灵敏度将由于在每个像素处累积的电荷量的减少而降低。已经提出的一种用于实现高灵敏度的方法是对在像素上不包括光学带通滤波器的、包含“白色(WHITE)像素”的阵列进行颜色编码(例如，参见非专利文献1)。高灵敏度像素(如白色像素)具有以下特征：与彩色像素相比，对于入射光的灵敏度更高，并且灵敏度特性在低照度环境下可以被改善(例如，参见专利文献1)。

图12A示出了Bayer阵列，该Bayer阵列是原色的代表性滤波器阵列。此外，图12B示出了包括白色像素的滤波器阵列的示例。这里，在附图中，R代表红色滤波器，G代表绿色滤波器，B代表蓝色滤波器，W代表白色滤波器。在附图中所示的示例中，以间隔的方式将白色像素引入RGB原色系的滤色器之间。

此外，随着像素的微型化，存在光电串扰的考虑，即，相邻像素之间将发生混色(以下简称为“串扰”)。串扰因素包括应该在相邻像素处收集的光的泄漏、像素之间的电子泄漏等。

串扰导致了分辨率劣化以及颜色信息的丢失，因此需要被校正。现在，对于使用在阵列中包括白色像素的滤色器的成像装置而言，串扰不是唯一的问题。但是大量的光从白色像素泄漏，因此，与使用在阵列中不包括白色像素的滤色器的成像装置相比，由于串扰而产生的图像劣化更加显著。

即使利用相同的成像装置，串扰量也会根据光学条件如个别的微透镜而变化。这是因为串扰依赖于入射角度。因此，串扰量根据芯片表面上的像素位置而不同。此外，穿入构成成像装置的硅(Si)衬底的深度根据光的波长而不同，因此串扰量还根据光源在摄影时的色温而改变。

例如，提出了一种信号处理方法，该方法通过以下方式来处理由于光学条件而导致的串扰的变化：使用成像装置中与关注的像素相邻的多个周围像素中的每个像素的信号以及针对这些信号中的每个信号而独立地设置的校正参数，对关注的像素的信号执行对应的处理(例如，参见专利文献2)。然而，利用该信号处理方法，根据将光从被摄体引导至成像装置的光学系统中包括的光圈的孔径来设置校正参数的值。也就是说，已经确定要使用的透镜，已预先测量了根据透镜的串扰量，并且对此进行了校正。因此，在透镜信息未知的情况下，例如在可更换的透镜(其中用户可以自由地更换透镜)的情况下，串扰量的校正是困难的。

引用文献列表

专利文献

专利文献1：日本未审专利申请公开2007-288490

专利文献2：日本未审专利申请公开2007-142697

非专利文献

非专利文献1：Y.Egawa，“A White-RGB CFA-Patterned CMOS Image Sensor with Wide Dynamic Range”(2008 IEEE International Solid-State Circuits Conference(ISSCC)第52-53页)

发明内容

技术问题

本发明的目的是提供一种优良的图像处理装置和图像处理方法、成像设备以及计算机程序，其中，来自在颜色编码中使用白色像素的成像装置的输出信号可以被适当地处理。

本发明的另一目的是提供一种优良的图像处理装置和图像处理方法、成像设备以及计算机程序，其能够对来自在颜色编码中使用白色像素的成像装置的输出信号中包括的串扰量适当地执行校正处理。

本发明的又一目的是提供一种优良的图像处理装置和图像处理方法、成像设备以及计算机程序，其即使在诸如要使用的透镜等的光学条件未知的情况下也能够对来自在颜色编码中使用白色像素的成像装置的输出信号中包括的串扰量适当地执行校正处理。

解决问题的方案

考虑到以上问题而提出本申请，根据权利要求1的发明是一种图像处理装置，其包括：

串扰量计算单元，用于计算来自成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从串扰量计算单元输出的评估值来计算串扰校正系数；以及

串扰校正单元，用于使用串扰校正系数来消除待校正的像素的输出信号中包括的串扰量。

利用根据本发明的权利要求2的发明，根据权利要求1的图像处理装置的串扰量计算单元被配置成基于来自成像装置的输出信号而计算待校正的像素的输出信号中包括的串扰量的评估值。

利用根据本发明的权利要求3的发明，根据权利要求1的图像处理装置的串扰量计算单元被配置成基于相邻像素之间的输出信号的关系来计算待校正的像素的输出信号中包括的串扰量的评估值。

利用根据本发明的权利要求4的发明，利用根据权利要求1的图像处理装置，该成像装置被配置成使用包括白色像素的颜色编码。串扰不是对于使用在阵列中包括白色像素的滤色器的成像装置而言的唯一的问题，但是，大量的光从白色像素泄漏，因此由于串扰而产生的图像劣化与使用在阵列中不包括白色像素的滤色器的成像装置相比更加显著。在这种情况下，根据权利要求4的串扰量计算单元可以被配置成基于除了白色以外的像素的信号量的总和相对于白色像素的信号量的比例来计算待校正的像素中包括的串扰量的评估值，如权利要求5中描述的那样。

更具体地，如本申请的权利要求6所述的那样，根据权利要求4的串扰量计算单元可以被配置成基于通过将各个RGB像素的信号量乘以相应的预定系数(α，β，γ)而获得的值的总和相对于通过将白色像素的信号量乘以预定系数(ε)而获得的值的比例，来计算待校正的像素中包括的相对的串扰量的评估值。

利用根据本发明的权利要求7的发明，根据权利要求4的串扰量计算单元被配置成以N×N个像素(其中N是正整数)作为处理单位来计算串扰量的评估值。

利用根据本发明的权利要求8的发明，根据权利要求7的图像处理装置被配置成还包括存储器，该存储器用于存储已由串扰量计算单元以处理单位计算的串扰量的评估值，其中串扰校正系数计算单元和串扰校正单元使用利用保存在存储器中的先前的帧而计算的评估值来分别执行校正系数的计算和串扰的校正。

利用根据本发明的权利要求9的发明，根据权利要求1的图像处理装置的串扰校正系数计算单元被配置成预先计算通过串扰量计算单元计算得到的串扰量的评估值与校正系数之间的关系式，并且当从串扰量计算单元输出的评估值被输出时，参考该关系式并计算与该评估值相对应的校正系数。

利用根据本发明的权利要求10的发明，根据权利要求1的图像处理装置的串扰校正单元被配置成从待校正的像素的输出信号中减去通过将与待校正的像素相邻的像素的输出信号与校正系数相乘而得到的值，由此消除串扰量。

利用根据本发明的权利要求11的发明，根据权利要求1的图像处理装置的成像装置在不包括白色像素的阵列中布置有包括白色像素的用于计算评估值的多个阵列。

利用根据本发明的权利要求12的发明，根据权利要求11的图像处理装置的串扰量计算单元被配置成使用用于计算评估值的每个阵列来计算在相关的位置处发生的串扰量的评估值。此外，串扰校正系数计算单元被配置成针对每个布置有用于计算评估值的阵列的位置、基于从串扰量计算单元输出的评估值来计算串扰校正系数。此外，串扰校正单元被配置成在用于计算评估值的阵列中使用相应的校正系数执行串扰校正，并在用于计算评估值的阵列的外部的区域中使用基于从邻近的用于计算评估值的阵列获得的串扰量的评估值而确定的串扰校正系数来执行串扰校正。

此外，根据本申请的权利要求13的发明是一种图像处理方法，其包括：

串扰量计算步骤，用于计算来自成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算步骤，用于基于在串扰量计算步骤中输出的评估值来计算串扰校正系数；以及

串扰校正步骤，用于使用串扰校正系数来消除待校正的像素的输出信号中包括的串扰量。

此外，根据本申请的权利要求14的发明是一种成像设备，其包括：

成像装置，该成像装置包括颜色编码滤色器；以及

信号处理单元，用于处理该成像装置的输出信号；

其中该信号处理单元包括：

串扰量计算单元，用于计算来自成像装置中的待校正的像素的输

出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从串扰量计算单元输出的评估

值来计算串扰校正系数；以及

串扰校正单元，用于使用串扰校正系数来消除待校正的像素的输

出信号中包括的串扰量。

此外，根据本申请的权利要求15的发明是一种计算机程序，以计算机可读格式描述该计算机程序，以在计算机上对来自具有颜色编码滤色器的成像装置的输出信号执行处理，该计算机程序使得计算机用作：

串扰量计算单元，用于计算来自成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从串扰量计算单元输出的评估值来计算串扰校正系数；以及

串扰校正单元，用于使用串扰校正系数来消除待校正的像素的输出信号中包括的串扰量。

此外，根据本申请的权利要求15的计算机程序限定了以计算机可读格式描述的用以在计算机上实现预定处理的计算机程序。换言之，通过将根据本申请的权利要求15的计算机程序安装到计算机中，在计算机上显现协作效果，由此可以获得如同利用根据本申请的权利要求1的图像处理装置的情况一样的操作效果。

发明的有益效果

根据本发明，提供了优良的图像处理装置和图像处理方法、成像设备以及计算机程序，其中即使在诸如正在使用的透镜之类的光学条件未知的情况下，也能够适当地校正在颜色编码中使用白色像素的成像装置的输出信号中包括的串扰量。

利用根据本申请的权利要求1、13和15的发明，即使在摄影时没有光学信息，也能够单独地根据摄影数据来计算用于告知串扰量的评估值，并且可以使用应用于该评估值的校正系数来执行串扰的校正处理。

利用根据本申请的权利要求2和3的发明，基于来自成像装置的输出信号计算串扰量，因此，即使在诸如正在使用的透镜之类的光学条件未知的情况下也能执行串扰校正，而且可以通过数字信号处理来执行串扰校正。

利用根据本申请的权利要求4至6的发明，在使用白色像素和其它颜色(例如RGB)的像素相邻的颜色编码的情况下，可以基于相邻的RGB像素的信号量的总和相对于白色像素的信号量的比例来计算在待校正的像素处的串扰量的评估值，所利用的事实是来自纵向和横向的现象是主导的。

利用根据本申请的权利要求7的发明，可以通过使得例如N＝4(即，4×4个像素是最小的单位)来实时地计算串扰量评估值。在这种情况下，处理单位中的相同颜色的像素具有两个或更多个输出，因此，针对每种颜色可以使用信号量的平均值。此外，在不需要以细粒度计算校正系数的情况下，或者在不需要如同用于动画的应用一样地计算单个成像图像中的校正系数的情况下，可以使用约为N＝100(即，100×100个像素)的相对大的块作为处理单位。

利用根据本申请的权利要求8的发明，可以利用使用先前的帧计算的评估值来执行校正系数的计算以及串扰校正，因此可以应对动画处理。

利用根据本申请的权利要求9的发明，可以基于预先计算的串扰量评估值与校正系数之间的关系式，根据从串扰量计算单元输出的评估值来计算校正系数。

利用根据本申请的权利要求10的发明，从待校正的像素的输出信号中减去通过将与待校正的像素相邻的像素的输出信号与校正系数相乘而获得的值，由此可以消除串扰量。

利用根据本申请的权利要求11和12的发明，通过使用各个用于计算评估值的阵列来评估每个串扰量，可以获知整个成像装置表面上的串扰程度。通过随后基于从邻近的用于计算评估值的阵列获得的串扰量评估值而确定每个区域中的校正系数，可以适当地校正串扰。

从基于稍后描述的本发明的实施例和附图进行的详细描述来看，本发明的其它目的、特征和优点将变得明显。

附图说明

图1是示意性地示出了用作本发明的实施例的成像设备100的硬件配置的图；

图2是示出了用于执行用于串扰校正的图像信号处理的功能配置的图；

图3A是示出成像装置12的针对每个颜色像素的频谱特性的示例(串扰程度小)(频谱特性1)的图；

图3B是示出成像装置12的针对每个颜色像素的频谱特性的示例(串扰程度中等)(频谱特性2)的图；

图3C是示出成像装置12的针对每个颜色像素的频谱特性的示例(串扰程度大)(频谱特性3)的图；

图4A是示出了串扰从纵向和横向发生的方式的图；

图4B是示出了在图12B所示的颜色像素阵列中白色信号混合到相邻的RGB信号中的方式的图；

图4C是示出了在图12B所示的颜色像素阵列中RGB信号混合到相邻的白色信号中的方式的图；

图5A是示出了Macbeth色彩测试标板(color checker chart)中的蓝色色块(色块编号13)的反射频谱特性的图；

图5B是示出了Macbeth色彩测试标板中的绿色色块(色块编号14)的反射频谱特性的图；

图5C是示出了Macbeth色彩测试标板中的红色色块(色块编号15)的反射频谱特性的图；

图5D是示出了Macbeth色彩测试标板中的黄色色块(色块编号16)的反射频谱特性的图；

图5E是示出了Macbeth色彩测试标板中的品红色色块(色块编号17)的反射频谱特性的图；

图5F是示出了Macbeth色彩测试标板中的青色色块(色块编号18)的反射频谱特性的图；

图6A是示出了将图5A至图5F中所示的每个Macbeth色块的反射频谱特性与和图3A中所示的成像装置12的每个颜色像素的串扰量相对应的频谱特性(频谱特性1)相积分的结果的图；

图6B是示出了将图5A至图5F中所示的每个Macbeth色块的反射频谱特性与和图3B中所示的成像装置12的每个颜色像素的串扰量相对应的频谱特性(频谱特性2)相积分的结果的图；

图6C是示出了将图5A至图5F中所示的每个Macbeth色块的反射频谱特性与和图3C中所示的成像装置12的每个颜色像素的串扰量相对应的频谱特性(频谱特性3)相积分的结果的图；

图7A是示出了与根据串扰量的各个频谱特性(图3A至图3C)相关的、针对主要的六种颜色的各个Macbeth色块而获得的评估值的图；

图7B是示出了与根据串扰量的各个频谱特性(图3A至图3C)相关的、针对全部Macbeth色块而获得的评估值的图；

图8是用于描述常用的串扰校正处理方法的图；

图9是示出了串扰量评估值(K)和校正系数之间的关系式的示例的图；

图10是示出了用于计算校正系数的具有一定程度的尺寸的区域(块)的示例的图；

图11是示出了用于保持在串扰校正计算单元1处计算的评估值(K)的存储器4的图；

图12A是示出了Bayer阵列的图，其中Bayer阵列是用于原色系的代表性滤波器阵列；

图12B是示出了包括白色像素的滤波器阵列的示例的图；

图13A是示出了包括白色像素的滤波器阵列的另一示例的图；

图13B是示出了包括白色像素的滤波器阵列的另一示例的图；

图13C是示出了使用补色滤色器的滤波器阵列的另一示例的图；

图14是示出了滤波器阵列的示例的图，其中包括白色像素的阵列(如图12B中所示)分散在不包括白色像素的整个Bayer阵列(参见图12A)中；

图15是示意性地示出多个评估值计算阵列(如图12B中所示)被设置在基于图12A中所示的Bayer阵列的成像装置表面上的方式的图；

图16是示意性地示出多个评估值计算阵列(如图12B中所示)被设置在基于图12A中所示的Bayer阵列的成像装置表面上的方式的图。

具体实施方式

以下是参考附图对本发明的实施例的详细描述。

图1示意性地示出了用作本发明的实施例的成像设备10的硬件配置。注意，这里使用的成像设备包括：成像装置；摄像机模块，该摄像机模块包括用于对成像装置的成像表面(光接收表面)上的图像光进行成像的光学系统、以及用于该成像装置的信号处理电路；其中实现有摄像机模块的摄像机设备，例如数字照相机和视频摄像机；以及诸如蜂窝电话之类的电子器材。

在图1中，来自被摄体(未示出)的图像光通过光学系统(例如成像透镜11)而被成像在成像装置12的成像表面上。对于成像装置12，使用如下的成像装置：该成像装置由包括以矩阵方式二维地排列的光电转换装置的大量像素形成，并且在像素的表面上设置包括用于创建亮度分量的原色的颜色分量和其它颜色分量的滤色器。滤色器是使具有预定波长的光通过的带通滤波器。

具有滤色器的成像装置可以是其中CCD为代表的电荷转移成像装置、其中MOS为代表的X-Y地址成像装置等中的任何一种。

此外，滤色器包括例如作为用作用于创建亮度(Y)分量的原色分量的颜色分量的绿色(G)、以及例如分别作为其它颜色分量的红色(R)和蓝色(B)，并执行颜色编码，以再现在每个像素位置处的入射光的颜色。利用本实施例，对于滤色器执行包括白色像素的阵列的颜色编码，以便实现高灵敏度等。但是，像素阵列不局限于图12B所示的像素阵列。注意，可以进行以下布置：其中，作为用作用于创建Y分量的原色分量的颜色分量，使用白色、青色、黄色等，并且品红色、青色、黄色等被用于其它颜色分量。

利用成像装置12，在入射的图像光中，仅各种颜色分量的光通过滤色器并被输入到各个像素。已被输入到各个像素的光经历由诸如光电二极管之类的光电转换器进行的光电转换。其然后被作为模拟图像信号而从各个像素读出，在模数转换器(ADC)13处被转换为数字图像信号，并被输入到等同于根据本发明的图像处理装置的摄像机信号处理电路14。

摄像机信号处理电路14由以下构成：光学系统校正电路21、WB(白平衡)电路22、插值处理电路23、伽马(γ)校正电路24、Y(亮度)信号处理电路25、C(色度)信号处理电路26、频带受限的LPF(低通滤波器)27、稀疏化电路28等。

光学系统校正电路21执行以下校正：对成像装置12和光学系统的校正(例如数字箝位)，以使黑电平与输入到摄像机信号处理电路14的数字图像信号相匹配；缺陷校正，用于校正成像装置12的缺陷；明暗(shading)校正，用于校正在成像透镜11的边缘处的光衰减等。

如上所述，随根据本实施例的成像装置一起使用的滤色器包括白色像素，所以串扰的问题变得突出，因此需要对其执行校正。虽然在数字信号处理阶段执行串扰量的计算和校正这一点是本发明的主要特征，但是其功能可以在光学系统校正电路21中实现。稍后将对串扰量的计算和校正的细节进行描述。

WB电路22使已通过光学系统校正电路21的图像信号经受用于调节白平衡的处理，使得对于白色被摄体而言RGB是相同的。插值处理电路23通过插值来建立具有不同空间相位的像素，即，根据具有空间移位的相位的RGB信号(在相同空间位置处的RGB信号)建立三个平面。

伽马(γ)校正电路24使处于同一空间位置处的RGB信号经受γ校正，然后提供给Y信号处理电路25和C信号处理电路26。γ校正是如下的处理：该处理用于对从WB电路22输出的R颜色信号、G颜色信号和B颜色信号中的每个信号施加预定增益，使得包括成像装置12和下游图像再现器件等的整个系统的光电转换特性为1，以正确地表示被摄体的色调。

Y信号处理电路25根据R颜色信号、G颜色信号和B颜色信号而创建亮度(Y)信号，C信号处理电路26根据R颜色信号、G颜色信号和B颜色信号而创建Cr(R-Y)和Cb(B-Y)。

频带受限的LPF 27是截止频率f_c例如为采样频率f_s的1/8的滤波器，其使色差信号Cr和Cb的通带从(1/2)f_s降到(1/8)f_s。但是，这是电视(TV)信号格式的输出，而且在进行输出而无频带限制的情况下，1/8f_s或更高的频率信号将被输出为伪色信号。稀疏化电路28执行对色差信号Cr和Cb的采样的稀疏化。

利用图1中所示的成像设备10，用于成像装置的滤色器包括白色像素，因此串扰问题变得突出。本实施例被配置成在数字信号校正阶段执行对串扰量的计算和校正。图2示出了用于执行用于串扰校正的图像信号处理的功能配置。图像信号处理由串扰量计算单元1、串扰校正系数计算单元2以及串扰校正单元3来构成，并在光学系统校正电路21中实现。

首先对串扰量计算单元1进行描述。串扰量计算单元1基于从成像装置12输出的成像数据将串扰程度量化为串扰量。

图3示出了成像装置12的每个颜色像素的频谱特性的示例。在图中所示的示例中，串扰程度按图3A、图3B和图3C的顺序增加。蓝色(B)是使约450纳米通过的滤波器，绿色(G)是使约550纳米通过的滤波器，红色(R)是使约650纳米通过的滤波器。此外，白色(W)像素如同不具有滤色器的黑白成像装置。当串扰量增加时，在不应有灵敏度的频域处的输出增加。例如，在图3C中，在蓝色(B_3)像素的波形中，在550至650纳米的频带处，输出由于串扰量而增加。

现在，利用例如图12B中所示的滤色器阵列，白色像素和各个RGB像素彼此相邻。通常，在有串扰的情况下，来自纵向和横向的现象是主导的，如图4B所示。串扰总体上可以被划分成两种类型，即，如图4B所示的白色信号被混合到相邻的RGB信号中的类型、以及如图4C所示的RGB信号被混合到相邻的白色信号中的类型。

使用图4中所示的特征使得能够相对地获知串扰量。其方法是计算各个RGB信号的信号量的总和与白色信号的信号量之间的比例(稍后描述)。

现在，在主要包括数字摄像机的彩色成像领域中，通常使用“Macbeth色彩测试标板(Macbeth色卡(color chart))”来评估颜色可再现性。例如，由Color Science Association of Japan编辑的《Color Imaging》(第29至33页)描述了：频谱灵敏度、色调再现和三原色是控制颜色可再现性的因素，并且通常使用以下方法：在该方法中，在颜色可再现性评估中不对这些因素进行单独评估，而是评估最终获得的颜色可再现性，以及关于该评估方法，标准色卡作为图像被输入，并且根据频谱反射率(透射率)将输出的再现颜色与原始色卡的颜色进行比较，而且Macbeth色卡被广泛用作该色卡。Macbeth色卡由包括6个灰度梯度的24色构成。每个色卡的表面是不光滑的，并且具有45mm×45mm的尺寸。该文献列出了Macbeth色卡的反射频谱特性(频谱反射率)作为附录表A.1和A.2。下面将使用该频谱数据进行描述。

图5A至图5F示出了Macbeth色彩测试标板中的蓝色(色块编号13)、绿色(色块编号14)、红色(色块编号15)、黄色(色块编号16)、品红色(色块编号17)和青色(色块编号18)的各个色块的反射频谱特性。注意，仅使用Macbeth色卡中的24色中的以上六种颜色的原因是：这六种颜色是在许多彩色成像系统中使用的主要颜色分量。

在每个波长分量处将这些Macbeth色卡的反射频谱特性(图5A至图5F)与图3A至图3C中所示的成像装置12的滤色器的频谱特性相乘并获得总和(即，其积分)，这代表来自成像装置12的各种颜色的输出。

图6A至图6C示出了将图5A至图5F中所示的各个Macbeth色块的反射频谱特性分别与图3A至图3C中所示的成像装置的每个颜色像素的频谱特性相积分的结果。简言之，图6A至图6C相当于与成像装置12的各个颜色像素的串扰量相对应的输出。

例如，可以基于根据成像装置12的各个颜色像素的串扰量从频谱特性(参见图3A至图3C)获得的针对成像装置12的各个颜色像素(R，G，B，W)的输出(参见图6A至图6C)，使用以下表达式(1)来计算用于评估串扰量的评估值(K)。

[数学表达式1]

$K=\frac{\mathrm{\αR}+\mathrm{\βG}+\mathrm{\γB}}{\mathrm{\ϵW}}\·\·\·\left(1\right)$

在以上表达式(1)中，R、G、B和W是各个颜色像素的输出值(参见图6A至6C)，α、β、γ和ε是任意的系数，并且评估值(K)相当于对各个RGB颜色像素的输出的总和相对于白色像素的输出的比例的计算的结果。该表达式基于以下事实：利用例如图12B中所示的颜色编码，通常可以将串扰划分成两种类型，即，(上文所述的)如图4B所示的白色信号被混合到相邻的RGB信号中的类型、以及如图4C所示的RGB信号被混合到相邻的白色信号中的类型。

针对Macbeth色卡的每个色块，关于根据成像装置12的各个颜色像素的串扰量的输出(参见图6A到6C)而执行上述表达式(1)中所示的评估值(K)的计算，由此，与和串扰量相对应的各个频谱特性(图3A到图3C)相关地，可以获得针对每个Macbeth色块的评估值。

图7A示出了与和串扰量相对应的各个频谱特性(图3A至图3C)相关的、针对每个Macbeth色块获得的评估值。此外，针对频谱特性1至3中的每个频谱特性获得的评估值K_1、K_2和K_3的针对全部六种色块的平均值和标准偏差被编制在下表中。

[表1]

K_3

1.35

0.027

从上表可以看到，不管被摄体(每种颜色)的反射特性如何，评估值(K)通常是恒定的。这意味着，根据以上表达式(1)计算的评估值(K)能够用于评估串扰量。

注意，系数α、β、γ和ε被优化，使得评估值(K)在串扰量小的理想频谱特性(如图3A所示)中是恒定的。实际上，使用诸如最小二乘法等的近似方法。针对例如图3B和图3C中的其它频谱特性也使用所获得的值。在图7A中，使用以下表达式(2)中所示的系数值来计算评估值(K)。

[数学表达式2]

α＝β＝γ＝ε＝1              …(2)

在以上描述中仅使用Macbeth色卡中的24种颜色中的以上六种颜色的原因是：(如上文所述地，)这六种颜色是在许多彩色成像系统中使用的主要颜色分量。本发明人为了确保起见而使用针对全部24色的Macbeth色卡来执行针对各个频谱特性的评估值的计算。图7B示出了结果。此外，针对频谱特性1至3中的每个频谱特性获得的评估值K_1、K_2和K_3的针对全部24种色块的平均值和标准偏差被编制在下表中。由于不管被摄体(每种颜色)的反射特性如何，评估值(K)通常是恒定的，因此能够再次证实根据上述的表达式(1)计算的评估值(K)能够用于评估串扰量。

[表2]

利用以上描述，可以理解，通过利用来自使用其中白色像素被添加到RGB像素中的颜色编码的成像装置12的输出信号来计算评估值(K)，可以检测到串扰量的相对变化。也就是说，可以单独根据成像装置12的输出信号来检测串扰量的程度，而不需要像传统的做法(例如参见专利文献2)那样地预先测量芯片中的串扰量。因此，即使在诸如要使用的透镜之类的光学条件未知的情况下，也能在数字信号处理阶段对串扰程度进行量化。

如同可以从以上表达式(1)理解的那样地，利用串扰量计算单元1，包括白色像素的全部颜色的像素的输出信号是必需的。因此，在针对具有例如如图12B所示的滤波器阵列的成像装置12而实时计算评估值(K)的情况下，优选地，约4×4个像素的值被处理作为最小单位。处理单位中的相同颜色的像素具有两个或更多个输出，因此，优选地，使用信号量的平均值来计算以上表达式(1)。

接下来，对串扰校正系数计算单元2进行描述。在串扰校正系数计算单元2处，根据从串扰量计算单元1输出的串扰量以及串扰校正系数与预先获得的串扰量之间的关系式来计算与当前串扰量相对应的串扰校正系数。

首先，参考图8对一般的串扰校正处理方法进行描述。如图4A所示，在有串扰的情况下，来自纵向和横向的现象是主导的。因此，换句话说，可以从待校正的像素的信号中减去作为串扰量的、纵向上和横向上相邻的像素的信号的十分之几。可以通过以下表达式(3)对待校正的像素的输出信号进行校正。

[数学表达式3]

S_crct(i，j)

＝S(i，j)-a·S(i，j-1)-b·S(i-1，j)-c·S(i+1，j)-d·S(i，j+1)

…(3)

在以上表达式(3)中，S_crct表示校正之后的信号，S表示校正之前的信号，括号内分别是坐标位置。(i，j)是待校正的像素的一个坐标。此外，a、b、c和d是针对上方、左方、右方和下方相邻的像素的校正系数。这些a、b、c和d也是指示作为串扰量的相邻像素信号的比例的值。

在不管摄影条件以及芯片内的像素位置如何、串扰量都是恒定的情况下，校正系数a、b、c和d也可以是恒定的。但是，实际上，串扰量根据光源的色温和光学条件以及芯片内的像素位置而改变。一般而言，随着串扰量增加，校正系数也变大。

因此，利用本实施例，在改变光学条件、照明色温条件等之前进行摄影，根据串扰量计算单元1的输出(即，评估值(K))来计算校正系数，并建立如图9中所示的关系式。利用串扰校正系数计算单元2，依据从串扰量计算单元1输出的评估值(K)，参考该关系式来获得与实际进行摄影的区域中的串扰量对应的校正系数。

最后，针对串扰校正单元3进行描述。如上所述，有串扰的情况下，来自纵向和横向的现象是主导的(参见图4A)。因此，利用串扰校正单元3，使用由串扰校正系数计算单元2计算的相邻像素的校正系数a、b、c和d，例如遵循以上表达式(3)中所示的校正表达式，通过从待校正的像素的信号中减去作为串扰量的、纵向上和横向上相邻的每个像素的信号的十分之几，来校正待校正的像素的信号。

迄今为止，已经描述了用于针对待校正的像素以约4×4个像素的尺寸作为最小单位来计算串扰校正系数的方法。但是，实际上，存在不需要以这种细粒度来计算校正系数的情况。因此，以下将描述用于预先利用图像或利用一定尺寸来计算校正系数以应对动画处理的方法。

图10示出了具有一定尺寸的用于计算校正系数的区域(块)的示例。在该图的示例中，可以说，每个块由100×100个像素构成，并且一个成像的图像由6×8个块构成。

在串扰量计算单元1处，在作为对每个块的处理而计算RGB和白色中的各种颜色的像素值的平均值时，遵循上述的表达式(1)来计算评估值(K)。然后，在下游的串扰校正系数计算单元2和串扰校正单元3处，分别执行校正系数的计算和像素值校正处理。

现在，如图11所示，可以说，存储器4被设置用于保持在串扰量计算单元1处计算的评估值(K)。于是在串扰量计算单元1处计算的评估值(K)被保存在存储器4中，以一定数量的固定间隔对该评估值(K)进行更新，并对成像的数据执行校正处理。利用100×100个像素的块作为最小单位，在处理单位中的相同颜色的像素具有两个或更多个输出，因此信号量的平均值优选地用于计算上述的表达式(4)。用于计算评估值(K)的像素的数量大，所以即使存在包含在数据中的大量噪声，也可以通过平均来获得精确的评估值(K)。

[数学表达式4]

此外，在执行了串扰校正后的图像中的块的边界部分处校正差异显著的情况下，可以通过对相邻块之间的校正系数进行平均来使得该部分不显著。

虽然到现在为止已经使用图12中所示的作为包括白色像素的滤波器阵列的示例而对本发明的实施例进行了描述，但是本发明的实质不限于颜色编码。例如，以与上述方式相同的方式，对于具有诸如图13A和图13B所示的不同RGB阵列的阵列、或者例如使用诸如图13C所示的补色滤色器来代替原色滤色器的阵列，可以单独根据摄影数据来计算用于获知串扰量的评估值，并可以使用适合于该评估值的校正系数来执行串扰校正处理。

此外，本发明基于白色信号的与相邻的RGB信号相关的串扰量(参见图4B)以及RGB信号的与相邻白色信号相关的串扰量(参见图4C)的评估结果来执行每个像素的串扰校正，换句话说，对于评估串扰量而言白色像素是必要的。

但是，白色像素不需要均匀地排列在整个成像装置表面上，并且可以简单地通过仅局部地布置白色像素来执行串扰评估值的计算。图14示出了滤波器阵列的示例，其中诸如图12B中所示的包括白色像素的阵列分散在不包括白色像素的整个Bayer阵列(参见图12A)中。在这种情况下，可以根据图12B中所示的阵列来获得串扰量，并且可以基于使用该串扰量计算的串扰校正系数来校正Bayer阵列中的串扰。

图15示意性地示出了诸如图12B中所示的多个评估计算阵列被布置在基于Bayer阵列(参见图12A)的成像装置表面上的方式。使用各个评估计算阵列来评估各串扰量使得可以获知成像装置的整个表面上的串扰程度。于是，可以通过基于从邻近的评估计算阵列获得的串扰量的评估值而确定串扰校正系数来适应性地校正每个区域中的串扰。

现在，预先获得串扰量评估值和校正系数之间的关系，如图9所示。针对每个评估计算阵列可以获得评估值和校正系数之间的关系。

使用上述的表达式(3)可以执行每个区域中的串扰校正。替代性地，在插值处理电路23处执行插值处理(参见图1)之后，可以在以下表达式(5)中所示的矩阵操作之后执行串扰校正。

[数学表达式5]

$\left(\begin{array}{c}{R}_i^{\′}\\ G_i^{\′}\\ B_i^{\′}\end{array}\right)=\left(\begin{array}{ccc}{R}_{11}& G_{12}& B_{13}\\ R_{21}& G_{22}& B_{23}\\ R_{31}& G_{32}& B_{33}\end{array}\right)\left(\begin{array}{c}{R}_i\\ G_i\\ B_i\end{array}\right)\·\·\·\left(5\right)$

R′、G′、B′：校正后的信号

R、G、B：校正前的信号

R₁₁、G₁₂、B₁₃、R₂₁、G₂₂、B₂₃、R₃₁、G₃₂、B₃₃：校正系数

i：成像装置阵列中的像素位置

在成像装置的像素阵列如图15所示的那样部分地不同的情况下，需要改变插值处理电路23。对于该改变，可以在预定的像素位置处切换插值方法。图16示出了用于根据像素位置来切换插值方法的成像装置的配置示例。但是注意，仅提取了相关的部分并将其显示在该图中。可以在插值处理电路23A处在Bayer阵列之后的像素位置处执行插值处理，并在插值处理电路23处切换为针对评估值计算阵列(参见图12B)的像素位置的插值处理。

工业适用性

虽然已经参考具体实施例对本发明进行了详细描述，但是不言而喻，本领域的普通技术人员可以对实施例进行变型和替换，而不背离本发明的实质。例如，本发明可以应用于摄像机设备，例如数字照相机或视频摄像机、诸如蜂窝电话之类的其中实现有摄像机模块的各种类型的电子器材、等等。

虽然在本说明书中已经使用图12中所示的作为包括白色像素的滤波器阵列的示例对本发明的实施例进行了描述，但是本发明的实质不限于此。例如，以与上述方式相同的方式，对于具有例如图13A和图13B中所示的不同RGB阵列的阵列、或者使用例如图13C所示的补色滤色器来代替原色滤色器的阵列，可以单独根据摄影数据来计算用于获知串扰量的评估值，并且可以使用适合于该评估值的校正系数来执行串扰校正处理。

简言之，已经以示例方式公开了本发明，并且不应限制性地解释本说明书中的描述的内容。应当考虑权利要求来确定本发明的实质。

附图标记列表

1串扰量计算单元

2串扰校正系数计算单元

3串扰校正单元

10成像设备

11成像透镜

12成像装置

13模数转换器(ADC)

14摄像机信号处理电路

21光学系统校正单元

22WB(白平衡)电路

23插值处理单元

24伽马校正电路

25Y信号处理电路

26C信号处理电路

27频带受限的LPF(低通滤波器)

28稀疏化电路

Claims (15)

1.一种图像处理装置，包括：

串扰量计算单元，用于计算来自成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从所述串扰量计算单元输出的评估值来计算串扰校正系数；以及

串扰校正单元，用于使用所述串扰校正系数来消除所述待校正的像素的输出信号中包括的串扰量。

2.根据权利要求1所述的图像处理装置，其中所述串扰量计算单元基于来自所述成像装置的输出信号而计算所述待校正的像素的输出信号中包括的串扰量的评估值。

3.根据权利要求1所述的图像处理装置，其中所述串扰量计算单元基于相邻像素之间的输出信号的关系来计算所述待校正的像素的输出信号中包括的串扰量的评估值。

4.根据权利要求1所述的图像处理装置，其中所述成像装置使用包括白色像素的颜色编码。

5.根据权利要求4所述的图像处理装置，其中所述串扰量计算单元基于除了白色以外的像素的信号量的总和相对于白色像素的信号量的比例来计算待校正的像素中包括的串扰量的评估值。

6.根据权利要求4所述的图像处理装置，其中所述串扰量计算单元基于通过将各个RGB像素的信号量乘以相应的预定系数(α，β，γ)而获得的值的总和相对于通过将白色像素的信号量乘以预定系数(ε)而获得的值的比例，来计算待校正的像素中包括的相对的串扰量的评估值。

7.根据权利要求4所述的图像处理装置，其中所述串扰量计算单元以N×N个像素作为处理单位来计算串扰量的评估值，其中N是正整数。

8.根据权利要求7所述的图像处理装置，还包括：存储器，用于存储已由所述串扰量计算单元以处理单位计算的串扰量的评估值；

其中所述串扰校正系数计算单元和所述串扰校正单元使用利用保存在所述存储器中的先前的帧而计算的评估值来分别执行校正系数的计算和串扰的校正。

9.根据权利要求1所述的图像处理装置，其中所述串扰校正系数计算单元预先计算通过所述串扰量计算单元计算得到的串扰量的评估值与校正系数之间的关系式，并且当从所述串扰量计算单元输出的评估值被输出时，参考所述关系式，并计算与所述评估值相对应的校正系数。

10.根据权利要求1所述的图像处理装置，其中所述串扰校正单元从待校正的像素的输出信号中减去通过将与所述待校正的像素相邻的像素的输出信号与所述校正系数相乘而得到的值，由此消除串扰量。

11.根据权利要求1所述的图像处理装置，其中所述成像装置在不包括白色像素的阵列中包括多个包括白色像素的用于计算评估值的阵列。

12.根据权利要求11所述的图像处理装置，其中所述串扰量计算单元使用每个所述用于计算评估值的阵列来计算在相关的位置处发生的串扰量的评估值；

其中所述串扰校正系数计算单元针对每个布置有用于计算评估值的阵列的位置、基于从所述串扰量计算单元输出的评估值来计算串扰校正系数；

其中所述串扰校正单元在用于计算评估值的阵列中使用相应的校正系数来执行串扰校正，并在用于计算评估值的阵列的外部的区域中使用基于从邻近的用于计算评估值的阵列获得的串扰量的评估值而确定的串扰校正系数来执行串扰校正。

13.一种图像处理方法，包括：

串扰量计算步骤，用于计算来自成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算步骤，用于基于在所述串扰量计算步骤中输出的评估值来计算串扰校正系数；以及

串扰校正步骤，用于使用所述串扰校正系数来消除所述待校正的像素的输出信号中包括的串扰量。

14.一种成像设备，包括：

成像装置，所述成像装置包括颜色编码滤色器；以及

信号处理单元，用于处理所述成像装置的输出信号；

其中所述信号处理单元包括：

串扰量计算单元，用于计算来自所述成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从所述串扰量计算单元输出的评估值来计算串扰校正系数；以及

串扰校正单元，用于使用所述串扰校正系数来消除所述待校正的像素的输出信号中包括的串扰量。

15.一种计算机程序，以计算机可读格式描述所述计算机程序，以在计算机上对来自具有颜色编码滤色器的成像装置的输出信号执行处理，所述计算机程序使得所述计算机用作：

串扰量计算单元，用于计算来自所述成像装置中的待校正的像素的输出信号中包括的串扰量的评估值；

串扰校正系数计算单元，用于基于从所述串扰量计算单元输出的评估值来计算串扰校正系数；以及

串扰校正单元，用于使用所述串扰校正系数来消除所述待校正的像素的输出信号中包括的串扰量。

Images