CN101242476A - 图像颜色自动校正方法及数字摄像系统 - Google Patents

Abstract

本发明公开了一种图像颜色自动校正方法和数字摄像系统。该方法包括以下步骤：从所述图像中确定至少一个目标区域，该目标区域中包含具有特定色调的特征像素点；计算该目标区域中所有特征像素点的颜色平均值；设定针对所述特征像素点的期望色调；利用该期望色调和该特征像素点的颜色平均值计算颜色校正矩阵；以及利用该颜色校正矩阵对该整幅图像的颜色进行校正。根据本发明的方法和系统，可以根据用户的期望色调对图像中目标区域的颜色进行自动校正。

Description

图像颜色自动校正方法及数字摄像系统

技术领域

本发明涉及图像处理技术，特别涉及一种图像颜色自动校正方法及一种能够实现该方法的数字摄像系统。

背景技术

如图1所示，如数码摄像头、数码摄像机、数码照相机等的数字摄像系统10一般包括光学镜头11、图像传感器12、图像处理芯片13、图像传输模块14和图像显示模块15。拍摄目标经由光学镜头11成像在图像传感器12上，并被图像被传感器12转换成原始的图像数据，该原始图像数据经由图像处理芯片13处理后，被图像传输模块14传送到图像显示模块15进行显示。

图像处理芯片13可以对原始图像数据进行多种处理，包括自动白平衡、结合输入图像亮度进行自动曝光控制、去噪、亮度Gamma校正、和/或颜色校正处理等。对于自动白平衡处理来说，场景中的灰色物体在处理后一般也呈现灰色色调，即对应像素点的红绿蓝(RGB)颜色分量基本相等。白平衡处理通常是：根据需要将色调调灰的像素点的当前颜色确定一白平衡校正参数，并利用该参数对图像中所有的彩色色调进行调节。

然而，不同型号的图像传感器的感光效果通常不一致，此外同一型号的图像传感器在采用不同光源时的输出色调通常是非线性的，再加上各种干扰(如噪声干扰、曝光过度等)的存在，因而对于同一种色调，经自动白平衡处理后的输出彩色可能会呈现出不同的色调，有时偏暖、有时偏冷、有时过淡、有时又过于鲜艳。为解决这个问题，通常图像处理芯片13还需要对白平衡后的图像进行颜色校正，用于在保持灰色色调不变的同时，对图像中的其它色调进行调节，以使图像的整体色调符合用户期望。

颜色校正处理的原理是：对图像中各像素点的颜色值分别乘以一校正矩阵M，以得到校正后的颜色值。具体来说，设某像素点校正前的颜色为(r，g，b)，校正后的颜色为(R_较，G_较，B_较)，则有：

其中，校正矩阵M为3×3矩阵。为保证灰色的像素点在颜色校正后仍是灰色，要求矩阵M满足各行参数之和为1。这样，当校正前的像素颜色满足r＝g＝b(即为灰色)时，校正后的颜色也满足R_较＝G_较＝B_较，且与校正前的色调完全一致。

在现有技术中，校正矩阵M中的各参数由厂家或者用户根据经验预先配置。其缺点是：参数的配置过程完全通过人工实现，这需要有经验的图像工程师做大量的工作，而且不利于相对缺少经验的普通用户使用；此外，当更换图像传感器和/或拍摄场景后，需要重新进行校正矩阵的配置工作，导致颜色校正处理过程繁琐、需要耗费大量人工。

发明内容

本发明要解决的技术问题在于提供一种图像颜色自动校正方法，以根据所拍摄的图像自动配置颜色校正矩阵并对其进行颜色校正。

本发明要决定另一个技术问题在于提供一种数字摄像系统，该系统能够对所拍摄的图像自动进行颜色校正。

为实现上述目的，本发明提出了一种图像颜色自动校正方法，该方法包括：从所述图像中确定至少一个目标区域，该目标区域中包含具有特定色调的特征像素点；针对所述特征像素点设定一期望色调；计算该特征像素点的实际色调；利用该期望色调和该实际色调计算颜色校正矩阵；以及利用该颜色校正矩阵对该图像中的所有像素点的颜色进行校正。

所述计算图像中特征像素点的实际色调的步骤包括：计算目标区域中的特征像素点的颜色平均值；以及利用该颜色平均值计算该实际色调。

本发明的方法还包括，在所述计算图像中特征像素点的实际色调之前，从目标区域中排除非特征像素点。

在所述对该整幅图像的颜色进行校正的步骤前还包括，对由该特征像素点的期望色调和实际平均色调直接计算得到的颜色校正矩阵进行修正。该修正步骤包括：预先设定一预设颜色校正矩阵；以及，将该预设颜色校正矩阵与直接由该特征像素点的期望色调和实际平均色调计算得到的颜色校正矩阵进行加权平均，以得到的修正后的颜色校正矩阵，用于对图像进行颜色校正。

所述加权平均运算中的权重根据所述目标区域占整幅图像的比例而确定。

当图像中不存在所述目标区域时，直接利用该预设颜色校正矩阵对该图像进行颜色校正。

根据本发明的一实施例，所述目标区域为人脸，而所述特征像素点为肤色点。

优选地，本发明的图像颜色自动校正方法在对该图像进行白平衡处理之后进行。

为实现上述目的，本发明还提出了一种数字摄像系统，包括：用于获取图像或图像序列的图像传感器以及图像处理模块。所述图像处理模块至少包括：目标区域检测模块，用于从所获取的图像中确定至少一个目标区域，该目标区域中包含具有特定色调的特征像素点；以及，颜色校正模块，用于针对每幅图像分别获取颜色校正矩阵，并利用该矩阵对相应的图像进行颜色校正。其中，所述颜色校正矩阵通过该目标区域中特征像素点的实际色调和针对该特征像素点而预先设定的期望色调计算得到。

所述目标区域检测模块包括人脸检测模块。

所述图像传感器可连续地获取图像序列；所述目标区域检测模块和所述颜色校正模块可对该图像序列中的各帧图像依次进行实时处理。

利用本发明的方法，用户只需事先设定针对目标区域的期望色调，即可对所拍摄的图像自动进行颜色校正，步骤简单、易于实现。由于用户可以直接设定其期望的色调，因而与需要设定颜色校正矩阵参数的现有技术相比，本发明的方法更为直观，因此更适合普通用户使用。同时，在本发明中，颜色校正矩阵是根据用户特别关注的目标区域的颜色的先验知识计算得到的，这样，目标区域的颜色在校正后能达到更加令人满意的效果，符合用户需求。

下面结合附图和详细实施方式对本发明进行详细说明。

附图说明

图1为现有的数字摄像系统的结构方框图；

图2为根据本发明一实施例的图像颜色自动校正方法的流程图；

图3为根据本发明一优选实施例的图像颜色自动校正方法的流程图；

图4为本发明数字摄像系统的结构方框图。

具体实施方式

在实际应用当中，人们往往更关心图像中某一特定区域的颜色，该特定区域被称为目标区域，通常具有鲜明的色调特征。例如，对于视频摄像设备(如PC摄像头)所拍摄的图像，用户通常更关心人脸的成像效果，希望图像中的人脸色调饱满，而不太在意背景的成像效果。这时，人脸即为目标区域，其色调典型为肤色。在其它应用场合，也可以将其它区域确定为目标区域，如图像中的草地、树叶区域等。本发明利用目标区域具有鲜明色调特征的特点，预先为其设定期望色调，然后根据目标区域在图像中的实际色调与该期望色调的差异自动计算颜色校正矩阵并进行颜色校正。

下面将结合图2和图3，以人脸作为目标区域为例，详细说明本发明的图像颜色自动校正方法200。

首先，在例如由图像传感器输入的图像中确定至少一个目标区域(步骤210)。例如，当目标区域为人脸时，可以通过人脸检测方法来确定图像中的人脸区域。目前已知各种人脸检测方法，如根据图像的亮度信息来进行检测的算法等。当目标区域为其它类型时，类似地也可以通过多种检测方法来确定其在图像中的区域。

接下来，用户可以根据其先验知识，对目标区域的特征像素点设置一期望色调(步骤230)。在这里，对色调的定义如下：将像素点的红色分量R除以绿色分量G，得到一个色调参数Rg，Rg＝R/G；而将蓝色分量B除以绿色分量G，得到另一个色调参数Bg，Bg＝B/G。用户可以设定特征像素点的期望颜色，进而计算出期望色调，也可直接设定期望色调(Rg_stad，Bg_stad)。

然后，计算该目标区域中特征像素点的实际色调(步骤250)，对于目标区域为人脸的情况，也即是统计所有肤色点的平均色调值。具体来说，先计算目标区域中肤色点的颜色平均值

然后根据该颜色平均值可以计算出实际色调(Rg_skin，Bg_skin)，其中：

${\mathrm{Rg}}_{\mathrm{skin}}={\stackrel{\‾}{R}}_{\mathrm{skin}}/{\stackrel{\‾}{G}}_{\mathrm{skin}},{\mathrm{Rb}}_{\mathrm{skin}}={\stackrel{\‾}{B}}_{\mathrm{skin}}/{\stackrel{\‾}{G}}_{\mathrm{skin}}$

在实际应用中，目标区域中除了包含具有鲜明颜色的特征像素点之外，有时还会包含少量的非特征像素点，非特征像素点的色调通常接近于灰色。例如，对于人脸而言，在近似矩形的人脸区域内还可能包含色调偏灰的像素点如头发、眼睛、眉毛、牙齿等。因而，优选地，在计算特征像素点的实际色调之前，可先从目标区域中排除这些非特征像素点(步骤240，见图3)。

鉴别灰色点的方法很多，其中一种是色调比较法。具体来说，灰色像素点的红绿蓝(RGB)颜色分量基本相等，因而其色调参数Rg和Bg都接近于1。对于每个像素点分别计算一色调判决数据|Rg-1|+|Bg-1|，如该数据大于一预先设定的阈值，则认为该像素点是灰色点，否则认为其是特征像素点。另一种鉴别灰色点的方法是，将各像素点颜色的RGB分量转化为YUV分量，如果U、V两个分量的绝对值都小于一预定数值，则认为该像素点是灰色点，否则认为其是特征像素点。

接下来，就可以利用上面得到的针对特征像素点的期望色调(Rg_stad，Bg_stad)和实际色调(Rg_skin，Bg_skin)来计算颜色校正矩阵M(步骤270)。根据本发明的一个实施例，颜色校正矩阵M如下所示：

$M=\left[\begin{array}{ccc}\frac{{\mathrm{Rg}}_{\mathrm{stad}}-1}{{\mathrm{Rg}}_{\mathrm{skin}}-1}& \frac{{\mathrm{Rg}}_{\mathrm{skin}}-{\mathrm{Rg}}_{\mathrm{stad}}}{{\mathrm{Rg}}_{\mathrm{skin}}-1}& 0\\ 0& 1& 0\\ 0& \frac{{\mathrm{Rb}}_{\mathrm{skin}}-{\mathrm{Rb}}_{\mathrm{stad}}}{{\mathrm{Rb}}_{\mathrm{skin}}-1}& \frac{{\mathrm{Rb}}_{\mathrm{stad}}-1}{{\mathrm{Rb}}_{\mathrm{skin}}-1}\end{array}\right]$

在本发明其它实施例中，颜色校正矩阵M也可以设置成其它的形式，以满足用户的不同需求，获得更好的图像颜色校正效果。需要注意，矩阵M应当满足其各行参数之和为1，以使得原来色调为灰色的像素点在颜色校正后的色调仍是灰色。

优选地，可以由用户或厂家预先根据经验针对全图设定一预设颜色校正矩阵M₁，该矩阵也是3×3矩阵；然后利用矩阵M₁对前面由特征像素点的期望色调和实际色调直接计算得到的矩阵M进行修正(步骤280，见图3)。修正可通过对矩阵M和M₁进行加权平均来实现，修正后的颜色校正矩阵M′如下：

M′＝α₁M₁+α₂M

其中α₁和α₂为权重，满足α₁+α₂＝1。

权重α₁和α₂可根据目标区域(本实施例中为人脸)占整幅图像的比例而确定。举例来说，如人脸区域的尺寸占全图的尺寸较大，则权重α₂取较大值而α₁取较小值；而如果人脸区域较小，权重α₂取较小值而α₁取较大值。这样即可以保证目标区域的颜色接近用户期望值，又可以保证全图颜色不会发生偏差，使得校正后的图像颜色更接近真实色调。

利用针对全图而预设的矩阵M₁对仅针对特征像素点而计算得到的矩阵M进行修正的一个优点是：当图像中特征像素点的实际色调与期望色调差别较大时，可以避免校正后的非目标区域的颜色与真实颜色的差别过大。

最后，利用颜色校正矩阵M或M′对图像中的所有像素点进行颜色校正，即利用公式(1)计算图中所有像素点的校正后的颜色分量(步骤290)。之后，可输出校正后的图像。

本发明的图像颜色自动校正方法优选地在对图像进行了白平衡等前期处理之后进行，以保证颜色校正的质量和准确度。

利用本发明的方法，可以对单幅图像进行处理，也可以对拍摄中的视频图像序列进行实时处理。这时，可利用针对目标区域的检测与追踪方法，来实时确定图像中的目标区域，以实时计算各帧图像的颜色校正矩阵。

目前，已经公知多种在图像(序列)中检测与追踪目标区域的方法。例如，中国专利申请第200610113423.X号中公开f一种多姿态人脸检测与追踪方法，该方法包括：通过人脸样本训练，分别获得人脸正面与半侧面检测模型，并确定AAM(Active Appearance Models)人脸模型；利用所述人脸正面与半侧面检测模型，对输入视频图像进行人脸检测，确定一帧图像中是否存在人脸；如果在某帧图像中检测到人脸，则在后续帧中追踪并验证该人脸。其中，在后续帧中追踪并验证该人脸的步骤包括：追踪前一帧图像中的人脸位置，获得当前帧中人脸的初步位置；将所述获得的初步位置作为初值，利用当前帧与前一帧图像的色度差异，计算人脸的平移速度；根据所述平移速度，估算出当前帧中人脸的大概位置，并利用所述人脸正面模型与半侧面检测模型，在该位置附近进行检测，以验证该人脸；如果在该位置附近检测到人脸，则验证通过，并采用所述的AAM人脸模型计算当前人脸的仿射变换系数，获取当前帧人脸的特征参数。

需要注意，设置预设颜色校正矩阵M₁的另一个优点是：当图像中不存在目标区域时，可以类似于现有技术中的图像校正方法，直接利用预设的颜色校正矩阵M₁对图像进行颜色校正。这一特点使得本发明的方法能更好地适用于实时处理视频图像序列。具体来说，对于连续输入的图像序列，可能存在某几帧图像中没有目标区域的情况，这时即可利用矩阵M₁对这几帧图像进行颜色校正。

根据本发明的另一方面，还提供一种能实现上述图像颜色自动校正方法数字摄像系统100。如图4所示，与传统的系统10类似，数字摄像系统100可以包括：光学镜头110、图像传感器120、图像处理模块(如图像处理芯片)130、图像传输模块140和图像显示模块150。其中，图像处理芯片130用于接收由图像传感器120传送来的图像或图像序列，并对其进行处理。图像处理芯片130中设有用于从所获取的图像中确定至少一个目标区域的目标区域检测模块132和用于计算颜色校正矩阵并对图像进行颜色校正处理的颜色校正模块134。目标区域检测模块132可以是人脸检测模块，也可以是针对其它目标的检测模块；或者还可以包括分别针对不同目标的多个检测模块。优选地，在利用数字摄像系统100进行连续拍摄时，目标区域检测模块132和颜色校正模块134可以对图像传感器120所获取的图像序列中的每帧图像依次进行实时处理。

数字摄像系统100的其余设置与现有的数字摄像系统10类似，这里不再赘述。利用本发明的系统100，能够实时对拍摄的单幅图像和连续序列进行自动颜色校正。

应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。

Claims (11)

1、一种图像颜色自动校正方法，其特征在于，包括：

从所述图像中确定至少一个目标区域，该目标区域中包含具有特定色调的特征像素点；

针对所述特征像素点设定一期望色调；

计算该特征像素点的实际色调；

利用该期望色调和该实际色调计算颜色校正矩阵；以及

利用该颜色校正矩阵对该图像中的所有像素点的颜色进行校正。

2、根据权利要求1所述的方法，其特征在于，所述计算图像中特征像素点的实际色调的步骤包括：

计算目标区域中的特征像素点的颜色平均值；以及

利用该颜色平均值计算该实际色调。

3、根据权利要求1或2所述的方法，其特征在于，还包括：在所述计算图像中特征像素点的实际色调之前，从目标区域中排除非特征像素点。

4、根据权利要求1所述的方法，其特征在于，在所述对该整幅图像的颜色进行校正的步骤前还包括，对由该特征像素点的期望色调和实际平均色调直接计算得到的颜色校正矩阵进行修正，该修正步骤包括：

预先设定一预设颜色校正矩阵；以及

将该预设颜色校正矩阵与直接由该特征像素点的期望色调和实际平均色调计算得到的颜色校正矩阵进行加权平均，以得到的修正后的颜色校正矩阵，用于对图像进行颜色校正。

5、根据权利要求4所述的方法，其特征在于，所述加权平均运算中的权重根据所述目标区域占整幅图像的比例而确定。

6、根据权利要求4所述的方法，其特征在于，还包括：当图像中不存在所述目标区域时，直接利用该预设颜色校正矩阵对该图像进行颜色校正。

7、根据权利要求1所述的方法，其特征在于，所述目标区域为人脸，而所述特征像素点为肤色点。

8、根据权利要求1所述的方法，其特征在于，所述图像颜色自动校正方法在对该图像进行白平衡处理之后进行。

9、一种数字摄像系统，其特征在于，包括：

图像传感器，用于获取图像或图像序列；以及

图像处理模块，其至少包括：

目标区域检测模块，用于从所获取的图像中确定至少一个目标区域，该目标区域中包含具有特定色调的特征像素点；以及

颜色校正模块，用于针对每幅图像分别获取颜色校正矩阵，并利用该矩阵对相应的图像进行颜色校正，其中，所述颜色校正矩阵通过该目标区域中特征像素点的实际色调和针对该特征像素点而预先设定的期望色调计算得到。

10、根据权利要求9所述的数字摄像系统，其特征在于，所述目标区域检测模块包括人脸检测模块。

11、根据权利要求9所述的数字摄像系统，其特征在于，

所述图像传感器可连续地获取图像序列；

所述目标区域检测模块和所述颜色校正模块可对该图像序列中的各帧图像依次进行实时处理。

Images