CN101964874A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置，具备：图像取得部件，其取得图像；颜色区域检测部件，从所述图像取得部件取得的图像中检测规定的颜色区域；区域指定部件，基于由所述颜色区域检测部件检测出的所述颜色区域的色饱和度及亮度，来指定应调整的区域；和颜色调整部件，调整由所述区域指定部件指定出的所述应调整的区域的像素的色调、色饱和度及亮度中的至少一个。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法。

背景技术

例如，在专利文献1(日本特开2006-121416号公报)中公开了一种如下技术：对拍摄到人物的数字图像的面部区域，进行使高光(加工)的部分更加明亮的美白处理。

在上述专利文献1所述的图像处理方法中，从处理对象的原图像生成模糊图像，利用该模糊图像进行了使高光加工的部分更加明亮的美白处理。

在拍摄人物的情况下，根据面部表面的油脂分量等，摄影时的室内照明或闪光灯发光等会写入到人的面部，拍摄到的图像会产生不自然的光泽。将该不自然的光泽称为“反光”。在上述专利文献1所述的图像处理方法中，在成为处理对象的面部图像中存在反光分量的情况下，通过美白处理会扩大该反光分量的区域，无法减轻反光。

发明内容

本发明的目的在于提供一种能减轻拍摄到的图像中含有的面部的反光分量、能转换成更优图像的图像处理装置及图像处理方法。

为了达成上述目的，本发明的一个技术方案的一种图像处理装置，具备：图像取得部件，其取得图像；颜色区域检测部件，从所述图像取得部件取得的图像中检测规定的颜色区域；区域指定部件，基于由所述颜色区域检测部件检测出的所述颜色区域的色饱和度及亮度，来指定应调整区域；和颜色调整部件，调整由所述区域指定部件指定出的所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

为了达成上述目的，本发明的一个技术方案的一种图像处理方法，包括：图像取得步骤，取得图像；颜色区域检测步骤，从所述图像取得步骤取得的图像中检测规定的颜色区域；区域指定步骤，基于由所述颜色区域检测步骤检测出的所述颜色区域的色饱和度及亮度，来指定应调整区域；和颜色调整步骤，调整由所述区域指定步骤指定出的所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

根据本发明，能够减轻拍摄到的图像中含有的面部的反光分量、能转换成更优图像。

附图说明

图1是表示作为本发明的一实施方式所涉及的图像处理装置起作用的数码照相机的电路结构的框图。

图2是用于说明RGB颜色空间的示意图。

图3是用于说明HSV颜色空间的示意图。

图4是表示通过在图1的数码照相机拍摄到的图像数据中减轻反光分量来抑制反光的发光抑制处理、即第一实施方式所涉及的反光抑制处理的顺序的流程图。

图5是在HSV颜色空间中色调值H分布的圆形区域的示意图。

图6是图3所示的HSV颜色空间的部分剖视图。

图7是表示通过在图1的数码照相机拍摄到的图像数据中减轻反光分量来抑制反光的反光抑制处理、即第二实施方式所涉及的反光抑制处理的顺序的流程图。

图8是说明图7的第二实施方式所涉及的反光抑制处理中的个人目标值的计算方法的一个例子的图、表示这样的肤色取得区域的各像素所绘制的HSV空间部分顶视图及部分剖视图。

图9是说明图7的第二实施方式所涉及的反光抑制处理中的个人目标值的计算方法的一个例子的图、表示HVS空间的部分顶视图。

图10是表示通过在图1的数码照相机拍摄到的图像数据中减轻反光分量来抑制反光的反光抑制处理、即第三实施方式所涉及的反光抑制处理的顺序的流程图。

图11是表示图10的第三实施方式所涉及的反光抑制处理中的、反光抑制方式选择处理的顺序的详细的流程图。

具体实施方式

以下，基于附图对用于实施本发明的实施方式进行说明。

【第一实施方式】

图1是表示作为本发明的第一实施方式所涉及的图像处理装置起作用的数码照相机1的电路结构的图。

本实施方式的数码照相机1，作为基本的动作模式而具有：用于拍摄静止图像或运动图像的记录模式、和用于再现拍摄到的图像的再现模式。此外，摄影模式具备普通模式、场景模式、影片模式等。其中，作为场景模式的下位模式，设定了人物摄影模式、风景摄影模式、液晶摄影模式等。人物摄影模式是适用于拍摄人物的摄影模式。

如图1所示，数码照相机1具备：摄影镜头2、摄像部3、前处理部4、处理信息存储部5、程序存储器6、图像处理部7、控制部8、图像记录部9、显示部10、键输入部11、发光部12。

摄影镜头2是将入射来的被摄物体的光作为光学像成像于后述的摄像部3的光学镜头，由聚焦透镜和变焦透镜等构成。

摄像部3由CMOS(Complementary Metal Oxide Semiconductor)等图像传感器构成，配置在摄影镜头2的光轴上。摄像部3接收由摄影镜头2会聚的摄影光，并且对成像于受光面的被摄物体的光学像进行光电转换，作为模拟摄像信号输出。摄影镜头2及摄像部3作为本发明中的图像取得部件起作用。

前处理部4，输入与摄像部3输出的被摄物体的光学像相应的模拟摄像信号，并控制CDS(相关二次采样)和A/D转换器(ADC)等，所述CDS(相关二次采样)保持输入来的摄像信号，所述A/D转换器(ADC)放大该摄像信号后，将放大后的摄像信号转换为数字图像数据。摄像部3输出的摄像信号经由前处理部4而作为数字图像数据送至图像记录部9。前处理部4的处理按照控制部8的命令执行。

处理信息存储部5将在调整图像数据时使用的数据作为处理信息存储。处理信息存储部5在第一实施方式中至少具备：白分量增益表格存储部5a和反光分量增益表格存储部5b。

白分量增益表格存储部5a，针对被指定为后述的肤色区域的各像素，将在判定白度加减时使用的色饱和度增益值作为表格存储。反光分量增益表格存储部5b，针对同样被指定为肤色区域的各像素，将判定反光分量加减时使用的色饱和度增益值及亮度增益值作为表格存储。

程序存储器6存储图像处理部7、控制部8等执行的各种处理所对应的程序。

图像处理部7进行与后述的图像处理相关的各种处理。图像处理部7作为本发明中的颜色区域检测部件、区域指定部件、颜色调整部件、颜色检测部件、区域设定部件、摄影条件设定部件、强度计算部件的各部件起作用。

另外，图像处理部7进行如下的处理：相互转换拍摄到的图像中的RGB颜色空间信号和HSV颜色空间信号。所谓RGB颜色空间是指由红(R)、绿(G)、蓝(B)三个分量构成的颜色空间。另外，所谓HSV颜色空间是指通过由色调(H:Hue)、色饱和度(S:Saturation·Chroma)、亮度(V:Brightness·Lightness·Value)三个分量构成的HSV模型(HVS model)表现的颜色空间。关于HSV颜色空间见后述。

返回到图1，控制部8例如是中央处理装置(CPU)，按照程序存储器6中存储的程序来控制数码照相机1的整体。控制部8也控制前处理部4、图像处理部7的各处理部。另外，根据后述的摄影模式设定键11b的操作设定摄影模式，根据设定出的摄影模式设定摄像部的摄像条件。控制部8是本发明中的设定部件及摄影条件设定部件。

图像记录部9存储由摄像部3拍摄的、由前处理部4进行了前处理的图像数据。在图像再现时，控制部8从图像记录部9中读取图像数据，并使显示部10显示该图像数据。

显示部10例如是彩色TFT(Thin Film Transistor)液晶或STN(Super Twisted Nematic)液晶等，按照控制部8的控制，显示预览(preview)图像、或摄影后的图像数据、设定菜单等。

键输入部11输入来自用户的指示。键输入部11包括：快门键11a、摄影模式设定键11b。快门键11a是输入来自用户的摄影开始指示的输入部。摄影模式设定键11b是由用户输入期望的动作模式设定指示的输入部。

发光部12是向被摄物体照射闪光的发光装置。由于照射闪光后拍摄到的人物的面部容易发生反光分量，因此在本实施方式中实施从伴随着闪光拍摄到的图像中去除反光的后述反光去除处理。

接着，对RGB颜色空间和HSV颜色空间进行说明。图2是用于说明RGB颜色空间的示意图，图3是用于说明HSV颜色空间的示意图。

如图2所示，由前处理部4处理过的图像数据，通过由红(R)、绿(G)、蓝(B)三个分量构成的颜色空间表现。本实施方式的图像处理部7具备如下功能：将图像数据从RGB颜色空间向HSV颜色空间进行颜色空间转换。

如图3所示，HSV颜色空间能利用圆锥C表示。圆锥C表现的HSV颜色空间，将色调H描绘成作为圆锥C的底面的圆形区域进行表现。色调H表示红色、蓝色、黄色等颜色种类，通过0°～359°范围的强度分布表现。

色饱和度S通过从圆锥C的底面即圆形区域中心至圆周方向的距离(半径)来表现。色饱和度S是颜色的鲜明度，通过以圆形区域的中央为0的0～255范围来表现。在HSV颜色空间中，伴随着色饱和度S的值变小，灰色变得显著，用暗淡的颜色表现色饱和度S。

亮度V通过从圆锥C顶点至底面方向的距离表现。亮度V是颜色的明亮度，可通过以顶点为0的0～255范围来表现。在HSV颜色空间中，伴随着亮度V的值变小，用暗色表现亮度V。

接着，参照图4所示的流程图，对在第一实施方式的数码照相机1中通过从拍摄到的图像数据中减轻反光分量来抑制反光的处理(以下，称为“反光抑制处理”)的顺序进行说明。通过图1所示的控制部8控制各部件来执行以下的处理。另外，在用户操作摄影模式设定键11b设定任一摄影模式之后，在操作快门键11a并指示了摄像的记录开始时，开始本流程的处理。

首先，在步骤S1中，图像处理部7从图像记录部9中取得由前处理部4处理过的图像数据。另外，在像素尺寸大的情况下，由于处理费时间，故也可以缩小图像记录部9所保存的图像数据，从而生成缩小图像数据，并对该缩小图像数据实施以下的处理。

在步骤S2中，图像处理部7判断取得出的图像数据是否是伴随着发光部12的闪光所拍摄到的图像数据。这里，控制部8例如可以基于发光部12是否照射了闪光来进行判断，或者也可以通过图像数据中所附加的摄影信息来判断是否是伴随着闪光的摄像。如果步骤S2的判断为“是”，则进入步骤S3。在步骤S3中，图像处理部7对图像数据实施面部检测处理。关于面部检测处理，由于是公知技术，故省略详细内容。

在步骤S4中，图像处理部7判断是否从图像中检测出面部区域。如果在步骤S4的判断中为“是”，则在步骤S5中，图像处理部7将面部区域的图像数据从RGB颜色空间向HSV颜色空间进行颜色空间转换。在步骤S6中，图像处理部7从HSV颜色空间的图像中取得色调H，指定相当于人物肤色的肤色区域。

图5是在HSV颜色空间中色调H分布的圆形区域的示意图。相当于人物肤色的肤色区域，大致是色调值H分布于图中斜线表示的范围的像素集合。图像处理部7从HSV颜色空间的图像中，将处于该范围内的像素指定为肤色区域。

在步骤S7中，图像处理部7从肤色区域中，将由色饱和度S在规定值以下且亮度V在规定值以上的像素构成的区域指定为应调整的区域(处理区域)。处理区域是在肤色区域中被指定为反光分量的区域。接着，在步骤S8中，图像处理部7计算处理区域中的反光分量的强度。

这里，对处理区域的各像素进行判定白度加减和反光分量加减的处理。在白度加减的判定中，比较白分量增益表格存储部5a所存储的色饱和度增益值、和成为判定对象的像素的色饱和度。由于白分量的色饱和度非常低，故通过比较像素的色饱和度和色饱和度增益值，能够计算该像素的白度加减的程度。另外，在反光分量加减的判定中，比较反光分量增益表格存储部5b所存储的色饱和度增益值及亮度增益值、和成为判定对象的像素的色饱和度及亮度的值。由于反光分量的色饱和度低且亮度高，故通过比较色饱和度增益值及亮度增益值、和像素的色饱和度及亮度的值，能够计算该像素的反光分量加减。图像处理部7，针对成为判定对象的各像素，根据白度加减和反光分量加减来计算作为反光分量的强度(反光强度)。

在步骤S9中，图像处理部7基于反光分量的强度，对处理区域的各像素调整色饱和度S及亮度V。图6是图3所示的HSV颜色空间的部分剖视图。如图6所示，构成步骤S7中被指定的处理区域的像素之一即像素A，处于色饱和度S低且亮度V高的位置。因此，在步骤S9中，对构成处理区域的所有像素，基于反光分量的强度提高色饱和度S且降低亮度V，从而调整为接近肤色。这里，由于只降低了亮度V而变为灰色，故同时提高色饱和度S能够接近本来的肤色。

通过如上调整色饱和度及亮度，图6所示的处理区域中的像素A，从图中实线所示的位置被调整为虚线所示的位置。通过该处理能够减轻肤色中的反光分量、能接近于本来肤色的图像。

在步骤S10中，图像处理部7将包括减轻了反光分量的处理区域在内的面部区域的图像数据，从HSV颜色空间向RGB颜色空间进行颜色空间转换。

由此，在第一实施方式所涉及的图4的反光抑制处理中，通过步骤S5至S10的一连串处理，调整了处理区域以使色饱和度S变高且亮度V变低，减轻了处理区域中的反光分量，其结果抑制了反光。因此，以下将步骤S5至S10的一连串处理称为“第一处理”。

在这种S10的“第一处理”结束后，处理进入步骤S11。

在步骤S11中，图像处理部7将处理过的图像数据记录于图像记录部9。

另外，如果步骤S2或步骤S4的判定为“否”，则进入步骤S12。在步骤S12中，图像处理部7将拍摄到的图像数据直接记录(覆写)于图像记录部9。在步骤S11或步骤S12之后，图像处理部7及控制部8结束本流程图的处理。

根据第一实施方式的数码照相机1，具有以下效果。

(1)因为从拍摄到的图像数据中指定人物面部中的反光分量即处理区域，并调整该处理区域的色饱和度及亮度，所以能够减轻图像数据中含有的反光分量，将人物的面部图像区域转换为更优图像。

(2)因为通过面部检测功能从图像数据中检测出面部区域，从该面部区域中指定了肤色区域，所以能够实现处理高速化。

(3)因为在肤色区域中将色饱和度在处理值以下且亮度在规定值以上的像素指定为反光分量即处理区域，所以能有效地判别反光分量的像素。

(4)因为在拍摄到的图像数据是伴随着闪光所拍摄的情况下，执行了减轻反光分量的反光抑制处理，所以对在容易产生反光分量的条件下拍摄到的图像数据，能够执行有效减轻反光分量的反光抑制处理。

(5)因为计算出处理区域的色饱和度及亮度的强度，并基于该色饱和度及亮度的强度来调整处理区域各像素的色饱和度及亮度，所以能够更准确地调整处理区域各像素中的色饱和度及亮度。

【第二实施方式】

在第二实施方式中，执行成为被摄物体的第二处理。

此外，图1的数码照相机1也作为第二实施方式所涉及的图像处理装置起作用。因此，关于其电路结构的说明与第一实施方式相同，在此省略。其中，第二实施方式的处理信息存储部5不具备白分量增益表格存储部5a和反光分量增益表格存储部5b，而存储有在后述图7的反光抑制处理中使用的各种信息。

接着，参照图7所示的流程图，对由第二实施方式的数码照相机1执行的反光抑制处理的顺序进行说明。

通过图1所示的控制部8控制各部件来执行以下处理。另外，在用户操作摄影模式设定键11b设定了任一摄影模式之后，在操作快门键11a并指示了摄像的记录开始时，开始本流程图的处理。

在步骤S21中，图像处理部7从图像记录部9中取得由前处理部4处理过的图像数据。此外，由于在像素尺寸大的情况下处理费时间，故可以缩小图像记录部9所保存的图像数据，从而生成缩小图像数据，并对该缩小图像数据实施以下处理。

在步骤S22中，图像处理部7通过对图像数据实施面部检测处理，试图从由该图像数据所表现的图像中检测面部区域。关于面部检测处理，由于是公知技术，故省略详细内容。

在步骤S23中，图像处理部7判定从图像中是否检测到面部区域。

在从图像中未检测到面部区域的情况下，在步骤S23中判定为“否”，处理进入到步骤S33。

在步骤S33中，图像处理部7将拍摄到的图像数据直接记录(覆写)于图像记录部9。由此，本流程图的处理结束。

与此相对，在从图像中检测出面部区域的情况下，在步骤S23中判定为“是”，处理进入到步骤S24。

在步骤S24中，图像处理部7基于步骤S22的面部检测处理的结果，取得与面部区域内含有的面部相关的各种信息(以下，将这些信息总称为“面部信息”)。

具体而言，例如作为面部信息取得包围面部区域的框的坐标、或该面部区域内含有的被摄物体的眼位置的坐标(以下，称为“眼位置坐标”)。

在步骤S25中，图像处理部7基于步骤S24的处理中所取得的面部信息，取得与该面部信息所特定的被摄物体的个人肤色相关的信息(以下，称为“肌肤参数”)。

具体而言，例如图像处理部7基于面部信息中的眼位置信息，将眼周边的规定区域设定为“肤色取得区域”。该“肤色取得区域”是被判断为能可靠地取得成为被摄物体的个人肌肤参数的区域。

此外，能成为肤色取得区域的区域，一般为眼的下方、鼻或面颊等周边、即该被摄物体的个人肌肤可靠地存在的区域。因此，为了计算肤色取得区域，在此利用眼位置信息。但是，为了计算肤色取得区域，也并不限定于眼位置信息，只要是能计算出肤色取得区域的面部信息，可利用任意信息。

图像处理部7将该肤色取得区域的图像数据从RGB颜色空间向HSV颜色空间进行颜色空间转换。

而且，图像处理部7从HSV颜色空间上的肤色取得区域的图像数据中取得下述(a)至(c)的信息，作为肌肤参数。

此外，在以下(a)及(b)的信息中，所谓“该人物”表示检测出面部区域的个人、即具有肤色取得区域中含有的面部部分的个人。另外，所谓“(HSV)”表示由色调H、色饱和度S及亮度V的各值构成了信息。

(a)该人物的反光区域的平均参数(HSV值)(以下，略记为“第一参数”)

(b)该人物的除反光以外的肌肤区域的平均参数(HSV值)(以下略记为“第二参数”)

(c)肤色取得区域中反光区域的占有率

也就是说，图像处理部7将肤色取得区域划分为反光区域和除此之外的肤色区域。并且，图像处理部7作为第一参数计算与构成反光区域的各像素相关的、色调H、色饱和度S及亮度V的各平均值。另一方面，图像处理部7作为第二参数计算与构成该人物的肤色区域的各像素相关的、色调H、色饱和度S及亮度V的各平均值。另外，作为反光区域对肤色取得区域的占有率，图像处理部7计算肤色取得区域中反光区域的占有率[％]。

在步骤S26中，图像处理部7基于步骤S25的处理中所取得的肌肤参数，来计算目标值。

这里，所谓“目标值”是指在将处理区域的各像素中的、色调H、色饱和度S及亮度V的值(以下，将这些值总称为“HSV值”)调整(修正)为接近被摄物体的个人肤色的情况下所利用的目标值。该目标值构成为HSV值。

例如，目标值是基于步骤S25的处理中所取得的第一参数和第二参数的差分，根据反光区域的占有率而计算出的。

以上说明的各种信息、即步骤S24的处理中所取得的面部信息、步骤S25的处理中运算出的肌肤参数(这里，是指第一参数、第二参数及反光区域对肌肤的占有率)、以及步骤S26的处理中计算出的目标值，被存储于处理信息存储部5。

接着，在步骤S27中，图像处理部7将步骤S22的处理中所取得的面部区域的图像数据，从RGB颜色空间向HSV颜色空间进行颜色空间转换。

在步骤S28中，图像处理部7从HSV颜色空间的图像中取得色调H，并基于该色调H指定肤色区域。

在步骤S29中，图像处理部7从步骤S28中图像处理部7所指定的肤色区域中指定处理区域。

所谓处理区域如在第一实施方式所涉及的步骤S7的说明所述那样，是指在肤色区域中被特定为反光分量的区域。

因此，处理区域的指定方法虽然只要是可特定反光分量的方法就足够了，但是在第二实施方式中，采用与第一实施方式同样的方法、即由色饱和度S在规定值以下且亮度V在规定值以上的像素构成的区域被指定为处理区域。

在步骤S30中，图像处理部7基于在步骤S26的处理中计算出的目标值，来修正步骤S29的处理中所指定的处理区域的各HSV值。

由此，能够减轻处理区域的反光分量、接近在摄像图像中作为被摄物体而含有的个人肤色。

在步骤S31中，图像处理部7将包括减轻了反光分量的处理区域在内的面部区域的图像数据，从HSV颜色空间向RGB颜色空间进行颜色空间转换。

由此，在第二实施方式所涉及的图7的反光抑制处理中，通过步骤S26至S31的一连串的处理，考虑成为被摄物体的个人的肤色，来调整处理区域的HSV值的各值，减轻了处理区域中的反光分量。因此，以下将步骤S26至S31的一连串的处理称为“第二处理”。

这样的第二处理结束后，处理进入到步骤S32。

在步骤S32中，图像处理部7将处理过的图像数据记录于图像记录部9。由此，本流程图的处理结束。

接着，参照图8及图9，对图7的步骤S26的处理的具体例、即目标值的计算处理的具体例进行说明。

如上述，在之前的步骤S25中，作为肤色取得区域，计算面部区域中能准确确保被摄物体的个人肤色的区域。进而，该肤色取得区域被划分为反光区域和肤色区域，从反光区域中计算出第一参数，并且从肤色区域中计算出第二参数。

图8表示这样的肤色取得区域的各像素所绘制的HSV空间。详细而言，图8(a)表示HSV空间的部分顶视图，图8(b)表示HSV空间的部分剖视图。

在图8(a)中，×标记表示肤色取得区域中构成反光区域的各像素。作为第一参数51，计算出与这些各像素相关的、色调H、色饱和度S及亮度V的平均值。

在图8(a)中，白色圆圈标记(除了附带符号52的圆圈标记以外)表示肤色取得区域中构成肤色区域的各像素。作为第二参数52，计算出与这些各像素相关的、色调H、色饱和度S及亮度V的平均值。

如图8(a)及图8(b)所示，目标值53表示为连接第一参数51和第二参数52的线上的点(该图中黑色圆圈标记)的坐标值、即该点中的色调H、色饱和度S及亮度V的各值。

例如以如下的方式计算这样的目标值53。

首先，图像处理部7计算第二参数52的各HSV值与第一参数51的各HSV值之间的各差分。

接着，在计算出的各差分的绝对值大的情况下，图像处理部7需要将目标值53设定在第一参数51附近。为了进行这样的设定，需要表示目标值53接近第一参数51到何种程度的指标。在这样的指标中，将使用百分比值显示以第一参数51为起点(0％)、第二参数52为终点(100％)、连接第一参数51和第二参数52的线上的点的位置的值，称为“修正比例”。也就是说，所谓修正比例是表示目标值53接近第一参数51到何种程度的指标，且百分比值越小则越是接近第一参数51的值。

图9是用于说明修正比例的HSV空间的部分顶视图的例子。详细而言，图9(a)表示修正比例为15％情况下的目标值53。另一方面，图9(b)是表示修正比例为50％情况下的目标值53。比较图9(a)和图9(b)可知，与图9(b)的修正值为50％情况下的目标值53相比，图9(a)的修正比例为15％情况下的目标值53更接近第一参数51。

这里，图像处理部7基于是否是伴随着发光部12的闪光进行的拍摄、及第二参数与第一参数之间的差分等的诸多条件，来设定修正比例。

再有，图像处理部7根据第一参数、第二参数及所设定的修正比例，来计算目标值53。

以上，参照图8及图9，对图7的步骤S26的处理的具体例、即目标值的计算处理的具体例进行了说明。

接着，通过图7的步骤S30的处理，来修正处理对象区域的各像素的HSV值，使其接近这样的目标值。

以下，根据第二实施方式的数码照相机1，除了具有与第一实施方式相同的效果之外，还执行考虑了成为被摄物体的个人的肤色之后的第二处理(参照图7的步骤S26至S31)。也就是说，作为目标值设定了基于个人的肤色的颜色，对处理对象区域的各像素进行适当修正，以使其接近该目标值。由此，因为基于被摄物体的肤色能够减轻反光分量，所以能够自然地抑制被摄物体的反光。

【第三实施方式】

在第三实施方式所涉及的反光抑制处理中，选择性执行第一实施方式所采用的“第一处理”(参照图4的步骤S5至S10)、和第二实施方式所采用的“第二处理”(参照图7的步骤S26至S31)。

此外，图1的数码照相机1作为第三实施方式所涉及的图像处理装置起作用。因此，关于该电路结构的说明与第一实施方式相同，所以在此省略说明。

因此，以下参照图10所示的流程图，对由第三实施方式的数码照相机1执行的反光抑制处理的顺序进行说明。

通过图1所示的控制部8执行各部件来执行以下处理。另外，本流程图的处理是在用户操作摄影模式设定键11b设定任一摄影模式后开始的。或者，在进行半按下快门键11a的操作后开始的。

在步骤S41中，控制部8执行摄像及预览显示。

控制部8在预览摄像时依次读出被暂时存储于处理信息存储部5等中的各帧图像的图像数据后，使显示部10依次显示各自对应的帧图像。这样的一连串处理在此称为“预览显示”。以下将通过这样的预览显示而显示在显示部10上的帧图像称为“预览图像”。

此外，摄像或预览显示当然也在第一实施方式或第二实施方式的数码照相机1中执行。也就是说，由于图4或图7所示的流程图如上所述，表示在按下(全按下)快门键11a并指示进行摄像图像的记录之后的处理，因此只是省略了进行摄像或预览显示的步骤的图示。

在步骤S42中，图像处理部7通过对预览图像的图像数据实施面部检测处理，试图从该预览图像中检测面部区域。由于关于面部检测处理是公知技术，故省略详细的内容。

在步骤S43中，控制部8判定是否按下(全按下)了快门键11a。

在用户未全按下快门键11a的情况下，在步骤S43中判定为“否”，处理返回至步骤S41。也就是说，直至用户全按下快门键11a的期间，反复进行步骤S41至S43的循环处理，在显示部10中继续显示预览图像，此期间反复执行对预览图像的面部检测处理。

然后，在用户全按下快门键11a时，步骤S43中被判定为“是”，处理进入到步骤S45，指示进行摄像图像的记录。以后，由前处理部4处理过的帧图像的图像数据被记录于图像记录部9。

在步骤S44中，图像处理部7从图像记录部9中取得由前处理部4处理过的帧图像的图像数据。此外，由于在图像尺寸较大的情况下处理费时间，故也可缩小图像记录部9中所保存的图像数据，从而生成缩小图像数据，并对该缩小图像数据实施以下处理。

在步骤S45中，图像处理部7通过对步骤S44的处理中所取得的帧图像的图像数据实施面部检测处理，试图从该帧图像中检测面部区域。关于面部检测处理由于是公知技术，故省略详细内容。

在步骤S46中，图像处理部7判定从帧图像中是否检测出面部区域。

在从帧图像中未检测出面部区域的情况下，在步骤S46中判定为“否”，处理进入到步骤S54。

在步骤S54中，图像处理部7将拍摄到的图像数据直接记录(覆写)于图像记录部9。由此，本流程图的处理结束。

与此相对，从帧图像中检测出面部区域的情况下，在步骤S46中判定为“是”，处理进入到步骤S47。

在步骤S47中，图像处理部47基于步骤S45的面部检测处理的结果取得面部信息。

具体而言，例如作为面部信息，取得包围面部区域的框的坐标、或该面部区域内含有的被摄物体的眼位置信息等。

在步骤S48中，图像处理部7基于步骤S47的处理中所取得的面部信息，计算肌肤参数等。

具体而言，例如图像处理部7与第二实施方式所涉及的图7的步骤S25的处理同样地，基于眼位置信息，计算能准确地取得面部区域中被摄物体的个人的肌肤信息的区域，作为肌肤取得区域。

图像处理部7将该肤色确保区域的图像数据从RGB颜色空间向HSV颜色空间进行颜色空间转换。

并且，作为肌肤参数等，图像处理部7从HSV颜色空间上的肤色确保区域的图像数据中计算如下的(a)至(f)信息。

(a)第一参数

(b)第二参数

(c)肤色取得区域中反光区域的占有率

(d)第二参数的可靠度

(e)相对于整个画面的该人物的面部面积

此外，(a)至(c)的信息由于在第二实施方式所涉及的图7的步骤S25的处理中也同样地计算过，故在此省略其说明。因此，以下仅对第二实施方式所涉及的图7的步骤S25的处理中未未计算过的(d)及(e)的信息进行说明。

也就是说，图像处理部7在计算出第二参数之后，用百分比显示计算其第二参数的可靠度。此时的计算方法并不特别限定，例如一般能够采用如下的方法等，即：比较被视为肤色的颜色的平均的HSV值、和作为被摄物体而含有的个人的第二参数的HSV值。

另外，作为相对于整个画面的该人物的面部面积，图像处理部7例如计算帧图像(整个画面)中面部区域的空间占有率(百分比显示)。

进而，在第三实施方式中，作为步骤S48的处理的一部分图像处理部7执行如下处理。

也就是说，在之前的步骤S47的处理中，作为面部信息之一取得包围面部区域的框的坐标。

因此，图像处理部7基于包围这样的面部区域的框的坐标，作为背景区域计算帧图像中包围面部区域的框以外的区域。

图像处理部7将该背景区域的图像数据从RGB颜色空间向HSV颜色空间进行颜色空间转换。

并且，图像处理部7作为肌肤参数等还从HSV颜色空间上的背景区域的图像数据中计算如下的(f)及(g)的信息。

此外，在以下的(f)及(g)的信息中，所谓“背景”表示背景区域含有的像。另外，所谓“(HSV)”表示由色调H、色饱和度S及亮度V的各值构成信息。

(f)背景区域的反光区域的平均参数(HSV)(以下，略记为“第三参数”)

(g)相对于背景肤色的背景部反光％(以下，略记为“背景部反光％”)

也就是说，图像处理部7将背景区域划分为反光区域(具有与反光相同的HSV特性的部分)、和除此之外的肤色区域。并且，图像处理部7作为第三参数计算与构成反光区域的各像素相关的、色调H、色饱和度S及亮度V的各平均值。另外，图像处理部7计算背景区域中反光区域的占有率[％]。

在步骤S49中，作为修正处理的方法，图像处理部7选择“第一处理”(参照图4的步骤S5至S10)的方法、和“第二处理”(参照图7的步骤S26至S31)的方法中的其中一个。所述修正处理基于上述步骤S48的处理中所取得的肌肤参数等来抑制反光。

以下，将这样的步骤S49的处理称为“反光抑制方式选择处理”。关于反光抑制方式选择处理参照图11在后面进行叙述。

在步骤S50中，图像处理部7判定步骤S49的反光抑制方式选择处理中所选择的方法是否是执行第二处理的方法。

在步骤S49的反光抑制方式选择处理中，选择了执行“第一处理”的方法的情况下，在步骤S50中判定为“否”，处理进入到步骤S51。

在步骤S51中，图像处理部7执行“第一处理”(参照图4的步骤S5至S10)。

与此相对，在步骤S49的反光抑制方式选择处理中，选择执行“第二处理”的方法的情况下，在步骤S50中判定为“是”，处理进入到步骤S52。

在步骤S52中，图像处理部7执行“第二处理”(参照图7的步骤S26至S31)。

这样，在对步骤S33的处理中所取得的图像数据实施步骤S51的“第一处理”、或者执行步骤S52的“第二处理”后，处理进入到步骤S53。

在步骤S53中，图像处理部7将步骤S51或S52中处理过的图像数据记录于图像记录部9。由此，本流程图的处理结束。

接着，参照图11所示的流程图，对图10的步骤S49的反光抑制方式选择处理的顺序进行说明。

在步骤S61中，图像处理部7判定在图10的步骤S45的面部检测处理中检测出的面部的人数的可靠性(以下，简单称为“可靠性”)。

可靠性的判定方法没有特别限定，例如在本实施方式中采用了如下方法。

也就是说，在图10的步骤S44的处理中所取得的帧图像的图像数据是伴随着发光部12的闪光所拍摄到的图像数据的情况下，判定为可靠性为“1”。

另外，在步骤S44的处理中所取得的帧图像的图像数据是不伴随着发光部12的闪光所拍摄到的图像数据、且步骤S45的面部检测处理中从该帧图像检测出面部的人数与步骤S42的面部检测处理中从预览图像检测出面部的人数一致的情况下，判定为可靠性为“1”。

另一方面，在步骤S44的处理中所取得的帧图像的图像数据是不伴随着发光部12的闪光所拍摄到的图像数据、且步骤S45的面部检测处理中从该帧图像检测出面部的人数与步骤S42的面部检测处理中从预览图像检测出面部的人数不一致的情况下，判定为可靠性为“0”。

在步骤S62中，图像处理部7设定削弱反光抑制处理效果的色饱和度S的边界值(以下，适当称为“边界值S”)。

也就是说，除了第三实施方式以外也包括第一实施方式或第二实施方式，在反光抑制处理中预先设定边界值S，并且以下将这样的S值称为“初始边界值”。例如，初始设定值一般设定成为荧光灯等白色区域和除此之外的区域的边界的色饱和度S的值。即：在使用了初始边界值的反光抑制处理中，仅对荧光灯等的白色区域降低反光抑制处理效果程度。

但是，肤色确保取得区域中的第一参数的色饱和度S的值(以下，称为“肌肤反光平均S值”)却超过了第三参数的色饱和度S的值(以下，称为“背景反光平均S值”)。

这样，在肌肤反光平均S值超过了背景反光平均S值的状态下，仅对肤色确保区域中作为反光区域的区域实施反光抑制处理即可。

因此，在这种状态下，图像处理部7作为边界值S设定肌肤反光平均S值和背景反光平均S值之间的值。由此，也可对背景区域降低反光抑制处理效果的程度。

在步骤S63中，图像处理部7判定在步骤S61的处理中判定出的可靠性是否为“1”。

在可靠性为“0”的情况下，在步骤S63中判定为“否”，处理进入到步骤S69。在步骤S69中，图像处理部7作为反光抑制方式选择执行“第一处理”(参照图4的步骤S5至S10)的方法。

与此相对，在可靠性为“1”的情况下，在该阶段中选定反光抑制方式仍不充分，故在步骤S63中判定为“是”，处理进入到步骤S64。

在步骤S64中，图像处理部7判定被摄物体是否为1人。

对图10的步骤S44的处理中所取得的帧图像的数据实施了步骤S45的面部检测处理，结果检测出多个人的面部的情况下、即被摄物体为多人的情况下，在步骤S64中判定为“否”，处理进入到步骤S69。在处理S69中，图像处理部7作为反光抑制方式选择执行“第一处理”的方式。

与此相对，对步骤S44的处理中多取得的帧图像的图像数据实施了步骤S45的面部检测处理，结果检测出一人的面部的情况下、即被摄物体为1人的情况下，在该阶段选定反光抑制方式仍不充分，故在步骤S64中判定为“是”，处理进入到步骤S65。

此外，由于第三实施方式的“第二处理”以仅考虑1人被摄物体的个人肤色为前提，故设置了步骤S64的处理。也就是说，在采用了可考虑多人被摄物体的各自的个人肤色的“第二处理”的情况下，可省略步骤S64的处理。

在步骤S65中，图像处理部7判定第二参数的可靠度(图10的步骤S48的处理中所取得的(d)信息)是否在一定值以下。

在第二参数的可靠度在一定值以下的情况下，在步骤S65中判定为“是”，处理进入到步骤S69。在步骤S69中，图像处理部7作为反光抑制方式选择执行“第一处理”的方式。

与此相对，在第二参数的可靠度超过了一定值的情况下，在该阶段选定反光抑制方式仍不充分，故在步骤S65中判定为“否”，处理进入到步骤S66。

在步骤S66中，图像处理部7判定相对于整个画面的该人物的面部面积(图10的步骤S48的处理中所取得的(e)信息)是否在一定值以上。

在面部面积在一定值以上的情况下，在步骤S66中判定为“是”，处理进入到步骤S70。在步骤S70中，图像处理部7作为反光抑制方式选择执行“第二处理”(参照图7的步骤S26至S31)的方式。

与此相对，在面部面积低于一定值的情况下，在该阶段选定反光抑制方式仍不充分，故在步骤S66中判定为“否”，处理进入到步骤S67。

在步骤S67中，图像处理部7判定第二参数的色饱和度S的值(在图10的步骤S48的处理中所取得的(b)信息，以下称为“第二参数的S值”)是否在一定范围内。

在第二参数的S值是一定范围内的值的情况下，在步骤S67中判定为“是”，处理进入到步骤S70中。在步骤S70中，图像处理部7作为反光抑制方式选择执行“第二处理”的方式。

与此相对，在第二参数的S值是偏离一定范围的值的情况下，在该阶段选定反光抑制方式仍不充分，故在步骤S67中判定为“否”，处理进入到步骤S68。

在步骤S68中，图像处理部7判定背景区域中反光区域的占有率(在图10的步骤S48的处理中所取得的(g)信息)是否在一定值以下。

在背景部反光％在一定值以下的情况下，在步骤S68中判定为“是”，处理进入到步骤S70。在步骤S70中，图像处理部7作为反光抑制方式选择执行“第二处理”的方式。

与此相对，在背景部反光％超过一定值的情况下，在步骤S68中判定为“否”，处理进入到步骤S69。在步骤S69中，图像处理部7作为反光抑制方式选择执行“第一处理”的方式。

这样，在步骤S69或S70的处理中选择反光抑制方式后，反光抑制方式选择处理结束。

也就是说，图10的步骤S49的处理结束，处理进入到步骤S50。

在图11的步骤S69的处理中选择了执行“第一处理”的方式的情况下，在步骤S50中判定为“否”，在步骤S51的处理中执行“第一处理”。

与此相对，在图11的步骤S70的处理中选择了执行“第二处理”的方式的情况下，在步骤S50中判定为“是”，在步骤S52的处理中执行“第二处理”。

根据第三实施方式的数码照相机1，除了与第一实施方式同样具有上述(1)至(5)的效果、且与第二实施方式同样具有上述(6)至(8)的效果之外，还具有如下效果。

(9)通过执行第二实施方式所涉及的“第二处理”(参照图7的步骤S26至S31)，从而可达到上述(6)的效果。也就是说，在第一实施方式所涉及的“第一处理”(参照图4的步骤S5至S10)中产生红色程度增加的问题。所谓上述(6)的效果是指能解决该问题的效果。

但是，在没有适当得到与被摄物体的个人的肌肤相关的信息的情况下等，也可能存在即使执行“第二处理”不但无法解决该问题还会得到较差的处理结果的情况。或者，也可能存在所需的信息不足、不能自行执行“第二处理”的情况。

在这种情况下，由于第三实施方式中能够代替“第二处理”而执行“第一处理”，故可得到一定值以上的反光抑制效果。

以上，作为本发明的实施方式虽然对第一实施方式及第二实施方式进行了说明，但是本发明并不限定于上述实施方式。也就是说，以下所示的、在能达成本发明目的的范围内进行的变形、改良等也包括在本发明中。

(1)在设定人物摄影模式后，控制部8也可以执行从拍摄到的图像数据中减轻反光分量的反光抑制处理。在人物摄影模式中，另外也存在闪光自动发光的情况，在拍摄到的人物的面部产生反光分量的概率较高。因此，在设定了人物摄影模式时，与闪光灯发光的有无无关，通过对拍摄到的图像数据执行减轻反光分量的反光抑制处理，能够得到减轻了反光分量的、更优图像。

(2)也可从面部检测处理检测出的面部区域中，提取相当于容易发生反光分量的人物的额头、脸颊、鼻的部分，并从该部分中指定处理区域。由此，通过提取容易发生反光分量的部分，可更准确地指定处理区域。

(3)用户也可一边观看显示部10所显示的图像，一边经由未图示的操作输入部件指定肤色区域或处理区域。此时，关于肤色区域，通过在显示部10中彩色显示图2所示的HSV颜色空间的示意图，从而能够使用户在视觉上辨别色调H的分布。

(4)关于上述的图像处理部7的功能的一部分或全部，也可按照本发明所涉及的图像处理程序使控制部8动作来实现。

(5)在上述的实施方式中，虽然示例了以摄影镜头2及摄像部3作为本发明的图像取得部件的例子，但是也可构成为将由其他数码照相机等拍摄到的图像读取到数码照相机1中。此时，也可将以自由拆卸的方式装载记录有图像数据的记录介质的卡槽部、或与用于以有线或无线的方式读取图像数据的电缆或传送部之间的连接端子，作为图像取得部件起作用。

(6)另外，在上述的实施方式中，虽然从肤色区域中检测处理区域，但也可是其他的颜色区域。此时，指定期望的色调值H的范围，并在所指定的色调值H的范围内，指定由色饱和度S在规定值以下且亮度V在规定值以上的像素构成的区域作为处理区域。

(7)此外，在第二实施方式中，虽然图像处理部7根据肤色取得区域的第一参数和第二参数设定了目标值，但是也可仅考虑第二参数来设定目标值。

(8)而且，本发明并不特别限定于HSV空间，也可以广泛应用于其他空间，例如YUV空间或RGB空间等各种色调空间。

(9)本发明并不限定于数码照相机，例如能够应用于具备带有照相机的移动电话等静止图像摄影功能的电子设备整个领域。另外，本发明也能应用于具备图像颜色处理功能的任意图像处理装置。进而，在本发明所涉及的图像处理装置中，也包括可基于规定程序动作来实现本实施方式的图像处理部7的功能的计算机装置。

Claims (12)

1.一种图像处理装置，具备：

图像取得部件，其取得图像；

颜色区域检测部件，从所述图像取得部件取得的图像中检测规定的颜色区域；

区域指定部件，基于由所述颜色区域检测部件检测出的所述颜色区域的色饱和度及亮度，来指定应调整区域；和

颜色调整部件，调整由所述区域指定部件指定出的所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

2.根据权利要求1所述的图像处理装置，其特征在于，

具备面部检测部件，该面部检测部件从所述图像取得部件取得的图像中检测人物的面部区域，

所述颜色区域检测部件从所述面部检测部件检测出的面部区域的图像中检测规定的颜色区域。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述颜色区域检测部件检测相当于所述图像中含有的人物的肤色的肤色区域，来作为规定的所述颜色区域，

所述区域指定部件在所述肤色区域中指定色饱和度在规定值以下且亮度在规定值以上的像素，来作为所述应调整区域，。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述颜色调整部件包括肤色信息取得部件，该肤色信息取得部件取得与所述图像中含有的人物的个人的肤色相关的肤色信息，

所述颜色调整部件基于该肤色信息取得部件取得的所述肤色信息，来调整所述应调整区域的像素中的各个色调、色饱和度及亮度。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述肤色信息取得部件，包括：

位置信息取得部件，其取得位置信息，该位置信息表示在所述面部检测部件检测出的所述面部区域内含有的所述人物的特定部位的位置；和

设定部件，其基于所述位置信息取得部件取得的所述位置信息，将从所述面部区域中要取得该人物的肤色信息的区域设定为肤色取得区域，

所述肤色信息取得部件基于所述设定部件设定的所述肤色取得区域的图像，求出所述肤色信息。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述肤色信息取得部件取得第一平均值信息及第二平均值信息作为所述肤色信息，该第一平均值信息由与所述应调整区域中的各像素相关的色调、色饱和度及亮度的各平均值构成，该第二平均值信息由与所述肤色取得区域中的各像素相关的色调、色饱和度及亮度的各平均值构成，

所述颜色调整部件基于所述肤色信息取得部件取得的所述第一平均值信息和所述第二平均值信息的差分值，调整所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述颜色调整部件，针对各色调、色饱和度及亮度求出所述第一平均值信息和所述第二平均值信息的差分值，基于所述差分值求出所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

8.根据权利要求2所述的图像处理装置，其特征在于，

所述颜色调整部件对所述应调整区域的像素进行提高色饱和度、降低亮度的调整。

9.根据权利要求8所述的图像处理装置，其特征在于，

具备强度计算部件，该强度计算部件计算所述应调整区域中的色饱和度及亮度的强度，

所述颜色调整部件，按照所述强度计算部件计算出的所述应调整区域的色饱和度及亮度的强度，对所述应调整区域的像素进行色饱和度及亮度的调整。

10.根据权利要求1所述的图像处理装置，其特征在于，

在由所述图像取得部件取得的图像是伴随着发光拍摄到的图像时，所述区域指定部件指定所述应调整区域。

11.根据权利要求1所述的图像处理装置，其特征在于，

具备：

设定部件，能从多个摄影模式中设定一个摄影模式；和

摄影条件设定部件，根据经由所述设定部件设定出的摄影模式，设定所述图像取得部件中的摄像条件，

在由所述设定部件设定出用于拍摄人物的摄影模式的情况下，所述区域指定部件指定所述应调整区域。

12.一种图像处理方法，包括：

图像取得步骤，取得图像；

颜色区域检测步骤，从所述图像取得步骤取得的图像中检测规定的颜色区域；

处理区域指定步骤，基于由所述颜色区域检测步骤检测出的所述颜色区域的色饱和度及亮度，来指定应调整区域；和

颜色调整步骤，调整由所述处理区域指定步骤指定出的所述应调整区域的像素的色调、色饱和度及亮度中的至少一个。

Images