JP2009038737A - 画像処理装置 - Google Patents

Abstract

【課題】 化粧を施した人物像を写真撮影して得られた画像において、人物像の顔と顔以外の肌の部分で生じる色調の差を統一し、違和感なく良好な色調の肌色に補正する。
【解決手段】 人物像を含む入力画像において、含まれる人物像の顔、首とその他の肌色領域を分離して抽出し、各々の肌領域での肌色情報を得る。得られた肌色情報と基準値を比較し、基準値を超えていれば顔と首、その他の肌の色調を合わせる補正処理を施すことで良好な色調の肌色に補正することができる。
【選択図】 図１

Description

本発明は画像処理方法、及びその画像処理装置に関わる。例えば、人物像を含む画像データに対して肌の色調を好ましいものに補正する画像処理方法、及びその装置に関するものである。

近年、デジタルカメラやイメージスキャナ等のデジタル機器が普及し、デジタル画像を手軽に得ることができるようになった。また、コンピュータの高性能化に伴い、得られたデジタル画像を容易に加工、補正することが可能となりつつある。

デジタル画像補正技術の一分野に、人物像を含む画像の肌領域を好ましい色に補正する技術として、例えば、特許文献１では、顔領域を特定し顔領域内部の特徴量と基準明度データとを比較することで決まる補正パラメータを用いて入力画像データの明度を補正するといった技術が提示されている。また、特許文献２では、顔領域画像データを抽出し、顔領域画像データの分散値、平均濃度値等の特性値を求める。特性値により、アンダー露光や逆光といった顔領域の画像状態が判断される。その後、所望とする肌色画像データと顔領域画像データとの重み付け加算のための重み係数αを画像状態から求め、この重み係数αにより、肌色画像データと顔領域画像データとの重み付け加算を行って修正顔領域画像データを得る。このように、人物を含む画像の肌領域を好ましい色調に補正する工夫が行われている。
特開2000-261650号公報 特開平11-328359号公報

人物像を写真撮影することにより得られた画像においては、顔付近が最も注視されると言える。しかしながら、対象人物像の顔部に化粧が施されていた場合には、写真撮影時に化粧品の光源による演色性と撮影機材の分光感度、ホワイトバランスの補正などの影響で、化粧を施した部分と化粧を施していない部分、すなわち顔と顔以外（首、肩、腕等）の肌の部分の色に差が生じ、撮影した画像を表示あるいは印刷出力した際に違和感のある画像を得てしまうといった問題がある。具体的には、化粧をした女性を撮影すると、顔部分の肌色が青白くなったり、白浮きしてしまったりする場合がある。人物の肌を好ましい色に補正するための方法として、前記従来の技術で説明したものが提案されている。しかし、このような従来技術では、人物像の肌色を好ましい色に補正するものの、顔とそれ以外の部分での色調の差をなくす処理は施されず、肌色部分全体に同一の補正処理がなされる。そのため、顔とそれ以外の肌色部分で色調が異なる画像の場合には、その色調の差は残ったままであり、逆に補正を施したことにより色調の差が大きくなる場合がある等、適切な補正を行うことが困難であった。そのため、本発明は人物像の肌の色調をそろえ、違和感のない統一した肌色に補正するという観点から、人物画像の肌を良好なものに修正する画像処理方法および装置を提供することを目的とする。

上記課題は、人物像を含む画像データに対して画像処理を施す画像処理装置において、画像データを入力する画像入力手段と、画像入力手段から入力した画像データ中に含まれる人物像の肌領域を抽出する肌色抽出手段と、画像入力手段から入力した画像データ中に含まれる人物像の顔領域を検出する顔領域検出手段と、肌色抽出手段による肌色抽出結果と、顔検出手段による顔領域検出結果により顔領域の肌色を抽出する顔領域抽出処理手段と、肌色抽出手段による肌色抽出結果と顔領域抽出手段による顔領域抽出結果により顔、首それ以外の肌領域を分離する肌分離手段と、肌分離手段により分離された顔、首それ以外の肌領域の色調を比較する色調比較手段と、色調比較手段による比較結果に基づき肌色抽出手段で抽出した肌色部の画像データを補正する画像補正手段と、画像補正手段により補正された画像データを可視画像として出力する画像出力手段を具備したことを特徴とする画像処理装置により、解決される。

以上説明したように、本発明によれば、人物画像から肌色領域を抽出した後に顔領域を抽出することで、顔と首、それ以外の部分の肌領域を区別して抽出する。区別された顔と首、それ以外の肌色領域で各領域の色情報を求め、基準値との比較処理を施した後、補正量を決定し、顔とそれ以外の部分での肌部の色調をそろえるような補正処理を行い、修正された人物画像が得られる。ゆえに、顔と首、それ以外の肌の色調が異なるような画像においても、本発明を用いることで肌の色調が補正され、人物像の肌の色味を良好に再現することが可能である。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の実施例である画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、人物像を含む入力画像において、含まれる人物像の顔、首とその他の肌色領域を抽出し、それぞれの肌の色情報を得る。得られた色情報と基準値を比較し、基準値を超えていれば顔と首、その他の肌の色調を合わせる補正処理を施し、修正された画像を出力する装置である。ここで、基準値とは下記の二つの場合を言う。

(１)顔、首とその他の肌色を比較した際の色差の閾値
(２)好ましい肌色の基準値
本処理はソフトウェアによるプログラム処理として実行することも可能である。

画像入力部１０１は、例えばデジタルカメラやイメージスキャナ等の入力機器であり、被写体Ｏあるいは写真原稿を撮影あるいは読み取り、デジタル画像データを得る。

画像メモリ１０２は、画像入力部１０１により得られたデジタル画像データを格納するためのメモリである。

補正処理部１０３は、画像メモリ１０２より送られたデジタル画像データの肌部分の色調を最適な色に補正する部分である。また、基準値格納メモリ１０４は、補正処理実行時に使用する肌色の基準値を格納するためのメモリを示す。

画像出力部１０５は、補正処理部１０３にて補正された画像データを用紙Ｐ上に印刷出力する。あるいは、補正された画像データを表示する部分である。

図２は、補正処理部１０３で行われる画像補正処理をフローチャートで示したものである。また、図３は、顔と首、それ以外の肌領域を区別して抽出する方法を図示したものである。以後、図２と図３を参照し、補正処理部１０３での補正処理を説明する。

図２のステップＳ１にて、画像メモリ１０２に格納された人物画像データを読込む。次に肌色領域を抽出するステップＳ２に進む。肌色領域の抽出は、例えば、肌色が取り得る色相値の範囲内で色相ヒストグラムのピークを基準肌色色相値とし、該基準肌色色相値からある一定のしきい値内の色調の画素を肌色と決定するというような、従来既存技術を用いることで実施可能である。

ステップS３では、顔検出技術を使って顔領域を検出する。顔領域の検出は、下記に説明する従来既存技術により行うことができる。顔領域検出方法の一つ目の方法では、画像の各画素の色相が肌色の範囲に含まれるか否かを判定して画像を肌色領域と非肌色領域に分割するとともに、画像中のエッジを検出して画像をエッジ部分および非エッジ部分とに分割する。そして、肌色領域内に位置しており非エッジ部分と分類した画素からなり、かつエッジ部分と判定された画素により囲まれた顔候補領域が人物の顔に相当するか否かを判定することで、顔領域を検出する。次に、二つ目の方法では、互いに異なる複数の抽出方式の何れかにより、画像データにより表される画像から顔に相当すると推定される領域を抽出する。各抽出方式はあらかじめ顔領域抽出性能が評価されており、その評価結果に応じて重み係数が定められている。そして、抽出された顔領域候補をその抽出方式に応じた重み係数により重み付けし、重み付けした結果に基づいて顔に相当する領域である確度の高い領域を顔領域として抽出することができる。

さらに、ステップＳ４にてステップＳ３の処理で検出された顔領域の抽出処理を施すことで、顔部分を分離して抜き出すことができる。顔領域の抽出・分離処理であるステップＳ４は、例えば下記のような従来既存技術を使う。この技術はマウスなどを操作して、切り抜き処理を行う切り抜き処理領域を指定した後、切り抜き対象画像および対象外画像のそれぞれの代表画素指定を行う。次に切り抜き処理部において、指定した切り抜き処理領域内の各画素ｉの画像データＲiＧiＢiと前記対象画像の代表画素の代表色データＲ0Ｇ0Ｂ0との色の距離Ｄ0iを求める。同様に各画素ｉの画像データＲiＧiＢiと前記対象外画像の代表画素の代表色データＲnＧnＢnとの色の距離Ｄniを求め、２つの距離Ｄ0iと距離Ｄniの大小を判定する。その結果、Ｄ0i＜Ｄniの場合にその画素ｉを切り抜き対象画素に決定し、抽出・分離処理を行うものである。

さらに、ステップＳ５ではステップＳ２で抽出した肌色部分からステップＳ４で分離した顔部分を差し引くことで顔以外の肌色部分を抽出・分離処理する。ここで分離して抜き出された肌色領域は人物像の顔領域以外の肌部分であるといえる。次いで、ステップＳ６では、ステップ３で顔領域と判定された部分の直下、もしくは顔領域近傍の肌色部分を首として抽出・分離する。

以上のステップＳ２からステップＳ６までの処理を施し、入力画像の人物像における顔部分と首部分とそれ以外の肌色領域を分離することができる。ここで、入力画像において人物が複数存在する場合は上記のステップＳ３にて顔を検出した後に、その人数分ステップＳ４からステップＳ６を繰り返す。図３に、ステップＳ２からステップＳ６の過程で、顔とそれ以外の肌色領域の分離過程を概略的に図示した。例えば、Ｐ１のような人物画像が入力されたものとする。Ｐ２はＰ１から肌色領域を抽出した後の画像で、Ｐ３は顔領域を抽出・分離した結果である。Ｐ３において、Ａ１の領域が抽出・分離処理を施した顔領域部分である。次に、Ｐ４は首部分を抽出・分離するため図である。例えば、顔部分の直下の領域に存在する肌色領域を探し、得られた領域が首部分であるといえる。Ｐ４において、Ａ２が抽出・分離した首部分である。

また、顔と首、それ以外の肌を抽出・分離して抜き出す方法は、前記ステップＳ２からＳ６の順序を下記のように変えても良い。まず、画像を読み込むためのステップＳ１から、ステップＳ３に進み、顔領域を検出する。その後、ステップＳ４にて顔部分の抽出処理を行う。以上により、顔部分を分離することができる。さらに、ステップＳ２にて顔領域以外の肌色を検出する。ステップＳ５にて、顔領域以外の肌色部分を抽出・分離する。最後に、ステップＳ６において、上記ステップＳ２からＳ５の処理により、抽出・分離された顔領域以外の肌色領域から、首部分とそれ以外の肌領域を判別し抽出・分離することが可能である。

次に色情報検出ステップＳ７では、顔、首、それ以外の肌色部分の各々において、CIE-Lab値や輝度色差（YCbCr値）といった色情報を得る。顔と首、それ以外の肌色部分において、得られた色情報の差が基準値以上であるかの判定を行う。基準値以下であれば補正処理をせずに終了する。基準値以上であれば、ステップＳ８に進み、どちらか好ましい肌色の色調にそろえるといった補正を行う。ここで、例えば、色調の基準値は、首、もしくは顔における色情報成分の値を比較した際の色差にある程度の幅を持たせた閾値、あるいは、あらかじめ好ましい肌色の基準値を既定した値を設定するものとする。具体的な二つの補正例を以下に記す。

（１）顔と顔以外の肌色部分の色情報として、CIE-Lab値あるいはYCbCr値の平均値を算出し、この肌色部分の色情報の平均値をもとにして抽出・分離した顔部分と首部分が同一色調となるように変換する方法。

（２）CIE-Lab値、あるいはYCbCr値において、顔と顔以外の肌の部分で色相角のずれを求め、好ましい肌色の色相になるように色相角をずらす。または、輝度を変える方法。ここで、上記の補正を行う部分は、顔と顔以外のどちらか一方に実施する場合と、顔と顔以外の肌の両部分に実施する場合が挙げられる。具体的には、化粧をした人物像を写真撮影した場合、顔部分の肌色が青白く移ってしまったり、白浮きしてしまったりすることがある。そのため、顔部分を補正する場合に黄色やマゼンタ色あるいは赤色を強くする、あるいは、明るさを暗くする方法が有効的である。また、顔部分の色調が好ましい再現にもかかわらず、顔部と顔部以外の肌の色調が異なる場合には、顔部の色調に一致させる方向に顔部以外の肌の色調、明るさを補正しても良い。

上記、肌の色情報としてCIE-Lab値、YCbCr値を用いて説明したが、もちろんこの値に限定されずに肌色の色調を数値化できるものであれば良く、RGB値を用いても良い。

最終的にステップＳ９で、ステップＳ８で最適な肌色再現に補正された画像データを印刷出力、あるいは表示を行う。

本発明の実施形態による画像処理装置の構成を概略的に示すブロック図。 本発明の実施形態による画像処理を説明するフローチャート。 顔、首、それ以外の肌色領域の分離過程を説明する図。

符号の説明

１００ 画像処理装置
１０１ 画像入力部
１０２ 画像メモリ
１０３ 補正処理部
１０４ 基準値格納メモリ
１０５ 画像出力部

Claims (1)

1. 人物像を含む画像データに対して画像処理を施す画像処理装置において、
   画像データを入力する画像入力手段と、
   前記画像入力手段から入力した画像データ中に含まれる人物像の肌領域を抽出する肌色抽出手段と、
   前記画像入力手段から入力した画像データ中に含まれる人物像の顔領域を検出する顔領域検出手段と、
   前記肌色抽出手段による肌色抽出結果と、前記顔検出手段による顔領域検出結果により顔領域の肌色を抽出する顔領域抽出処理手段と、
   前記肌色抽出手段による肌色抽出結果と前記顔領域抽出手段による顔領域抽出結果により顔、首それ以外の肌領域を分離する肌分離手段と、
   前記肌分離手段により分離された顔、首それ以外の肌領域の色調を比較する色調比較手段と、
   前記色調比較手段による比較結果に基づき、前記肌色抽出手段で抽出した肌色部の画像データを補正する画像補正手段と、
   前記画像補正手段により補正された画像データを可視画像として出力する画像出力手段を具備したことを特徴とする画像処理装置。

Images