JP2015154194A - 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】所望の肌色表現を容易に実現可能な画像処理装置を提供すること。
【解決手段】画像データから肌領域を抽出する肌領域抽出部と、前記肌領域の色相情報及び彩度情報を算出する色度算出部と、前記色相情報が目標情報に一致する様に、前記色相情報を変換する色相変換部と、前記彩度情報の変更指示を受け付ける受付部と、前記変更指示に基づいて、変換パラメータを決定するパラメータ決定部と、前記変換パラメータに基づいて、前記彩度情報を変換する彩度変換部と、を有する画像処理装置。
【選択図】図２

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体に関する。

人物が被写体となっている画像は、多くの人が見慣れているため、例えば画像における人物の肌色が適正に色再現されていないと、見る側に違和感を与えやすい。また、肌色自体は適正だが、例えば赤い帽子や衣服を着用した人物の肌が青色に近く見える様に、周辺色から受ける対比効果等により、肌色が適正に見えないことも視覚特性上起こり得る。

ここで、画像に写る人物の印象を良くするために、人物の肌色を実際とは異なる色にする画像処理が行われる場合がある。例えば、女性の肌をより色白にしたり、男性の肌を日焼けした様な褐色にすることで、画像に写る人物の印象を変えることができる。宣伝広告等の商業用途で使用される画像等では、人物と商品とが適合したイメージを印象付けることが求められるため、この様に肌色を調整する画像処理がより重要となる。また、例えばフォトブックの様に写真を大切な思い出として残すプリント市場においても、画像における人物の印象が良くなる様に肌色を再現することが最優先事項となる。

そこで、画像中の肌色領域の画素を明度・彩度・色相の３属性を用いて表色し、何れか２つの属性で表される分布が部分的に変化する様に肌色領域を調整することで、画像中の人物の肌色を調整する画像処理方法が提案されている（例えば、特許文献１参照）。

しかしながら、上記した特許文献１に係る画像処理方法において、ユーザが操作するのは明度・彩度・色相といった画像中の肌色を数値化したパラメータであり、画像処理に不慣れなユーザが各パラメータを調整して所望の肌表現を得るのは困難な可能性がある。特に肌色は、赤色や黄色の様な原色とは異なり、微妙な色の変化が鑑賞者に与える影響が大きく、色味や色彩度の調整が非常に難しい。したがって、上記した画像処理方法では、ユーザが所望する肌表現を容易に再現するのは困難な可能性がある。

また、上記した特許文献１に係る画像処理方法では、予め設定された標準的な色変換パラメータに基づいて画像処理を施すことも可能であるが、ユーザによる画像処理の自由度を奪うことになり、ユーザが所望する多様な肌表現を再現できるとは限らない。

本発明は上記課題に鑑みてなされたものであって、所望の肌色表現を容易に実現可能な画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置によれば、画像データから肌領域を抽出する肌領域抽出部と、前記肌領域の色相情報及び彩度情報を算出する色度算出部と、前記色相情報が目標情報に一致する様に、前記色相情報を変換する色相変換部と、前記彩度情報の変更指示を受け付ける受付部と、前記変更指示に基づいて、変換パラメータを決定するパラメータ決定部と、前記変換パラメータに基づいて、前記彩度情報を変換する彩度変換部と、を有する。

本発明の実施形態によれば、所望の肌色表現を容易に実現可能な画像処理装置を提供できる。

第１の実施形態における画像処理装置のハードウェア構成を例示する図である。 第１の実施形態における画像処理装置の機能構成を例示する図である。 第１の実施形態における入力画像データ及び肌領域を例示する図である。 第１の実施形態における肌領域の色度情報を例示する図である。 第１の実施形態における目標情報を例示する図である。 第１の実施形態における色相情報及び目標情報の累積度数分布、色相変換テーブルを例示する図である。 第１の実施形態における肌の日焼けレベルの指定画面を例示する図である。 第１の実施形態における彩度変換テーブルを例示する図である。 第１の実施形態における彩度変換テーブルを例示する図である。 第１の実施形態における彩度変換による彩度分布の変化を例示する図である。 第１の実施形態における画像処理のフローチャートを例示する図である。 第２の実施形態における画像処理システムの構成を例示する図である。 第２の実施形態における画像処理装置のハードウェア構成を例示する図である。 第２の実施形態における画像処理サーバのハードウェア構成を例示する図である。 第２の実施形態における画像処理システムの機能構成を例示する図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

〔第１の実施形態〕
＜画像処理装置のハードウェア構成＞
図１に、第１の実施形態における画像処理装置１００のハードウェア構成例を示す。

図１に示す様に、画像処理装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、記録媒体Ｉ／Ｆ部１０４、ネットワークＩ／Ｆ部１０５、操作部１０６、表示部１０７を含み、それぞれバスＢを介して相互に接続されている。

制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０１は、主記憶部１０２に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置等に出力する。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。

記録媒体Ｉ／Ｆ部１０４は、例えばＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記録媒体１０８と画像処理装置１００とのインターフェイスである。

また、記録媒体１０８に格納されたプログラムは、記録媒体Ｉ／Ｆ部１０４を介してインストールされて画像処理装置１００により実行可能となる。

ネットワークＩ／Ｆ部１０５は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機器を有する周辺機器と画像処理装置１００とのインターフェイスである。

操作部１０６は、例えばハードキーで構成されるキースイッチやマウス等である。

表示部１０７は、例えば液晶や有機ＥＬ等のディスプレイであり、画像や操作用アイコン等を表示し、画像処理装置１００が有する機能をユーザが利用する際に各種設定を行うユーザインターフェイスとして機能する装置である。

＜画像処理装置の機能構成＞
図２は、第１の実施形態における画像処理装置１００の機能構成を例示する図である。

図２に示す様に、画像処理装置１００は、肌領域抽出部２０１、肌色情報取得部２０２、色度算出部２０３、記憶部２０４、目標情報取得部２０５、色相変換部２０６、受付部２０７、パラメータ決定部２０８、彩度変換部２０９、表示入力部２１０を有する。

肌領域抽出部２０１、肌色情報取得部２０２、色度算出部２０３、目標情報取得部２０５、色相変換部２０６、パラメータ決定部２０８、彩度変換部２０９は、制御部１０１が主記憶部１０２等に記憶されているプログラムを実行することで実現される機能である。記憶部２０４は、主記憶部１０２、補助記憶部１０３である。受付部２０７及び表示入力部２１０は、表示部１０７及び操作部１０６が制御部１０１により制御されることで実現される機能である。

以下では、画像処理装置１００が、入力された画像データに実行する画像処理における各部の処理内容について、図３から図８に例示する画像処理に用いられるデータ等と併せて説明する。

≪肌領域抽出と肌色情報取得≫
画像処理装置１００に画像処理を行う対象となる人物画像を含む画像データが入力されると、肌領域抽出部２０１が、入力画像データにおける人物の肌領域を抽出する。なお、以下の説明では、画像処理装置１００に入力された画像データを「入力画像データ」という。

図３は、画像処理装置１００に入力された入力画像データ３０１及び入力画像データにおける肌領域３０２を例示する図である。図３（ａ）は、入力画像データ３０１であり、図３（ｂ）は、肌領域抽出部２０１によって入力画像データ３０１から抽出された肌領域３０２（白色部分）を例示している。

肌領域抽出部２０１は、入力画像データ３０１を構成する画素の色情報と予め設定された肌色判定基準とを比較し、一画素毎に肌領域か非肌領域かを判定する。入力画像データ３０１を構成する全画素に対して判定を行い、肌領域と判定された画素の集合が肌領域３０２として決定される。

図３（ｂ）に示す例では、肌領域３０２（白色部分）と、肌領域３０２以外の領域（黒色部分）とが明確な境界を有しているが、肌領域３０２と肌領域３０２以外の領域との境界線をぼかしても良い。また、位置によってぼかし具合を変化させても良い。

肌領域抽出部２０１により入力画像データ３０１から肌領域３０２が抽出されると、次に肌色情報取得部２０２が、肌領域３０２を構成する画素の肌色情報を取得する。

肌色情報は、例えば肌領域３０２を構成する全画素のＲＧＢ毎の８ビット階調値（０〜２５５）であるが、画像処理環境に応じて様々な表色成分を適用でき、例えば、ディスプレイやデジタルカメラ等の内部処理で扱われる様なＹＵＶやＹＣｂＣｒ方式の表色系を使用してもよい。また、例えばオフセット印刷等で扱われる様なＣＭＹＫの４色版で画像データが構成されている場合には、表色成分としてＣＭＹＫの網点率（％）を使用しても良い。

なお、画像処理装置１００において、表示部１０７に入力画像データ３０１を表示し、ユーザが表示されている入力画像データ３０１を見ながら操作部１０６を用いて肌領域３０２を指定する方法であってもよい。この場合においても同様に、肌色情報取得部２０２は、指定された肌領域３０２から肌色情報を取得する。

≪色度算出≫
肌色情報取得部２０２により肌領域３０２から肌色情報が取得されると、次に色度算出部２０３が、肌色情報から色度計算を行い、肌領域３０２における色相角Ｈに対する画素の度数分布である色相ヒストグラム分布情報及び彩度Ｓに対する画素の度数分布である彩度ヒストグラム情報を算出する。色度は、ＬＣＨ、ＨＳＶ等、作業環境に応じて最適な色空間を選択して求めることができ、本実施形態では、ＨＳＶ空間を使用している。

ここで、色度算出部２０３が算出する度数分布における度数は、ある色相角Ｈ又は彩度Ｓに対応する画素数が肌領域３０２を構成する全画素数に占める比率で表され、０から１の範囲で規定される。

図４は、色度算出部２０３によって算出された肌領域３０２の色相ヒストグラム情報４０１及び彩度ヒストグラム情報４０２を例示する図である。図４（ａ）は、色相ヒストグラム情報４０１であり、横軸が色相角Ｈ，縦軸が度数で表されている。図４（ｂ）は、彩度ヒストグラム情報４０２であり、横軸が彩度Ｓ，縦軸が度数で表されている。

≪色相変換≫
画像処理装置１００の記憶部２０４には、目標とする色相ヒストグラムとして予め設定された目標情報が記憶されており、目標情報取得部２０５により記憶部２０４から目標情報が読み出される。

図５は、目標情報５０１を例示する図である。目標情報５０１は、色相ヒストグラム情報４０１と同様に、横軸が色相角Ｈ、縦軸が各色相角Ｈに対する度数で表される。

目標情報５０１は、人物を含む画像の鑑賞者が、高い確率で、画像中の人物の肌色再現が平均的で違和感無く表現されていると感じる肌色再現が可能な肌領域の色相ヒストグラム情報である。この様な目標情報５０１は、例えば、人物を含む様々なサンプル画像データ群を用いて多数の被験者による主観評価結果の解析を経て定量的に求められる。

記憶部２０４には、複数の目標情報が記憶されてもよく、例えば、人種、性別、年齢等で区分けされたカテゴリー毎に最適な目標情報が用意されてもよい。この場合、目標情報取得部２０５は、入力画像データ３０１に含まれる人物の特性（人種、性別、年齢等）を認識し、記憶部２０４に記憶されている複数の目標情報の中から特性に適した目標情報を選択して取得する。

色度算出部２０３により肌領域３０２の色相ヒストグラム情報４０１が算出され、目標情報取得部２０５により目標情報５０１が取得されると、次に色相変換部２０６が、肌領域３０２の色相を目標情報５０１に基づいて変換する。色相変換部２０６は、変換対象となる肌領域３０２の色相ヒストグラム情報４０１を、目標情報５０１に一致させる様に変換処理を行う。

図６（ａ）は、色相変換部２０６における変換処理を説明するための図であり、色相ヒストグラム情報４０１及び目標情報５０１の累積度数分布を示している。

図６（ａ）の右側のグラフは、変換対象となる肌領域３０２の色相ヒストグラム情報４０１から、縦軸に度数の累積をとった累積色相ヒストグラム６０１である。図６（ａ）の左側のグラフは、目標情報５０１である目標色相ヒストグラム情報から、縦軸に度数の累積をとり、横軸（色相角Ｈ）を反転させた累積目標ヒストグラム６０２である。図６（ａ）において、累積色相ヒストグラム６０１（右側半分）の色相角Ｈは右に向かって増加、累積目標ヒストグラム６０２（左側半分）の色相角Ｈは左に向かって増加し、双方とも最大値が１に達するグラフとなっている。

ここで、色相変換部２０６は、累積色相ヒストグラム６０１における色相角Ｈ１の累積度数がｇ１であるとき、累積度数ｇ１に対応する累積目標ヒストグラム６０２の色相角Ｈ１'を、色相角Ｈ１の変換後の色相角として求めることができる。同様に、累積色相ヒストグラム６０１における色相角Ｈ２の累積度数がｇ２であるとき、累積度数ｇ２に対応する累積目標ヒストグラム６０２の色相角Ｈ２'を、色相角Ｈ２の変換後の色相角として求めることができる。

また、色相変換部２０６は、累積目標ヒストグラムにおける最大色相角Ｈｍａｘ'及び最小色相角Ｈｍｉｎ'を、それぞれ累積色相ヒストグラム６０１における最大色相角Ｈｍａｘ及び最小色相角Ｈｍｉｎ'の変換後の色相角として対応付けできる。

色相変換部２０６は、上記した様に、同じ累積度数となる色相角から、累積色相ヒストグラム６０１の変換前の色相角に対応する変換後の色相角を累積目標ヒストグラム６０２から求め、図６（ｂ）に例示される色相変換テーブル６０３を生成する。

図６（ｂ）に示す様に、色相変換テーブル６０３は、横軸が変換前の色相角、縦軸が変換後の色相角で表される。色相変換部２０６は、色相変換テーブル６０３に基づいて、入力画像データ３０１において肌領域３０２を構成する全画素の色相角Ｈを変換する。以下の説明において、肌領域３０２の色相角Ｈが変換された画像を、「色相変換後画像データ」という。

画像処理装置１００によれば、入力画像データ３０１の色相変換まで、ユーザが煩雑なパラメータ操作等することなく、入力画像データ３０１における肌領域３０２が違和感の無い平均的な色味に変換される。

≪彩度変換パラメータの決定≫
色相変換部２０６により肌領域３０２の色相変換処理が行われ、色相変換後画像データが生成されると、表示入力部２１０が、入力画像データ３０１及び色相変換後画像データを表示部１０７に表示する。

図７は、入力画像データ３０１、色相変換後画像データ７０１、彩度変換後画像データ７０２及び変換対象肌の日焼けレベルを指定させるためのスライドバー７０３等の表示例を示す図である。

表示入力部２１０は、図７に示す様に、画面上段左側に入力画像データ３０１、画面上段中央に色相変換後画像データ７０１、画面上段右側に彩度変換後画像データ７０２を表示部１０７に表示させる。色相変換後画像データ７０１及び彩度変換後画像データ７０２は、ＨＳＶ色度情報からＲＧＢ階調情報へ色空間変換を施してから表示される。

画面中段には、画像に含まれる人物の肌色の日焼けレベルの入力をユーザから受け付けるスライドバー７０３が表示されている。図７に示す例では、スライドバー７０３を右方向に動かすと良く日焼けした褐色の肌に、スライドバー７０３を左方向に動かすと日焼けが抑えられた色白の肌に、画像における人物の肌色が連続的に変化する様になっている。

画面に表示される彩度変換後画像データ７０２は、スライドバー７０３の位置に応じた画像変換処理（詳細は後述）の結果がリアルタイムに反映される様になっている。ユーザは、マウス等の操作部１０６により画面に表示されるスライドバー７０３を左右に動かし、最終画像を確認しながら所望の日焼けレベルを指定する。画面下段の「ＯＫ」ボタンがクリックされると、ユーザによる日焼けレベルの指定が確定する。日焼けレベルの指定をやり直す場合には、「キャンセル」ボタンをクリックすることで再度ユーザ指定が可能になる。

ユーザがスライドバー７０３を動かして日焼けレベルを指定すると、受付部２０７が指定された日焼けレベルを受け付け、パラメータ決定部２０８が、日焼けレベルに応じて彩度変換パラメータを決定する。

図７に示す例では、スライドバー７０３を操作することで、ゼロを中心として最小値（−５）から最大値（＋５）まで日焼けレベルを指定可能となっている。パラメータ決定部２０８は、彩度パラメータを、例えば日焼けレベルがゼロのときに「１」、最小値（−５）のときに「０．５」、最大値（＋５）のときに「１．５」となる様に線形的に決定する。本実施形態では、パラメータ決定部２０８は、日焼けレベルをＬとして、彩度変換パラメータｋを変換式（ｋ＝１＋０．１Ｌ）に基づいて決定する。

なお、日焼けレベルＬは、上記した様に−５〜＋５に限るものではなく、任意の数値範囲及びステップ幅で設定されてもよい。また、画面上に数値入力欄を設け、ユーザが日焼けレベルＬや変換パラメータｋを直接入力する様に構成してもよい。パラメータ決定部２０８における彩度変換パラメータｋの決定方法は上記に限るものではなく、異なる換算式等を用いて任意の数値範囲に設定されてもよい。

パラメータ決定部２０８により彩度変換パラメータｋが決定されると、次に彩度変換部２０９が、彩度変換パラメータｋに基づいて入力画像データ３０１の肌領域３０２の彩度を変換する。

≪彩度変換処理≫
彩度変換部２０９は、以下で説明する何れかの方法で彩度変換テーブルを生成し、生成した彩度変換テーブルを用いて、入力画像データ３０１の肌領域３０２の彩度を変換する。

（彩度変換テーブルの生成１）
図８（ａ）は、彩度変換部２０９が、彩度変換パラメータｋに基づいて生成する彩度変換テーブル８０１を例示する図である。図８（ａ）に示すグラフは、横軸が変換前の彩度、縦軸が変換後の彩度である。

ここで、図８（ａ）のＳａｖｅは、肌領域３０２を構成する全画素の彩度Ｓの平均値、Ｓｍｉｎは彩度Ｓの最小値、Ｓｍａｘは彩度Ｓの最大値を表している。彩度変換テーブル８０１は、平均彩度Ｓａｖｅを彩度不変点として、傾きが彩度変換パラメータｋに等しい直線に基づいて求められる。図８（ａ）に示す彩度変換テーブル８０１は、彩度変換パラメータｋが１．５の場合の例である。

図８（ａ）に示す様に、変換パラメータｋが１より大きい場合には、図中破線で示される高彩度領域の一部８０２において、変換後の彩度が変換可能な最大彩度（２５５）よりも大きくなる場合がある。そこで、彩度変換テーブル８０１は、図中実線で示す様に、高彩度領域において変換後の彩度が最大彩度に収束する様に設定されている。同様に、彩度変換テーブル８０１は、低彩度領域において変換後の彩度が最小彩度（０）よりも小さくなってしまう場合には、変換後の彩度値が０に収束する様に設定される（不図示）。

（彩度変換テーブルの生成２）
図８（ｂ）は、彩度変換部２０９が、彩度変換パラメータｋに基づいて生成する彩度変換テーブル８０３を例示する図である。図８（ｂ）に示すグラフは、横軸が変換前の彩度、縦軸が変換後の彩度である。

ここで、図８（ｂ）のＳａｖｅは、肌領域３０２を構成する全画素の彩度Ｓの平均値、Ｓｍｉｎは彩度Ｓの最小値、Ｓｍａｘは彩度Ｓの最大値を表している。彩度変換テーブル８０３は、最小彩度Ｓｍｉｎを彩度不変点として、傾きが彩度変換パラメータｋに等しい直線に基づいて求められる。図８（ｂ）に示す彩度変換テーブル８０３は、彩度変換パラメータｋが１．５の場合の例である。

図８（ｂ）に示す様に、変換パラメータｋが１より大きい場合には、図中破線で示される高彩度領域の一部８０４において、変換後の彩度が変換可能な最大彩度（２５５）よりも大きくなる場合がある。そこで、彩度変換テーブル８０３は、図中実線で示す様に、高彩度領域において変換後の彩度が最大彩度に収束する様に設定されている。同様に、彩度変換テーブル８０３は、低彩度領域において変換後の彩度が最小彩度（０）よりも小さくなってしまう場合には、変換後の彩度値が０に収束する様に設定される（不図示）。

彩度変換部２０９は、上記した様に、平均彩度Ｓａｖｅ又は最小彩度Ｓｍｉｎを彩度不変点として、傾きが変換パラメータｋに等しい直線に基づいて彩度変換テーブルを生成できる。

なお、彩度不変点が平均彩度Ｓａｖｅ及び最小彩度Ｓｍｉｎの何れであっても、ユーザによって指定される肌の日焼けレベルを適正に表現できる。彩度不変点を最小彩度Ｓｍｉｎにすると、肌領域３０２のハイライトからシャドーまで、万遍なく色彩度を増減させることが可能になる。また、彩度不変点を平均彩度Ｓａｖｅにすると、ハイライトやシャドーの様に元々彩度が高くない部分の肌色変化を抑えることが可能になる。

（彩度変換テーブルの生成３）
彩度変換部２０９は、以下の方法により彩度変換テーブルを生成してもよい。

まず、肌領域３０２を構成する全画素の彩度Ｓの最小彩度をＳｍｉｎ、最大彩度をＳｍａｘとし、最小彩度Ｓｍｉｎの変換目標値を最小彩度目標値Ｓｍｉｎ'、最大彩度Ｓｍａｘの変換目標値を最大彩度目標値Ｓｍａｘ'とする。

ここで、彩度変換部２０９は、彩度変換パラメータｋが１未満（ｋ＜１）の場合には、以下に示す式（１）により、最小彩度目標値Ｓｍｉｎ'及び最大彩度目標値Ｓｍａｘ'を算出する。

ｋ＜１ Ｓｍｉｎ'＝ｋ・Ｓｍｉｎ， Ｓｍａｘ'＝ｋ・Ｓｍａｘ ・・・（１）
また、彩度変換部２０９は、彩度変換パラメータｋが１以上（ｋ≧１）の場合には、以下に示す式（２）により、最小彩度目標値Ｓｍｉｎ'及び最大彩度目標値Ｓｍａｘ'を算出する。

ｋ≧１ Ｓｍｉｎ'＝Ｓｍｉｎ／ｋ， Ｓｍａｘ'＝ｋ・Ｓｍａｘ ・・・（２）
図９は、彩度変換部２０９が、最小彩度Ｓｍｉｎ及び最大彩度Ｓｍａｘと、上式（１）又は（２）により求められた最小彩度目標値Ｓｍｉｎ'及び最大彩度目標値Ｓｍａｘ'とに基づいて生成した彩度変換テーブル９０１，９０２を例示する図である。図９（ａ）は、彩度変換パラメータｋが１未満の場合の彩度変換テーブル９０１、図９（ｂ）は、彩度変換パラメータｋが１以上の場合の彩度変換テーブル９０２を例示している。

彩度変換部２０９は、図９に示す様に、横軸を変換前彩度、縦軸を変換後彩度とする座標において、Ｓ１（Ｓｍｉｎ，Ｓｍｉｎ'）、Ｓ２（Ｓｍａｘ，Ｓｍａｘ'）、無彩色点Ｓ０（０，０）、最高彩度点Ｓ２５５（２５５，２５５）の４点から２次関数の近似曲線を算出し、算出した近似曲線を肌領域３０２に対する彩度変換テーブルとする。

図９（ａ）に示す彩度変換テーブル９０１は、ユーザが肌領域３０２を色白に近付ける様に日焼けレベルを指定した場合（Ｋ＜１）の例であり、彩度変換テーブル９０１は下側に凸形状となる。

図１０（ａ）は、この場合における変換前の彩度ヒストグラム情報を実線で、変換後の彩度ヒストグラム情報を破線で示す模式図である。図１０（ａ）に示す様に、ユーザが肌領域３０２を色白に近付ける様に日焼けレベルを指定した場合（Ｋ＜１）には、全体的に彩度が下がる様に変換されることとなる。

また、図９（ｂ）に示す彩度変換テーブル９０２は、ユーザが肌領域３０２を褐色に近付ける様に日焼けレベルを指定した場合（Ｋ≧１）の例であり、彩度変換テーブル９０２は上側に凸形状となる。

図１０（ｂ）は、この場合における変換前の彩度ヒストグラム情報を実線で、変換後の彩度ヒストグラム情報を破線で示す模式図である。図１０（ｂ）に示す様に、ユーザが肌領域３０２を褐色に近付ける様に日焼けレベルを指定した場合（Ｋ≧１）には、高彩度方向に大きく変化し、低彩度方向にも若干拡張する様に変換される。この様な変換により、高彩度側の彩度が向上すると共に全体の彩度分布幅も拡張し、低彩度部分と高彩度部分とのメリハリが強調されるという効果が得られる。

（彩度変換）
彩度変換部２０９は、上記した何れかの方法により生成した彩度変換テーブルに基づいて、肌領域３０２を構成する全画素の彩度Ｓを変換する。彩度変換部２０９により肌領域３０２の彩度変換処理が行われ、彩度変換後画像データ７０２が生成されると、表示入力部２１０が、彩度変換後画像データ７０２を表示部１０７に表示する（図７に例示する画面上段右上）。

ユーザは、表示部１０７に表示される彩度変換後画像データ７０２を最終画像として確認し、肌の日焼けレベルを決定又は再度調整する。ユーザは、図７に例示する画面においてスライドバー７０３を動かして日焼けレベルを指定するという簡易な操作で、肌領域３０２を所望する日焼け具合に変換できる。

＜画像処理の流れ＞
図１１に、第１の実施形態における画像処理のフローチャートを例示する。

画像処理装置１００に処理対象となる人物を含む画像データが入力されると、まずステップＳ１にて、肌領域抽出部２０１が、入力画像データ３０１から肌領域３０２を抽出する。次にステップＳ２にて、肌色情報取得部２０２が、抽出された肌領域３０２を構成する全画素の肌色情報を取得する。

ステップＳ３では、色度算出部２０３が、肌色情報に基づいて肌領域３０２を構成する全画素の色度を算出し、色相ヒストグラム情報４０１及び彩度ヒストグラム情報４０２を得る。

ステップＳ４では、目標情報取得部２０５が、記憶部２０４から目標情報５０１である目標色相ヒストグラム情報を取得する。

ステップＳ５では、色相変換部２０６が、色相ヒストグラム情報４０１及び目標情報５０１から生成した色相変換テーブル６０３に基づいて、肌領域３０２を構成する全画素の色相を変換する。

ステップＳ６では、表示入力部２１０により表示部１０７に入力画像データ３０１、日焼けレベルを指定するスライドバー７０３等が表示され、受付部２０７がユーザから日焼けレベルの指定を受け付ける。

ステップＳ７では、パラメータ決定部２０８が、ユーザに指定された日焼けレベルに基づいて、彩度変換パラメータを決定する。

ステップＳ８では、彩度変換部２０９が、彩度変換パラメータを用いて生成する彩度変換テーブルに基づいて、肌領域３０２を構成する全画素の彩度を変換する。

ここで、彩度変換部２０９による彩度の変換は、色相変換部２０６によって色相が変換された後に行われることが好ましい。デジタルカメラ等で撮影された入力画像データ３０１の肌領域３０２は、撮影時の光源や周辺からの反射光の影響で、色味が一般的に好ましい肌色から外れていることが多い。肌領域３０２の色相変換を行わずに彩度を変換しても、色相は変換されないため肌領域の色味の違和感は解消されないままとなる。

したがって、肌領域３０２の彩度変換の前に色相変換を実行し、処理対象とする肌領域３０２の色味を一般的に好ましい肌色に変換しておくことが望ましい。色相変換を施しておくことで、ユーザも最終的な目標画像をイメージし易くなる。

ステップＳ９では、表示入力部２１０が、彩度変換部２０９によって彩度が変換処理された彩度変換後画像データ７０２を、表示部１０７に最終画像として表示する。画像処理装置１００は、彩度変換後画像データ７０２を目視確認したユーザにより日焼けレベルが決定された場合には、画像処理を実行した画像データを出力して処理を終了する。また、ユーザが日焼けレベルを再調整する場合には、再びステップＳ６からの処理を実行する。

なお、以上で説明した実施形態において、画像処理装置１００は、例えば、ＲＯＭ等に予め組み込まれて提供されたプログラムを実行することで、上述した本発明に関連する各機能を実現する様に構成できる。画像処理装置１００で実行されるプログラムは、各部（肌領域抽出部２０１、肌色情報取得部２０２、色度算出部２０３、目標情報取得部２０５、色相変換部２０６、パラメータ決定部２０８、彩度変換部２０９等）を実現するためのプログラムを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵである制御部１０１が主記憶部１０２等からプログラムを読み出して実行することにより上記各部（機能部）を実現するプログラムがロードされ、上記した各部の機能が実現される様になっている。

また、上記した第１の実施形態に係る画像処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録された状態で提供されてもよい。

さらに、上記した第１の実施形態の画像処理装置１００で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータに格納され、ネットワーク経由でダウンロードされることにより提供されてもよい。また、第１の実施形態の画像処理装置１００で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配信されてもよい。

以上で説明した様に、第１の実施形態に係る画像処理装置１００によれば、ユーザが入力した入力画像データ３０１から肌領域３０２が抽出され、肌領域３０２の色相を目標情報に基づいて変換することで、一般的に好ましい肌色を再現できる。また、ユーザが指定する肌の日焼けレベルに基づいて肌領域３０２の彩度を変換することで、ユーザが所望する肌色を再現できる。したがって、画像処理に不慣れなユーザであっても、処理対象となる人物画像の肌色を簡易な操作で破綻無く変換し、所望する肌表現を容易に実現することが可能となる。

以上で説明した第１の実施形態に係る画像処理装置１００は、他に必要な構成を付加することで、例えば複合コピー機、プリンタ、ＦＡＸ、スキャナ、デジタルカメラ、ＰＣ（Personal Computer）等、画像データの処理を実行する各種装置として用いることができる。

〔第２の実施形態〕
次に、第２の実施形態について図面に基づいて説明する。なお、第１の実施形態の画像処理装置１００と同一の構成又は処理については、説明を省略する場合がある。

＜画像処理システムの構成＞
図１２は、第２の実施形態における画像処理システム１の構成を例示する図である。図１２に示す様に、画像処理システム１は、ネットワークを介してＭＦＰ（Multifunction Peripheral）１０，２０、画像処理サーバ３０，４０、情報処理端末（例えば、ＰＣ（Personal Computer）等）５０が接続されている。

ＭＦＰ１０，２０は、画像入力装置の一例であり、スキャン機能、コピー機能、プリンタ機能、ファクシミリ機能等を一つの筐体に搭載した複合機である。ＭＦＰ１０は、スキャン機能により紙媒体等をスキャン処理して画像データを作成し、作成した画像データを画像処理サーバ３０，４０又は情報処理端末５０に送信する。また、画像データを受信して記録媒体等に印刷して出力する。なお、画像入力装置としては、画像データを入力可能であれば、スキャナ装置、ファクシミリ装置、コピー装置等であってもよい。

画像処理サーバ３０，４０は、各ＭＦＰ１０，２０でスキャンされた画像データや、情報処理端末５０から送信される画像データ等を受信し、種々の処理を実行するワークステーション等のコンピュータである。画像処理サーバ３０，４０は、入力された画像データに対して画像処理を実行する画像処理装置として機能する。

なお、画像処理サーバ３０，４０が有する画像処理装置としての機能の一部又は全ては、ＭＦＰ１０，２０、情報処理端末５０が有してもよい。また、ネットワークを介して接続されるＭＦＰ、画像処理サーバ及び情報処理端末の数は、それぞれ任意の数でもよい。

図１３に、ＭＦＰ１０のハードウェア構成を例示する。なお、ＭＦＰ２０も以下で説明するＭＦＰ１０と同様の構成を有する。

図１３に示す様に、ＭＦＰ１０は、制御部１１、主記憶部１２、補助記憶部１３、記録媒体Ｉ／Ｆ部１４、ネットワークＩ／Ｆ部１５、読取部１６、操作部１７、エンジン部１８を有する。

制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１１は、主記憶部１２に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置に出力する。

主記憶部１２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１３は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。

記録媒体Ｉ／Ｆ部１４は、ＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続された記録媒体１９（例えば、フラッシュメモリ等）とＭＦＰ１０とのインターフェイスである。

また、記録媒体１９に格納されたプログラムは、外部記憶装置Ｉ／Ｆ部１４を介してＭＦＰ１０にインストールされ、インストールされた所定のプログラムはＭＦＰ１０により実行可能となる。

ネットワークＩ／Ｆ部１５は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機能を有する周辺機器とＭＦＰ１０とのインターフェイスである。

読取部１６は、紙媒体等をスキャンすることによって画像を読み取って画像データとして取得するスキャン装置である。

操作部１７は、キースイッチ（ハードキー）とタッチパネル機能（ＧＵＩのソフトウェアキーを含む：Graphical User Interface）を備えたＬＣＤ（Liquid Crystal Display）とから構成され、ＭＦＰ１０が有する機能を利用する際のＵＩ（User Interface）として機能する表示及び／又は入力装置である。

エンジン部１８は、画像形成に係る処理を行うプロッタ等の機構部分である。

図１４に、画像処理サーバ３０のハードウェア構成を例示する。なお、画像処理サーバ４０は、以下で説明する画像処理サーバ３０と同様の構成を有する。

図１４に示す様に、画像処理サーバ３０は、制御部３１、主記憶部３２、補助記憶部３３、記録媒体Ｉ／Ｆ部３４、ネットワークＩ／Ｆ部３５を含む。

制御部３１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部３１は、主記憶部３２に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置に出力する。

主記憶部３２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部３１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部３３は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。

記録媒体Ｉ／Ｆ部３４は、ＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続された記録媒体１９（例えば、フラッシュメモリ等）と画像処理サーバ３０とのインターフェイスである。

また、記録媒体１９に格納されたプログラムは記録媒体Ｉ／Ｆ部３４を介して画像処理サーバ３０にインストールされ、インストールされた所定のプログラムは画像処理サーバ３０により実行可能となる。

ネットワークＩ／Ｆ部３５は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機能を有する周辺機器と画像処理サーバ３０とのインターフェイスである。また、図１２に示す図では、画像処理サーバ３０には、キーボード等の操作部とＬＣＤ等を備える表示部とを図示していないが、これらを有する構成としてもよい。

情報処理端末５０のハードウェア構成は、図１に示す第１の実施形態の画像処理装置１００と同様である。

＜画像処理システムの機能＞
図１５に、第２の実施形態における画像処理システム１のうち、ＭＦＰ１０、画像処理サーバ３０及び情報処理端末５０の機能構成を例示し、これらの機器間で行われる画像処理について説明する。なお、図１５には不図示のＭＦＰ２０及び画像処理サーバ４０は、それぞれＭＦＰ１０、画像処理サーバ３０と同様の機能構成を有し、以下で説明する画像処理においてＭＦＰ１０、画像処理サーバ３０の代わりに用いられてもよい。

ＭＦＰ１０は、読取部１６、通信部２１、エンジン部１８を有する。

読取部１６は、紙等の記録媒体をスキャンし、画像処理を施す画像データを取得する。通信部２１は、画像処理サーバ３０及び情報処理端末５０との間で画像データを送受信する。エンジン部１８は、画像処理サーバ３０によって画像処理が施された画像データを記録紙等の記録媒体に印刷して出力する。

情報処理端末５０は、記憶部５５、読出部５２、通信部５１、表示制御部５３、表示部５４を有する。

記憶部５５は、画像データ、目標情報５０１等を記憶する。読出部５２は、記憶部５５から画像データや目標情報５０１を読み出す。通信部５１は、ＭＦＰ１０及び画像処理サーバ３０との間で画像データ等を送受信する。表示制御部５３は、通信部５１が受信した画像データを表示部５４に表示する。また、情報処理端末５０に記憶されている画像データを表示部５４に表示することもできる。表示部５４は、例えば液晶や有機ＥＬ等のディスプレイであり、画像や操作用アイコン等を表示する。

画像処理サーバ３０は、通信部３６、肌領域抽出部３７、肌色情報取得部３８、色度算出部３９、色相変換部４１、彩度変換部４２、目標情報取得部４３、パラメータ決定部４４等を有する。

通信部３６は、ＭＦＰ１０及び情報処理端末５０との間で画像データ等を送受信する。通信部３６以外の各部の機能は、第１の実施形態の画像処理装置１００と同様である。

この様な構成において、画像処理実行者は、画像処理を施す変換対象画像を、ＭＦＰ１０の読取部１６を用いて画像データとして取得し、画像処理サーバ３０において画像処理を実行する。もしくは、画像処理実行者は、画像処理を施す画像データを情報処理端末５０の記憶部５５から読み出して画像処理サーバ３０に送信し、画像処理サーバ３０において画像処理を実行する。

画像処理サーバ３０では、肌領域抽出部３７が入力画像データ３０１の肌領域３０２を抽出し、肌色情報取得部３８が肌領域３０２の肌色情報を取得し、色度算出部３９が、肌色情報から少なくとも色相と彩度を含む色度を算出し、色度の分布情報を生成する。色相変換部４１は、目標情報取得部４３が取得する目標情報に基づいて肌領域３０２の色相を変換し、彩度変換部４２が、パラメータ決定部４４により決定された彩度変換パラメータに基づいて肌領域３０２の彩度を変換する。

ＭＦＰ１０は、画像処理サーバ３０により画像処理が実行された画像データを受信し、エンジン部１８が受信した画像データを印刷する。もしくは、情報処理端末５０が、画像処理サーバ３０から画像処理が実行された画像データを受信し、表示制御部５３により表示部５４に表示する。画像処理実行者は、ＭＦＰ１０に印刷又は情報処理端末５０に表示させることで、所望の色再現性を有する画像出力を得ることができる。

以上で説明した様に、第２の実施形態における画像処理システム１では、画像処理実行者が、ＭＦＰ１０等を用いて画像処理を施す画像データを取得し、画像処理サーバ３０又は情報処理端末５０により画像処理を施すことができる。

なお、例えば画像処理サーバ３０が有する機能の一部を、ＭＦＰ１０又は情報処理端末５０に組み込むことで、画像処理サーバ３０とＭＦＰ１０及び情報処理端末５０の少なくとも一方とで画像処理を行う様に構成してもよい。

＜まとめ＞
以上で説明した各実施形態によれば、ユーザが入力した入力画像データ３０１から肌領域３０２が抽出され、当該肌領域３０２の色相を目標情報５０１に基づいて変換することで平均的な肌色を再現できる。さらに、ユーザが指定する肌の日焼けレベルに基づいて、肌領域３０２の彩度を変換することで、最終的にはユーザが所望する肌再現を実現できる。ユーザは、肌の日焼けレベルを指定するだけでよく、画像処理に不慣れなユーザであっても、変換対象となる人物画像の肌色を破綻無く変換し、所望する肌表現を簡便に実現することが可能となる。

以上、実施形態に係る画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

１ 画像処理システム
５０ 情報処理端末
３０，１００ 画像処理装置
２０１ 肌領域抽出部
２０３ 色度算出部
２０４ 記憶部
２０６ 色相変換部
２０７ 受付部
２０８ パラメータ決定部
２０９ 彩度変換部
３０１ 入力画像データ（画像データ）
３０２ 肌領域
４０１ 色相ヒストグラム情報（色相情報）
４０２ 彩度ヒストグラム情報（彩度情報）
５０１ 目標情報
６０３ 色相変換テーブル

特開２００７−１５８８２４号公報

Claims (10)

1. 画像データから肌領域を抽出する肌領域抽出部と、
   前記肌領域の色相情報及び彩度情報を算出する色度算出部と、
   前記色相情報が目標情報に一致する様に、前記色相情報を変換する色相変換部と、
   前記彩度情報の変更指示を受け付ける受付部と、
   前記変更指示に基づいて、変換パラメータを決定するパラメータ決定部と、
   前記変換パラメータに基づいて、前記彩度情報を変換する彩度変換部と、を有する
   ことを特徴とする画像処理装置。
2. 前記色相情報及び前記目標情報は、前記肌領域における色相角に対する画素の度数分布であり、
   前記彩度情報は、前記肌領域における彩度に対する画素の度数分布である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記色相変換部は、前記色相情報及び前記目標情報から生成する色相変換テーブルに基づいて、前記肌領域の各画素の色相を変換する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記目標情報を複数記憶する記憶部を有し、
   前記色相変換部は、前記画像データの特性に基づいて、前記記憶部から前記目標情報を選択して取得することを特徴とする請求項１から３の何れか一項に記載の画像処理装置。
5. 前記目標情報は、複数のサンプル画像データを用いて行われた主観評価結果に基づいて設定されていることを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
6. 前記受付部は、肌の日焼け具合に相当する値の入力を受け付けることを特徴とする請求項１から５の何れか一項に記載の画像処理装置。
7. 接続された画像処理装置と情報処理端末とを有する画像処理システムであって、
   画像データから肌領域を抽出する肌領域抽出部と、
   前記肌領域の色相情報及び彩度情報を算出する色度算出部と、
   前記色相情報が目標情報に一致する様に、前記色相情報を変換する色相変換部と、
   前記彩度情報の変更指示を受け付ける受付部と、
   前記変更指示に基づいて、変換パラメータを決定するパラメータ決定部と、
   前記変換パラメータに基づいて、前記彩度情報を変換する彩度変換部と、を有する
   ことを特徴とする画像処理システム。
8. 画像データから肌領域を抽出する肌領域抽出工程と、
   前記肌領域の色相情報及び彩度情報を算出する色度算出工程と、
   前記色相情報が目標情報に一致する様に、前記色相情報を変換する色相変換工程と、
   前記彩度情報の変更指示を受け付ける受付工程と、
   前記変更指示に基づいて、変換パラメータを決定するパラメータ決定工程と、
   前記変換パラメータに基づいて、前記彩度情報を変換する彩度変換工程と、を有する
   ことを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images