JP2006133874A - 画像処理方法及びその装置 - Google Patents

Abstract

【課題】 入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供する。。
【解決手段】 画像情報を入力する画像入力部101と、画像入力手部から入力された画像情報に予め設定した対象が含まれるかどうかを検出し、検出した領域を設定する対象領域設定部102と、対象領域設定部で検出された領域から設定した対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域と設定する欠け領域設定部103と、対象領域設定部で検出された領域から欠け領域設定部で設定された欠け領域を除いた領域に対して画像補正を行う画像補正部104とを有する。
【選択図】 図１

Description

本発明は画像処理方法及びその装置に関し、特に、デジタルカメラ、ディスプレイ、スキャナ、プリンタなどのカラー画像機器、及び該カラー画像機器の画像処理ソフトウェアにおけるカラー画像の補正処理に関するものである。

従来より、デジタル画像に対して、彩度、色調、コントラストや階調の調整等の様々な画像処理を施すことが行われてきている。従来これらの画像処理を行うに際しては、画像に関して専門的な知識を持ったオペレータが、専門的または専用のソフトウェアを用いるとともに経験的な知識を駆使することにより、コンピュータのモニタ画面上でその画像処理結果を確認するなどしながらの試行錯誤を行って、好適な画像を得るようにしているというのが一般的であった。

このような画像補正の技術の１つであるカラーマッチング技術は、入出力機器の特性の影響を受けないように画像を補正するもので、実物に忠実な色補正が要求される。一方、デジタルカメラで撮影した写真画像を扱う場合、人が好ましいと感じる画像補正も重要である。人物写真の場合、主な注目領域は被写体となった人物の顔であって、その顔領域が適正な明るさ（肌色）となっているものが好ましいことから、適正な明るさで撮影されなかった場合には、良好な明るさ（肌色）に調整されるように補正されるのが好ましいと言える。

デジタルカメラやスキャナの普及により、デジタル画像を扱うことが多くなり、また一般化してきたため、このような画像補正を自動化または半自動化したい、というニーズが高まっている。そこで、特許文献１は、自動的に検出した顔領域が予め設定した明度になるように明度を補正するもので、操作者によってばらつきが出ないように男女別、目の色別ごとにプリセット値を用意して、操作者が性別や目の色を判別して基準明度データを設定し、補正を行っていた。
特開２０００−２６１６５０公報

しかしながら、上記特許文献１においては、画像全体の明るさを調整するものであり、顔領域を目的の明るさにするように画像全体の明るさを調整した場合は、背景など他の領域が再現不可能な色となり、白とびや黒つぶれとなる場合があり、好適な補正が出来なかった。このような場合、顔領域だけを補正する方が望ましい。
ところが、検出された顔の一部に手で顔の一部を隠すなどの原因で顔領域に欠けが生じた場合、手の領域の内、顔領域を隠している部分は補正対象となり、顔領域にかからない部分は補正対象外となってしまうため、補正後の手で顔領域に有るか否かの境界が不自然になるという問題があった。

本発明は、上記従来の問題点に鑑み、入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供する。

上記目的を達成するために、本発明の画像処理装置は、画像情報を入力する画像入力手段と、前記画像入力手段から入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定手段と、前記対象領域設定手段で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定手段と、前記対象領域設定手段で設定された領域から前記欠け領域設定手段で設定された欠け領域を除いた領域に対して画像補正を行う画像補正手段とを有することを特徴とする。

ここで、前記欠け領域設定手段は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて欠け領域を決定する。また、前記欠け領域設定手段は、設定した対象のエッジ頻度分布に基づいて各画素におけるエッジ抽出感度を調整する。また、前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別手段を更に有し、前記画像補正手段は、前記領域判別手段で判別された種別に基づいて画像補正を行う。また、前記領域判別手段は、あらかじめ所定の欠け領域パターンを設定して各パターンにおける判別方法を定義しておき、入力された欠け領域が最も適合する欠けパターンの判別方法に従って判別を行う。また、前記予め設定した対象は人物の顔である。また、前記領域の種別は、性別、年齢、または、個人または人類の生物学的分類のいずれかまたはその組み合わせである。また、前記画像補正は、特定空間領域中のうち特定色域に含まれる画素に対する明度、色相、彩度、シャープネス、ぼかし、のいずれかまたはその組み合わせである。また、前記領域判別手段は、領域の種別とともに判別の確からしさを出力し、前記画像補正手段は、判別の確からしさに基づいて補正方法を変化させる。また、前記画像補正手段は、前記対象領域設定手段が設定したいずれかの領域において、前記領域判別手段が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案手段と、補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示手段とを有し、前記補正方法指示手段による指示内容に従って画像を補正する。また、前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域の近辺に補正方法を指示するための操作釦を配置する。また、前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域が確認可能な外接多角形を表示する。また、前記補正方法指示手段は補正のかかり具合を設定し、設定内容に従って表示中の補正対象画像へ反映させる。

更に、本発明によれば、上記画像処理装置の画像処理に相当する画像処理方法、前記画像処理方法をコンピュータによって実現するためのプログラム、前記プログラムを格納した記録媒体が提供される。

以上説明したように、本発明によれば、入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供できる。具体的には、補正対象領域である顔領域を覆う手などの共通領域の顔領域内と外との境界が不自然になるのを防ぎ、簡単な操作で好ましい画像補正ができるという効果がある。

以下、添付図面に従って、本発明の実施形態の画像処理装置の構成及び動作を詳細に説明する。

＜本実施形態の画像処理装置の概念的構成例＞
図１は、本実施形態における画像処理装置の概念的構成を示す図である。

図１において、１０１は画像情報を入力する画像入力部である。本例の画像入力部１０１は、デジタルカメラやスキャナなどの画像入力機器やフロッピー（登録商標）ディスク、ＣＤ、メモリカードなどの画像記憶媒体からの入力、更にネットワークを介した受信を含む。

１０２は画像入力部１０１から入力された画像情報に予め設定した対象が含まれるかどうかを検出し、検出した領域を設定する対象領域設定部である。本例では、予め設定した対象として人物の顔が設定される。人物の顔か否かは、例えば輪郭や構成要素（目や口など）の位置に基づいて検出する。１０３は対象領域設定部１０２で設定された各領域について、例えば手などで覆われて対象領域設定部１０２では顔領域と設定されたが、実際は顔ではない「欠け領域」を設定する欠け領域設定部である。ここで、「欠け領域」と設定されるのは、手に限らず眼鏡などの顔とは異なる部品類も含む。

１０４は対象領域設定部１０２が設定した画家領域から、欠け領域設定部１０３が設定した欠け領域を除いた領域に対して、顔画像補正の所望の画像補正を行う画像補正部である。

１０５は補正された画像を出力する画像出力部である。例えば、画像出力部１０７はディスプレイやプリンタなどの出力機器への出力、あるいはフロッピー（登録商標）ディスク、ＣＤ、メモリカードなどの画像記憶媒体への出力、更にネットワークを介した送信を含む。

＜本実施形態の画像処理装置の具体的構成例＞
図２は、本実施形態における画像処理装置の具体的構成例を示すブロック図である。

画像処理装置は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する演算処理用のＣＰＵ２０１、本実施形態のプログラムやその他の制御に必要なプログラムやデータを格納したＲＯＭ２０２、一時的なデータを格納するＲＡＭ２０３、ＩＤＥやＳＣＳＩなどの外部記憶装置とのインタフェースを実現するドライブＩ／Ｆ２０４、動画や動画検索のための特徴量やプログラムなどを記憶するＨＤＤ２０５、デジタルカメラやスキャナなどの装置から画像を入力する画像入力部２０６、一時的なデータを格納するバッファメモリ２０７、キーボードやマウスなどのオペレータからの入力を行う入力部２０８、ブラウン管や液晶ディスプレイなどの表示部２０９、インターネットやイントラネットなどのネットワークと接続を行うモデムやＬＡＮなどのネットワークＩ／Ｆ２１０、プリンタとのインタフェースを実現するプリンタＩ／Ｆ２１１、画像を印刷出力するプリンタ２１２などで構成され、これらを接続するバス２１３を介して相互にデータの入出力を行う。

本画像処理装置はオペレーティングとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標）ＸＰがインストールされ、その上で動作するアプリケーションとして実装されている。

本実施形態のＲＡＭ２０３は、ＣＰＵ２０１の演算処理中に一時使用されるデータ記憶領域と、ＣＰＵ２０１が実行する本実施形態のアプリケーションプログラムをＨＤＤ２０５などからロードするプログラムロード領域とを有する。

データ記憶領域は、入力された画像データを記憶する入力画像データ領域２０３ａと、顔領域と検出された領域情報２０３ｂ、欠け領域と検出された領域情報２０３ｃ、算出尤度領域２０３ｄ、補正方法選択フラグ領域２０３ｅ、及び補正データ領域２０３ｆと、尤度の閾値領域２０３ｇと、出力画像データ領域２０３ｈとを含む。補正は、顔領域情報２０３ｂから欠け領域情報２０３ｃを除いた領域を対象に行われる。

又、プログラムロード領域には、画像処理プログラム２０３ｉ（図３）、画像入力モジュール２０３ｊ、顔領域検出モジュール２０３ｋ（図４）、欠け領域検出モジュール２０３ｍ（図６）、顔領域判別モジュール２０３ｎ（図７）、画像補正方法立案モジュール２０３ｐ（図９）、補正方法選択モジュール２０３ｑ、画像補正モジュール２０３ｒ（図１１）、画像出力モジュール２０３ｓがロードされて、ＣＰＵ２０１により実行される。

尚、本実施形態で使用される、性別、年齢、人類の生物学的分類に対応して、補正目標値を記憶するテーブルは、固定であればＲＯＭ２０２に、可変であればＲＡＭ２０３に保持される。図２では、ＲＯＭ２０２に補正目標値テーブル２０２ａが図示されている。

＜本実施形態の画像処理装置の動作例＞
次に、かかる構成の画像処理装置における画像補正処理の概要を、図３のフローチャートを用いて説明する。

画像データの入力後、ステップＳ３０１において、補正対象の画像から顔領域を検出する。ステップＳ３０２において、領域が検出されたか否かによって分岐する。領域が検出された場合はステップＳ３０３に進み、そうでない場合は処理を終了する。

ステップＳ３０８において、検出された各顔領域に対して、顔として完全でない箇所を欠け領域として検出する。このステップの目的は、口に手を当てていたり、２人で頬を寄せ合った写真のように顔と同じ肌色ではあるが、顔と同じ補正処理を行っては不自然となる領域を検出することである。

ステップＳ３０３において、検出された各顔領域に対して顔領域の種別を判別する。ここでは、各顔領域について顔の種類とその尤度を出力する。顔の種類は本実施形態では、性別、年齢、人類の生物学的分類（いわゆる人種）の３項目について定義した。年齢は成長変化の大きい若い年齢をより細かく分割し、２０代前半までを４段階、それ以降を２段階の計６段階に設定した。人類の生物学的分類方法としてはＳａｉｔｏｕ１９９５，ＨｕｍａｎＥｖｏｌｕｔｉｏｎ，ｖｏｌ．１０，ｐｐ．１７−３３を参考にアフリカ人、西ユーラシア人、東ユーラシア人、サフール人、北アメリカ人、南アメリカ人の６種とした。この場合、２×６×６＝７２種類に分類でき、それぞれについて肌色の目標色など補正方法を定義している。

ステップＳ３０４において、検出された各顔領域に対して、顔の種別ごとに定義された補正方法に従って画像補正方法を立案する。ステップＳ３０５において、補正方法があるかを判断する。補正しないという選択肢もあるので、補正方法が１つでもある場合はステップＳ３０６に進み、無い場合はステップＳ３０７に進む。ステップＳ３０６において、補正方法を操作者に選択させる。なお、あらかじめ最も高い尤度の判別情報だけを利用して補正を実行するように設定することで、ステップＳ３０６におけるオペレータの選択作業を省略し、完全自動で補正処理を実行することも可能である。

ステップＳ３０７において、選択した補正方法で入力した画像に対し補正を行う。この方法については、選択された補正方法を出力する画像に対して行う。補正の方法はステップＳ３０４の画像補正方法立案処理の詳細の説明として後述する。

尚、当然のことながら、画像全体の彩度強調や輝度分布の調整、入出力装置ごとに異なる色再現特性を補償するための画像補正を、本処理の前段または後段に実施することは何ら本発明の主旨に反するものではない。

以下、先述した各処理について詳細に述べていく。

（顔領域検出処理：Ｓ３０１）
以下に、図３のステップＳ３０１の顔領域検出処理の一例を詳細に示す。

図４のフローチャートを用いて、顔領域検出処理の詳細を説明する。図５は顔領域検出処理を説明する図である。

まず、ステップＳ４０１において、入力された画像を元に局所的に輝度が低い領域をマークしていく。ステップＳ４０２において、ステップＳ４０１でマークされた領域を２つずつ組にして、領域の大きさの均等性、輝度の差、水平に対する角度などから、組にした２つが目かどうかを判定する（図５（ａ））。

ステップＳ４０３において、顔領域か否かを検証する。すなわち、目と判定された組について、その２つを中心にした矩形領域を設定する（図５（ｂ））。そして、その領域の境界付近のエッジおよび領域内の色情報を判定する。エッジは、顔の輪郭であるかどうかを判定する。また、色情報は矩形領域内のＲＧＢ値の平均値が、あらかじめ設定した肌色領域内に入っているかどうかを判定する（図５の（ｃ））。このように顔の位置、大きさを検出して顔領域を確定する。顔領域は前記矩形（水平／垂直方向に平行な長方形）領域で与えられる。

ステップＳ４０４において、確定した顔の領域の領域情報を作成する。領域情報は、本実施形態では、検出した顔領域の外接矩形の頂点の位置データの集合であるが、両目の中心の位置データでもよい。また、多角形や楕円などで近似しても良い。

（欠け領域検出処理：Ｓ３０８）
以下に、図３のステップＳ３０８の欠け領域検出処理の一例を、図６のフローチャートを用いて詳細に説明する。

欠け領域検出処理では、検出された顔画像を横４８画素、縦６４画素の領域に、左右の目の中心が横方向でそれぞれ左右の端から１６画素目、また、上から２４画素目の位置なるように顔領域をアフィン変換する。また、同じ横４８画素、縦６４画素の同じ画素数でマスク画像、また、各画素におけるエッジ検出感度を設定した感度マップを確保する。マスク画像は画素あたり１ビットの情報を格納し、感度マップは画素あたり８ビットの情報を格納する。

マスク画像は補正対象の画像の各画素に対応させて欠け部分の検出を行うか否かの情報を格納するものである。所定の画素にマスクを設定することで、欠け部分の検出対象から外すことができる。

また、感度マップは補正対象の画像の各画素に対応させて、エッジ抽出の感度を格納するもので０〜１の範囲の値を２５６段階（８ｂｉｔ）で表現する。感度マップの目的は、統計的にエッジの多い部位ではエッジ抽出感度が下がるようにすることである。そのために、欠けのない顔の統計的な情報から、目を基準とした２次元空間上での顔画像からエッジ頻度分布をあらかじめ作成しておき、これから感度マップの値を設定する。

まず、ステップＳ１５０１において、重なり可能性をチェックする。ここでは顔領域に、腕や他の顔などの肌色領域が隣接していないかをチェックする。肌色以外の領域によって顔に欠けが生じている場合は、この欠け部分については肌色からの距離があり補正量が押さえられるので、画像全体として、破綻することはないためである。両目の位置を基準にし、顔領域が占める可能性がある領域を検出した各顔画像について求める。この領域の周囲における肌色領域を求め、顔下部すなわち首にあたる部位以外における領域が検出できた場合には重なりありと判断され、ステップＳ１５０２に進んで以下の処理を行う。検出できない場合には本処理を終了する。

次に、ステップＳ１５０２において、鼻、口、耳領域を検出する。この手法については、たとえば、特許文献２のような公知の方法がある。なお、顔器官を精度よく求めるためには、適切にアフィン変換係数を設定し、より解像度が高い画像において行う必要がある。検出できた顔の器官は、エッジを含み、欠け領域の検出に悪影響となるので、欠け領域検出の対象から除外する。すなわち、器官を含む画素について、マスクを設定する。

次に、ステップＳ１５０３において、肌色でない領域にマスクを設定する。肌色との距離は、たとえば後述するLCH 色空間における顔代表色との色相の距離とする。この距離値が所定の閾値より上回る画素についてマスクを設定する。次に、ステップＳ１５０４において、マスクが設定されていない画素に関してエッジ検出を行う。これにはＣａｎｎｙ法などの公知の技術がある。この方法を用いると、輝度変化が小さなエッジでも、それが輝度変化の大きな強いエッジの延長上にある場合に検出可能となり、エッジラインが分断することなくエッジを抽出することができる。このとき、感度マップにしたがって各画素におけるエッジ検出オペレータや閾値を調整する。なお、エッジを精度よく求めるためには、適切にアフィン変換係数を設定し、より解像度が高い画像において行う必要がある。

ステップＳ１５０５からＳ１５１１において、両目を基点に肌色領域を前段で検出されたエッジまで拡張することで欠け領域を検出する処理を行う。

まず、ステップＳ１５０５において、初期設定として、両目近隣の画素、および、ステップＳ１５０２において検出された顔器官領域をマークする。次に、ステップＳ１５０６において、マーク画素に隣接する非マーク画素集合を作成する。次に、ステップＳ１５０７において、肌色領域内の要素のみ残す。肌色か否かの判断はＳ１５０３と同様な方法でよい。次に、ステップＳ１５０８において、非エッジの要素のみ残す。

ステップＳ１５０９において、残った要素はあるかを判断する。残った要素がある場合はステップＳ１５１０に進み、残された要素をマークし、領域を拡張する。残った要素が無い場合には、拡張可能な領域がないので、ループを抜け、ステップＳ１５１１に進む。ステップＳ１５１１において、非マークの画素集合を欠け領域として検出し、処理を終了する。

（顔領域判別処理：Ｓ３０３）
以下に、図３のステップＳ３０３の顔領域判別処理の一例を詳細に示す。

図７の顔領域判定処理の動作手順例を示したフローチャートを用いて、顔領域判定処理の詳細を説明する。

まず、ステップＳ６０１において、横４８画素、縦６４画素の領域に、左右の目の中心が横方向でそれぞれ左右の端から１６画素目、また、上から２４画素目の位置なるように顔領域をアフィン変換する。また、輝度分布、顔の向きに関して正規化を行う。ステップＳ６０２において、特徴量を抽出する。

欠け領域がない場合の簡単な手法では、各画素の輝度値を用いても良い。この場合は、４８＊６４＝３０７２次元の特徴量となる。これを、部分領域の組み合わせごとにあらかじめ主成分分析を行って得た基底ベクトルによって特定される部分空間に射影し、分散の少ない軸を無視することで、次元数を削減し、特徴量とする。

欠け領域がある場合は、あらかじめ顔のいくつかの部分領域を定義し、部分領域の組み合わせごとに基底ベクトルを求めておき、特徴抽出を行う顔画像から欠け領域を除いた領域が最も近くなる部分領域の組み合わせパターンを求め、そのパターンの基底ベクトルを用いて特徴量を抽出する。
本実施形態では顔の一部に欠けがあっても精度良く判別を行えるようにするため、複数の欠けパターンをあらかじめ定義しておく。その一例について以下に述べる。

まず、顔の領域を図８のように１１個の領域に分割する。これは各画素から領域番号へのルックアップテーブルを作ることで、任意の形状、領域数への分割が可能で、かつ、複数の離れた領域に同じ領域番号を割り当ててもよい。次に、この領域のうち、目を含む２つの領域を必ず含み、その他に少なくとも６個以上の領域を組み合わせた領域パターンを作成する。本実施形態の場合、その数は、

通りある。
本実施形態では、３つの領域にまで欠けが存在しても精度良く領域判別を行うことが可能である。各領域パターンに該当する画素を用いて主成分分析を行い、部分空間に射影し、分散の少ない軸を無視することで次元数を削減し、さらに、領域判別のために判別分析を行って基底ベクトルを求める。なお、この基底ベクトルを求める処理は処理コストが高いが、図２に示すハードウェアで行う必要はなく、スーパーコンピュータなど外部の計算機を用いればよい。

次に、特徴抽出を行う顔画像が、先の領域パターン中からどの組み合わせパターンに適合するかを求める。これは、各領域パターンにおいて、下記評価式が最も高い値となる領域パターンを１つ選択する。

ここで、Ｐは各領域パターン内での非欠け領域の画素数、Ｋは各領域パターン内での欠け領域の画素数、Ｗは正の定数である。
次に、ステップＳ６０３において、各種別における代表的な特徴量とのユークリッド距離を射影された部分空間上で求める。部分空間は、特徴量の判別分析を行って予め基底ベクトルを求めておき、これによって特定される。

なお、欠け領域がない場合、本実施形態では二者択一式の判別分析を行っているので、判別する種類が男女の様に二者の場合は、この基底ベクトルは１種でよい。３者以上の種別に分類する場合には、各種別ごとに含まれるか否かの判別分析を行い、種別ごとに予め、基底ベクトルを求め、種別ごとに距離を求める。精度よりスピードを重視する実装が必要であれば、３者以上でも１種の基底ベクトルでもよい。

欠け領域がある場合は、各々の判別のための基底ベクトルをステップＳ６０２と同様に領域パターンごとに求めておき、その中から欠けパターンが最も近い領域パターンの基底ベクトルを用いて判別分析を行う。

ステップＳ６０４において、距離から尤度に正規化する。この変換関数は、予め、多数のサンプルを使って得られた代表的な特徴量との距離と、それがある種別に実際に含まれるか否かの確率分布から決定する。

判別分析の基底ベクトルを求める際の、サンプルの分け方によって、性別、年齢、生物学的特徴に関する分類が可能である。また、判別する種類は本実施形態では３項目について行っているが、これに限定するものではない。所望の分類を定義し、学習用サンプルを定義した分類に分けて判別分析を行えばよい。

（画像補正方法立案処理：Ｓ３０４）
以下に、図３のステップＳ３０４の画像補正方法立案処理の一例を詳細に示す。図９乃至図１３は画像補正方法立案処理の動作を示したものである。ここでは、先述した画像から検出した各顔領域について、判別された領域種別のうち尤度の高いものについて、欠け領域を除いた領域に対してそれぞれの肌補正処理を行う。

図９のフローチャートを用いて画像補正方法立案処理の詳細を説明する。

画像補正方法立案処理を開始すると、ステップＳ７０１において、図３のステップＳ３０１で検出した未処理の顔領域情報を１つ取得する。ステップＳ７０２において、取得した領域から図３のステップＳ３０３で判別した未処理の顔の種別の候補を尤度の高いものから１つ取得する。ステップＳ７０３において尤度が所定の閾値以上であるかを判定し、閾値未満であった場合はステップＳ７１１に進んでその領域は無効として、補正対象としない。閾値以上であった場合にはステップＳ７０４に進む。

ステップＳ７０４において、ＲＧＢ色空間の各値で表現されている前記入力画像を明度Ｌ、彩度Ｃ、色相Ｈの値に変換する。このＬＣＨという色空間は、ＣＩＥＬ＊ａ＊ｂ＊色空間より、次の式（１）で算出される。

このＬＣＨは明度、彩度、色相で色を表す色空間の一例で、この他、ＹＣｂＣｒ、Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＳＬ等々、他の色空間であっても良い。
（領域代表色抽出処理：Ｓ７０５）
ステップＳ７０５において、彩度Ｃ、色相Ｈで表された人肌領域内の欠け領域を除く画素について、各領域内の代表色を求める。

ステップＳ７０５の処理について、図１０のフローチャートを用いて詳しく説明する。

まず、ステップＳ８０１において、対象となる顔画像領域データを取得する。ステップＳ８０２からステップＳ８０５はこの領域内の各画素についての処理のループを構成している。

ステップＳ８０２において、現在注目している画像領域に含まれる欠け領域を除く画素で未処理の画素を決定する。次に、ステップＳ８０３において、画素の明度Ｌがある一定のＬth以上であるかを判断する。もしステップＳ３０１で抽出された顔領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。ステップＳ８０３の条件を満たした画素について、ステップＳ８０４にて同画素の彩度Ｃ及び色相Ｈの色データを集計する。この集計方法は補正対象の代表色として何を用いるかによって変わってくるが、例えば、補正対象の代表色を欠け領域を除く人肌領域内の画素の平均値とする場合には、ステップＳ８０４の集計は、彩度Ｃ及び色相Ｈの単純な加算を意味する。また、同時に画素数もカウントする。ステップＳ８０５で欠け領域を除く全画素について走査を終了したと判断されるまで、ステップＳ８０２からＳ８０５の前記集計処理を繰り返す。

入力画像の欠け領域を除く全画素について走査が終了したと判断された場合、ステップＳ８０６で現在注目している画像領域について、補正対象とする色の領域代表色を算出する。補正対象の代表色を人肌領域内画素の彩度及び色相の平均値で表す場合、ステップＳ８０６では前記集計処理での集計結果を集計画素数で除算した値（Ｃ_R(ｋ，ｌ），Ｈ_R(ｋ，ｌ））を領域代表色として設定する。ただし、ｋは顔領域のインデックス番号、また、ｌは各顔領域の判別結果における種別候補のインデックス番号である。このようにして求められた領域代表色を利用して、以下のステップＳ７０７で色補正のための補正係数を設定する。

図９に戻って、ステップＳ７０６において、補正目標値テーブル２０２ａを参照して、補正対象の種別毎に予め設定した補正目標色を取得する。

この補正目標値テーブル２０２ａは、年齢６段階、人類の生物学的分類を６種、性別２種の、２×６×６＝７２種類に対してそれぞれ肌色の目標色（本例では、色相と彩度）が定義されており、例えば、東ユーラシア人の１９〜２４歳の女性ならば、目標の色相が“０．７”、彩度が“２７”、東ユーラシア人の１９〜２４歳の男性ならば、目標の色相が“０．７５”、彩度が“４４”などと定義されている。この目標色は、好ましい画像補正の主観評価実験を行って決定される。

（補正係数設定処理：Ｓ７０７）
次にステップＳ７０７において、先のステップＳ７０５で抽出した領域代表色とステップＳ７０６で取得した補正目標色を用いて、領域毎の補正量を制御する補正係数を求める。この補正係数設定処理では、前記領域代表色と目標色との差に応じて色補正量を制御する所定係数である。後述の色補正における補正量は色相と彩度毎に定めるため、補正係数も色相と彩度毎に設定する。本実施形態では、色相補性係数及び彩度補正係数は前記目標色を代表色の差が大きくなるとともに減少するように設定する。さらに、彩度補正係数は、彩度を下げるように補正する場合は、彩度を上げるように補正する場合に比べ、補正量が小さくなるように設定する。

ステップＳ７０７における補正係数設定処理について、以下より詳しく説明する。

ｋ，ｌ番目（０≦ｋ，ｌ＜Ｎ）の領域の色相補正係数Ｐ_h(ｋ，ｌ）は前記補正目標色の色相Ｈ_Tと前記ｋ番目の領域のｌ番目の判別候補に対する領域代表色の色相Ｈ_R(ｋ，ｌ）の差Ｈ_dist(ｋ，ｌ）が大きくなるとともに減少するように設定する。色相補正係数の設定方法の例として、式（２）ような式を用いる方法が示される。ただし、式（２）におけるＫ₁およびｔ₁は定数とする。

つまり、補正対象とする色の代表色相が補正目標色相に近いほど代表色の色相を補正目標色の色相により近づけるような補正を行い、補正対象とする色の代表色相が補正目標色相から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。このように補正係数の設定を行う理由として、補正対象とする色の代表色相が補正目標色相から大きく離れている場合に、代表色を補正目標色により近づけるような補正を行うと、入力画像全体のバランスが崩れてしまうということが挙げられる。
同様に、ｋ番目の領域におけるｌ番目の判別候補の彩度補正係数Ｐ_C(ｋ，ｌ）は前記補正目標色の彩度値ＣTと前記ｋ番目の領域におけるｌ番目の判別候補の領域代表色の彩度値Ｃ_R(ｋ，ｌ）の差Ｃ_dist(ｋ，ｌ）が大きくなるとともに減少するように設定する。つまり、補正対象とする色の代表彩度が補正目標彩度に近いほど代表色の彩度を補正目標色の彩度により近づけるような補正を行い、補正対象とする色の代表彩度が補正目標彩度から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。ただし、彩度補正係数は彩度を下げるように補正する場合と彩度を上げるように補正をする場合で設定方法を異なるものとする。

彩度を下げる補正をする場合は、補正をすることで画像の印象が地味になってしまうという現象を防ぐように補正係数を設定する方が望ましく、逆に彩度を上げる補正をする場合は、補正対象とする色の代表彩度が補正目標彩度から離れていても、目標彩度に近づけるような補正を行う方が、画像の印象が良くなるという効果が期待できるからである。このような彩度補正係数の設定方法の例として、彩度を下げる補正の場合は、式（３）ような設定式を、彩度を上げる補正の場合は式（４）を用いる方法が示される。式（３）のａ₁，ｂ₁および式（４）のＫ₂，ｔ₂は定数とする。

図１１に、式（３）、（４）を表したグラフを示す。図９において、横軸は前記補正目標色の彩度値Ｃ_Tと前記代表色の彩度値Ｃ_R(ｋ，ｌ）の差Ｃ_dist(ｋ，ｌ）、縦軸は彩度補正係数Ｐ_C(ｋ，ｌ）を示す。
前記補正目標彩度と前記代表色の彩度の差が等しい場合でも、彩度を下げる補正における彩度補正係数と彩度を上げる補正における彩度補正係数の値は異なり、彩度を下げる補正における補正係数がより小さくなっていることが、図１１よりわかる。これは、彩度を下げるように補正する場合は彩度を上げるように補正をする場合に比べ、補正量が小さくなるようにすることを示している。

以上のように、ステップＳ７０７において算出した色相と彩度の補正係数を、後述する補正処理（ステップＳ７１０）において使用される色補正量を制御する係数として利用する。

（色領域設定処理：Ｓ７０８）
図９に戻って、ステップＳ７０８では、領域代表色を含む補正処理の対象とする領域毎の色領域を求めるために、色領域設定処理をおこなう。ここでは前記人肌領域内の画素の色相に注目する。

本実施形態では、補正対象とする代表色を含む色領域を設定し、その領域について色補正を行う。なぜなら、例えば入力画像の全領域に対して、肌の色を好ましい肌色にする補正を行うと、元々好ましい色であった画像中の他領域の色が不自然になってしまうといった問題があるからである。ステップＳ７０７の補正係数処理において設定される補正対象とする色領域は特定色相で示され、前記特定色相で示される補正範囲と補正対象とする色の代表色によって、色領域重みを設定し、後述する色補正処理に用いる。

ステップＳ７０８の処理について、図１２のフローチャートを用いて詳しく説明する。

まず、ステップＳ１００１において、図９のステップＳ７０７で抽出されたｋ番目の画像領域に属する顔領域のデータを取得する。

ステップＳ１００２からステップＳ１００６はこの領域内の各画素についての処理のループを構成している。

ステップＳ１００２において、現在注目している画像領域に含まれる欠け領域を除く未処理の画素を決定する。次に、ステップＳ１００３において、画素の明度Ｌが任意の明度を示すＬ_TH以上であるかを判断する。もし図９のステップＳ７０７において抽出された人肌領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。

さらに、ステップＳ１００４において、同画素の彩度Ｃが無彩色の彩度を示す所定の値Ｃ_TH以上であるかを判断する。このとき同画素の彩度が前述の値Ｃ_TH以下であるということは、同画素は無彩色に限りなく近いことを意味する。ここで無彩色領域の画素を除く理由は、無彩色領域においてはＲＧＢ値のわずかの差で色相が大きく変わり、人肌領域に対応する色相領域を高精度で求めることができなくなるためである。ステップＳ７０８における色領域設定処理では、色領域を人肌領域内画素の色相に注目し、特定色の色相によって設定する。

ステップＳ１００４の条件を満たした画素について、ステップＳ１００５にて同画素の色相Ｈの値を集計する。この集計方法は色領域を示す特定色相として何を用いるかによって変わってくるが、例えば、前記人肌領域内に存在し、ステップＳ１００３及びＳ１００４の条件を満たした画素の色相分布を解析し、最大色相Ｈ_max(ｋ，ｌ）および最小色相Ｈ_min(ｋ，ｌ）によって補正対象とする色領域を示す方法が例示される。ステップＳ１００６で全画素について走査を終了したと判断されるまで前記集計処理を繰り返す。

入力画像の全画素について走査が終了したと判断された場合、ステップＳ１００７で補正対象とする色領域を設定する。前記最大色相Ｈ_max(ｋ，ｌ）および前記最小色相Ｈ_min(ｋ，ｌ）によって補正対象とする色領域を示す場合、ステップＳ１００７では前記集計処理での集計結果である最大色相Ｈ_max(ｋ，ｌ）および最小色相Ｈ_min(ｋ，ｌ）を用い、補正対象とする色の前記代表色相との差から補正対象とする色領域を設定する（式（５））。ここで、式（５）のＨ_R(ｋ，ｌ）はｋ番目の領域におけるｌ番目の判別候補の補正対象とする色の前記領域代表色相であり、ΔＨ（ｋ，ｌ）は補正対象とするｋ番目の画像領域における色領域の色相範囲を示したものである。

また、ここに示した前記色領域設定処理に限定されるものではなく、例えば任意の特定色相を手動で設定する方法なども挙げられる。この場合には、補正対象とする色領域は、図３のステップＳ３０１において抽出された人肌領域を包含するような、色相範囲として設定することが望ましい。
以上のような方法で設定された前記色領域に対して、後述の色補正処理において使用する色領域重みを色相範囲と彩度範囲毎に定める。補正対象とする画素の色相Ｈにおける重みＷ_H(ｋ，ｌ）は、補正対象とする代表色では１、補正対象領域外では０となるように補正対象とする色領域を示す前記色相範囲ΔＨ（ｋ，ｌ）および補正対象とする色の代表色の色相Ｈ_R(ｋ，ｌ）により、以下のように定める（式６）。

ただし、補正対象とする色相領域の重みを設定する方法は、式（６）で表されるような方法に限らず、例えば、補正対象とする色領域を示す前記色相範囲ΔＨ（ｋ，ｌ）および補正対象とする色の代表色Ｈ_R(ｋ，ｌ）および任意の定数を用いて非線形に変化するように設定する方法などが例示される。
このように、ステップＳ１００８において補正対象とする色領域の重みをつける理由として、後述する色補間を行う場合に、補正対象とする色相領域内外で色の連続性が破綻するのを防ぐことが挙げられる。

また、補正対象とする画素の彩度Ｃにおける重みＷ_C(ｋ，ｌ）は、前記補正対象目標彩度Ｃ_TおよびステップＳ１００４で使用した無彩色の彩度を示す所定の値Ｃ_THにより、以下のように定める（式７）。

ただし、補正対象とする彩度領域の重みを設定する方法は、式（７）で表されるような方法に限らず、例えば、補正対象とする色の代表色の彩度Ｃ_Rおよび前記人肌領域を包含するような彩度範囲ΔＣ（ｋ，ｌ）を前記色相領域設定方法と同様な方法により求め、補正対象とする彩度領域の重みを設定方法なども挙げられる。
図９に戻って、次に、ステップＳ７０９において、前記入力画像における前記人肌領域の位置情報から、後述の色補正処理に用いる画像領域重みを設定する。

本実施形態では、後述する色補正処理において、ステップＳ７０８により設定した特定色領域に対しての重みを利用して肌色などの所定の色に対してのみ色補正を行うことで、元々好ましい色であった画像中の他領域の色が不自然になる現象を回避している。しかしながら、補正対象として色領域のみを設定した場合、例えば補正入力画像において、前記人肌領域外にステップＳ７０８において設定される色領域に含まれる人肌以外の画素が存在すると、同画素は色補間の対象となってしまう。このような問題を解決する方法として、ステップＳ７０９で設定する画像領域重みを利用する。

前記画像領域重みは、前記人肌領域内の画素を色補正対象とし、前記人肌領域に含まれない画素は色補正対象外となるように０以上、１以下の値をＷ_P(ｋ，ｌ，ｘ，ｙ）として設定する。このとき後述の色補正処理により前記人肌領域の境界付近で色の連続性が破綻するのを防ぐように、前記画像領域重みを設定することが望ましい。
前記画像領域重み設定方法は限定されるものではないが、前記人肌領域における重心を求め、重心からの各画素の距離に応じて重みをつける方法などが例示される。この設定方法を用いると、後述の色補正処理において、前記人肌領域の境界付近の画素は前記人肌領域の中心付近の画素に比べ補正量が小さくなり、前記人肌領域の境界付近で色の連続性が破綻するのを防ぐことができる。また、前記人肌領域にガウシアンフィルタなどによりローパス処理を行い、前記人肌領域の境界付近をぼかすことで、前記人肌領域内外での色の連続性の破綻を和らげる方法なども挙げられる。

（補正処理：Ｓ７１０）
次に、ステップＳ７１０において、先に求めた各領域補正情報にしたがって画像補正を行う。この処理について図１３のフローチャートを用いて詳しく説明する。

まず、ステップＳ１１０１において、ステップＳ７０７で抽出されたｋ番目の画像領域に属する顔領域のデータを取得する。

ステップＳ１１０２からステップＳ１１０５はこの領域内の欠け領域を除く各画素についての処理のループを構成している。

ステップＳ１１０２において、未処理の画素を決定する。次に、ステップＳ１１０３において、色相補正処理を行う。まず補正対象の代表色における色相補正量Ｄｈ（ｊ）を算出する。補正対象とする色の代表色における色相補正量は補正対象目標色相ＨTと補正対象とする色の代表色相Ｈ_R(ｊ）の差およびステップＳ７０７の補正係数設定処理において設定された前記色相補正係数Ｐ_H(ｊ）の積で表される（式（９））。次に、前記色相補正量ＤｈにステップＳ９の色領域設定処理において設定した色相領域の重みＷ_H(ｊ）、彩度領域の重みＷ_C(ｊ）とステップＳ７０９の画像領域設定処理において設定した画像領域重みＷ_P(ｊ）をかけた分だけ、入力画像内の画素の色相を補正する（式（８））。ただし、式（８）においてＨは前記色補正処理前の補正対象画素の色相、Ｈ′は前記色補正処理後の補正対象画素の色相を示す。

同様に、ステップＳ１１０４では、ステップＳ７０７の補正係数設定処理で得られた彩度補正係数Ｐｃ（ｊ）から代表色における彩度補正率Ｋｃ（ｊ）を算出し、前記彩度補正率ＫｃにステップＳ７０８の色領域設定処理において設定した色相領域の重みＷ_H(ｊ）、彩度領域の重みＷ_C(ｊ）とステップＳ７０９の画像領域設定処理において設定した画像領域重みＷ_P(ｊ）および前記色補正処理前の補正対象画素の彩度Ｃをかけた分だけ、入力画像内の画素の彩度を補正する（式（１１））。
前記彩度補正率Ｋｃは式（１２）のように、前記補正目標彩度ＣTおよび補正対象の代表彩度Ｃ_R(ｊ）の差と前記補正代表彩度Ｃ_R(ｊ）の比と前記補正彩度係数Ｐｃ(ｊ）の積で表される。ただし、式（１１）でＣ′は前記色補正処理後の補正対象画素の彩度を示す。

次に、ステップＳ１１０５の判定により、全ての画素について上記処理が終了したかどうかを判定し、終了した場合には補正処理は終了し、そうでない場合は、処理はステップＳ１１０２に戻る。
なお、補正対象の種別の判別の尤度が低い場合には、複数の定義済みの補正目標色から尤度に基づいて重みをつけて、新たな目標色を合成し、この合成目標色をもって判別候補とするようにしても良い。

目標色の合成方法の一例として、女性の目標彩度をＣ_F男性の目標彩度Ｃ_M、女性らしさの尤度をＴ、性別判定の確度が低いと判断される尤度をＴ_L、性別判定の信頼度が全くないと判断される尤度をＴ_I（Ｔ_I＜Ｔ_L）とすると、目標彩度Ｃ_Tは次の式（１４）で表される。

図１４は男女の判別の女性らしさの尤度Ｔを横軸とし、目標色の一部である目標彩度（Ｃ_T）を縦軸とし、その関係の一例を示したグラフである。女性らしさの尤度がＴのとき、男性らしさは（１−Ｔ）として求められる。
図１４の１−Ｔ_L≦Ｔ≦１−Ｔ_Iの区間については、男性用と合成された目標色を用いた２つの補正案について、選択肢として提示する。また、Ｔ_I≦Ｔ≦Ｔ_Lの区間では女性用と合成された目標色を用いたの２つの補正案について、図３のステップＳ３０４以降の処理を行い、ステップＳ３０６において選択肢として提示する。これらのように２つの補正案がある場合、合成された目標色は第２の補正案候補となるようにすることが望ましい。また、１−Ｔ_I＜Ｔ＜Ｔ_Iの区間では合成された目標色のみを用いて補正案を作成し、ステップＳ３０６において選択肢として提示する。

これによって、領域判別が困難な場合であっても顔領域として適切な補正処理を行うことを補償することが出来る。また、ここで行う補正処理は、各領域種別候補について行うが、表示部２０９上で補正効果を確認するためのものであり、印刷する画像のような高い解像度は不要である。そのため、解像度を落とした画像を対象に行えばよい。また、本実施形態では説明のため、ステップＳ７０１からＳ７１３のループで各領域の各領域判別毎にすべての組み合わせについて集計処理を行うように構成したが、ユーザの指示によって表示部２０９に描画が必要になった補正方法だけをユーザの指示の後で処理してもよい。

（補正方法の選択処理：Ｓ３０６）
以下に、図３のステップＳ３０６における補正方法選択の一例を詳細に示す。

図１５の（ａ）は、本処理において表示部２０９に表示する選択ウインドウの一例である。１２０１は補正処理対象の画像の一例である。１２０２、１２０３は、ステップＳ３０１で検出された顔領域を示す領域カーソルである。それぞれの顔領域はその領域を判別した結果、最も尤度が高い種別の補正方法に従って肌色補正処理が行われている。ここで、領域カーソルのうちの１つを入力部２０８によってクリックすると領域カーソルが注目状態になり、補正対象の領域の外接多角形を表示し、補正の効果がおよぶ領域を確認することが出来る。

また、同領域をダブルクリックすると、この領域における現在の補正方法を提示し、補正方法を変更するために、図１５の（ｂ）のようなダイアログウインドウ１２０４が表示される。このウインドウの各部について説明する。

１２０５は領域判別内容である、１２０６は領域判別内容を変更するためのボタンであり、この領域を入力装置２０８によってクリックすると、図示しない他の尤度が所定の値より高かった領域種類の一覧が表示され、所望の領域種別を選択することができる。１２０７は効果の度合いを表示、設定するものである。左端が補正をかけない状態である。また、中黒の四角は現在の設定内容である。最も尤度の高い領域判別結果における補正量の場合を中心に強弱２段階に設定できる。所望の箇所をクリックすることによって、効果の度合いを設定することが出来る。１２０８はＯＫボタンであり、設定した内容にしたがって補正方法を更新し、ダイアログを閉じ、１２０１の画像に対して、補正を適用する。また、１２０９はキャンセルボタンであり、設定した内容を破棄してウインドウを閉じる。１２０１の画像の背景領域に配置されたＯＫボタン１２０８をクリックすることによってステップＳ３０６の処理を終了する。

＜本実施形態の画像処理装置の他の具体的構成例＞
図１６は、本実施形態における画像処理装置の他の具体的構成例を示すブロック図である。上記実施形態と共通する部分には同じ番号を付与している。

ブロック構成としては、ドライブインタフェース２０４にＣＤ／ＤＶＤドライブ２１４が接続されて、本実施形態のプログラムを記録したＤＶＤまたはＣＤのような光ディスク２１５を追加しているところが上記実施形態と異なる。

本実施形態のプログラムを記録した光ディスク２１５をＣＤ／ＤＶＤドライブ２１４に挿入するとＣＰＵ２０１は記録媒体からプログラムを読み取って、ＲＡＭ２０３に展開することで、上記実施形態と同様の処理を実現することができる。

なお、本実施形態では、肌色補正処理に関して詳細に説明したが、その他の補正方法としてガウシアンフィルタを適用してぼかしたり、輪郭強調フィルタをなどを行っても良い。ガウシアンフィルタを首、頬や目の周辺の肌色領域に適用することにより、見かけの年齢を若くすることが可能である。この場合は、顔の種類ごとに効果の度合いを定義しておき、ステップＳ７０９と同様な画像領域重み設定を適切に行って、領域内の各画素について、ガウシアンフィルタをかけた画像を重みにしたがってオリジナルの画像のＬＨＣの各チャンネルごとに加重平均を求めればよい。このような空間的な補正は動画や携帯性の高いカメラのような解像度が低い画像で特に有効である。

＜その他の実施形態＞
顔領域を判別する際、顔の特徴量抽出に関しては、第１実施形態で示した方法に限定するものではない。例えば、ＩＳＯ／ＩＥＣ１５９３８−３に規定されている、顔識別の特徴記述子を用いてもよい。また、判別器として、判別分析のほかに、ブースト法、カーネルトリックと組み合わせたサポートベクターマシン、ニューラルネットワークなどの手法を用いても良い。いずれも領域種別にトレーニング用の画像を用意してトレーニングすることで、所望の領域種別への判別が可能である。また、本実施形態では人物の肌色を好ましく補正する場合について説明したが、他の記憶色である空の青、草木の緑などを好ましく補正する場合についても適用できることはいうまでもない。

また、本実施形態のプログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ、ＤＶＤ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、カメラやスキャナなどの画像入力装置やプリンタなどの画像出力装置、またこれらが複合または接続された装置において、両方またはいずれかの装置に備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
特許登録第０３２７９９１３号公報

本実施形態の画像処理装置の構成例を示すブロック図である。 本実施形態のハードウェア構成例を示す図である。 本実施形態の動作手順の概要を示すフローチャートである。 図３の顔領域検出処理（Ｓ３０１）の手順例を示すフローチャートである。 図３の顔領域検出処理の処理例を説明する図である。 図３の欠け領域検出処理（Ｓ３０８）の手順例を示すフローチャートである。 図３の顔領域判定処理（Ｓ３０３）の手順例を示すフローチャートである。 図３の顔領域判定処理における顔の部分領域分割方法を説明する図ある。 図３の画像補正方法立案処理（Ｓ３０４）の手順例を示すフローチャートである。 図７の領域代表色抽出処理（Ｓ７０５）の手順例を示すフローチャートである。 図７の領域代表色抽出処理の処理例を説明する図である。 図７の色領域設定処理（Ｓ７０８）の手順例を示すフローチャートである。 図７の補正処理（Ｓ７１０）の手順例を示すフローチャートである。 本実施形態における目標色の追加及び合成方法を説明する図である。 図３の補正方法選択における画面表示の一例を示す図である。 本実施形態の画像処理装置の他のハードウェア構成例を示す図である。

Claims (19)

1. 画像情報を入力する画像入力手段と、
   前記画像入力手段から入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定手段と、
   前記対象領域設定手段で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定手段と、
   前記対象領域設定手段で設定された領域から前記欠け領域設定手段で設定された欠け領域を除いた領域に対して画像補正を行う画像補正手段とを有することを特徴とする画像処理装置。
2. 前記欠け領域設定手段は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて欠け領域を決定することを特徴とする請求項１記載の画像処理装置。
3. 前記欠け領域設定手段は、設定した対象のエッジ頻度分布に基づいて各画素におけるエッジ抽出感度を調整することを特徴とする請求項２記載の画像処理装置。
4. 前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別手段を更に有し、
   前記画像補正手段は、前記領域判別手段で判別された種別に基づいて画像補正を行うことを特徴とする請求項１記載の画像処理装置。
5. 前記領域判別手段は、あらかじめ所定の欠け領域パターンを設定して各パターンにおける判別方法を定義しておき、入力された欠け領域が最も適合する欠けパターンの判別方法に従って判別を行うことを特徴とする請求項４記載の画像処理装置。
6. 前記予め設定した対象は人物の顔であることを特徴とする請求項１記載の画像処理装置。
7. 前記領域の種別は、性別、年齢、または、個人または人類の生物学的分類のいずれかまたはその組み合わせであることを特徴とする請求項６記載の画像処理装置。
8. 前記画像補正は、特定空間領域中のうち特定色域に含まれる画素に対する明度、色相、彩度、シャープネス、ぼかし、のいずれかまたはその組み合わせであることを特徴とする請求項１記載の画像処理装置。
9. 前記領域判別手段は、領域の種別とともに判別の確からしさを出力し、前記画像補正手段は、判別の確からしさに基づいて補正方法を変化させることを特徴とする請求項４記載の画像処理装置。
10. 前記画像補正手段は、
    前記対象領域設定手段が設定したいずれかの領域において、前記領域判別手段が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案手段と、
    補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示手段とを有し、
    前記補正方法指示手段による指示内容に従って画像を補正することを特徴とする請求項９記載の画像処理装置。
11. 前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域の近辺に補正方法を指示するための操作釦を配置することを特徴とする請求項１０記載の画像処理装置。
12. 前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域が確認可能な外接多角形を表示することを特徴とする請求項１０又は１１記載の画像処理装置。
13. 前記補正方法指示手段は補正のかかり具合を設定し、設定内容に従って表示中の補正対象画像へ反映させることを特徴とする請求項１０乃至１２のいずれか１つに記載の画像処理装置。
14. 入力された画像中の対象となる部分領域に対し好適な補正を行なう画像処理方法であって、
    入力画像から補正の対象となる部分領域を抽出し、
    前記部分画像から補正の対象と異なる領域を欠け領域と判別し、
    前記補正の対象となる部分領域から補正の対象と異なる欠け領域を除いた領域を、補正目標となるよう補正することを特徴とする画像処理方法。
15. 前記欠け領域は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて判別することを特徴とする請求項１４記載の画像処理方法。
16. 画像情報を入力する画像入力工程と、
    前記画像入力工程で入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定工程と、
    前記対象領域設定工程で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定工程と、
    前記対象領域設定工程で設定された領域から前記欠け領域設定工程で設定された欠け領域を除いた領域に対して画像補正を行う画像補正工程とを有することを特徴とする画像処理方法。
17. 前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別工程を更に有し、前記領域判別工程では、領域の種別とともに判別の確からしさを出力し、
    前記画像補正工程は、
    前記対象領域設定工程で設定したいずれかの領域において、前記領域判別工程が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案工程と、
    補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示工程とを有し、
    前記補正方法指示工程での指示内容に従い、前記領域判別工程で判別された種別に基づいて画像を補正することを特徴とする請求項１６記載の画像処理方法。
18. 請求項１６又は１７記載の画像処理方法を実現するコンピュータ実行可能なプログラム。
19. 請求項１８に記載のプログラムをコンピュータ読み取り可能に記憶する記憶媒体。

Images