JP2014164656A - 画像処理方法およびプログラム - Google Patents

Abstract

【課題】入力画像から特定領域を高精度に抽出する。
【解決手段】前処理部１は、原画像とマスク画像に解像度変換を施し、原画像のみにノイズ除去と色空間変換を行う。確率モデル計算部２は、色変換後の原画像の内、マスク画像を通過した領域の画素情報から確率密度を計算し、確率密度分布モデルを作成し、モデルリポジトリ３に登録する。顔認識部５は、入力画像から顔領域を認識し、計算部２は、顔領域の画素情報から確率密度を計算し、確率密度分布モデルを作成し、登録されているモデルと比較し、領域分割部６は、最も類似しているモデルを用いて入力画像を分割し、特定領域を抽出する。
【選択図】図３

Description

本発明は、特定領域を抽出する画像処理方法およびプログラムに関する。

従来の肌領域抽出方法は、多数の人の肌領域の色情報を利用して学習したモデルを利用した方法が一般的である。このような例としては、例えば、非特許文献１、２がある。

これらの方法はいずれも特定の色空間における一定の範囲を肌色の領域と定め、これをモデルとして入力画像を分割するため、モデル作成時に様々な照明条件、人種、個体差などが誤差として入り込んでしまうため、高い精度が期待できない。

これに対して、複数のモデルを予め用意し、入力に対して適当に切り替えることで対応する方法として、非特許文献３などがある。この手法では、一般化肌色モデルを用いて入力データを分類し、適応的モデルを後段で用いることで２段階のフィルタリングを行い、精度を高めている。この方法はあくまでも画素の色情報のみに基づいて処理が行われるため、真の肌領域かどうかの判断は色情報に基づいて行われる。つまり肌と同じ色が、肌以外の領域にあった場合にもサンプルデータとして利用されてしまうため、後段の適応的モデルの学習にノイズが混入することが避けられず、結果として精度が低下する。

他の方法としては、例えば非特許文献４のように、肌領域を色以外の情報で同定し、その情報を用いて適応的処理を行う手法がある。この例では、一般化肌色モデルを用いて追跡領域を決め、その動きを基に局所的なフィルタを作成し、これにより最終的な領域抽出を行う。これは、例えばビデオのような動物体がヒトである場合には有効だが、静止画像や一般的な画像系列では利用できない。また、ビデオ情報であったとしても、最終的な領域分割手段が適応的な色相の閾値処理だけであるため、十分な精度が出ない。

上記したように、従来の技術では、照明条件、ヒトの個体差などにより大きく変動する肌色領域などの特定領域を安定して抽出できない。

本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、入力画像から特定領域を高精度に抽出する画像処理方法およびプログラムを提供することにある。

本発明は、特定の特徴を持つ画素を抽出する画像処理方法において、所定の入力画像から色以外の画像特徴を基に、特定の特徴を持つ画素が属する物体の画素群を抽出する第１のステップと、前記画素群から主要色を抽出する第２のステップと、前記抽出された主要色を用いて、予め学習された複数の色分布モデルを保持するリポジトリを検索し、前記抽出された主要色と前記リポジトリに保持された色分布モデルとの間の距離指標が最も近い色分布モデルを特定する第３のステップと、前記特定された色分布モデルを用いて、前記入力画像の画素を判別し、領域を分割する第４のステップを含むことを最も主要な特徴とする。

本発明によれば、入力画像から特定領域を高精度に抽出することができる。

本発明の概要を説明する図である。 本発明のシステム構成を示す。 本発明の画像処理方法を実施するための機能構成を示す。 本発明の学習段階における、単一画像のＧＭＭ作成のフローチャートを示す。 入力画像、マスク画像を示す。 ３次元特徴空間における肌画素の確率密度分布の例、分布をＧＭＭによりモデル化した例を示す。 本発明の学習段階における、複数画像のＧＭＭ作成のフローチャートを示す。 本発明の認識段階のフローチャートを示す。 本発明の顔認識失敗時、コンポーネント閾値処理失敗時のフローチャートを示す。 モデル整形前の確率密度分布モデルの例、整形後の確率密度分布モデルの例を示す。 モデル比較処理のフローチャートに示す。 モデル整形処理のフローチャートに示す。 肌領域抽出結果を示す。

以下、発明の実施の形態について図面により詳細に説明する。

本発明の基本となる考え方は、以下の通りである。本発明では、肌、空、植生などの特定の色（記憶色）を持つ画像中の領域を切りだす手段を提供する。特に肌については、被写体に特化した画像補正を行う上で重要な領域である。人肌は、色などの領域の情報、顔などの物体としての認識、エッジ量などで表される肌の肌理の情報など、複数の情報が利用できるため高い精度が期待される。しかし、画像中の肌領域は、照明条件、人種、個人差などの変動により、特徴空間を工夫しても、実際には肌以外の領域と正確に切り分けることが難しい。

上記の変動を除いた特徴を、任意の入力画像から抽出できれば高い精度が期待できるが、オートホワイトバランスで補正できる照明条件には限界がある。また、人種や個人差による肌画像情報の変動は大きく、これを１つのモデルとして吸収することは極めて困難である。

図１は、本発明の概要を説明する図である。本発明では、学習段階において、様々な環境、人種、個人の肌領域から肌領域画像情報を予め取得し、これらをそれぞれにモデル化する。認識段階において、新たな入力画像が与えられた場合、該入力画像から顔領域を抽出し、この抽出範囲の主要色から、これに対応する距離指標が最も近いモデルを類推する。当該モデルを用いて入力画像全体を分割することで、特定の条件（照明条件、人種、個人など）で作成された肌領域画像情報モデルを利用し、高い精度で入力画像から肌領域を抽出することができる。入力画像から顔領域が抽出できなかった場合には、予め学習しておいた一般化肌モデルを用いて肌領域を抽出する。

図２は、本発明のシステム構成を示す。本発明のシステムは、一般的なパーソナルコンピュータ（ＰＣ）上のソフトウェア（プログラム）として実装することが可能であり、これを画像処理装置とする。画像処理装置１０１は、内部に計算用のＣＰＵ１０２、情報一次蓄積用のメモリ１０３、長期蓄積用の記憶装置１０４、外部との通信用の通信装置１０５などがシステムバス（内部バス）１０６により接続されている。この画像処理装置１０１は、更にネットワーク１１０を介して他のシステム（画像取得装置１０７、プリンタなどの画像出力装置１０８、ＮＡＳなどの記憶装置１０９）と接続されている。

図３は、本発明の画像処理方法を実施するための機能構成を示す。画像処理装置１０１は、前処理部１、確率モデル計算部２、モデルリポジトリ３、特徴抽出部４、顔認識部５、領域分割部６からなる。

本発明の構成上の特徴は、予め学習された複数の色分布モデルを保持するモデルリポジトリ３を備えている点と、確率モデル計算部２にモデル整形を行う機能を備えている点である。これらの機能ブロックは、システム構成の記憶装置からメモリ上に展開されて実現される。

前処理部１は、解像度変換部１１、ノイズ除去部１２、色空間変換部１３からなり、入力された原画像及びマスク画像に同等スケールの解像度変換を施し、原画像のみにノイズ除去と色空間変換を行う。ここでは、ＨＳＶ色空間に変換する例を説明する。本発明のシステムは、特定の色空間に基づくものではないため他の色空間でもよい。

確率モデル計算部２は、確率密度計算部２１、確率密度近似部２２、モデル比較計算部２３、モデル整形部２４からなる。確率密度計算部２１では、色空間変換後の原画像のうち、マスク画像を通過した領域から画素情報を集め、確率密度を計算する。確率密度近似部２２では、確率密度を予め定められたモデル化手法によりモデル化する。本発明では、混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ：ＧＭＭ）を用いてモデル化を行う（ＧＭＭについては、例えば非特許文献５を参照）。

モデル比較計算部２３では、与えられた２つのモデルの間の距離を計算する。この距離はモデル間の類似度を示す指標として利用される。モデル間距離の定義及び計算方法は多数あるが、本発明では、以下に述べる方法でモデル間距離に基づく評価値Ｅを計算する。

本発明で利用するモデルは、確率密度分布を複数のガウシアンの混合で近似したものである。混合数（モデルで利用するガウシアンの数）をｎとすると各モデルは、ｎ個の平均μ、分散σ、重みｍの組み、及びｎｘ特徴次元数の共分散行列で表される。モデルＡ及びＢの距離はモデルＡの各ガウシアンコンポーネントの平均値を、モデルＢに入力した場合に得られる出力の平均値の逆数とする。この距離を評価値Ｅとして利用する。ただし、出力の平均値が０の場合は、評価値ＥをＮＵＬＬとする。この評価値は対称性が無いため正確には距離の定義を満たしていないが、本発明では対称性を必要としないため問題とならない。また評価値Ｅの定義はこれ以外でもよく、例えばモデルＡの各ガウシアンの平均値と、モデルＢのガウシアンの平均値の最小値の平均値などを用いても良い。また計算量が増えることが許容されるならば、モデルＡ、Ｂ双方から適当な数のデータ点を選び、それらの分布間の距離（例えばバタチャリヤ距離など）を用いて評価値Ｅを定義しても良い。

モデル整形部２４では、入力された２つのＧＭＭモデルの比較を行い、以下の計算で各コンポーネントの評価値を計算し、評価値の小さいコンポーネントを削除し、この結果に基づいて同モデルのＧＭＭコンポーネント重み付けを修正する。

既存モデルをＡ、入力モデルをＢとし、モデルＢの各ＧＭＭコンポーネントの評価値Ｆを計算する。この評価値Ｆは単純に同コンポーネント平均をモデルＡに入力した出力を用いる。モデルＢの各コンポーネントの評価値を比較し、予め定められた閾値を下回る評価値を持つコンポーネントを削除する。ＧＭＭモデルでは、各コンポーネントの重みの合計が１になるように重み付けされている。この整合性を保つため、コンポーネントを削除した場合には、残りのコンポーネントの重みを修正（再定義）する必要がある。残存コンポーネントの重みの比率に従って重みを再設定することができる。

複数の色分布モデルを保持するモデルリポジトリ３は、通常のデータベースとして実装されている。そのため、内部に入出力管理部３１と蓄積部３２を持つ。特徴抽出部４は、エッジ計算部４１、標準偏差計算部４２からなる。前者は例えばＳｏｂｅｌオペレータなどで入力画像のエッジ量を計算する。後者は標準偏差を計算する。

顔認識部５では、入力画像から顔領域（色以外の特定の画像特徴を持つ画素が属する物体）を抽出する。顔認識処理は任意の処理が利用できるが、例えば非特許文献６に示す技術を利用することができる。顔認識処理部５１は、通常、顔を含む矩形領域を指定する。矩形処理部５２では、この矩形情報を利用し、入力画像を切り出す。

領域分割部６は、領域分割部６１と後処理部６２からなる。領域分割部６１は入力画像の各画素に対して、前記の特徴量を計算し、これを領域分割用のモデルに入力した出力を得る。後処理部６２では、各画素で計算されたモデル出力を利用し、孤立点除去などの後処理を行う。孤立点除去は、例えば非特許文献７に示す方法で行うことができる。

次に、本発明の学習段階、認識段階について説明する。図４は、本発明の学習段階における、単一画像のＧＭＭ作成のフローチャートを示し、図７は、本発明の学習段階における、複数画像のＧＭＭ作成のフローチャートを示す。なお、補助的な情報として各ステップで利用されるデータ及び出力されるデータをフローチャートの右側に併記した。

学習段階では、複数の入力画像から、画像ごとの肌特徴量ＧＭＭモデルを作成し（ステップ２０１〜２０８）、モデルリポジトリ３に記録する（ステップ２０９）。これと合わせて全ての画像の肌領域情報を利用した一般化肌特徴量ＧＭＭモデルも作成する。

例えば、入力画像を図５（ａ）に示す画像とし、マスク画像を図５（ｂ）に示す画像とした場合の学習処理を説明する。なお、マスク画像の白色の部分に対応する入力画像領域の画素を、肌領域に属する画素として学習の対象とする。
学習処理において、色空間変換後（ステップ２０４）の色空間がＨＳＶ色空間である場合、ＨＳＶの３次元に加え、エッジ量と標準偏差がそれぞれの次元で計算されるため（ステップ２０５、２０６）、併せて９次元の肌画素の確率密度分布となる（ステップ２０７）。簡単のため３次元に縮退させた確率密度分布を図６（ａ）に示す。図６（ａ）は、３次元特徴空間における肌画素の確率密度分布の例を示し、図６（ｂ）は、図６（ａ）における分布をＧＭＭによりモデル化した例を示す。

ここでは、仮にコンポーネントの数ｎを２０とし、図示できないがそれぞれに色分けしてプロットした。図中の球の大きさは確率の高さを示す。各ガウシアンコンポーネントはその平均値を特徴次元と同じ次元数のベクトルとして保持する。図７は、本発明の学習段階における、複数画像のＧＭＭ作成のフローチャートを示す。図４と同じように確率密度を計算するが、複数の画像から得られた肌情報を統合して（ステップ２０１〜２０６）、確率密度分布およびそのモデルを作成する（ステップ２０７〜２０９）。

図8は、本発明の認識段階のフローチャートを示す。入力画像から顔領域を認識処理し（ステップ３０１〜３０４）、顔認識に成功したとき（ステップ３０５でＹｅｓ）、矩形の顔領域を切り出し、学習処理と同様にして顔領域の画像のＧＭＭモデルを作成し（ステップ３０６〜３１２）、肌モデルリポジトリとモデルを比較し（ステップ３１３）、入力画像から得られるＧＭＭモデルを整形し（ステップ３１４〜３１６）、最も類似したＧＭＭモデルまたは整形されたＧＭＭモデルを用いて入力画像の領域分割処理を行う（ステップ３１７）。

本発明では、肌モデルリポジトリの検索の結果、最も類似したＧＭＭモデルを用いて、入力画像の領域分割処理を行う。また、類似したＧＭＭモデルが見つからない場合（検索に失敗したとき）は、入力画像から得られるＧＭＭモデルを整形し、整形されたＧＭＭモデルを用いて入力画像の領域分割処理を行う。

図９は、顔認識失敗時及びコンポーネント閾値処理失敗時のフローチャートを示す。顔認識に失敗したとき（ステップ３０５でＮｏ）、一般化肌モデルを用いて入力画像の領域分割処理を行う（ステップ３１８〜３２１）。

図８のステップ３１３のモデル比較処理の詳細を、図１１のフローチャートに示す。評価値Ｅの計算方法には、例えば以下のようなものがある。既存肌モデルをＡ、入力肌モデルをＢとする。Ａ、Ｂはそれぞれ既定数ｎのコンポーネントからなるＧＭＭモデルとする。入力ｘに対するモデルＡの出力をＡ（ｘ）、モデルＡのコンポーネントｍの重み付き出力をＡｍ（ｘ）とする。モデルＡのコンポーネントｍの平均値をＡμｍとする（ステップ４０５）。

各モデルは確率密度分布をＧＭＭで近似したものであるから、入力ｘに対する出力は、ｘにおける確率の値となっている。そこで確率の逆数を距離尺度（距離指標）として利用し、以下の評価値Ｅを定義し、計算する（ステップ４０６）。

評価値Ｅが最小のモデルｎを選択する（ステップ４０７、４０８）。

図８のステップ１４のモデル整形処理の詳細を、図１２のフローチャートに示す。評価値Ｆを計算し（ステップ５０１〜５０６）、評価値Ｆが所定の閾値ＴＨ未満のコンポーネントを削除する（ステップ５０７〜５０９）。ここで、評価値Ｆは、Ｆ＝Ａ（Ｂμn）のように定義する。

図１０（ａ）は、モデル整形前の確率密度分布モデルの例を示し、図１０（ｂ）は、整形後の確率密度分布モデルの例を示す。この例では、７つのＧＭＭコンポーネントが予め定められた閾値を下回ったため削除された。

例えば、図５（ａ）に示す入力画像を与えた場合には、出力の領域分割結果は、図１３に示すようになる。図１３は、肌領域抽出結果（肌領域の画素が判別され、領域に分割される）を示す。後処理として施した孤立点除去の結果、細かい粒状のノイズは低減されている。

以上説明したように、本発明では、特定の条件（照明条件、人種、個人など）で作成された肌領域画像情報モデルを利用し、高い精度で入力画像から肌領域を抽出することができる。また、本発明は、電子写真における特定領域を抽出する画像分割技術に好適である。

１ 前処理部
２ 確率モデル計算部
３ モデルリポジトリ
４ 特徴抽出部
５ 顔認識部
６ 領域分割部

K．Sobottka and I．Pitas，"Face localization and facial feature extraction based on shape and color information" Proceedings of the IEEE International Conference on Image Processing，Lausanne，Switzerland，September 1996，vol．3，pp．236-241. A．Albiol，et.al．"Optimum Color Spaces for Skin Detection" IEEE 2001，Proceedings，International Conference on Image Processing Q．Zhu，at．el．"An adaptive skin model and its application to objectionable image filtering"，Proceedings of the 12th annual ACM international conference on Multimedia，pp．56-63. F．Dadgostar and A．Sarrafzadeh，"An adaptive real-time skin detector based on Hue thresholding：A comparison on two motion tracking models"，Pattern Recognition Letters，2006 MH Yang，and N．Ahuja，Proceedings SPIE digital library，"Gaussian Mixture Model for Human Skin Color and Its Applications in Image and Video Databases"，1999. OpenCV 物体検出:http://opencv.jp/sample/object_detection.html 宮田他、「色空間Ｗｉｅｎｅｒフィルタによるノイズ画像の画質改善」、日本写真学会学会誌２０００年２月２５日、６３巻１号１８−２７ページ

Claims (8)

1. 特定の特徴を持つ画素を抽出する画像処理方法において、所定の入力画像から色以外の画像特徴を基に、特定の特徴を持つ画素が属する物体の画素群を抽出する第１のステップと、前記画素群から主要色を抽出する第２のステップと、前記抽出された主要色を用いて、予め学習された複数の色分布モデルを保持するリポジトリを検索し、前記抽出された主要色と前記リポジトリに保持された色分布モデルとの間の距離指標が最も近い色分布モデルを特定する第３のステップと、前記特定された色分布モデルを用いて、前記入力画像の画素を判別し、領域を分割する第４のステップを含むことを特徴とする画像処理方法。
2. 前記特定の特徴を持つ画素が属する物体はヒトの顔であり、前記第１のステップは、顔領域を抽出する処理を含むことを特徴とする請求項１記載の画像処理方法。
3. 前記第２のステップは、所定の色空間における画素値の分布から確率密度分布を作成し、前記確率密度分布をガウシアンミクスチャモデル（以下、ＧＭＭ）で近似する処理を含むことを特徴とする請求項１記載の画像処理方法。
4. 前記距離指標として、前記入力画像から得られた複数の主要色を前記リポジトリに保持された色分布モデルに入力して得られた出力値としての確率密度分布の逆数を利用することを特徴とする請求項１記載の画像処理方法。
5. 前記入力画像から得られたＧＭＭの各コンポーネントの評価値に基づいて、前記入力画像から得られたＧＭＭを整形する第５のステップを含むことを特徴とする請求項１または３記載の画像処理方法。
6. 前記検索に失敗したとき、前記整形されたＧＭＭを用いて、前記入力画像の画素を判別し、領域を分割する第６のステップを含むことを特徴とする請求項１または５記載の画像処理方法。
7. 前記第５のステップにおいて、前記評価値として、前記入力画像のＧＭＭのコンポーネントの平均値を、前記リポジトリに保持されたＧＭＭに入力して得られた出力を利用し、前記入力画像のＧＭＭの各コンポーネントの評価値を比較し、所定の閾値以下の評価値のコンポーンネントを、前記入力画像のＧＭＭから削除し、残りのコンポーネントの重みを、合計が1となるように再定義することを特徴とする請求項５記載の画像処理方法。
8. 請求項1乃至７のいずれか１項に記載の画像処理方法をコンピュータに実現させるためのプログラム。