JP2010033221A - 肌色検出装置および方法並びにプログラム - Google Patents

Abstract

【課題】対象画像から精度良く肌色を検出する。
【解決手段】顔検出部３が対象画像から顔を検出し、サンプル取得部４が検出した顔から肌色サンプル領域を取得する。特徴量抽出部５が肌色サンプル領域から複数の特徴量を抽出し、モデル作成部６が、複数の特徴量の統計的な分布をガウス混合モデルにより近似し、ガウス混合モデルを用いたＥＭアルゴリズムにより肌色モデルを作成する。検出部７が肌色モデルを用いて対象画像から肌色領域を検出する。
【選択図】図１

Description

本発明は、画像から肌色領域を検出する肌色検出装置および方法並びに肌色検出方法をコンピュータに実行させるためのプログラムに関するものである。

人物が含まれる画像においては、肌色を適切に再現することが重要である。このため、オペレータがマニュアル操作により画像に含まれる肌色領域を指定し、指定した肌色領域に対して適切な画像処理を行うことが考えられる。また、オペレータの負担を軽減するために、画像に含まれる肌色領域を自動で検出するための様々な手法が提案されている。

例えば、画像の色空間を、肌色を定義するモデルを生成しやすいＴＳＬ色空間に変換し、肌色分布モデルを作成するための多数のサンプル画像をＴＳＬ色空間に変換し、変換後の画像を用いて肌色の分布モデルを作成し、この分布モデルを用いて肌色を検出する手法が提案されている（特許文献１参照）。また、多数のサンプル画像から肌色のサンプルデータを収集し、収集した肌色画像データをＨＳＶ変換して肌色の（Ｈ，Ｓ）データを集め、集めた（Ｈ，Ｓ）データのヒストグラムをガウス混合モデルにて近似し、ガウス混合モデルのパラメータを得、肌色検出の対象となる対象画像の各画素に対してガウス混合モデルのパラメータを用いて肌色尤度を算出し、算出した肌色尤度をしきい値と比較して、肌色であるか否かを判定する手法も提案されている（特許文献２参照）。また、特許文献２に記載された手法を動画像に適用した手法も提案されている（特許文献３参照）。
特開２００６−３１３４６８号公報 特開２００４−２４６４２４号公報 特開２００７−２５７０８７号公報

上記特許文献１〜３に記載された手法は、多種多様なサンプル画像を用いて、汎用的な肌色を検出するための肌色モデルを作成するものである。しかしながら、肌色検出の対象となる対象画像には様々な人物が含まれ、さらに照明条件も種々異なるものとなるため、肌色モデルを作成する際に使用したサンプル画像と、対象画像に含まれる肌色とは必ずしも一致しないこととなる。したがって、特許文献１〜３に記載された手法により作成した肌色モデルを用いたのでは、肌色を誤認識してしまう可能性が高く、その結果、対象画像から精度良く肌色領域を検出できないおそれがある。

本発明は上記事情に鑑みなされたものであり、対象画像から精度良く肌色領域を検出することを目的とする。

本発明による肌色検出装置は、対象画像に含まれる人物毎に、該対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成する肌色モデル作成手段と、
前記肌色モデルを参照して、前記対象画像から前記肌色の画素からなる肌色領域を検出する検出手段とを備えたことを特徴とするものである。

なお、本発明による肌色検出装置においては、前記肌色モデルが複数作成された場合、前記検出手段を、肌色モデル毎に前記肌色領域を検出する手段としてもよい。

また、本発明による肌色検出装置においては、前記肌色モデル作成手段を、前記対象画像から肌色サンプル領域を取得するサンプル取得手段と、
前記肌色サンプル領域から複数の特徴量を抽出する特徴量抽出手段と、
前記複数の特徴量に基づいて前記肌色モデルを統計的に作成するモデル作成手段とを備えるものとしてもよい。

この場合、前記モデル作成手段を、前記複数の特徴量の統計的な分布をガウス混合モデルにより近似し、該ガウス混合モデルを用いたＥＭアルゴリズムにより前記肌色モデルを作成する手段としてもよい。

またこの場合、前記対象画像から顔領域を検出する顔検出手段をさらに備えるものとし、
前記サンプル取得手段を、前記顔検出手段が検出した顔領域に含まれる所定範囲の領域を前記肌色サンプル領域として取得する手段としてもよい。

本発明による肌色検出方法は、対象画像に含まれる人物毎に、該対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成し、
前記肌色モデルを参照して、前記対象画像から前記肌色の画素からなる肌色領域を検出することを特徴とするものである。

なお、本発明による肌色検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、対象画像に含まれる人物毎に、対象画像の各画素が肌色であるか否かを判定するための肌色モデルが作成され、肌色モデルが参照されて、対象画像から肌色の画素からなる肌色領域が検出される。このため、作成された肌色モデルは対象画像に含まれる人物の肌色に適したものとなり、その結果、作成された肌色モデルを用いることにより、対象画像から肌色領域を精度良く検出することができる。

また、対象画像に人物が複数含まれる場合、人物毎に肌色モデルが作成されるが、このように肌色モデルが複数作成された場合、肌色モデル毎に肌色領域を検出することにより、対象画像に含まれる人物毎に肌色領域を検出することができる。

また、対象画像から肌色サンプル領域を取得し、肌色サンプル領域から複数の特徴量を抽出し、複数の特徴量に基づいて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成することにより、作成された肌色モデルを対象画像に含まれる肌色により適したものすることができる。

また、対象画像から顔領域を検出し、検出した顔領域に含まれる所定範囲の領域を肌色サンプル領域として取得することにより、肌色モデルを作成するための特徴量を抽出する肌色サンプル領域を自動で取得することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による肌色検出装置の構成を示す概略ブロック図である。図１に示すように本実施形態による肌色検出装置１は、肌色領域検出の対象となる対象画像を装置１に入力するための入力部２、対象画像から顔領域を検出する顔検出部３、検出された顔領域から肌色サンプル領域を取得するサンプル取得部４、肌色サンプル領域から複数の特徴量を抽出する特徴量抽出部５、複数の特徴量に基づいて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成するモデル作成部６、および作成されたモデルを用いて対象画像から肌色領域を検出する検出部７を備える。

また肌色検出装置１は、対象画像を含む各種表示を行う液晶等のモニタ８、装置１に各種入力を行うためのキーボードおよびマウス等からなる操作部９、各種情報を記憶するハードディスク等の記憶部１０、各種処理の作業領域となるメモリ１１、並びに装置１の各部を制御するＣＰＵ１２を備える。

なお、本実施形態においては、対象画像は各画素の画素値がＲＧＢの各色を有するものとする。

入力部２は、対象画像が記録された記録メディアから対象画像を読み出したり、ネットワーク経由で対象画像を受信したりする各種インタフェースからなる。

顔検出部３は、対象画像から顔領域を検出する。具体的には、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、対象画像から顔を囲む矩形の顔領域を検出する。なお、顔を検出する手法はこれに限定されるものではなく、例えば画像における顔の輪郭形状をなす領域を顔として検出する手法等、任意の手法を用いることができる。なお、顔検出部３は、検出した顔領域について、あらかじめ定められたサイズとなるように正規化する。また、顔検出部３は、対象画像に複数の人物が含まれる場合、すべての顔領域を検出する。

サンプル取得部４は、顔検出部３が検出した顔領域から肌色サンプル領域を取得する。図２は肌色サンプル領域の取得を説明するための対象画像の例を示す図である。図２に示すように対象画像に２名の人物Ｐ１，Ｐ２が含まれる場合、対象画像からは２つの顔領域Ｆ１，Ｆ２が検出される。サンプル取得部４は、顔領域Ｆ１，Ｆ２の中心を対角線の交点とする顔領域Ｆ１，Ｆ２よりも所定量小さい矩形領域を肌色サンプル領域Ｓ１，Ｓ２として取得する。例えば、顔領域Ｆ１，Ｆ２の面積の１／４の面積となる領域を肌色サンプル領域Ｓ１，Ｓ２として取得する。

なお、サンプル取得部４は、肌色サンプル領域内に目、鼻および口等の顔の構成部品が含まれる場合、これらを肌色サンプル領域から除去するようにしてもよい。

特徴量抽出部５は、肌色サンプル領域に含まれる各画素の特徴量を抽出する。ここで、本実施形態においては、各画素の色相(Hue)、彩度(Saturation)、明度(Value)（以下Ｈ，Ｓ，Ｖとする）、エッジ強度および正規化したＲＧＢ値の７個の特徴量を抽出する。なお、複数の肌色サンプル領域が取得された場合は、肌色サンプル領域毎に特徴量を抽出する。

色相Ｈ、彩度Ｓおよび明度Ｖのそれぞれの値は下記の式（１）〜（３）により算出する。また、エッジ強度は公知の微分フィルタによるフィルタリング処理を行うことにより算出する。また、正規化したＲＧＢ値Ｒｎ，Ｇｎ，Ｂｎは下記の式（４）〜（６）により算出する。

モデル作成部６は、７個の特徴量のそれぞれについて頻度を表す７個のヒストグラムを作成し、７個のヒストグラムを下記の式（７）によりガウス混合モデルにより近似する。なお、対象画像に複数の人物が含まれる場合、ガウス混合モデルは人物毎に求められる。

なお、ｍは特徴量の数（ここでは７）、μ_ｋは期待値ベクトル、Σ_ｋは共分散行列、π_ｋは重み係数である。ここで、ｐ（ｘ；μ_ｋ，Σ_ｋ，π_ｋ）は、期待値ベクトル、共分散行列および重み係数をパラメータとする正規密度分布となる。

次いで、モデル作成部６は、ＥＭアルゴリズムを用いて、パラメータである期待値ベクトルμ_ｋ、共分散行列Σ_ｋおよび重み係数π_ｋを推定する。まず、下記の式（８）に示すように、対数尤度関数Ｌ（ｘ，θ）を設定する。なお、θはパラメータμ_ｋ，Σ_ｋ，π_ｋである。

但し、ｎは肌色サンプル領域内の画素数である。

モデル作成部６は、対数尤度関数Ｌ（ｘ，θ）を最大とするパラメータをＥＭアルゴリズムを用いて推定する。ＥＭアルゴリズムは、Ｅステップ（Expectationステップ）およびＭステップ（Maximizationステップ）からなり、まず、Ｅステップにおいて、パラメータを適当な初期値に設定し、下記の式（９）により条件付き期待値Ｅ_ｋｉを算出する。

次いで、Ｅステップにおいて算出した条件付き期待値Ｅ_ｋｉを用いて、Ｍステップにおいて下記の式（１０）〜（１２）によりパラメータを推定する。

以上のＥステップおよびＭステップを繰り返し、Ｌ（ｘ，θ）が最大となるパラメータ、すなわち期待値ベクトルμ_ｋ、共分散行列Σ_ｋおよび重み係数π_ｋを決定し、決定したパラメータを式（７）に適用することにより、肌色モデルの作成を終了する。このように作成された肌色モデルは、対象画像の各画素の画素値を入力した場合、その画素が肌色であることの確率を出力するものとなる。作成された肌色モデルは記憶部１０に記憶される。なお、対象画像に複数の人物が含まれる場合には、肌色モデルは人物毎に複数作成される。

検出部７は、対象画像の各画素に対して肌色モデルを適用し、各画素について肌色であることの確率を算出する。そして、肌色モデル毎に確率マップを作成し、確率マップに基づいて肌色領域を検出する。なお、検出部７が行う処理の詳細については後述する。

次いで、本実施形態において行われる処理について説明する。図３は本実施形態において行われる肌色モデル作成処理のフローチャートである。オペレータが操作部９を操作して、肌色モデルの作成の指示を装置１に対して行うことによりＣＰＵ１２が処理を開始し、入力部２が対象画像を装置１に入力する（ステップＳＴ１）。次いで、顔検出部３が対象画像から顔を検出し（ステップＳＴ２）、サンプル取得部４が検出されたすべての顔から肌色サンプル領域を取得する（ステップＳＴ３）。

そして、肌色モデル作成の対象を最初の顔に設定し（ステップＳＴ４）、特徴量抽出部５がその顔から取得した肌色サンプル領域から複数の特徴量を抽出する（ステップＳＴ５）。そして、モデル作成部６が、上述したように複数の特徴量に基づいて肌色モデルを作成し（ステップＳＴ６）、作成したモデルを記憶部１０に記憶する（ステップＳＴ７）。次いでＣＰＵ１２はすべての顔について肌色モデルを作成したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、肌色モデル作成の対象を次の顔に変更し（ステップＳＴ９）、ステップＳＴ５に戻り、ステップＳＴ５以降の処理を繰り返すよう、特徴量抽出部５およびモデル作成部６を制御する。ステップＳＴ８が肯定されると処理を終了する。

次いで、肌色領域の検出について説明する。図４は肌色領域検出処理のフローチャートである。オペレータが操作部９を操作して、肌色領域検出の指示を装置１に対して行うことによりＣＰＵ１２が処理を開始し、検出部７が最初の肌色モデルを記憶部１０から読み出す（ステップＳＴ２１）。そして、対象画像の各画素を肌色モデルに適用して、その肌色モデルについての対象画像の確率マップを作成する（ステップＳＴ２２）。確率マップは、対象画像の各画素の画素値を出した確率により表したものである。

次いでＣＰＵ１２はすべての肌色モデルの確立マップを作成したか否かを判定し（ステップＳＴ２３）、ステップＳＴ２３が否定されると、肌色モデルを次の肌色モデルに変更し（ステップＳＴ２４）、ステップＳＴ２３が肯定されるまでステップＳＴ２２の処理を行う。

図５は確率マップの作成を説明するための図である。なお、対象画像は図２に示すものを用いるものとする。また、図５においては確率が低くなるほどハッチングを密にして示すものとする。肌色モデルが左側の人物Ｐ１に対応するものである場合、確率マップＭ１においては、左側の人物Ｐ１の確率が大きく、右側の人物Ｐ１の確率は低くなる。一方、肌色モデルが右側の人物Ｐ２に対応するものである場合、確率マップＭ２においては、右側の人物Ｐ２の確率が大きく、左側の人物Ｐ１の確率は低くなる。

次いで、検出部７は確率マップを統合する（ステップＳＴ２５）。確率マップの統合は、確率マップの互いに対応する画素同士を加算することにより行う。図６は確率マップの統合を説明するための図である。図６に示すように、確率マップＭ１，Ｍ２を統合することにより、左右の人物Ｐ１，Ｐ２の顔の確率が高い統合確率マップＭｔが作成される。

次いで検出部７は、統合確率マップをしきい値Ｔｈ１を用いて二値化処理して、統合確率マップを肌色領域とそれ以外の領域とに分離する（ステップＳＴ２６）。そして、分離した肌色領域および肌色以外の領域における孤立点の除去および穴埋め処理を行うことにより肌色マスクを作成する（ステップＳＴ２７）。孤立点の除去は、肌色領域以外の領域に含まれる所定サイズよりも小さい肌色領域を除去する処理である。穴埋め処理は、肌色領域に含まれる所定サイズよりも小さい肌色以外の領域を除去する処理である。これにより、図７に示すように肌色マスクＭ０が作成される。

そして、検出部７は、作成した肌色マスクを用いて対象画像から肌色領域を検出し（ステップＳＴ２８）、処理を終了する。

このように本実施形態においては、対象画像に含まれる人物毎に肌色モデルを作成し、肌色モデルを参照して対象画像から肌色領域を検出するようにしたため、作成された肌色モデルは対象画像に含まれる人物の肌色に適したものとなる。したがって、作成された肌色モデルを用いることにより、対象画像から肌色領域を精度良く検出することができる。

とくに、対象画像から取得した肌色サンプル領域の特徴量を用いて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成するようにしたため、作成された肌色モデルを対象画像に含まれる肌色により適したものとすることができる。

また、対象画像から顔領域を検出し、検出した顔領域に含まれる所定範囲の領域を肌色サンプル領域として取得することにより、肌色サンプル領域を自動で取得することができる。

また、対象画像に複数の人物が含まれる場合、人物毎に肌色モデルを作成することにより、対象画像に含まれるすべての人物についての肌色領域を精度良く検出することができる。

なお、上記実施形態においては、顔検出部３により対象画像から顔領域を検出しているが、対象画像をモニタ８に表示し、オペレータが操作部９を用いて顔領域を指定するようにしてもよい。

また、上記実施形態においては、サンプル取得部４により顔領域から肌色サンプル領域を取得しているが、対象画像をモニタ８に表示し、オペレータが操作部９を用いて肌色サンプル領域を指定するようにしてもよい。

また、上記実施形態においては、各画素の色相、彩度、明度、エッジ強度および正規化したＲＧＢ値の７個の特徴量を用いて肌色モデルを作成しているが、特徴量としてはこれに限定されるものではなく、例えば各画素の色相、彩度および明度のみを特徴量として肌色モデルを作成してもよく、上述した７個の特徴量以外の他の特徴量を用いて肌色モデルを作成してもよい。

また、上記実施形態においては、複数の特徴量の統計的な分布をガウス混合モデルにより近似し、ガウス混合モデルを用いたＥＭアルゴリズムにより肌色モデルを作成しているが、肌色モデルの作成はこれに限定されるものではなく、対象画像に含まれる人物毎に肌色モデルを作成できれば、いかなる手法を用いてもよい。

また、上記実施形態においては、作成した肌色モデルを用いて対象画像に含まれるすべての肌色領域を検出しているが、肌色モデル毎に肌色領域をラベリングしてもよい。例えば、図２に示す対象画像の場合、図５に示すように左右の人物Ｐ１，Ｐ２毎に確率マップＭ１，Ｍ２が作成されるため、確率マップＭ１，Ｍ２のそれぞれにおいて値が高くなる領域（すなわち値が所定のしきい値以上となる領域）を別個にラベリングするようにしてもよい。図２に示す対象画像の場合、右側の人物Ｐ１の肌色領域および左側の人物Ｐ２の肌色領域がそれぞれ異なるラベリングがなされる。これにより、人物毎に肌色領域を検出することが可能となる。

ここで、確率マップＭ１の場合、肌色モデルは人物Ｐ１の顔領域から取得した肌色サンプル領域を用いて作成されているため、人物Ｐ１の顔領域の確率は大きくなる。しかしながら、顔の肌色と手の肌色とは必ずしも一致しないため、人物Ｐ１の手については顔領域よりも確率は低くなる。このため、同じ肌色モデルを用いた場合であっても、確率が大きい肌色領域と確率が小さい肌色領域とで異なるラベリングを行うようにしてもよい。例えば、確率を複数のしきい値を用いて分類し、分類した確率の区分からなる領域毎に異なるラベリングを行うようにしてもよい。これにより、顔の肌色領域と顔以外の手等の肌色領域とを別個に検出できることとなる。

また、同じ肌色であっても、顔領域と手の領域とではサイズが異なるため、肌色領域のサイズに応じて、異なるラベリングを行うようにしてもよい。

また、顔に対応する肌色であっても、目および口については、顔におけるその他の部分の肌色とは大きく異なる。このため、肌色マスクを用いて肌色領域を検出した後、再度確率マップＭ１，Ｍ２を適用し、検出した肌色領域における確率が小さい領域（例えば確率がしきい値Ｔｈ２以下となる領域）と、それ以外の領域とで異なるラベリングを行うようにしてもよい。これにより、目および口等の顔の構成部品を除いた顔の肌色領域を検出することが可能となる。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の入力部２、顔検出部３、サンプル取得部４、特徴量抽出部５、モデル作成部６および検出部７に対応する手段として機能させ、図３，４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。

本発明の実施形態による肌色検出装置の構成を示す概略ブロック図 対象画像の例を示す図 肌色モデル作成処理のフローチャート 肌色領域検出処理のフローチャート 確率マップの作成を説明するための図 確率マップの統合を説明するための図 肌色マスクの作成を説明するための図

符号の説明

１ 肌色検出装置
２ 入力部
３ 顔検出部
４ サンプル取得部
５ 特徴量抽出部
６ モデル作成部
７ 検出部

Claims (7)

1. 対象画像に含まれる人物毎に、該対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成する肌色モデル作成手段と、
   前記肌色モデルを参照して、前記対象画像から前記肌色の画素からなる肌色領域を検出する検出手段とを備えたことを特徴とする肌色検出装置。
2. 前記肌色モデルが複数作成された場合、前記検出手段は、肌色モデル毎に前記肌色領域を検出する手段であることを特徴とする請求項１記載の肌色検出装置。
3. 前記肌色モデル作成手段は、前記対象画像から肌色サンプル領域を取得するサンプル取得手段と、
   前記肌色サンプル領域から複数の特徴量を抽出する特徴量抽出手段と、
   前記複数の特徴量に基づいて前記肌色モデルを統計的に作成するモデル作成手段とを備えたことを特徴とする請求項１または２記載の肌色検出装置。
4. 前記モデル作成手段は、前記複数の特徴量の統計的な分布をガウス混合モデルにより近似し、該ガウス混合モデルを用いたＥＭアルゴリズムにより前記肌色モデルを作成する手段であることを特徴とする請求項３記載の肌色検出装置。
5. 前記対象画像から顔領域を検出する顔検出手段をさらに備え、
   前記サンプル取得手段は、前記顔検出手段が検出した顔領域に含まれる所定範囲の領域を前記肌色サンプル領域として取得する手段であることを特徴とする請求項３または４記載の肌色検出装置。
6. 対象画像に含まれる人物毎に、該対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成し、
   前記肌色モデルを参照して、前記対象画像から前記肌色の画素からなる肌色領域を検出することを特徴とする肌色検出方法。
7. 対象画像に含まれる人物毎に、該対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成する手順と、
   前記肌色モデルを参照して、前記対象画像から前記肌色の画素からなる肌色領域を検出する手順とを有することを特徴とする肌色検出方法をコンピュータに実行させるためのプログラム。

Images