JP2010271921A - 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム - Google Patents

Abstract

【課題】
画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法等を提供する。
【解決手段】
皮膚領域抽出方法において、画像から顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップＳ１０と、サンプル領域内の各画素について、輝度の値に応じて複数の群のいずれかに区分し、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める色差モデル生成ステップＳ２０と、画像内の関心領域内の画素のそれぞれについて、各画素ごとに、色差モデルのうち、画素の輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、各画素の確率の集合からなる第１の２次元確率分布を求める第１の２次元確率分布生成ステップＳ３０と、第１の２次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出ステップＳ４０とを有する。
【選択図】 図４

Description

本発明は、画像に含まれる皮膚の領域を抽出する皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムに関する。

例えばカメラ等から出力された画像データの画像から顔の輪郭を抽出したり、顔と手の位置関係を正確に把握したりするために、画像から皮膚の領域を抽出する技術が広く用いられている。皮膚の領域を抽出する方式として、画像の各画素を輝度成分Ｙと色差成分Ｃｒ，Ｃｂとで表わし、画素の色差値を、色差成分で表わした皮膚の色の基準と比較することによって皮膚か否かを判定する方法が知られている（例えば、特許文献１および非特許文献１）。画素と皮膚の基準とを色差成分で比較することによって、輝度の変化による誤差が抑えられる。

特開２００８−３３６５４号公報

"Ａ Ｓｕｒｖｅｙ ｏｎ Ｐｉｘｅｌ−Ｂａｓｅｄ Ｓｋｉｎ Ｃｏｌｏｒ Ｄｅｔｅｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ"， Ｖｌａｄｉｍｉｒ Ｖｅｚｈｎｅｖｅｔｓ， ｅｔｃ．， Ｐｒｏｃｅｅｄｉｎｇ ｏｆ Ｇｒａｐｈｉｃｏｎ−２００３， Ｍｏｓｃｏｗ．

しかし、従来の方法では、輝度の変化による、色の変化にまで対応することができない。すなわち、例えばカメラの被写体に対する照明の当たり方が異なる部分では、同じ皮膚でも色が異なる。したがって皮膚の抽出が精密に行えない。

本発明は上記問題点を解決し、画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムを提供することを目的とするものである。

上記目的を達成する本発明の皮膚領域抽出方法は、
複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップと、
上記領域決定ステップで決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成ステップと、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成ステップと、
上記２次元確率分布生成ステップで求められた第１の２次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出ステップとを有することを特徴とする。

本発明の皮膚領域抽出方法では、輝度の値に応じて区分された複数の群ごとに群に属する複数の画素の色差ごとの出現頻度を表わす色差モデルが生成され、抽出を行なおうとする関心領域内の画素のそれぞれについて画素の輝度に応じた色差モデルに基づいた抽出が行われるので、例えば被写体に対する照明の当たり方が異なる場合でも皮膚の領域が精密に抽出される。

ここで、上記本発明の皮膚領域抽出方法において、
上記領域決定ステップが、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定ステップと、
上記第１の領域決定ステップで決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成ステップと、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成ステップと、
上記第２の２次元確率分布生成ステップで算出された第２の２次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第２の領域決定ステップとを有することが好ましい。

皮膚の色差モデルを求める場合に、色差モデルを生成するサンプル領域を画像内で広く確保すると、皮膚以外の部分がサンプル領域に含まれてしまい、誤った抽出が行われるおそれがある。そこで、はじめに相対的に狭い仮サンプル領域に基づいて仮色差モデルを生成し、この仮の色差モデルに基づいて皮膚と推定される領域を算出し、皮膚と推定される領域内に改めて相対的に広いサンプル領域を決定してから色差モデルを生成することにより、色差モデルが輝度の群別に生成されても、サンプル数が十分に確保された色差モデルを得ることができ、より精密な皮膚領域の抽出が可能となる。

また、上記本発明の皮膚領域抽出方法において、
上記第２の領域決定ステップが、
上記第２の２次元確率分布生成ステップで算出された第２の２次元確率分布を平滑化する平滑化ステップと、
上記平滑化ステップによる平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定ステップとを有することが好ましい。

相対的に広いサンプル領域を決定する場合に、色差モデルに基づいて皮膚と推定される確率のピークとなる位置を含んで広がることで、広いサンプル領域を簡単に確保することが可能となる。

また、上記目的を達成する本発明の皮膚領域抽出装置は、
複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成部と、
上記２次元確率分布生成部によって求められた第１の２次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを有することを特徴とする。

ここで、上記皮膚領域抽出装置においても、
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定部と、
上記第１の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成部と、
上記第２の２次元確率分布生成部によって算出された第２の２次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第２の領域決定部とを有することが好ましい。

また、上記皮膚領域抽出装置において、
上記第２の領域決定部が、
上記第２の２次元確率分布生成部によって算出された第２の２次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。

また、上記目的を達成する本発明の皮膚領域抽出プログラムは、
プログラムを実行する演算装置内で実行され、この演算装置を、皮膚領域抽出装置として動作させる皮膚領域抽出プログラムであって、
上記演算装置を、
複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成部と、
上記２次元確率分布生成部によって求められた第１の２次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを備えた皮膚領域抽出装置として動作させる特徴とする。

ここで、上記皮膚領域抽出プログラムにおいても、
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定部と、
上記第１の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成部と、
上記第２の２次元確率分布生成部によって算出された第２の２次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第２の領域決定部とを有することが好ましい。

また、上記皮膚領域抽出プログラムにおいて、
上記第２の領域決定部が、
上記第２の２次元確率分布生成部によって算出された第２の２次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。

以上説明したように、本発明によれば、画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムが実現する。

本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。 図１に示すパーソナルコンピュータの外観斜視図である。 図２に示すパーソナルコンピュータのハードウエア構成図である。 パーソナルコンピュータを利用して実施される皮膚領域抽出方法の一例を示すフローチャートである。 皮膚領域抽出装置の一例を示すブロック図である。 画像データが表わす画像の例を示す図である。 仮色差モデル生成部によって求められた色差の種類ごとの出現頻度を表すヒストグラムである。 仮皮膚確率分布図生成部により生成された２次元確率分布の例を示す図である。 図８に示す２次元確率分布に平滑化処理が施された例を示す図である。 図９に示す平滑化された２次元確率分布における各列の画素の累積値の分布と、各行の画素の累積値の分布を示す図である。 図６と同じ単純化した顔の画像と拡大サンプル領域とを示す図である。 色差モデル生成部によって求められた出現頻度を表すヒストグラムである。 色差モデル生成部によって求められる平均値および標準偏差を示すテーブルである。 各画素の輝度と色差の関係の一例を示すグラフである。 ２次元確率分布生成部１３０により生成された２次元確率分布の例を示す図である。 図１５に示す２次元確率分布の例皮膚領域抽出部によって抽出された皮膚の領域を示す図である。

以下図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。

図１に示す監視カメラシステム１の概略構成図には、監視カメラ１０と、本発明の一実施形態である皮膚領域抽出装置として動作するパーソナルコンピュータ３０とが示されている。

監視カメラ１０は、例えば銀行の現金自動預入支払装置に設置されたものであって、この現金自動預入支払装置を操作する利用者を撮影するものである。この監視カメラ１０は、動画像を表す画像データをパーソナルコンピュータ３０に向けて送信する。画像データは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３色分の画素値によって表わされる画素の２次元的配列からなる画像を表わすものである。尚、以下では、データ上の画像も単に「画像」と称する。

パーソナルコンピュータ３０は、監視カメラ１０から送信される画像を受け取る。また、このパーソナルコンピュータ３０は、監視カメラ１０で撮影された画像を一括管理するものである。

監視カメラ１０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の皮膚領域抽出装置として動作するパーソナルコンピュータ３０についてさらに説明する。

図２は、図１に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図３は、そのパーソナルコンピュータ３０のハードウエア構成図である。

ここでは、このパーソナルコンピュータ３０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される皮膚領域抽出プログラムとにより、本発明の一実施形態としての皮膚領域抽出装置が構成されている。

このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口３１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口３１ｂを有する。

本体装置３１の内部には、図３に示すように、各種プログラムを実行するＣＰＵ３０１、ハードディスク装置３０３に格納されたプログラムが読み出されＣＰＵ３０１での実行のために展開される主メモリ３０２、各種プログラムやデータ等が保存されたハードディスク装置３０３、ＭＯ３３１が装填されてその装填されたＭＯ３３１をアクセスするＭＯドライブ３０４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ３３２をアクセスするＣＤ／ＤＶＤドライブ３０５、および図１に示す監視カメラ１０での撮影により得られた画像データを受信するインターフェース３０６が内蔵されている。これらの各種要素と、さらに図２にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３０７を介して相互に接続されている。

ここで、ＣＤ／ＤＶＤ３３２には、このパーソナルコンピュータを皮膚領域抽出装置として動作させるための皮膚領域抽出プログラムが記憶されており、そのＣＤ／ＤＶＤ３３２は、ＣＤ／ＤＶＤドライブ３０５に装填され、そのＣＤ／ＤＶＤ３３２に記憶された皮膚領域抽出プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク３０３に格納される。このハードディスク装置３０３に格納された皮膚領域抽出プログラムは、このハードディスク装置３０３から読み出され主メモリ３０２上に展開されてＣＰＵ３０１で実行されることにより、このパーソナルコンピュータ３０が皮膚領域抽出装置として動作する。

また、ハードディスク装置３０３には、皮膚領域抽出プログラムの他にも、皮膚領域抽出プログラムの処理結果から、画像に写った利用者がいわゆる振り込め詐欺に遭って電話で話しているか否かを監視するため、顔の脇に手があるか否かを検出するプログラムも格納されているが、これらのプログラムは本発明の主題ではないため詳細な説明を省略し、皮膚領域抽出プログラムについてさらに説明する。

図４は、図１〜図３に示すパーソナルコンピュータ３０を利用して実施される皮膚領域抽出方法の一例を示すフローチャートである。

この図４に示す皮膚領域抽出方法は、領域決定ステップ（Ｓ１０）と、色差モデル生成ステップ（Ｓ２０）と、２次元確率分布生成ステップ（Ｓ３０）と、皮膚領域抽出ステップ（Ｓ４０）とを有する。

領域決定ステップＳ１０は、画像から人の顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する。領域決定ステップＳ１０は、特徴点検出ステップＳ１１と、仮サンプル領域決定ステップＳ１２と、仮色差モデル生成ステップＳ１３と、仮皮膚確率分布図生成ステップＳ１４と、皮膚領域中心点算出ステップＳ１５と、拡大サンプル領域決定ステップＳ１６とを有する。各ステップの詳細は後述する。

色差モデル生成ステップＳ２０は、領域決定ステップＳ１０で決定されたサンプル領域内の各画素について、画素値から輝度および色差を求め、サンプル領域内の複数の画素の各色差ごとの出現頻度を表わす色差モデルを求める。

２次元確率分布生成ステップＳ３０は、サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、色差モデルに基づいて各画素についての人の皮膚である確率を求める。これによって、２次元確率分布生成ステップＳ３０は、関心領域内の各画素の確率の集合からなる、関心領域内に２次元に広がる第１の２次元確率分布を求める。尚、本実施形態における関心領域は、監視カメラ１０から送信される画像の全範囲の領域である。また、本実施形態における、２次元確率分布は、上記領域決定ステップＳ１０でも生成されるものであり、２つの２次元確率分布は対象範囲が互いに異なる。そこで、２次元確率分布生成ステップＳ３０で生成される２次元確率分布を第１の２次元確率分布と称し、領域決定ステップＳ１０で生成される２次元確率分布を第２の２次元確率分布と称する。

皮膚領域抽出ステップＳ４０は、２次元確率分布生成ステップＳ３０で求められた第１の２次元確率分布に基づいて画像内における皮膚の領域を抽出する。

図５は、皮膚領域抽出装置の一例を示すブロック図である。この皮膚領域抽出装置１００は、図１〜図３に示すパーソナルコンピュータ３０内にアップロードされた皮膚領域抽出プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、領域決定部１１０と、色差モデル生成部１２０と、２次元確率分布生成部１３０と、皮膚領域抽出部１４０とを有する。このうち、領域決定部１１０は、特徴点検出部１１１と、仮サンプル領域決定部１１２と、仮色差モデル生成部１１３と、仮皮膚確率分布図生成部１１４と、皮膚領域中心点算出部１１５と、拡大サンプル領域決定部１１６とを有する。

図４に示す皮膚領域抽出方法との対比では、図５の皮膚領域抽出装置１００の全体が図４の皮膚領域抽出方法に相当し、領域決定部１１０が領域決定ステップＳ１０に相当し、色差モデル生成部１２０が色差モデル生成ステップＳ２０に相当し、２次元確率分布生成部１３０が２次元確率分布生成ステップＳ３０に相当し、皮膚領域抽出部１４０が皮膚領域抽出ステップＳ４０に相当する。また、領域決定部１１０を構成する特徴点検出部１１１が特徴点検出ステップＳ１１に相当し、仮サンプル領域決定部１１２が仮サンプル領域決定ステップＳ１２に相当し、仮色差モデル生成部１１３が仮色差モデル生成ステップＳ１３に相当し、仮皮膚確率分布図生成部１１４が仮皮膚確率分布図生成ステップＳ１４に相当し、皮膚領域中心点算出部１１５が皮膚領域中心点算出ステップＳ１５に相当し、拡大サンプル領域決定部１１６が拡大サンプル領域決定ステップＳ１６に相当する。

また、図４の各部の間を結ぶ矢印は、各部間でやり取りされる主要なデータの流れを表わしている。より詳細には、図４に示す各部は、データをやり取りする際に、データを出力する側が処理結果のデータを記憶部としての図２に示す主メモリ３０２に記憶させ、データを受け取る側が主メモリ３０２から処理対象のデータを読み出す。つまり、データのやり取りは、主メモリ３０２への書き込みおよび主メモリ３０２からの読出しを介して行われるが、各部の機能、およびデータの流れを分かりやすくするため、各部による主メモリ３０２への書き込みおよび読出しについては図示および説明を適宜省略する。

尚、パーソナルコンピュータ３０内で皮膚領域抽出プログラムが実行されたときの皮膚領域抽出プログラムの作用は、図５に示す皮膚領域抽出装置の作用と同一であり、ここでは、皮膚領域抽出プログラムを取り上げての図示および説明は省略する。また、パーソナルコンピュータ３０には、図４に示す各部の処理結果から、顔の脇に手があるか否かを検出するブロックも有するが、これらのブロックは本発明の主題ではないため詳細な説明を省略する。

以下では、図５に示す皮膚領域抽出装置１００の各部の作用について説明する。この説明により皮膚領域抽出プログラムおよび図４に示す皮膚領域抽出方法を構成する各ステップの説明を兼ねるものとする。

図５に示す皮膚領域抽出装置１００は、複数色分の画素値によって表わされる画素の２次元的配列からなる画像から皮膚の領域を抽出する装置である。

領域決定部１１０は、画像から人の顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する。

領域決定部１１０の特徴点検部１１１は、監視カメラ１０から受信した画像データが表す画像から顔の特徴点、より詳細には一対の目および口を検出する。目および口を検出する方法としては、まず、画像から人の顔の目および口を囲む矩形領域を検出し、次に、矩形領域から目および口の位置を決定する公知の方法が採用可能である。例えば、例えば特開２００６−２８５９５９に示された公知の方法を用いることができる。この方法による矩形領域の検出方法を説明する。

特徴点検部１１１は、入力された画像データの画像から、例えば３２×３２画素サイズの部分画像を切り出すサブウィンドウを設定し、サブウィンドウを例えば５画素分ずつ移動させながら、このサブウィンドウで切り出された部分画像が顔の画像であるか否かの判別を行なう。画像上での顔の大きさは、監視カメラ１０のズーム倍率や利用者自身の顔の大きさによって異なるため、サブウィンドウで部分画像を切り出す対象の画像としては、入力された画像そのものだけでなく、入力された画像を複数段階の解像度に変換した複数の画像、さらに、これら複数の画像を複数段階の角度で回転処理した複数の画像も対象とする。

切り出された部分画像が顔の画像であるか否かの判別は、例えば３２×３２画素サイズで規格化された、前もって顔であることが分かっているサンプル画像と、前もって顔でないことが分かっているサンプル画像とについて評価スコアを算出しておき、サブウィンドウで切り出した部分画像についての評価スコアとの一致度を算出することによって行なう。顔であることが分かっているサンプル画像としては、正面を向いた顔のサンプルに加えて、横向きや、上下を斜めに向いた顔のサンプルの画像についても評価スコアを算出しておく。ここで評価スコアは、３２×３２画素サイズの各画像内の所定の２点を１ペアとして、複数のペアからなるペア群を設定したときの、各ペアにおける２点間の輝度の差分を算出したときの、ペア群における差分の分布すなわち、差分に対する度数のヒストグラムである。

特徴点検部１１１は、監視カメラ１０から受けた画像、およびこの画像を解像度変換し回転処理して生成した複数の画像のそれぞれについて、サブウィンドウを移動しながら部分画像を順次切り出し、切り出した部分画像の評価スコアを算出する。その結果、顔であることが分かっている複数のサンプル画像のいずれかの画像の評価スコアとの一致度が高く、かつ、顔でないことが分かっているサンプル画像の評価スコアとの一致度が低いサブウィンドウを選択する。このサブウィンドウが、顔を含んだ矩形領域となる。尚、評価スコアとの一致度は、具体的には、ヒストグラムの相関係数を算出することによって求められる。

図６は、画像データが表わす画像の例を示す図である。図６のパート（Ａ）には、処理の説明を分かりやすくするため単純化した人の顔の画像の例が示されている。

特徴点検部１１１は、例えば、図６に示す画像から、顔であることが分かっているサンプル画像の評価スコアとの一致度が高く、かつ、顔でないことが分かっているサンプル画像の評価スコアとの一致度が低いサブウィンドウである矩形領域Ｗが選択される。

また、特徴点検部１１１は、画像の矩形領域Ｗ内における、目および口の位置を検出する。より詳細には、目として瞳を検出する。目および口の位置は、一般的な瞳および口の色範囲に属する画素を探索することで検出する。特徴点検部１１１は、瞳のそれぞれの中心、および口の両端すなわち口角の位置を目および口位置として決定する。

図６には、特徴点検部１１１によって、目の位置Ｐ１，Ｐ２および口の両端の位置Ｐ３，Ｐ４が検出されている。尚、目の位置Ｐ１，Ｐ２および口の両端の位置Ｐ３，Ｐ４を表わす位置データは主メモリ３０２に記憶されることによって、仮サンプル領域決定部１１２に送られる。

仮サンプル領域決定部１１２は、特徴点検部１１１によって検出された特徴点の位置データに基づいて人の皮膚と推定される仮サンプル領域を決定する。より詳細には、仮サンプル領域決定部１１２は、特徴点検部１１１によって検出された目の位置Ｐ１，Ｐ２および口の両端の位置Ｐ３，Ｐ４の重心点Ｃ１を算出し、重心点Ｃ１を中心とした領域を仮サンプル領域Ｒ１とする。

図６には、仮サンプル領域決定部１１２によって決定された、重心点Ｃ１を中心とした仮サンプル領域Ｒ１が示されている。ここで、仮サンプル領域Ｒ１は、皮膚検出の基準となる皮膚の色モデルを抽出するための領域なので、領域が大きいほど、すなわちサンプル数が多いほど好ましいものの、皮膚でない部分が含まれないように領域の大きさが決定される必要がある。特に、人が横を向いている場合には、目および口の位置に応じた重心点Ｃ１を中心に広い仮サンプル領域Ｒ１を設定すると、顔でない部分が含まれやすい。したがって、例えば、仮サンプル領域Ｒ１は、大きさが２つの目を超えない程度に設定される。このように、仮サンプル領域決定部１１２によって決定される仮サンプル領域Ｒ１は、特徴点の位置に基づいて設定されることから、後に設定されるサンプル領域よりも狭い領域である。

ここで、特徴点検部１１１および仮サンプル領域決定部１１２の組み合わせが、本発明にいう第１の領域決定部の一例に相当する。

仮色差モデル生成部１１３は、仮サンプル領域決定部１１２でによって決定された仮サンプル領域Ｒ１の各画素について、画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める。

仮色差モデル生成部１１３は、仮サンプル領域Ｒ１の各画素について、３色分の画素値Ｒ，Ｇ，Ｂから色差値Ｒ−Ｙ，Ｇ−Ｙ，Ｂ−Ｙを算出する。ここでＹは画素の輝度を意味し、３色分の画素値から下式を計算することによって求められる。
Ｙ ＝ ０．２９９Ｒ ＋ ０．５８７Ｇ ＋ ０．１１４Ｂ
仮色差モデル生成部１１３は、各画素について、色差Ｒ−Ｙ，Ｇ−Ｙ，Ｂ−Ｙの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。また、出現頻度の平均値および標準偏差も算出する。

図７は、仮色差モデル生成部によって求められた各色差ごとの出現頻度を表すヒストグラムである。図７には、色差Ｃｒ（Ｒ−Ｙ），Ｃｂ（Ｇ−Ｙ），Ｃｇ（Ｂ−Ｙ）ごとに、各色差ごとの、仮サンプル領域Ｒ１の画素の出現頻度が示されている。仮色差モデル生成部１１３は、図７に示す出現頻度が正規分布であるとみなし、色差の種類ごとに、画素の色差値の平均値および標準偏差も算出する。この平均値および標準偏差が仮色差モデルである。

仮皮膚確率分布図生成部１１４は、サンプル領域を含む関心領域内の画素のそれぞれについて、仮色差モデルに基づいて、各画素についての人の皮膚である確率を求める。ここで、関心領域とは、画像のうち皮膚を検出しようとする領域であり本実施形態では画像全体が関心領域であるとするが、例えば、画像中に人が現れ得る領域が予め分かっている場合には、その分かっている領域を画像中の関心領域として皮膚検出の精度を高めることができる。

仮皮膚確率分布図生成部１１４、まず、関心領域内すなわち画像内の画素のそれぞれについて、画素値Ｒ，Ｇ，Ｂから輝度Ｙおよび色差Ｃｒ，Ｃｂ，Ｃｇを算出し、仮色差モデル生成部１１３によって求められた仮色差モデルに基づいて人の皮膚である確率を求める。皮膚である確率は、対象画素の色差の値が仮色差モデルの平均値からどれだけの偏差を有して離れているかに応じてきまる。より詳細には、色差Ｃｒ（＝Ｒ−Ｙ），Ｃｂ（＝Ｇ−Ｙ），Ｃｇ（＝Ｂ−Ｙ）の種類をｑとし、仮色差モデルである色差の種類ごとの平均値および標準偏差をσ_ｑおよびａｖｅｒａｇｅ_ｑとすると、皮膚である確率Ｐ_ｓｋｉｎは、下式を算出することにより求められる。

仮皮膚確率分布図生成部１１４は、皮膚である確率を画素ごとに求めることによって、関心領域すなわち画像全体の中の各画素の確率の集合からなる２次元確率分布を算出する。この２次元確率分布は、画像内に２次元に広がるものである。

ここで、仮皮膚確率分布図生成部１１４が本発明にいう第２の２次元確率分布生成部の一例に相当し、仮皮膚確率分布図生成部１１４が求める２次元確率分布が、本発明にいう第２の２次元確率分布の一例に相当する。

図８は、仮皮膚確率分布図生成部により生成された２次元確率分布の例を示す図である。図８は、実際の画像を表わす画像データに対し、仮皮膚確率分布図生成部１１４が皮膚である確率を画素ごとに算出することによって生成したデータを表わしている。図８では、確率が高い画素ほど明るく表示されている。

皮膚確率分布図生成部によって生成された２次元確率分布では、人の皮膚の部分が特に明るく示されている。しかし、人の皮膚ではない背景部分にも明るい画素の部分が含まれている。

皮膚領域中心点算出部１１５および拡大サンプル領域決定部１１６は、仮サンプル領域よりも広い領域を拡大サンプル領域として決定する。

皮膚領域中心点算出部１１５は、皮膚確率分布図生成部によって生成された２次元確率分布に対し、平滑化処理を施す。平滑化処理は、例えば、近傍画素どうしの値の平均を算出する平均フィルタ処理によって実現される。

図９は、図８に示す２次元確率分布に平滑化処理が施された例を示す図である。

平滑化処理によって、皮膚の確率が高い画素が多く分布している領域の中央付近Ｐｅａｋに値のピークが現れる。

図１０は、図９に示す平滑化された２次元確率分布における各列の画素の累積値の分布と、各行の画素の累積値の分布を示す図である。図１０の左下には図９に示す、平滑化された２次元確率分布が示されている。ここで、皮膚領域中心点算出部１１５によって平滑化された２次元確率分布が、本発明にいう第３の２次元確率分布の一例に相当する。

皮膚領域中心点算出部１１５は、図１０の左上に示すように、列（縦）に並んだ画素の確率の累積値を行ごとに算出して最大値となる行を求め、図１０の右下に示すように、行（横）に並んだ画素の確率の累積値を列ごとに算出して最大値となる列を求める。そして、最大値となる行および列と中心点の座標とする。

拡大サンプル領域決定部１１６は、皮膚領域中心点算出部１１５によって決定された中心点を中心として、仮サンプル領域よりも広い拡大サンプル領域を決定する。

図１１は、図６と同じ単純化した顔の画像と拡大サンプル領域とを示す図である。

図１１に示すように、拡大サンプル領域決定部１１６は、平滑化した２次元確率分布におけるピーク値を有する画素の位置を中心点Ｃ２として、この中心点Ｃ２の周囲に拡大サンプル領域Ｒ２を決定する。拡大サンプル領域Ｒ２の中心点Ｃ２は、平滑化した２次元確率分布におけるピークであり、皮膚の確率が高い画素が多く分布している領域の中央付近である。したがって、拡大サンプル領域Ｒ２を仮サンプル領域よりも広く確保しても、拡大サンプル領域Ｒ２内に皮膚でない部分が含まれる可能性は低い。よって、次に説明する色差モデル生成部１２０によって色差モデルを生成する際に、皮膚でない画素が避けられ、かつ、多くの画素がサンプルとして用いられる。

ここで、皮膚領域中心点算出部１１５が本発明にいう平滑化部の一例に相当し、拡大サンプル領域決定部１１６が本発明にいう拡大領域決定部の一例に相当する。また、皮膚領域中心点算出部１１５および拡大サンプル領域決定部１１６の組み合わせが、本発明にいう第２の領域決定部の一例に相当する。

色差モデル生成部１２０は、領域決定部１１０で決定された拡大サンプル領域Ｒ２（図１１参照）内の各画素について、画素値から輝度および色差を求め、拡大サンプル領域Ｒ２内の複数の画素の各色差ごとの出現頻度を表わす色差モデルを求める。色差モデル生成部１２０は、拡大サンプル領域Ｒ２の各画素について、３色分の画素値Ｒ，Ｇ，Ｂから色差値Ｒ−Ｙ，Ｇ−Ｙ，Ｂ−Ｙを算出する。ここでＹは画素の輝度を意味し、３色分の画素値から下式を計算することによって求められる。
Ｙ ＝ ０．２９９Ｒ ＋ ０．５８７Ｇ ＋ ０．１１４Ｂ
色差モデル生成部１２０は、各画素について、色差Ｒ−Ｙ，Ｇ−Ｙ，Ｂ−Ｙの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。このとき、色差モデル生成部１２０は、上述した仮色差モデル生成部１１３と異なり、各画素を輝度Ｙの値に応じて複数の群のいずれかに区分する。そして、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める。例えば、色差モデル生成部１２０は、輝度Ｙの値が１００から２００までの範囲を１０の群に区分する。第１群は輝度Ｙの値が１００以上１１０未満であり、第２群は輝度Ｙの値が１１０以上１２０未満であり、第３群以降も同様に輝度Ｙの値で１０の範囲が割り当てられる。第１群から第１０群まで１０個の群のそれぞれに色差モデルが割り当てられる。色差モデル生成部１２０は、例えば、対象となる画素の輝度Ｙの値が１０５であれば、この画素の色差の値を第１群の色差モデル生成に用い、対象となる別の画素の輝度Ｙの値が１２３であれば、この別の画素の色差の値を第２群の色差モデル生成に用いる。

図１２は、色差モデル生成部によって求められた出現頻度を表すヒストグラムである。

色差モデル生成部１２０は、第１群から第１０群まで１０個の群ごとに、３種類の色差Ｃｒ（＝Ｒ−Ｙ），Ｃｂ（＝Ｇ−Ｙ），Ｃｇ（＝Ｂ−Ｙ）のすべてについて各色差ごとの画素の出現頻度を求める。また、出現頻度を表わす色差の平均値および標準偏差も算出する。この平均値および標準偏差が色差モデルとなる。平均値および標準偏差の組も１０個の群ごと、そして色差Ｃｒ，Ｃｂ，Ｃｇの種類ごとに算出される。各出現頻度中の一点鎖線は分布の平均値を表わしている。

図１３は、色差モデル生成部によって求められる平均値および標準偏差を示すテーブルである。

色差モデル生成部１２０は、輝度Ｙの値に応じて区分された１０個の群それぞれについて、また、３種類の色差Ｃｒ，Ｃｂ，Ｃｇのそれぞれについて、色差の平均値および標準偏差の値（ａｖａｒａｇｅ_Ｃｒ１，σ_Ｃｒ１），（ａｖａｒａｇｅ_Ｃｂ１，σ_Ｃｂ１），（ａｖａｒａｇｅ_Ｃｇ１，σ_Ｃｇ１），（ａｖａｒａｇｅ_Ｃｒ２，σ_Ｃｒ２），（ａｖａｒａｇｅ_Ｃｂ２，σ_Ｃｂ２），（ａｖａｒａｇｅ_Ｃｇ２，σ_Ｃｇ２），…（ａｖａｒａｇｅ_Ｃｒ１０，σ_Ｃｒ１０），（ａｖａｒａｇｅ_Ｃｂ１０，σ_Ｃｂ１０），（ａｖａｒａｇｅ_Ｃｇ１０，σ_Ｃｇ１０）を算出する。図１３に示す平均値および標準偏差の演算結果、出現頻度の演算結果とともに主メモリ３０２に書き込まれ、後述する２次元確率分布生成部１３０によって主メモリ３０２から読み出されて利用される。

色差モデル生成部１２０では、各色差の種類ごとの出現頻度、平均値および標準偏差が、輝度Ｙの値に応じた１０個の群それぞれについて求められるので、輝度の変化による色の変化に対応した出現頻度、平均値および標準偏差が得られる。

図１４は、各画素の輝度と色差の関係の一例を示すグラフである。図１４は、ある画像中の皮膚の領域に含まれる画素を、輝度Ｙの値に応じて１〜１０までの１０個の群に分け、それぞれの群に属する画素の色差値Ｃｒの平均値を示している。

多くの画像において、図１４に示すように、輝度Ｙの値が大きい群の画素ほど色差Ｃｒの平均値が大きく、輝度Ｙの値が小さい群の画素ほど色差Ｃｒの平均値が小さい。つまり、皮膚に対する照明の照度が小さい陰の部分の皮膚は、赤みが弱い。

本実施形態では、輝度の変化による色の変化に対応した出現頻度、平均値および標準偏差が得られる結果、皮膚が、輝度の変化に追従して精密に抽出されることとなる。例えば被写体に対する照明の当たり方に皮膚の場所によって差異があり、輝度に応じて皮膚の色に差異がある場合でも、皮膚の領域が精密に抽出される。

２次元確率分布生成部１３０は、サンプル領域を含む関心領域内、すなわち画像全体の画素のそれぞれについて、画素値から輝度および色差を求め、色差モデルに基づいて各画素についての人の皮膚である確率を求める。これによって、２次元確率分布生成部１３０は、関心領域内の各画素の確率の集合からなる、関心領域内に２次元に広がる第１の２次元確率分布を求める。

より詳細には、２次元確率分布生成部１３０は、仮皮膚確率分布図生成部１１４と同様に、まず、関心領域内すなわち画像内の画素のそれぞれについて、画素値Ｒ，Ｇ，Ｂから輝度Ｙおよび色差Ｃｒ，Ｃｂ，Ｃｇを算出し、図１３に示す色差モデルに基づいて人の皮膚である確率を求める。このとき、皮膚である確率は、画素の輝度Ｙの値が属する群の色差モデルに基づいて算出する。ここで、皮膚である確率は、対象画素の色差の値が、対応する群の色差モデルの平均値からどれだけの偏差を有して離れているかに応じている。より詳細には、色差Ｃｒ（＝Ｒ−Ｙ），Ｃｂ（＝Ｇ−Ｙ），Ｃｇ（＝Ｂ−Ｙ）の種類をｑとし、仮色差モデルである色差の種類ごとの平均値および標準偏差をσ_ｑおよびａｖｅｒａｇｅ_ｑとすると、皮膚である確率Ｐ_ｓｋｉｎは、下式を算出することにより求められる。

２次元確率分布生成部１３０は、皮膚である確率を画素ごとに求めることによって、関心領域すなわち画像全体の中の各画素の確率の集合からなる第１の２次元確率分布を算出する。この２次元確率分布は、画像内に２次元に広がるものである。

ここで、２次元確率分布生成部１３０が本発明にいう第１の２次元確率分布生成部の一例に相当する。

図１５は、２次元確率分布生成部１３０により生成された２次元確率分布の例を示す図である。図１５は、実際の画像を表わす画像データに対し、２次元確率分布生成部１３０が皮膚である確率を画素ごとに算出することによって生成したデータを表わしている。図１５では、確率が高い画素ほど明るく表示されている。

２次元確率分布生成部１３０により生成された第１の２次元確率分布は、図８に示す、仮皮膚確率分布図生成部により生成された第２の２次元確率分布に比べ、皮膚がより鮮明に示されている。

皮膚領域抽出部１４０は、２次元確率分布生成部１３０で求められた第１の２次元確率分布に基づいて画像内における皮膚の領域を抽出する。より詳細には、皮膚領域抽出部１４０は、第１の２次元確率分布において、確率が所定の閾値よりも高い画素を皮膚であると判定することいによって、皮膚と判定された画素からなる領域を、皮膚の領域として抽出する。

図１６は、図１５に示す２次元確率分布の例皮膚領域抽出部によって抽出された皮膚の領域を示す図である。

このように、本実施形態によれば、輝度の値に応じて区分された複数の群ごとに複数の画素の各色差ごとの出現頻度を表わす色差モデルが生成され、抽出を行なおうとする関心領域内の画素のそれぞれについて画素の輝度に応じた色差モデルに基づいた抽出が行われるので、例えば被写体に対する照明の当たり方が異なる場合でも皮膚の領域が精密に抽出される。

尚、上述した実施形態では、本発明にいう皮膚領域抽出装置および皮膚領域抽出装置を構成する各部の例として、皮膚領域抽出装置プログラムを実行するコンピュータおよびコンピュータにより実現される機能ブロックを説明したが、本発明はこれに限られるものではなく、例えば、皮膚領域抽出装置および各部は、ワイヤードロジックによる論理回路によって実現されるものであってもよい。

また、上述した実施形態では、本発明にいう色差モデル生成部および仮色差モデル生成部の例として、画素の出現頻度、分布の平均値、および標準偏差を求める色差モデル生成部１２０および仮色差モデル生成部１１３を示したが、本発明はこれに限られるものではなく、例えば、色差モデル生成部および仮色差モデル生成部は、出現頻度を求めることなく、分布の平均値および標準偏差を直接に算出するものであってもよい。

１０ 監視カメラ
３０ パーソナルコンピュータ
１００ 皮膚領域抽出装置
１１０ 領域決定部
１１１ 特徴点検出部
１１１ 特徴点検部
１１２ 仮サンプル領域決定部
１１３ 仮色差モデル生成部
１１４ 仮皮膚確率分布図生成部
１１５ 皮膚領域中心点算出部
１１６ 拡大サンプル領域決定部
１２０ 色差モデル生成部
１３０ ２次元確率分布生成部
１４０ 皮膚領域抽出部
３０２ 主メモリ
Ｃ１ 重心点
Ｃ２ 中心点
Ｒ１ 仮サンプル領域
Ｒ２ 拡大サンプル領域
Ｓ１０ 領域決定ステップ
Ｓ１１ 特徴点検出ステップ
Ｓ１２ 仮サンプル領域決定ステップ
Ｓ１３ 仮色差モデル生成ステップ
Ｓ１４ 仮皮膚確率分布図生成ステップ
Ｓ１５ 皮膚領域中心点算出ステップ
Ｓ１６ 拡大サンプル領域決定ステップ
Ｓ２０ 色差モデル生成ステップ
Ｓ３０ ２次元確率分布生成ステップ
Ｓ４０ 皮膚領域抽出ステップ

Claims (9)

1. 複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップと、
   前記領域決定ステップで決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成ステップと、
   前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成ステップと、
   前記２次元確率分布生成ステップで求められた第１の２次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出ステップとを有することを特徴とする皮膚領域抽出方法。
2. 前記領域決定ステップが、
   前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定ステップと、
   前記第１の領域決定ステップで決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成ステップと、
   前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成ステップと、
   前記第２の２次元確率分布生成ステップで算出された第２の２次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第２の領域決定ステップとを有することを特徴とする請求項１記載の皮膚領域抽出方法。
3. 前記第２の領域決定ステップが、
   前記第２の２次元確率分布生成ステップで算出された第２の２次元確率分布を平滑化する平滑化ステップと、
   前記平滑化ステップによる平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定ステップとを有することを特徴とする請求項１または２記載の皮膚領域抽出方法。
4. 複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
   前記領域決定部によって決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成部と、
   前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成部と、
   前記２次元確率分布生成部によって求められた第１の２次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出部とを有することを特徴とする皮膚領域抽出装置。
5. 前記領域決定部が、
   前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定部と、
   前記第１の領域決定部によって決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
   前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成部と、
   前記第２の２次元確率分布生成部によって算出された第２の２次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第２の領域決定部とを有することを特徴とする請求項４記載の皮膚領域抽出装置。
6. 前記第２の領域決定部が、
   前記第２の２次元確率分布生成部によって算出された第２の２次元確率分布を平滑化する平滑化部と、
   前記平滑化部による平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定部とを有することを特徴とする請求項４または５記載の皮膚領域抽出装置。
7. プログラムを実行する演算装置内で実行され、該演算装置を、皮膚領域抽出装置として動作させる皮膚領域抽出プログラムであって、
   前記演算装置を、
   複数色分の画素値によって表わされる画素の２次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
   前記領域決定部によって決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成部と、
   前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第１の２次元確率分布を求める第１の２次元確率分布生成部と、
   前記２次元確率分布生成部によって求められた第１の２次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出部とを備えた皮膚領域抽出装置として動作させる特徴とする皮膚領域抽出プログラム。
8. 前記領域決定部が、
   前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第１の領域決定部と、
   前記第１の領域決定部によって決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
   前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に２次元に広がる第２の２次元確率分布を算出する第２の２次元確率分布生成部と、
   前記第２の２次元確率分布生成部によって算出された第２の２次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第２の領域決定部とを有することを特徴とする請求項７記載の皮膚領域抽出プログラム。
9. 前記第２の領域決定部が、
   前記第２の２次元確率分布生成部によって算出された第２の２次元確率分布を平滑化する平滑化部と、
   前記平滑化部による平滑化で求められた第３の２次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定部とを有することを特徴とする請求項７または８記載の皮膚領域抽出プログラム。

Images