JP2010271921A - 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム - Google Patents
皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム Download PDFInfo
- Publication number
- JP2010271921A JP2010271921A JP2009123230A JP2009123230A JP2010271921A JP 2010271921 A JP2010271921 A JP 2010271921A JP 2009123230 A JP2009123230 A JP 2009123230A JP 2009123230 A JP2009123230 A JP 2009123230A JP 2010271921 A JP2010271921 A JP 2010271921A
- Authority
- JP
- Japan
- Prior art keywords
- region
- color difference
- pixel
- skin
- probability distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】
画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法等を提供する。
【解決手段】
皮膚領域抽出方法において、画像から顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップS10と、サンプル領域内の各画素について、輝度の値に応じて複数の群のいずれかに区分し、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める色差モデル生成ステップS20と、画像内の関心領域内の画素のそれぞれについて、各画素ごとに、色差モデルのうち、画素の輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、各画素の確率の集合からなる第1の2次元確率分布を求める第1の2次元確率分布生成ステップS30と、第1の2次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出ステップS40とを有する。
【選択図】 図4
画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法等を提供する。
【解決手段】
皮膚領域抽出方法において、画像から顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップS10と、サンプル領域内の各画素について、輝度の値に応じて複数の群のいずれかに区分し、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める色差モデル生成ステップS20と、画像内の関心領域内の画素のそれぞれについて、各画素ごとに、色差モデルのうち、画素の輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、各画素の確率の集合からなる第1の2次元確率分布を求める第1の2次元確率分布生成ステップS30と、第1の2次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出ステップS40とを有する。
【選択図】 図4
Description
本発明は、画像に含まれる皮膚の領域を抽出する皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムに関する。
例えばカメラ等から出力された画像データの画像から顔の輪郭を抽出したり、顔と手の位置関係を正確に把握したりするために、画像から皮膚の領域を抽出する技術が広く用いられている。皮膚の領域を抽出する方式として、画像の各画素を輝度成分Yと色差成分Cr,Cbとで表わし、画素の色差値を、色差成分で表わした皮膚の色の基準と比較することによって皮膚か否かを判定する方法が知られている(例えば、特許文献1および非特許文献1)。画素と皮膚の基準とを色差成分で比較することによって、輝度の変化による誤差が抑えられる。
"A Survey on Pixel−Based Skin Color Detection Techniques", Vladimir Vezhnevets, etc., Proceeding of Graphicon−2003, Moscow.
しかし、従来の方法では、輝度の変化による、色の変化にまで対応することができない。すなわち、例えばカメラの被写体に対する照明の当たり方が異なる部分では、同じ皮膚でも色が異なる。したがって皮膚の抽出が精密に行えない。
本発明は上記問題点を解決し、画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムを提供することを目的とするものである。
上記目的を達成する本発明の皮膚領域抽出方法は、
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップと、
上記領域決定ステップで決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成ステップと、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成ステップと、
上記2次元確率分布生成ステップで求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出ステップとを有することを特徴とする。
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップと、
上記領域決定ステップで決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成ステップと、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成ステップと、
上記2次元確率分布生成ステップで求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出ステップとを有することを特徴とする。
本発明の皮膚領域抽出方法では、輝度の値に応じて区分された複数の群ごとに群に属する複数の画素の色差ごとの出現頻度を表わす色差モデルが生成され、抽出を行なおうとする関心領域内の画素のそれぞれについて画素の輝度に応じた色差モデルに基づいた抽出が行われるので、例えば被写体に対する照明の当たり方が異なる場合でも皮膚の領域が精密に抽出される。
ここで、上記本発明の皮膚領域抽出方法において、
上記領域決定ステップが、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定ステップと、
上記第1の領域決定ステップで決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成ステップと、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成ステップと、
上記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定ステップとを有することが好ましい。
上記領域決定ステップが、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定ステップと、
上記第1の領域決定ステップで決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成ステップと、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成ステップと、
上記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定ステップとを有することが好ましい。
皮膚の色差モデルを求める場合に、色差モデルを生成するサンプル領域を画像内で広く確保すると、皮膚以外の部分がサンプル領域に含まれてしまい、誤った抽出が行われるおそれがある。そこで、はじめに相対的に狭い仮サンプル領域に基づいて仮色差モデルを生成し、この仮の色差モデルに基づいて皮膚と推定される領域を算出し、皮膚と推定される領域内に改めて相対的に広いサンプル領域を決定してから色差モデルを生成することにより、色差モデルが輝度の群別に生成されても、サンプル数が十分に確保された色差モデルを得ることができ、より精密な皮膚領域の抽出が可能となる。
また、上記本発明の皮膚領域抽出方法において、
上記第2の領域決定ステップが、
上記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布を平滑化する平滑化ステップと、
上記平滑化ステップによる平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定ステップとを有することが好ましい。
上記第2の領域決定ステップが、
上記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布を平滑化する平滑化ステップと、
上記平滑化ステップによる平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定ステップとを有することが好ましい。
相対的に広いサンプル領域を決定する場合に、色差モデルに基づいて皮膚と推定される確率のピークとなる位置を含んで広がることで、広いサンプル領域を簡単に確保することが可能となる。
また、上記目的を達成する本発明の皮膚領域抽出装置は、
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
上記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを有することを特徴とする。
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
上記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを有することを特徴とする。
ここで、上記皮膚領域抽出装置においても、
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
上記第1の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定部とを有することが好ましい。
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
上記第1の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定部とを有することが好ましい。
また、上記皮膚領域抽出装置において、
上記第2の領域決定部が、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。
上記第2の領域決定部が、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。
また、上記目的を達成する本発明の皮膚領域抽出プログラムは、
プログラムを実行する演算装置内で実行され、この演算装置を、皮膚領域抽出装置として動作させる皮膚領域抽出プログラムであって、
上記演算装置を、
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
上記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを備えた皮膚領域抽出装置として動作させる特徴とする。
プログラムを実行する演算装置内で実行され、この演算装置を、皮膚領域抽出装置として動作させる皮膚領域抽出プログラムであって、
上記演算装置を、
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、この特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
上記領域決定部によって決定されたサンプル領域内の各画素について、上記画素値から輝度および色差を求め、各画素を上記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルをこの群ごとに求める色差モデル生成部と、
上記画像内の、上記サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、各画素ごとに、上記色差モデルのうち、この各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
上記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて上記画像内における皮膚の領域を抽出する皮膚領域抽出部とを備えた皮膚領域抽出装置として動作させる特徴とする。
ここで、上記皮膚領域抽出プログラムにおいても、
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
上記第1の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定部とを有することが好ましい。
上記領域決定部が、
上記画像から人の顔の特徴点を検出するとともに、この特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
上記第1の領域決定部によって決定された仮サンプル領域内の各画素について、上記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
上記画像内の、上記仮サンプル領域を含む関心領域内の画素のそれぞれについて、上記画素値から輝度および色差を求め、上記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、上記関心領域内の各画素のこの確率の集合からなる、この関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する第2の領域決定部とを有することが好ましい。
また、上記皮膚領域抽出プログラムにおいて、
上記第2の領域決定部が、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。
上記第2の領域決定部が、
上記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
上記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を中心として、上記仮サンプル領域よりも広い領域を上記サンプル領域として決定する拡大領域決定部とを有することが好ましい。
以上説明したように、本発明によれば、画像から皮膚の領域を精密に抽出することができる皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラムが実現する。
以下図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
図1に示す監視カメラシステム1の概略構成図には、監視カメラ10と、本発明の一実施形態である皮膚領域抽出装置として動作するパーソナルコンピュータ30とが示されている。
監視カメラ10は、例えば銀行の現金自動預入支払装置に設置されたものであって、この現金自動預入支払装置を操作する利用者を撮影するものである。この監視カメラ10は、動画像を表す画像データをパーソナルコンピュータ30に向けて送信する。画像データは、赤(R)、緑(G)、および青(B)の3色分の画素値によって表わされる画素の2次元的配列からなる画像を表わすものである。尚、以下では、データ上の画像も単に「画像」と称する。
パーソナルコンピュータ30は、監視カメラ10から送信される画像を受け取る。また、このパーソナルコンピュータ30は、監視カメラ10で撮影された画像を一括管理するものである。
監視カメラ10は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の皮膚領域抽出装置として動作するパーソナルコンピュータ30についてさらに説明する。
図2は、図1に1つのブロックで示すパーソナルコンピュータ30の外観斜視図、図3は、そのパーソナルコンピュータ30のハードウエア構成図である。
ここでは、このパーソナルコンピュータ30のハードウエアおよびOS(Operating System)と、このパーソナルコンピュータ30にインストールされて実行される皮膚領域抽出プログラムとにより、本発明の一実施形態としての皮膚領域抽出装置が構成されている。
このパーソナルコンピュータ30は、外観構成上、本体装置31、その本体装置31からの指示に応じて表示画面32a上に画像を表示する画像表示装置32、本体装置31に、キー操作に応じた各種の情報を入力するキーボード33、および、表示画面32a上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス34を備えている。この本体装置31は、外観上、光磁気ディスク(MO)を装填するためのMO装填口31a、およびCDやDVDを装填するためのCD/DVD装填口31bを有する。
本体装置31の内部には、図3に示すように、各種プログラムを実行するCPU301、ハードディスク装置303に格納されたプログラムが読み出されCPU301での実行のために展開される主メモリ302、各種プログラムやデータ等が保存されたハードディスク装置303、MO331が装填されてその装填されたMO331をアクセスするMOドライブ304、CDやDVD(ここでは区別せずにCD/DVDと称する)が装填され、その装填されたCD/DVD332をアクセスするCD/DVDドライブ305、および図1に示す監視カメラ10での撮影により得られた画像データを受信するインターフェース306が内蔵されている。これらの各種要素と、さらに図2にも示す画像表示装置32、キーボード33、およびマウス34は、バス307を介して相互に接続されている。
ここで、CD/DVD332には、このパーソナルコンピュータを皮膚領域抽出装置として動作させるための皮膚領域抽出プログラムが記憶されており、そのCD/DVD332は、CD/DVDドライブ305に装填され、そのCD/DVD332に記憶された皮膚領域抽出プログラムがこのパーソナルコンピュータ30にアップロードされてハードディスク303に格納される。このハードディスク装置303に格納された皮膚領域抽出プログラムは、このハードディスク装置303から読み出され主メモリ302上に展開されてCPU301で実行されることにより、このパーソナルコンピュータ30が皮膚領域抽出装置として動作する。
また、ハードディスク装置303には、皮膚領域抽出プログラムの他にも、皮膚領域抽出プログラムの処理結果から、画像に写った利用者がいわゆる振り込め詐欺に遭って電話で話しているか否かを監視するため、顔の脇に手があるか否かを検出するプログラムも格納されているが、これらのプログラムは本発明の主題ではないため詳細な説明を省略し、皮膚領域抽出プログラムについてさらに説明する。
図4は、図1〜図3に示すパーソナルコンピュータ30を利用して実施される皮膚領域抽出方法の一例を示すフローチャートである。
この図4に示す皮膚領域抽出方法は、領域決定ステップ(S10)と、色差モデル生成ステップ(S20)と、2次元確率分布生成ステップ(S30)と、皮膚領域抽出ステップ(S40)とを有する。
領域決定ステップS10は、画像から人の顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する。領域決定ステップS10は、特徴点検出ステップS11と、仮サンプル領域決定ステップS12と、仮色差モデル生成ステップS13と、仮皮膚確率分布図生成ステップS14と、皮膚領域中心点算出ステップS15と、拡大サンプル領域決定ステップS16とを有する。各ステップの詳細は後述する。
色差モデル生成ステップS20は、領域決定ステップS10で決定されたサンプル領域内の各画素について、画素値から輝度および色差を求め、サンプル領域内の複数の画素の各色差ごとの出現頻度を表わす色差モデルを求める。
2次元確率分布生成ステップS30は、サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、色差モデルに基づいて各画素についての人の皮膚である確率を求める。これによって、2次元確率分布生成ステップS30は、関心領域内の各画素の確率の集合からなる、関心領域内に2次元に広がる第1の2次元確率分布を求める。尚、本実施形態における関心領域は、監視カメラ10から送信される画像の全範囲の領域である。また、本実施形態における、2次元確率分布は、上記領域決定ステップS10でも生成されるものであり、2つの2次元確率分布は対象範囲が互いに異なる。そこで、2次元確率分布生成ステップS30で生成される2次元確率分布を第1の2次元確率分布と称し、領域決定ステップS10で生成される2次元確率分布を第2の2次元確率分布と称する。
皮膚領域抽出ステップS40は、2次元確率分布生成ステップS30で求められた第1の2次元確率分布に基づいて画像内における皮膚の領域を抽出する。
図5は、皮膚領域抽出装置の一例を示すブロック図である。この皮膚領域抽出装置100は、図1〜図3に示すパーソナルコンピュータ30内にアップロードされた皮膚領域抽出プログラムがパーソナルコンピュータ30内で実行されることによりそのパーソナルコンピュータ30内に実現されるアルゴリズムであり、領域決定部110と、色差モデル生成部120と、2次元確率分布生成部130と、皮膚領域抽出部140とを有する。このうち、領域決定部110は、特徴点検出部111と、仮サンプル領域決定部112と、仮色差モデル生成部113と、仮皮膚確率分布図生成部114と、皮膚領域中心点算出部115と、拡大サンプル領域決定部116とを有する。
図4に示す皮膚領域抽出方法との対比では、図5の皮膚領域抽出装置100の全体が図4の皮膚領域抽出方法に相当し、領域決定部110が領域決定ステップS10に相当し、色差モデル生成部120が色差モデル生成ステップS20に相当し、2次元確率分布生成部130が2次元確率分布生成ステップS30に相当し、皮膚領域抽出部140が皮膚領域抽出ステップS40に相当する。また、領域決定部110を構成する特徴点検出部111が特徴点検出ステップS11に相当し、仮サンプル領域決定部112が仮サンプル領域決定ステップS12に相当し、仮色差モデル生成部113が仮色差モデル生成ステップS13に相当し、仮皮膚確率分布図生成部114が仮皮膚確率分布図生成ステップS14に相当し、皮膚領域中心点算出部115が皮膚領域中心点算出ステップS15に相当し、拡大サンプル領域決定部116が拡大サンプル領域決定ステップS16に相当する。
また、図4の各部の間を結ぶ矢印は、各部間でやり取りされる主要なデータの流れを表わしている。より詳細には、図4に示す各部は、データをやり取りする際に、データを出力する側が処理結果のデータを記憶部としての図2に示す主メモリ302に記憶させ、データを受け取る側が主メモリ302から処理対象のデータを読み出す。つまり、データのやり取りは、主メモリ302への書き込みおよび主メモリ302からの読出しを介して行われるが、各部の機能、およびデータの流れを分かりやすくするため、各部による主メモリ302への書き込みおよび読出しについては図示および説明を適宜省略する。
尚、パーソナルコンピュータ30内で皮膚領域抽出プログラムが実行されたときの皮膚領域抽出プログラムの作用は、図5に示す皮膚領域抽出装置の作用と同一であり、ここでは、皮膚領域抽出プログラムを取り上げての図示および説明は省略する。また、パーソナルコンピュータ30には、図4に示す各部の処理結果から、顔の脇に手があるか否かを検出するブロックも有するが、これらのブロックは本発明の主題ではないため詳細な説明を省略する。
以下では、図5に示す皮膚領域抽出装置100の各部の作用について説明する。この説明により皮膚領域抽出プログラムおよび図4に示す皮膚領域抽出方法を構成する各ステップの説明を兼ねるものとする。
図5に示す皮膚領域抽出装置100は、複数色分の画素値によって表わされる画素の2次元的配列からなる画像から皮膚の領域を抽出する装置である。
領域決定部110は、画像から人の顔の特徴点を検出するとともに、特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する。
領域決定部110の特徴点検部111は、監視カメラ10から受信した画像データが表す画像から顔の特徴点、より詳細には一対の目および口を検出する。目および口を検出する方法としては、まず、画像から人の顔の目および口を囲む矩形領域を検出し、次に、矩形領域から目および口の位置を決定する公知の方法が採用可能である。例えば、例えば特開2006−285959に示された公知の方法を用いることができる。この方法による矩形領域の検出方法を説明する。
特徴点検部111は、入力された画像データの画像から、例えば32×32画素サイズの部分画像を切り出すサブウィンドウを設定し、サブウィンドウを例えば5画素分ずつ移動させながら、このサブウィンドウで切り出された部分画像が顔の画像であるか否かの判別を行なう。画像上での顔の大きさは、監視カメラ10のズーム倍率や利用者自身の顔の大きさによって異なるため、サブウィンドウで部分画像を切り出す対象の画像としては、入力された画像そのものだけでなく、入力された画像を複数段階の解像度に変換した複数の画像、さらに、これら複数の画像を複数段階の角度で回転処理した複数の画像も対象とする。
切り出された部分画像が顔の画像であるか否かの判別は、例えば32×32画素サイズで規格化された、前もって顔であることが分かっているサンプル画像と、前もって顔でないことが分かっているサンプル画像とについて評価スコアを算出しておき、サブウィンドウで切り出した部分画像についての評価スコアとの一致度を算出することによって行なう。顔であることが分かっているサンプル画像としては、正面を向いた顔のサンプルに加えて、横向きや、上下を斜めに向いた顔のサンプルの画像についても評価スコアを算出しておく。ここで評価スコアは、32×32画素サイズの各画像内の所定の2点を1ペアとして、複数のペアからなるペア群を設定したときの、各ペアにおける2点間の輝度の差分を算出したときの、ペア群における差分の分布すなわち、差分に対する度数のヒストグラムである。
特徴点検部111は、監視カメラ10から受けた画像、およびこの画像を解像度変換し回転処理して生成した複数の画像のそれぞれについて、サブウィンドウを移動しながら部分画像を順次切り出し、切り出した部分画像の評価スコアを算出する。その結果、顔であることが分かっている複数のサンプル画像のいずれかの画像の評価スコアとの一致度が高く、かつ、顔でないことが分かっているサンプル画像の評価スコアとの一致度が低いサブウィンドウを選択する。このサブウィンドウが、顔を含んだ矩形領域となる。尚、評価スコアとの一致度は、具体的には、ヒストグラムの相関係数を算出することによって求められる。
図6は、画像データが表わす画像の例を示す図である。図6のパート(A)には、処理の説明を分かりやすくするため単純化した人の顔の画像の例が示されている。
特徴点検部111は、例えば、図6に示す画像から、顔であることが分かっているサンプル画像の評価スコアとの一致度が高く、かつ、顔でないことが分かっているサンプル画像の評価スコアとの一致度が低いサブウィンドウである矩形領域Wが選択される。
また、特徴点検部111は、画像の矩形領域W内における、目および口の位置を検出する。より詳細には、目として瞳を検出する。目および口の位置は、一般的な瞳および口の色範囲に属する画素を探索することで検出する。特徴点検部111は、瞳のそれぞれの中心、および口の両端すなわち口角の位置を目および口位置として決定する。
図6には、特徴点検部111によって、目の位置P1,P2および口の両端の位置P3,P4が検出されている。尚、目の位置P1,P2および口の両端の位置P3,P4を表わす位置データは主メモリ302に記憶されることによって、仮サンプル領域決定部112に送られる。
仮サンプル領域決定部112は、特徴点検部111によって検出された特徴点の位置データに基づいて人の皮膚と推定される仮サンプル領域を決定する。より詳細には、仮サンプル領域決定部112は、特徴点検部111によって検出された目の位置P1,P2および口の両端の位置P3,P4の重心点C1を算出し、重心点C1を中心とした領域を仮サンプル領域R1とする。
図6には、仮サンプル領域決定部112によって決定された、重心点C1を中心とした仮サンプル領域R1が示されている。ここで、仮サンプル領域R1は、皮膚検出の基準となる皮膚の色モデルを抽出するための領域なので、領域が大きいほど、すなわちサンプル数が多いほど好ましいものの、皮膚でない部分が含まれないように領域の大きさが決定される必要がある。特に、人が横を向いている場合には、目および口の位置に応じた重心点C1を中心に広い仮サンプル領域R1を設定すると、顔でない部分が含まれやすい。したがって、例えば、仮サンプル領域R1は、大きさが2つの目を超えない程度に設定される。このように、仮サンプル領域決定部112によって決定される仮サンプル領域R1は、特徴点の位置に基づいて設定されることから、後に設定されるサンプル領域よりも狭い領域である。
ここで、特徴点検部111および仮サンプル領域決定部112の組み合わせが、本発明にいう第1の領域決定部の一例に相当する。
仮色差モデル生成部113は、仮サンプル領域決定部112でによって決定された仮サンプル領域R1の各画素について、画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める。
仮色差モデル生成部113は、仮サンプル領域R1の各画素について、3色分の画素値R,G,Bから色差値R−Y,G−Y,B−Yを算出する。ここでYは画素の輝度を意味し、3色分の画素値から下式を計算することによって求められる。
Y = 0.299R + 0.587G + 0.114B
仮色差モデル生成部113は、各画素について、色差R−Y,G−Y,B−Yの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。また、出現頻度の平均値および標準偏差も算出する。
Y = 0.299R + 0.587G + 0.114B
仮色差モデル生成部113は、各画素について、色差R−Y,G−Y,B−Yの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。また、出現頻度の平均値および標準偏差も算出する。
図7は、仮色差モデル生成部によって求められた各色差ごとの出現頻度を表すヒストグラムである。図7には、色差Cr(R−Y),Cb(G−Y),Cg(B−Y)ごとに、各色差ごとの、仮サンプル領域R1の画素の出現頻度が示されている。仮色差モデル生成部113は、図7に示す出現頻度が正規分布であるとみなし、色差の種類ごとに、画素の色差値の平均値および標準偏差も算出する。この平均値および標準偏差が仮色差モデルである。
仮皮膚確率分布図生成部114は、サンプル領域を含む関心領域内の画素のそれぞれについて、仮色差モデルに基づいて、各画素についての人の皮膚である確率を求める。ここで、関心領域とは、画像のうち皮膚を検出しようとする領域であり本実施形態では画像全体が関心領域であるとするが、例えば、画像中に人が現れ得る領域が予め分かっている場合には、その分かっている領域を画像中の関心領域として皮膚検出の精度を高めることができる。
仮皮膚確率分布図生成部114、まず、関心領域内すなわち画像内の画素のそれぞれについて、画素値R,G,Bから輝度Yおよび色差Cr,Cb,Cgを算出し、仮色差モデル生成部113によって求められた仮色差モデルに基づいて人の皮膚である確率を求める。皮膚である確率は、対象画素の色差の値が仮色差モデルの平均値からどれだけの偏差を有して離れているかに応じてきまる。より詳細には、色差Cr(=R−Y),Cb(=G−Y),Cg(=B−Y)の種類をqとし、仮色差モデルである色差の種類ごとの平均値および標準偏差をσqおよびaverageqとすると、皮膚である確率Pskinは、下式を算出することにより求められる。
仮皮膚確率分布図生成部114は、皮膚である確率を画素ごとに求めることによって、関心領域すなわち画像全体の中の各画素の確率の集合からなる2次元確率分布を算出する。この2次元確率分布は、画像内に2次元に広がるものである。
ここで、仮皮膚確率分布図生成部114が本発明にいう第2の2次元確率分布生成部の一例に相当し、仮皮膚確率分布図生成部114が求める2次元確率分布が、本発明にいう第2の2次元確率分布の一例に相当する。
図8は、仮皮膚確率分布図生成部により生成された2次元確率分布の例を示す図である。図8は、実際の画像を表わす画像データに対し、仮皮膚確率分布図生成部114が皮膚である確率を画素ごとに算出することによって生成したデータを表わしている。図8では、確率が高い画素ほど明るく表示されている。
皮膚確率分布図生成部によって生成された2次元確率分布では、人の皮膚の部分が特に明るく示されている。しかし、人の皮膚ではない背景部分にも明るい画素の部分が含まれている。
皮膚領域中心点算出部115および拡大サンプル領域決定部116は、仮サンプル領域よりも広い領域を拡大サンプル領域として決定する。
皮膚領域中心点算出部115は、皮膚確率分布図生成部によって生成された2次元確率分布に対し、平滑化処理を施す。平滑化処理は、例えば、近傍画素どうしの値の平均を算出する平均フィルタ処理によって実現される。
図9は、図8に示す2次元確率分布に平滑化処理が施された例を示す図である。
平滑化処理によって、皮膚の確率が高い画素が多く分布している領域の中央付近Peakに値のピークが現れる。
図10は、図9に示す平滑化された2次元確率分布における各列の画素の累積値の分布と、各行の画素の累積値の分布を示す図である。図10の左下には図9に示す、平滑化された2次元確率分布が示されている。ここで、皮膚領域中心点算出部115によって平滑化された2次元確率分布が、本発明にいう第3の2次元確率分布の一例に相当する。
皮膚領域中心点算出部115は、図10の左上に示すように、列(縦)に並んだ画素の確率の累積値を行ごとに算出して最大値となる行を求め、図10の右下に示すように、行(横)に並んだ画素の確率の累積値を列ごとに算出して最大値となる列を求める。そして、最大値となる行および列と中心点の座標とする。
拡大サンプル領域決定部116は、皮膚領域中心点算出部115によって決定された中心点を中心として、仮サンプル領域よりも広い拡大サンプル領域を決定する。
図11は、図6と同じ単純化した顔の画像と拡大サンプル領域とを示す図である。
図11に示すように、拡大サンプル領域決定部116は、平滑化した2次元確率分布におけるピーク値を有する画素の位置を中心点C2として、この中心点C2の周囲に拡大サンプル領域R2を決定する。拡大サンプル領域R2の中心点C2は、平滑化した2次元確率分布におけるピークであり、皮膚の確率が高い画素が多く分布している領域の中央付近である。したがって、拡大サンプル領域R2を仮サンプル領域よりも広く確保しても、拡大サンプル領域R2内に皮膚でない部分が含まれる可能性は低い。よって、次に説明する色差モデル生成部120によって色差モデルを生成する際に、皮膚でない画素が避けられ、かつ、多くの画素がサンプルとして用いられる。
ここで、皮膚領域中心点算出部115が本発明にいう平滑化部の一例に相当し、拡大サンプル領域決定部116が本発明にいう拡大領域決定部の一例に相当する。また、皮膚領域中心点算出部115および拡大サンプル領域決定部116の組み合わせが、本発明にいう第2の領域決定部の一例に相当する。
色差モデル生成部120は、領域決定部110で決定された拡大サンプル領域R2(図11参照)内の各画素について、画素値から輝度および色差を求め、拡大サンプル領域R2内の複数の画素の各色差ごとの出現頻度を表わす色差モデルを求める。色差モデル生成部120は、拡大サンプル領域R2の各画素について、3色分の画素値R,G,Bから色差値R−Y,G−Y,B−Yを算出する。ここでYは画素の輝度を意味し、3色分の画素値から下式を計算することによって求められる。
Y = 0.299R + 0.587G + 0.114B
色差モデル生成部120は、各画素について、色差R−Y,G−Y,B−Yの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。このとき、色差モデル生成部120は、上述した仮色差モデル生成部113と異なり、各画素を輝度Yの値に応じて複数の群のいずれかに区分する。そして、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める。例えば、色差モデル生成部120は、輝度Yの値が100から200までの範囲を10の群に区分する。第1群は輝度Yの値が100以上110未満であり、第2群は輝度Yの値が110以上120未満であり、第3群以降も同様に輝度Yの値で10の範囲が割り当てられる。第1群から第10群まで10個の群のそれぞれに色差モデルが割り当てられる。色差モデル生成部120は、例えば、対象となる画素の輝度Yの値が105であれば、この画素の色差の値を第1群の色差モデル生成に用い、対象となる別の画素の輝度Yの値が123であれば、この別の画素の色差の値を第2群の色差モデル生成に用いる。
Y = 0.299R + 0.587G + 0.114B
色差モデル生成部120は、各画素について、色差R−Y,G−Y,B−Yの種類ごとに、各色差の値に属する画素の数を積算して出現頻度を求める。このとき、色差モデル生成部120は、上述した仮色差モデル生成部113と異なり、各画素を輝度Yの値に応じて複数の群のいずれかに区分する。そして、画素の各色差ごとの出現頻度を表わす色差モデルを群ごとに求める。例えば、色差モデル生成部120は、輝度Yの値が100から200までの範囲を10の群に区分する。第1群は輝度Yの値が100以上110未満であり、第2群は輝度Yの値が110以上120未満であり、第3群以降も同様に輝度Yの値で10の範囲が割り当てられる。第1群から第10群まで10個の群のそれぞれに色差モデルが割り当てられる。色差モデル生成部120は、例えば、対象となる画素の輝度Yの値が105であれば、この画素の色差の値を第1群の色差モデル生成に用い、対象となる別の画素の輝度Yの値が123であれば、この別の画素の色差の値を第2群の色差モデル生成に用いる。
図12は、色差モデル生成部によって求められた出現頻度を表すヒストグラムである。
色差モデル生成部120は、第1群から第10群まで10個の群ごとに、3種類の色差Cr(=R−Y),Cb(=G−Y),Cg(=B−Y)のすべてについて各色差ごとの画素の出現頻度を求める。また、出現頻度を表わす色差の平均値および標準偏差も算出する。この平均値および標準偏差が色差モデルとなる。平均値および標準偏差の組も10個の群ごと、そして色差Cr,Cb,Cgの種類ごとに算出される。各出現頻度中の一点鎖線は分布の平均値を表わしている。
図13は、色差モデル生成部によって求められる平均値および標準偏差を示すテーブルである。
色差モデル生成部120は、輝度Yの値に応じて区分された10個の群それぞれについて、また、3種類の色差Cr,Cb,Cgのそれぞれについて、色差の平均値および標準偏差の値(avarageCr1,σCr1),(avarageCb1,σCb1),(avarageCg1,σCg1),(avarageCr2,σCr2),(avarageCb2,σCb2),(avarageCg2,σCg2),…(avarageCr10,σCr10),(avarageCb10,σCb10),(avarageCg10,σCg10)を算出する。図13に示す平均値および標準偏差の演算結果、出現頻度の演算結果とともに主メモリ302に書き込まれ、後述する2次元確率分布生成部130によって主メモリ302から読み出されて利用される。
色差モデル生成部120では、各色差の種類ごとの出現頻度、平均値および標準偏差が、輝度Yの値に応じた10個の群それぞれについて求められるので、輝度の変化による色の変化に対応した出現頻度、平均値および標準偏差が得られる。
図14は、各画素の輝度と色差の関係の一例を示すグラフである。図14は、ある画像中の皮膚の領域に含まれる画素を、輝度Yの値に応じて1〜10までの10個の群に分け、それぞれの群に属する画素の色差値Crの平均値を示している。
多くの画像において、図14に示すように、輝度Yの値が大きい群の画素ほど色差Crの平均値が大きく、輝度Yの値が小さい群の画素ほど色差Crの平均値が小さい。つまり、皮膚に対する照明の照度が小さい陰の部分の皮膚は、赤みが弱い。
本実施形態では、輝度の変化による色の変化に対応した出現頻度、平均値および標準偏差が得られる結果、皮膚が、輝度の変化に追従して精密に抽出されることとなる。例えば被写体に対する照明の当たり方に皮膚の場所によって差異があり、輝度に応じて皮膚の色に差異がある場合でも、皮膚の領域が精密に抽出される。
2次元確率分布生成部130は、サンプル領域を含む関心領域内、すなわち画像全体の画素のそれぞれについて、画素値から輝度および色差を求め、色差モデルに基づいて各画素についての人の皮膚である確率を求める。これによって、2次元確率分布生成部130は、関心領域内の各画素の確率の集合からなる、関心領域内に2次元に広がる第1の2次元確率分布を求める。
より詳細には、2次元確率分布生成部130は、仮皮膚確率分布図生成部114と同様に、まず、関心領域内すなわち画像内の画素のそれぞれについて、画素値R,G,Bから輝度Yおよび色差Cr,Cb,Cgを算出し、図13に示す色差モデルに基づいて人の皮膚である確率を求める。このとき、皮膚である確率は、画素の輝度Yの値が属する群の色差モデルに基づいて算出する。ここで、皮膚である確率は、対象画素の色差の値が、対応する群の色差モデルの平均値からどれだけの偏差を有して離れているかに応じている。より詳細には、色差Cr(=R−Y),Cb(=G−Y),Cg(=B−Y)の種類をqとし、仮色差モデルである色差の種類ごとの平均値および標準偏差をσqおよびaverageqとすると、皮膚である確率Pskinは、下式を算出することにより求められる。
2次元確率分布生成部130は、皮膚である確率を画素ごとに求めることによって、関心領域すなわち画像全体の中の各画素の確率の集合からなる第1の2次元確率分布を算出する。この2次元確率分布は、画像内に2次元に広がるものである。
ここで、2次元確率分布生成部130が本発明にいう第1の2次元確率分布生成部の一例に相当する。
図15は、2次元確率分布生成部130により生成された2次元確率分布の例を示す図である。図15は、実際の画像を表わす画像データに対し、2次元確率分布生成部130が皮膚である確率を画素ごとに算出することによって生成したデータを表わしている。図15では、確率が高い画素ほど明るく表示されている。
2次元確率分布生成部130により生成された第1の2次元確率分布は、図8に示す、仮皮膚確率分布図生成部により生成された第2の2次元確率分布に比べ、皮膚がより鮮明に示されている。
皮膚領域抽出部140は、2次元確率分布生成部130で求められた第1の2次元確率分布に基づいて画像内における皮膚の領域を抽出する。より詳細には、皮膚領域抽出部140は、第1の2次元確率分布において、確率が所定の閾値よりも高い画素を皮膚であると判定することいによって、皮膚と判定された画素からなる領域を、皮膚の領域として抽出する。
図16は、図15に示す2次元確率分布の例皮膚領域抽出部によって抽出された皮膚の領域を示す図である。
このように、本実施形態によれば、輝度の値に応じて区分された複数の群ごとに複数の画素の各色差ごとの出現頻度を表わす色差モデルが生成され、抽出を行なおうとする関心領域内の画素のそれぞれについて画素の輝度に応じた色差モデルに基づいた抽出が行われるので、例えば被写体に対する照明の当たり方が異なる場合でも皮膚の領域が精密に抽出される。
尚、上述した実施形態では、本発明にいう皮膚領域抽出装置および皮膚領域抽出装置を構成する各部の例として、皮膚領域抽出装置プログラムを実行するコンピュータおよびコンピュータにより実現される機能ブロックを説明したが、本発明はこれに限られるものではなく、例えば、皮膚領域抽出装置および各部は、ワイヤードロジックによる論理回路によって実現されるものであってもよい。
また、上述した実施形態では、本発明にいう色差モデル生成部および仮色差モデル生成部の例として、画素の出現頻度、分布の平均値、および標準偏差を求める色差モデル生成部120および仮色差モデル生成部113を示したが、本発明はこれに限られるものではなく、例えば、色差モデル生成部および仮色差モデル生成部は、出現頻度を求めることなく、分布の平均値および標準偏差を直接に算出するものであってもよい。
10 監視カメラ
30 パーソナルコンピュータ
100 皮膚領域抽出装置
110 領域決定部
111 特徴点検出部
111 特徴点検部
112 仮サンプル領域決定部
113 仮色差モデル生成部
114 仮皮膚確率分布図生成部
115 皮膚領域中心点算出部
116 拡大サンプル領域決定部
120 色差モデル生成部
130 2次元確率分布生成部
140 皮膚領域抽出部
302 主メモリ
C1 重心点
C2 中心点
R1 仮サンプル領域
R2 拡大サンプル領域
S10 領域決定ステップ
S11 特徴点検出ステップ
S12 仮サンプル領域決定ステップ
S13 仮色差モデル生成ステップ
S14 仮皮膚確率分布図生成ステップ
S15 皮膚領域中心点算出ステップ
S16 拡大サンプル領域決定ステップ
S20 色差モデル生成ステップ
S30 2次元確率分布生成ステップ
S40 皮膚領域抽出ステップ
30 パーソナルコンピュータ
100 皮膚領域抽出装置
110 領域決定部
111 特徴点検出部
111 特徴点検部
112 仮サンプル領域決定部
113 仮色差モデル生成部
114 仮皮膚確率分布図生成部
115 皮膚領域中心点算出部
116 拡大サンプル領域決定部
120 色差モデル生成部
130 2次元確率分布生成部
140 皮膚領域抽出部
302 主メモリ
C1 重心点
C2 中心点
R1 仮サンプル領域
R2 拡大サンプル領域
S10 領域決定ステップ
S11 特徴点検出ステップ
S12 仮サンプル領域決定ステップ
S13 仮色差モデル生成ステップ
S14 仮皮膚確率分布図生成ステップ
S15 皮膚領域中心点算出ステップ
S16 拡大サンプル領域決定ステップ
S20 色差モデル生成ステップ
S30 2次元確率分布生成ステップ
S40 皮膚領域抽出ステップ
Claims (9)
- 複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定ステップと、
前記領域決定ステップで決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成ステップと、
前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成ステップと、
前記2次元確率分布生成ステップで求められた第1の2次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出ステップとを有することを特徴とする皮膚領域抽出方法。 - 前記領域決定ステップが、
前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定ステップと、
前記第1の領域決定ステップで決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成ステップと、
前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成ステップと、
前記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第2の領域決定ステップとを有することを特徴とする請求項1記載の皮膚領域抽出方法。 - 前記第2の領域決定ステップが、
前記第2の2次元確率分布生成ステップで算出された第2の2次元確率分布を平滑化する平滑化ステップと、
前記平滑化ステップによる平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定ステップとを有することを特徴とする請求項1または2記載の皮膚領域抽出方法。 - 複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
前記領域決定部によって決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成部と、
前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
前記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出部とを有することを特徴とする皮膚領域抽出装置。 - 前記領域決定部が、
前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
前記第1の領域決定部によって決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
前記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第2の領域決定部とを有することを特徴とする請求項4記載の皮膚領域抽出装置。 - 前記第2の領域決定部が、
前記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
前記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定部とを有することを特徴とする請求項4または5記載の皮膚領域抽出装置。 - プログラムを実行する演算装置内で実行され、該演算装置を、皮膚領域抽出装置として動作させる皮膚領域抽出プログラムであって、
前記演算装置を、
複数色分の画素値によって表わされる画素の2次元的配列からなる画像から人の顔の特徴点を検出するとともに、該特徴点の位置に基づいて人の皮膚と推定されるサンプル領域を決定する領域決定部と、
前記領域決定部によって決定されたサンプル領域内の各画素について、前記画素値から輝度および色差を求め、各画素を前記輝度の値に応じて複数の群のいずれかに区分し、各群に区分された複数の画素の各色差ごとの出現頻度を表わす色差モデルを該群ごとに求める色差モデル生成部と、
前記画像内の、前記サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、各画素ごとに、前記色差モデルのうち、該各画素についての輝度に対応する群に属する色差モデルに基づいて各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第1の2次元確率分布を求める第1の2次元確率分布生成部と、
前記2次元確率分布生成部によって求められた第1の2次元確率分布に基づいて前記画像内における皮膚の領域を抽出する皮膚領域抽出部とを備えた皮膚領域抽出装置として動作させる特徴とする皮膚領域抽出プログラム。 - 前記領域決定部が、
前記画像から人の顔の特徴点を検出するとともに、該特徴点に基づいて人の皮膚と推定される仮サンプル領域を決定する第1の領域決定部と、
前記第1の領域決定部によって決定された仮サンプル領域内の各画素について、前記画素値から色差を求め、各色差ごとの出現頻度を表わす仮色差モデルを求める仮色差モデル生成部と、
前記画像内の、前記仮サンプル領域を含む関心領域内の画素のそれぞれについて、前記画素値から輝度および色差を求め、前記仮色差モデルに基づいて、各画素についての人の皮膚である確率を求めることにより、前記関心領域内の各画素の該確率の集合からなる、該関心領域内に2次元に広がる第2の2次元確率分布を算出する第2の2次元確率分布生成部と、
前記第2の2次元確率分布生成部によって算出された第2の2次元確率分布に基づいて、前記仮サンプル領域よりも広い領域を前記サンプル領域として決定する第2の領域決定部とを有することを特徴とする請求項7記載の皮膚領域抽出プログラム。 - 前記第2の領域決定部が、
前記第2の2次元確率分布生成部によって算出された第2の2次元確率分布を平滑化する平滑化部と、
前記平滑化部による平滑化で求められた第3の2次元確率分布における、確率がピークとなる位置を含む、前記仮サンプル領域よりも広い領域を、前記サンプル領域として決定する拡大領域決定部とを有することを特徴とする請求項7または8記載の皮膚領域抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123230A JP2010271921A (ja) | 2009-05-21 | 2009-05-21 | 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123230A JP2010271921A (ja) | 2009-05-21 | 2009-05-21 | 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010271921A true JP2010271921A (ja) | 2010-12-02 |
Family
ID=43419898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009123230A Withdrawn JP2010271921A (ja) | 2009-05-21 | 2009-05-21 | 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010271921A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178720A (ja) * | 2012-02-29 | 2013-09-09 | Nikon Corp | 画像処理装置及び画像処理プログラム |
WO2018110680A1 (ja) * | 2016-12-15 | 2018-06-21 | ナーブ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JPWO2017188121A1 (ja) * | 2016-04-27 | 2019-02-28 | 旭化成株式会社 | 推定装置 |
US10242249B2 (en) | 2014-11-19 | 2019-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting facial feature, and method and apparatus for facial recognition |
CN110675380A (zh) * | 2019-09-23 | 2020-01-10 | 珠海格力电器股份有限公司 | 电路板上金属接插柱的位置标定方法及存储介质 |
-
2009
- 2009-05-21 JP JP2009123230A patent/JP2010271921A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178720A (ja) * | 2012-02-29 | 2013-09-09 | Nikon Corp | 画像処理装置及び画像処理プログラム |
US10242249B2 (en) | 2014-11-19 | 2019-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting facial feature, and method and apparatus for facial recognition |
JPWO2017188121A1 (ja) * | 2016-04-27 | 2019-02-28 | 旭化成株式会社 | 推定装置 |
WO2018110680A1 (ja) * | 2016-12-15 | 2018-06-21 | ナーブ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN110675380A (zh) * | 2019-09-23 | 2020-01-10 | 珠海格力电器股份有限公司 | 电路板上金属接插柱的位置标定方法及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4537104B2 (ja) | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 | |
EP3142045B1 (en) | Predicting accuracy of object recognition in a stitched image | |
US11908183B2 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
US8917317B1 (en) | System and method for camera calibration | |
US20200184697A1 (en) | Image Modification Using Detected Symmetry | |
JPH11250267A (ja) | 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体 | |
US9064178B2 (en) | Edge detection apparatus, program and method for edge detection | |
US11720745B2 (en) | Detecting occlusion of digital ink | |
JP6317725B2 (ja) | 取得された画像内のクラッタを決定するためのシステム及び方法 | |
JP2010271921A (ja) | 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム | |
WO2020151078A1 (zh) | 一种三维重建的方法和装置 | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
JP2018196426A (ja) | 毛穴検出方法及び毛穴検出装置 | |
JP2012048326A (ja) | 画像処理装置及びプログラム | |
JP6467994B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム | |
JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
JP2010271922A (ja) | 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム | |
WO2020107196A1 (zh) | 一种对拍摄装置的拍摄质量评测方法、装置及终端设备 | |
JPWO2020111139A1 (ja) | 座標算出装置、座標算出方法、及びプログラム | |
JPWO2016076104A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2011124955A (ja) | 画像処理方法及び画像処理装置 | |
RU2758668C1 (ru) | Способ и система защиты цифровой информации, отображаемой на экране электронных устройств | |
CN113209628B (zh) | 基于ai的图像处理方法和装置 | |
JP2006031690A (ja) | 特定画像領域区画装置および方法,ならびに特定画像領域区画処理をコンピュータに実行させるプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120807 |