JP2007233871A - 画像処理装置、コンピュータの制御方法及びプログラム - Google Patents

Abstract

【課題】精度良く顔の部位を検出すること。
【解決手段】顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを正解パターンとして抽出する正解パターン抽出部２０６Ａと、前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出部２０６Ｂと、正解パターン抽出部２０６Ａと、反例パターン抽出部２０６Ｂとにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する検出対象部位学習部２０６と、撮像部によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定部２０８と、顔領域特定部２０８により特定された顔領域の中から、検出対象部位学習部２０６により学習したパターン認識により、前記対象部位の位置を検出する対象部位検出部２１２と、を含む画像処理装置。
【選択図】図２

Description

本発明は、画像処理に関して、特に顔が写された画像の中から顔の部位を検出する技術に関する。

従来、顔のパーツ（目、鼻、口角など）を検出する技術としては、輝度情報など色に依存しない特徴量のテンプレートマッチングにより検出を行う手法（非特許文献１、非特許文献２参照）が提案されている。これらの手法は、画像中から部分画像を抽出し、抽出した部分画像とテンプレートとのマッチング度合いを計算する。そして、最もマッチングしている部分画像を検出対象の顔パーツとするものである。また、これらとは別に、顔パーツの各色特徴量を用いて、各パーツの領域検出を行う手法（特許文献１、特許文献２）も提案されている。
特開２００４−００５３８４号公報 特開２００５−２３４６８６号公報 特開平７−３１１８３３号公報 Estimation of Eye and MouthCorner Point Positions in a Knowledge-Based Coding System 1996 Liang Zhang A Multi-Stage Approach toFacial Feature David Cristinacce, Tim Cootes and Ian Scott

しかしながら、従来技術のうちテンプレートマッチングによる検出手法を用いて精度よく顔パーツの位置を検出するためには、非常に多数の部分画像とスケールについて、テンプレートマッチングを行わなければならなかった。そのため、顔パーツの検出に処理負荷がかかるという課題があった。

一方、従来技術のうち色特徴量を用いる検出手法では、照明条件変化などの環境変動により、検出した顔パーツ領域が大きく変動してしまっていた。そのため、これらの手法では、環境変動のある状況下では大まかな唇領域位置を検出することは出来ても、口角位置といった顔パーツの詳細位置の検出ができないという課題があった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、処理負荷を軽減しつつも、精度良く顔の部位を検出できる画像処理装置、コンピュータの制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像処理装置は、撮像手段が接続される画像処理装置であって、顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを正解パターンとして抽出する正解パターン抽出手段と、前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出手段と、前記正解パターン抽出手段と、前記反例パターン抽出手段とにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習手段と、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段と、前記顔領域特定手段により特定された顔領域の中から、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する検出手段と、を含むことを特徴とする。

また、本発明に係る画像処理装置の制御方法は、撮像手段が接続される画像処理装置を制御する制御方法であって、顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを示す正解パターンを抽出する正解パターン抽出ステップと、前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出ステップと、前記正解パターン抽出ステップと、前記反例パターン抽出ステップとにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習ステップと、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定ステップと、前記顔領域特定ステップにより特定された顔領域の中から、前記学習ステップにより学習したパターン認識により、前記対象部位の位置を検出する検出ステップと、を含むことを特徴とする。

また、本発明に係るコンピュータ（例えばパーソナルコンピュータ、サーバコンピュータ、移動体端末、ＰＤＡ、ゲーム機等である。以下、同様。）を機能させるためのプログラムは、撮像する撮像手段が接続される画像処理装置としてコンピュータを機能させるためのプログラムであって、顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを示す正解パターンを抽出する正解パターン抽出手段、前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出手段、前記正解パターン抽出手段と、前記反例パターン抽出手段とにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習手段、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段、及び、前記顔領域特定手段により特定された顔領域の中から、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する検出手段、として前記コンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭ（Compact Disk - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、メモリーカードその他のあらゆるコンピュータ読み取り可能な情報記憶媒体に格納することとしてもよい。

また、本発明の一態様では、前記顔領域特定手段により特定された顔領域の色情報に基づいて、前記対象部位の探索を行う探索領域を決定する探索領域決定手段をさらに含み、前記検出手段は、前記探索領域決定手段により決定した探索領域に対して、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する、ことを特徴とする。

また、本発明の一態様では、前記対象部位は、口角であり、前記探索領域決定手段は、前記顔領域の顔色の赤味成分に基づいて、口角の探索を行う探索領域を決定することを特徴とする。

また、本発明の一態様では、前記対象部位は、鼻であり、前記探索領域決定手段は、前記顔領域の顔色の輝度に基づいて、鼻の探索を行う探索領域を決定することを特徴とする。

以下、本発明の好適な実施形態について、図１乃至図６を参照しつつ詳細に説明する。

まず、本発明に係る画像処置装置が備える構成について説明する。

図１には、画像処理装置のハードウェア構成図を示す。図１に示されるように、画像処理装置１０は、物理的な構成として、プロセッサ１００、メモリ１０２、入出力インターフェース１０４、グラフィックインターフェース１０６とハードディスク１０８等の記憶装置を含む。各部は、バス１１０を介して相互に通信可能に接続される。

プロセッサ１００は、ハードディスク１０８やメモリ１０２等の記憶装置に格納されるオペレーティングシステムやプログラムに基づいて、画像処理装置１０の各部を制御する。また、メモリ１０２は、プログラムやデータが必要に応じて書き込まれるとともに、プロセッサ１００の作業用としても用いられる。

入出力インターフェース１０４は、画像処理装置１０へのデータ信号の入出力を制御するハードウェアである。本実施形態では、入出力インターフェース１０４には、カメラ２０が接続される。また、入出力インターフェース１０４はＵＳＢ等のシリアルインターフェースの規格によるものとしてもよい。

グラフィックインターフェース１０６は、ビデオメモリを含み構成される。そして、ビデオメモリに順次格納されるイメージデータに従って、接続されたディスプレイ３０に画像の出力を行う。

図２には、画像処理装置１０の機能ブロック図を示す。図２に示されるように、画像処理装置１０は、機能的な構成として、撮像部２００、撮像画像入力部２０２、画像出力部２０４、検出対象部位学習部２０６、顔領域特定部２０８、探索領域決定部２１０と対象部位検出部２１２を含む。各部の詳細について、以下説明する。

撮像部２００は、画像を撮像する機能を有する。撮像部２００は、画像処理装置１０に接続されるカメラ２０により実現される機能である。カメラ２０は、ＣＣＤカメラを含むＷＥＢカメラ等であってよく、ＵＳＢ等のシリアルインターフェースにより画像処理装置１０と接続することとしてもよい。また、カメラ２０は画像を所定の時間間隔（例えば１／６０秒）毎に順次撮像する機能を有するものであってもよい。

撮像画像入力部２０２は、撮像部２００において撮像された画像データの入力を受け付ける機能を有する。撮像画像入力部２０２は、画像処理装置１０の入出力インターフェース１０４により実現される機能である。入出力インターフェース１０４は、ＵＳＢ等のインターフェースであることとしてもよい。

画像出力部２０４は、撮像画像入力部２０２に入力された画像データに基づいて、画像を出力表示する機能を有する。画像出力部２０４は、画像処理装置１０に接続されるディスプレイ３０を含み構成される。画像出力部２０４は、入力された画像データに対して所定の画像処理を加えた後に画像を出力することとしてもよい。

検出対象部位学習部２０６は、顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを学習する機能を有する。検出対象部位学習部２０６は、正解パターン抽出部２０６Ａと、反例パターン抽出部２０６Ｂとを含む。各部は、サンプル画像から対象部位の画像認識を学習するための画像パターンを抽出する処理を行うものであるが、詳細については後述する。そして、検出対象部位学習部２０６は、正解パターン抽出部２０６Ａと反例パターン抽出部２０６Ｂとによりそれぞれ抽出された画像パターンをサポートベクタマシーンに入力して、対象部位の画像パターンを学習する。

図３には、画像処理装置１０に入力されるサンプル画像の一例を示す。図３に示されるように、サンプル画像３００には、ユーザの顔領域３０２が含まれる。本実施形態では、サンプル画像３００は、顔の全体が撮像されているが、全体である必要はなく、学習させる対象部位（本実施形態では口角３０４Ａ，３０４Ｂ）を含む口近傍領域３１０が写っているものであればよい。

正解パターン抽出部２０６Ａは、顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを正解パターンとして抽出する機能を有する。本実施形態においては、口角を対象部位とする。正解パターン抽出部２０６Ａは、サンプル画像に含まれる口角とその口角の位置座標に基づいて、対象となる口角が写しだされた画像パターンを正解パターンとして抽出する。また、口角の位置座標が予め分からない場合には、ユーザによって口角位置をマウス等のポインティングデバイスにより指定することとして、口角の位置座標を取得することとしてもよい。

反例パターン抽出部２０６Ｂは、顔が撮像されたサンプル画像に基づいて、正解パターンの近傍の所定範囲内にある画像パターンを対象部位の反例パターンとして抽出する機能を有する。本実施形態では、反例パターン抽出部２０６Ｂは、サンプル画像に含まれる口角の位置座標に基づいて、その位置座標から所定のオフセット距離だけ離れた位置を画像パターンの抽出位置として決定する。そして、決定した抽出位置に基づいて、所定の大きさの画像パターンを反例パターンとして抽出する。なお、反例パターンとして、対象部位の位置から所定の範囲内にある部分画像を複数抽出することとしてもよい。

正解パターンと反例パターンについて、図４を参照しつつ具体的に説明する。図４は、図３における顔の口近傍領域３１０を拡大した図である。図４に示されるように、正解パターン３２０Ａ，３２０Ｂは、口角３０４Ａ，３０４Ｂを含む部分画像である。正解パターン３２０Ａは、口角３０４Ａに対応し、正解パターン３２０Ｂは口角３０４Ｂに対応するものである。そして、正解パターン３２０Ａ，３２０Ｂの近傍に示される部分画像は、口角の反例パターン３３０Ａ，３３０Ｂである。反例パターン３３０Ａは口角３０４Ａに対応し，反例パターン３３０Ｂは口角３０４Ｂに対応するものである。もちろん、抽出する反例パターンの数や位置は、図４で示したものに限られるものではなく、他の態様であることとしても構わない。

そして、検出対象部位学習部２０６は、正解パターン抽出部２０６Ａで抽出された画像パターンにラベルデータとして「＋１」を付加してサポートベクタマシンに入力する。また、検出対象部位学習部２０６は、反例パターン抽出部２０６Ｂで抽出された画像パターンに対してはラベルデータとして「−１」を付加してサポートベクタマシンに入力する。そして、全ての画像パターンをサポートベクタマシンに入力した上で、画像認識の学習を実行する。そして、上記学習処理によって得られたパラメータを、メモリ１０２に格納する。

顔領域特定部２０８は、撮像画像の中からユーザの顔が写された領域を特定する機能を有する。顔領域特定部２０８は、例えば、図１の撮像画像の全体の中から、顔領域を特定するものである。顔領域の特定手法については、様々な手法が提案されており、本発明では、それらの公知の顔領域の特定手法を用いることとしてよい。例えば、顔領域の特定手法の一例として、特許文献３に記載の「人物の顔の検出装置の手法」を用いることとしてもよい。顔領域特定部２０８は、上記顔領域の特定手法に基づいたアルゴリズムに従って作成されたプログラムをメモリ１０２上に読み込み、プロセッサ１００が読み込んだプログラムに従って動作することで実現される機能である。

探索領域決定部２１０は、顔領域特定部２０８により特定された顔領域の色情報に基づいて、対象部位の探索を行う探索領域を決定する機能を有する。探索領域決定部は、色情報処理部２１０Ａを含む。色情報処理部２１０Ａは、特定された顔領域の色情報に基づいて、口角探索の閾値を算出する機能を有する。本実施形態では、対象部位を口角とする場合における、探索領域を決定する処理について以下に説明する。

まず、画像処理装置１０のプロセッサ１００は、特定された顔領域の座標データから顔領域の中心点の位置を推定する。そして、プロセッサ１００は、推定した中心点を通る水平線上から、その顔色の赤味成分の平均値を算出する。また、プロセッサ１００は、特定された顔領域の中心点を通る垂直線上から、その顔色の赤味成分の最大値を算出する。次に、プロセッサ１００は、先に算出した赤味成分の平均値と最大値との値の平均値をさらに算出する。そして、この値を口角探索における閾値とする。プロセッサ１００は、特定した顔領域内で、算出した閾値以上の赤味成分を持つ領域を探索領域として決定する。

対象部位検出部２１２は、顔領域特定部２０８により特定された顔領域の中から、対象部位学習部により学習したパターン認識により、対象部位の位置を検出する機能を有する。対象部位検出部２１２は、探索領域決定部２１０により決定した探索領域の中から、部分画像を予め定められた間隔ごとに順次抽出する。そして、抽出した部分画像に対して、対象部位の画像パターンに合致するか否かのパターンマッチングを順次行う。パターンマッチングは、予め対象部位の画像認識を学習したサポートベクタマシンにより行う。このパターンマッチングにより対象部位に最も合致する部分画像の位置を対象部位の位置として検出する。

以下、本発明の実施の形態に係る画像処理装置１０における処理の流れについて説明する。

図５には画像処理装置１０による対象部位の画像認識を学習する学習処理のフロー図を示す。図５に示されるように、画像処理装置１０は、顔認識学習用の口角が含まれるグレースケール画像の入力を受け付ける（Ｓ１０１）。そして、画像処理装置１０は、入力された画像データにおける口角の位置を示す座標情報に基づいて、口角の画像パターンを抽出する（Ｓ１０２）。上記の座標情報は、ユーザによりマウス等のポインティングデバイスにより指定されることとしてもよい。また、画像処理装置１０は口角の画像パターンの他に、前記抽出した画像パターンの近傍の所定範囲内にある画像パターンを反例パターンとして抽出する（Ｓ１０３）。Ｓ１０３で反例パターンを複数抽出することとしてもよい。

次に、Ｓ１０２で抽出した画像パターンのラベルデータを「＋１」、Ｓ１０３で抽出した画像パターンのラベルデータを「−１」として、サポートベクタマシンに入力して、口角の画像パターンを学習させる（Ｓ１０４）。反例パターンの入力も行うことで、口角位置がずれているパターンに対してはネガティブな反応を示すサポートベクタマシンを生成することができる。そのため、口角近傍のパターンのうち、ポジティブな反応を示すのは口角が中心にあるようなパターンに限定され、正確な口角位置の検出が可能となる。Ｓ１０４で学習させた結果得られたパラーメータは、メモリ１０２上に記憶し（Ｓ１０５）、カメラ２０で撮像した画像に対して口角の検出を行う際に利用することができるようにする。

図６には画像処理装置１０による顔の対象部位を検出する処理のフロー図を示す。図６に示されるように、画像処理装置１０は、カメラ２０により撮像された画像の入力を受け付ける（Ｓ２０１）。そして、画像処理装置１０は、入力された画像の中から、ユーザの顔が写し出された顔領域を特定する（Ｓ２０２）。特定された顔領域に対して、顔色の赤味成分に基づいて、赤味成分の色の閾値を決定する。そして、決定した閾値以上の赤味成分を持つ領域を探索領域として決定する（Ｓ２０３）。画像処理装置１０は、探索領域から部分画像を予め定められた間隔ごとに順次抽出する。そして、抽出した部分画像から算出される特徴量について、予め学習されたサポートベクタマシンの判別境界からの距離を計算する(以下、この処理をテンプレートマッチング処理（Ｓ２０４）とする)。このテンプレートマッチング処理を抽出した部分画像に順次適用し、最も距離が大きい値を持つ部分画像の抽出位置を口角位置として検出し（Ｓ２０５）、処理を終了する。

以上説明した本発明の実施の形態に係る画像処理装置１０によれば、検出対象部位の正解パターンと反例パターンとにより学習した画像認識に基づき、精度良く顔の部位を検出することができる。また、本発明に係る画像処理装置１０によれば、顔の部位の検出の際のテンプレートマッチングの反復回数を低減することができるため、処理負荷を軽減させることができる。

なお、本発明は上記実施形態に限定されるものではない。

例えば、上記実施形態に係る画像処理装置１０は、口角を検出対象としているがこれに限られるものではなく、その他にも鼻など様々な部位に適用することができる。本発明により鼻を検出対象とした場合には、探索領域を以下のように決定することとしてもよい。

画像処理装置１０のプロセッサ１００は、検出された顔の中心点を通る水平線上から、その顔色の輝度成分の平均値を算出する。そして、プロセッサ１００は、検出された顔の中心点を通る垂直線上から、その顔色の輝度成分の最小値を算出する。次に、プロセッサ１００は、算出した平均値と最大値の平均値を算出し、この値を鼻探索における閾値とする。そしてプロセッサ１００は、検出した顔領域内で、先に算出した閾値以下の輝度成分を持つ領域を探索領域として決定する。

画像処理装置のハードウェア構成図である。 画像処理装置の機能ブロック図である。 画像認識の学習を行うためのサンプル画像の一例を示す図である。 サンプル画像の一部分を拡大した図である。 画像処理装置の学習処理のフロー図である。 画像処理装置の画像認識処理のフロー図である。

符号の説明

１０ 画像処理装置、２０ カメラ、３０ ディスプレイ、１００ プロセッサ、１０２ メモリ、１０４ 入出力インターフェース、１０６ グラフィックインターフェース、１０８ ハードディスク、１１０ バス、２００ 撮像部、２０２ 撮像画像入力部、２０４ 画像出力部、２０６ 検出対象部位学習部、２０６Ａ 正解パターン抽出部、２０６Ｂ 反例パターン抽出部、２０８ 顔領域特定部、２１０ 探索領域決定部、２１０Ａ 色情報処理部、２１２ 対象部位検出部、３００ サンプル画像、３０２ 顔領域、３０４Ａ，３０４Ｂ 口角、３１０ 口領域、３２０Ａ，３２０Ｂ 正解パターン、３３０Ａ，３３０Ｂ 反例パターン。

Claims (6)

1. 撮像手段が接続される画像処理装置であって、
   顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを正解パターンとして抽出する正解パターン抽出手段と、
   前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出手段と、
   前記正解パターン抽出手段と、前記反例パターン抽出手段とにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習手段と、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段と、
   前記顔領域特定手段により特定された顔領域の中から、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する検出手段と、
   を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記顔領域特定手段により特定された顔領域の色情報に基づいて、前記対象部位の探索を行う探索領域を決定する探索領域決定手段をさらに含み、
   前記検出手段は、
   前記探索領域決定手段により決定した探索領域に対して、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する、
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記対象部位は、口角であり、
   前記探索領域決定手段は、
   前記顔領域の顔色の赤味成分に基づいて、口角の探索を行う探索領域を決定する
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記対象部位は、鼻であり、
   前記探索領域決定手段は、
   前記顔領域の顔色の輝度に基づいて、鼻の探索を行う探索領域を決定する
   ことを特徴とする画像処理装置。
5. 撮像手段が接続される画像処理装置を制御する制御方法であって、
   顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを示す正解パターンを抽出する正解パターン抽出ステップと、
   前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出ステップと、
   前記正解パターン抽出ステップと、前記反例パターン抽出ステップとにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習ステップと、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定ステップと、
   前記顔領域特定ステップにより特定された顔領域の中から、前記学習ステップにより学習したパターン認識により、前記対象部位の位置を検出する検出ステップと、
   を含むことを特徴とする画像処理装置の制御方法。
6. 撮像する撮像手段が接続される画像処理装置としてコンピュータを機能させるためのプログラムであって、
   顔が撮像されたサンプル画像に基づいて、検出の対象とする顔の対象部位の画像パターンを示す正解パターンを抽出する正解パターン抽出手段、
   前記サンプル画像に基づいて、前記正解パターンの近傍の所定範囲内にある画像パターンを前記対象部位の反例パターンとして抽出する反例パターン抽出手段、
   前記正解パターン抽出手段と、前記反例パターン抽出手段とにより抽出された各画像パターンに基づいて、前記対象部位のパターン認識を学習する学習手段、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段、及び、
   前記顔領域特定手段により特定された顔領域の中から、前記学習手段により学習したパターン認識により、前記対象部位の位置を検出する検出手段、
   として前記コンピュータを機能させるためのプログラム。
   

Images