JP2007047949A - 口トラッキング装置及びコンピュータプログラム - Google Patents

Abstract

【課題】サンプルを事前にトレーニングすることなく、リアルタイムでトラッキングするのに適した口トラッキング装置を提供する。
【解決手段】口をトラッキングするための装置は、強度分布に基づいて、ビデオフレームの各々における顔領域と顔領域中の口区域との場所を特定するための手段４４、４６及び４８と、ビデオフレームの各々について、顔領域の画素の色分布と画素の各々の色とに基づいて、口区域の画素の各々に予め定められた２つのラベルのうち一つを決定するための手段５０と、第１のラベルを有する画素中で、口区域内の唇輪郭候補を特定し、唇輪郭候補に、特定のパラメータ形状を当てはめる手段５２とを含む。
【選択図】 図１

Description

この発明はカメラベースの、口及びその唇の外側輪郭をトラッキングする方法とシステムとに関し、特に、口と唇の外側輪郭とをトラッキングしてこれらを他の顔の特徴とともに、視覚的音声処理、セキュリティのための視覚ベースの人物特定、２Ｄ／３Ｄの仮想現実のアプリケーション、先進的な人とコンピュータとのインターフェイスシステム、及びロボットの応用等に用いるための、リアルタイムの視覚に基づいた方法とシステムとに関する。

従来、コンピュータ及びロボットは人間の命令によって割当てられた仕事を行なうことのできるツールであると考えられてきた。最近、本発明者らは、機械が人間と同様なやり方でこの世界で動き、特にそれらが他の人間と相互に有益な関係で仲間として相互作用するような、共生システムを考えるようになった。

このような人と機械との交流では、複数の方法による人と機械との相互作用が不可欠である。特に、多くの方法を用いる人とコンピュータとのインターフェイスのアプリケーションでは、頑健な、リアルタイムの唇（または口）のトラッキングが重要な研究課題の一つである。例えば、音声認識装置に視覚的音声情報を付加すれば、少なくとも２つの実際的な基準を満たす。すなわち、音声認識における人の視覚的な知覚を模倣するので、音響的領域に常に存在するとは限らない情報を含むかもしれない（非特許文献１）。別のアプリケーション例は、人とヒューマノイドエージェントとの社交的な対話を、発話の間に人と同様に口を動かすことでより向上させることである（非特許文献２）。

パタジャンは、特許文献２において、彼の研究のための顔トラッキングシステムにおいて、口トラッキングのために、グレースケール画像における、鼻孔を基準とした連続した口輪郭の符号化を行なっている。このアプローチには２つの欠点がある。第１に、鼻孔の検出はそれらが見える場合は非常に安定しているが、顔の向きによってはさえぎられてしまう。従って、鼻孔を基準として用いるのは一般に実用的なアプローチであるとは言いがたい。第２に、この方法は口輪郭の連続性とともに、グレースケールのしきい値処理に依存している。しかし、特に光の状態が変化すると顔の輪郭はかなり変化するため、トラッキングの失敗につながる。

研究者の中には、唇の外側輪郭をトラッキングするために、非特許文献３に記載のアクティブ輪郭モデル（スネークス）のフレームワークを利用している者がいる。アクティブ輪郭モデルは、カスらにより１９８７年に初めて導入された。輪郭モデルは、対象の境界または何か他の画像特徴量をパラメータ曲線として表す。ユーザ又はより上位レベルのプロセスが、曲線の位置を対象物の境界近くに初期化する。繰返しにより、最終的には曲線は唇の輪郭の周りに縮んでいく（shrink wrap around）と予測される。一般に、輪郭の制約は内部（弾性及び曲げ）エネルギと外部（境界）エネルギとによって規定される。皺やひげなど、人の口の周囲は複雑であるため、外部エネルギが良好に規定できるか否かはパラメータの選択にかかっている。従って、唇の対象領域(Region of Interest:ROI)が整っていない場合、スネークスのアルゴリズムは正しい境界に収束しないおそれがある。

クー及びプリンスは、非特許文献４において、対象物の境界トラッキングのために、勾配ベクトルフロー（Gradient Vector Flow:GVF)と呼ばれる、スネークスのための新たな外部エネルギを定義している。スネークスの対象物の境界への吸引を改良するベクトル場としてGVF場が定義されている。一般的に従来のスネークスのアルゴリズムよりかなり改良されるものの、GVFスネークスのアルゴリズムもまたパラメータの選択に敏感であり、計算コストも大きい。

チャンらは、非特許文献５において、唇輪郭のトラッキングに、基準形状モデルを用いた反復Bスプラインアプローチを採用している。彼らのアルゴリズムもまた、他の多くのものと同様に、ユーザの口をトラッキングするためにユーザについて予め特定の知識を必要とする。
特開2004-157778 E.D.パタジャン、「電子的顔トラッキング及び検出システム、ならびに自動音声認識のための方法及び装置」、米国特許第4,975,960号、１９９０年。（E. D. Petajan, “Electronic facial tracking and detection system and method and apparatus for automated speech recognition,” in US. Pat. No. 4,975,960, 1990.） S.グルブズ、Z.トゥフェクチ、E.パターソン及びJ.ガウディ、「オーディオ‐ビジュアルな音声認識のためのアフィン不変フーリエ記述子の唇読取への適用」、ICASSP予稿集、２００１年。（S. Gurbuz, Z. Tufekci, E. Patterson, and J. Gowdy, "Application of affine-invariant fourier descriptors to lipreading for audio-visual speech recognition," in Proceedings of ICASSP, 2001） S.グルブズ、K.キノシタ、M.レイリー、及びS.ヤノ、「話すヒューマノイドロボットのための生物学的に有効な顎の動き」IEEE-RAS/RSJ ヒューマノイドロボットに関する国際会議（ヒューマノイズ ２００４）、ロサンゼルス、カリフォルニア、USA、２００４年。（S. Gurbuz, K. Kinoshita, M. Riley, and S. Yano, "Biologically valid jaw movements for talking humanoid robots," in IEEE-RAS/RSJ International Conference on Humanoid Robots (Humanoids 2004), Los Angeles, CA, USA, 2004.） M.カス、A.ウィトキン、及びD.テルゾポーラス、「スネークス：活性輪郭モデル」、コンピュータビジョンに関する第１回国際会議、２５９−２６８ページ、１９８７年。（M. Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active contour models," in Proceedings of 1st international Conference on Computer Vision, pp. 259-268, 1987.） C.クー及びJ. P.プリンス、「スネークス、形状及び勾配ベクトルフロー」、IEEE画像処理トランザクション、第７巻第３号、１９９８年。（C. Xu and J.P. Prince, "Snakes, shapes, and gradient vector flow," IEEE Transactions on Image Processing, vol. 7, no. 3, 1998.） M.T.チャン、Y.ツァン、及びT.S.ハン、「リアルタイムの唇トラッキングとバイモーダル連続音声認識」、IEEE信号処理学会１９９８、マルチメディア信号処理ワークショップ１９９８年。（M.T. Chan, Y. Zhang, and T.S. Huang, "Real-time lip tracking and bimodal continuous speech recognition," in IEEE Signal Processing Society 1998 Workshop on Multimedia Signal Processing, 1998.） J.A及びA.エレフテリアディス、「ビデオシーケンスにおける顔と顔特徴量の自動位置決めトラッキング」、自動的な顔と身振りの認識に関する国際ワークショップ、チューリッヒ、スイス、１９９５年。（J. A and A. Eleftheriadis, "Automatic location tracking of faces and facial features in video sequences," in International Workshop on Automatic Face and Gesture Recognition, Zurich, Switzerland, 1995.） C.C,チャン、W.K. タイ、M.T.ヤン、Y.T.ハン及びC.J.ハン、「リアルタイムで唇、目及び顔を検出する新規な方法」リアルタイム画像処理、第９巻、２７７−２８７ページ、２００３年。（C.C. Chiang, W.K. Tai, M.T. Yang, Y.T. Huang, and C.J. Huang, "A Novel Method for Detecting Lips, Eyes and Faces in Real-Time," Real-Time Imaging Vol. 9, pp. 277-287, 2003） H.J. 及びA.ゼリンスキー、「頑健なリアルタイムの顔トラッキング及び身振りの認識」人口知能に関する国際連合会議予稿集、１９９７年。（H.J and A. Zelinsky, "Robust real-time face tracking and gesture recognition," in Proceedings of the International Joint Conference on Artificial Intelligence, 1997） S.カワト及びN.テツタニ、「ssrフィルタ及びサポートベクトルマシンによる、リアルタイムスケール適応顔検出及びトラッキング」、ＡＣＣＶ予稿集、第１巻、２００４年。（S. Kawato, and N. Tetsutani, "Scale adaptive face detection and tracking in real time with ssr filter and support vector machine," in Proc. of ACCV, vol. 1, 2004） P.バイオラ及びM.ジョーンズ、「頑健なリアルタイム物体検出」、視覚モデリング、学習、コンピューティング及びサンプリングに関する統計的及びコンピュータ関連理論に関する第２回国際ワークショップ、カナダ、バンクーバー、２００１年。（P. Viola and M. Jones, "Robust real-time object detection," in Second International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing, and Sampling, Vancouver, Canada, 2001） S.グルブズ、K.キノシタ、及びS.カワト、「ジオメトリ及び照明に変化のある場合のリアルタイムの人の鼻梁トラッキング」マン−マシンシンバイオティックシステム第２回国際会議、京都、日本、２００４年。（S. Gurbuz, K. Kinoshita, and S. Kawato, "Real-time human nose bridge tracking in presence of geometry and illumination changes," in Second International Workshop on Man-Machine Symbiotic systems, Kyoto, Japan, 2004） J.ヤン、R.スティフェルハーゲン、U.メイヤー及びA.ウェイベル、「マルチモーダルな人とコンピュータの相互作用のための視覚的トラッキング」コンピュータシステムにおける人のファクタに関するSIGCHI会議予稿集、１９９８年。（J. Yang, R. Stiefelhagen, U. Meier, and A. Waibel, "Visual tracking for multimodal human computer interaction," in Proceedings of the SIGCHI conference on Human factors in computing systems, 1998）

ほとんどのアプローチは成功したと報告されているが、これらのアプローチは計算が複雑であることと、ユーザの肌の色や口の形状を前もって知る必要があることから、多くの実際的な用途には不利である。従って、ユーザについての事前の知識を必要としないオンライン学習アルゴリズムを付加することによって、これらの試みを遍在的な唇トラッキングシステムに拡張する必要がある。すなわち、この装置は、肌の色、唇の色、又は照明等に関わりなく、唇の輪郭をトラッキングできるものでなければならない。

従って、この発明の目的は、個々人のサンプルを事前にトレーニングすることなく、リアルタイムでトラッキングするのに計算上適した、口トラッキング装置を提供することである。

この発明の別の目的は、影や照明の変化に対し頑健な、口トラッキング装置を提供することである。

この発明のさらに別の目的は、顔の正面の向きとスケールの変化に対し不変な、口トラッキングのための方法及び装置を提供することである。

この発明の別の目的は、肌の色及び顔の寸法に対し不変な、口トラッキング技術のための装置を提供することである。

従って、この発明のさらなる目的は、個々人の肌の色についてなんら仮定を用いることなく、さらに、個々人から何らかのトレーニング用データを要求することなく、唇の色の特性のオンライン学習に基づいて口のトラッキングを行なう装置を提供することである。

この発明のさらなる目的は、トラッキング作業の間に、個々人の唇であるデータと唇でないデータとのサンプルの、オンラインの（フレームごとの）学習と抽出とを行なうことである。

この発明の他の目的、特徴及び利点は、パターン分析及び認識分野の当業者には、以下の概要、図面及び発明の詳細な説明とその好ましい実施の形態とから明らかとなるであろう。

この発明の第１の局面によれば、カラーのビデオフレームのシーケンス中において口をトラッキングするための装置は、ビデオフレームの各々について、前記各フレームの強度分布に基づいて、前期ビデオフレームの各々における顔領域と顔領域中の口区域とを特定するための手段と、ビデオフレームの各々について、顔領域の画素の色分布と前記画素の各々の色とに基づいて、口区域の画素の各々に対し、予め定められた二つのラベルのうち一つを決定するための手段とを含む。このラベルは唇画素候補を示す第１のラベルと、非唇画素を示す第２のラベルとを含む。装置は、第１のラベルを有する画素中で、口区域内の唇輪郭候補を特定するための手段と、特定するための手段によって特定された唇輪郭候補に、特定のパラメータによる形状を当てはめる手段とをさらに含む。

好ましくは、当てはめるための手段は、特定するための手段によって特定された唇輪郭候補に楕円を当てはめるための手段を含む。

さらに好ましくは、前記特定するための手段は、口区域内で第１のラベルを有する画素の各々について、その画素が口区域内のいずれかの垂直な画素線における第１のラベルを有する最も上の画素または最も下の画素であるか否かを検査することによって、画素が唇候補であるか否かを決定するための手段を含む。

さらに好ましくは、前記特定するための手段はさらに、口区域内の画素の各々に対し予め定められた空間フィルタを適用することによって唇画素候補のノイズを消去し、決定するための手段に画素が与えられる前にその画素にラベルを再付与するための手段をさらに含む。

さらに好ましくは、空間フィルタは、ある画素候補の予め定められた近傍が非唇画素候補より唇画素候補をより多く含む場合、その画素を唇画素候補と判断する。

ビデオフレームの各々は赤‐緑‐青の画像としてキャプチャされ、決定するための手段は、顔領域中で口区域以外の領域を選択するための手段と、選択するための手段によって選択された領域内の画素の各々の赤成分及び緑成分を、画素の全体強度によって、正規化された赤成分及び正規化された緑成分に正規化するための手段と、正規化された赤と正規化された緑との空間内に唇空間を規定するための手段とを含み、規定するための手段は、選択するための手段によって選択された領域内の所定の割合の画素が唇空間内に収まるように唇空間を規定し、唇空間は正規化された緑成分を基準として上側境界と下側境界とによって境界が定められており、決定するための手段はさらに、ビデオフレームの各々の口区域内の各画素について、その画素が唇空間内に収まっているか否かを判断するための手段を含んでもよく、唇空間内に収まっていると判断された画素には第１のラベルが付され、唇空間内に収まっていないと判断された画素には第２のラベルが付される。

好ましくは、唇画素と非唇画素とに対しそれぞれ第１のクラスと第２のクラスとが規定され、特定するための手段が、画像フレーム中の各画素について観測ベクトルを形成するための手段を含み、前記観測ベクトルは画素の各々の赤‐緑‐青の属性から形成され、特定するための手段はさらに、形成するための手段によって形成された画像フレームの観測ベクトルに基づいて、特定の観測ベクトルを有する画素が対応するクラスに分類される事前確率を示す確率モデルを各クラスについて計算するための手段と、特定の観測ベクトルを有する画素が第１及び第２のクラスに分類される確率を計算するための手段と、確率を計算するための手段によって計算された確率に基づき、ある画素のクラスを決定するための手段と、をさらに含む。

この発明の第２の局面に従えば、コンピュータで実行可能なプログラムは、コンピュータ上で実行されると、上述の装置のいずれかの全ての機能をコンピュータに実行させる。

第１の実施の形態
−概観−
以下に説明するこの発明の実施の形態は、人間の鼻の曲線が持つ光測定上の属性の利点を眼のトラッキング技術と組合せ、口トラッキングに関して従来から認識されていた問題点を克服するものである。初めに、眼の位置を見出して顔のＲＯＩを推定し、その後この方法は鼻梁と鼻先端との両方に沿った鼻の曲線の光強度プロファイルを利用する。さらに、鼻先端を基準として口区域を規定し、口区域の画素を「唇空間」を利用してクラスに分類する。すなわち、唇画素と非唇画素とである。提案されたアプローチでは、この口トラッキング装置は照明条件、肌の色合い、及び正面から見た顔の幾何学的形状の変化並びに顔の動きに対し頑健となる。

図１は口をトラッキングするための、この実施の形態に従ったトラッキング装置３０の概観ブロック図である。図１を参照して、トラッキング装置３０は、予め定められたフレームレートで人の顔の画像フレームシーケンスを撮影するためのカラービデオカメラ４０と、ビデオカメラによって撮影された各フレームを記憶するためのフレームメモリ４２と、フレームメモリ４２に記憶された各フレーム内で眼の位置を検出するための眼検出モジュール４４と、カメラ４０によって撮影された人の顔の鼻梁を検出するとともに鼻梁線位置データを出力するための、鼻梁検出モジュール４６とを含む。

トラッキング装置３０はさらに、鼻梁検出モジュール４６から出力された鼻梁線データに基づいて、ユーザの鼻先端を検出するための鼻先端検出モジュール４８と、鼻先端位置、目の位置、及びユーザの顔画像に基づいて、後述の「唇空間」を規定するための唇空間規定モジュール５０と、唇空間とそのフレーム中のユーザの顔画像の画素の色分布とを用いて、各フレームについてユーザの唇輪郭を規定する唇輪郭規定モジュール５２とを含む。

各フレームに対し、この実施の形態のトラッキング装置３０はビデオカメラ４０からの画像フレームを得る。眼検出モジュール４４は光強度平面を用いて各フレームの眼の位置を検出する。こうして、顔の支配的な特徴である眼がまず眼検出モジュール４４によって基準点としてトラッキングされる。眼の検出については、周知のどのようなアルゴリズムでも用いることができる。

鼻梁検出モジュール４６は人の鼻曲線の相対的強度情報（強度分布）を眼検出技術と組合わせて用いる。この実施の形態では、撮影された画像は赤、緑、青（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ：ＲＧＢ）の画像である。従って、鼻梁検出モジュール４６は色平面の一つを光強度情報の尺度として用いることによって計算時間を節約する。この実施の形態では、光強度情報を代表するものとして、緑平面を用いる。

その後、鼻先端が、鼻先端検出モジュール４８によって、各画像フレームについてリアルタイムで、過去のトラッキング結果に依拠することなく検出される。

鼻先端を検出した後、唇空間規定モジュール５０が「唇空間」を規定する。「唇空間」とは、（ｒ，ｇ）空間中で、唇の画素のうち、正規化された赤（以降「ｒ」）と正規化された緑（以降「ｇ」）との組合せのほとんどがプロットされるような区域をいう。

眼検出モジュール４４、鼻梁検出モジュール４６、鼻先端検出モジュール４８及び唇輪郭規定モジュール５２で用いられるアルゴリズムについては後述する。

−眼の検出とトラッキング−
図５を参照して、トラッキング装置３０では、キャプチャされた画像１３０中の顔の眼の位置１３２及び１３４が最初に検出される。このステップで用いられる眼の検出及びトラッキングアルゴリズムは非特許文献９に詳述されている。

次に、顔の対象領域（ＲＯＩ）１３６がキャプチャされた画像１３０から規定される。簡単に言えば、両眼の間のパターンを検出し、更新されたテンプレートマッチングでトラッキングする。顔の大きさの変化に対処するため、検出のために様々な縮尺の画像を考慮し、両眼間の距離に従って適切な縮尺を選択する。

このアルゴリズムは、非特許文献１０に記載の「統合画像」（Ｉｎｔｅｇｒａｌ ｉｍａｇｅ）と呼ばれる入力画像の中間表現を計算する。その後、６セグメント直交（ｓｉｘ−ｓｅｇｍｅｎｔｅｄ ｒｅｃｔａｎｇｕｌａｒ：ＳＳＲ）フィルタを用いて、画像中の眼の領域の明暗関係を高速フィルタリングする。結果として得られる顔候補をさらに、サポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ：ＳＶＭ）アルゴリズムによって検証する。

図５を参照して、キャプチャされた画像１３０中の眼の位置１３２及び１３４を利用した顔のＲＯＩ選択処理は、おおよそ１．２×両眼間の距離の幅と、１．６×両眼間の距離の高さの寸法を有する、回転補正された矩形領域１３６を選択することを含む。結果として得られるＲＯＩ候補１３６は切出され、回転されて、図５の右側に示すように、顔ＲＯＩ１４０の画像が得られる。顔ＲＯＩ１４０は眼の位置１４２及び１４４によって規定される眼のレベルから始まり、典型的には首上部までである。

−鼻梁及び鼻先端の検出−
人の鼻は、凸形状を有し、眼のレベルから鼻先端までの鼻梁は一線上に延びる。一般に、或る点での光の強度の測定値は、その点と光源との距離が増加するにつれて小さくなる。これは、光がその光源の位置から離れるにつれて広がるからである。従って、曲率に関する情報は光強度プロファイルで表現される。図６の右側に、図６の左側の顔ＲＯＩ１４０から抽出された行セグメント１６０の光強度プロファイル１７０を示す。

この実施の形態では、この物理的現象をノイズ減少及びパターン検索と関連させて利用する。

鼻は凸形状を有する。従って、鼻梁には側面に比べより多くの光強度が集まっている。光強度プロファイルのために顔のＲＯＩ画像の単一の行を用いる代わりに、複数の行を用いて垂直の矩形１６２によって示される画素の垂直線の光強度値の和をとることにより、ビデオノイズの影響を大幅に削減できる。従って、ノイズの影響が相殺されるのと同時に、光強度値が鼻の側部よりも鼻梁においてより速い速度で累積される。眼の線(ライン１４２と１４４とを結ぶ線）より下の、互いに重複する部分を持つセグメントに対しこの処理を繰返すことにより、光強度プロファイル１７０の３Ｄパターンが生成される。

すなわち、凸曲面上の点は側部より高い光強度を有することとなる。ここで、この実施の形態では行セグメント１６０の光強度プロファイルを用いて鼻梁のトレースを行なうために高速フィルタリングのアプローチを利用している。

非特許文献９に記載された両眼間の検出フィルタと同様に、この実施の形態では最大値フィルタと呼ばれる、３セグメントの畳込みフィルタを用い、光強度の積分値を用いて鼻梁候補の位置のトレーシングを行なう。ここで中央のセグメントは側部のセグメントと等しいかまたは大きく、３個のセグメント全ての定数を乗じた光強度の合計は、鼻梁の位置で最大値となる。図６及び図７は眼の線から始めて各行の最大光強度パターンをトレースする、３個のセグメント１８２、１８４及び１８６を備えた最大値フィルタ１８０を示す。基準は以下の通りである。

ここでＳ_ｉは図７に示す最大値フィルタのセグメント１８２、１８４及び１８６の光強度の積分値を示し、Ａ、Ｂ及びＣは全て予め定められた定数であり、ｊは現在の積分光強度プロファイルにおけるフィルタの中心位置である。好ましくは、定数Ｂは定数Ａ及びＣより大きい。定数Ａは定数Ｃと等しくてもよい。例えば、Ｂ＝３でありＡ＝Ｃ＝１である。

フィルタは顔のＲＯＩ画像の全ての行セグメントに対し畳込みされる。行セグメントは典型的には顔ＲＯＩ画像の５から１０行にわたり、顔のＲＯＩ画像は典型的には２０個の行セグメントを含む。

行セグメントの積分光強度プロファイルを処理して、顔ＲＯＩの端部に達するか、または式（１）が満足されなくなるまで、式（１）を用いて図８に示す外殻（hull)点２００を見出す。すなわち、鼻梁候補点のうち幾つかは鼻梁上にはなく、鼻先端よりも下の場合がある。従って、本願発明者は、修正処理として、水平積分強度プロファイルの第１次導関数が鼻先端で最大であり、第２次導関数が鼻孔レベルでゼロであることを見出した（非特許文献１１）。

図９を参照して、垂直列セグメント２２０は、積分強度プロファイルが最大となる点から出発して典型的には顔ＲＯＩの下端まで延びるように規定される。列セグメント２２０の各行セグメントについて、累積積分強度が計算され、列セグメント２２０の水平積分強度の平滑化されたプロファイルを形成する。このプロファイルを検討することで、第１次導関数が最大となり、第２次導関数がゼロとなる点を見出すことができる。前者が鼻梁の先端を示し、後者が鼻孔レベルを示す。

−鼻梁線及び鼻先端を得るためのアルゴリズム−
図１０を参照して、鼻梁から鼻先端まで、式（１）を用いて抽出された点全てを、図１０の線２３２によって示されるように鼻梁を表す線に当てはめる。図１０において、鼻梁点２３０Ａから２３０Ｎまでを線２３２に当てはめる。線２３２は鼻梁を表すものと想定される。

鼻先端は、鼻梁線２３２上の鼻梁の先端と、先のステップで見出された鼻孔線との間のどこかの点である。従って、鼻先端は、線２３２と交差する線上にあると想定される。図１０の線２３４がこの線を示す。鼻先端は、鼻梁線２３２と線２３４との交差点２３６である。

−唇トラッキングのためのアルゴリズム−
鼻先端の場所は、初期の口ＲＯＩ選択に利用される。各フレームに対し、口空間が（ｒ，ｇ）空間上で規定される。これについては後述する。その後、口ＲＯＩ内の画素が（ｒ，ｇ）空間にプロットされる。画素は、唇空間内でプロットされていれば唇の画素であると仮定される。そうでなければ、これは唇でない（非唇）画素と仮定される。このようにして見出された唇画素を平滑化した後、唇輪郭候補が唇の上輪郭と下輪郭との両方について唇画素から見出される。最後に、上輪郭と下輪郭との両方の唇輪郭候補に対して、楕円を当てはめる。詳細を以下で説明する。

・オンライン学習と唇データ及び非唇データの抽出
サンプルデータへの周囲照明の影響を軽減するために、色表示に対してクロマ色変換を適用する（非特許文献８及び１２）。非特許文献１２において、ヤンらは、人の肌の色はクロマ色空間ではＲＧＢ色空間よりも変動が少ないことを指摘している。一般に各個人の肌の色分布は多変数正規分布でモデル化可能であるが、異なる人、異なる照明条件では、分布のパラメータが異なる。従って、異なる肌の色合いと照明の変化に対処するためには、オンラインでの学習とサンプルデータの抽出とが重要な鍵となる。

これら二つの問題を解決するために、非特許文献１２の著者らは、先に開発された色モデルを、先行するフレームから既知のパラメータの組合せによって新たな環境に変換する適応的アプローチを提案している。一般にこのアプローチには二つの欠点がある。開始するに当たって初期モデルを必要とすることと、全く肌の色が異なるユーザがこのシステムを使い始めるときに失敗するおそれがあることである。

この実施の形態では、唇と非唇のクラスのサンプルを抽出してリアルタイムでそれらの分布を推定する、オンライン学習アプローチを用いる。チャンらは、非特許文献７において、このアプローチに対するヒントを与えている。彼らは、唇の色が、（ｒ，ｇ）面の緑のチャンネルの下側範囲に分布する、と指摘している。従って、本発明での課題は、鼻先端の場所情報を基準として用いながら、唇の（ｒ，ｇ）空間の上側境界を学習するアルゴリズムを見つけることである。

まず、図１１に示すように、眼の線と鼻先端との間の行セグメント２４０を選択する。行セグメント２４０は、その行全体が非唇領域にある限り、眼の線と鼻先端との間のどこに選択されてもよい。この実施の形態では、行は、その行の頂部が底（鼻先端）から上へ８０％のレベルにあり、その高さが眼の線と鼻先端との距離の１０％となるように選択された。その後、この行内の全ての画素を（ｒ，ｇ）空間にプロットする。

図１２は選択された行の正規化された（ｒ，ｇ）空間における唇及び非唇の色分布例２５０を示す。

鼻先端を利用して、唇と非唇との時間に依存した（ｒ，ｇ）空間を、非唇の散布点のε％（典型的には１０％）が唇（ｒ，ｇ）空間に入るように、各フレームについて推定した。この場合、唇の（ｒ，ｇ）空間（簡潔に「唇空間」とも呼ぶ）２５６は、図１２に示すように、唇の下側境界多項式２５２と上側境界多項式２５４との間の空間である。ここでｃ_１はゼロに固定され、各フレームについてｃ_２のみが推定される。上側境界多項式２５４より上の画素は非唇空間２５８内にある。これらの多項式は何回かの実験結果から得られたものである。

得られた（ｒ，ｇ）空間情報を用いて、サンプルデータセット抽出プロセスでは、鼻孔線より下で唇空間に入る画素が唇画素と考えられ、他の画素は非唇画素とされ、画素のＲＧＢ色値がそれぞれクラス属性として記憶される。

・口区域の決定
図１３を参照して、次の課題は、口区域２６０を見出すことである。始めに、眼の線と口ＲＯＩの下端との間の垂直強度プロファイル２６２を得る。この実施の形態では、プロファイル２６２の第２のピーク２６４が口区域２６０の上側境界を規定する。ピーク２６４の隣のピーク２６６が口区域２６０の下側境界を規定する。従って、口区域の高さＨはピーク２６４と２６６との間の距離である。口区域２６０の幅Ｗは眼の距離と等しく選ばれる。

・口輪郭の規定
次に、図１４に示すように、口区域２６０内の各画素に対し３×３フィルタ２７０を適用する。フィルタは一種の空間フィルタであって、中心画素とそれに隣接する８個の画素とを含むフィルタ２７０内の画素のうち５個から９個が唇画素である場合、中心の画素は唇画素であると判断される。そうでなければ、その画素は非唇画素であると判断される。このフィルタリング処理により、ノイズを除去する。

図１５を参照して、口区域２６０内の垂直線２９０の各々を、上から下へと唇画素を求めて下る。このようにして、垂直線２９０の各々で見出された上端唇画素、例えば画素２８０、２８２、２８４等が、唇の粗い上輪郭を形成する。同様に、口区域２６０内の垂直線３１０の各々を、下から上へと唇画素を求めて昇る。画素３００、３０２等のこれらの下端画素が、唇の粗い下輪郭を形成する。この段階では、画素２８４等の異常点は許容される。

図１６を参照して、次のステップで、外輪郭全体を、推定された輪郭データを用いて得られた一般化された楕円３２０としてパラメータ化する。このフィッティング（当てはめ）により、画素２８４等の異常点が消去され、唇輪郭は楕円３２０として表現される。以下の一般的２次方程式に対応するパラメータ輪郭が見出される。

ただし全てのｉについてａ_ｉは定数であり、ａ_１及びａ_３はゼロでない。外唇輪郭点の各々がａ_ｉパラメータについて線形である一つの等式を与え、これは行列の式で以下のように書くことができる。

ここで[x₁, y₁; x₂, y₂; …; x_N, y_N]はトレースされた外唇輪郭の２Ｄ位置である。行列式における楕円パラメータ推定で用いられる基本形は、Ｍａ＝０、ａ＝（ａ_１ａ_２ａ_３ａ_４ａ_５ａ_６）^Ｔである。Ｍの次元はＮ×６であり、Ｎはセグメント内の点の数である。Ｍの各行はセグメント内の各点に対応する。各輪郭のｉ＝１、２、…について、パラメータａ_ｉを最小２乗法を用いて解く。

推定されたパラメータを用いて、各画像フレームについてパラメータ唇輪郭データを再生成することができる。一般的な楕円形状を表すには、５個の点で十分であり、これにより、典型的な輪郭で見出される１００個から２００個の２Ｄ点から相当のデータを削減することができ、さらに、口の幅対高さの比から、唇が開いているか、閉じているかさらに相対的に突出しているかの情報を有する唇形状の表現が与えられる。

−コンピュータによる実現−
この実施の形態の唇トラッキング装置３０は、肌の色の違い及び照明条件によってパラメータを微調整する必要がない。どのユーザがいつ、カメラの前に現れても、トラッキング装置３０は自動的にその人の眼、鼻梁及び鼻先端のトラッキングを、学習なしで開始する。

図２に戻って、コンピュータにこの実施の形態の装置３０の機能を達成させるプログラムの全体の制御構造を説明する。ここで、各ステップの処理の詳細説明は繰返さない。プログラムはステップ６０で始まる。各フレームについて、システム３０はステップ６０で画像フレームを撮影する。ステップ６２で、ステップ６０で撮影された画像内で眼が検出される。ステップ６４で、顔のＲＯＩが抽出される。

次に、ステップ６６で、鼻梁線が見出される。ステップ６６に続いて、ステップ６８で鼻先端が見出される。

ステップ７０で、（ｒ，ｇ）空間内で唇空間が規定される。このようにして規定された唇空間を利用して、ステップ７２で唇輪郭が見出される。

図３は唇空間が規定されるステップ７０の詳細を示す。図３を参照して、眼の線と鼻先端との間の領域（行）がステップ９０で選択される。ステップ９２で、選択された領域内の赤（Ｒ）及び緑（Ｇ）の色成分が（ｒ，ｇ）表現に正規化される。ステップ９４で、正規化された画素が（ｒ，ｇ）空間にプロットされる。

ステップ９６で、唇の下側境界多項式２５２に従って（図１２を参照）、（ｒ，ｇ）空間内に唇の下側境界線が描かれる。ここでｃ_１＝０である。ステップ９８で、図１２に示す唇の上側境界多項式２５４が（ｒ，ｇ）空間に描かれ、ここでｃ_２は微小量δに選ばれる。

ステップ１００で、上側境界線２５４より下の画素の割合を計算する。ステップ１０２で、この割合が１０％より大きいか否かを判断する。もし大きければステップ１０６に進む。そうでなければ、ステップ１０４に進む。ステップ１０４で、上側境界をδだけ上げる、すなわち、上側境界多項式２５４の定数ｃ_２にδを加える。その後、ステップ１００に戻る。

唇空間の上側境界線は、唇空間内の画素の割合が１０％より大きくなるまで、繰返しのたびごとに量δだけ上げられる。そうなった時に、この線はステップ１０６で上唇境界として規定され、制御はこのルーチンを抜ける。

図４は図２に示したステップ７２の処理の詳細な制御構造を示す。図４を参照して、鼻先端より下の行セグメントの画素がステップ１２０で水平方向に投影され、水平強度プロファイル（図１３に示すプロファイル２６２）を形成する。ステップ１２２で、口区域の高さが強度投影プロファイルから決定される。ステップ１２４で、口区域の幅が眼の距離から決定される。こうして、おおまかな口区域の場所が特定される。

次に、ステップ１２６で、画素が口空間内にあるか否かを検討することによって、おおまかな口区域内で唇画素候補が見出される。もしそれが口空間内にあれば、唇画素候補を示す第１のラベルがその画素に与えられる。そうでなければ、非唇画素候補を示す第２のラベルがその画素に与えられる。ステップ１２８で、口区域内の各画素に３×３フィルタを適用して、ノイズを除去する。

ステップ１３０で、おおまかな上唇輪郭及びおおまかな下唇輪郭を形成する唇画素が見出される。ステップ１３２で、唇のおおまかな輪郭に楕円を当てはめる。この楕円が、対象となっているフレームの唇輪郭を表す。

こうして、図２から図４に示す処理を各フレームについて繰返すことによって、トラッキング装置３０はユーザの唇輪郭をトラッキングすることができる。各フレームの唇輪郭は楕円によって表される。従って、トラッキング装置３０の負荷は軽く、装置は困難なく速い速度でトラッキングを行なうことができる。唇輪郭は先行するフレームからの知識無しで決定できるので、全く違う肌の色の別のユーザがシステムを使い始めても、トラッキング装置３０は正確に唇のトラッキングを行なうことができる。唇輪郭は、異なる向き、異なる照明の設定であっても正確にトラッキングされる。

図１７は上述のプログラムを実行してこの実施の形態の装置３０を実現するコンピュータシステム３３０の概観を示し、図１８はシステム３３０の構造をブロック図で示す。

図１７を参照して、コンピュータシステム３３０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ３５２及びＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ３５０を含むコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２と、ビデオカメラ４０とを含む。

図１８を参照して、コンピュータ３４０は、ＦＤドライブ３５２及びＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３５６と、ＣＰＵ３５６、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に接続されたバス３６６と、ブートアッププログラム等のプログラムを記憶するためのＲｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）３５８と、ＣＰＵ３５６に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）３６０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３５４とを含む。ここでは図示しないが、コンピュータ３４０はさらに、ローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。

コンピュータシステム３３０にこの実施の形態のトラッキング装置３０の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶されて、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入され、さらにハードディスク３５４に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４０に送信され、ハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。プログラムはＣＤ−ＲＯＭ３６２、ＦＤ３６４又はネットワークから直接ロードされてもよい。

プログラムは、コンピュータ３４０にこの実施の形態のトラッキング装置３０の機能を実行させるための幾つかの命令を含む。必要とされる基本的機能の幾つかは、コンピュータ３４０上で実行されるオペレーティングシステム（ＯＳ）又はサードパーティプログラム、若しくはコンピュータ３４０にインストールされたモジュールによって提供されるので、プログラムはこの実施の形態のトラッキング装置３０を実現するための基本的機能全てを必ずしも含まなくてもよい。プログラムは、制御された様態で適切な機能を呼出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム３３０がどのように動作するかは周知であり、従ってここでは繰返さない。

第２の実施の形態
上述の実施の形態では、口区域内の画素は、３×３フィルタリングを利用して最終的に二つのクラス（唇画素と非唇画素）に分類される。しかしこの発明は、このような実施の形態に限定されるものではない。例えば、画素は最大尤度推定を利用して分類されてもよい。

第２の実施の形態では、上述の実施の形態と同様に（ｒ，ｇ）空間情報が得られる。その後、得られた（ｒ，ｇ）空間情報を用いて、サンプルデータセット抽出処理で、唇空間に入る、鼻孔線より下の画素が唇画素とされ、他の画素は非唇画素とされ、画素のＲＧＢ色値がそれぞれクラスの属性として記憶される。

ほとんどの場合、サンプルデータは分散が大きく、データをその時間により変わる強度平均に従って部分集合（サブセット）に分けることが好ましい。ａｖｇ_ＬとＤ_ｋとを、それぞれ強度平均と唇クラスのｋ番目の部分集合とする。唇クラスの部分集合は以下のように、クラスの強度平均に従って分離される。

式（２）と同じ概念を用いて、非唇のデータサンプルもまた、非唇のクラスの強度平均に従って部分集合に分ける。図２１は非唇クラスと仮定された部分集合の、１Ｄの簡潔化された条件付濃度プロットである。

クラス条件の最大尤度推定
−多変量正規化密度−
正規化密度の分布を完全に説明するには、平均ベクトルと共分散行列とで十分である。ここでは、以下の式（３）で示されるクラス条件付多変量正規化密度を推定するのに、最大尤度推定法を用いた。ここでｉはｗ_１又はｗ_２であっても、クラスの部分集合であってもよい。

μ_ｉ＝Ｅ［ｘ］はｉ番目のクラスの平均値である。Σ_ｉは以下の式（４）で規定されるｎ×ｎ（この実施の形態では、ＲＧＢ色属性が用いられるので、ｎ＝３である）の共分散行列である。

パラメータμ_ｉ及びΣ_ｉの不偏推定値は、サンプル平均及びサンプル共分散行列を用いて推定される。

−ベイズの決定基準−
ｘを、ある画像フレームの画素の場所のＲＧＢ属性から形成された観測ベクトルとする。ここでの目標は、ｘが二つのクラスの分類問題でｗ_１に属するかｗ_２に属するかを決定するためのベイズ分類器を設計することである。事後確率を用いたベイズのテストは、次のように書くことができる。

ここでp(w₁|x)は所与のｘに対するｗ_１の事後確率である。式（５）は、所与のｘに対するｗ_１の確率が所与のｘに対するｗ_２の確率より大きければ、ｘはｗ_１に属するものと宣言でき、その逆も成立つことを示している。ｃ＝１、２について直接p(w_c|x)を計算することは現実的でないので、ｗ_ｃの事後確率を、ベイズの定理を用いて、事前確率と条件付密度関数p(x|w_c)で以下のように書換えることができる。

ここでｐ（ｘ）は密度関数であり、全てのクラスについて正の定数である。両辺を並替えることにより、以下の式が得られる。

ここでＬ（ｘ）は尤度率と呼ばれ、p(w₂)/p(w₁)は決定のための尤度率のしきい値と呼ばれる。

式（７）には密度の指数の形が含まれているので、対数をとることによって得られる以下のような単調な判別関数での処理が好ましい。

一般に式（９）は単に非線形２次式の形と和とをとるだけであり、この式を用いて、クラスごとに２以上のクラスタがある場合、ベイズの公式は本発明のリアルタイム唇トラッキングに対し以下のように実現することができる。

ここでｉ＝ｗ_１，ｗ_２について

である。

図２１に示すように、クラスタは３個あり、q_i ^*(x)は評価された画素の属性ｘに依存する３個のクラスタの条件付尤度値の最大値である。式（７）に示された尤度率のしきい値は、事前クラス確率に基づく。この実施の形態では、同様に尤らしい事前クラス確率が仮定される。

トラッキングの結果
図１９は第２の実施の形態に従って唇輪郭を自動的にトラッキングした処理の例を示す。図１９（Ａ）に示すように、口区域２６０が眼の位置、鼻先端、及び鼻孔線より下の水平強度プロファイルにより規定される。次に、図１９（Ｂ）に示すように、粗い上下の唇輪郭３８０が規定される。最後に、図１９（Ｃ）に示すように、楕円３８２を唇輪郭に当てはめる。

図２０は、何ら特別のマーカやペイントを用いることなく、肌の色の違う人々について照明の設定を変えてトラッキングした唇の輪郭、眼の線及び鼻梁線のいくつかの例を示す。図２０に示されるように、商業的に入手可能なＣＣＤ（電荷結合素子）カメラを用いた顔特徴量トラッキングアルゴリズムは、通常のＯＳプラットフォームの２ＧＨｚのノートブック型コンピュータで毎秒３０フレームで動作した。提案のアルゴリズムはＣ＋＋で実現した。

実験によれば、装置は（１）肌の色が異なり、（２）正面の顔の向きとスケールが異なり、（３）照明が変化しても、個々人のトラッキングに成功した。

この発明の装置と方法とを、鼻梁のトラッキングを参照して説明した。しかし、他の顔の特徴点をトラッキングするために、さまざまな変更や修正が可能であろう。

上述の実施の形態では、唇輪郭の候補に楕円を当てはめた。しかしこの発明はそのような実施の形態に限定されるものではなく、他のパラメータ形状を用いてもよい。例えば、唇輪郭候補に矩形又は角を丸くした矩形を当てはめてもよい。唇輪郭候補に最もよく当てはまるように、これらの形状をさらに変形してもよい。

上述の実施の形態では、唇空間は唇の下側境界多項式（図１２を参照）と唇の上側境界多項式とで規定された。

しかし、上側境界及び下側境界は図１２に示されるものに限定されない。例えば、上側境界及び下側境界は水平な直線であってもよく、又は図１２に示されるものと実質的に同じ形状の他の曲線であってもよい。図３のステップ１０２で用いたしきい値のパーセンテージは必ずしも１０％に等しくなくてもよい。これは、境界の形状に従って、より高くても低くてもよい。

以上、この発明を特定の実施の形態を参照して説明した。しかし、この発明のより広い精神と範囲から逸脱することなく、他の顔特徴点トラッキングのためにさまざまな修正及び変更が可能であることは明らかであろう。

この発明の第１の実施の形態のトラッキング装置３０のブロック図である。 実施の形態のトラッキング装置３０を実現するためにコンピュータ上で実行されるプログラムのフローチャートである。 唇空間を規定する処理のフローチャートである。 唇輪郭を見出す処理のフローチャートである。 顔ＲＯＩの抽出を示す図である。 顔ＲＯＩからどのように行セグメント１６０の強度プロファイル１７０を抽出するかを示す図である。 実施の形態で用いられる３セグメントの畳込みフィルタを示す図である。 成功裏に抽出された鼻梁候補２００と、鼻梁及び鼻先端のさらなる処理により正確に見出されたいくつかの不正確な鼻梁候補とを示す図である。 列セグメント２２０を示す図である。 鼻先端をどのように決定するかを示す図である。 唇空間を規定するために用いられる行セグメント２４０を示す図である。 （ｒ，ｇ）空間内の唇画素及び非唇画素の分布を示す図である。 口区域２６０をどのように規定するかを示す図である。 ３×３フィルタを示す図である。 粗い唇輪郭をどのように規定するかを示す図である。 粗い唇輪郭に当てはめた楕円３２０を示す図である。 上述のプログラムを実行し、この実施の形態の装置３０を実現するコンピュータシステム３３０の外観を示す図である。 図１７に示すコンピュータ３４０の構造を示す図である。 第２の実施の形態の実験例を示す図である。 ユーザの肌の色が異なり光の設定が異なる場合の、第２の実施の形態の別の実験例を示す図である。 第２の実施の形態の簡潔化した条件付密度プロットを示す図である。

符号の説明

３０ トラッキング装置
４０ ビデオカメラ
４２ フレームメモリ
４４ 眼検出モジュール
４６ 鼻梁検出モジュール
４８ 鼻先端検出モジュール
５０ 唇空間規定モジュール
５２ 唇輪郭規定モジュール
１３０ キャプチャされた画像
１３２、１３４、１４２、１４４ 眼の位置
１３６、１４０ 顔の対象領域（ＲＯＩ）
１６０、２４０ 行セグメント
１７０ 光強度プロファイル
１８０ 最大値フィルタ
２００ 外殻点
２２０ 列セグメント
２３０Ａから２３０Ｎ 鼻梁点
２６０ 口区域
２６２ 垂直強度プロファイル
２７０ ３×３フィルタ
３２０ 楕円
３３０ コンピュータシステム
３４０ コンピュータ

Claims (8)

1. カラーのビデオフレームのシーケンス中において口をトラッキングするための装置であって、
   前記ビデオフレームの各々について、前記各フレームの強度分布に基づいて、前記ビデオフレームの各々における顔領域と当該顔領域中の口区域とを特定するための手段と、
   前記ビデオフレームの各々について、前記顔領域の画素の色分布と前記画素の各々の色とに基づいて、前記口区域の画素の各々に対し、予め定められた二つのラベルのうちの一つを決定するための手段とを含み、前記ラベルは唇画素候補を示す第１のラベルと、非唇画素を示す第２のラベルとを含み、
   前記第１のラベルを有する画素中で、前記口区域内の唇輪郭候補を特定するための手段と、
   前記特定するための手段によって特定された唇輪郭候補に、特定のパラメータによる形状を当てはめるための手段とをさらに含む、装置。
2. 前記当てはめるための手段は、前記特定するための手段によって特定された唇輪郭候補に楕円を当てはめるための手段を含む、請求項１に記載の装置。
3. 前記特定するための手段は、前記口区域内で前記第１のラベルを有する画素の各々について、その画素が前記口区域内のいずれかの垂直な画素線における前記第１のラベルを有する最も上の画素または最も下の画素であるか否かを検査することによって、画素が唇候補であるか否かを決定するための手段を含む、請求項１又は請求項２に記載の装置。
4. 前記特定するための手段はさらに、前記口区域内の画素の各々に対し予め定められた空間フィルタを適用することによって、前記唇画素候補のノイズを消去し、前記決定するための手段に画素が与えられる前にその画素にラベルを再付与するための手段をさらに含む、請求項３に記載の装置。
5. 前記空間フィルタは、ある画素候補の予め定められた近傍が非唇画素候補より唇画素候補をより多く含む場合、その画素を唇画素候補と判断する、請求項４に記載の方法。
6. 前記ビデオフレームの各々は赤‐緑‐青の画像としてキャプチャされ、
   前記決定するための手段は、
   前記顔領域中で前記口区域以外の領域を選択するための手段と、
   前記選択するための手段によって選択された前記領域内の画素の各々の赤成分及び緑成分を、画素の全体強度によって正規化された赤成分及び正規化された緑成分に正規化するための手段と、
   正規化された赤と正規化された緑との空間内に唇空間を規定するための手段とを含み、前記規定するための手段は、前記選択するための手段によって選択された前記領域内の所定の割合の画素が前記唇空間内に収まるようにする前記唇空間を規定し、前記唇空間は正規化された緑成分を基準として上側境界と下側境界とによって境界が定められており、
   前記決定するための手段はさらに、前記ビデオフレームの各々の前記口区域内の各画素について、その画素が前記唇空間内に収まっているか否かを判断するための手段を含み、
   前記唇空間内に収まっていると判断された画素には前記第１のラベルが付され、唇空間内に収まっていないと判断された画素には前記第２のラベルが付される、請求項１から請求項４のいずれかに記載の装置。
7. 前記唇画素と前記非唇画素とに対しそれぞれ第１のクラスと第２のクラスとが規定され、
   前記特定するための手段が、
   前記画像フレーム中の各画素について観測ベクトルを形成するための手段を含み、前記観測ベクトルは前記画素の各々の赤‐緑‐青の属性から形成され、前記特定するための手段はさらに、
   前記形成するための手段によって形成された前記画像フレームの前記観測ベクトルに基づいて、特定の観測ベクトルを有する画素が対応するクラスに分類される事前確率を示す確率モデルを各クラスについて計算するための手段と、
   特定の観測ベクトルを有する画素が前記第１及び前記第２のクラスに分類される確率を計算するための手段と、
   前記確率を計算するための手段によって計算された確率に基づき、ある画素のクラスを決定するための手段とをさらに含む、請求項１又は請求項２に記載の装置。
8. コンピュータ上で実行されると、当該コンピュータに請求項１から請求項７のいずれかに記載の全ての機能を実行させる、コンピュータで実行可能なプログラム。