JP2011118767A - 表情モニタリング方法および表情モニタリング装置 - Google Patents

Abstract

【課題】 撮影角度が異なる場合でも、顔の向きに影響されずに表情の変化を正しく評価することができる表情モニタリング方法を提供する
【解決手段】 ステレオカメラを用いて左右一対の顔画像を撮影する工程と、複数の計測点について左右の画像それぞれに定義される二次元座標系での二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出して対応付けを行う計測点対応付け工程と、撮影空間に定義される三次元座標系での各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する三次元座標算出工程と、オイラー角による補正を行うことにより表情要素の画像を原点方向に向けたときの各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する補正三次元座標算出工程と、各計測点の補正二次元座標（Ｘ’_ｐ，Ｙ’_ｐ）を算出する補正二次元座標変換工程と、フーリエ記述子を用いて定量的に表現する評価工程とからなる。
【選択図】 図１

Description

本発明は、撮影したヒトの顔画像から表情を計測、解析し、ヒトの生理的・心理的状態の推定、評価を行う表情モニタリング方法および表情モニタリング装置に関する。

ヒトの心身状態を客観的に推定・評価することができれば、心身状態の兆候を検出して潜在的危険状態を回避したり、心身状態のさらなる悪化を未然に防いだりすることができるようになり有用である。例えば、船舶、自動車等の乗物では、乗客の乗り心地や乗物酔いの発症程度を評価したり、眠気の程度を評価したりすることができれば、それらの評価情報を利用して対処することができる。しかしながら、心理状態の評価はヒトが対象であり、これまで心理状態の客観的評価は困難であった。

近年、表情からヒトの心理状態を推定、評価することが検討されている。このような評価手法の一つとして、フーリエ記述子法を用いた評価手法が提案されている（特許文献１参照）。これによれば、ヒトの顔画像から、口および左右の眼を表情要素としてこれらの輪郭形状を、フーリエ記述子を用いて定量的に表現する。そして、予め、基本感情（幸福、驚き、恐怖、怒り、嫌悪、悲しみ）の状態で撮影した同様の画像から抽出した表情要素の定量表現との比較に基づいて評価することにより、心理状態を推定するようにしている。

また、このフーリエ記述子を用いた表情評価方法の応用例として、口の輪郭形状を経時的に撮影して、それぞれの画像についてフーリエ記述子を用いて口の状態を定量表現し、これらの動的変化から発音を推定する読唇技術が提案されている（特許文献２）。

一方、画像に映し出された顔から個人識別を行う個人識別装置において、顔が正面を向いていない場合に識別精度を高めるために、顔の左右方向の回転角を補正して、正しい精度で個人識別処理を行うことが開示されている（特許文献３参照）。これによれば、顔の三次元構造を記述した基準顔モデル（例えば円筒状のモデル）を設定しておき、基準顔モデルの奥行き情報を用いて回転角を算出し、左右方向の回転を補正するようにしている。

特開２００７−０６５９６９号公報 特開２００８−１４６２６８号公報 特開平６−１６８３１７号公報

上述したように、フーリエ記述子を用いて表情を解析する表情モニタリングは、ヒトの心理状態を推測できるので、さまざまな活動分野で利用できる有用な技術である。
しかしながら、撮影角度が真正面でなく、顔がカメラの真正面に向いていない場合に、表情要素（口、眼、鼻、あご等）の形状を正確に捉えることができず、その結果、表情を正しく評価することができない場合があった。
特に、顔画像を時系列的に撮影して表情の変化をモニタリングする場合は、変化前と変化後の顔の向きが変わると、表情の変化ではなく、顔の向きの変化が表情の変化として捉えられてしまい、誤った評価がなされることがあった。

このような場合に、例えば、特許文献３に記載されるように、三次元構造を記述した基準顔モデルを用いて顔の方向を回転させてから評価することが考えられる。しかしながら、基準顔モデルを用いても、表情の変化に起因する口や眼の部分的な形状変化の情報を正確に得ることができないため、口や眼の変化を表情変化として定量的に表現することは困難である。

そこで、本発明は、撮影角度が異なる場合でも、顔の向きに影響されずに表情の変化を正しく評価することができる表情モニタリング方法を提供することを目的とする。

上記課題を解決するために、本発明の表情モニタリング方法では、顔画像をステレオカメラで撮影し、顔画像に含まれる表情要素を幾何学的な手法で三次元計測し、当該表情要素の向きを座標変換により真正面に向け、あたかも真正面から撮影した表情要素の二次元画像を仮想的に作成し、表情要素の仮想的な二次元画像から表情評価を行うものである。
すなわち、本発明の表情モニタリング方法は、ステレオカメラを用いて左右一対の顔画像を撮影する工程と、撮影された左右の顔画像に同時に映し出され閉曲線で形状を特定することができる表情要素に対して、当該表情要素上に設定した複数の計測点について左右の画像それぞれに固定される二次元座標系での二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出して対応付けを行う計測点対応付け工程と、各計測点についての左右の画像上の二次元座標、および、ステレオカメラに設定された固定パラメータに基づいて、撮影空間に固定される三次元座標系での各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する三次元座標算出工程と、オイラー角による補正を行うことにより表情要素の画像を原点方向に向けたときの各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対する補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する補正三次元座標算出工程と、各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を撮影空間に固定される二次元平面に投影した補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ，Ｚ”_ｐ）を算出する補正二次元座標変換工程と、各計測点の補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ，Ｚ”_ｐ）に基づいて表情要素を補正された閉曲線で特定するとともに、フーリエ記述子を用いて定量的に表現する評価工程とからなるようにしている。

また、上記課題を解決するために、本発明の表情モニタリング装置は、ステレオカメラを用いて左右一対の顔画像を撮影する画像撮影部と、撮影された左右の顔画像に同時に映し出され閉曲線で形状を特定することができる表情要素に対して、当該表情要素上に設定した複数の計測点について左右の画像それぞれに固定される二次元座標系での二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出して対応付けを行う計測点対応付け部と、各計測点についての左右の画像上の二次元座標、および、ステレオカメラに設定された固定パラメータに基づいて、撮影空間に固定される三次元座標系での各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する三次元座標算出部と、オイラー角による補正を行うことにより表情要素の画像を原点方向に向けたときの各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対する補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する補正三次元座標算出部と、各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を撮影空間に固定される二次元平面に投影した補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ，Ｚ”_ｐ）を算出する補正二次元座標算出部と、各計測点の補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ，Ｚ”_ｐ）に基づいて表情要素を補正された閉曲線で特定するとともに、フーリエ記述子を用いて定量的に表現する評価部とからなるようにしている。

本発明によれば、左右一対のカメラで構成されるステレオカメラによってヒトの顔を撮影して、左右一対の顔画像を取得する。撮影された左右それぞれの顔画像に同時に映し出されている表情要素のうちで、口、眼、鼻、あごなどの閉曲線で形状を特定することができる表情要素を選択する。そして左右の画像それぞれに固定される二次元座標系の上で、当該表情要素上に設定した複数の計測点について二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出することにより、左右の座標の対応付けを行う。この二次元座標は、左右のカメラ上の座標値である。
ここでの対応付けは、装置側で操作者に画面表示のメッセージで計測点の位置の入力を促し、操作者が画像を目視で特徴点を選んで計測点として設定するのを待ち受けることで対応付けすることができるし、画像に含まれる特徴点の情報から自動設定することもできる。自動設定のときは、予め、口などの抽出対象の表情要素における特徴点の輝度情報、色情報、形状情報を記憶させておき、それらの情報を元に、実際の顔画像と比較することで、測定対象の顔画像に含まれる特徴点の位置情報を抽出することにより設定することができる。
続いて、各計測点について取得した二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）と、撮影時のカメラに設定された固定のパラメータに基づいて、各計測点について、撮影空間に固定された三次元座標系での座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を幾何学的に算出する。この三次元座標は絶対空間上の座標値である。

続いて、各計測点についての算出された三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対し、オイラー角による補正を行って、顔の向きを三次元座標系のＸＹ平面の方向を向くようにする。例えば、口の左右両端の点を基準にして、これが三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）でＸＹ平面に平行に向くように（すなわち、Ｚ_ｐが等しい値になるように）オイラー角により補正する。そしてオイラー角による補正後の各計測点の三次元座標を表情に固定された補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）として算出する。
続いて、補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を表情に固定される二次元平面に投影した補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）を算出する。この補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）は、Ｘ’Ｙ’面に投影した二次元座標で、表情を正面から見た画像となる。

このようにして作成された補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）で示された各計測点によって形成される閉曲線は、顔を真正面に向けた仮想的な顔から抽出された表情要素の形状になっている。
したがって、この閉曲線に対して、これまでと同様のフーリエ記述子を用いた表情モニタリングを実行することにより、顔の向きの影響を除去した計測が可能になる。

本発明によれば、ステレオカメラで撮影した一対の画像から真正面に向けた仮想の顔での表情要素を抽出することにより、実際の顔の向きにかかわらず、正確な表情モニタリングができるようになる。

本発明の一実施形態である表情モニタリング装置を示すブロック図である。 ステレオカメラに関する設定パラメータおよび画像解析に用いる座標系を示す模式図である。 計測点についての撮影空間に固定された三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）と、画像上に固定された二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）との幾何学的な位置関係を示す図である。 計測点についての撮影空間に固定された三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）と、画像上に固定された二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）との幾何学的な位置関係を示す図である。 オイラー角による座標変換を表す概念図である。 本発明の一実施形態である表情モニタリング方法の動作フローを示すフローチャートである。 左右の表情画像から抽出した口の各計測点、輪郭形状および補正によって正面に投影された口の輪郭形状を示す図である。 フーリエ記述子法の概念を示す図である。 偏角関数および正規化偏角関数の例を示す図である。 口の輪郭形状より算出したフーリエ記述子ａ_ｋを示す図である。

（装置構成）
以下、本発明の一実施形態について図面を用いて説明する。図１は本発明の一実施形態である表情モニタリング装置の構成を示すブロック図である。

表情モニタリング装置１０は、ステレオカメラ１１と、ステレオカメラ１１により映し出された画像を用いて表情を評価する画像解析装置１２とからなる。

ステレオカメラ１１は、一対のレンズ１１Ｌ，１１ＲおよびＣＣＤが配置され、被写体である顔を二方向から撮影できるようにしてある。カメラの焦点距離やカメラ間距離などの解析に必要な設定パラメータについては後述する。具体的には、ステレオカメラ１１として、富士フィルム製のFINEPIX-REAL3D-W1を用いることができる。このステレオカメラは、通常の単一レンズのカメラを精度良く配置することでも実現することができる。

画像解析装置１２は、ＣＰＵ、メモリ、データ入出力用Ｉ／Ｏを有する制御部１３、マウス、キーボードなどの入力装置１４、液晶パネルなどの表示装置１５を備えた汎用コンピュータでハードウェアが構成され、本発明に必要なソフトウェアをロードすることにより、画像解析装置１２として動作することができるようになる。
この画像解析装置１２を説明するために機能ごとにブロック化して説明すると、左右画像入力部２１、計測点対応付け部２２、三次元座標算出部２３、補正三次元座標算出部２４、補正二次元座標算出部２５、表情評価部２６からなる。

左右画像入力部２１は、ステレオカメラ１１から、撮影された左右一対の画像データを読み込む処理を行う。読み込まれた左右画像データは記憶され、必要なときに表示装置１５に表示される。
なお、説明の便宜上、読み込まれた画像データには口や眼の画像が左右同時に撮影されているものとし、以後の説明では表情要素の一つである口の輪郭形状から表情を評価する場合について説明する。

計測点対応付け部２２は、左右画像データに同時に映し出されている口（表情要素）について、その形状を特徴付ける複数の計測点を左右それぞれの画像データ上で設定し、それぞれの画像上に固定された二次元座標系での各計測点の座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出することにより、各計測点の対応付けを行う。
例えば、左右の画像データを表示装置１５に表示させた状態で、操作者に対し、左右の画像上に対となる計測点どうしを対応させて指定するように促す表示を行い、操作者が目視で、すべての計測点の対を入力装置１４にて指定するのを待ち受けるようにして対応付けを行う。
また、操作者の入力操作を待たずに全自動で対応付けを行う場合は、口の輪郭に関する形状的な特徴点（例えば口の上下左右の端部）を計測点の一部に含めておき、これらの点の形状的な特徴から左右画像におけるこれらの計測点の対応付けを行う。その際に、輝度的特徴や色合的特徴が同じであるかを参照することで対応付けの精度を増すことができる。また、口の場合は周囲にある歯、鼻、髭の位置や形状との相対的な位置関係を参照して左右の画像に含まれる計測点の対応付けの精度を高めることもできる。続いて、先に定めた特徴点（上下左右の端部）の中間点を計測点とし、これらの対応付けを行うことにより計測点を増加していく。このときも輝度的特徴や色合的特徴を参照し、歯の形状や鼻の形状、髭の形状等をも参照して対応付けを行う。同様の処理を行うことで、口の形状の特定するために必要な数の計測点（例えば２０個程度）の対応付けの処理を行う。

三次元座標算出部２３は、左右の画像に固定された二次元座標系での座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）と、撮影時のカメラに設定された固定パラメータに基づいて、三角測量の原理を応用し、撮影空間（絶対空間）に固定された三次元座標系での三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する処理を行う。

補正三次元座標算出部２４は、口の向き(顔の向き)が三次元座標系のＸＹ平面の方向を向くように、オイラー角により補正する。具体的には、口に設定した各計測点のうち、例えば左右両端の計測点を抽出し、これらが正面を向くように（左右両端の計測点のＺ座標が同じになるように）、オイラー角により補正し、各計測点について補正後の三次元座標を補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）として抽出する処理を行う。

補正二次元座標算出部２５は、各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を二次元平面に投影して二次元座標に変換する処理を行う。具体的には、各計測点の補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）を算出する処理を行う。

表情評価部２６は、算出された各計測点の補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）に基づいて、閉曲線で示された表情要素を抽出し、これまでと同様のフーリエ記述子を用いた表情解析の処理を行う。

（画像解析）
次に、上記表情モニタリング装置１０による表情の画像解析について説明する。最初に解析に必要な座標系と計測点との関係について説明する。
図２は、ステレオカメラ１１に関する設定パラメータおよび画像解析に用いる座標系を示す模式図である。ステレオカメラ１１は左レンズ１１Ｌと右レンズ１１Ｒとからなり、カメラ間距離Ｂを隔てて並べて配置される。左レンズ１１Ｌおよび右レンズ１１Ｒの焦点距離はｆとする。

撮影空間（絶対空間）に固定した三次元座標系を定義するため、左レンズ１１Ｌのレンズの光軸上に原点を定め、左レンズ１１Ｌの光軸をＺ方向、左レンズ１１Ｌから右レンズ１１Ｒに向く方向をＸ座標、これらに直交する方向をＹ座標としたＸＹＺ座標系を設定する。そして、被写体の顔画像の一部である口部分に設定した計測点の三次元座標を（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）とする。

また、左右のレンズ１１Ｌ，１１Ｒで映し出された二次元画像のそれぞれに固定した二次元座標系を定義するために、左画像、右画像それぞれの左上隅を原点として水平方向右向きをｘ方向、鉛直方向下向きをｙ方向としたｘｙ二次元座標系を設定する。そしてそれぞれの画像に映し出された計測点（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対応する二次元座標を（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）とする。

図３、図４は、計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）と、二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）との幾何学的な位置関係を示す図である。
ここで、図中に示したΘは、ＺＸ平面上で−Ｘ方向に対する右レンズ１１Ｒの光軸の方向角である。
計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）と二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）との幾何学的な位置関係を算出する上で必要な設定パラメータは、図２のように定義された座標系では、カメラ間距離Ｂと、焦点距離ｆと、光軸の方向角Θと、ＣＣＤの幅ｂと高さｈになる。なお、ＸＹＺ座標系の３軸方向を別の方向に定義した場合は、Θに代わる設定パラメータが必要になり、後述する座標変換式が複雑な式に置き換わるが、幾何学的に位置関係を対応付けることができる点は同じである。

次に、本発明による解析動作の一例について説明する。図６は動作フローを示すフローチャートである。
最初に、ステレオカメラ１１により評価対象の顔を撮影し、左右一対の画像データを取得する（Ｓ１０１）。

続いて、左右の画像に共通に映し出されている表情要素のうち、閉曲線で表現できる要素として口を選択し、口の輪郭に沿って複数（例えば２０〜３０点）の計測点を設定する（Ｓ１０２）。この中には口の輪郭のうち、左右端、上端、下端のような特徴点を含めておく。これは後に、オイラー角により顔画像の向きを調整するときにこれら特徴点を利用することで簡便に調整できるようにするためである。

ここでは各計測点の設定を簡便に行うため、操作者が各計測点の位置入力を行うように装置側から計測点の入力を促すように画面表示で誘導する（音声で誘導してもよい）。すなわち、表示装置１５の画面上に左右の画像を並べて表示した状態で、「左右の画面上に計測点の位置をセットで指定して下さい」との表示を行い、左右画像の口の輪郭線上で対応する計測点の位置をセットで指定されるのを待ち受ける。各計測点の入力操作が行われると、指定された位置の左右画像の二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を対応付けて記憶する（Ｓ１０３）。
なお、操作者の入力によらず、全自動で計測点を設定する装置の場合は、形状的な特徴点（例えば口の上下左右の端部）から左右画像におけるこれらの計測点の対応付けを行う。その際に、輝度的特徴や色合的特徴が同じであるかを参照したり、周囲にある歯、鼻、髭の位置や形状との相対的な位置関係を参照したりして左右の画像に含まれる計測点の対応付けの精度を高める。

続いて、左右画像における計測点の二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）から算出したＣＣＤ上の座標（ｘ_Ｌ’，ｙ_Ｌ’）、（ｘ_Ｒ’，ｙ_Ｒ’）と、カメラの設定パラメータであるレンズ間距離Ｂ，焦点距離ｆ、右レンズ１１Ｒの光軸の方向角Θとによる図３、図４の幾何学的な関係から、以下に示す式により、撮影空間に対する計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する（Ｓ１０４）。

すなわち、左右ＣＣＤ上の二次元座標（ｘ_Ｌ’，ｙ_Ｌ’）、（ｘ_Ｒ’，ｙ_Ｒ’）のうち、ｘ_Ｌ’、ｙ_Ｌ’，ｘ_Ｒ’の３つの座標値を用いて、（１）、（２）、（３）式の演算を行うことにより、撮影空間での三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が算出される。ここで、ｂとｈはそれぞれＣＣＤの横幅と高さである。そして口の輪郭上に設定している各計測点すべてについて同様に三次元座標が算出される。なお、図２で定義した座標系と異なる場合であっても、詳細は省略するが、二次元座標（ｘ_Ｌ’，ｙ_Ｌ’）、（ｘ_Ｒ’，ｙ_Ｒ’）の４つすべての座標値を用いれば、同様に三次元座標が算出できる。

このようにして算出された各計測点の三次元座標で特定される被写体の口の輪郭は、顔の向きや姿勢によって異なる方向を向くことになり、必ずしもカメラの正面に向いているわけではない。正面以外の方向を向いている口の画像と、正面を向いている口の画像を元にして表情を評価しても正確な評価はできない。
したがって、口（顔）の向きを、オイラー角を用いて補正することにより、三次元座標系のＸＹ平面の方向を向くようにする（Ｓ１０５）。
具体的には、口の左右両端に設定した特徴点を参照し、これら２つの点を結ぶ直線がカメラ（ＸＹ平面）に平行になるように次式（４）による座標変換を行い、図５に示すように補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する。

ここで、φ（ロール角）、θ（ピッチ角）、ψ（ヨー角）は原点方向に向きを変えるときに補正するオイラー角である。

続いて、得られた補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を用いて、二次元座標系に投影する（Ｓ１０６）。具体的には次式（５）による座標変換を行い、補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）を算出する。

図７は、実際にマネキン人形を用いて、その表情から抽出した口の輪郭形状である。図７（ａ）と図７（ｂ）とは異なる方向から同時撮影した左右の画像であり、顔の横に示しているのは左右の画像から直接取得した口の輪郭形状である。
これに対し、図７（ｃ）は図７（ａ）（ｂ）の二次元画像から各計測点の三次元座標を算出し、オイラー角により補正を行って補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を求め、さらに補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）を算出したものである。
このように、ステレオカメラで撮影した一対の画像から三次元画像解析を行い、オイラー角による補正で顔の向きを調整し、再び二次元座標に投影することにより、口などの表情要素について、所望の方向から見た輪郭を得ることができる。

そして、得られた補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）を用いて、フーリエ記述子法による表情解析を行う（Ｓ１０７）。
フーリエ記述子法による表情解析について簡単に説明する。フーリエ記述子法は、２次元平面上に描かれた閉曲線が周長を周期とする周期関数で表現できることを利用して、閉曲線の特徴量をフーリエ級数展開し、フーリエ係数あるいはその組み合わせによって二次元閉曲線の特徴を表現する方法である。

図８に示すような２次元平面上の閉曲線を考える。閉曲線上の１点Ａを始点とし、始点から時計回りに曲線上を長さｓだけ進んだ点の位置をＺ（ｓ）、Ｚ（ｓ）における方向ベクトルと水平軸とのなす角を偏角φ（ｓ）とする。閉曲線の周長をＬとすると、始点における偏角はφ（０）で、終点における偏角はφ（Ｌ）＝φ（０）−２πとなり、始点と終点において偏角に２πの差が生じ、図８で「偏角関数」として示した不連続な関数となる。
一方、閉曲線では、始点と終点は一致するため、（６）式で正規化することにより、図９で「正規化偏角関数」として示した始点と終点の偏角が一致する周期２πの周期関数φ^＊（ｔ）を得ることができる。

この周期関数φ^＊（ｔ）をフーリエ級数展開すると、次式（７）となる。

これによって得られる有限個のフーリエ記述子ａ_ｋ，ｂ_ｋによって，不規則な閉図形の形状特徴を記述することが可能となる。
ここで、式は次式（８）の通りである。

したがって、Ｓ１０７までの演算で算出した各計測点の補正二次元座標（Ｘ”_ｐ，Ｙ”_ｐ）に対し、上記フーリエ記述子法を適用して、フーリエ記述子を求めることにより、対象とする口の輪郭の特徴を定量的に表現することができる。

図１０は、図７で示した３つの口の輪郭形状より算出したフーリエ記述子ａ_ｋである。
顔の向きを原点方向に向けていない（ａ）（ｂ）と、原点方向に向けた（ｃ）とではフーリエ記述子ａ_ｋに大きな差異が生じるようになっている。なお、フーリエ記述子ｂ_ｋについても同様の結果が得られている。

よって、本発明の表情モニタリング方法および表情モニタリング装置により、表情解析において、顔の向きや姿勢の影響を排除することができるようになり、正確な表情評価がこれまでより容易に行えるようになった。

本発明は、撮影した顔画像から表情をモニタリングして心理状態を推定したり、評価したりする表情モニタリング方法、表情モニタリング装置に利用することができる。

１０ 表情モニタリング装置
１１ ステレオカメラ
１２ 画像解析装置
２１ 左右画像入力部
２２ 計測点対応付け部
２３ 三次元座標算出部
２４ 補正三次元座標算出部
２５ 補正二次元座標算出部
２６ 評価部

Claims (2)

1. ステレオカメラを用いて左右一対の顔画像を撮影する工程と、
   撮影された左右の顔画像に同時に映し出され閉曲線で形状を特定することができる表情要素に対して、当該表情要素上に設定した複数の計測点について左右の画像それぞれに定義される二次元座標系での二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出して対応付けを行う計測点対応付け工程と、
   各計測点についての左右の画像上の二次元座標、および、ステレオカメラの設定パラメータに基づいて、撮影空間に定義される三次元座標系での各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する三次元座標算出工程と、
   オイラー角による補正を行うことにより表情要素の画像を原点方向に向けたときの各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対する補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する補正三次元座標算出工程と、
   各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を撮影空間に定義される二次元平面に投影した補正二次元座標（Ｘ’_ｐ，Ｙ’_ｐ）を算出する補正二次元座標変換工程と、
   各計測点の補正二次元座標（Ｘ’_ｐ，Ｙ’_ｐ）に基づいて表情要素を補正された閉曲線で特定するとともに、フーリエ記述子を用いて定量的に表現する評価工程とからなる表情モニタリング方法。
2. ステレオカメラを用いて左右一対の顔画像を撮影する画像撮影部と、
   撮影された左右の顔画像に同時に映し出され閉曲線で形状を特定することができる表情要素に対して、当該表情要素上に設定した複数の計測点について左右の画像それぞれに定義される二次元座標系での二次元座標（ｘ_Ｌ，ｙ_Ｌ）、（ｘ_Ｒ，ｙ_Ｒ）を抽出して対応付けを行う計測点対応付け部と、
   各計測点についての左右の画像上の二次元座標、および、ステレオカメラの設定パラメータに基づいて、撮影空間に定義される三次元座標系での各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を算出する三次元座標算出部と、
   オイラー角による補正を行うことにより表情要素の画像を原点方向に向けたときの各計測点の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）に対する補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を算出する補正三次元座標算出部と、
   各計測点の補正三次元座標（Ｘ’_ｐ，Ｙ’_ｐ，Ｚ’_ｐ）を撮影空間に定義される二次元平面に投影した補正二次元座標（Ｘ’_ｐ，Ｙ’_ｐ）を算出する補正二次元座標算出部と、
   各計測点の補正二次元座標（Ｘ’_ｐ，Ｙ’_ｐ）に基づいて表情要素を補正された閉曲線で特定するとともに、フーリエ記述子を用いて定量的に表現する評価部とからなることを特徴とする表情モニタリング装置。