JP2005293539A - 表情認識装置 - Google Patents

Abstract

【課題】 リアルタイム性を確保して簡便かつ高速な処理で正確な表情認識結果を得ることができる表情認識装置を提供する。
【解決手段】 表情認識装置２０は、カメラ装置１０で撮像されたユーザの顔部分を含む画像データを信号入力処理部２１で入力し、該画像データをユーザの表情推定処理が可能なディジタルデータの元画像データに変換すると、顔検出部３１により、元画像データに含まれるユーザの顔領域を抽出し、顔器官抽出部３２により、顔検出部３１で検出された顔領域のうち、ユーザの顔を構成する少なくとも一つ以上の顔器官の輪郭位置を抽出する。そして、表情推定部３３は、複数のフレームに亘って取得した顔器官の上端及び下端の輪郭を抽出して、表情推定部３３により顔器官の輪郭の開き具合や曲がり具合からユーザの表情を推定する。
【選択図】 図１

Description

本発明は、カメラにより撮像した顔画像からユーザの表情を認識する表情認識装置に関する。

従来より、例えばヒューマノイドエージェント（ソフトロボット）に応用される技術として、ユーザの音声認識技術と共に、ユーザの表情認識技術が開発されている。このような表情認識技術によれば、ユーザの顔画像からユーザの表情を認識して、対話システムに反映させることが期待されている。この表情認識技術としては、従来において、下記の特許文献１〜５が知られている。
特開平３−２５２７７５号公報 特開平４−３４２０７８公報 特開平８−２４９４４７号公報 特開２０００−２５９８３１号公報 特開２００１−４３３４５号公報

ところが、上述のようなヒューマノイドエージェントに対して、状況に応じた正確な対話システムを組み込むためには、高精度な音声認識技術に加え、表情認識処理での正確な表情認識結果を組み合わせることが望ましく、表情認識処理にはリアルタイム性からの簡便な処理内容と精度の向上が要求されている。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、リアルタイム性を確保して簡便かつ高速な処理で正確な表情認識結果を得ることができる表情認識装置を提供することを目的とする。

上述の目的を達成するために、本発明に係る第１の手段では、ユーザの顔部分を含む画像データを入力し、該画像データをユーザの表情推定処理が可能なディジタルデータに変換して元画像データを作成する画像入力処理手段と、前記元画像データに含まれるユーザの顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段で検出された顔領域のうち、ユーザの顔を構成する少なくとも一つ以上の顔器官の輪郭位置を抽出する顔器官抽出手段と、前記顔器官抽出手段によって抽出された輪郭のうち、顔器官の上端及び下端の輪郭を取得し、当該各輪郭間の開き状態及び各輪郭の曲がり状態に基づいて、ユーザの表情を推定する表情推定手段とを備えている。

また、上述の表情認識装置では、前記表情推定手段は、前記各輪郭間の開き状態及び各輪郭の曲がり状態を正規化した特徴量をパラメータとしたメンバシップ関数に基づいて各表情の強度を求め、当該強度が最大となる表情を求めている。

また、上述のそれら表情認識装置では、前記表情推定手段は、ユーザが発話している発話中区間とユーザの発話が終了した後の発話後区間とを検出し、前記発話中区間で推定した表情と、前記発話後区間で推定した表情とを統合して、ユーザの表情を推定している。

また、上述のそれら表情認識装置では、前記表情推定手段は、前記発話中区間で推定した表情と前記発話後区間で推定した表情とを比較し、前記発話中区間で推定した表情と前記発話後区間で推定した表情とが同一の表情又は矛盾しない表情である場合には、前記発話中区間で推定した表情を最終推定結果とし、前記発話中区間で推定した表情と前記発話後区間で推定した表情とが矛盾する表情である場合には推定不能としている。

また、上述のそれら表情認識装置では、前記顔領域抽出手段又は前記顔器官抽出手段は、前記画像入力処理手段により変換された元画像データと、当該元画像データに対して所定数の画素の画素値を平均化して作成した低域画像データとの正差分又は負差分を抽出することにより作成した輪郭画像を用いて、ユーザの顔領域の抽出又は顔器官の輪郭位置の抽出を行っている。

また、上述のそれら表情認識装置では、前記顔領域抽出手段は、Ｒ成分、Ｇ成分及びＢ成分を含む元画像データにおいて、Ｒ成分の階調がＧ成分の階調よりも高く、且つＧ成分の階調がＢ成分の階調よりも高い画素か否かに応じて元画像データの二値化を行い、当該二値化された画像と、元画像データに輪郭抽出処理を施した輪郭画像との論理積により得た画像を用いて、ユーザの顔領域を抽出している。

また、上述のそれら表情認識装置では、前記顔器官抽出手段は、前記画像入力処理手段により変換された元画像データと、当該元画像データに対して所定数の画素の画素値を平均化して作成した低域画像データとの正差分を抽出した画像と負差分を抽出した画像とを重ねた輪郭画像を作成し、当該輪郭画像の近接画素を補間して連続した島状の顔器官を示す輪郭画像を作成し、当該島状の輪郭画像を顔器官候補として取得するラベリング処理手段と、予め設定された各顔器官に相当する所定位置と、前記ラベリング処理手段によって取得された顔器官候補の位置とが異なる場合に、当該顔器官候補を除外して何れかの顔器官候補の位置を、前記表情推定手段で使用される顔器官の輪郭位置とするマッチング処理手段とを備えている。

本発明に係る表情認識装置によれば、顔器官の上端及び下端の輪郭を取得し、当該各輪郭間の開き状態及び各輪郭の曲がり状態に基づいて、ユーザの表情を推定するので、元画像データを使用して表情を推定する場合と比較して、リアルタイム性を確保して簡便かつ高速な処理で正確な表情認識結果を得ることができる。

以下、本発明の実施の形態について図面を参照して説明する。

［表情認識装置の構成］
本発明は、図１に示すように、ＣＣＤ（Charge Coupled Device）撮像素子等を備えたカメラ装置１０と接続され、当該カメラ装置１０からの画像データを用いてユーザの表情を認識する表情認識装置２０に適用される。この表情認識装置２０は、画像データから得た表情推定結果を対話システム（不図示）等に出力するように構成されている。この表情認識装置２０は、カメラ装置１０や対話システムに対するインターフェース回路、表情を推定する処理手順を記述したプログラムを記憶するメモリやＣＰＵ（Central Processing Unit）等から構成される。

この表情認識装置２０は、カメラ装置１０から画像信号を取得すると、画像入力処理手段である信号入力処理部２１によりＡ／Ｄ変換処理、ディジタル信号処理を行ってディジタル方式であって表情推定処理が可能な元画像データを取得し、表情認識処理部２２により表情認識処理を行う。ここで、表情認識装置２０は、ユーザの表情を認識するために、カメラ装置１０で撮像された複数フレームに亘る元画像データを信号入力処理部２１で取得し、各元画像データについて表情認識処理部２２で表情認識処理を行うことになる。なお、表情認識処理部２２は、後述の顔検出部３１、顔器官抽出部３２、表情推定部３３を備えた構成である。

このとき、表情認識処理部２２は、一時記憶部２３や、テンプレート画像記憶部３０に記憶された顔器官テンプレートを使用して、顔領域抽出手段である顔検出部３１により元画像データから顔を検出する処理、顔器官抽出手段である顔器官抽出部３２により表情推定処理に使用する顔器官の輪郭（エッジ）を抽出する処理、表情推定手段である表情推定部３３により表情を推定する処理を行う。そして、表情認識処理部２２により作成した表情推定結果は、認識結果出力部２４により対話システム等に出力される。

［表情認識処理］
「処理概要」
この表情認識装置２０は、図２に表情認識処理の処理概要を示すように、カメラ装置１０からユーザの顔部分を含む元画像信号を信号入力処理部２１により入力して、元画像データに変換して表情認識処理部２２に出力する（ステップＳ１）。ここで、元画像データは、例えば、ＶＧＡ（Video Graphics Array）の６４０画素×４８０画素からなり、各画素にＲ成分の階調、Ｇ成分の階調及びＢ成分の階調が付与されたカラー画像である。

次に表情認識装置２０は、表情認識処理部２２の顔検出部３１により、信号入力処理部２１から入力した元画像データに含まれる画素データを所定の規則に従ってサンプリングし、例えば元画像データに対して１／４に縮小した縮小画像データを作成する（ステップＳ２）。これにより、以降に行う画像処理量を低減する。

次に表情認識装置２０は、表情認識処理部２２の顔検出部３１により、縮小画像内の顔位置を検出するために、縮小画像に含まれる肌色部分のみを抽出することで肌色抽出画像を作成し（ステップＳ３）、更に、当該肌色抽出画像から髪部分や衣服部分を切り分けることにより顔領域画像を作成する（ステップＳ４）。なお、この顔領域抽出処理は、後述の図３を参照して説明する。

次に表情認識装置２０は、表情認識処理部２２の顔器官抽出部３２により、顔領域画像に含まれる顔の各器官を輪郭画像である線画像で表現することにより、各器官を島状の輪郭を示す画像データとしたラベリング画像を取得し（ステップＳ５）、当該ラベリング画像とテンプレート画像記憶部３０に記憶しておいた顔器官テンプレートとを比較し（ステップＳ６）、マッチング処理及びノイズ除去処理を行う。これにより、表情認識装置２０は、ラベリング画像に含まれる顔の各器官の種類が、目、鼻、口であるかを認識する。なお、この顔器官抽出処理は、後述の図４を参照して説明する。

そして、表情認識装置２０は、表情認識処理部２２の顔器官抽出部３２により、ラベリング画像から認識した各器官の画像内位置を求め、顔器官位置データを取得する（ステップＳ７）。この顔器官位置データは、表情推定部３３の表情推定処理に使用される。

「顔領域抽出処理」
つぎに、上述した処理概要における顔検出部３１による顔領域抽出処理について説明する。

この顔領域抽出処理は、図３に示すように、顔検出部３１により、先ずステップＳ１１において、元画像データに前処理として画像縮小処理を行い、ＲＧＢ表色系の３原色を含む元画像データであるカラー画像と、Ｇ成分のみを含むＧ成分画像とを用意する。ここで、元画像には、Ｒ、Ｇ、Ｂごとに０〜２５５の階調で表現された画素値が含まれており、各色に対する画素値の大小によって各画素の色が決定されている。このようなステップＳ１１は、上述のステップＳ１及びステップＳ２に相当することになる。

次に、顔検出部３１は、ステップＳ１２〜ステップＳ１６を行って、上述のステップＳ３に相当する肌色抽出処理を行う。

Ｇ成分画像は、ステップＳ１３のエッジ抽出処理の処理対象画像となり、平均化処理（ステップＳ１３ａ）がなされることにより低域成分画像に変換され、その後、負差分抽出処理（ステップＳ１３ｂ）がなされることによりエッジ画像に変換される。

具体的には、図５（ａ）に示す元画像をＧ成分画像に変換した後、ステップＳ１３ａによる平均化のぼかし処理を行うことにより、周波数的に低域、すなわちエッジが除去された低域成分画像に変換する。このとき、顔検出部３１は、Ｇ成分画像内の注目画素と当該注目画素に隣接する８画素との合計９画素の画素値の平均を算出し、その値を注目画素の画素値とし、その後、元画像の大きさに拡大処理を行うことにより、図５（ｂ）の低域成分画像を得ている。

また、ステップＳ１３ｂの負差分抽出処理は、ぼかし処理により得た図５（ｂ）の低域成分画像と、図５（ａ）に示す元画像との差分を取ることで、図５（ｃ）に示すような高域成分画像を得る。すなわち、顔検出部３１は、図６に示すように、横方向１ラインの画素について考えた場合、低域成分画像の画素値よりも元画像の画素値が低い（暗い）負差分の大きさ、低域成分画像の画素値よりも元画像の画素値が高い（明るい）正差分の大きさに応じた画像を作成する。

その後、顔検出部３１は、高域成分画像のうち、正の画素値の画素の画素値を全て「０」とした後に、画像全体で符号反転することにより、図５（ｄ）に示すエッジ画像を得る。このエッジ画像は、元画像の高域部分であるエッジ部分であり、当該エッジ部分の画素値を他の画素の画素値と比較して高くした画像である。

なお、ステップＳ１１での縮小度合いを変えると、ステップＳ１３で検出するエッジ部分の太さ及び領域を変えることができる。具体的には、ステップＳ１１での縮小度合いを低くすると、図５（ｅ）に示すようにより細かいエッジ部分を抽出することにより、より細かい顔器官の特徴を検出することができ、逆に、縮小度合いを高くすると、おおざっぱな特徴を検出することができる。したがって、表情認識装置２０では、カメラ装置１０により撮像する画像信号の画素数や、表情推定の精度等を考慮して、ステップＳ１１での縮小度合いが決定されることになる。

このようにステップＳ１３のエッジ抽出処理を行うことにより、ある画素と、当該画素の周囲とを比較して、周囲よりも暗い又は明るい部分をエッジとして検出することができる。また、このエッジ抽出処理では、ステップＳ１１での縮小度合いを変更することにより、ある画素と比較する周辺領域の範囲を決定することができ、更にはぼかし処理により画像全体での平均的な明るさを算出して差分を取ることにより、暗い又は明るい部分をエッジ部分として検出することができる。

このように顔検出部３１は、元画像と低域成分画像との正差分又は負差分を抽出することにより作成したエッジ画像を用いて、ユーザの顔領域の抽出を行うので、エッジ画像を使用しない場合と比較して、顔領域の検出精度を高くすることができる。

一方、ステップＳ１２において、顔検出部３１は、後段の処理における衣服等の影響を緩和するための処理として、縮小画像の下側の画像部分（例えば下側から１／４）を処理対象外とすることにより、肌色候補領域を抽出する。ここで、処理対象外とする範囲は、カメラ装置１０の撮像方向や、画像の大きさによって調整しても良く、要するに、後述する表情推定処理で使用する目領域画像及び口領域画像を含めば良い。

そして、顔検出部３１は、ステップＳ１４において、ステップＳ１２で得た肌色候補画像とステップＳ１３で得たエッジ画像との論理積をとり、ステップＳ１５において、論理積を取った結果得た画像を肌色領域画像に変換する二値化処理を行う。

このとき、顔検出部３１は、ステップＳ１２及びステップＳ１３で得た各画像（図５（ａ）参照）がＲＧＢ表色系であったが、ステップＳ１５にてＨＳＶ表色系のうちＨ（色相）成分を取得することにより、赤色から黄色の範囲内に相当する画素を取得しても良い。

具体的には、各画素が、Ｒの階調（画素値）＞Ｇの階調（画素値）、且つ、Ｇの階調（画素値）＞の階調（画素値）Ｂの２つの画素値の条件を満たすか否かを判定する。この２つの条件を満たす場合には、当該画素が赤から黄色の範囲内に相当する画素、すなわち肌色画素と認識して画素値を「１」とし、２つの画素値の条件を満たさない場合には、当該画素が肌色画素ではないと認識して画素値を「０」とする。これにより、顔検出部３１は、肌色画素か否かによる二値化を実行して、図７（ａ）に示すような肌色候補画像を取得する。

ここで、肌色画像とする色相を赤色から黄色と広範囲としているのは、カメラ装置１０の撮像範囲に存在するユーザに対する照明等の影響により、本来であれば肌色の顔部分が、肌色以外の色として撮像される場合があることを考慮したものである。

また、上述のステップＳ１４にて、図７（ａ）に示す肌色候補画像と図７（ｂ）に示すエッジ画像との論理積をとることにより、顔検出部３１は、肌色候補画像に対してエッジ画像でマスクを掛けることになり、肌色候補画像は、図７（ｃ）に示すように肌色領域画像が髪や衣服等と区分された肌色領域画像に変換される。

このように、Ｒ成分の階調がＧ成分の階調よりも高く、且つＧ成分の階調がＢ成分の階調よりも高いか否かに応じて元画像の二値化を行い、当該二値化された画像と、エッジ画像との論理積により得た画像を用いて、ユーザの顔領域を抽出するので、肌色部分に相当する顔領域を確実且つ精度高く検出することができる。

次のステップＳ１６において、顔検出部３１は、エッジ画像でマスクを掛けた肌色領域画像（マスク結果）にラベリング処理を行う。このラベリング処理は、ステップＳ１５で二値化された肌色領域画像のうち、横方向（Ｘ軸方向）における最大位置及び最小位置の画素位置の画素、縦方向（Ｙ軸方向）における最大位置及び最小位置の画素位置の画素を含む島状に囲われた矩形領域を求める。これにより、図７（ｃ）中の直線で示した矩形領域を設定することで、肌色領域画像の最大面積領域を求め（ステップＳ１６）、当該領域を顔領域と認定する。

このような顔領域は、顔矩形領域画像として表情認識処理部２２に保存され（ステップＳ１７）、後述の顔器官抽出処理で使用される。なお、顔検出部３１は、複数フレームに亘って表情推定処理を行う場合には、信号入力処理部２１から入力した各元画像データについて上述の処理を行って、表情認識処理部２２に顔領域画像を記憶する。

「顔器官抽出処理」
つぎに、上述した処理概要における顔器官抽出部３２による顔器官抽出処理について説明する。

この顔器官抽出処理は、先ず目の位置を検出して目領域画像を取得し、次いで口領域画像を取得し、次いで目領域画像及び口領域画像の輪郭位置を示す特徴ラインを抽出する。本例においては、後述の表情推定処理で目領域画像及び口領域画像の特徴ラインを使用するために、当該２つの顔器官を取得するものとしたが、他の器官の画像を表情推定処理で使用する場合には、当該他の領域も取得することは勿論である。

この顔器官抽出処理は、図４の処理に移行する前処理として、元画像からＢ成分を差し引いて図７（ｄ）に示すようなＲ成分画像である肌色彩度値画像を作成する処理、Ｇ成分画像を１／４の画像サイズに縮小し、上述した元画像と低域画像データとの正差分を抽出した画像であるエッジ画像の明部分と、負差分を抽出した画像であるエッジ画像の暗部分とを重ねて図７（ｅ）に示すような明暗エッジ画像を作成する処理、図７（ｄ）のＲ成分画像を１／４の画像サイズに縮小し、上述したエッジ抽出処理を施した図７（ｆ）に示す彩度エッジ画像を作成する処理を行う。

図７（ｄ）に示す肌色彩度値画像は、肌色部分の彩度を簡略化して表現した画像であって、後述するしきい値画像として使用する。また、図７（ｅ）に示す明暗エッジ画像において明部分と暗部分とを重ね合わせた画像としているのは、表情推定処理において処理対象となる目領域画像から特徴ラインを取得するために、黒目部分と白目部分との目全体を使用する必要があるためである。更に、図７（ｆ）に示す彩度エッジ画像は、表情推定処理において、図７（ｅ）に足りないエッジ部分を補間するために使用される。なお、図７（ｄ）〜図７（ｆ）に示す各画像は、エッジ部分及び肌色部分の画素が正の値となって構成されている。

（目領域画像抽出処理）
そして、顔器官抽出部３２は、黒目、白目及び輪郭を含む目領域画像を取得するために、図４に示すステップＳ２１〜ステップＳ２３からなる両目のペア候補を抽出する処理に移行する。

ステップＳ２１において、顔器官抽出部３２は、元画像であるカラー画像と、図７（ｅ）に示す明暗エッジ画像と図７（ｆ）に示す彩度エッジ画像とを足し合わせることにより、明暗エッジ画像でエッジが分裂している部分を彩度エッジ画像で補った画像とし、更に、当該足し合わせた画像から図７（ｄ）に示す肌色彩度値画像をしきい値画像として差し引くことにより、目周辺のノイズを除去した画像を作成する。そして、ノイズ除去後の画像から画像全体について微調整用しきい値ｓを減算することにより、図８（ａ）に示すような器官検出用画像を作成する。この微調整用しきい値ｓは、前髪部分と目部分とを切り離すために、前髪部分と肌部分とに生じているエッジを除去する画素値が設定されている。そして、顔器官抽出部３２は、微調整用しきい値ｓを大小させることにより、前髪部分が目部分と重複した画像に対して顔器官抽出処理を行う場合においても、目部分のエッジから、前髪部分のエッジを除去することができる。

この器官検出用画像は、図７（ｄ）〜図７（ｆ）を用いた演算を行った後に、画素値が正の値の画素のみが表示されるようになっている。これにより、顔器官抽出部３２は、二値化処理を行ったことになる。

次のステップＳ２２において、顔器官抽出部３２は、器官検出用画像にラベリング処理を施す。このラベリング処理は、器官検出用画像のうち、画素値が正値であって近接した画素群を島領域とみなし、当該島領域を囲む矩形領域を設定する。これにより、顔器官抽出部３２は、各器官に相当する器官矩形領域を設定するラベリング処理手段として機能する。

また、このラベリング処理において、顔器官抽出部３２は、上述の図７（ｃ）に示した顔全体を含む顔矩形領域に含まれない器官矩形領域を除外し、予め設定された目部分の面積及び縦横比から大きく異なる器官矩形領域を除外し、更には、器官矩形領域の面積と島領域の面積との比率から明らかに目部分の器官矩形領域ではないものを除外する。これにより、顔器官抽出部３２は、図８（ｂ）に示すように、図中の点線で示す顔矩形領域に含まれ、且つ、目部分に相当する４つの器官矩形領域及び島領域の候補を特定する。

次のステップＳ２３において、顔器官抽出部３２は、ステップＳ２２で求めた目部分の複数の候補を用いて、両目となる全組み合わせのうち、所定の条件に当てはまる組み合わせを除外することにより、両目に相当する目のペア候補を抽出する。ここで、所定の条件とは、両目の重心間の傾きが許容範囲外であるペア候補、両目の重心間の距離が広すぎる又は狭すぎるペア候補、左右の各目の面積、横幅、縦幅が著しく異なるペア候補、両目の重心間の距離に対する左右の各目の面積、横幅、縦幅が所定範囲内でなく妥当でないペア候補である。これにより、顔器官抽出部３２は、図８（ｃ）に示すような４つの目部分の候補のうち、妥当なペア候補を抽出する。なお、このステップＳ２３が終了した時点において、目のペア候補は、複数存在しても良い。

また、顔器官抽出部３２は、ステップＳ２１〜ステップＳ２３を行うと共に、ステップＳ２３で抽出した目のペア候補とマッチング処理を行うための顔器官テンプレートを用いた重み付け処理（ステップＳ２７）を行い、顔器官テンプレートの拡縮処理（ステップＳ２８）を行う。ここで、顔器官テンプレートは、予め各顔器官に相当する矩形領域の面積、形状、位置関係が、通常の顔器官面積、位置関係に基づいて作成されている。

このステップＳ２７において、顔器官抽出部３２は、例えば、顔器官テンプレートの右目矩形領域の重みを「＋３」、左眼矩形領域の重みを「＋３」、右眉矩形領域の重みを「＋３」、左眉矩形領域の重みを「＋３」、眉間矩形領域の重みを「−６」、右頬矩形領域の重みを「−７」、左頬矩形領域の重みを「−７」、鼻矩形領域の重みを「＋１」、口矩形領域の重みを「＋１」と設定する。このように各器官についての重みを設定するのは、目部分を表情推定処理に使用するため、各器官についての重みを、目部分に近い器官ほど高くし、目部分に遠い器官ほど低く設定しており、且つ、眉間や頬にはエッジが検出されないので、重みを大きく低下させるように負値としている。

次のステップＳ２８において、顔器官抽出部３２は、テンプレート画像記憶部３０から顔器官テンプレートを読み出し、ステップＳ２３で抽出した目のペア候補の位置と、顔器官テンプレートの両目部分とが重複するように、顔器官テンプレートの回転及び拡縮する。この顔器官テンプレートは、右目矩形領域、左眼矩形領域、右眉矩形領域、左眉矩形領域、眉間矩形領域、右頬矩形領域、左頬矩形領域、鼻矩形領域、口矩形領域の９個の矩形領域からなり、それぞれの面積及び間隔が予め設定されている。これに対し、顔器官抽出部３２は、各矩形領域及び各矩形領域同士の間隔を拡縮することにより、各器官を囲むように顔器官テンプレートを当てはめる。

次のステップＳ２４において、顔器官抽出部３２は、拡縮処理を施した顔器官テンプレートと、図８（ｄ）に示したエッジ画像とのマッチング処理を行う。このとき、顔器官抽出部３２は、ステップＳ２７で当てはめた顔器官テンプレートの矩形領域内に存在する正値の画素数である有効ピクセル数をカウントする。すなわち、図８（ｄ）に示す白部分で表された画素をカウントする。次に、顔器官抽出部３２は、顔器官テンプレートの各器官に相当する矩形領域ごとの重みと、各器官の有効ピクセル数とを乗算し、当該乗算値の総和を求めることで、全器官の有効ピクセル数の総和を求める。次に、顔器官抽出部３２は、全器官の有効ピクセル数の総和を、ステップＳ２８で拡縮した後の顔器官テンプレートの矩形領域面積で除算することにより、有効ピクセルと顔器官テンプレートとの合致度を求める。

したがって、右目矩形領域の有効ピクセル数をＡ、左眼矩形領域の有効ピクセル数をＢ、右眉矩形領域の有効ピクセル数をＣ、左眉矩形領域の有効ピクセル数をＤ、眉間矩形領域の有効ピクセル数をＥ、右頬矩形領域の有効ピクセル数をＦ、左頬矩形領域の有効ピクセル数をＧ、鼻矩形領域の有効ピクセル数をＨ、口矩形領域の有効ピクセル数をＩとすると、有効ピクセルと顔器官テンプレートとの合致度は、
（３Ａ＋３Ｂ＋３Ｃ＋３Ｄ−６Ｅ−７Ｆ−７Ｇ＋Ｈ＋Ｉ）／矩形領域面積
なる演算を行うことにより求められる。なお、この矩形領域面積は、ステップＳ２８の拡縮処理で設定される。

そして、顔器官抽出部３２は、ステップＳ２３で求められた複数の目のペア候補についてステップＳ２７、ステップＳ２８及びステップＳ２４の処理を行うことにより、各ペア候補についての合致度を求め、最も合致度が高いペア候補を妥当な右目領域画像及び左目領域画像とし、当該右目領域画像及び左目領域画像の位置を求める。このようにステップＳ２４の処理を行う顔器官抽出部３２は、マッチング処理手段として機能することになる。

このように、エッジ画像として、図７（ｅ）のような元画像と低域画像データとの正差分を抽出した画像と、負差分を抽出した画像とを重ねた画像を作成して、連続した島状の顔器官を示す輪郭画像を作成して、当該島状の顔器官候補として取得するラベリング処理を行った後に、テンプレートマッチングを行って顔器官候補を特定することができるので、簡便且つ高速で確実に各顔器官を特定することができる。

また、図７（ｅ）のようなエッジ画像を作成するに際して、元画像と低域画像との正差分又は負差分を抽出しているので、ユーザの顔領域の抽出又は顔器官の輪郭位置の抽出を行うので、エッジ画像を使用しない場合と比較して、顔領域の検出精度又は顔器官の検出精度を高くすることができる。

（口領域画像抽出処理）
次に、顔器官抽出部３２は、口位置の検出処理に移行する。この口位置の検出処理は、ステップＳ２４で求められた右目領域画像及び左目領域画像の位置に基づいて行う。

具体的には、ステップＳ２９において、顔器官抽出部３２は、元画像のＧ成分のみのＧ成分画像に対して１／４に縮小処理を行ってエッジ抽出処理を行うことにより、図８（ｅ）に示すエッジ画像を生成し、右目領域画像及び左目領域画像の位置に対して口部分が存在する概略位置の口矩形領域と、口部分の概略の重心矩形を算出する。ここで、図８（ｆ）において、横長の矩形が口矩形領域であり、縦長の矩形が重心矩形である。

そして、顔器官抽出部３２は、ステップＳ３０において、口矩形領域内の画素に対してラベリング処理を行うことにより島状のエッジ画像を取得し、ステップＳ２５において、取得した島領域の重心位置を求め、当該重心位置が重心矩形内に存在し、適度な大きさであって最も横幅が広い画素群を口領域画像と推定する。

次に、顔器官抽出部３２は、ステップＳ２６において、ステップＳ２４で取得した右目領域画像及び左目領域画像、並びにステップＳ２５で取得した口領域画像には、しわや影を示す画素が含まれていることがあるので、当該画素を除去する。

（特徴ライン抽出処理）
次に、顔器官抽出部３２は、上述した処理によって右目領域画像及び左目領域画像、並びに口領域画像を取得したので、当該各画像の特徴ラインを抽出する処理に移行する。この特徴ラインは、後述の表情推定処理で直接使用されるエッジ画像となる。

この特徴ライン抽出処理は、前処理として、顔器官抽出部３２により、Ｇ成分画像を縮小しないでエッジ抽出処理を行って、図９（ａ）に示すような特徴ライン抽出の元画像となるエッジ画像を作成する。次の前処理として、顔器官抽出部３２は、当該エッジ画像にぼかし処理を施して所定のしきい値で二値化を行うことで微小ノイズを取り除くことにより、図９（ｂ）に示すエッジ画像を作成する。最後の前処理として、顔器官抽出部３２は、図９（ｂ）のノイズ除去したエッジ画像から、目領域画像抽出処理により得た目領域画像に相当する部分、及び、口領域画像抽出処理により得た口領域画像に相当する部分以外の画像領域を除去し、更に不要なノイズ成分を取り除くことにより、図９（ｃ）に示すような目部分のエッジ及び口部分のエッジを含むエッジ画像を取得する。

次に、顔器官抽出部３２は、図９（ｃ）のエッジ画像を用いて、各器官の各縦ラインについて、上端及び下端のエッジを取得することにより、図９（ｄ）に示すような目部分及び口部分の特徴ラインを取得する。ここで、図９（ｄ）に示したように、目部分及び口部分の特徴ラインは、不連続なラインとなっていることが多いので、図９（ｄ）のようなエッジ画像を得た後に、横方向で隣接するエッジを補間することにより、図９（ｅ）に示すような最終的に表情推定処理で使用する特徴ラインを取得する。

「表情推定処理」
つぎに、上述した処理概要における表情推定部３３による表情推定処理について説明する。

この表情推定処理は、下記の表１に示すように、「驚き」、「喜び」、「怒り」、当該３つの表情以外の「中立」の何れかに該当するかを推定する。

この表１に示す各表情に対する目及び口の特徴は、一般的に知られている表情の条件であって、「怒り」の推定が困難である場合には「中立又は怒り」として表情推定処理を行う。

この表情推定処理は、特徴ラインの位置情報を用いて、目幅に対する高さ比Ｖ１、目幅に対する下瞼の高さ比Ｖ２、口元の目尻への近寄り度合いＶ３の３つの特徴量を求める。ここで、表情推定部３３は、目部分の特徴ラインの位置情報及び口部分の特徴ラインの位置情報に基づいて、図１０に示すように、右目高さＨｒ、右目幅Ｗｒ、右目下瞼高さＬＨｒ、左目高さＨｌ、左目幅Ｗｌ、左目下瞼高さＬＨｌ、右目の右端から口の右端までの右目−口間距離Ｄｒ、左目の左端から口の左端までの左目−口間距離Ｄｌ、右目の右端から左目の左端までの目間距離Ｗｅ、つまり両目の目尻間距離を計算する。

そして、表情推定部３３は、目幅に対する高さ比Ｖ１を
｛（Ｈｒ／Ｗｒ）＋（Ｈｌ／Ｗｌ）｝／２
なる演算を行うことにより、各目の幅に対する高さの比の平均値として求める。このように、各目の幅Ｗｒ，Ｗｌと高さＨｒ，Ｈｌとの比を取ることにより、目の上瞼の輪郭と下瞼の輪郭との間の開き状態を特徴量として求める。

また、表情推定部３３は、目幅に対する下瞼の高さ比Ｖ２を
｛（ＬＨｒ／Ｗｒ）＋（ＬＨｌ／Ｗｌ）｝／２
なる演算を行うことにより、各目の幅に対する下瞼の高さ比の平均値として求める。このように、目の幅Ｗｒ，Ｗｌと下瞼の高さＬＨｒ，ＬＨｌとの比を取ることにより、下瞼の輪郭の曲がり状態を特徴量として求める。

更に、表情推定部３３は、口元の目尻への近寄り度合いＶ３を、
（Ｄｒ＋Ｄｌ）／Ｗｅ
なる演算を行うことにより、唇の両端部分が目尻部分に近づくほど、値が小さくなるように演算する。このように、距離Ｄｒと距離Ｄｌとの加算距離と距離Ｗｅとの比を取ることにより、口の輪郭の開き状態を特徴量として求める。

ここで、図１１（ａ）に示すように、表情に対する目幅に対する高さ比Ｖ１と口元の目尻への近寄り度合いＶ３との２次元プロット図、更に、図１１（ｂ）に示すように、表情に対する目幅に対する下瞼の高さ比Ｖ２と口元の目尻への近寄り度合いＶ３との二次元プロット図を示す。この図１１（ａ）及び図１１（ｂ）は、被験者に平静、驚き、喜び及び怒りの表情をさせ、複数のフレームに亘る特徴ラインの位置情報を用いて目幅に対する高さ比Ｖ１、目幅に対する下瞼の高さ比Ｖ２及び口元の目尻への近寄り度合いＶ３を求めた実験を行った分析結果であって、図中の「ｃｏｏｌ」は「中立」を示し、「Ｓｕｒｐｒｉｓｅ」は「驚き」を示し、「Ｊｏｙ」は「喜び」を示し、「Ａｎｇｅｒ」は「怒り」を示す。

そして、図１１（ａ）、図１１（ｂ）において、目幅に対する高さ比Ｖ１、目幅に対する下瞼の高さ比Ｖ２及び口元の目尻への近寄り度合いＶ３のそれぞれについて、最小値（Ｖｋ＿ｍｉｎ）、最大値（Ｖｋ＿ｍａｘ）、中間値（Ｖｋ＿ｎｅｕｔｒａｌ）を求めることができる。ここで、中間値は、表情における「中立」として判断される各特徴量の値となる。

そして、目幅に対する高さ比Ｖ１、目幅に対する下瞼の高さ比Ｖ２及び口元の目尻への近寄り度合いＶ３のそれぞれについて、−１〜＋１の範囲で変動し、且つ「０」に近いほど中立と判定するために特徴量の正規化を行っておく。この特徴量の正規化は、中間値より大きい特徴量（Ｖｋ≧Ｖｋ＿ｎｅｕｔｒａｌ）については、
ｖｋ＝（Ｖｋ−Ｖｋ＿ｎｅｕｔｒａｌ）／（Ｖｋ＿ｍａｘ−Ｖｋ＿ｎｅｕｔｒａｌ）
なる演算を行い、中間値より小さい特徴量（Ｖｋ＜Ｖｋ＿ｎｅｕｔｒａｌ）については、
ｖｋ＝（Ｖｋ−Ｖｋ＿ｎｅｕｔｒａｌ）／（Ｖｋ＿ｎｅｕｔｒａｌ−Ｖｋ＿ｍｉｎ）
なる演算を行う（ｋ＝１，２，３）。

これにより、図１２に示すように、正規化された各特徴量について、中間値よりも大きい場合のメンバシップ関数Ｂｉ（ｖｉ）、中間値よりも小さい場合のメンバシップ関数Ｓｉ（ｖｉ）、中立のメンバシップ関数Ｍｉ（ｖｉ）を得ることができる。ここで、ｖｉ（ｉ＝１，２，３，・・・）は、正規化された各特徴量の値を示している。

このようなメンバシップ関数を用意しておき、表情推定部３３は、顔器官抽出部３２により右目領域画像の位置情報及び左目領域画像の位置情報、並びに口領域画像の位置情報を得ると、特徴量Ｖ１，Ｖ２，Ｖ３を算出し、各Ｖ１〜Ｖ３に対する正規化されたｖ１〜ｖ３を求める。次に、表情推定部３３は、メンバシップ関数を用いて、「中立又は怒り」、「驚き」、「喜び」の各表情についての３つの表情強度Ｅｘｐを求める。

「中立又は怒り」の表情強度Ｅｘｐは、目幅に対する高さ比を示すｖ１が略中間値、且つ、口元の目尻への近寄り度合いを示すｖ３が略中間値であることを条件とすると、
Ｅｘｐ（cool_or_anger）＝ｍｉｎ｛Ｍ１（ｖ１），Ｍ３（ｖ３）｝
なる演算式によって求められる。このような演算式としたのは、「中立」又は「怒り」は、図１１（ａ）及び図１１（ｂ）に示したように、特徴量Ｖ１〜Ｖ３の略中間値に多く検出されたためである。

また、「驚き」の表情強度Ｅｘｐは、目幅に対する高さ比を示すｖ１が大きく、且つ、口元の目尻への近寄り度合いを示すｖ３が大きいことを条件とすると、
Ｅｘｐ（surprise）＝ｍｉｎ｛Ｂ１（ｖ１），Ｂ３（ｖ３）｝
なる演算式によって求められる。このような演算式としたのは、「驚き」は、図１１（ａ）に示したように、特徴量Ｖ１，Ｖ３の略最大値に多く検出されたためである。

更に、「喜び」の表情強度Ｅｘｐは、目幅に対する高さ比を示すｖ１が小さい場合又は目幅に対する下瞼の高さ比を示すｖ２が小さい場合、且つ、口元の目尻への近寄り度合いを示すｖ３が小さいことを条件とすると、
Ｅｘｐ（joy）＝ｍｉｎ［ｍａｘ｛Ｓ１（ｖ１），Ｓ２（ｖ２）｝，Ｓ３（ｖ３）］
なる演算式によって求められる。このような演算式としたのは、「喜び」は、図１１（ａ）及び図１１（ｂ）に示したように、特徴量Ｖ１，Ｖ２，Ｖ３の略最小値に多く検出されたためである。

これによって、表情推定部３３は、各輪郭間の開き状態及び各輪郭の曲がり状態を表した特徴量Ｖ１〜Ｖ３を正規化した特徴量ｖ１〜ｖ３とし、当該特徴量ｖ１〜ｖ３をパラメータとしたメンバシップ関数に基づいて各表情の強度を求める。このように表情推定部３３は、各表情の強度を求め、３つの表情強度Ｅｘｐのうち、最大値の表情強度Ｅｘｐの表情を推定結果とする。すなわち、表情推定部３３は、
推定結果＝ｍａｘ｛Ｅｘｐ（cool_or_anger），Ｅｘｐ（surprise），Ｅｘｐ（joy）｝
なる関係によって、表情を推定する。

具体的には、表情推定部３３は、図１３に示すように、値が「０」〜「１」の間で変化し、「１」に近づくほど強度が高いメンバシップ値である各表情強度Ｅｘｐの変化を得ることができる。ここで、図１３に示した表情強度Ｅｘｐの変化は、ユーザに喜ぶ演技をさせた状態であって、連続した１９７フレームのうち第４１フレーム〜第１７０フレームまでは会話をした場合に、カメラ装置１０で撮像されて信号入力処理部２１を介して入力した元画像データを使用して表情推定処理を行った結果である。

この結果によれば、会話中のフレーム（発話中区間）においても「喜び」の表情強度Ｅｘｐが高いために「喜び」と判定されることが多く、会話後のフレーム（発話後区間）でも「喜び」の表情強度Ｅｘｐが高く「喜び」と判定されることが多く、表情推定部３３は、「喜び」を表情推定結果とすることができる。

このように、表情認識装置２０によれば、顔器官の輪郭間の開き状態及び各輪郭の曲がり状態に基づいて、ユーザの表情を推定するので、元画像データを使用して表情を推定する場合と比較して、連続するフレームに対して簡便且つ高速な表情推定処理を実現することができ、リアルタイム性を確保することができる。

また、この表情認識処理部２２では、表情推定部３３により、表情推定結果をユーザの発話中区間とユーザの発話後区間とで求め、当該発話中区間での表情推定結果と発話後区間での表情推定結果とを統合して、最終的な表情推定結果を作成する。この最終的な表情推定結果を作成する処理は、図１４における表情サマリ作成部５１によって行われる。

ここで、表情認識処理部２２と接続された対話システム（不図示）は、マイク（不図示）、図１４に示す音声切り出し部４１、音声処理部４２及び対話制御部（不図示）を備える。この対話システムは、時刻ｔ１〜時刻ｔ２に亘ってマイクで検出した音声信号を、音声切り出し部４１で切り出して音声データを生成し、当該音声データを用いて、時刻ｔ１１〜時刻ｔ１２に亘ってユーザの音声に含まれる感情、口調、音声の認識処理を音声処理部４２で演算する。

そして、対話システムは、ユーザの音声に対する上記の処理並びに対話制御部の制御によって音声合成してユーザとの間で対話を成立させることになる。このとき、対話システムは、音声合成の終了、音声切り出し部４１によるユーザの音声の入力開始及び終了、音声処理部４２による音声処理の終了を検出する。そして、対話システムは、音声合成終了を表情推定部３３に通知すると共に、発話開始イベントによってユーザ音声の入力開始、発話終了イベントによってユーザ音声の入力終了、音声処理終了イベントによって音声処理終了を表情推定部３３に通知する。

これに対し、表情推定部３３の表情サマリ作成部５１は、音声合成終了が通知された時刻ｔ２１から発話開始イベントを入力した時刻ｔ２２である発話前区間、時刻ｔ２２から発話終了イベントを入力した時刻ｔ２３までの発話中区間、時刻ｔ２３から音声処理終了イベントを入力した時刻ｔ２４までの発話後区間を認識する。また、表情推定部３３では、音声合成終了から音声処理の終了に拘わらず、カメラ装置１０で撮像された元画像データを使用して、フレームごとに表情推定結果を作成している。このとき、表情サマリ作成部５１は、表情推定結果の集計を開始するタイミングを時刻ｔ２１とし、表情推定結果の集計を終了するタイミングを時刻ｔ２４とする。

そして、表情サマリ作成部５１は、発話前区間で集計した表情のうち最も推定された回数が多い表情を当該発話前区間での表情サマリとし、発話中区間で集計した表情のうち最も推定された回数が多い表情を当該発話中区間での表情サマリとし、発話後区間で集計した表情のうち最も推定された回数が多い表情を当該発話後区間での表情サマリとする。次に、表情サマリ作成部５１は、発話中区間での表情サマリと発話後区間での表情サマリとを統合した表情サマリを表情推定結果とする。

このとき、表情サマリ作成部５１は、発話中区間での表情サマリと発話後区間での表情サマリとを比較し、発話中区間での表情サマリと発話後区間での表情サマリとが同一の表情である場合には、当該同一の表情を最終的な表情推定結果とする。また、表情サマリ作成部５１は、一方の表情サマリが「中立」であって、他方の表情サマリが「喜び」又は「驚き」である場合のように、双方の表情サマリが矛盾しないような場合には、発話中区間での表情サマリを最終的な表情推定結果とする。更に、表情サマリ作成部５１は、一方の表情サマリが「怒り」であって、他方の表情サマリが「喜び」である場合のように、双方の表情サマリが矛盾する場合には、「推定不能」との表情推定結果とする。なお、本例では、発話前区間での表情サマリは棄却するものとしている。

このような表情認識処理部２２によれば、発話中区間での表情サマリと発話後区間での表情サマリとを統合して最終的な表情推定結果を作成するので、発話区間のみならず、発話後区間の表情推定結果も使用して、フレームごとの表情推定結果を集約した表情を最終的な表情推定結果とすることができ、ユーザの表情を正確に推定することができる。なお、この発話後区間の表情サマリは、図１４に示すようにユーザ発話に対する音声処理区間で取得した元画像を使用して表情推定結果を集約した結果であるので、対話システムに必要な音声処理区間を有効に利用して、画像を用いて表情を正確に推定することができ、リアルタイム性も保持することができる。

また、この表情認識処理部２２によれば、発話中区間での表情サマリと発話後区間での表情サマリとを比較して、同一又は矛盾がない場合には発話中区間での表情サマリを採用するので、発話しているユーザの表情を正確に推定することができ、更には、矛盾がある場合には推定不能とするので、誤った表情を推定結果とすることを回避することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した実施形態では、表情推定処理に使用する器官を目及び口のみとしたが、これに限らず、更に他の器官の画像を使用して上述した処理を行っても同様の効果を得ることができ、更には、「中立又は怒り」、「喜び」、「驚き」のみならず、他の表情も推定することもできることは勿論である。

本発明を適用した表情認識装置を含むシステムの構成を示すブロック図である。 本発明を適用した表情認識装置の表情認識処理の処理概要の処理手順を示すフローチャートである。 本発明を適用した表情認識装置の顔領域抽出処理の処理手順を示すフローチャートである。 本発明を適用した表情認識装置の顔器官抽出処理の処理手順を示すフローチャートである。 （ａ）はカラー画像である元画像の一例を示す図であり、（ｂ）は低域成分画像の一例を示す図であり、（ｃ）は高域成分画像の一例を示す図であり、（ｄ）はエッジ画像の一例を示す図であり、（ｅ）は元画像の縮小度合いを低くした場合のエッジ画像の一例を示す図である。 元画像と低域成分画像との正差分及び負差分を求めてエッジ画像を作成する処理を説明するための図であり （ａ）は肌色領域画像の一例を示す図であり、（ｂ）は肌色領域画像と論理積が取られるエッジ画像の一例を示す図であり、（ｃ）は髪や衣服等と区分された肌色領域画像のうち、顔領域を特定したことの一例を示す図であり、（ｄ）は元画像からＢ成分を差し引いたＲ成分画像である肌色彩度値画像の一例を示す図であり、（ｅ）はエッジ画像の明部分と暗部分とを重ねて作成した明暗エッジ画像の一例を示す図であり、（ｆ）はＲ成分画像を１／４の画像サイズに縮小し、エッジ抽出処理を施した彩度エッジ画像の一例を示す図である。 （ａ）は器官検出用画像の一例を示す図であり、（ｂ）は顔矩形領域に含まれ、且つ、目部分に相当する４つの器官矩形領域及び島領域の候補を特定する処理の一例を示す図であり、（ｃ）は目部分の候補のうち、妥当なペア候補を抽出する処理の一例を示す図であり、（ｄ）は各矩形領域及び各矩形領域同士の間隔を拡縮して、各器官を囲むように顔器官テンプレートを当てはめる処理の一例を示す図であり、（ｅ）は元画像のＧ成分のみのＧ成分画像に対して１／４に縮小処理を行ってエッジ抽出処理を行った後のエッジ画像の一例を示す図であり、（ｆ）は右目領域画像及び左目領域画像の位置に対して口部分が存在する概略位置の口矩形領域と、口部分の概略の重心矩形を算出する処理の一例を示す図である。 （ａ）は特徴ライン抽出の元画像となるエッジ画像の一例を示す図であり、（ｂ）はエッジ画像にぼかし処理を施し、微小ノイズを取り除いたエッジ画像の一例を示す図であり、（ｃ）は口領域画像に相当する部分以外の画像領域、不要なノイズ成分を取り除くことにより得たエッジ画像の一例を示す図であり、（ｄ）は目部分及び口部分の特徴ラインを含むエッジ画像の一例を示す図であり、（ｅ）は最終的に表情推定処理で使用する特徴ラインを含むエッジ画像の一例を示す図である。 表情推定処理に使用する各器官の高さ、幅を示す図である。 （ａ）は表情に対する目幅に対する高さ比Ｖ１と口元の目尻への近寄り度合いＶ３の解析結果を示す図であり、（ｂ）は表情に対する目幅に対する下瞼の高さ比Ｖ２と口元の目尻への近寄り度合いＶ３の解析結果を示す図である。 正規化された特徴量のメンバシップ関数を示す図である。 複数フレームに亘る、各表情の表情強度の変化を示す図である。 発話中区間での表情と発話後区間での表情とを統合して、最終的な表情を推定する処理を説明するための図である。

符号の説明

１０ カメラ装置
２０ 表情認識装置
３０ テンプレート画像記憶部
２１ 信号入力処理部
２２ 表情認識処理部
２３ 一時記憶部
２４ 認識結果出力部
３１ 顔検出部
３２ 顔器官抽出部
３３ 表情推定部
４１ 音声切り出し部
４２ 音声処理部
５１ 表情サマリ作成部

Claims (7)

1. ユーザの顔部分を含む画像データを入力し、該画像データをユーザの表情推定処理が可能なディジタルデータに変換して元画像データを作成する画像入力処理手段と、
   前記元画像データに含まれるユーザの顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段で検出された顔領域のうち、ユーザの顔を構成する少なくとも一つ以上の顔器官の輪郭位置を抽出する顔器官抽出手段と、
   前記顔器官抽出手段によって抽出された輪郭のうち、顔器官の上端及び下端の輪郭を取得し、当該各輪郭間の開き状態及び各輪郭の曲がり状態に基づいて、ユーザの表情を推定する表情推定手段と
   を備えることを特徴とする表情認識装置。
2. 前記表情推定手段は、前記各輪郭間の開き状態及び各輪郭の曲がり状態を正規化した特徴量をパラメータとしたメンバシップ関数に基づいて各表情の強度を求め、当該強度が最大となる表情を求めることを特徴とする請求項１に記載の表情認識装置。
3. 前記表情推定手段は、ユーザが発話している発話中区間とユーザの発話が終了した後の発話後区間とを検出し、前記発話中区間で推定した表情と、前記発話後区間で推定した表情とを統合して、ユーザの表情を推定することを特徴とする請求項１又は請求項２に記載の表情認識装置。
4. 前記表情推定手段は、前記発話中区間で推定した表情と前記発話後区間で推定した表情とを比較し、前記発話中区間で推定した表情と前記発話後区間で推定した表情とが同一の表情又は矛盾しない表情である場合には、前記発話中区間で推定した表情を最終推定結果とし、前記発話中区間で推定した表情と前記発話後区間で推定した表情とが矛盾する表情である場合には推定不能とすることを特徴とする請求項３に記載の表情認識装置。
5. 前記顔領域抽出手段又は前記顔器官抽出手段は、前記画像入力処理手段により変換された元画像データと、当該元画像データに対して所定数の画素の画素値を平均化して作成した低域画像データとの正差分又は負差分を抽出することにより作成した輪郭画像を用いて、ユーザの顔領域の抽出又は顔器官の輪郭位置の抽出を行うことを特徴とする請求項１乃至請求項４の何れかに記載の表情認識装置。
6. 前記顔領域抽出手段は、Ｒ成分、Ｇ成分及びＢ成分を含む元画像データにおいて、Ｒ成分の階調がＧ成分の階調よりも高く、且つＧ成分の階調がＢ成分の階調よりも高い画素か否かに応じて元画像データの二値化を行い、当該二値化された画像と、元画像データに輪郭抽出処理を施した輪郭画像との論理積により得た画像を用いて、ユーザの顔領域を抽出することを特徴とする請求項１乃至請求項４の何れかに記載の表情認識装置。
7. 前記顔器官抽出手段は、
   前記画像入力処理手段により変換された元画像データと、当該元画像データに対して所定数の画素の画素値を平均化して作成した低域画像データとの正差分を抽出した画像と負差分を抽出した画像とを重ねた輪郭画像を作成し、当該輪郭画像の近接画素を補間して連続した島状の顔器官を示す輪郭画像を作成し、当該島状の輪郭画像を顔器官候補として取得するラベリング処理手段と、
   予め設定された各顔器官に相当する所定位置と、前記ラベリング処理手段によって取得された顔器官候補の位置とが異なる場合に、当該顔器官候補を除外して何れかの顔器官候補の位置を、前記表情推定手段で使用される顔器官の輪郭位置とするマッチング処理手段と
   を備えることを特徴とする請求項１乃至請求項４の何れかに記載の表情認識装置。