JP2018036734A - 表情変化検出装置及びプログラム - Google Patents

Abstract

【課題】ユーザの顔の部位の変形量を表すデータからユーザの表情の変化点を検出できる表情変化検出装置及びプログラムを提供することを課題とする。【解決手段】表情変化検出装置において、ユーザの顔における複数の部位の変形量を計測し、前記複数の部位の変形量をそれぞれ表す複数のＡＵ（Action Unit）データを取得する取得部と、前記複数のＡＵデータに基づいて主成分分析し、各主成分の係数を算出する算出部と、前記各主成分の係数の所定時間ごとの平均値を算出する平均値算出部と、前記平均値に基づいて、前記ユーザの表情が変化した時点を検出する検出部と、を備えることで上記課題を解決する。【選択図】図６

Description

本発明は、表情変化検出装置及びプログラムに関する。

近年、テレビ視聴中の視聴者の様子を撮影し、その映像の注視率を解析して、視聴者が番組への興味を示した時間帯を推定する研究報告がなされている（例えば非特許文献１参照）。

この技術では、視聴者のテレビへの注視状況を映像から認識し、テレビへの注視状況の変化が番組への反応であろうと推定する。

従来の顔表情の検出においては、例えばテレビ視聴者の顔表情の映像から６つの典型的表情を示す顔画像を認識し学習データとする。６つの典型的表情としては、例えば、笑顔、驚き、恐れ、嫌悪、怒り、悲しみが学習対象とされる（例えば非特許文献２、非特許文献３参照）。

図１０は、従来の表情認識技術の一例の説明図である。従来の表情認識技術では入力画像に含まれる顔画像と、６つの典型的表情を各判別器に予め学習させておき、学習した典型的表情と入力画像とを比較し、６つのそれぞれの典型的表情との類似度を検出する。

図１０では、視聴者の顔画像の中で、判別器の中の笑顔の判別器による検出結果の類似度が高いことを示している。この結果、入力画像に含まれる顔画像の表情が笑顔である画像を認識し、顔画像の特定をすることができる。

山内結子，奥田誠，高橋正樹，サイモン クリピングデル，苗村昌秀，"視聴状況に基づいた興味内容推定システムの試作"，映像情報メディア学会年次大会（2014年）。 奥田誠，藤井真人，佐藤洋一，"表情強度と単純ベイズ推定を融合した顔表情認識"，FIT2013（第１２回情報科学フォーラム）第３分冊 pp 439-440（2013年）。 Kanade, Cohn, Tian, "Comprehensive Database for Facial Expression Analysis", Proc. 4th IEEE International Conference on Face and Gesture Recognition FG-00, pp. 484-490, Grenoble, France

上述したように、従来、典型的表情を示す顔画像を学習データとし、入力画像に含まれる顔画像と照合することで、典型的表情と入力画像に含まれる顔画像の表情との類似度を出力し、入力画像に含まれる顔画像の表情を典型的表情との類似度により認識していた。

この学習データとして使用される典型的表情を示す顔画像は、表情の演技により撮影している。したがって、学習データとして使用される典型的表情を示す顔画像は、表情の演技の個人差により、同一表情を示す筈の顔画像に差が生じる場合がある。このため、入力画像に含まれる顔画像の表情が正しく認識できない場合があった。

また、視聴者がテレビを視聴するときに出す表情は、上記した６つの典型的表情に限らない。視聴者がテレビを視聴するときに出す表情には、典型的表情以外の表情も含まれる。しかしながら、従来技術では、入力画像に含まれる顔画像の表情が典型的表情以外の表情である場合に、入力画像に含まれる顔画像の表情が認識できないという問題があった。

さらに、視聴者がテレビを視聴するときに出す表情には、顔の変形量の小さな表情（以下、弱表情と呼ぶ）も含まれる。従来技術では、入力画像に含まれる顔画像の表情が弱表情である場合に、入力画像に含まれる顔画像の表情が認識できないという問題があった。

本発明は上記の点に鑑みなされたものであり、ユーザの顔の部位の変形量を表すデータからユーザの表情の変化点を検出できる表情変化検出装置及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明は、表情変化検出装置において、ユーザの顔における複数の部位の変形量を計測し、前記複数の部位の変形量をそれぞれ表す複数のＡＵ（Action Unit）データを取得する取得部と、前記複数のＡＵデータに基づいて主成分分析し、各主成分の係数を算出する算出部と、前記各主成分の係数の所定時間ごとの平均値を算出する平均値算出部と、前記平均値に基づいて、前記ユーザの表情が変化した時点を検出する検出部と、を備える。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、ユーザの顔の部位の変形量を表すデータからユーザの表情の変化点を検出できる表情変化検出装置及びプログラムを提供することができる。

本実施形態に係る表情変化検出システムの一例の構成図である。 本実施形態に係る赤外線計測センサー及び表情変化検出用コンピュータの一例の機能構成図である。 ＡＵデータの一例を示す図である。 変化点検出部の一例の構成図である。 ＡＵデータに基づく各主成分の係数の値と、変化点検出部より出力される出力とを時系列に表した説明図である。 第１の実施形態に係る表情変化検出用コンピュータ２０の処理の一例を示すフローチャートである。 第２の実施形態に係る表情変化検出用コンピュータの一例の機能構成図である。 第２の実施形態に係る表情変化検出用コンピュータの学習処理の一例を示すフローチャートである。 第２の実施形態に係る表情変化検出用コンピュータの変化点検出処理の一例を示すフローチャートである。 従来の表情認識技術の一例の説明図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。

＜システム構成＞
図１は本実施形態に係る表情変化検出システムの一例の構成図である。図１の表情変化検出システム１は、赤外線計測センサー１０、表情変化検出用コンピュータ２０、モニタ３０及びコンテンツ出力用コンピュータ４０を有する構成である。

赤外線計測センサー１０は視聴者の顔を撮影できる位置に設置される。赤外線計測センサー１０は赤外線により被験者の顔の形状を測定し、測定結果を出力信号として表情変化検出用コンピュータ２０に出力する。赤外線計測センサー１０は例えば赤外線カメラと赤外線レーザプロジェクタとを搭載し、赤外線レーザプロジェクタから空間に投影された赤外線レーザ光を視聴者の顔に照射し、照射されたレーザ光の反射光を赤外線カメラにより撮影し、３次元の形状データとして出力する。赤外線計測センサー１０には例えばマイクロソフト社製のキネクトセンサー（登録商標）を利用することができる。キネクトセンサーは、後述するように、赤外線レーザプロジェクタから単一のパターンを顔に照射した状態で、赤外線カメラからの出力を予め定めたパラメーラを用いて三角測量により、顔形状のデプスを算術し、顔の各部位に対応したデータ出力する。

表情変化検出用コンピュータ２０は赤外線計測センサー１０の出力信号を受信する。
表情変化検出用コンピュータ２０は、受信した出力信号から顔の筋肉の動作を表すＡＵ（Action Unit）データを求め、そのＡＵデータを用いて後述するように視聴者の表情の変化点を検出する。ＡＵデータは、視聴者の顔の部位の変形量を表すデータの一例である。

モニタ３０は映像のコンテンツを表示する表示装置である。コンテンツ出力用コンピュータ４０はモニタ３０に表示させる映像のコンテンツをモニタ３０に出力するコンテンツ出力装置の一例である。

［第１の実施形態］
＜機能構成＞
本実施例の表情変化検出システム１の赤外線計測センサー１０、表情変化検出用コンピュータ２０は、例えば図２に示す機能構成により実現される。図２は本実施形態に係る赤外線計測センサー及び表情変化検出用コンピュータの一例の機能構成図である。

赤外線計測センサー１０は、赤外線により被験者の顔の形状を測定し、測定結果を出力信号として表情変化検出用コンピュータ２０に出力する計測部１１を有する構成である。

また、表情変化検出用コンピュータ２０はＡＵデータ出力部２１、ＡＵデータ記憶部２２、主成分分析部２３、平均部２４、変化点検出部２５、変化点記憶部２６を有する構成である。

ＡＵデータ出力部２１は計測部１１が出力した出力信号に基づいて視聴者の顔の部位の変形量を表すＡＵデータを出力する。赤外線計測センサー１０がキネクトセンサーである場合、ＡＵデータ出力部２１は例えばキネクトセンサーのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）により実現することができる。ＡＵデータ出力部２１は、例えば図３に示すような１７個のＡＵデータ（ＡＵデータの１７次元ベクトル）を所定周期（例えば１０Ｈｚ）で収録してＡＵデータ記憶部２２に記憶させる。

図３はＡＵデータの一例を示す図である。図３に示す１７個の各ＡＵデータは、視聴者の顔の各々の部位（あご、口、ほほ、目、眉毛など）の変形量を表している。視聴者が幾つかの番組を視聴している間、ＡＵデータ出力部２１は所定周期でＡＵデータを収録してＡＵデータ記憶部２２に記憶させる。

主成分分析部２３は、ＡＵデータ記憶部２２に記憶されているＡＵデータの主成分分析（ＰＣＡ, principal component analysis）を行う。主成分分析部２３は、この主成分分析において、例えば、ＡＵデータ記憶部２２に記憶されている各ＡＵデータの観測値の組を直交変換し、線型な相関を持たない特徴量の組である主成分（ＰＣ, principal components）の係数を算出してもよい。なお、この主成分分析自体は、公知の技術を用いて実施してもよい。この場合、例えば、以下の文献に記載されるような主成分分析の算出方法を用いてもよい。

Jolliffe, I.T. (2002). "Principal Component Analysis" (2nd ed.). Springer. ISBN 978-0-387-95442-4.

主成分分析部２３は、算出した各主成分の係数の値を、平均部２４に出力する。なお、ＡＵデータが図３に示すような１７次元ベクトルの場合、主成分分析により算出される主成分は、１７個以下（最大でも１７個）となる。

平均部２４は、各主成分の係数の値の所定時間（例えば１秒）ごとの平均値を求め、視聴者の個人的な顔変形パターンとして時系列に出力する。

平均部２４から出力される視聴者の個人的な顔変形パターンは、笑い方などの個人的な表情の癖を反映したものとなる。このような視聴者の個人的な顔変形パターンは、典型的表情以外の表情や弱表情の変化点も表現されている。

変化点検出部２５は、視聴者の個人的な顔変形パターンとして複数のＡＵデータに基づく１以上の主成分の係数の値の所定時間ごとの平均値を平均部２４から時系列に受信し、各主成分の係数の値の変化点を係数ごとに検出する。例えば、変化点検出部２５は、各主成分の係数の値の所定時間ごとの平均値が、所定の閾値以上変化した時点を検出する。変化点検出部２５は検出した変化点を、視聴者の表情変化点として変化点記憶部２６に記憶させる。

なお、変化点記憶部２６は、計測部１１が視聴者の顔を計測した際に視聴者に表示されたテレビ番組等のコンテンツデータの再生時間と対応付けて、変化点をタグとして記憶してもよい。

各主成分の係数の値の幾つかは、表情の小さな変化であっても、いくつかの主成分の係数が大きく変化することが実験から分かった。そこで、本実施形態に係る表情変化検出システム１では所定時間の平均を取ることでノイズを抑制する。主成分分析部２３、平均部２４及び変化点検出部２５はプログラムにより実現できる。

変化点検出部２５は、例えば図４に示すように構成される。図４は、変化点検出部の一例を示す構成図である。図４の変化点検出部２５は、平均部２４から受信した各主成分の係数の値の変化点を、主成分ごとに、以下のように検出する。

平均部２４により算出された、主成分の係数の値の所定時間（例えば１秒）ごとの平均値をp(t)５１とする。

まず、変化点検出部２５は、p(t)５１から、p(t)５１をメディアンフィルタ（ローパスフィルタ）５２を介して出力された値を減算し、ハイパス信号h(t)５３を算出する。ハイパス信号h(t)５３は、以下の式により算出される。

ここで、Ｌ（秒）は、メディアンフィルタ５２におけるディレイラインの長さである。

次に、変化点検出部２５は、h(t)５３が０から離れる条件を検出する。変化点検出部２５は、h(t)５３が０から離れる変化の大きさを示す指標e(t)５５を、以下の式により算出する。

ここで、Ｄ（秒）は、ｍｉｎ（最小値算出部）のディレイライン５４（ウインドウ）の長さである。

変化点検出部２５は、以下の条件を満たす場合に、変化点であることを検出する。

ここで、Ｅは所定の閾値である。このように、指標e(t)５５がＥより大きい場合に、変化点検出部２５は、変化点であると判定し、変化点検出部２５の出力j(t)５７をＯＮに設定する。

変化点検出部２５は、h(t)５３が０から離れる条件を検出する処理と並行して、h(t)５３が０の近くに戻る条件も検出する。

変化点検出部２５は、h(t)５３が０の近くに戻る変化の大きさを示す指標f(t)５６を、以下の式により算出する。

ここで、Ｄ（秒）はａｖｅ（平均値算出部）のディレイライン５４（ウインドウ）の長さである。

変化点検出部２５は、以下の条件を満たす場合に、変化点でないことを検出する。

ここで、Ｆは所定の閾値である。このように、指標f(t)５６がＦより小さい場合に、変化点検出部２５は、変化点でないと判定し、変化点検出部２５の出力j(t)５７をＯＦＦに設定する。

なお、上記では、ｍｉｎ（最小値算出部）のディレイライン５４の長さと、ａｖｅ（平均値算出部）のディレイライン５４の長さが同じＤ（秒）である場合について説明した。しかし、ｍｉｎ（最小値）のディレイラインの長さと、ａｖｅ（平均値算出部）のディレイラインの長さを異ならせてもよい。

図５はＡＵデータに基づく各主成分の係数の値と、変化点検出部２５より出力される出力とを時系列に表した説明図である。図５（Ａ）はＡＵデータに基づく各主成分の係数の値を時系列に表している。また、図５（Ｂ）は図５（Ａ）の係数の値により変化点検出部２５から係数ごとに出力される信号の全係数のＯＲ（論理和）を表している。

なお、図５（Ｂ）では、変化点「ＯＮ」の係数の表す出力信号をハイレベルで表示している。図５（Ｂ）においてハイレベルの出力信号が１つ以上ある時点は実験により視聴者の表情が少しでも変わったと目視により判断された時点と一致することが確認されている。

＜処理＞
次に、図６を参照し、第１の実施形態に係る表情変化検出用コンピュータ２０の処理について説明する。図６は、第１の実施形態に係る表情変化検出用コンピュータ２０の処理の一例を示すフローチャートである。

まず、ステップＳ１で、ＡＵデータ出力部２１は、赤外線計測センサー１０の計測部１１が出力した出力信号に基づいて、視聴者の顔の部位の変形量を表すＡＵデータを生成し出力する。

続いて、ステップＳ２で、ＡＵデータ記憶部２２は、ＡＵデータ出力部２１から出力されたＡＵデータを記憶する。

続いて、ステップＳ３で、主成分分析部２３は、ＡＵデータ記憶部２２に記憶されているＡＵデータの主成分分析（ＰＣＡ）を行い、各主成分の係数の値を算出する。

続いて、ステップＳ４で、平均部２４は、主成分分析部２３により算出された各主成分の係数の値の所定時間（例えば１秒）ごとの平均値を算出する。

続いて、ステップＳ５で、変化点検出部２５は、平均部２４により算出された各主成分の係数の値の平均値が所定の閾値以上変化した時点を、変化点として検出する。

このように、本実施形態に係る表情変化検出システム１では、視聴者の顔の部位の変形量を表すＡＵデータに基づいて視聴者の表情変化点を検出する。このため、従来の典型的表情を検出する技術と比較すると、ユーザの個人差による影響を受けずに、表情の変化を検出できる。

また、典型的表情のみならず、典型的表情以外の表情、及び従来技術では検出できなかった弱表情へ変化した時点を検出できる。

そして、モニタ３０に表示した映像のコンテンツのタイムコードと、変化点記憶部２６に記憶した表情変化点の時間とを手がかりとして、視聴者の表情が変化した時点のコンテンツの内容を確認できる。

これにより、視聴者の表情を映像から認識し、表情とその変化（弱表情）が番組への反応であることを利用し、テレビ視聴中の視聴者の表情を解析して、視聴者が番組への興味を示した時間帯を推定することができる。

［第２の実施形態］
第２の実施形態では、多数の視聴者が典型的表情に変化した時点のデータも用いて、特定の視聴者の表情の変化点を検出する例について説明する。第２の実施形態によれば、ユーザ毎の典型的表情における顔の差異によらずに、ユーザが典型的表情となった時点が判定できる。

なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。

＜機能構成＞
次に、図７を参照し、第２の実施形態に係る表情変化検出用コンピュータ２０の機能構成について説明する。図７は、第２の実施形態に係る表情変化検出用コンピュータの一例の機能構成図である。

第２の実施形態に係る表情変化検出用コンピュータ２０は、第１の実施形態と比較し、学習部２７、及び学習用変化点記憶部２８を有する点が大きく異なる。

学習部２７は、学習用変化点記憶部２８に記憶された変化点における特定のユーザのＡＵデータの変化を学習する。

学習用変化点記憶部２８は、同一のコンテンツデータを複数の視聴者に視聴させ、比較的多数のユーザが所定の典型的表情となった際の、再生時間と１以上の典型的表情の種別（例えば、「笑顔」、「驚き」等）とを対応付けて記憶しておく。なお、学習用変化点記憶部２８に記憶されるデータは、従来技術である典型的表情で学習された判別機を用いて自動で生成してもよいし、データ作成者が、複数の視聴者に視聴させた際に、多数の視聴者の典型的表情を目視で確認し、手動で設定してもよい。

第２の実施形態に係る変化点検出部２５は、平均部２４により算出された平均値の変化と、学習部２７により学習された平均値の変化との一致度が所定値以上である時点を、変化点として検出する。

＜処理＞
≪学習処理≫
次に、図８を参照し、第２の実施形態に係る表情変化検出用コンピュータ２０の学習処理について説明する。図８は、第２の実施形態に係る表情変化検出用コンピュータ２０の学習処理の一例を示すフローチャートである。

まず、ステップＳ１０１で、ＡＵデータ出力部２１は、赤外線計測センサー１０の計測部１１が出力した出力信号に基づいて、視聴者の顔の部位の変形量を表すＡＵデータを生成し出力する。

続いて、ステップＳ１０２で、ＡＵデータ記憶部２２は、ＡＵデータ出力部２１から出力されたＡＵデータを記憶する。

続いて、ステップＳ１０３で、主成分分析部２３は、ＡＵデータ記憶部２２に記憶されているＡＵデータの主成分分析（ＰＣＡ）を行い、各主成分の係数の値を算出する。

続いて、ステップＳ１０４で、平均部２４は、主成分分析部２３により算出された各主成分の係数の値の所定時間（例えば１秒）ごとの平均値を算出する。

続いて、ステップＳ１０５で、変化点検出部２５は、平均部２４により算出された各主成分の係数の値の平均値が所定の閾値以上変化した時点を検出する。これにより、視聴者が無表情であった場合は、学習の対象外とすることができる。

続いて、ステップＳ１０６で、学習部２７は、学習用変化点記憶部２８に、当該時点に対応付けられた典型的表情のデータが記憶されているか否か判定する。

当該時点に対応付けられた典型的表情のデータが記憶されていない場合（ステップＳ１０６：ＮＯ）、処理を終了する。

当該時点に対応付けられた典型的表情のデータが記憶されている場合（ステップＳ１０６：ＹＥＳ）、ステップＳ１０７で、主成分分析部２３は、抽出した変化点の前後を含む所定期間（例えば４秒）における、各主成分の係数の値を抽出する。

続いて、ステップＳ１０８で、学習部２７は、当該所定期間における、各主成分の係数の平均値の変化を、当該典型的表情として学習する。

以上説明したように、学習部２７は、学習処理において、同一のコンテンツデータを複数の視聴者に視聴させ、比較的多数のユーザが例えば「笑顔」となった際の、特定のユーザのＡＵデータの変化を学習する。これにより、後述する変化点検出処理において、ユーザ毎の典型的表情における顔の差異によらずに、ユーザが典型的表情となった時点が判定できる。

≪変化点検出処理≫
次に、図９を参照し、第２の実施形態に係る表情変化検出用コンピュータ２０の変化点検出処理について説明する。図９は、第２の実施形態に係る表情変化検出用コンピュータ２０の変化点検出処理の一例を示すフローチャートである。

ステップＳ２０１からステップＳ２０５の処理は、図８のステップＳ１０１からステップＳ１０５の処理と同様である。

ステップＳ２０６で、変化点検出部２５は、各主成分の係数の値の平均値が所定の閾値以上変化した時点における各主成分の係数の値の平均値の変化と、学習部２７により典型的表情として学習された各主成分の係数の平均値の変化との一致度を算出する。

なお、変化点検出部２５は、例えば、各主成分の係数の値の平均値が所定の閾値以上変化した時点における各主成分の係数の値の平均値の変化と、典型的表情として学習された各主成分の係数の平均値の変化との相関係数を算出し、算出した相関係数の値を、一致度として用いてもよい。

ステップＳ２０７で、変化点検出部２５は、一致度が所定の閾値以上であるか判定する。

一致度が所定の閾値以上でない場合（ステップＳ２０７：ＮＯ）、処理を終了する。

一致度が所定の閾値以上である場合（ステップＳ２０７：ＹＥＳ）、ステップＳ２０８で、変化点検出部２５は、当該時点を、変化点として検出する。

これにより、例えば、くしゃみ等の生理的な表情の変化と、放送等の番組への興味を示すと考えられる典型的表情への変化とを区別できる。

尚、本発明の実施例による表情変化検出用コンピュータ２０のハードウェア構成としては、通常のコンピュータを使用することができる。表情変化検出用コンピュータ２０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインタフェース等を備えたコンピュータによって構成できる。表情変化検出用コンピュータ２０のＡＵデータ出力部２１、ＡＵデータ記憶部２２、主成分分析部２３、平均部２４、変化点検出部２５、変化点記憶部２６、学習部２７等の各機能部は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。

これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 表情変化検出システム
１０ 赤外線計測センサー
１１ 計測部
２０ 表情変化検出用コンピュータ（表情変化検出装置）
２１ ＡＵデータ出力部（「取得部」の一例）
２２ ＡＵデータ記憶部
２３ 主成分分析部（「算出部」の一例）
２４ 平均部（「平均値算出部」の一例）
２５ 変化点検出部（「検出部」の一例）
２６ 変化点記憶部
２７ 学習部
２８ 学習用変化点記憶部
３０ モニタ
４０ コンテンツ出力用コンピュータ
１００ コンピュータ
１０１ 入力装置
１０２ 出力装置
１０３ 記録媒体読取装置
１０４ 補助記憶装置
１０５ 主記憶装置
１０６ 演算処理装置
１０７ インタフェース装置
１０８ 記録媒体
１０９ バス

Claims (6)

1. ユーザの顔における複数の部位の変形量を計測し、前記複数の部位の変形量をそれぞれ表す複数のＡＵ（Action Unit）データを取得する取得部と、
   前記複数のＡＵデータに基づいて主成分分析し、各主成分の係数を算出する算出部と、
   前記各主成分の係数の所定時間ごとの平均値を算出する平均値算出部と、
   前記平均値に基づいて、前記ユーザの表情が変化した時点を検出する検出部と、
   を備えることを特徴とする表情変化検出装置。
2. 前記検出部は、前記平均値が所定の閾値以上変化した時点を、前記ユーザの表情が変化した時点として検出する
   ことを特徴とする請求項１記載の表情変化検出装置。
3. 前記ユーザに表示されたコンテンツデータの再生時間と、前記検出部により検出された前記ユーザの表情が変化した時点とを対応付けて記憶する記憶部
   を備えることを特徴とする請求項１または２に記載の表情変化検出装置。
4. 予め記憶された前記ユーザの表情が変化した時点における、前記平均値の変化を学習する学習部を備え、
   前記検出部は、前記平均値算出部により算出された前記平均値の変化と、前記学習部により学習された前記平均値の変化との一致度が所定値以上である時点を、前記ユーザの表情が変化した時点として検出する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の表情変化検出装置。
5. 前記取得部は、前記ユーザの顔の所定の部位に照射された赤外線レーザの反射光を撮像する赤外線カメラと、前記赤外線レーザを所定のパターンにて照射する赤外線レーザプロジェクタとを搭載したセンサーからの出力信号に基づいて、前記ユーザの顔の部位の変形量を表すデータを取得する
   ことを特徴とする請求項１乃至４のいずれか一項に記載の表情変化検出装置。
6. コンピュータを、請求項１乃至５のいずれか一項に記載の表情変化検出装置として機能させるためのプログラム。