JP2018160791A - 画像解析装置、画像解析システム、画像解析方法及びプログラム - Google Patents

Abstract

【課題】表情認識の性能を向上させる。【解決手段】画像解析装置１００は、ユーザ（被験者）の顔が含まれる複数の画像データにおける、所定の表情（ニュートラル顔）が含まれている画像データを特定し、特定された画像データに基づき、ユーザの顔の表情を判定する。【選択図】図１

Description

本発明は、表情を推定する画像解析装置、画像解析システム、画像解析方法及びプログラムに関する。

従来、人の顔が含まれる画像を解析することによって、この人の表情を識別する表情認識技術がある。このような表情認識技術では、例えば、笑顔度のログ情報を解析して、評価条件となる笑顔の閾値をユーザ毎に自動的に最適化する技術が開示されている（特許文献１参照）。

特開２０１３−１２６２０６号公報

しかしながら、上記特許文献１に開示されている技術において、笑顔の閾値は、個人ごとの保存されている笑顔度の平均値を利用しているため、本来、笑顔として判別するべき場合でも笑顔として判別されないケースが起こり得る。

本発明は、このような問題に鑑みてなされたものであり、表情認識の性能を向上させることを目的とする。

上記課題を解決するため、本発明に係る画像解析装置は、
被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段と、
前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段と、
を備えることを特徴とする。

本発明によれば、表情識別の性能を向上させることができる。

本発明を適用した実施の形態の画像解析装置の概略構成を示すブロック図である。 ニュートラル顔判定処理の一例を示すフローチャートである。 バイアス値算出処理の一例を示すフローチャートである。 個人適応表情認識処理の一例を示すフローチャートである。

以下、本発明の画像解析装置、画像解析システム、画像解析方法及びプログラムに係る実施の形態を図面に基づいて説明する。なお、本発明の画像解析装置は、ユーザの顔を撮影して認識することが可能なロボットであるものとして、以下説明を行う。

［画像解析装置１００の構成］
図１は、本実施形態の画像解析装置１００の機能的構成を示すブロック図である。
図１に示すように、画像解析装置１００は、ＣＰＵ１と、ＲＡＭ２と、記憶部３と、操作部４と、撮影部５と、音声入出力部６と、通信部７とを備えている。また、画像解析装置１００の各部は、バス８を介して接続されている。

ＣＰＵ（特定手段、表情判定手段、取得手段、補正値算出手段）１は、記憶部３のプログラム記憶部３ａに記憶されているシステムプログラムやアプリケーションプログラムを読み出してＲＡＭ２のワークエリアに展開し、当該プログラムに従って画像解析装置１００の各部の動作を制御する。

ＲＡＭ２は、例えば、揮発性のメモリであり、ＣＰＵ１により読み出された各種のプログラムやデータを一時的に格納するワークエリアを有する。

記憶部３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュメモリなどにより構成される。
記憶部３には、プログラム記憶部３ａが設けられている。プログラム記憶部３ａには、ＣＰＵ１で実行されるシステムプログラムや、各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部３には、表情データログ記憶部３ｂが設けられている。表情データログ記憶部３ｂには、ユーザを識別する個人識別ＩＤごとに、撮影部５によりユーザの顔が撮影された動画像の画像データと、当該画像データに含まれるユーザの顔の各表情（例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、ニュートラル顔（平常時の顔））を識別する２クラス識別器である表情識別器（例えば、喜び識別器、驚き識別器、恐怖識別器、嫌悪識別器、怒り識別器、悲しみ識別器、ニュートラル顔識別器）の出力値と、当該動画像の撮影時刻と、後述するニュートラル顔判定処理がなされた画像データについては、当該ニュートラル顔判定処理の判定結果と、が対応付けられた表情データログとして記憶されている。上記の各表情を識別する夫々の表情識別器の出力値は、プログラム記憶部３ａに記憶されている個人適応表情認識プログラム（図示省略）がＣＰＵ１により実行されることにより、自動的に導出されるようになっている。

また、記憶部３には、バイアス値データ記憶部３ｃが設けられている。バイアス値データ記憶部３ｃには、ユーザを識別する個人識別ＩＤごとに、各表情識別器の出力値を補正するための個人適応バイアス値（補正値）が記憶されている。上記の個人適応バイアス値は、プログラム記憶部３ａに記憶されている個人適応表情認識プログラム（図示省略）がＣＰＵ１により実行されることにより、自動的に導出されるようになっている。

操作部４は、画像解析装置１００本体に対して各種指示を入力するためのものである。
具体的には、操作部４は、例えば、画像解析装置１００本体の電源のＯＮ／ＯＦＦに係る電源ボタン、モードや機能等の選択指示に係るカーソルボタンや決定ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作部４は、操作されたボタンに応じた操作指示をＣＰＵ１に出力する。ＣＰＵ１は、操作部４から出力され入力された操作指示に従って所定の動作を各部に実行させる。

撮影部５は、被写体となるユーザを撮影して撮影画像を生成する。撮影部５は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮影制御部とを備えている。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。カメラの光学系は、ロボットである画像解析装置１００と向き合っているユーザを正面から撮影可能な方向に向けられている。

音声入出力部６は、マイク、ＡＤコンバーター等の音声入力部と、ＤＡコンバーター、アンプ、スピーカー等の音声出力部と、で構成される。音声入出力部６は、音声入力時に、マイクからユーザの音声の入力を受け付け、音声入力信号をデジタルの音声入力情報に変換してＣＰＵ１に出力し、音声出力時に、音声出力信号をアナログの音声出力信号に変換してスピーカーから音声出力する。

通信部７は、例えば、ネットワークカード、モデム、ＴＡ、ルータなどにより構成される。また、通信部７は、アンテナ、変復調回路、信号処理回路などを備え無線通信が可能な構成であってもよい。通信部７は、通信ネットワーク上のサーバなどの外部機器と通信接続してデータ送受信を行う。
なお、ロボットとしての画像解析装置１００において、駆動部等の他の構成部は図示及び説明を省略している。

［画像解析装置１００の動作］
次に、本実施形態における画像解析装置１００の動作について説明する。

＜ニュートラル顔判定処理＞
図２は、ニュートラル顔判定処理を示すフローチャートである。ニュートラル顔判定処理は、後述のバイアス値算出処理に用いられるニュートラル顔の画像（フレーム画像）を抽出するための処理である。

図２に示すように、ＣＰＵ１は、先ず、表情データログ記憶部３ｂから対象となるユーザの個人識別ＩＤに対応する表情データログを読み出す（ステップＳ１０１）。次いで、ＣＰＵ１は、読み出された表情データログに含まれている各フレーム画像のニュートラル顔識別器（ニュートラル顔を識別する表情識別器）の出力値に基づいてヒストグラムを作成し、最頻値（ｍｏｄｅ）を算出する（ステップＳ１０２）。

次いで、ＣＰＵ１は、各フレーム画像のニュートラル顔識別器の出力値（ｖａｌ_ｎｅｕ）を順次取得し（ステップＳ１０３）、取得した当該出力値が｜ｖａｌ_ｎｅｕ−ｍｏｄｅ｜＜Ｔｈ（閾値）の条件を満たすか、すなわち当該出力値が最頻値（ｍｏｄｅ）を含む所定の範囲に含まれるか否かを判定する（ステップＳ１０４）。
ステップＳ１０４において、取得した出力値が｜ｖａｌ_ｎｅｕ−ｍｏｄｅ｜＜Ｔｈ（閾値）の条件を満たすと判定された場合（ステップＳ１０４；ＹＥＳ）、ＣＰＵ１は、当該出力値が導出されたフレーム画像に含まれるユーザの顔がニュートラル顔であると判定し（ステップＳ１０５）、当該判定の結果を表情データログ記憶部３ｂに登録する（ステップＳ１０７）。
一方、ステップＳ１０４において、取得した出力値が｜ｖａｌ_ｎｅｕ−ｍｏｄｅ｜＜Ｔｈ（閾値）の条件を満たさないと判定された場合（ステップＳ１０４；ＮＯ）、ＣＰＵ１は、当該出力値が導出されたフレーム画像に含まれるユーザの顔がニュートラル顔でないと判定し（ステップＳ１０６）、当該判定の結果を表情データログ記憶部３ｂに登録する（ステップＳ１０７）。

次いで、ＣＰＵ１は、ニュートラル顔であるか否かの判定を行っていないフレーム画像があるか否かを判定する（ステップＳ１０８）。
ステップＳ１０８において、ニュートラル顔であるか否かの判定を行っていないフレーム画像があると判定された場合（ステップＳ１０８；ＹＥＳ）、ＣＰＵ１は、ステップＳ１０３に戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ１０８において、ニュートラル顔であるか否かの判定を行っていないフレーム画像がない、すなわち表情データログとして記憶されている動画像の全てのフレーム画像に対して判定がなされた場合（ステップＳ１０８；ＮＯ）、ＣＰＵ１は、ニュートラル顔判定処理を終了する。

＜バイアス値算出処理＞
図３は、バイアス値算出処理を示すフローチャートである。バイアス値算出処理は、後述の個人適応表情認識処理により導出される各表情識別器の出力値を補正する際に用いられるバイアス値（補正値）を算出する処理である。

図３に示すように、ＣＰＵ１は、先ず、対象となるユーザの個人識別ＩＤに対応する表情データログから上述のニュートラル顔判定処理によりニュートラル顔であると判定されたフレーム画像を取得する（ステップＳ２０１）。次いで、ＣＰＵ１は、取得した各フレーム画像の各表情識別器での出力値平均を算出する（ステップＳ２０２）。次いで、ＣＰＵ１は、算出された各表情識別器の出力値平均の値を個人適応バイアス値として、対象となるユーザの個人識別ＩＤと対応付けてバイアス値データ記憶部３ｃに登録し（ステップＳ２０３）、バイアス値算出処理を終了する。

＜個人適応表情認識処理＞
図４は、個人適応表情認識処理を示すフローチャートである。個人適応表情認識処理は、ＣＰＵ１とプログラム記憶部３ａに記憶されているプログラム（例えば、個人適応表情認識プログラム（図示省略））との協働により実行される。また、本実施形態では、個人適応表情認識プログラムの実行を契機として、撮影部５による撮影が開始されるとともに、音声入出力部６を介して画像解析装置１００との対話が可能となる対話プログラム（図示省略）が実行されるようになっている。

図４に示すように、ＣＰＵ１は、先ず、現在時刻Ｔ１を計時部（図示省略）より取得する（ステップＳ３０１）。次いで、ＣＰＵ１は、表情認識処理を行う（ステップＳ３０２）。この表情認識処理では、撮影部５より逐次取得される画像データに基づいて、ユーザを識別する個人識別処理が行われるとともに、各表情識別器の出力値が取得されることとなる。そして、個人識別処理により特定されたユーザの個人識別ＩＤに対応する個人適応バイアス値がバイアス値データ記憶部３ｃから取得され、当該個人適応バイアス値を用いて上記各表情識別器の出力値が補正されることとなる。そして、当該補正された値に基づき表情認識が行われるようになっている。なお、個人識別処理は、顔画像特徴量や音声特徴量を抽出し、顔画像データベースや音声データベースと比較することにより個人識別を行うといった公知の技術を用いているためその詳細な説明は省略する。

次いで、ＣＰＵ１は、現在時刻Ｔ２を計時部（図示省略）より取得する（ステップＳ３０３）。そして、ＣＰＵ１は、現在時刻Ｔ２がステップＳ３０１で現在時刻Ｔ１を取得した時点より所定時間を経過した時刻であるか否かを判定する（ステップＳ３０４）。
ステップＳ３０４において、現在時刻Ｔ２がステップＳ３０１で現在時刻Ｔ１を取得した時点より所定時間Ｔ（例えば３分）を経過した時刻でないと判定された場合（ステップＳ３０４；ＮＯ）、ＣＰＵ１は、ステップＳ３０２に戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ３０４において、現在時刻Ｔ２がステップＳ３０１で現在時刻Ｔ１を取得した時点より所定時間Ｔを経過した時刻であると判定された場合（ステップＳ３０４；ＹＥＳ）、ＣＰＵ１は、現在時刻Ｔ２の所定時間Ｔ前から当該現在時刻Ｔ２までの期間の表情データログを用いてニュートラル顔判定処理（ステップＳ３０５）を実行した後、バイアス値算出処理（ステップＳ３０６）を実行する。なお、ニュートラル顔判定処理及びバイアス値算出処理の詳細については、既に説明を行っているためその説明は省略する。

次いで、ＣＰＵ１は、バイアス値データ記憶部３ｃに記憶されている直近の個人適応バイアス値（classifierBias_i）と、ステップＳ３０６で算出された個人適応バイアス値（classifierBias_cur_i）との差（biasDiff=Σ｜classifierBias_i- classifierBias_cur_i｜）を算出する（ステップＳ３０７）。そして、ＣＰＵ１は、算出された差（biasDiff）の値が所定の閾値（TH_biasDiff）よりも小さいか否かを判定する（ステップＳ３０８）。
ステップＳ３０８において、算出された差（biasDiff）の値が所定の閾値（TH_biasDiff）よりも小さくない、すなわち所定の閾値以上であると判定された場合（ステップＳ３０８；ＮＯ）、ＣＰＵ１は、バイアス値データ記憶部３ｃに記憶されている直近の個人適応バイアス値を、ステップＳ３０６で算出された個人適応バイアス値に更新し（ステップＳ３０９）、ステップＳ３０１に戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ３０８において、算出された差（biasDiff）の値が所定の閾値（TH_biasDiff）よりも小さいと判定された場合（ステップＳ３０８；ＹＥＳ）、ＣＰＵ１は、ステップＳ３０９をスキップ、すなわちバイアス値データ記憶部３ｃに記憶されている直近の個人適応バイアス値を更新せずにステップＳ３０１に戻り、それ以降の処理を繰り返し行う。

以上のように、本実施形態の画像解析装置１００は、ユーザ（被験者）の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定し、特定された画像データに基づき、ユーザの顔の表情を判定したこととなる。
このため、各ユーザが有する表情の特性を考慮して当該各ユーザの顔の表情を判定することができるので、表情認識の性能を向上させることができる。

また、所定の表情が含まれている画像データは、ユーザ（被験者）の平常時の顔（ニュートラル顔）を識別するための画像データである。
このため、最も撮影される頻度が高い表情を基準としてユーザの顔の表情を判定することができるので、表情認識の性能をより一層向上させることができる。

また、本実施形態の画像解析装置１００は、複数の画像データをユーザ（被験者）の平常時の顔を識別する第１の識別器（ニュートラル顔識別器）に入力し、当該第１の識別器より出力される第１の出力値の頻度分布に基づき、所定の表情が含まれている画像データを特定するので、当該画像データの特定を精度良く行うことができる。

また、本実施形態の画像解析装置１００は、上記第１の出力値の頻度分布において、第１の識別器（ニュートラル顔識別器）より出力される第１の出力値のうち最も頻度が高い第１の出力値を含む画像データを所定の表情が含まれている画像データとして特定するので、当該画像データの特定の精度を向上させることができる。

また、本実施形態の画像解析装置１００は、ユーザ（被験者）の顔が含まれる画像データを当該ユーザの平常時の顔とは異なる特定の表情（例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ）を識別する第２の識別器（喜び識別器、驚き識別器、恐怖識別器、嫌悪識別器、怒り識別器、悲しみ識別器）に入力し、当該第２の識別器より出力される第２の出力値を取得したこととなるので、平常時の顔とは異なる特定の表情に関して表情認識を行うことができる。

また、本実施形態の画像解析装置１００は、表情の個人差を補正するための個人適応バイアス値（補正値）を算出し、第２の出力値を当該個人適応バイアス値（補正値）によって補正した値に基づき、特定の表情を判定するので、当該特定の表情に関する表情認識の性能を向上させることができる。

また、本実施形態の画像解析装置１００は、個人適応バイアス値を算出する際、所定の表情が含まれている画像データに含まれる複数の画像データのみを対象とする第２の出力値に基づき、当該個人適応バイアス値を算出するので、個人適応バイアス値の精度を向上させることができる。

また、本実施形態の画像解析装置１００は、個人適応バイアス値を算出する際、上記第２の出力値の平均値を個人適応バイアス値として算出するので、個人適応バイアス値の精度をより向上させることができる。

また、本実施形態の画像解析装置１００は、複数の画像データにおける表情の出現頻度に基づいて、所定の表情が含まれている画像データを特定するので、当該画像データの特定を精度良く行うことができる。

以上、本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、ニュートラル顔判定処理において、ニュートラル顔識別器の出力値が最頻値（ｍｏｄｅ）を含む所定の範囲（表情識別範囲）に含まれるか否かを、ニュートラル顔であるか否かの判定基準としたが、ニュートラル顔識別器の出力値のうち最も頻度が低い出力値を含まない所定の範囲に含まれるか否かを、ニュートラル顔であるか否かの判定基準としてもよい。また、ニュートラル顔識別器の出力値の頻度に基づき、例えば、当該頻度の平均値や、分散、中央値等を用いることによって、ニュートラル顔であるか否かの判定基準を設けるようにしてもよい。

また、バイアス値算出処理において、当該バイアス値算出処理の対象となる画像データを、ニュートラル顔判定処理においてニュートラル顔であると判定されたフレーム画像に限定したうえで個人適応バイアス値を算出するようにしたが、当該算出の方法は一例に過ぎない。例えば、画像データを構成する全てのフレーム画像を対象とし、各表情識別器で出力される出力値のヒストグラムをそれぞれ作成し、頻度が高い出力値の範囲と、頻度が低い出力値の範囲と、にそれぞれ重み付けを持たせて、個人適応バイアス値を算出するようにしてもよい。このような算出方法を用いた場合、ニュートラル顔であると判定されたフレーム画像に限定する処理を省くことができるので、バイアス値算出処理の負担軽減を図ることができる。

また、ニュートラル顔判定処理において、ニュートラル顔識別器の出力値が最頻値（ｍｏｄｅ）を含む所定の範囲（表情識別範囲）に含まれるか否かを、ニュートラル顔であるか否かの判定基準としたが、例えば、ニュートラル顔識別器以外の表情識別器（例えば、喜び識別器）において、当該表情識別器の識別対象である表情（例えば、喜びの表情）と識別されなかった範囲を、ニュートラル顔であるか否かの判定基準としてもよい。

また、各表情識別器として２クラス識別器を一例に挙げ説明を行ったが、表情識別器は、２クラス識別器に限らず、表情を識別可能な他の識別器であってもよい。

また、個人適応表情認識処理において用いられる画像データは、撮影部５によって撮影された動画像の画像データを一例として説明を行ったが、当該画像データは記憶部３に記録されている画像データでもよく、また、当該画像データは、静止画像に係る画像データでも動画像に係る画像データであってもよい。

また、表情データログ記憶部３ｂに記録される表情データログは、動画像が撮影された際の照明条件や、時間帯、場所等の情報をさらに対応付けて記録するようにしてもよい。このような表情データログを記録しておくことによって、バイアス値算出処理を行う場合に、そのときの状況に適した表情データログを選択して用いることができるようになるので、バイアス値の算出の精度を向上させることができる。

また、画像解析装置１００は、少なくとも逐次取得されるユーザ（被験者）の顔が含まれる画像データにおける表情の出現比率に基づき、所定の表情を識別するための表情識別範囲を設定し、当該表情識別範囲に含まれる画像データに基づき、表情の個人差を補正するための個人適応バイアス値（補正値）を算出することができればよく、例えば、逐次取得されるユーザの顔が含まれる画像データは、外部のサーバから通信部７を介して取得するようにしてもよい。つまり、画像解析装置１００と、ユーザの顔が含まれる画像データを配信するサーバと、を備える画像解析システムにおいて、画像解析装置１００が当該サーバから逐次取得される被験者の顔が含まれる画像データにおける表情の出現比率に基づき、所定の表情を識別するための表情識別範囲を設定し、当該画像データのうち表情識別範囲に含まれる画像データに基づき、表情の個人差を補正するための補正値を算出する。

以上、本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲をその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
＜請求項１＞
被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段と、
前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段と、
を備えることを特徴とする画像解析装置。
＜請求項２＞
前記所定の表情が含まれている画像データは、前記被験者の平常時の顔を識別するための画像データであることを特徴とする請求項１に記載の画像解析装置。
＜請求項３＞
前記特定手段は、前記複数の画像データを前記被験者の平常時の顔を識別する第１の識別器に入力し、当該第１の識別器より出力される第１の出力値の頻度分布に基づき、前記所定の表情が含まれている画像データを特定することを特徴とする請求項２に記載の画像解析装置。
＜請求項４＞
前記特定手段は、前記第１の出力値の頻度分布において、前記第１の識別器より出力される第１の出力値のうち最も頻度が高い第１の出力値を含む画像データを前記所定の表情が含まれている画像データとして特定することを特徴とする請求項３に記載の画像解析装置。
＜請求項５＞
被験者の顔が含まれる前記複数の画像データを前記被験者の平常時の顔とは異なる特定の表情を識別する第２の識別器に入力し、当該第２の識別器より出力される第２の出力値を取得する取得手段をさらに備えることを特徴とする請求項３又は４に記載の画像解析装置。
＜請求項６＞
表情の個人差を補正するための補正値を算出する補正値算出手段を更に備え、
前記表情判定手段は、前記取得手段により取得される前記第２の出力値を前記補正値算出手段により算出された前記補正値によって補正した値に基づき、前記特定の表情を判定することを特徴とする請求項５に記載の画像解析装置。
＜請求項７＞
前記補正値算出手段は、前記取得手段により取得される、前記所定の表情が含まれている画像データに含まれる前記複数の画像データのみを対象とする前記第２の出力値に基づき、前記補正値を算出することを特徴とする請求項５又は６に記載の画像解析装置。
＜請求項８＞
前記補正値算出手段は、前記取得手段により取得される前記第２の出力値の平均値を前記補正値として算出することを特徴とする請求項７に記載の画像解析装置。
＜請求項９＞
前記特定手段は、前記複数の画像データにおける表情の出現頻度に基づいて、前記所定の表情が含まれている画像データを特定することを特徴とする請求項１〜８のいずれか１項に記載の画像解析装置。
＜請求項１０＞
画像解析装置と、被験者の顔が含まれる複数の画像データを配信するサーバと、を備える画像解析システムであって、
前記画像解析装置は、
前記サーバから取得される被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段と、
前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段と、
を備えることを特徴とする画像解析システム。
＜請求項１１＞
被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定ステップと、
前記特定ステップにより特定された画像データに基づき、被験者の顔の表情を判定する表情判定ステップと、
を含むことを特徴とする画像解析方法。
＜請求項１２＞
コンピュータを、
被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段、
前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段、
として機能させることを特徴とするプログラム。

１００ 画像解析装置
１ ＣＰＵ
２ ＲＡＭ
３ 記憶部
３ａ プログラム記憶部
３ｂ 表情データログ記憶部
３ｃ バイアス値データ記憶部
４ 操作部
５ 撮影部
６ 音声入出部
７ 通信部

Claims (12)

1. 被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段と、
   前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段と、
   を備えることを特徴とする画像解析装置。
2. 前記所定の表情が含まれている画像データは、前記被験者の平常時の顔を識別するための画像データであることを特徴とする請求項１に記載の画像解析装置。
3. 前記特定手段は、前記複数の画像データを前記被験者の平常時の顔を識別する第１の識別器に入力し、当該第１の識別器より出力される第１の出力値の頻度分布に基づき、前記所定の表情が含まれている画像データを特定することを特徴とする請求項２に記載の画像解析装置。
4. 前記特定手段は、前記第１の出力値の頻度分布において、前記第１の識別器より出力される第１の出力値のうち最も頻度が高い第１の出力値を含む画像データを前記所定の表情が含まれている画像データとして特定することを特徴とする請求項３に記載の画像解析装置。
5. 被験者の顔が含まれる前記複数の画像データを前記被験者の平常時の顔とは異なる特定の表情を識別する第２の識別器に入力し、当該第２の識別器より出力される第２の出力値を取得する取得手段をさらに備えることを特徴とする請求項３又は４に記載の画像解析装置。
6. 表情の個人差を補正するための補正値を算出する補正値算出手段を更に備え、
   前記表情判定手段は、前記取得手段により取得される前記第２の出力値を前記補正値算出手段により算出された前記補正値によって補正した値に基づき、前記特定の表情を判定することを特徴とする請求項５に記載の画像解析装置。
7. 前記補正値算出手段は、前記取得手段により取得される、前記所定の表情が含まれている画像データに含まれる前記複数の画像データのみを対象とする前記第２の出力値に基づき、前記補正値を算出することを特徴とする請求項５又は６に記載の画像解析装置。
8. 前記補正値算出手段は、前記取得手段により取得される前記第２の出力値の平均値を前記補正値として算出することを特徴とする請求項７に記載の画像解析装置。
9. 前記特定手段は、前記複数の画像データにおける表情の出現頻度に基づいて、前記所定の表情が含まれている画像データを特定することを特徴とする請求項１〜８のいずれか１項に記載の画像解析装置。
10. 画像解析装置と、被験者の顔が含まれる複数の画像データを配信するサーバと、を備える画像解析システムであって、
    前記画像解析装置は、
    前記サーバから取得される被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段と、
    前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段と、
    を備えることを特徴とする画像解析システム。
11. 被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定ステップと、
    前記特定ステップにより特定された画像データに基づき、被験者の顔の表情を判定する表情判定ステップと、
    を含むことを特徴とする画像解析方法。
12. コンピュータを、
    被験者の顔が含まれる複数の画像データにおける、所定の表情が含まれている画像データを特定する特定手段、
    前記特定手段により特定された画像データに基づき、被験者の顔の表情を判定する表情判定手段、
    として機能させることを特徴とするプログラム。

Images