JP2019162207A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】対象者の感情を推測するのに用いる物理量の検出期間を設定するのに、推測結果を用いて検出期間を設定することができる情報処理装置を提供する。【解決手段】情報処理装置の検出手段は、対象者における物理量を検出し、設定手段は、前記検出手段毎に、推測に用いる物理量の検出期間を設定し、推測手段は、前記設定手段によって設定された検出期間における複数の前記検出手段が検出した物理量に応じて、前記対象者の感情を推測し、前記設定手段は、前記推測手段による推測結果に基づいて、次回の推測のために用いる検出期間を設定する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、ライフログ情報に対応する使用者の心的状態を知ることができる生体情報処理システム、サーバーシステム、生体情報処理装置、生体情報処理方法及びプログラムを提供することを課題とし、生体情報処理システムは、生体センサーで測定された生体情報を取得する生体情報取得部と、生体情報に基づいて、ユーザーの心的状態情報の推定処理を行う処理部と、ライフログ情報を記憶する記憶部と、を含み、処理部は、生体情報に基づいて推定された心的状態情報を、インデックスとしてライフログ情報に付与し、記憶部は、心的状態情報がインデックスとして付与されたライフログ情報を記憶することが開示されている。

特許文献２には、ユーザが必要とする情報を容易に取出すことができるライフログ記録装置を提供することを課題とし、ユーザの移動経路情報、運動状態情報、生命状況情報、及び移動中の周囲環境情報の中の少なくとも１つを記録するライフログ記録装置において、前記移動経路情報、前記運動状態情報、前記生命状況情報、及び前記周囲環境情報の中の少なくとも１つを検出する検出部と、前記検出部により検出された各種情報を記憶する記憶部と、前記検出部により検出された各種情報に基づいて特異な状況を判別する特異状況判別部と、前記特異状況判別部により特異な状況であると判別された場合に、前記記憶部において記憶されている前記各種情報に対して重要度に関する情報を付加する重要度付加部とを備えることが開示されている。

特開２０１６−１１５０５７号公報 特開２０１０−２７９６３８号公報

人間の感情を推測するのに、複数のセンサーを用いて対象者における物理量を検出することが行われている。しかし、センサー毎に、推測に用いるのに適した物理量の検出期間が異なる。そして、その検出期間を設定することは困難である。
本発明は、対象者の感情を推測するのに用いる物理量の検出期間を設定するのに、推測結果を用いて検出期間を設定することができる情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、対象者における物理量を検出する複数の検出手段と、前記検出手段毎に、推測に用いる物理量の検出期間を設定する設定手段と、前記設定手段によって設定された検出期間における複数の前記検出手段が検出した物理量に応じて、前記対象者の感情を推測する推測手段を有し、前記設定手段は、前記推測手段による推測結果に基づいて、次回の推測のために用いる検出期間を設定する、情報処理装置である。

請求項２の発明は、前記検出手段は、複数の種類があり、前記設定手段は、前記検出手段の種類毎に前記検出期間を設定する、請求項１に記載の情報処理装置である。

請求項３の発明は、前記設定手段は、全ての前記検出手段による最長の検出期間を設定した後に、該検出手段の種類毎に前記検出期間を設定する、請求項２に記載の情報処理装置である。

請求項４の発明は、前記設定手段は、前記検出期間を定めるフィルターを用い、前記フィルターは、閾値によって検出期間を定める、請求項２に記載の情報処理装置である。

請求項５の発明は、前記フィルターの形は、過去の物理量に基づき、動的に生成する、請求項４に記載の情報処理装置である。

請求項６の発明は、前記フィルターは、累積ガウス分布を用い、前記設定手段は、前記推測結果と推測に用いた物理量を用いて、ガウス分布の平均、分散を決定することによって、累積ガウス分布である前記フィルターを生成し、前記閾値より大きい又は以上である検出期間を設定する、請求項５に記載の情報処理装置である。

請求項７の発明は、前記設定手段は、前記推測結果と前記対象者の状況に応じて、前記検出期間を設定する、請求項１に記載の情報処理装置である。

請求項８の発明は、前記対象者の位置又は予定に応じて、該対象者の状況を検知する検知手段をさらに有し、前記推測手段は、前記検知手段によって検知された前記対象者の状況を用いて、該対象者の感情を推測する、請求項７に記載の情報処理装置である。

請求項９の発明は、前記推測手段は、機械学習によって生成されたモデルを用いて推測を行う、請求項１に記載の情報処理装置である。

請求項１０の発明は、コンピュータを、対象者における物理量を検出する複数の検出手段と、前記検出手段毎に、推測に用いる物理量の検出期間を設定する設定手段と、前記設定手段によって設定された検出期間における複数の前記検出手段が検出した物理量に応じて、前記対象者の感情を推測する推測手段として機能させ、前記設定手段は、前記推測手段による推測結果に基づいて、次回の推測のために用いる検出期間を設定する、情報処理プログラムである。

請求項１の情報処理装置によれば、対象者の感情を推測するのに用いる物理量の検出期間を設定するのに、推測結果を用いて検出期間を設定することができる。

請求項２の情報処理装置によれば、検出手段の種類毎に検出期間を設定することができる。

請求項３の情報処理装置によれば、全ての検出手段による最長の検出期間を設定した後に、検出手段の種類毎に検出期間を設定することができる。

請求項４の情報処理装置によれば、検出期間を定めるフィルターを用い、フィルターは、閾値によって検出期間を定めることができる。

請求項５の情報処理装置によれば、フィルターの形は、過去の物理量（センシングデータ）に基づき、動的に生成する。

請求項６の情報処理装置によれば、累積ガウス分布であるフィルターを用いて、閾値より大きい又は以上である検出期間を設定することができる。

請求項７の情報処理装置によれば、推測結果と対象者の状況に応じて、検出期間を設定することができる。

請求項８の情報処理装置によれば、対象者の位置又は予定に応じて、その対象者の状況を検知することができる。

請求項９の情報処理装置によれば、機械学習によって生成されたモデルを用いて推測を行うことができる。

請求項１０の情報処理プログラムによれば、対象者の感情を推測するのに用いる物理量の検出期間を設定するのに、推測結果を用いて検出期間を設定することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 検出データテーブルのデータ構造例を示す説明図である。 最長検出期間データのデータ構造例を示す説明図である。 検出期間テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 スケジュール情報テーブルのデータ構造例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理装置１００は、人間の感情を推測するものであって、図１の例に示すように、受付モジュール１１５、設定モジュール１２０、ユーザー状況検知モジュール１２５、推測モジュール１３０を有している。対象者１９０の感情を推測するのに、複数のセンサー（センサーデバイスともいわれる）を用いて対象者１９０における物理量（センシングデータともいわれる）を検出している。

センシング対象の人物の感情は、センシングデータの発生要因である（発生要因と想定している）。感情の推測は、センシングしたデータを時系列データとして分析処理して行う。そのためセンシングの期間（検出期間、具体的には、フレーム数）を定める必要がある。
しかし、最適な期間を設定することが困難である。それは以下の理由による。
（１）推測に最適なフレーム数は、モーダル毎に異なる。
人の感情が変化するとき、顔の表情、声、体温それぞれで反応の仕方（速度）は異なる。
（２）シーンが異なると、同一人物、同一モーダルであっても、推測に最適なフレーム数は異なる。
本実施の形態は、モーダル毎に、そのモーダルに適した検出期間を調節している。
例えば、入力のフレームセットにフィルター（［０，１］の値）をかけ、感情の推測に必要となるフレームを制御する。
そのフィルターの形を、過去（数分前、数秒前等）のセンシングデータに基づき、動的に生成する。
この生成は、モーダル別に行う。

対象者１９０における物理量の検出装置は、複数の種類があり、例えば、カメラ１０５、センサー１０７がある。例えば、検出装置は、いわゆるマルチモーダル（ｍｕｌｔｉｍｏｄａｌ、マルチモーダルインタフェースともいわれる）といわれるセンサーが該当する。検出装置は、複数の機能を有する１つのセンサーであってもよいし、複数種類のセンサーが組み合わされたものであってもよい。
カメラ１０５は、情報処理装置１００内の受付モジュール１１５の検出結果受付モジュール１１０Ａと接続されている。カメラ１０５は、対象者１９０を撮影する。
センサー１０７（センサー１０７−１、センサー１０７−２等）は、情報処理装置１００内の受付モジュール１１５の検出結果受付モジュール１１０Ｂと接続されている。センサー１０７は、対象者１９０の物理量を検出する。センサー１０７として、例えば、マイク、加速度センサー、温度センサー、血圧計、脈拍計等がある。また、対象者１９０の操作を受け付けるマウス、キーボード、タッチパネル等を含めてもよい。センサー１０７は、対象者１９０が所持していてもよいし、ウェアラブルセンサーであってもよい。
具体的には、顔の特徴点のトラッキングに特化したカメラ、表面温度センサー、マイク等の複数種類のセンサーを用いて、ある人物一人（対象者１９０）を対象としたヒューマンセンシングを行ってもよい。この文脈において、顔の特徴点、表面温度、音声データ等のそれぞれをモーダル（物理量）と呼び、また、各センサーとモーダルは、１対１対応していてもよい。

受付モジュール１１５は、検出結果受付モジュール１１０Ａ、検出結果受付モジュール１１０Ｂ、検出結果受付モジュール１１０Ｃ等を有しており、設定モジュール１２０、推測モジュール１３０と接続されている。受付モジュール１１５は、検出装置の検出結果を受け取る。例えば、受付モジュール１１５と検出装置との間で通信回線を介した通信を行って、検出結果を受け取るようにしてもよい。この通信回線は、無線、有線、これらの組み合わせであってもよい。また、検出装置の検出結果を記憶した記憶媒体（ＵＳＢメモリ等）から、検出結果を読み出してもよい。
検出結果受付モジュール１１０（検出結果受付モジュール１１０Ａ、検出結果受付モジュール１１０Ｂ、検出結果受付モジュール１１０Ｃ等）は、カメラ１０５又はセンサー１０７と接続されている。検出結果受付モジュール１１０は、カメラ１０５又はセンサー１０７が検出した対象者１９０における物理量を取得する。
例えば、検出結果受付モジュール１１０Ａは、カメラ１０５から画像を取得する。また、検出装置であるマイクから音声データを取得する。
また、検出結果受付モジュール１１０は、検出装置から取得したデータを分析して特徴データ（モーダル）としてもよい。

設定モジュール１２０は、受付モジュール１１５、推測モジュール１３０と接続されている。設定モジュール１２０は、検出装置毎に、推測に用いる物理量の検出期間を設定する。
そして、設定モジュール１２０は、推測モジュール１３０による推測結果に基づいて、次回の推測のために用いる検出期間を設定する。
また、設定モジュール１２０は、検出装置の種類毎に検出期間を設定するようにしてもよい。
そして、設定モジュール１２０は、全ての検出装置による最長の検出期間を設定した後に、その検出装置の種類毎に検出期間を設定するようにしてもよい。具体的には、（１）全てのモーダルで共通して使う、最長の検出期間を設定する、（２）モーダル毎にフィルターをかける、という処理を行う。
また、設定モジュール１２０は、検出期間を定めるフィルターを用いてもよい。そして、そのフィルターは、閾値によって検出期間を定めるものであってもよい。
また、そのフィルターの形は、過去の物理量に基づき、動的に生成するようにしてもよい。ここで「過去」として、例えば、数分又は数秒前等がある。

また、フィルターとして、累積ガウス分布を用い、設定モジュール１２０は、推測結果と推測に用いた物理量を用いて、ガウス分布の平均、分散を決定することによって、累積ガウス分布であるフィルターを生成し、閾値より大きい又は以上である検出期間を設定するようにしてもよい。ここで「ガウス分布の平均」は、フィルターの時間軸上の位置を定めることになり、「ガウス分布の分散」は、フィルターの減衰勾配を定めることになる。
また、設定モジュール１２０は、推測結果と対象者１９０の状況に応じて、期間を設定するようにしてもよい。ここで「対象者の状況」として、例えば、プレゼンテーション、ブレインストーミング、デスクワーク等を含む。

ユーザー状況検知モジュール１２５は、推測モジュール１３０と接続されている。ユーザー状況検知モジュール１２５は、対象者１９０の位置又は予定に応じて、その対象者１９０の状況（シーンを含む）を検知する。ここで「位置」として、例えば、緯度、経度、又は、部屋名等を用いてもよい。また、「状況」として、例えば、プレゼンテーション、ブレインストーミング、デスクワーク等のように、センシング対象の人物（対象者１９０）が行っていること又は関わっている環境等がある。
例えば、対象者１９０が有している携帯端末のＧＰＳから位置情報を取得してもよいし、対象者１９０のスケジュール情報を取得して、現在の位置、現在の状況を特定してもよい。

推測モジュール１３０は、受付モジュール１１５、設定モジュール１２０、ユーザー状況検知モジュール１２５と接続されている。推測モジュール１３０は、設定モジュール１２０によって設定された検出期間における複数の検出装置が検出した物理量に応じて、対象者１９０の感情を推測する。センシングデータから感情を推測する技術は、既存の技術を用いればよい。
また、推測モジュール１３０は、ユーザー状況検知モジュール１２５によって検知された対象者１９０の状況を用いて、その対象者１９０の感情を推測するようにしてもよい。ここで、「対象者の位置に応じて状況を検知する」として、例えば、会議室である場合は、プレゼンテーション、ブレインストーミング等であると検知し、居室である場合は、デスクワーク等であると検知してもよい。
また、「対象者の予定に応じて状況を検知する」として、例えば、対象者のスケジュールから、現在の時間は会議である場合、プレゼンテーション、ブレインストーミング等であると検知し、現在の時間においては予定が記載されていない場合は、デスクワーク等であると検知してもよい。
また、推測モジュール１３０は、機械学習によって生成されたモデルを用いて推測を行うようにしてもよい。例えば、感情が分かっているときのカメラ１０５、センサー１０７の検出結果（物理量）の組み合わせを教師データとして機械学習を行い、モデルを生成すればよい。

図２は、本実施の形態を利用したシステム構成例を示す説明図である。
ユーザー端末２８０、情報処理装置１００Ａ、情報処理装置１００Ｂは、通信回線２９９を介してそれぞれ接続されている。通信回線２９９は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００による機能は、クラウドサービスとして実現してもよい。
会議室２００Ａ内には、情報処理装置１００Ａ、カメラ１０５Ａが設置されており、対象者１９０Ａ１、対象者１９０Ａ２が在室している。対象者１９０Ａ１には、センサー１０７Ａ１−１、センサー１０７Ａ１−２が取り付けられている。対象者１９０Ａ２には、センサー１０７Ａ２−１、センサー１０７Ａ２−２が取り付けられている。情報処理装置１００Ａは、対象者１９０Ａ１、対象者１９０Ａ２の感情を推測して、その結果をユーザー端末２８０に送信する。
オフィス２００Ｂ内には、情報処理装置１００Ｂ、カメラ１０５Ｂが設置されており、対象者１９０Ｂ１、対象者１９０Ｂ２、対象者１９０Ｂ３が在室している。対象者１９０Ｂ１には、センサー１０７Ｂ１−１、センサー１０７Ｂ１−２が取り付けられている。対象者１９０Ｂ２には、センサー１０７Ｂ２−１、センサー１０７Ｂ２−２が取り付けられている。対象者１９０Ｂ３には、センサー１０７Ｂ３−１、センサー１０７Ｂ３−２が取り付けられている。情報処理装置１００Ｂは、対象者１９０Ｂ１、対象者１９０Ｂ２、対象者１９０Ｂ３の感情を推測して、その結果をユーザー端末２８０に送信する。
ユーザー端末２８０は、情報処理装置１００Ａ、情報処理装置１００Ｂからの感情の推測結果を受け付けて、表示装置等を用いて、ユーザー２９０に提示する。

図３は、本実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、受付モジュール１１５の検出結果受付モジュール１１０は、カメラ１０５、センサー１０７等から検出結果を受け付ける。例えば、検出データテーブル４００を受け付ける。図４は、検出データテーブル４００のデータ構造例を示す説明図である。検出データテーブル４００は、センサーＩＤ欄４１０、日時欄４２０、検出データ欄４３０を有している。センサーＩＤ欄４１０は、本実施の形態において、検出装置（カメラ１０５、センサー１０７等）を一意に識別するための情報（センサーＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。日時欄４２０は、そのセンサーが検出した日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）を記憶している。検出データ欄４３０は、そのセンサーによる検出データを記憶している。

ステップＳ３０４では、設定モジュール１２０は、前回の推測結果を用いて、フィルターの設定を行う。
具体的には、次のような処理を行う。
全てのモーダル（検出装置）で共通して用いる、最長の検出期間を設定する。この最長の検出期間は、予め定められている。例えば、推測モジュール１３０内に、最長検出期間データ５００が設定されている。
例えば、最長検出期間データ５００に、３０秒間を最長の検出期間として設定する。このことは、３０秒間のセンシングデータを入力する都度に、感情を推測することを意味する。なお、推測する感情を潜在変数ともいう。
一般的に、センサー１０７−１とセンサー１０７−２ではセンシング周波数が異なるため、３０秒間に対応する検出回数（具体的には、フレーム数）は異なる。図７の例を用いて説明する。図７は、本実施の形態による処理例を示す説明図である。フィルターとして、ステップ関数を用いたものである。
最長期間７４０が、最長検出期間データ５００に設定されていた値である。センサー１０７−１（図ではＭｏｄａｌＡ）では、最長期間７４０の間にモーダルセンシングデータＡ７１０を出力する。センサー１０７−２（図ではＭｏｄａｌＢ）では、最長期間７４０の間にモーダルセンシングデータＢ７２０を出力する。センサー１０７−１はセンシング周波数がセンサー１０７−２よりも高いため、モーダルセンシングデータＢ７２０内の測定データ数よりもモーダルセンシングデータＡ７１０内の測定データ数が多い。
そして、推測モジュール１３０によって、モーダルセンシングデータＡ７１０とモーダルセンシングデータＢ７２０（センシングデータ７３０）を用いて、推測潜在要因７５０が出力される。なお、推測潜在要因７５０は、推測モジュール１３０によって推測された感情である。

ステップＳ３０６では、推測モジュール１３０は、フィルター処理を行う。
図８の例を用いて説明する。図８は、本実施の形態による処理例を示す説明図である。モーダル毎にフィルターをかけている例を示している。
具体的には、モーダルセンシングデータＡ７１０に対して、フィルター８００Ａを掛けている。このフィルター８００Ａによって、モーダルセンシングデータＡ７１０は、非検出期間８１２、検出期間８１４に分かれる。この検出期間８１４が抽出センシングデータ８５０となり、感情の推測に用いられる。そして、モーダルセンシングデータＢ７２０に対して、フィルター８００Ｂを掛けている。このフィルター８００Ｂによって、モーダルセンシングデータＢ７２０は、非検出期間８２２、検出期間８２４に分かれる。この検出期間８２４が抽出センシングデータ８６０となり、感情の推測に用いられる。

ステップＳ３０８では、推測モジュール１３０は、感情の推測処理を行う。
ステップＳ３１０では、推測モジュール１３０は、処理が終了したか否かを判断し、終了した場合は処理を終了し（ステップＳ３９９）、それ以外の場合はステップＳ３０２へ戻る。

フィルターの形、閾値は、検出期間テーブル６００によって管理される。図６は、検出期間テーブル６００のデータ構造例を示す説明図である。検出期間テーブル６００は、センサーＩＤ欄６１０、日時欄６２０、検出期間欄６３０、閾値欄６４０、平均欄６５０、分散欄６６０を有している。検出期間テーブル６００の１行は、１回の推測処理に用いられるものである。センサーＩＤ欄６１０は、センサーＩＤを記憶している。したがって、フィルターは、検出装置毎に定められることになる。日時欄６２０は、日時を記憶している。この日時欄６２０内の日時は、図１０の例に示す最長検出期間１０１０の先頭の検出データの検出日時である。つまり、この日時欄６２０内の値と最長検出期間データ５００内の値によって、図１０の例に示す最長検出期間１０１０が特定されることになる。検出期間欄６３０は、その検出装置における検出期間を記憶している。この検出期間は、前回の推測に用いられた平均欄６５０、分散欄６６０内のデータによって定まるフィルター、そして、閾値欄６４０内の閾値によって定まる。閾値欄６４０は、閾値を記憶している。平均欄６５０は、その検出期間内の検出データの平均値を記憶している。分散欄６６０は、その検出期間内の検出データの分散値を記憶している。なお、閾値は、検出装置毎に固定としてもよい。その場合、検出装置と閾値との対応テーブルを作成しておけば、検出期間テーブル６００内の閾値欄６４０は削除してもよい。

図８の例では、フィルター（フィルター８００Ａ、フィルター８００Ｂ）として、ステップ関数を用いたが、以下のようにしてもよい。
フィルターは以下を満たすものである。
（１）パラメトリックであること。
フィルターの形を、少数のパラメータを調整することで制御ができるようにするためである。このパラメータは少ない方が、調整を行いやすい。後述する例では、パラメータとして前回の感情推測で対象としたセンシングデータの平均値、分散値を用いることによって、フィルターの形を調整している。
（２）微分可能であること。
勾配法で学習を行うためである。

具体的には、累積ガウス分布を用いる。図９の例を用いて説明する。図９は、本実施の形態による処理例を示す説明図である。
（１）閾値γを設定する。例えば、０．１等である。図９（ａ）の例では、閾値９０２Ａ、閾値９０２Ｂが該当する。

（２）ガウス分布の平均（μ）と分散（σ）を、過去データから動的に決定する。μで、フィルターの時間軸上の位置を、σで、フィルターの減衰勾配を決定する。詳細については、後述する。なお、このμとσの決定処理は、機械学習時、テスト（運用）時ともに行う。図９（ａ）のＭｏｄａｌＡの例では、フィルター９００Ａの形は、平均９０４Ａ、分散９０６Ａによって決定されることになる。つまり、平均９０４Ａによって、フィルター９００Ａの時間軸上の位置（図９の例では、左右方向の位置）を定め、分散９０６Ａによって、フィルター９００Ａの減衰勾配（図９の例では、フィルター９００Ａの左端から右端までの傾きかげん）を定めている。同様に、図９（ａ）のＭｏｄａｌＢの例では、フィルター９００Ｂの形は、平均９０４Ｂ、分散９０６Ｂによって決定されることになる。つまり、平均９０４Ｂによって、フィルター９００Ｂの時間軸上の位置（図９の例では、左右方向の位置）を定め、分散９０６Ｂによって、フィルター９００Ｂの減衰勾配（図９の例では、フィルター９００Ｂの左端から右端までの勾配）を定めている。

（３）μとσを用いて累積ガウス分布を生成し、確率（フィルターの値）がγ以上の検出データ（フレーム）を、入力データとして用いる。図９（ａ）のＭｏｄａｌＡの例では、フィルター９００Ａを閾値９０２Ａが分けている点（フィルター９００Ａと閾値９０２Ａの交点）で、モーダルセンシングデータＡ９１０を分ける。そして、モーダルセンシングデータＡ９１０の右部分（図９（ｂ）の例に示す抽出センシングデータ９５０）を入力データとして、感情の推測を行う。同様に、フィルター９００Ｂを閾値９０２Ｂが分けている点（フィルター９００Ｂと閾値９０２Ｂの交点）で、モーダルセンシングデータＢ９２０を分ける。そして、モーダルセンシングデータＢ９２０の右部分（図９（ｂ）の例に示す抽出センシングデータ９６０）を入力データとして、感情の推測を行う。

次に、平均（μ）と分散（σ）の生成について、図１０、図１１、図１２の例を用いて説明する。図１０は、本実施の形態による処理例を示す説明図である。具体的には、平均（μ）と分散（σ）の生成するにあたって、対象とするデータを抽出する処理例を示すものである。
図１０（ａ）の例に示すセンシングデータ１０００は、検出装置による検出結果であって、フィルター処理前のものである。このセンシングデータ１０００を最長の検出期間で分割する。どれだけの時間（又は、フレーム）をずらすかをズラシ量１０１５によって定めている。なお、ズラシ量１０１５は、予め定められた値である。
具体的には、まず、図１０（ｂ１）の例に示すように、センシングデータ１０００の最初から最長検出期間１０１０だけのセンシングデータ１０２０を抽出する。センシングデータ１０２０（なお、センシングデータ１０２０内の全てのデータでなくてもよい）を用いて、推測潜在要因１０２５を出力することになる。
次に、図１０（ｂ２）の例に示すように、センシングデータ１０２０の左端の位置からズラシ量１０１５だけずらして、センシングデータ１０００から最長検出期間１０１０だけのセンシングデータ１０３０を抽出する。センシングデータ１０３０（なお、センシングデータ１０３０内の全てのデータでなくてもよい）を用いて、推測潜在要因１０３５を出力することになる。
そして、図１０（ｂ３）の例に示すように、センシングデータ１０３０の左端の位置からズラシ量１０１５だけずらして、センシングデータ１０００から最長検出期間１０１０だけのセンシングデータ１０４０を抽出する。センシングデータ１０４０（なお、センシングデータ１０４０内の全てのデータでなくてもよい）を用いて、推測潜在要因１０４５を出力することになる。

次に、平均（μ）と分散（σ）を生成する。図１１は、本実施の形態による処理例を示す説明図である。具体的には、推測モジュール１３０がフィルター処理を行った後に、平均（μ）と分散（σ）を生成する。
図１１（ａ１）の例に示すように、図１０（ｂ１）の例で示したセンシングデータ１０２０内のデータから、平均１１２２、分散１１２４を算出し、推測潜在要因１０２５を出力する。なお、センシングデータ１０２０は、最初であるので、フィルター処理は行っていない（又は、全部を抽出するフィルター処理を行う）。
この平均１１２２、分散１１２４を用いて、次回のフィルター１１３０の形を決定する。そして、図１１（ａ２）の例に示すように、図１０（ｂ２）の例で示したセンシングデータ１０３０内のデータに対して、フィルター１１３０によるフィルター処理を行う。これによって、センシングデータ１０３０内が非検出期間１１３７と検出期間１１３９に分かれる。検出期間１１３９を用いて、平均１１３２、分散１１３４を算出し、推測潜在要因１０３５を出力する。
同様に、この平均１１３２、分散１１３４を用いて、次回のフィルター１１４０の形を決定する。そして、図１１（ａ３）の例に示すように、図１０（ｂ３）の例で示したセンシングデータ１０４０内のデータに対して、フィルター１１４０によるフィルター処理を行う。これによって、センシングデータ１０４０内が非検出期間１１４７と検出期間１１４９に分かれる。検出期間１１４９を用いて、平均１１４２、分散１１４４を算出し、推測潜在要因１０４５を出力する。以下、同様な処理を行う。

図１１とは異なる方法で、平均（μ）と分散（σ）を生成する方法について説明する。図１２は、本実施の形態による処理例を示す説明図である。具体的には、推測結果（図１２では、推測潜在要因１２３５等）をも用いて、次回のフィルターの形を決定している。
図１２（ａ３）の例を用いて説明する。
前回の平均１２３２、分散１２３４を用いて、フィルター１２４０の形を決定する。フィルター１２４０によるフィルター処理を行う。これによって、センシングデータ１０４０内が非検出期間１２４７と検出期間１２４９に分かれる。検出期間１２４９を用いて、平均１２４２、分散１２４４を算出し、推測潜在要因１２４５を出力する。そして、この平均１２４２、分散１２４４、推測潜在要因１２４５を、推測潜在要因１２３５を用いて調整する。具体的には、機械学習を行う際に、推測潜在要因１２３５を入力して、平均１２４２、分散１２４４、推測潜在要因１２４５を調整するモデルを生成しておけばよい。したがって、平均１２４２、分散１２４４は、検出期間１２４９の単なる平均、分散ではなく、推測潜在要因１２３５によって調整されたものである。この後、次のステップとして、平均１２４２、分散１２４４を用いて、フィルター１２５０の形を決定し、以下、同様に処理を行う。図１２（ａ３）より前の処理も同様に行われている。

図１２の例では、フィルターの形を決定するのに、平均、分散の値（平均１２４２、分散１２４４等）に前回の推測結果（推測潜在要因１２３５等）を用いて調整することを行ったが、前回の推測結果だけでなく、対象者の状況をも用いて調整するようにしてもよい。
この対象者の状況の具体例として、スケジュール情報テーブル１３００がある。図１３は、スケジュール情報テーブル１３００のデータ構造例を示す説明図である。スケジュール情報テーブル１３００は、ユーザーＩＤ欄１３１０、開始日時欄１３２０、終了日時欄１３３０、内容欄１３４０、場所欄１３５０を有している。ユーザーＩＤ欄１３１０は、対象者１９０であるユーザーのユーザーＩＤを記憶している。開始日時欄１３２０以降で、そのユーザーのスケジュール情報を記憶している。開始日時欄１３２０は、予定の開始日時を記憶している。終了日時欄１３３０は、予定の終了日時を記憶している。内容欄１３４０は、予定の内容を記憶している。場所欄１３５０は、その予定が行われる場所を記憶している。
設定モジュール１２０は、対象者１９０に該当するスケジュール情報テーブル１３００を、例えば、スケジュール管理装置から取得する。そして、設定モジュール１２０は、現在の日時に該当するスケジュール情報テーブル１３００内の内容欄１３４０又は場所欄１３５０内のデータを用いて、フィルターの形を決定する平均、分散の値を調整するようにしてもよい。具体的には、機械学習を行う際に、前回の推測結果、内容欄１３４０内のデータ、場所欄１３５０内のデータを入力して、平均、分散を調整するモデルを生成しておけばよい。さらに、前回の推測結果、内容欄１３４０内のデータ、場所欄１３５０内のデータを入力して、今回の推測結果、平均、分散を調整するモデルを生成してもよい。

図１４を参照して、本実施の形態の情報処理装置１００のハードウェア構成例について説明する。図１４に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１４１７と、プリンタ等のデータ出力部１４１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０１は、前述の実施の形態において説明した各種のモジュール、すなわち、検出結果受付モジュール１１０、受付モジュール１１５、設定モジュール１２０、ユーザー状況検知モジュール１２５、推測モジュール１３０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４０２は、ＣＰＵ１４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４０３は、ＣＰＵ１４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１４０４により相互に接続されている。

ホストバス１４０４は、ブリッジ１４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１４０６に接続されている。

キーボード１４０８、マウス等のポインティングデバイス１４０９は、操作者により操作されるデバイスである。ディスプレイ１４１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス１４０９とディスプレイ１４１０の両方の機能を備えているタッチスクリーン等であってもよい。その場合、キーボードの機能の実現について、キーボード１４０８のように物理的に接続しなくても、画面（タッチスクリーン）上にソフトウェアでキーボード（いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる）を描画して、キーボードの機能を実現するようにしてもよい。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４１１は、ハードディスク（フラッシュ・メモリ等であってもよい）を内蔵し、ハードディスクを駆動し、ＣＰＵ１４０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、各種センサー１０７による検出結果、カメラ１０５による画像、検出データテーブル４００、最長検出期間データ５００、検出期間テーブル６００、推測結果等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。

ドライブ１４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１４１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１４０７、外部バス１４０６、ブリッジ１４０５、及びホストバス１４０４を介して接続されているＲＡＭ１４０３に供給する。なお、リムーバブル記録媒体１４１３も、データ記録領域として利用可能である。

接続ポート１４１４は、外部接続機器１４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１４１４は、インタフェース１４０７、及び外部バス１４０６、ブリッジ１４０５、ホストバス１４０４等を介してＣＰＵ１４０１等に接続されている。通信部１４１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１４に示す情報処理装置１００のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１４に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１４に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理装置
１０５…カメラ
１０７…センサー
１１０…検出結果受付モジュール
１１５…受付モジュール
１２０…設定モジュール
１２５…ユーザー状況検知モジュール
１３０…推測モジュール
１９０…対象者
２００Ａ…会議室
２００Ｂ…オフィス
２８０…ユーザー端末
２９０…ユーザー
２９９…通信回線

Claims (10)

1. 対象者における物理量を検出する複数の検出手段と、
   前記検出手段毎に、推測に用いる物理量の検出期間を設定する設定手段と、
   前記設定手段によって設定された検出期間における複数の前記検出手段が検出した物理量に応じて、前記対象者の感情を推測する推測手段
   を有し、
   前記設定手段は、前記推測手段による推測結果に基づいて、次回の推測のために用いる検出期間を設定する、
   情報処理装置。
2. 前記検出手段は、複数の種類があり、
   前記設定手段は、前記検出手段の種類毎に前記検出期間を設定する、
   請求項１に記載の情報処理装置。
3. 前記設定手段は、全ての前記検出手段による最長の検出期間を設定した後に、該検出手段の種類毎に前記検出期間を設定する、
   請求項２に記載の情報処理装置。
4. 前記設定手段は、前記検出期間を定めるフィルターを用い、
   前記フィルターは、閾値によって検出期間を定める、
   請求項２に記載の情報処理装置。
5. 前記フィルターの形は、過去の物理量に基づき、動的に生成する、
   請求項４に記載の情報処理装置。
6. 前記フィルターは、累積ガウス分布を用い、
   前記設定手段は、前記推測結果と推測に用いた物理量を用いて、ガウス分布の平均、分散を決定することによって、累積ガウス分布である前記フィルターを生成し、前記閾値より大きい又は以上である検出期間を設定する、
   請求項５に記載の情報処理装置。
7. 前記設定手段は、前記推測結果と前記対象者の状況に応じて、前記検出期間を設定する、
   請求項１に記載の情報処理装置。
8. 前記対象者の位置又は予定に応じて、該対象者の状況を検知する検知手段
   をさらに有し、
   前記推測手段は、前記検知手段によって検知された前記対象者の状況を用いて、該対象者の感情を推測する、
   請求項７に記載の情報処理装置。
9. 前記推測手段は、機械学習によって生成されたモデルを用いて推測を行う、
   請求項１に記載の情報処理装置。
10. コンピュータを、
    対象者における物理量を検出する複数の検出手段と、
    前記検出手段毎に、推測に用いる物理量の検出期間を設定する設定手段と、
    前記設定手段によって設定された検出期間における複数の前記検出手段が検出した物理量に応じて、前記対象者の感情を推測する推測手段
    として機能させ、
    前記設定手段は、前記推測手段による推測結果に基づいて、次回の推測のために用いる検出期間を設定する、
    情報処理プログラム。