JP2014120793A

JP2014120793A - ユーザモニタリング装置およびその動作方法

Info

Publication number: JP2014120793A
Application number: JP2012272297A
Authority: JP
Inventors: Mutsuhiro Nakashige; 睦裕中茂
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-12-13
Filing date: 2012-12-13
Publication date: 2014-06-30
Anticipated expiration: 2032-12-13
Also published as: JP5919182B2

Abstract

【課題】ユーザの状態を自動的にモニターできるユーザモニタリング装置を提供する。
【解決手段】ユーザモニタリング装置１は、カメラ３から取得する画像を基にユーザＵが頷いたことを検出する頷き検出部１１と、画像を基にユーザＵが笑ったことを検出する笑い検出部１２と、マイク４から取得する音声を基にユーザＵによる肯定的な発声（「合いの手」という）を検出する合いの手検出部１３と、ユーザＵが頷いた、笑った、合いの手を入れたなどのタイミングを示す時系列情報を生成する情報処理部１４と、ユーザＵが頷くべき、笑うべき、合いの手を入れるべきなどのタイミングを示す時系列情報を生成する情報生成部１５と、各種情報が記憶される情報記憶部１６と、情報記憶部１６の情報に基づきテレビ２へ表示を行う表示制御部１７と、情報記憶部１６の情報を通信ネットワークＮを介してテレビ５や携帯型通信機器６に送信する情報送信部１８とを備える。
【選択図】図２

Description

本発明は、ユーザモニタリング装置およびその動作方法に関するものである。

生活スタイルの多様化や高齢化により、１人世帯が増加している。そのため、人と関わる機会が減少し、コミュニケーション不足や人間関係の希薄化が問題視されている。これらを放置することで、慢性的な精神疾患へと繋がることも懸念される。そこで、日常的な心の健康状態のチェックとモニタリングが重要である。そうすることで、危険を察知した際に早めの対応が打てるようになる。

特開平７−７４８４４号公報特開２００６−８５３９０号公報

このようなサービスでは、ユーザとカウンセラーが双方にカメラやマイクを備えたテレビ電話などのシステムを用意し、お互いに顔を見て会話をしながら、メンタルケアの遠隔カウンセリングを受ける。カウンセラーの問いかけなどの刺激に対する表情や言動などの応答、あるいは自発的な言動などが総合的に評価される。

しかし、このサービスを展開するには以下の課題がある。
１．サービス提供のためのコストが高い
多数のカウンセラーを配置しなければならず、また、堅牢かつセキュアな通信システム構築が必要である。
２．サービスレベルがばらつく
カウンセラーごとのコミュニケーション診断スキルに差異があり、また、サービス利用の複雑な手順が利用障壁となり、ユーザのデータを十分得られないことがある。

そこで、低コストでしかもユーザ自身が日常生活を送る中で自然に心の健康状態をチェックとモニターできる装置が望まれる。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、ユーザの状態を自動的にモニターできるユーザモニタリング装置およびその動作方法を提供することにある。

上記の課題を解決するために、第１の本発明は、動く映像と音声を含むコンテンツを視聴するユーザを撮影した映像を基に前記ユーザが所定の動作を行ったタイミングを示す時系列情報を生成する情報処理部を備えることを特徴とするユーザモニタリング装置をもって解決手段とする。

例えば、前記ユーザモニタリング装置は、前記コンテンツを基に当該コンテンツを視聴するユーザが前記所定の動作を行うべきタイミングを示す時系列情報を作成する情報生成部を備え、前記情報処理部は、前記動作を行ったタイミングを示す時系列情報におけるタイミングと前記動作を行うべきタイミングを示す時系列情報におけるタイミングとの同期率を計算し、当該同期率が所定の率以上なら、前記ユーザが前記動作を行ったと判定する。

例えば、前記情報処理部は、前記ユーザの周囲で録音した音声を基に前記ユーザの発声のタイミングを示す時系列情報を生成し、前記情報生成部は、前記コンテンツを基に前記ユーザが発声すべきタイミングを示す時系列情報を作成し、前記情報処理部は、前記発声のタイミングを示す時系列情報におけるタイミングと前記発声すべきタイミングを示す時系列情報におけるタイミングとの同期率を計算し、当該同期率が所定の率以上なら、前記ユーザが発声した判定する。

第２の本発明は、動く映像と音声を含むコンテンツを視聴するユーザの映像を基に前記ユーザが頷いたタイミングを示す時系列情報を生成し、当該映像を基に前記ユーザが笑ったタイミングを示す時系列情報を生成し、前記ユーザの周囲で録音した音声を基に前記ユーザの発声のタイミングを示す時系列情報を生成する情報処理部と、前記コンテンツを基に当該コンテンツを視聴するユーザが頷くべきタイミングを示す時系列情報を作成し、前記コンテンツを基に当該コンテンツを視聴するユーザが笑うべきタイミングを示す時系列情報を作成し、前記コンテンツを基に前記ユーザが発声すべきタイミングを示す時系列情報を作成する情報生成部とを備え、前記情報処理部は、前記頷いたタイミングを示す時系列情報におけるタイミングと前記頷くべきタイミングを示す時系列情報におけるタイミングとの同期率である第１の同期率を計算し、前記笑ったタイミングを示す時系列情報におけるタイミングと前記笑うべきタイミングを示す時系列情報におけるタイミングとの同期率である第２の同期率を計算し、前記発声のタイミングを示す時系列情報におけるタイミングと前記発声すべきタイミングを示す時系列情報におけるタイミングとの同期率である第３の同期率を計算し、前記第１の同期率およびユーザの健康度の関係の高さを示す第１の係数と当該第１の同期率の積を計算し、前記第２の同期率およびユーザの健康度の関係の高さを示す第２の係数と当該第２の同期率の積を計算し、前記第３の同期率およびユーザの健康度の関係の高さを示す第３の係数と当該第３の同期率の積を計算し、当該積の総和を前記コンテンツを視聴するユーザの健康度の指標値として計算することを特徴とするユーザモニタリング装置をもって解決手段とする。

本発明によれば、ユーザの状態を自動的にモニターすることができる。しかも、テレビ視聴というありふれた行動からモニターできるので、ユーザの負担がない。

本実施の形態に係るユーザモニタリング装置の利用形態を示す図である。ユーザモニタリング装置１の概略構成を示す機能ブロック図である。情報記憶部に記憶される時系列情報Ｕ１〜Ｕ３の構成を示す図である。情報記憶部に記憶される頷き回数、笑い回数、合いの手回数を示す図である。情報記憶部に記憶される画像（アイコンという）を示す図である。情報生成部により生成される時系列情報Ｖ１〜Ｖ３の構成を示す図である。ユーザが頷いたことを検知する動作をフローチャートで示す図である。頷き回数およびアイコンの表示例を示す図である。図７（ｂ）に示すフローチャートの変形例を図である。ユーザが笑ったことを検知する動作をフローチャートで示す図である。笑い回数およびアイコンの表示例を示す図である。ユーザが合いの手を入れたことを検知する動作をフローチャートで示す図である。合いの手回数およびアイコンの表示例を示す図である。ユーザの健康度の指標値を計算する動作を示すフローチャートである。ユーザの健康度の指標値に対応するアイコンと文章の表示例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係るユーザモニタリング装置の利用形態を示す図である。
ユーザモニタリング装置１は、動く映像と音声を含むコンテンツを再生するテレビジョン受像機（以下、テレビという）２、テレビ２で再生されるコンテンツを視聴するユーザＵを撮影するカメラ３、ユーザＵの周囲の音声を録音するマイクロホン（以下、マイクという）４、通信ネットワークＮに接続される。通信ネットワークＮには、ユーザＵの遠方の家族やモニタリング対象のユーザＵを担当するカウンセラーなどに使用されるテレビ５や携帯型通信機器６が接続される。

コンテンツとは、例えば、アンテナにより捕捉されるものや、同軸ケーブルや通信ネットワークにより伝達されるものである。テレビ２は、モニター（表示部）を有するパーソナルコンピュータでもよい。

図２は、ユーザモニタリング装置１の概略構成を示す機能ブロック図である。

ユーザモニタリング装置１は、カメラ３から取得する画像を基にユーザＵが頷いたことを検出する頷き検出部１１と、カメラ３から取得する画像を基にユーザＵが笑ったことを検出する笑い検出部１２と、マイク４から取得する音声を基にユーザＵによる肯定的な発声（「合いの手」という）を検出する合いの手検出部１３と、ユーザＵが頷いた、笑った、合いの手を入れたなどのタイミングを示す時系列情報を生成する情報処理部１４と、ユーザＵが頷くべき、笑うべき、合いの手を入れるべきなどのタイミングを示す時系列情報を生成する情報生成部１５と、生成される情報や予め必要な情報が記憶される情報記憶部１６と、情報記憶部１６の情報に基づきテレビ２へ表示を行う表示制御部１７と、情報記憶部１６の情報を通信ネットワークＮを介してテレビ５や携帯型通信機器６に送信する情報送信部１８とを備える。

図３は、情報記憶部１６に記憶される時系列情報Ｕ１〜Ｕ３の構成を示す図である。
ユーザモニタリング装置１では、ここでは、５０ｍ秒間隔で同期信号が発生する。５０ｍ秒は一例である。

時系列情報Ｕ１は、時系列の２値情報で構成される情報であり、同期信号の発生ごとに、新たに２値情報「０」が加わる。同期信号の発生時刻にユーザＵが頷いていた場合には、０．５秒前まで遡って、各２値情報「０」が２値情報「１」に置き換わる。

時系列情報Ｕ２は、時系列の２値情報で構成される情報であり、同期信号の発生ごとに、新たに２値情報「０」が加わる。同期信号の発生時刻にユーザＵが笑っていた場合には、０．２秒前まで遡って、各２値情報「０」が２値情報「１」に置き換わり、その後新たに加わる０．５秒分の２値情報が「１」となるように予約される。

時系列情報Ｕ３は、時系列の２値情報で構成される情報であり、同期信号の発生ごとに、新たに２値情報「０」が加わる。同期信号の発生時刻にユーザＵが肯定的な発声をしていた（例えば、「フム」と発声していた。以下、「合いの手を入れていた」という）場合には、最も新しい２値情報「０」が２値情報「１」に置き換わり、その後新たに加わる０．５秒分の２値情報が「１」となるように予約される。なお、否定的な発声がされた（例えば、「まさか」と発声された）場合にそのようにしてもよい。

図４は、情報記憶部１６に記憶される頷き回数、笑い回数、合いの手回数を示す図である。

頷き回数は、ユーザがここでは過去１時間の間に頷いた回数である。笑い回数は、ユーザがここでは過去１時間の間に笑った回数である。合いの手回数は、ユーザがここでは過去１時間の間に合いの手を入れた回数である。

なお、回数の計算期間である１時間は例示であり、過去１分や当日などを計算期間としてもよい。

図５は、情報記憶部１６に記憶される画像（アイコンという）と文章を示す図である。

頷き回数「２０」未満を示す情報、笑い回数「１０」未満を示す情報、合いの手回数「５０」未満を示す情報、およびユーザの健康度を示す指標値「０．１」未満を示す情報に、心配そうな表情のアイコンＦ１と文章「アラート：気がないですね」が対応づけられている。

頷き回数「２０」以上、「１００」未満を示す情報、笑い回数「１０」以上、「５０」未満を示す情報、および、合いの手回数「５０」以上、「２００」未満を示す情報、およびユーザの健康度を示す指標値「０．１」以上、「０．３」未満を示す情報に、笑顔のアイコンＦ２と文章「元気ですね」が対応づけられている。

頷き回数「１００」以上を示す情報、笑い回数「５０」以上を示す情報、および、合いの手回数「２００」以上を示す情報、およびユーザの健康度を示す指標値「０．３」以上を示す情報に、ウィンクしているアイコンＦ３と文章「大変元気ですね」が対応づけられている。

図６は、情報生成部１５により生成される時系列情報Ｖ１〜Ｖ３の構成を示す図である。

情報生成部１５は、コンテンツの、ここでは音声を基に（音声を解析して、以下同じ）、ユーザが頷くべきタイミングを示す時系列情報Ｖ１を、ＭＡ（移動平均）モデルなどの推定モデルにより推定し、作成する。

時系列情報Ｖ１は、同期信号の発生時刻ごとの２値情報から構成される。ユーザが頷くべき時刻の２値情報は「１」、そうでない時刻の２値情報は「０」となる。

なお、過去の頷き回数を記録しておき、例えば平均の頷き回数が所定のしきい値より少ない場合は、つまり、ユーザが頷かない傾向がある場合は、時系列情報Ｖ１における「１」の多さを調整するためのしきい値を高くし、時系列情報Ｖ１における「１」を少なめにしてもよい。逆にユーザが頷く傾向がある場合は、時系列情報Ｖ１における「１」を多めにしてもよい。
また、時系列情報Ｖ１における「１」の数を、コンテンツのジャンルによって調整してもよい。

情報生成部１５は、コンテンツの、ここでは音声を基に、ユーザが笑うべきタイミングを示す時系列情報Ｖ２を、ＭＡ（移動平均）モデルなどの推定モデルにより推定し、作成する。

時系列情報Ｖ２は、同期信号の発生時刻ごとの２値情報から構成される。ユーザが笑うべき時刻の２値情報は「１」、そうでない時刻の２値情報は「０」となる。

なお、過去の笑い回数を記録しておき、例えば平均の笑い回数が所定のしきい値より少ない場合は、つまり、ユーザが笑わない傾向がある場合は、時系列情報Ｖ２における「１」の多さを調整するためのしきい値を高くし、時系列情報Ｖ２における「１」を少なめにしてもよい。逆にユーザが笑う傾向がある場合は、時系列情報Ｖ２における「１」を多めにしてもよい。

また、時系列情報Ｖ２における「１」の数を、コンテンツのジャンルによって調整してもよい。例えば、コメディのコンテンツを視聴する際は、「１」の数を多くすればよい。

情報生成部１５は、コンテンツの、ここでは音声を基に、ユーザが合いの手を入れるべきタイミングを示す時系列情報Ｖ３を、ＭＡ（移動平均）モデルなどの推定モデルにより推定し、作成する。

時系列情報Ｖ３は、同期信号の発生時刻ごとの２値情報から構成される。ユーザが合いの手を入れるべき時刻の２値情報は「１」、そうでない時刻の２値情報は「０」となる。なお、過去の合いの手回数を記録しておき、例えば平均の合いの手回数が所定のしきい値より少ない場合は、つまり、ユーザが合いの手を行わない傾向がある場合は、時系列情報Ｖ３における「１」の多さを調整するためのしきい値を高くし、時系列情報Ｖ３における「１」を少なめにしてもよい。逆にユーザが合いの手を行う傾向がある場合は、時系列情報Ｖ３における「１」を多めにしてもよい。

また、時系列情報Ｖ３における「１」の数を、コンテンツのジャンルによって調整してもよい。

図７は、ユーザが頷いたことを検知する動作をフローチャートで示す図である。
頷き検出部１１は、同期信号が発生したら、カメラから画像を取得し（Ｓ１）、画像に顔が映っているか否かを判定し（Ｓ３）、映っていなかったら、Ｓ１へもどる。

頷き検出部１１は、顔が映っていたら、顔の重心座標を求め（Ｓ５）、顔の重心座標が縦方向に所定のしきい値を超えて下がり、さらに、続いて縦方向に所定のしきい値を超えて上がったか否か、つまりユーザが頷いたか否かを判定する（Ｓ７）。

頷き検出部１１は、頷いたと判定したなら、情報処理部１４へ通知し（Ｓ９）、Ｓ１へもどり、頷いていないなら、通知をせず、Ｓ１へもどる
情報処理部１４は、頷き検出部１１から通知があるか否かを繰り返し判定し（Ｓ１１）、通知があったなら、時系列情報Ｕ１において、０．５秒前まで遡って、２値情報「０」を２値情報「１」に置き換える（Ｓ１３）。０．５秒は、ユーザが頷く時間の長さとして予め定められたものである。

次に、情報処理部１４は、時系列情報Ｕ１における頷きのタイミングと時系列情報Ｖ１における頷きのタイミングとの同期率を計算する（Ｓ１５）。例えば、情報処理部１４は、時系列情報Ｕ１における２秒前までの４０個の２値情報と、時系列情報Ｖ１における２秒前までの４０個の２値情報の組み合わせで、同じ時刻で共に「１」となっている組み合わせの数を計算し、これを４０で割る。この計算は、例えば、相互相関関数などによって行われる。

次に、情報処理部１４は、上記計算などで得た同期率が所定の率以上か否かを判定し（Ｓ１７）、当該所定の率未満なら、Ｓ１１に戻り、当該所定の率以上なら、頷き回数に１を加算する（Ｓ１９）。つまり、Ｓ１９では、情報処理部１４は、ユーザＵが頷いたと判定する。

次に、表示制御部１７は、頷き回数の値を含む範囲を示す情報に対応づけられたアイコンを読み出し、図８に示すように、頷き回数およびアイコンをテレビ２に表示させ（Ｓ２１）、Ｓ１１に戻る。

なお、図９に示すように、同期率の計算（Ｓ１５）および判定（Ｓ１７）を省略してもよい。

図１０は、ユーザが笑ったことを検知する動作をフローチャートで示す図である。
笑い検出部１２は、同期信号が発生したら、カメラから画像を取得し（Ｓ３１）、画像に顔が映っているか否かを判定し（Ｓ３３）、映っていなかったら、Ｓ３１へもどる。

笑い検出部１２は、顔が映っていたら、顔の重心座標と口角の座標を求め（Ｓ３５）、顔の重心位置と比較して口角の位置が所定のしきい値より大きく変化したか否か、つまりユーザが笑ったか否かを判定する（Ｓ３７）。

笑い検出部１２は、笑ったと判定したなら、情報処理部１４へ通知し（Ｓ３９）、Ｓ３１へもどり、笑っていないなら、通知をせず、Ｓ３１へもどる
情報処理部１４は、笑い検出部１２から通知があるか否かを繰り返し判定し（Ｓ４１）、通知があったなら、時系列情報Ｕ２において、０．２秒前まで遡って、２値情報「０」を２値情報「１」に置き換え、その後新たに加わる０．５秒分の２値情報が「１」となるように予約する（Ｓ４３）。０．２秒は、表情に表れる笑いの時間の長さとして予め定められたものである。０．５秒は、表情に表れる笑いの後に訪れる表情に表れない笑いの期間の長さとして予め定められたものである。

次に、情報処理部１４は、時系列情報Ｕ２における笑いのタイミングと時系列情報Ｖ２における笑いのタイミングとの同期率を計算する（Ｓ４５）。例えば、情報処理部１４は、時系列情報Ｕ２における２秒前までの４０個の２値情報と、時系列情報Ｖ２における２秒前までの４０個の２値情報の組み合わせで、同じ時刻で共に「１」となっている組み合わせの数を計算し、これを４０で割る。この計算は、例えば、相互相関関数などによって行われる。

次に、情報処理部１４は、上記計算などで得た同期率が所定の率以上か否かを判定し（Ｓ４７）、当該所定の率未満なら、Ｓ４１に戻り、当該所定の率以上なら、笑い回数に１を加算する（Ｓ４９）。つまり、Ｓ４９では、情報処理部１４は、ユーザＵが笑ったと判定する。

次に、表示制御部１７は、笑い回数の値を含む範囲を示す情報に対応づけられたアイコンを読み出し、図１１に示すように、笑い回数およびアイコンをテレビ２に表示させ（Ｓ５１）、Ｓ４１に戻る。

なお、同期率の計算（Ｓ４５）および判定（Ｓ４７）は省略してもよい。

図１２は、ユーザが合いの手を入れたことを検知する動作をフローチャートで示す図である。
合いの手検出部１３は、同期信号が発生したら、マイクから音声を取得し（Ｓ６１）、所定の大きさ以上の音量が検出される否かを判定し（Ｓ６３）、検出されなかったら、Ｓ６１へもどる。

合いの手検出部１３は、所定以上の音量が検出されたら、例えば、過去５０ｍ秒までの音量の積分値を求め（Ｓ６５）、積分値が所定のしきい値より大きい、つまりユーザが発声しか否かを判定する（Ｓ６７）。

合いの手検出部は、ユーザが発声したと判定したなら、情報処理部１４へ通知し（Ｓ６９）、Ｓ６１へもどり、発声していないなら、通知をせず、Ｓ６１へもどる
情報処理部１４は、合いの手検出部から通知があるか否かを繰り返し判定し（Ｓ７１）、通知があったなら、時系列情報Ｕ３において、最も新しい２値情報「０」を２値情報「１」に置き換え、その後新たに加わる０．５秒分の２値情報が「１」となるように予約する（Ｓ７３）。０．５秒は、発話（合いの手）には呼気段落区分ではない無音部分が含まれることから、この無音部分の長さとして予め定められたものである。

次に、情報処理部１４は、時系列情報Ｕ３における合いの手のタイミングと時系列情報Ｖ３における合いの手タイミングとの同期率を計算する（Ｓ７５）。例えば、情報処理部１４は、時系列情報Ｕ３における２秒前までの４０個の２値情報と、時系列情報Ｖ３における２秒前までの４０個の２値情報の組み合わせで、同じ時刻で共に「１」となっている組み合わせの数を計算し、これを４０で割る。この計算は、例えば、相互相関関数などによって行われる。

次に、情報処理部１４は、上記計算などで得た同期率が所定の率以上か否かを判定し（Ｓ４７）、当該所定の率未満なら、Ｓ４１に戻り、当該所定の率以上なら、合いの手回数に１を加算する（Ｓ７９）。つまり、Ｓ７９では、情報処理部１４は、ユーザＵが合いの手を入れたと判定する。

表示制御部１７は、合いの手回数の値を含む範囲を示す情報に対応づけられたアイコンを読み出し、図１３に示すように、合いの手回数およびアイコンをテレビ２に表示させ（Ｓ８１）、Ｓ７１に戻る。

なお、同期率の計算（Ｓ７５）および判定（Ｓ７７）は省略してもよい。

次に、ユーザの健康度の指標値を計算する動作について説明する。

図１４は、ユーザの健康度の指標値を計算する動作を示すフローチャートである。
情報処理部１４は、同期信号が発生したら、図７のＳ１５と同様に、同期率を計算し（Ｓ１０１）、図１０のＳ４５と同様に、同期率を計算し（Ｓ１０３）、図１２のＳ４５と同様に、同期率を計算する（Ｓ１０５）。

情報処理部１４は、式（１）にしたがって、ユーザの健康度の指標値を計算する（Ｓ１０７）。

Ｈは、ユーザの健康度の指標値である。

Ａ１、Ａ２、Ａ３は、それぞれＳ１０１、Ｓ１０３、Ｓ１０５で計算した同期率である。

ａ１、ａ２、ａ３は、それぞれＳ１０１、Ｓ１０３、Ｓ１０５で計算した同期率とユーザの健康度の関係の高さを示す係数、ただし、ａ１＋ａ２＋ａ３＝１である。

つまり、情報処理部１４は、頷いたタイミングを示す時系列情報Ｕ１におけるタイミングと頷くべきタイミングを示す時系列情報Ｖ１におけるタイミングとの同期率である第１の同期率Ａ１を計算し、笑ったタイミングを示す時系列情報Ｕ２におけるタイミングと笑うべきタイミングを示す時系列情報Ｖ２におけるタイミングとの同期率である第２の同期率Ａ２を計算し、発声のタイミングを示す時系列情報Ｕ３におけるタイミングと発声すべきタイミングを示す時系列情報Ｖ３におけるタイミングとの同期率である第３の同期率Ａ３を計算し、第１の同期率Ａ１およびユーザの健康度の関係の高さを示す第１の係数ａ１と当該第１の同期率Ａ１の積（ａ１×Ａ１）を計算し、第２の同期率Ａ２およびユーザの健康度の関係の高さを示す第２の係数ａ２と当該第２の同期率Ａ２の積（ａ２×Ａ２）を計算し、第３の同期率Ａ３およびユーザの健康度の関係の高さを示す第３の係数ａ３と当該第３の同期率Ａ３の積（ａ３×Ａ３）を計算し、当該積の総和をコンテンツを視聴するユーザの健康度の指標値Ｈとして計算する。

次に、表示制御部１７は、Ｓ１０７で計算した指標値を含む範囲を示す情報に対応づけられたアイコンと文章を読み出し、図１５に示すように、アイコンと文章をテレビ２に表示させ（Ｓ１０９）、Ｓ１０１に戻る。

なお、情報送信部１８は、情報記憶部１６の情報を通信ネットワークＮを介してテレビ５や携帯型通信機器６に送信する。これにより、遠方の家族や病気のユーザＵを担当するカウンセラーは、ユーザの健康状態を知ることができる。

また、頷き回数、笑い回数、合いの手回数、健康度の指標値などを基に、外部アプリケーションを起動し、コミュニケーションを創発してもよい。

また、頷き回数、笑い回数、合いの手回数を、コンテンツの評価に用いてもよい。

また、ユーザモニタリング装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

１…ユーザモニタリング装置
２、５…テレビ
３…カメラ
４…マイク
１１…頷き検出部
１２…笑い検出部
１３…合いの手検出部
１４…情報処理部
１５…情報生成部
１６…情報記憶部
１７…表示制御部
１８…情報送信部
Ｕ…ユーザ
Ｕ１〜Ｕ３、Ｖ１〜Ｖ３…時系列情報

Claims

動く映像と音声を含むコンテンツを視聴するユーザを撮影した映像を基に前記ユーザが所定の動作を行ったタイミングを示す時系列情報を生成する情報処理部
を備えることを特徴とするユーザモニタリング装置。
前記コンテンツを基に当該コンテンツを視聴するユーザが前記所定の動作を行うべきタイミングを示す時系列情報を作成する情報生成部を備え、
前記情報処理部は、
前記動作を行ったタイミングを示す時系列情報におけるタイミングと前記動作を行うべきタイミングを示す時系列情報におけるタイミングとの同期率を計算し、当該同期率が所定の率以上なら、前記ユーザが前記動作を行ったと判定する
ことを特徴とする請求項１記載のユーザモニタリング装置。
前記情報処理部は、
前記ユーザの周囲で録音した音声を基に前記ユーザの発声のタイミングを示す時系列情報を生成し、
前記情報生成部は、
前記コンテンツを基に前記ユーザが発声すべきタイミングを示す時系列情報を作成し、
前記情報処理部は、
前記発声のタイミングを示す時系列情報におけるタイミングと前記発声すべきタイミングを示す時系列情報におけるタイミングとの同期率を計算し、当該同期率が所定の率以上なら、前記ユーザが発声した判定する
ことを特徴とする請求項２記載のユーザモニタリング装置。
動く映像と音声を含むコンテンツを視聴するユーザの映像を基に前記ユーザが頷いたタイミングを示す時系列情報を生成し、当該映像を基に前記ユーザが笑ったタイミングを示す時系列情報を生成し、前記ユーザの周囲で録音した音声を基に前記ユーザの発声のタイミングを示す時系列情報を生成する情報処理部と、
前記コンテンツを基に当該コンテンツを視聴するユーザが頷くべきタイミングを示す時系列情報を作成し、前記コンテンツを基に当該コンテンツを視聴するユーザが笑うべきタイミングを示す時系列情報を作成し、前記コンテンツを基に前記ユーザが発声すべきタイミングを示す時系列情報を作成する情報生成部とを備え、
前記情報処理部は、
前記頷いたタイミングを示す時系列情報におけるタイミングと前記頷くべきタイミングを示す時系列情報におけるタイミングとの同期率である第１の同期率を計算し、前記笑ったタイミングを示す時系列情報におけるタイミングと前記笑うべきタイミングを示す時系列情報におけるタイミングとの同期率である第２の同期率を計算し、前記発声のタイミングを示す時系列情報におけるタイミングと前記発声すべきタイミングを示す時系列情報におけるタイミングとの同期率である第３の同期率を計算し、前記第１の同期率およびユーザの健康度の関係の高さを示す第１の係数と当該第１の同期率の積を計算し、前記第２の同期率およびユーザの健康度の関係の高さを示す第２の係数と当該第２の同期率の積を計算し、前記第３の同期率およびユーザの健康度の関係の高さを示す第３の係数と当該第３の同期率の積を計算し、当該積の総和を前記コンテンツを視聴するユーザの健康度の指標値として計算する
ことを特徴とするユーザモニタリング装置。
請求項１ないし４のいずれかに記載のユーザモニタリング装置としてコンピュータを機能させるためのコンピュータプログラム。