JP2018018492A - コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム - Google Patents

コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2018018492A
JP2018018492A JP2017006969A JP2017006969A JP2018018492A JP 2018018492 A JP2018018492 A JP 2018018492A JP 2017006969 A JP2017006969 A JP 2017006969A JP 2017006969 A JP2017006969 A JP 2017006969A JP 2018018492 A JP2018018492 A JP 2018018492A
Authority
JP
Japan
Prior art keywords
user
emotion
event
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017006969A
Other languages
English (en)
Other versions
JP6952257B2 (ja
Inventor
泰章 奥村
Yasuaki Okumura
泰章 奥村
博人 柳川
Hiroto Yanagawa
博人 柳川
優美子 大野
Yumiko Ono
優美子 大野
裕一 青木
Yuichi Aoki
裕一 青木
中田 幹也
Mikiya Nakada
幹也 中田
浅井 明
Akira Asai
明 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/641,321 priority Critical patent/US20180018899A1/en
Priority to EP17179680.8A priority patent/EP3270263A1/en
Publication of JP2018018492A publication Critical patent/JP2018018492A/ja
Application granted granted Critical
Publication of JP6952257B2 publication Critical patent/JP6952257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】不快感情の軽減を図るための行動の実施とその継続を支援する情報処理装置を提供する。
【解決手段】情報処理装置は、ユーザの生体データを受信する通信インタフェース140と、生体データが記録されるメモリ150と、ユーザに発生した感情を、生体データを用いて、特定期間においてユーザが呈した感情の種別を判定するプロセッサ120とを備える。プロセッサ120は、特定期間において前記ユーザに生じたイベントを推定し、特定期間と、感情の種別を示す感情種別情報と、イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、感情種別情報が快感情を示す場合は、関連付けられたイベント情報を用いて画像データを生成し、ユーザが利用する端末装置900に、画像データを表示させるための通知を出力する。
【選択図】図2

Description

本発明は、心理学に基づく感情制御の実践を支援するためにされるコンテンツ提示の技術に関する。
生体センサを用いて取得された生体データに基づいてユーザの感情状態を推定し、ユーザに発生した感情とその発生時のユーザの行動とを関連付けた履歴に基づいて、ユーザに将来の行動に関する推奨案を作成する技術が提案されている(特許文献1参照)。
特表2015−505702号公報 特開2012−120206号公報 特開2015−46065号公報 特開2002−112696号公報
「ストレス課題によるポジティブ感情とネガティブ感情の変化」、阿久津洋巳・小田島裕美・宮聡美、岩手大学教育学部研究年報 第68巻(2009.2)1−8
特許文献1に開示される技術について、例えばこの技術を実現する装置から推奨案を受け取ったユーザは、この推奨案の行動を実践したり、その実践を継続したり、又はこの行動の実践を継続したりするために、ユーザ本人の計画や準備が必要である。つまりこの技術は、推奨される特別な行動を実践するために予定を組める場合や、一時的な気分転換のために単発的に実践する場合は利用しやすい。しかし、例えば仕事や家事等の日常的な生活で受けるストレスによりいらつき、憂うつ、緊張等の不快感情を抱いている人の感情状態を、この生活を続けながら改善するには利用が難しい。
そこで本発明は、心理学的にその不快感情の軽減を図るとされる行動の、日常的な生活の中での実践とその継続を支援するコンテンツ提示システム等を提供する。
本発明の一態様に係る情報処理装置は、ユーザから取得される生体データを受信する通信インタフェースと、受信した前記生体データが記録されるメモリと、前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定するプロセッサとを備え、前記プロセッサは、前記特定期間において前記ユーザに生じたイベントを推定し、前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、前記データベースに記録されている感情種別情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成し、前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明の情報処理装置、情報処理方法、及びプログラムは、心理学的に不快感情の軽減を図るとされる行動の日常的な生活の中での実践とその継続を支援する。
図1は、実施の形態1におけるコンテンツ提示システムの概要を説明するための概略図である。 図2は、実施の形態1におけるコンテンツ提示システムの構成を示すブロック図である。 図3は、実施の形態1におけるコンテンツ提示システムの各構成要素間のデータの動きの例を示すシーケンス図である。 図4は、上記のコンテンツ提示システムにおけるサーバの動作を示すフロー図である。 図5は、生体データのアナログ信号に行われる処理の一連の工程を示すフロー図である。 図6は、感情ログのデータベースの構成の例を示す図である。 図7は、上記のコンテンツ提示システムにおける携帯情報端末の動作を示すフロー図である。 図8は、実施の形態2におけるコンテンツ提示システムの構成を示すブロック図である。 図9は、起床時感情ログデータベースのデータ構造の例を示す図である。 図10は、カテゴリ内訳ログのデータ構造の例を示す図である。 図11Aは、実施の形態2におけるコンテンツ提示システム全体の動作周期を示すフロー図である。 図11Bは、実施の形態2におけるコンテンツ提示システムによるデータ収集の手順を示すフロー図である。 図11Cは、実施の形態2におけるコンテンツ提示システムによるコンテンツ提示の手順を示すフロー図である。 図12は、上記の各実施の形態において、コンテンツの提示の工程で表示される操作画面の一例を示す図である。
(本発明の基礎となった知見)
本発明者らは、ユーザが日常的な生活で感じている不快感情の軽減することを目的として、心理学の一分野であるポジティブ心理学において提言されている、幸福感を増すための方法のひとつに着目した。その方法とは、就寝前にその日に起こった良かった出来事を思い出す行動(以下、快感情想起行動という)をとることである。この行動によって、その日の印象が良い方向へ変わりやすく、この行動を日々続けることで持続的な幸福感が得やすいとされる。
この方法であれば実践に事前の計画は不要であるため、ポジティブな感情を発生させるような行動を実際にとるよりも容易に日常的な生活の周期に取り込むことができる。そしてこの方法を継続的に実践できれば、日常的な生活で起こる感情の制御を図ることができる。しかしながら、この方法の実践にも、思い出すべき良かったことが一日の様々な出来事に埋もれたり、又は一日の疲労や就寝前の翌日の準備に紛れて実践が忘れられたりといった、継続の妨げになる要因がなお存在するという問題があることを本発明者らは見出した。この問題に鑑み本発明者らは、上記の心理学に基づく感情制御のための行動の継続的な実践を支援するためにされるコンテンツ提示に関する以下のような技術に想到した。
本発明の一態様に係る情報処理装置は、ユーザから取得される生体データを受信する通信インタフェースと、受信した前記生体データが記録されるメモリと、前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定するプロセッサとを備え、前記プロセッサは、前記特定期間において前記ユーザに生じたイベントを推定し、前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、前記データベースに記録されている感情種別情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成し、前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する。
これにより、快感情を発生させたイベントの想起のために画像コンテンツを観ることをユーザに促すことができる。
例えば、前記プロセッサは、予め前記ユーザによって設定される当該ユーザの就寝時刻を示す情報を取得し、現在時刻が前記就寝時刻になると、前記端末装置に前記通知を出力してもよい。
これにより、快感情想起行動の実践が睡眠前のユーザに促される。
また例えば、前記プロセッサは、前記ユーザの就業時間を識別するための情報を取得し、前記画像データのうち、前記就業時間中に発生したイベントを想起させるための画像データよりも、前記就業時間外に発生したイベントを想起させるための画像データを優先して前記端末装置に出力してもよい。
これにより、快感情想起行動において、不快感情を起こしやすい時間帯のイベントの想起をユーザに促すことが避けられる。
また例えば、前記ユーザに前記就業時間外のイベントを想起させるための画像データを前記端末装置で一定期間視聴させた後に計測された前記ユーザの生体データに基づいて前記ユーザの感情を推定し、前記一定期間の前後で前記ユーザの感情が快感情の強度が低下していない場合は、前記画像データのうち、前記就業時間中に快感情を示したイベントを想起させるための画像データを前記端末装置に出力してもよい。
これにより、ユーザが快感情想起行動を順調に継続している場合に、不快感情を起こしやすい時間帯のイベントの想起がユーザに促される。これは、不快感情を起こしやすい時間帯であってもユーザが感情の制御ができるような変化を促すために実行される。
また例えば、前記プロセッサは、前記データベースを参照して、提示する画像データが関連するイベントで発生した前記快感情の強度順でのコンテンツのリストを作成し、前記端末装置に前記コンテンツのリストを表示させるための通知を出力し、前記ユーザにより前記コンテンツのリストに含まれる任意の画像データが選択されると、対応する画像データを前記端末装置に表示させてもよい。
これにより、就寝前の快感情想起行動を、楽しめる日課としてユーザに認識させやすくなる。
また例えば、前記プロセッサは、前記ユーザ以外のユーザである他ユーザによって前記プロセッサがアクセス可能な場所にアップロードされた外部画像データを取得し、前記データベースを参照して、前記外部画像データの中から前記ユーザに快感情を発生させる可能性の高い外部画像データを選択し、前記ユーザの利用する端末装置に、選択した前記外部画像データを表示させるための通知を出力してもよい。
これにより、例えば多忙なユーザにも、内容の充実した画像コンテンツを提示して快感情想起行動の実践を支援することができる。
また例えば、前記通信インタフェースは、前記ユーザ以外のユーザである他ユーザの生体データを受信し、前記メモリには、受信した前記他ユーザの生体データが記録され、前記プロセッサは、特定期間において前記他のユーザが呈した感情の種別を判定し、当該特定期間において前記他ユーザに生じたイベントを推定し、当該特定期間と、前記他ユーザが呈した感情の種別を示す感情種別情報と、前記他ユーザに生じたイベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、当該データベースに記録されている他ユーザの感情種別情報が快感情を示す場合は、当該他ユーザの感情種別情報に関連付けられたイベント情報を用いて、前記他ユーザが快感情を示したイベントを示す画像データを生成し、前記ユーザの利用する端末装置に、当該画像データを表示させてもよい。
これにより、より内容の充実した画像コンテンツをユーザに提示して快感情想起行動の実践を支援することができる。
また例えば、前記プロセッサによる、前記感情の種別の判定、前記イベントの推定、前記データベースへの記録、前記画像データの生成、及び前記端末装置への通知の出力は、前記ユーザの起床から就寝までの時間である活動時間ごとに実行され、生成される前記画像データは、当該生成が実行される活動時間と同じ活動時間内に特定したイベントのうち、快感情を示す感情種別情報と関連付けられて前記データベースに記録されているイベントを前記ユーザに想起させるために表示される画像データであってもよい。
これにより、ユーザに、生活周期において就寝時間の直前に、心理学的に不快感情の軽減に効果があるとされる形で快感情想起行動の実践を促すことができる。
また例えば、前記プロセッサはさらに、前記活動時間において、前記ユーザが起床した時に取得される前記ユーザの生体データに基づいて前記ユーザの快感情の強度を推定し、前記画像データとして、推定された前記快感情の強度に基づいてコンテンツ提示基準を選択し、選択した前記コンテンツ提示基準を満たすように、前記活動時間において特定した少なくとも1つの快感情イベントの中から、画像データを表示することで前記ユーザに想起させる想起対象イベントを選択し、選択した前記想起対象イベントを想起させるための画像データを生成してもよい。
これにより、起床時のユーザの感情に基づいて、就寝前に提示した画像コンテンツがユーザにとって適切であったかが確認される。そしてその確認の結果がフィードバックとして用いられて、次回の画像コンテンツの提示は、ユーザの快感情想起行動を支援するものとしてより適切に実行されるよう、所定の基準に従って実行される。
この基準の具体的な例としては、前記プロセッサはさらに、推定した前記イベントをカテゴリに分類し、前記カテゴリごとの想起対象イベントの件数を規定する、選択された前記コンテンツ提示基準を参照し、前記活動時間において特定した前記少なくとも1つの快感情イベントの中から、分類された前記カテゴリに基づいて、選択した前記コンテンツ提示基準に規定されるカテゴリごとの件数の前記想起対象イベントを選択し、選択された前記想起対象イベントを想起させるための画像データを生成してもよい。これにより、画像コンテンツの提示によってユーザに想起させるイベントのカテゴリが不適切であった場合、次回は、例えば以前に適切だったカテゴリのイベントを想起させるような画像コンテンツが提示される。
また例えば、前記プロセッサはさらに、前記画像データを前記ユーザに表示している時に取得された前記ユーザの生体データに基づいて、前記ユーザに発生している感情の種別を判定し、当該判定された前記感情が不快感情である場合、前記画像データの前記ユーザへの表示を停止してもよい。
これにより、誤った感情推定の結果に基づいて提示された画像コンテンツがユーザに不快な感情を発生させた場合、その提示の段階でユーザの快感情想起行動の継続への悪影響を抑えることができる。
また例えば、前記プロセッサはさらに、前記画像データが複数生成されている場合、前記画像データの前記ユーザへの表示を停止した後に、表示が停止された前記画像データ以外の画像データを前記複数の画像データから選択して前記ユーザに提示してもよい。
これにより、誤った感情推定の結果に基づいて提示された画像コンテンツがユーザに不快な感情を発生させた場合であっても、ユーザの快感情想起行動の支援が継続される。
また、本発明の一態様に係る情報処理装置の制御方法は、前記情報処理装置が、ユーザから取得される生体データを、通信ネットワークを介して受信する工程と、受信した生体データをメモリに記録する工程と、受信した前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定する工程と、前記特定期間において前記ユーザに生じたイベントを推定する工程と、前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録する工程と、前記データベースに記録されている感情履歴情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成する工程と、前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する工程とを含む。
これにより、情報処理装置によって、快感情を発生させたイベントの想起をユーザに促す方法が実行される。
なお、これらの包括的又は具体的な態様は、上記の方法及びシステム以外に、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。以下で説明する実施の形態は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは本発明の概念を説明するための一例であり、本発明を限定する趣旨ではない。
また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に含まれない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1.構成]
図1は、実施の形態1における、ユーザの快感情想起行動の実践を支援するコンテンツ提示システムの概要を説明するための概略図である。また、図2は、実施の形態1におけるコンテンツ提示システムの構成を示すブロック図である。まずは図1及び図2を参照しながら、本実施の形態におけるコンテンツ提示システムの概要について説明する。
図1に示されるように、本実施の形態におけるコンテンツ提示システム10は、サーバ100、携帯情報端末900m、生体データ取得装置900w、情報提示装置900h、及び情報提示装置900bを備える。
サーバ100は、インターネット等の通信ネットワーク1000を介して、コンテンツ提示システム10のユーザが携帯している携帯情報端末900mとデータをやり取りする。通信ネットワーク1000には、図1に示されるように基地局500が含まれてもよい。
また、サーバ100は、コンテンツ提示システム10のユーザが携帯又は装着している生体データ取得装置900wからデータを受信する。本図では生体データ取得装置900wを例として、通信ネットワーク1000に直接接続するための機能を持たない装置として示している。したがってサーバ100は、生体データ取得装置900wからのデータを、図2の通信端末902mとして機能する携帯情報端末900mを介して受信している。なお、通信端末902mは携帯情報端末900mでなくてもよく、いわゆるモバイルルータ等の通信機能に特化した機器でもよい。
さらにサーバ100は、通信ネットワーク1000を介して、コンテンツ提示システム10のユーザの自宅400等の固定の場所で用いられる情報提示装置900h又は情報提示装置900bにデータを送信する。なお、情報提示装置900bへのデータの送信は、通信ネットワーク1000との間にさらに図2の無線中継器800が介して行われている。
このようにコンテンツ提示システム10は、サーバ100が、コンテンツ提示システム10のユーザからデータを収集するための機器及びユーザにデータを提示するための機器とデータのやり取りが可能なよう構成される。上記で説明した経路はこのデータのやり取りのための経路の例である。なお、データのやり取りのための経路は、この例に限定されるものではない。また、ユーザの生活周期における起床から就寝までの時間(以下、この時間を活動時間ともいい、その他の時間を就寝時間ともいう)、サーバ100はデータを収集するための機器から常に安定してデータを受け取ることができる状態におかれるのが好適である。
このようなサーバ100は本実施の形態における情報処理装置の例であり、1台以上のサーバコンピュータで実現され、例えばクラウドコンピューティングの形態で利用される複数台のサーバコンピュータで構成される。サーバ100の動作については後述する。
図2に示されるように、サーバ100は、記憶部150、ユーザ情報管理部110、データ解析部120、データ生成部130、及び通信インタフェース140を備える。
記憶部150は、以下で説明するサーバ100の機能の実行に用いられる各種のデータを記憶する記憶装置(メモリ)であり、例えばハードディスクドライブ等の磁気記憶装置、又はフラッシュメモリ等の半導体記憶装置を用いて実現される。記憶部150に記憶される各種のデータについては後述する。なお、本明細書では記憶装置(メモリ)は、記録装置(ストレージ)を含む、情報処理装置が用いるデータを保持する部品、装置、及び媒体を含む概念を指す。
ユーザ情報管理部110は、サーバ100が備えるプロセッサ(図示なし)がプログラムを実行することで実現される構成要素であり、ユーザごとに選択、作成されるデータを用いてコンテンツを提示するための情報の受付、保管、更新等による管理をする。この情報については後述する。また、ユーザ情報管理部110は、この情報を用いてユーザ認証を行う。
データ解析部120及びデータ生成部130もまた、サーバ100が備えるプロセッサがプログラムを実行することで実現される構成要素である。データ解析部120は、主にユーザから収集されたデータの解析をする。データ生成部130は、ユーザに提供するデータを生成する。このデータの解析及びデータの生成については、サーバ100の動作の説明として後述する。
通信インタフェース140は、通信モジュールで実現される、通信ネットワーク1000を介する上記の一連の通信のための構成要素であり、ユーザから取得される下記の生体データ等を受信する。
生体データ取得装置900wは、生体センサ920wを備える。生体センサ920wは、ユーザの生体データを計測して取得するセンサである。ここでいう生体データとは、例えば体温、脈拍、血圧、皮下血流量、呼吸数、発汗量、呼気又は汗等の代謝物の含有物、声音、脳波、眼球運動、瞳孔の変化、表情等、技術的に解析されてユーザの感情の推定に用いることができるものであればよく、これら又はこれらの組み合わせに限定されない。そして生体センサ920wは、これら各種の生体データの取得が可能であれば、熱、光(可視不可視を問わない)、電気現象、磁気現象、音、振動、物の動き等の物理量を計測するどのようなセンサであってもよい。このような生体データ取得装置900wは、ユーザの生活周期における1回の活動時間のうちで長時間の装着が可能であり、かつ容易であるものが、ユーザの生体データを常時取得するために好適である。生体センサ920wが取得した生体データはサーバ100へ送信され、サーバ100において通信インタフェース140で受信され、記憶部150に記録される。生体データ取得装置900wはこの生体データの出力のための出力部(図示なし)も備える。このような生体データ取得装置900wは、例えばスマートウォッチ、アクティビティトラッカー、又はスマートグラス等のウェアラブル情報端末で実現される。あるいは、生体データを取得するための各種の医療用の機器であって、装着又は携帯が可能であり、通信によってデータの出力が可能なものでもよい。
図1に示される携帯情報端末900mは、上記で説明したとおり、生体データ取得装置900wとサーバ100の通信を仲介する通信端末902mとしても機能し得る。ただし、ここでは通信の仲介以外の機能を主に発揮する、図2のブロック図における携帯情報端末901mとして説明する。携帯情報端末901mは、ユーザインタフェース910、生体センサ920m、位置情報取得部930、通信インタフェース940、記憶部950、及び制御部960を備え、例えばいわゆるスマートフォンやタブレット型コンピュータ等の情報機器で実現される。
ユーザインタフェース910は、これらの情報機器が備える、タッチスクリーン(タッチスクリーンに表示される操作画面を含む)、各種ボタン、カメラ、スピーカ、マイクロホン等、ユーザから情報の入力を受けたり、又はユーザに情報を提示したりするための構成要素である。そしてユーザインタフェース910は、コンテンツ提示システム10にとっての、ユーザから情報の入力を受け、ユーザに情報を提示するための構成要素でもある。ユーザインタフェース910を用いて入力された情報は、通信ネットワークを介してサーバ100に送信される。また、サーバ100から送信されたデータは、通信ネットワークを経由して携帯情報端末901mに届けられ、例えば画像(静止画であるか動画であるかを問わない)等のコンテンツとしてユーザインタフェース910を介してユーザに提示される。なお、提示されるコンテンツは画像に限定されず、例えば音を含むコンテンツ、又は音のみのコンテンツであってもよいが、以下では、画像を含むコンテンツである場合を例に用いて各実施の形態を説明する。また、「コンテンツの提示」という表現は、画像を含むコンテンツに限定しない意図を示すものであり、「画像データの表示」という表現は、「コンテンツの提示」の一例としての、「画像を含むコンテンツの提示」を言い換えたものである。
生体センサ920mは上記の生体データ取得装置900wの生体センサ920wと同様に、生体データを計測して取得するものであり、ここでは説明を省略する。なお、生体センサ920wと生体センサ920mとは、コンテンツ提示システム10に少なくとも一方が含まれればよく、両方が含まれる場合には併用されてもよい。なお、以下では、生体センサ920m及び生体センサ920wを特に区別せずに指して生体センサ920ともいう。
位置情報取得部930は、例えばGPS(Global Positioning System)受信機であり、携帯情報端末901mの位置情報を取得する。取得した位置情報はサーバ100に送信され、サーバ100において例えばユーザの位置情報として扱われる。なお、位置情報取得部930が取得する位置情報はGPS衛星等の衛星測位システム由来の情報に限定されない。位置情報の他の例としては、携帯情報端末901mが接続しているWi−Fi(登録商標)のアクセスポイントから取得可能な情報が挙げられる。
通信インタフェース940は、携帯情報端末901mがネットワーク1000に接続するための通信モジュールで実現される。なお、携帯情報端末900mが通信端末902mとして機能している場合は、生体データ取得装置900wとの通信のための通信モジュールもまた通信インタフェース940を構成する。
記憶部950は、携帯情報端末901mで実行される各種のプログラム及び取得された情報が記憶される記憶装置(メモリ)であり、例えばフラッシュメモリ等の半導体記憶装置を用いて実現される。
制御部960は、各種のプログラムを実行することで携帯情報端末901mの上記各構成要素を制御して機能させる、プロセッサによって実現される構成要素である。これにより、ユーザの快感情想起行動の実践を支援するために用いられるデータが収集されてサーバ100に提供され、また、サーバ100から提供される、快感情想起行動の実践を支援するためのコンテンツがユーザに提示される。
情報提示装置900b及び情報提示装置900hのそれぞれは、サーバ100から提供されるコンテンツのデータを用いて、快感情想起行動の実践を支援するためのコンテンツをユーザに提示をすることができる装置である。情報提示装置900h及び情報提示装置900b(以下、両者を特に区別せずに情報提示装置900ともいう)は、例えばパーソナルコンピュータやインターネット接続が可能なテレビ受像機などの機器で実現される。または、スマートグラスやヘッドマウントディスプレイ等の、表示器を備えるウェアラブル情報端末であってもよい。なお、コンテンツ提示システム10において、ユーザにコンテンツを提示する構成要素としては、携帯情報端末901m及び情報提示装置900hの少なくとも一方が含まれればよく、両方が含まれる場合、ユーザは任意に選択した方を用いてコンテンツの提示を受けてもよい。情報提示装置900は、本実施の形態における、ユーザが利用する端末装置の例である。
快感情想起行動は、就寝前、すなわち一日の活動の終わりに実施されることが提唱されている。したがって、情報提示装置900は、ユーザが自身の生活周期において活動時間の終わり近くを過ごす場所、例えば自宅の居間や寝室に置かれる機器が選択されてもよい。または、ユーザの好みによっては浴室に設置される機器であってもよい。また、自宅の機器に限らず、例えば旅行先の宿泊施設などに設置されているパーソナルコンピュータ等が情報提示装置900として用いられてもよい。
以上がコンテンツ提示システム10の構成の説明であるが、上記は一例であり、コンテンツ提示システム10の構成はこれに限定されない。例えば生体データ取得装置900w及び携帯情報端末901mは、機能の説明の便宜上区別して説明したもので、これらを実現する機器の区別は明確なものではない。例えば生体データ取得装置900wが上記で説明した携帯情報端末901mの機能の全部又は一部を担い、かつ、通信端末902mを介さずに通信ネットワークに接続してサーバ100と通信してもよい。また、情報提示装置900hを実現するパーソナルコンピュータがユーザインタフェース910の機能の一部を担ってもよい。
次にコンテンツ提示システム10において用いられる各種データの動きに沿って、コンテンツ提示システム10の動作について説明する。
[2.動作]
[2−1.コンテンツ提示システムの動作の概要]
まずはコンテンツ提示システム10の動作の概要を、コンテンツ提示システム10内のデータの動きに沿って説明する。図3は、コンテンツ提示システム10の各構成要素間のデータの動きの例を示すシーケンス図である。このシーケンス図では、生体センサ920が計測して取得するユーザの生体データは、携帯情報端末901mからサーバ100へ送信される場合が例として示されている。
まず、携帯情報端末901mにおいて、ユーザインタフェース910がコンテンツ提示システム10のユーザのユーザ情報の入力を受け付ける(ステップS321)。
このユーザ情報には、例えばユーザID及びパスワード等のユーザ認証に用いられる情報が含まれる。このシステムにおいては、生体データ等は各ユーザに固有のデータとして扱われる。また、ユーザに提示されるコンテンツのデータは、この各ユーザに固有のデータに基づいてユーザごとに作成される。したがって、コンテンツ提示システム10が複数人のユーザに共用されるのであれば、運用上は各種のデータは個人ごとの管理が必要である。このようなユーザ情報は、例えば各ユーザが初めてコンテンツ提示システム10を使用する際のアカウント作成の手続において入力される。
また、ユーザ情報には、ユーザがコンテンツ提示システム10を使用する上で指定する各種の設定が含まれてもよい。この設定の具体的な例としては、自身の生活周期の中で快感情想起行動を実行するタイミングに関する設定が挙げられる。例えば設定項目の中に、コンテンツのデータ送信のタイミングに関わる情報である、ユーザの就寝時刻が含まれてもよい。また、ユーザが快感情想起行動の実践の支援として提示を受けたい(又は受けたくない)コンテンツに関する情報が設定に関するユーザ情報に含まれてもよい。例えばコンテンツの媒体の種類(静止画、動画等)、関心の対象(趣味、キーワード等)、コンテンツのソースとして利用可能又は不可能なデータの種類や場所に関する設定が挙げられる。また、コンテンツ提示システム10に、インターネット上でユーザが利用するサービスと連携させるために必要な情報が含まれてもよい。この連携については、下記の動作の説明の中で後述する。
入力されたユーザ情報は携帯情報端末901mからサーバ100に送信され、ユーザ情報管理部110によって記憶部150に記憶される(図2参照)。
次に、認証済みのユーザがコンテンツ提示システム10の使用を開始すると、生体センサ920は、活動中のユーザの生体データを計測して取得する(ステップS311)。この生体データは、携帯情報端末901mを介してサーバ100に随時送信される。
さらに携帯情報端末901mでは、位置情報取得部930が現在の位置情報を取得し(ステップS322)、ユーザの位置を示す位置情報としてサーバ100に送信する。また、携帯情報端末901mに付属する、又は携帯情報端末901mと連携するカメラ(図示なし)を使ってユーザが撮像した静止画又は動画のデータ(以下、静止画又は動画のデータを区別せず、画像データともいう)が送られてもよい。その他、ユーザが携帯情報端末901mで使用したアプリケーション上の情報のデータが送られてもよい。このアプリケーション上の情報とは、例えばスケジュールアプリケーション上の、ユーザの行動予定を示すスケジュール情報、ウェブブラウザ上でユーザが検索に用いたキーワード又はアクセスしたニュース記事のページのURL(Uniform Resource Locator)、ソーシャルネットワーキングサービス(Social Networking Service、以下SNSと表記する)で当該ユーザが評価又はタグ付け等によって関与した投稿を示すURLである。このように携帯情報端末901mから生体データと合わせて送られたデータは、サーバ100において、例えばユーザになんらかの感情を発生させたイベントを推定するために用いられる。イベントを推定するために用いられるこのようなデータを、以下ではイベント関連データともいう。イベント関連データも、携帯情報端末901mからサーバ100へ随時送信される。なお、生体データ以外のデータ、例えばSNSへのユーザ自身の投稿の内容や他人の投稿への反応を示すデータも感情推定に用いられてもよい。また、アクセスしたウェブサイトのページのURL等も記憶部150に保存されて、ユーザに提示されるコンテンツのデータの生成のために後で用いられてもよい。
サーバ100では、受信した生体データは記憶部150に記録される。そしてデータ解析部120が、この生体データを用いて、特定期間においてユーザが呈した感情についての感情推定を実行する(ステップS331、第1感情推定工程)。ここでいう特定期間とは、例えばユーザの活動時間である。あるいは、活動時間の一部(後述の就業時間又はそれ以外の時間)であってもよい。
また、サーバ100ではさらに、データ解析部120が、受信したイベント関連データに基づいて、上記の感情が発生させたイベントを推定する(ステップS332、イベント推定工程)。なお、ステップS331の感情推定で判定された感情の種別に拘わらず、その感情を発生させたイベントがその都度推定されてもよい。ただし、コンテンツの提示は快感情想起行動の実践の支援が目的であるため、快感情を発生させたイベント(以下、快感情イベントともいう)が少なくとも推定されればよい。なお、ここでいう「快感情」とは、例えば非特許文献1によれば、「幸せや、幸福感、ポジティブな誘意性と高い活性化(覚醒感)によって特徴づけられた情緒的な状態のこと」であり、具体的には、「幸せ、喜び、満足、興味、愛など」である。
なお、生体データからユーザの感情を推定し、快感情か否かを判定する方法の具体例については、例えば、特許文献2、特許文献3、又は特許文献4に開示されている公知の方法を用いることができる。
特許文献2では、ユーザの心拍数および心拍変動に基づいて、ユーザの心理状態が判定されている。具体的には、ユーザから検出された心拍数および心拍変動がそれぞれ所定の閾値と比較され、心拍数が所定の閾値よりも大きく、かつ、心拍変動が所定の閾値よりも大きい場合、ユーザの心理状態が「喜び」(つまり快感情)であると判定されることが開示されている。
特許文献3では、生体センサにより得られたユーザの生体センサ値から快度および覚醒度が生成され、生成された快度および覚醒度の組である感情スコアからユーザの感情が推定される。例えば、快度および覚醒度は、−5から5までの値であり、覚醒度が約「0〜2」の範囲内であり、かつ、快度の値が約「2〜5」の範囲内である場合、ユーザの感情が「喜び状態」(つまり快感情)であると判定されることが開示されている。
特許文献4では、生体センサから得られた血圧データ、心臓の拍動回数、皮膚温度、及び心電図の周波数などの生体パラメータを用いて感情(例えば喜び)が認識されることが開示されている。
次にデータ解析部120は、ステップS331での感情推定の結果を示すデータと推定されたイベントを示すデータとを関連付けた情報を、記憶部150に置かれる感情ログのデータベース(以下、感情ログデータベースともいう)に記録する(ステップS333)。ステップS331からステップS333までは、ユーザの活動時間においてサーバ100が生体データ及びイベント関連データを受信する間繰り返される。
やがてユーザの活動時間の終わりが近付いて、ユーザの快感情想起行動の実行のタイミングが近付くと、携帯情報端末901mからコンテンツデータの送信要求がサーバ100に送信される。また、この例では、あらためてユーザ認証用データも送信されている。
この要求とユーザ認証用データとを受信したサーバ100では、まずユーザ情報管理部110がユーザ認証を実行する(ステップS334)。ユーザ認証が成功すると、次はデータ生成部130が、このユーザに提示するための、快感情イベントを想起させるためのコンテンツ、ここでは、上記の快感情イベントを示す画像等のコンテンツのデータ(画像データ)を生成する(ステップS335)。このデータのソースには、例えば活動時間の間にサーバ100が携帯情報端末901mから受信したイベント関連データが含まれる。快感情イベントが複数ある場合には、所定の基準、又はユーザがした設定に従ってその一部を選択し、選択された快感情イベントに関連するコンテンツのデータが生成されてもよい。このように、サーバ100において、ステップS332で特定された快感情イベントをユーザに想起させるためのコンテンツのデータを生成するデータ生成部130は、本実施の形態におけるデータ生成装置の例である。
生成されたコンテンツのデータは、携帯情報端末901mに送信される。携帯情報端末901mは、受信したコンテンツのデータを用いて、快感情イベントを想起させるためのコンテンツをユーザに提示する(ステップS323)。具体的には、例えばその活動時間中にユーザが大笑いしながら携帯情報端末901mで撮像した動画又はそのサムネイルが携帯情報端末901mのディスプレイに表示される。また、このコンテンツのデータは、ユーザの指示に従って情報提示装置900に送信されて、コンテンツは情報提示装置900によってユーザに提示されてもよい(ステップS341)。携帯情報端末901mも情報提示装置900も、本実施の形態において、コンテンツの提示を受けるためにユーザが利用する端末装置の例である。
なお、コンテンツのデータの送信前にサーバ100は、携帯情報端末901m又は情報提示装置900に、ユーザに提示される所定の通知を出力してもよい。例えば画像データの表示が可能であることを示す通知でもよい。また、複数件のコンテンツに対応する画像データであれば、このコンテンツから選択させるための操作画面を構成する通知でもよい。
また、ステップS323又はステップS341が実行されている間も、生体センサ920によってユーザの生体データが計測されて取得されてもよい(ステップS312)。ステップS312で取得された生体データは、ステップS311で取得された生体データと同様に、携帯情報端末901mを介してサーバ100に随時送信される。サーバ100では、データ解析部120がこの生体データに基づいて、コンテンツの提示を受けているユーザの感情について感情推定を実行する(ステップS336、第2感情推定工程)。もしこのステップS336の感情推定で判定された感情の種別が不快感情である場合、快感情想起行動の実践の支援としては不適切であり、ユーザの感情への悪影響のおそれがある。この悪影響を抑えるため、このコンテンツの提示を停止するか、コンテンツのデータが複数生成されている場合には、この停止の後に他のデータがユーザに提示されてもよい。これにより、さらに快感情想起行動の実践の支援を継続することができる。
また、コンテンツの提示中に、携帯情報端末901mは、このコンテンツの提示の停止、他のコンテンツへの切替、又は同コンテンツの提示の繰り返し等の指示の入力をユーザから受けてもよい。
以上がコンテンツ提示システム10の動作の概要である。この動作のうち、サーバ100における感情推定(ステップS331)から携帯情報端末901mにおけるコンテンツ提示(ステップS323又はS341)までは、ユーザの生活周期のうちの活動時間に実行される。そしてステップS323でユーザに提示されるコンテンツは、この活動時間でステップS323より前に当該ユーザに快感情を発生させた快感情イベントを想起させるためのコンテンツである。したがって、ユーザは生活周期において活動時間の最後、つまり続く就寝時間の直前にステップS323が実行されるようコンテンツ提示システム10を利用することで、心理学的に不快感情の軽減に効果があるとされる形で快感情想起行動の実践が促される。また、提示されるコンテンツを手掛かりとして快感情イベントの想起がしやすくなることで、ユーザが快感情想起行動の実践を継続しやすい状況を作る。
[2−2.サーバの動作]
次に、コンテンツ提示システム10におけるサーバ100の動作について、図4に示されるサーバ100の動作を示すフロー図に沿って具体的に説明する。なお、以下は図3に示される概要で説明したサーバ100の動作のより詳細な説明であり、共通の工程は図3と共通の参照符号で示される。
サーバ100は、まずユーザ情報を受信する(ステップS3300)。このユーザ情報を用いて、ユーザのアカウントが作成され、個人化されたデータの管理と作成の準備がなされる。
次にサーバ100は、生体センサ920が計測して取得した生体データを受信する(ステップS3301)。また、携帯情報端末901mから、イベント関連データを受信する(ステップS3302)。
なお、生体センサが取得した生体データを示す未処理のアナログ信号は、ノイズが多く混じりそのままではデータ解析に適さない。また、間断なく計測されて得られたデータであるためサイズが大きく、記憶部150の容量を圧迫しやすい。これらの問題を解消するために、アナログ信号に所定の処理を施した上で保存及び解析がなされる(ステップS3303)。図5は、この所定の処理の一連の工程の例を示すフロー図である。なお、この処理はサーバ100ではなく、生体センサ920又は生体データ取得装置900wで送信前に実行されてもよい。これによりトラフィック負荷が軽減される。
アナログ信号は、まず自動利得調整回路で自動利得調整がされ(ステップS51)、その後ローパスフィルタを用いてスムージング(ノイズ除去)が施される(ステップS52)。次にA/D変換によって細かい段階の離散値のデータに変換される(ステップS53)。この段階で、ベースラインに大きな変化が見られる場合はベースラインを算出してこれを元のデータから減算する(ステップS54)。次に、所定の閾値に基づいてピークが抽出される(ステップS55)。これにより、時間軸に対する1つ以上のピークの大きさの集まりというコンパクトなデータが得られる。次はデータのダイナミックレンジを適切にするために必要に応じて各ピーク値が規格化されて、時系列で並べられる(ステップS56、ステップS57)。
次にサーバ100では、データ解析部120が、生体データを用いて感情推定を実行する(ステップS331、第1感情推定工程)。
なお、生体データを用いての感情推定には、既存の研究に基づく各種の手法が利用可能である。
例えば特許文献2に開示される方法では、ユーザの心拍数及び心拍変動に基づいて、当該ユーザの心理状態が判定されている。この方法では、生体情報として検出された心拍数及び心拍変動がそれぞれについての所定の閾値と比較される。心拍数及び心拍変動のいずれもが各所定の閾値よりも大きい場合、ユーザの心理状態は「喜び」(つまり快感情)であると判定される。
また、特許文献3に開示される方法では、生体センサを用いて得られたユーザの生体センサ値から生成する感情スコアに基づいて当該ユーザの感情及びその強度が推定される。具体的には、生体センサ値から、ユーザの快度及び覚醒度がそれぞれ−5から5までの値で感情スコアとして生成される。例えば覚醒度の値が約「0〜2」の範囲内にあり、且つ快度の値が約「2〜5」の範囲内にある場合、ユーザは「喜び状態」にある(つまり快感情が発生している)と判定される。
なお、データ解析部120による、生体データを用いての感情推定には、上記のようなユーザが呈した感情の種別の判定に加えて、ユーザの発生した各種の感情の、例えば上記の快度及び覚醒度の値を用いての強度の推定が含まれてもよい。
ステップS331で用いられた生体データが何らかの感情の発生を示していない場合(ステップS3310でNO)、サーバ100はステップS3301からここまでの工程を次に受信する生体データに対して行う。
ステップS3310で用いられた生体データが何らかの感情の発生を示す場合(ステップS3310でYES)、データ解析部120は、イベント関連データに基づいてユーザにこの感情を発生させたイベントを推定する(ステップS332)。なお、上記のとおり、ステップS332での特定の対象であるイベントには、快感情を発生させたイベント(快感情イベント)が少なくとも含まれる。
快感情イベントの特定は、携帯情報端末901mから送信されたイベント関連データに含まれる、ユーザの位置を示す位置情報、ユーザの行動を示すスケジュール情報、ユーザが撮像した画像データの少なくとも1つを用いて行われる。より具体的には、例えば、快感情が発生した時刻に関する情報と、イベント関連データに含まれるユーザのスケジュールに関する情報が示す、その時のユーザの行動に関する情報に基づいて行われてもよい。あるいは上記の情報以外に、快感情の発生の前後にユーザが携帯情報端末901mで検索に用いたキーワードや、閲覧したインターネット上のニュースの記事等に関する情報が用いられてもよい。
また、予め登録されたユーザ情報のうち、ユーザの関心の対象に関するものがイベントの推定に利用されてもよい。例えば、ユーザの関心事を示す情報をキーワードに、データ解析部120がインターネット上で情報を収集して特定してもよい。例えば興奮の感情であると判定された時刻の前後にユーザが応援するアスリートの活躍があった情報が得られた場合に、この活躍が快感情イベントとして推定されてもよい。
あるいは、コンテンツ提示システム10がインターネット上のスケジュール管理サービス、ブログ、SNS、又はその他コミュニケーションサービス等と連携し、ユーザ自身の投稿やユーザの友人によってユーザに関連付けられている投稿等から把握される時刻、行動、位置情報等が快感情イベントの特定のための情報として用いられてもよい。
なお、イベント関連データは、後のコンテンツデータの取得での必要に応じて記憶部150に保存される。
次にデータ解析部120は、判定した感情と、その感情を発生させたイベントとして推定されたイベントとを関連付けた情報を、後のコンテンツデータの取得に利用するために記憶部150に置かれる感情ログのデータベースに記録する(ステップS333)。図6は、感情ログのデータベースの構成の例を示す図である。
図6に示される例では、あるユーザに発生した感情(又はこの感情を発生させたイベントとして推定されたイベント)の発生時刻順に、上記の情報が上から各データ行に記録されている。各データ行には、登録情報の1レコードとして最左の欄から順に、ユーザID(identification)、イベントID、発生の時刻、ユーザの場所、ユーザの感情状態、カテゴリ、コンテンツのデータソースの各情報が、互いに関連付けられて記録される。なお、このレコードのそれぞれに含まれる情報を感情履歴情報ともいう。
ユーザIDは、各ユーザを特定するための情報であり、判定された感情と、その感情を発生させたイベントとして推定されたイベントとを関連付けて各ユーザに個別化して管理するために付与される。このユーザIDは、本実施の形態におけるユーザID情報の例である。
イベントIDは、登録情報の各レコードを識別するための情報であり、特定された各イベントに関する情報の管理の便宜のために付与される。
時刻及び場所の各情報は、受信した生体データ及びイベント関連データに基づく。
感情状態は、データ解析部120による生体データの解析の結果であり、ユーザの感情の種別及び強度を示す情報である。この例では、上記で例示した方法を用いて、生体センサ値から生成された感情スコアがこの欄に示されている。この場合、データ解析部120又はデータ生成部130は、処理上での必要に応じてこの感情スコアに対する感情の種別及び強度を示すテーブルを参照して感情の種別や強度を得る形でこの欄の情報を利用する。別の例としては、感情スコアに基づくユーザの感情の種別及び強度がこの欄に直接示されていてもよい。この感情状態の欄に入る情報は、本実施の形態における感情状態情報の例である。なお、以下では感情状態情報を、感情の種別を示すものとして感情種別情報といい、感情の強度を示すものとして感情強度情報ともいうことがある。
カテゴリを示す情報は、推定されたイベントのメタ情報である。例えばデータ解析部120が、各イベントをその発生の時間帯やイベント関連データに含まれる場所に基づいてカテゴリに分類し、このカテゴリを示す情報をこの欄に追加する。例えば各イベントの発生の時間帯に基づく分類は、アカウント作成時等にユーザがユーザ情報の一部として登録した就業時間(勤務先又は学校での始業から終業までの時間)を識別する情報をデータ解析部120が取得し、この情報を用いて各イベントをカテゴリに分類する。図6の例では、このユーザの職業上の業務と関連がないイベントは、カテゴリ1(C1)に分類され、職業上の業務と関連があるイベントは、カテゴリ2(C2)に分類され、それぞれを示すハッシュタグが付けられている。また、イベント関連データに含まれる各種の情報に基づく情報がこのカテゴリに追加されてもよく、例えばSNSやブログへの投稿にユーザが含めた言葉やハッシュタグ等が追加されてもよい。その他、この欄に入力され得る情報は、例えばコンテンツ提示システム10の仕様で定められてもよいし、又はユーザによる設定で定められてもよい。この欄の情報は、後の工程でデータ生成部130が参照する情報であるイベント情報の例である。
コンテンツデータソースの欄にある情報は、各レコードに記録されているイベントに関連するコンテンツのデータの作成のために参照される、そのデータの所在を示す情報である。この情報の例としては、その携帯情報端末901mからサーバ100に送信されたイベント関連データとして送信された画像等のメディアファイルの保存場所を示す情報、イベント関連データに含まれていたインターネット上のURLが挙げられる。また、ステップS332でデータ解析部120が快感情イベントを推定する過程で検索して取得した情報のURLであってもよい。この欄の情報も、後の工程でデータ生成部130がコンテンツのデータを取得するために参照するイベント情報の例である。
このように、ユーザに感情が発生すると、その感情についての感情状態情報(感情種別情報及び感情強度情報)と、その感情を発生させたと推定されたイベントを示すイベント情報とが関連付けられて、感情履歴情報としてデータベースに記録される。また、感情履歴情報には、感情の発生した時刻、場所、又はイベントのカテゴリを示す情報が含まれ、この情報に基づいて、感情が発生した特定期間(例えば活動時間、就業時間等)についても示されている。すなわち、感情履歴情報においては、特定期間と、感情状態情報と、イベント情報とが関連付けて記録されている。
上述のステップS3301からステップS333までの工程は、携帯情報端末901mからコンテンツデータの送信要求があるまで、生体データを受信する度に繰り返される(S3330でNOの場合)。
コンテンツデータの送信要求を受信したサーバ100は(S3330でYES)、さらにユーザ認証用データを受信し(ステップS334)、ユーザ情報管理部110によってユーザ認証が実行される(ステップS3340)。
ユーザ認証が失敗した場合(ステップS3340でNO)、サーバ100はコンテンツデータの送信を拒否する(ステップS3370)。またはさらにその旨の通知が携帯情報端末901mに送信されてもよい。
ユーザ認証が成功すると、次はデータ生成部130が、このユーザに提示するためのコンテンツのデータを取得し、生成する(ステップS335)。
この工程では、データ生成部130はコンテンツのデータの取得のために、上述の感情ログデータベースを参照する。例えば、「感情状態」の欄の情報を参照して、発生した快感情の強度の上位3件の快感情イベントを選択する。また、「カテゴリ」の欄の情報を参照して、ユーザによってユーザ情報等でコンテンツの提示対象に指定又は提示対象から除外されているものがあれば、これに従う。また、関連するコンテンツを取得するイベントを選択したあとは、「コンテンツデータソース」の欄の情報を参照して、選択した快感情イベントを想起させるための画像等のコンテンツのデータを取得する。
データを取得したデータ生成部130は、このデータが携帯情報端末901mで効果的に提示されるように、取得したこのデータを用いて提示用のデータを生成する。例えば一覧表示のために、動画のサムネイルを用意したり、複数の動画や静止画からダイジェストの動画を生成してもよい。また、この一覧やダイジェストの表示の際に流れる効果音を付加してもよい。また、提示の順序を指定する情報を付加してもよい。また、ユーザによってコンテンツの提示についての何らかの設定、例えば提示の順序やメディアの種類等についての設定が指定されていれば、この設定に従ってデータを生成してもよい。
最後に、サーバ100は、生成されたコンテンツのデータを携帯情報端末901m(又ユーザが指定する、当該ユーザが利用する他の端末装置)に送信する(ステップS3360)。
なお、ステップS3360は、サーバ100においてコンテンツのデータの用意ができた時点での通知、及びコンテンツのデータの送信の2段階の手順を含んでもよい。この通知は、携帯情報端末901m等の端末装置上でのコンテンツのリスト等の表示又はコンテンツの再生のための操作をユーザに促すものであり、サーバ100からコンテンツのデータの準備ができた旨の通知を受けた端末装置が、各種の通知機能、例えばメッセージ若しくはアプリケーションのアイコンに付くバッジを用いて出力する。この通知の出力には、音、振動、若しくは光、又はこれらの組み合わせが用いられてもよい。また、通知はユーザが利用可能な複数の端末装置になされて、その中でユーザが任意に選択して操作した端末装置にコンテンツのデータが送信されてもよい。または、サーバ100は、コンテンツのデータをユーザが指定する端末装置に送信した上で、その端末装置でコンテンツの表示又は再生の準備ができている旨の通知をさせてもよい。このような通知によって、ユーザが快感情想起行動をし忘れる可能性を抑えることができる。
以上が、図3の概要で説明した、ユーザの生活周期の1活動時間にわたるサーバ100の動作の詳細である。
なお、上記の説明はサーバ100の動作の一例であり、本実施の形態におけるコンテンツ提示システム10におけるサーバ100の動作はこの説明の内容に限定されない。
例えば上記の説明では、ステップS3330でコンテンツデータの送信要求があった後にユーザ認証が行われている(ステップS334、S3340)が、この段階でのユーザ認証は、本実施の形態におけるコンテンツ提示システム10に必須の動作ではない。ただし、不正なアクセスの可能性が高い場合には、この段階でもユーザ認証が実行されるのが好適である。このような場合の例としては、生体データを送信していた携帯情報端末901m以外の端末装置での表示が指定されている場合、又はユーザが初めてコンテンツの提示に用いる端末装置やIPアドレスからのアクセスの場合が挙げられる。また、上記のようにコンテンツのデータがユーザの指示なく端末装置に送られる場合、ユーザ認証は送信されたコンテンツのデータをユーザが利用する直前に実行されてもよい。
また、ステップS3330で、サーバ100では携帯情報端末901mからのコンテンツのデータの送信要求を待ってコンテンツのデータの取得及び生成がされてユーザにコンテンツが送信されている。しかし、ユーザにコンテンツのデータが送信されるタイミングはこれに限定されない。例えば、ユーザが予め指定した時刻にコンテンツが送信されてもよい。つまりは、コンテンツのデータ送信の予約である。これにより、ユーザは自分の日々の生活周期やその日の予定に合わせて快感情想起行動を実践することができる。例えばユーザが自身の就寝時刻をこの指定の時刻として設定した場合、サーバ100では、この就寝時刻を示す情報をプロセッサが取得し、この就寝時刻までにコンテンツのデータが生成される。そして現在時刻がこの就寝時刻になると、ユーザが利用する端末装置に上記の通知をさせる。このような時刻の設定の指定は、サーバ100においてプロセッサが情報として取得可能であればどのような方法で行われてもよい。例えばユーザが携帯情報端末900m上で毎日指定する時刻がサーバ100に送信されてもよい。または、アカウント作成時に入力されるユーザ情報の項目に就寝時刻が含まれてもよい。
また、複数件の感情推定の結果に対して、1件の時間幅のあるイベントが推定されてもよい。例えばある時間内に得られた複数件の感情推定の結果と、ユーザの居場所を示すイベント関連データとに基づいて、映画鑑賞のように時間幅のある1つのイベントが推定されてもよい。その上で、例えば映画鑑賞中の最高強度を示した感情と終了時の感情とに基づいて、この映画鑑賞のイベント全体に対するユーザの感情推定が実行されてもよい。この場合は、この感情推定において判定された感情の種別が快感情であれば、この映画鑑賞に関するコンテンツが提示の候補に含まれる。
また、図6に示される例は、本実施の形態におけるコンテンツ提示システム10で利用される感情ログデータベースの構成を限定するものではない。
例えばイベントのカテゴリを示す情報はハッシュタグではなくてもよい。また、「感情状態」の欄に入力されている感情状態を示すスコアに代えて、又は加えて、判定された感情の種別(感情種別情報)及び強度(感情強度情報)が感情ログデータベースに記録されてもよい。
[2−3.携帯情報端末の動作]
次に、コンテンツ提示システム10における携帯情報端末901mの動作について、図7に示される携帯情報端末901mの動作を示すフロー図に沿って具体的に説明する。なお、以下は図3の概要で説明した携帯情報端末901mの動作についての、より詳細な説明である。
携帯情報端末901mは、生体センサ920が計測して取得した生体データを受信して取得し、位置情報取得部930等からイベント関連データを取得する(ステップS71)。そして取得した生体データ及びイベント関連データをサーバ100に随時送信する(ステップS72)。
ステップS71及びS72は、コンテンツのデータの送信要求のタイミングまで繰り返される(ステップS73でNO)。この送信要求のタイミングとは、例えばユーザが送信を要求する操作をしたときである。あるいは携帯情報端末901m上で送信要求の時刻が指定できる場合は、その指定された時刻であってもよい。
コンテンツのデータの送信要求時が来た時(ステップS73でYES)、携帯情報端末901mはコンテンツデータ送信要求及びユーザ認証用データをサーバ100に送信する(ステップS74)。
その後、携帯情報端末901mは、サーバ100からコンテンツのデータを受信し(ステップS75)、受信したデータを用いてユーザにコンテンツを提示する(ステップS76)。例えば携帯情報端末901mの画面に、画像データが表示される。
なお、2−2.のサーバ100の動作として記載したステップS3360に対応して、携帯情報端末901mは、ユーザに対してコンテンツのデータの準備ができた旨等の通知をしてもよい。この通知は、例えばサーバ100からデータの準備ができた旨の通知を受けた場合、又はデータの受信が完了した時(ステップS76の前)になされる。また、この通知には、例えば画面での表示、音、振動、若しくは光、又はこれらの組み合わせが用いられる。
[3.効果等]
本実施の形態におけるコンテンツ提示システム10は、生体センサと、感情推定装置と、イベント推定装置と、データ生成装置と、端末装置とを備える。
生体センサは、ユーザの生体データを計測して取得する。本実施の形態では、ユーザの生体データを計測して取得し、通信ネットワークを介してこの生体データを情報処理装置であるサーバ100に送信する生体センサ920w及び920mがそれぞれこの生体センサの例である。サーバ100では、この生体データが通信インタフェースによって受信され、メモリに記録される。
感情推定装置では、この生体データを用いて、ユーザが呈した感情についての感情推定が実行される。本実施の形態では、情報処理装置であるサーバ100において、所定の処理によって定量化された生体データを用いて感情推定をするプロセッサによって実現されるデータ解析部120がこの感情推定装置の例である。
イベント推定装置は、感情推定装置によって判定された感情を発生させたイベントを推定する。本実施の形態では、情報処理装置であるサーバ100において、判定された感情を発生させたイベントをイベント関連データに基づいて推定する、プロセッサによって実現されるデータ解析部120がこのイベント推定装置の例である。
データ生成装置は、特定された上記の快感情イベントに関連するコンテンツのデータを生成し、所定のタイミングで出力する。本実施の形態では、情報処理装置であるサーバ100において、感情ログデータベースを参照して、特定された快感情イベントに関連するコンテンツのデータを生成する、プロセッサによって実現されるデータ生成部130が、データ生成装置の例である。
端末装置は、データ生成装置が出力したデータを用いて、コンテンツをユーザに提示する。本実施の形態では、データ生成部130が生成したコンテンツのデータを、通信ネットワークを介して受信し、このデータを用いてコンテンツをユーザに提示する携帯情報端末901m及び情報提示装置900がそれぞれ、ユーザが利用する端末装置の例である。
このようなコンテンツ提示システム10は、ユーザに快感情を発生させたイベントをユーザに想起させるためのコンテンツを提示ことができ、また、快感情想起行動の実施とその継続を促す。
ここで、所定のタイミングとは、ユーザが予め指定した時刻であってもよい。快感情想起行動は、就寝前にするのが効果的とされている。ユーザは自分の日々の生活周期やその日の予定に合わせて、就寝前に快感情想起行動を実践することができる。また、上記のようなコンテンツの提示のために利用可能な端末装置であれば、この送信についての通知をユーザに向けて発することができる。これにより、ユーザが快感情想起行動をし忘れる確率を抑えることができる。
また、イベントの推定は、例えばユーザの位置を示す位置情報、ユーザの行動予定を示すスケジュール情報、ユーザによって撮像された画像データ等を用いて特定される。これらは、サーバ100がユーザから直接、又は携帯情報端末901mを介して入手可能な情報であって、イベントの推定の手掛かりとなる情報の例である。
また、コンテンツ提示システム10では、サーバ100において実行される感情推定から端末装置によるコンテンツ提示までの工程は、ユーザの生活周期のうちの活動時間に実行される。そして、コンテンツ提示の工程でユーザに提示されるコンテンツは、この活動時間でユーザに快感情を発生させた快感情イベントを想起させるためのコンテンツである。
これにより、活動時間の終わりである就寝前に、その活動時間の快感情イベントの想起である快感情想起行動の実践がユーザの生活周期に組み込まれる。
また、ユーザにコンテンツが提示されているときにも、生体センサがユーザの生体データを計測して取得し、感情推定装置がこの生体データに基づいてユーザの感情推定をしてもよい。そしてこの感情推定において判定されたユーザの感情の種別が不快感情である場合は、コンテンツ提示器はこのコンテンツの提示を停止してもよい。
これにより、例えば誤った感情推定の結果に基づいて提示されたコンテンツがユーザに不快な感情を発生させた場合に、その提示の段階でユーザの快感情想起行動の継続への悪影響を抑えることができる。
または、コンテンツのデータが複数生成されて、ユーザに提示されていないコンテンツが他にもある場合は、この提示の停止後に、未提示のコンテンツから選択されたコンテンツがユーザに提示されてもよい。これにより、ユーザの快感情想起行動の支援を継続することができる。
(実施の形態2)
実施の形態2におけるコンテンツ提示システムは、日々の快感情想起行動の効果を測定し、その結果に応じて、コンテンツを提示して想起させようとするイベントの選択の基準に変化を加えるフィードバックをさらに含む点が実施の形態1のコンテンツ提示システム10と異なる。以下、このようなフィードバックを含む、本実施の形態におけるコンテンツ提示システムについて説明する。
なお、本実施の形態におけるコンテンツ提示システムの概要は、図1に示されるコンテンツ提示システム10の概要と共通であり、ここでは説明を省略する。
[1.構成]
図8は、実施の形態2におけるコンテンツ提示システムの構成を示すブロック図である。本実施の形態におけるコンテンツ提示システム10Aは、実施の形態1におけるコンテンツ提示システム10のサーバ100に替えて、サーバ100Aを備える点が異なる。
サーバ100Aは、記憶部150に活動時感情ログデータベース、起床時感情ログデータベース、及びカテゴリ内訳ログが記憶される点がサーバ100と異なる。また、データ解析部120A及びデータ生成部130Aは、サーバ100Aが備えるプロセッサがプログラムを実行することで提供される構成要素である。それぞれ実施の形態1におけるデータ解析部120及びデータ生成部130がする処理と一部異なる処理を行う。その他の構成要素についてはサーバ100と共通であり、ここでは説明を省略する。
活動時感情ログデータベースは、実施の形態1における感情ログデータベースに相当し、データ構造は図6に示される感情ログデータベースと共通であるため、構造についての詳細な説明は省略する。
起床時感情ログデータベースには、コンテンツ提示システム10Aでコンテンツの提示が実行された後の起床時に実行される感情推定の結果が記録される。図9は、起床時感情ログデータベースのデータ構造の例を示す図である。
感情推定の方法は実施の形態1で実行される方法と基本的に共通であり、まず、生体センサ920が計測して取得する生体データがサーバ100Aに送信される。サーバ100Aでは、データ解析部120Aがこの生体データを解析して感情推定をする。なお、実施の形態1の説明で述べたように、この感情推定では、感情の種別の判定とあわせて感情の強度を推定することができる。以下では、このような感情の種別の判定と強度の推定とを含めて感情推定ともいう。
起床時感情ログデータベースの感情状態の欄に含まれるのは、日々の起床時の生体データの解析の結果(感情種別情報及び感情強度情報)である。また、快感情強度前回比の欄は、今回の解析の結果を前回の結果と、快感情の強度という観点で比較した結果を示す。例えば+は上昇、−は低下、0は維持を示す値として入力されている。また、不快感情の場合は、快感情の強度としては負の値で扱う。
図10はカテゴリ内訳ログのデータ構造の例を示す図である。
カテゴリ内訳ログには、快感情イベントが属し得る各カテゴリにおいて、より強い快感情を発生させた上位3件のイベントに関連するコンテンツのうち、提示のために選択されたコンテンツが記録されている。このカテゴリは、実施の形態1において記載したように、各快感情イベントについて、その発生した時間帯等に基づいてデータ解析部120が分類して決定したカテゴリであり、活動時感情ログデータベースに示される。
図10に示されるカテゴリ内訳ログは、コンテンツが次のように選択されたことを示す。
1.各日に提示されたコンテンツはチェックマークが付された3件。
2.各カテゴリでは、高い快感情強度を発生させたイベントに関連するコンテンツが優先して選択された。
3.初期には、カテゴリ「勤務外」(C1)に属するイベントに関連するコンテンツのみが選択された。
4.その後の大まかな傾向として、C1に属するイベントに関連するコンテンツが徐々に減らされ、代わりにカテゴリ「勤務中」(C2)に属するカテゴリのイベントに関連するコンテンツが選択された。つまり、ユーザの就業時間中のカテゴリに属するイベントを想起させるためのコンテンツよりも、就業時間外のカテゴリに属するイベントを想起させるためのコンテンツが、前記ユーザへの提示のために優先して選択された。
5.最終的には、C2に属するイベントに関連するコンテンツのみが選択されるようになった。
例えば下記のモデルケースのような場合に、いずれかのカテゴリに属するイベントを想起させるコンテンツが図10に示されるように提示される。
あるユーザは日常の仕事で強いストレスを感じることが多く、抑うつ的な気分を覚える時間が増えた。そこで快感情想起行動による感情制御を実践するためにコンテンツ提示システム10Aの利用を2016年の3月に開始した。
この時期のこのユーザには、勤務時間外でも勤務中のことを思い出すと不快な感情が発生する傾向があったため、C1に属する快感情イベントを想起させるためのコンテンツに絞った提示されるよう初期設定がなされた。
一方で、このユーザは勤務中にも喜びなどの快感情を覚えることがないわけではなく、仕事のことを考えても気分よく過ごせるようになりたいという目的がユーザにあった。
この目的を踏まえて、提示するコンテンツの中に、C2に属する快感情イベントを想起させるためのコンテンツが将来的に含まれるように設定された。
これらの設定に基づくコンテンツ提示システム10Aの動作として、まずは、C1に属する快感情イベントを想起させるためのコンテンツのみを提示して、快感情想起行動の良い効果が一定期間継続して表れるか確認された。この効果の継続の確認は、上記の起床時感情ログデータベースに記録される、起床時の快感情の強度の前回からの変化(快感情強度前回比)に基づく。
この一定期間の継続があったことが確認されると、C2に属する快感情イベントを想起させるためのコンテンツの提示が開始された(図10の4月26日)。この段階では、提示されるC2に属する快感情イベントを想起させるためのコンテンツは1件のみである。また、効果が出やすいと予想される、C2に属する快感情イベントのうち、最も強い快感情を発生させた快感情イベントを想起させるためのコンテンツが選択された。
以降、このユーザに提示される3件のコンテンツのうち、C1にする快感情イベントを想起させるためのコンテンツと、C2に属する快感情イベントを想起させるためのコンテンツの現状の内訳で、快感情想起行動による感情制御の良い効果が一定期間継続して表れたことが確認されてから、C1にする快感情イベントを想起させるためのコンテンツの提示件数を減らし、代わりにC2に属する快感情イベントを想起させるためのコンテンツの提示件数が増やされた。なお、件数を増やす際には、より強い快感情を発生させた快感情イベントを想起させるためのコンテンツから優先的に選択された。
また、逆に悪化している場合には、C2に属する快感情イベントを想起させるためのコンテンツの提示件数を減らし、代わりにC1に属する快感情イベントを想起させるためのコンテンツが増やされている(図10の5月6日と6月3日との間に1回)。
つまりコンテンツ提示システム10Aでは、快感情想起行動の効果を測定し、その効果に基づいて、提示するコンテンツが想起させる快感情イベントのカテゴリ別の内訳を変更するフィードバックが行われている。
以下、上記の構成で、このようなフィードバックを実行するコンテンツ提示システム10Aの動作について説明する。
[2.動作]
図11A〜図11Cを参照して、コンテンツ提示システム10Aの動作について説明する。
図11Aは、コンテンツ提示システム10A全体の動作周期を示すフロー図である。
コンテンツ提示システム10Aの動作周期は、ユーザの生活周期に沿う。ユーザの生活周期は、起床から就寝までの活動時間と、それ以外の就寝時間とからなり、ユーザはこの生活周期を繰り返す。コンテンツ提示システム10Aでは、ユーザの生活周期の繰り返しに合わせてこの動作周期が繰り返し実行される。なお、この動作周期をユーザの生活周期に合わせるために、コンテンツ提示システム10Aでは、例えばコンテンツ提示の終了から、その後にユーザの明示的な操作があるまでは就寝時間として扱われてもよい。または、ユーザの活動時間であるか就寝時間であるかの判定のために、ユーザ情報の一部として生活周期に関する情報が取得されて利用されてもよいし、生体データ、又はイベント関連データに含まれる位置情報若しくはスケジュール情報、携帯情報端末901mに設定されているアラームの時刻等の各種の情報が利用されてもよい。例えば生体データ取得装置900wがスマートグラスである場合に、就寝時間の開始後にユーザがこのスマートグラスを装着したことを感知したときに、この就寝時間の終了と判定されてもよい。
ステップS81において、ユーザの就寝時間である場合は、コンテンツ提示システム10Aは待機状態を維持する(ステップS82)。待機状態にあるコンテンツ提示システム10では、繰り返し行われるステップS81の判定のためのデータの収集や計時が必要に応じてなされる。
ユーザの活動時間である場合(ステップS81で活動時間)、コンテンツ提示システム10Aではデータ収集が行われる(ステップS83)。このデータ収集については、図11Bを参照して詳細を説明する。図11Bは、コンテンツ提示システム10Aによるデータ収集の手順を示すフロー図である。
まず、生体センサ920によって、ユーザの生体データが計測されて取得される(ステップS830)。取得された生体データはサーバ100Aに送信され、データ解析部120Aによって解析され、感情推定がなされる(ステップS831)。つまり、ユーザが呈した感情の種類の判定及びその強度の推定がされる。
次に、データ解析部120Aは、ステップS831で判定された感情が起床時感情であるか否かを判定する(ステップS832)。このステップS832の判定は、例えば就寝時間の終了後に初めてした感情推定であるか否かに基づいてされる。または、携帯情報端末901mを通じてユーザに問い合わせられてもよい。
判定された感情が起床時感情である場合(ステップS832でYES)、データ解析部120Aは、感情推定の結果を起床時感情ログデータベースに記録する(ステップS836)。図9の例でいえば、データ行の各行が、データ解析部120AによるステップS836の動作によって記録されたレコードである。
判定された感情が起床時感情ではない場合(ステップS832でNO)、携帯情報端末901mによって位置情報等を含むイベント関連データが取得されて、サーバ100Aに送信される。サーバ100Aでは、データ解析部120Aによってイベント関連データが解析されてイベントが推定され(ステップS834)、感情推定の結果と合わせて活動時感情ログデータベースに記録される(ステップS835)。なお、起床時感情ログデータベースへの記録(ステップS836)が実行された後は、次にステップS81で就寝時間の終了が判定されるまで、ステップS831からステップS832がスキップされてステップS833へ進んでもよい。
実施の形態1の説明で述べたのと同様のコンテンツ送信要求があり、ユーザ認証が成功した時、コンテンツ提示システム10AはステップS81からステップS84に進む。ステップS84については、図11Cを参照して詳細を説明する。図11Cは、コンテンツ提示システム10Aによるコンテンツ提示の手順を示すフロー図である。
まず、サーバ100Aにおいて、データ生成部130Aは、認証されたユーザのコンテンツ提示システム10Aの利用の状況が利用初期であるか否かを判定する(ステップS840)。データ生成部130Aは、この判定を例えばこのユーザのコンテンツ提示システム10Aの利用に関する各種のログを参照して行う。または、ユーザ情報にある使用開始日の情報を参照して判定されてもよい。
利用初期である場合(ステップS840でYES)、データ生成部130Aは、初期設定で指定されたカテゴリに属するイベントのコンテンツから、n件のコンテンツを選択してそのデータを生成する(ステップS841)。nは提示されるコンテンツの件数を示す自然数の値であり、設定で変更し得る。図10のカテゴリ内訳ログは、この設定がn=3の場合の例である。なお、カテゴリ内では、各イベントが発生させた快感情の強度が参照され、この強度がより高いイベントが想起対象イベントとして優先して選択される。そして、この想起対象イベントを想起させるためのコンテンツが優先して選択される。なお、各イベントのカテゴリ、快感情の強度、コンテンツのデータの所在については、データ生成部130Aは活動時感情ログデータベースを参照する。
選択したコンテンツ(以下、選択コンテンツともいう)のデータの生成が完了すると、データ生成部130Aはこのデータを携帯情報端末901m又は情報提示装置900に送信する。携帯情報端末901m等は、このデータを用いて選択コンテンツをユーザに提示する(ステップS842)。上記のモデルケースでは、3月2日から4月25日まで、ステップS841以降のこの手順で、C1に属する想起対象イベントを想起させるためのコンテンツが3件ユーザに提示されている。別の表現をすれば、この期間では、各コンテンツが想起させるイベントが属するカテゴリがC1であるかC2であるかに基づいて、そのコンテンツの提示の可否が判断されて提示が可能なコンテンツが選択されている。
また、データ生成部130Aは、選択したn件のコンテンツが想起させるイベントが属するカテゴリの内訳をカテゴリ内訳ログに記録する。図10の例でいえば、データ行の1行目及び2行目がデータ生成部130AによるステップS843の動作によって記録されたレコードである。
また、利用初期ではない場合(ステップS840でNO)、データ生成部130Aは起床時感情ログデータベースを参照する。そして、起床時感情ログデータベースに含まれる起床時の快感情強度(感情強度情報)に基づいて、コンテンツ提示基準を選択する。コンテンツ提示基準は、カテゴリごとの想起対象イベントの件数(内訳)を規定する。データ生成部130Aは、選択したコンテンツ提示基準どおりに提示するn件のコンテンツのカテゴリ別の内訳を決定する(ステップS844)。例えば、コンテンツ提示システム10Aの利用の開始後、快感情強度の前回比が上昇又は維持が所定の回数以上続いた場合、データ生成部130Aは、初期設定のカテゴリに属する想起対象イベントが1件少なく、他のカテゴリに属する想起対象イベントが1件多いコンテンツ提示基準を選択する。上記のモデルケースでは、例えば4月26日にこのようなコンテンツ提示基準が選択されている。また、快感情強度の前回比が低下した場合、データ生成部130Aは、現状から、初期設定のカテゴリに属する想起対象イベントが1件多く、他のカテゴリに属する想起対象イベントが1件少ないコンテンツ提示基準を選択する。上記のモデルケースでは、5月6日と6月3日との間のいずれかの日にこのようにコンテンツ提示基準が選択されている。
次にデータ生成部130Aは、ステップS844で決定したカテゴリごとの想起対象イベントの数の内訳に従って、各カテゴリに属するイベントを想起させるためのコンテンツから合計n件のコンテンツを選択し、そのデータを生成する(ステップS845)。この場合もステップS841と同じく、各カテゴリに属するイベントが発生させた快感情の強度が参照され、この強度がより高いイベントが想起対象イベントとして優先して選択される。そして、この想起対象イベントを想起させるためのコンテンツが優先して選択される。なお、各イベントのカテゴリ、快感情の強度、コンテンツのデータの所在については、活動時感情ログデータベースが参照される。
選択コンテンツのデータの生成が完了すると、データ生成部130Aは、このデータを携帯情報端末901m又は情報提示装置900に送信する。携帯情報端末901m等は、このデータを用いて選択コンテンツをユーザに提示する(ステップS846)。上記のモデルケースでは、4月26日から、ステップS844以降のこの手順でC1に属する想起対象イベントを想起させるためのコンテンツと、C2に属する想起対象イベントを想起させるためのコンテンツとで合計3件がユーザに提示されている。別の表現をすれば、この期間では、各コンテンツが想起させるイベントが属するカテゴリ別に、提示されるコンテンツの件数が決定されている。
また、データ生成部130Aは、選択したn件のカテゴリの内訳をカテゴリ内訳ログに記録する。図10の例でいえば、データ行の3行目以降がデータ生成部130AによるステップS847の動作によって記録されたレコードである。
このようにして、コンテンツの提示(ステップS84)が実行された後、コンテンツ提示システム10AはステップS81に戻り、データ収集(ステップS83)が再び実行されるまで待機する(ステップS82)。次にデータ収集(ステップS83)が実行されると、ユーザの起床時の感情推定が実行されて起床時感情ログデータベースに記録される(ステップS830〜S832、S836)。このときの快感情の強度の前回比に基づいて、カテゴリごとの想起対象イベントの件数(内訳)を規定するコンテンツ提示基準が選択される。これが、コンテンツ提示システム10Aにおけるフィードバックである。
なお、本実施の形態においても、選択コンテンツの提示中に実施の形態1の説明で述べた第2感情推定工程が実行され、不快感情であると判定された場合に他のコンテンツを提示がされてもよい。データ生成部130Aは、この新たに提示するコンテンツの選択をする際にも、ステップS844と同じくカテゴリ内訳ログと活動時感情ログデータベースとを合わせて参照し、いずれのカテゴリに属するイベントを想起させるためのコンテンツを提示するか判定する。
また、上記の説明では、各イベントが属するカテゴリはC1又はC2のひとつであるが、各イベントは図6のカテゴリ欄に示されるように複数のカテゴリに分類されてもよい。
以上がコンテンツ提示システム10Aの動作である。なお、上記の説明はコンテンツ提示システム10Aの一例であり、本実施の形態におけるコンテンツ提示システム10Aの動作はこの説明の内容に限定されない。
例えば、上記の説明では、今回の起床時の快感情強度が直前回の起床時の快感情強度とのみ比較されてその向上又は低下が判定され、この判定の結果の蓄積に基づいて、コンテンツ提示基準が選択され、提示するコンテンツで想起させるイベントのカテゴリの内訳が決定されている。しかし、この判定における比較の対象はこの例に限定されない。例えば今回の起床時の快感情強度と直前回までの一定期間の起床時の快感情強度の平均とが比較されてもよい。または、今回を含む一定期間の起床時の快感情強度の平均と、直前回までの一定期間の起床時の快感情強度の平均とが比較されてもよい。さらに別の例としては、比較は一定期間に一度、例えば毎週決まった曜日のみに実行されて、週単位での起床時の快感情強度の平均が比較されてもよい。この場合、一定期間の前後でユーザの快感情の強度が低下していない(維持又は上昇している)場合には、ユーザに提示されるコンテンツとして、就業時間中のイベントを想起させるためのコンテンツが選択されてもよい。
また、上記の説明では、前回の快感情強度から今回の快感情強度の変化である快感情強度前回比がフィードバックとして用いられている。つまり、前回の快感情強度を基準として今回の快感情強度が評価されている。これに代えて、今回の快感情強度を所定の基準値に照らして評価してもよい。また、この基準値は、コンテンツ提示システム10Aの利用の長さやユーザの感情の履歴によって異なるものが用いられてもよい。例えば、快感情強度のスコアがある基準点をクリアすること、又はある基準点以上の快感情強度のスコアが10回連続で続くことが、カテゴリ別の内訳を変更する条件であってもよい。
また、上記の説明では、各コンテンツが想起させるイベントが属するカテゴリに基づいて、ユーザへの提示の可否又はカテゴリ別の提示コンテンツの件数が決められているが、さらにカテゴリ別の提示の順序が決められてもよい。例えば複数件のコンテンツの提示においては、最後のコンテンツの印象はユーザに残りやすい。この点を考慮し、例えば上記のモデルケースでは、「勤務中」のカテゴリに属するイベントを想起させるコンテンツの提示を始めた直後は、このコンテンツは3件のコンテンツのうち、1番目又は2番目に提示するとしてもよい。また、その後、このコンテンツを3番目に提示したときに、次回起床時のユーザの感情状態が前回よりも悪化している場合(快感情の強度が低下している又は不快感情が発生している場合)、ふたたびこのカテゴリのイベントを想起させるためのコンテンツを1番目又は2番目に提示するとしてもよい。
[3.効果等]
本実施の形態におけるコンテンツ提示システム10Aは、生体センサと、感情推定装置と、イベント推定装置と、データ生成装置と、端末装置とを備える。
生体センサは、ユーザの生体データを計測して取得する。本実施の形態では、ユーザの生体データを計測して取得し、通信ネットワークを介してこの生体データを情報処理装置であるサーバ100Aに送信する生体センサ920w及び920mがそれぞれこの生体センサの例である。サーバ100Aでは、この生体データが通信インタフェースによって受信され、メモリに記録される。
感情推定装置は、この生体データを用いて、ユーザが呈した感情の判定及びその快感情としての強度(快感情強度)を推定する。本実施の形態では、情報処理装置であるサーバ100Aにおいて、所定の処理によって定量化された生体データを用いて感情推定を実行するプロセッサによって実現されるデータ解析部120Aがこの感情推定装置の例である。
また、この感情推定装置は、快感情強度の推定を、コンテンツの提示を受けたユーザの次回の起床時にも実行する。
そしてデータ生成装置は、この起床時の快感情強度の推定結果に基づいてコンテンツ提示基準を選択し、選択したコンテンツ提示基準に従って、データを生成するコンテンツを選択する。
この快感情強度の推定結果は、前回のコンテンツの提示に対するユーザの感情面での反応であり、これをフィードバックとして用いて、次回のコンテンツの提示によってユーザに想起させるイベントである、想起対象イベントが選択される。これにより、ユーザの感情に悪影響を与えるイベントを想起させるようなコンテンツを提示する可能性が抑制され、その結果、快感情想起行動の継続を支援することができる。
より具体的には、例えばイベントは、それぞれ予め1つ以上のカテゴリに分類される。そしてコンテンツ提示基準は、これらのカテゴリごとの想起対象イベントの件数(内訳)を規定する。
データ生成装置は、選択したコンテンツ提示基準を満たすように、活動時間において特定した前記少なくとも1つの快感情イベントの中から、コンテンツを提示することでユーザに想起させる想起対象イベントを選択する。そして選択した想起対象イベントに関連するコンテンツのデータを生成する。本実施の形態では、情報処理装置であるサーバ100Aにおいて、起床時感情ログデータベースを参照してコンテンツ提示基準を選択し、活動時感情ログデータベースを参照して、想起対象イベントを選択し、選択したイベントの想起させるためのコンテンツのデータを生成するプロセッサによって実現されるデータ生成部130Aが、データ生成装置の例である。
端末装置は、データ生成装置が出力したコンテンツのデータを用いて、コンテンツをユーザに提示する。本実施の形態では、データ生成部130Aが生成したコンテンツのデータを、通信ネットワークを介して受信し、このデータを用いてコンテンツをユーザに提示する携帯情報端末901m及び情報提示装置900がそれぞれ、ユーザが利用する端末装置の例である。
これにより、例えば勤務中にストレスを日頃から感じて不快な感情を抱いているユーザに、この不快な感情の軽減を図るために、初期段階では「勤務外」のカテゴリに属するイベントを優先して用いて快感情想起行動を実践させ、コンテンツ提示後のユーザの感情状態の変化に合わせて徐々に「勤務中」のカテゴリに属するイベントでの快感情想起行動を促すことができる。
(実施の形態3)
実施の形態1におけるコンテンツ提示システム10、及び実施の形態2におけるコンテンツ提示システム10Aでは、コンテンツのデータのソースには、ユーザ自身が利用する携帯情報端末901mで撮像などによって取得、入力、又はアクセスしたデータが用いられている。
以下に説明する実施の形態3におけるコンテンツ提示システムでは、さらに広いコンテンツのデータのソースが利用される。なお、本実施の形態におけるコンテンツ提示システムの構成は、コンテンツ提示システム10又はコンテンツ提示システム10Aの構成と基本的に同じであるため、図示を省略する。また、本実施の形態におけるコンテンツ提示システムの各構成要素は、コンテンツ提示システム10又はコンテンツ提示システム10Aの参照符号を用いて示す。
例えばユーザの家族又は友人等、ユーザ以外の人物であって、ユーザと繋がりのある人物が撮像してSNSに投稿した画像等のコンテンツのデータ(以下、外部画像データ又は単に外部データともいう)であって、ユーザ自身がアクセスしていないものが選択されて用いられてもよい。
このようなデータは、例えばコンテンツ提示システムのデータ生成部130(又はデータ生成部130A、以下、本実施の形態において同様)が感情ログデータベースを参照してカテゴリの欄にある情報を取得し、この取得した情報に基づいてSNS上で検索して得た外部画像データを取得する。また、データ生成部130は、感情ログデータベースを参照して、取得した外部画像データの中から、ユーザに快感情を発生させる可能性が高い外部画像データを選択する。そして選択した外部画像データを表示させるための通知がサーバ100からユーザの端末装置に出力される。
このようなデータ生成部130は上述のとおりサーバ100(又はサーバ100A、以下、本実施の形態において同様)が備えるプロセッサがプログラムを実行することで実現される構成要素であり、さらに人工知能の技術を用いて実現されてもよい。
なお、外部データの場所は上記のようなSNSなどに限定されず、データ生成部130がアクセス可能な場所であればどこでもよい。例えばユーザの家族や友人も本実施の形態のコンテンツ提示システムのユーザ(以下、本実施の形態では他ユーザともいう)である場合には、他ユーザがアップロードしてサーバ100に保管されたコンテンツのデータが上記の外部データとして利用されてもよい。
また、外部データの場所は、ユーザによってサーバ100にユーザ情報の一部として登録されることでデータ生成部130によってアクセス可能にされてもよい。例えば家族や友人の投稿が表示されるSNSのページのURLが登録され、データ生成部130は、ユーザ情報を参照し、このURLを取得して外部データにアクセスする。
このようなコンテンツの提示は、実施の形態1及び2の場合と同様に、ユーザの快感情想起行動の実践を支援するという目的に合致するものが選択された上でなされる。これにより、活動時間中には多忙等の理由で自分で画像を撮影したり、他の人がアップロードした情報にアクセスしたりできないユーザにも、より内容の豊かなコンテンツを提示して快感情想起行動の実践を支援することができる。
また、本実施の形態は、快感情想起行動の支援を目的としない場合でも、ユーザに快感情を発生させる可能性の高い外部データを選択して、ユーザが利用する端末装置上で提示するシステムとしても展開可能である。例えば、帰宅途上のユーザが端末装置を操作してするリクエストに応じて、その日にユーザ自身又はユーザの家族等に起こったイベントに関連する画像データ(外部画像データを含む)が取得され、端末装置を介してユーザに表示される。
あるいは、このようにして表示された画像データに対して、ユーザがさらに選択や評価等の反応を示す操作を端末装置上でして、この反応を示す情報が端末装置からサーバ100に送信されてもよい。サーバ100では、データ生成部130が、この反応を示す情報に基づいて、当該ユーザに就寝前に提示するコンテンツのデータを生成する。
(実施の形態4)
以下に説明する実施の形態4におけるコンテンツ提示システムでは、ユーザに提示するコンテンツのデータの生成において、このユーザ以外のユーザの感情推定の結果を含む感情ログデータベースが参照される。ここでの「ユーザ以外のユーザ」とは、例えば両ユーザが共感し合う可能性が高い、家族や友人等である。なお、本実施の形態におけるコンテンツ提示システムの構成は、コンテンツ提示システム10又はコンテンツ提示システム10Aの構成と基本的に同じであるため、図示を省略する。また、本実施の形態におけるコンテンツ提示システムの各構成要素は、コンテンツ提示システム10又はコンテンツ提示システム10Aの参照符号を用いて示す。
より具体的には、例えば、ユーザ(以下、本実施の形態では当ユーザともいう)の家族や友人もコンテンツ提示システムのユーザである(以下、他ユーザともいう)場合、コンテンツ提示システムのデータ解析部120(又はデータ解析部120A、以下、本実施の形態において同様)は、実施の形態1でのユーザの感情推定と同様の方法で、特定期間における他ユーザの感情推定を実行する。つまり、通信インタフェース140は、他ユーザから計測して取得される生体データ等を、他ユーザが利用する携帯情報端末901m等の端末装置から受信する。データ解析部120は、この生体データ等を用いて他ユーザの感情推定を実行する。感情推定の結果は、この感情を発生させたイベントと推定されたイベントと関連付けて、他ユーザの感情ログデータベース(他ユーザデータベース)に記録される。他ユーザの感情ログデータベースには、上記の特定期間(他ユーザ特定期間)と、上記の感情推定の結果である、他ユーザが呈した感情と感情状態情報(他ユーザ感情種別情報、他ユーザ感情強度情報)と、推定されたイベントを示す情報(他ユーザイベント情報)とが関連付けて1レコードとして記録されている。なお、他ユーザの特定期間(他ユーザ特定期間)と当ユーザの特定期間とは、一致していてもよいし異なっていてもよい。
そして他ユーザの感情ログデータベースのレコード(他ユーザ感情履歴情報)に含まれる他ユーザ感情種別情報が快感情を示す場合、データ解析部120は、このレコードで示されるイベントは、当ユーザにも快感情を発生させる可能性が高いイベントであると判定する。
このように判定したデータ解析部120は、後にデータ生成部130(又はデータ生成部130A、以下、本実施の形態において同様)が当ユーザに提示するためのコンテンツのデータを取得、生成する際(ステップS335)に、他ユーザの感情ログデータベースに含まれる上記のレコードの情報を利用できるようにする。具体的には、例えば上記のレコードに対応するイベントの情報を含むレコードが当ユーザの感情ログデータベースにもある場合(時刻、場所、カテゴリから判断)は、当ユーザの感情ログデータベースのこのレコードに、他ユーザイベント情報(カテゴリ欄及びコンテンツデータソースのいずれか一方又は両方)がコピーされてもよい。当ユーザの感情ログデータベースに上記のレコードに対応するイベントの情報を含むレコードがない場合、他ユーザの当該レコード全体がコピーされてもよい。これにより、快感情を示す他ユーザ感情種別情報に関連付けられた他ユーザイベント情報を用いて、他ユーザイベントを示す他ユーザ画像データを生成することができる。そして、他ユーザ画像データを、当ユーザの利用する端末装置に送信して当ユーザに提示することができる。本実施の形態でも、この他ユーザ画像データを当ユーザのユーザ画像データとして表示させるための通知が実施の形態1と同様になされてもよい。
これにより、当ユーザが他ユーザと一緒に経験した快感情イベントを想起させるコンテンツとして、より充実したコンテンツを当ユーザに提示することができる。
なお、各レコードで示されるイベントが当ユーザにも快感情を発生させる可能性が高いか否かの判定は、上記では各レコードの他ユーザ感情種別情報が快感情を示すか否かに基づいてなされているがこれに限定されない。例えば、さらに各レコードのカテゴリ情報に当ユーザを示す情報が含まれる場合に、当ユーザに快感情を発生させる可能性が高いと判定されてもよい。これにより、他ユーザには快感情を発生させたイベントであっても当ユーザには関係のないイベントを示す他ユーザ画像データを、当ユーザに提示する画像データの候補から除外することができ、他ユーザのプライバシーが守られる。
また、他ユーザの感情ログデータベースからコピーされたイベント情報又はレコードには、コピーである旨を示すフラグが付加されてもよい。これらのコピーされたイベント情報又はレコードに基づくコンテンツには、その旨を示す情報が付加されて当ユーザに提示されてもよい。
また、当ユーザの感情ログデータベースに、他ユーザのあるレコードに含まれるイベント情報を含むレコードがない場合、上記では他ユーザのレコード全体が当ユーザの感情ログデータベースにコピーされたが、このレコードのコピーは実行されなくてもよい。このレコードに含まれる情報が、他ユーザが当ユーザに第一報として直に知らせたい情報の可能性があるためである。
また、本実施の形態では、コンテンツのデータが、ユーザによるイベントやコンテンツごとの判断なく自動的にユーザ間で共有され得る。このため、プライバシーの保護を考慮して、上記の「当ユーザ」と「他ユーザ」との関係については、ユーザ情報で双方が指定した場合にのみ成立する等、成立に条件が設けられるのが好ましい。
(その他)
上記の各実施の形態におけるコンテンツ提示システムの説明では、コンテンツの提示におけるユーザの関与について触れていないが、コンテンツの提示はユーザとインタラクティブにされてもよい。
図12は、各実施の形態において、コンテンツの提示の工程で表示される操作画面の一例を示す図である。
操作画面1200には、動画の再生前画像1210、選択されたコンテンツのランキングへのリンク1220、及び複数のアイコン1230が、ユーザが積極的に操作可能なオブジェクトとして含まれる。各オブジェクトが操作されると、互いに異なる態様でユーザにコンテンツが提示される。
例えば再生前画像1210がタッチされると、上記の各コンテンツ提示システムによって選択されたコンテンツのダイジェスト動画が再生される。このダイジェスト動画のデータは、データ生成部130又はデータ生成部130Aが生成するデータの例である。なお、このダイジェストの中では、複数件のコンテンツの提示順は固定である。
また、リンク1220がタッチされると、各コンテンツ提示システムによって選択されたコンテンツの画像データを所定の順序で並べたリスト、例えば想起させるイベントで発生した快感情の強度順でのリストが表示される。ユーザはそのリストから任意の画像データを選択して、対応する画像データを表示又は再生することができる。
このようなリストは、例えばサーバ100において、データ生成部130又はデータ生成部130Aが感情ログのデータベースを参照して生成し、このリストを表示させるための通知が、サーバ100からユーザが利用する端末装置に出力されてもよい。または、ユーザが利用する端末装置によって、サーバ100から受信したコンテンツのデータに基づいて生成されてもよい。
各アイコン1230がタッチされると、その他の形式でのコンテンツの一覧が表示される。図12の例では左からそれぞれ、静止画のみの一覧、動画のみの一覧、地図上でイベントの発生場所を示す一覧、時系列での一覧、感情種別と強度に基づくレーダーチャート上での一覧を表示させるアイコンである。
これらはあくまで例であるが、このようにユーザの希望に応じた態様での表示を可能にすることで、就寝前の快感情想起行動を、楽しめる日課としてユーザに認識させやすくなる。そしてこのように認識されることは、快感情想起行動の継続をユーザに促す。
なお、コンテンツの提示の工程で表示される画面は、図12に示されるような選択肢の多い操作画面に限定されない。例えばユーザ設定で、この選択肢のいずれかを選択し、日々のコンテンツの提示の工程では、選択された所定の表示態様で表示されてもよい。
このような操作画面は、例えば携帯情報端末901mや情報提示装置900にインストールされる、このシステム専用のアプリケーション上でユーザに提供されてもよいし、汎用のウェブブラウザで表示されるウェブページとしてユーザに提供されてもよい。
以上、一つ又は複数の態様に係るコンテンツ提示システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
また、本発明は、上記各実施の形態において、各構成要素が実行する動作の各工程をステップとして含む方法として実現されてもよい。
また、本発明は、ユーザからデータを取得する生体センサ及びユーザにコンテンツを提示するコンテンツ提示器と通信するための通信インタフェースと、感情推定装置、イベント推定装置、及びデータ生成装置とを備える1台以上のサーバ装置として実現されてもよい。
なお、一つ又は複数の態様に係るコンテンツ提示システムについては、感情推定装置、イベント推定装置、及びデータ生成装置は、生体センサ及びコンテンツ提示器と通信ネットワークを隔てたサーバに含まれるものとして説明したが、本発明はこれに限定されない。感情推定装置、イベント推定装置、及びデータ生成装置の一部又はすべてが、生体センサ又はコンテンツ提示器と同じ、ユーザが装着又は携帯する機器に含まれてもよい。この場合、感情推定装置は、例えばユーザが携帯する携帯情報端末が備えるプロセッサが、生体データを解析して感情推定をするプログラムを実行することで実現される構成要素であり、生体センサから通信ネットワークを介さずに生体データを取得する。また、イベント推定装置は、例えばユーザが携帯する携帯情報端末が備えるプロセッサが、イベント関連データを解析してイベントを推定するプログラムを実行することで実現される構成要素であり、携帯情報端末内で他のプログラムが扱うデータをイベント関連データとして取得する。
本発明は、心理学に基づく感情制御の実践を支援するためにコンテンツを提示するシステム及び方法に利用可能である。
10、10A コンテンツ提示システム
100、100A サーバ
110 ユーザ情報管理部
120、120A データ解析部
130、130A データ生成部
140 通信インタフェース
150 記憶部(メモリ)
500 基地局
800 無線中継器
900、900b、900h 情報提示装置
900m、901m 携帯情報端末
900w 生体データ取得装置
902m 通信端末
920、920m、920w 生体センサ
930 位置情報取得部
940 通信インタフェース
950 記憶部(メモリ)
960 制御部
1200 操作画面

Claims (14)

  1. ユーザから取得される生体データを受信する通信インタフェースと、
    受信した前記生体データが記録されるメモリと、
    前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定するプロセッサとを備え、
    前記プロセッサは、
    前記特定期間において前記ユーザに生じたイベントを推定し、
    前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、
    前記データベースに記録されている感情種別情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成し、
    前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する、
    情報処理装置。
  2. 前記プロセッサは、
    予め前記ユーザによって設定される当該ユーザの就寝時刻を示す情報を取得し、
    現在時刻が前記就寝時刻になると、前記端末装置に前記通知を出力する、
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記ユーザの就業時間を識別するための情報を取得し、
    前記画像データのうち、前記就業時間中に発生したイベントを想起させるための画像データよりも、前記就業時間外に発生したイベントを想起させるための画像データを優先して前記端末装置に出力する、
    請求項1又は2に記載の情報処理装置。
  4. 前記ユーザに前記就業時間外のイベントを想起させるための画像データを前記端末装置で一定期間視聴させた後に計測された前記ユーザの生体データに基づいて前記ユーザの感情を推定し、
    前記一定期間の前後で前記ユーザの感情が快感情の強度が低下していない場合は、前記画像データのうち、前記就業時間中に快感情を示したイベントを想起させるための画像データを前記端末装置に出力する、
    請求項3に記載の情報処理装置。
  5. 前記プロセッサは、
    前記データベースを参照して、提示する画像データが関連するイベントで発生した前記快感情の強度順でのコンテンツのリストを作成し、
    前記端末装置に前記コンテンツのリストを表示させるための通知を出力し、
    前記ユーザにより前記コンテンツのリストに含まれる任意の画像データが選択されると、対応する画像データを前記端末装置に表示させる、
    請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記プロセッサは、
    前記ユーザ以外のユーザである他ユーザによって前記プロセッサがアクセス可能な場所にアップロードされた外部画像データを取得し、
    前記データベースを参照して、前記外部画像データの中から前記ユーザに快感情を発生させる可能性の高い外部画像データを選択し、
    前記ユーザの利用する端末装置に、選択した前記外部画像データを表示させるための通知を出力する、
    請求項1に記載の情報処理装置。
  7. 前記通信インタフェースは、前記ユーザ以外のユーザである他ユーザの生体データを受信し、
    前記メモリには、受信した前記他ユーザの生体データが記録され、
    前記プロセッサは、
    特定期間において前記他のユーザが呈した感情の種別を判定し、
    当該特定期間において前記他ユーザに生じたイベントを推定し、
    当該特定期間と、前記他ユーザが呈した感情の種別を示す感情種別情報と、前記他ユーザに生じたイベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録し、
    当該データベースに記録されている他ユーザの感情種別情報が快感情を示す場合は、当該他ユーザの感情種別情報に関連付けられたイベント情報を用いて、前記他ユーザが快感情を示したイベントを示す画像データを生成し、
    前記ユーザの利用する端末装置に、当該画像データを表示させる、
    請求項1に記載の情報処理装置。
  8. 前記プロセッサによる、前記感情の種別の判定、前記イベントの推定、前記データベースへの記録、前記画像データの生成、及び前記端末装置への通知の出力は、前記ユーザの起床から就寝までの時間である活動時間ごとに実行され、
    生成される前記画像データは、当該生成が実行される活動時間と同じ活動時間内に特定したイベントのうち、快感情を示す感情種別情報と関連付けられて前記データベースに記録されているイベントを前記ユーザに想起させるために表示される画像データである、
    請求項1に記載の情報処理装置。
  9. 前記プロセッサはさらに、
    前記活動時間において、前記ユーザが起床した時に取得される前記ユーザの生体データに基づいて前記ユーザの快感情の強度を推定し、
    前記画像データとして、
    推定された前記快感情の強度に基づいてコンテンツ提示基準を選択し、
    選択した前記コンテンツ提示基準を満たすように、前記活動時間において特定した少なくとも1つの快感情イベントの中から、画像データを表示することで前記ユーザに想起させる想起対象イベントを選択し、選択した前記想起対象イベントを想起させるための画像データを生成する、
    請求項8に記載の情報処理装置。
  10. 前記プロセッサはさらに、推定した前記イベントをカテゴリに分類し、
    前記カテゴリごとの想起対象イベントの件数を規定する、選択された前記コンテンツ提示基準を参照し、
    前記活動時間において特定した前記少なくとも1つの快感情イベントの中から、分類された前記カテゴリに基づいて、選択した前記コンテンツ提示基準に規定されるカテゴリごとの件数の前記想起対象イベントを選択し、選択された前記想起対象イベントを想起させるための画像データを生成する、
    請求項9に記載の情報処理装置。
  11. 前記プロセッサはさらに、
    前記画像データを前記ユーザに表示している時に取得された前記ユーザの生体データに基づいて、前記ユーザに発生している感情の種別を判定し、
    当該判定された前記感情が不快感情である場合、前記画像データの前記ユーザへの表示を停止する、
    請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記プロセッサはさらに、
    前記画像データが複数生成されている場合、
    前記画像データの前記ユーザへの表示を停止した後に、表示が停止された前記画像データ以外の画像データを前記複数の画像データから選択して前記ユーザに提示する、
    請求項11に記載の情報処理装置。
  13. 情報処理装置が、
    ユーザから取得される生体データを、通信ネットワークを介して受信する工程と、
    受信した生体データをメモリに記録する工程と、
    受信した前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定する工程と、
    前記特定期間において前記ユーザに生じたイベントを推定する工程と、
    前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録する工程と、
    前記データベースに記録されている感情履歴情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成する工程と、
    前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する工程とを含む、
    情報処理装置の制御方法。
  14. コンピュータに、
    ユーザから取得される生体データを、通信ネットワークを介して受信する工程と、
    受信した生体データをメモリに記録する工程と、
    受信した前記生体データを用いて、特定期間において前記ユーザが呈した感情の種別を判定する工程と、
    前記特定期間において前記ユーザに生じたイベントを推定する工程と、
    前記特定期間と、前記感情の種別を示す感情種別情報と、推定された前記イベントを示すイベント情報とが関連付けられた感情履歴情報をデータベースに記録する工程と、
    前記データベースに記録されている感情履歴情報が快感情を示す場合は、当該感情種別情報に関連付けられた前記イベント情報を用いて、前記イベントを想起させるための画像データを生成する工程と、
    前記ユーザが利用する端末装置に、前記画像データを表示させるための通知を出力する工程とを含む、
    制御方法を実行させる制御プログラム。
JP2017006969A 2016-07-15 2017-01-18 コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム Active JP6952257B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/641,321 US20180018899A1 (en) 2016-07-15 2017-07-05 Information processing apparatus for presenting content, method for controlling the same, and control program
EP17179680.8A EP3270263A1 (en) 2016-07-15 2017-07-05 Information processing apparatus for presenting content, method for controlling the same, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016140703 2016-07-15
JP2016140703 2016-07-15

Publications (2)

Publication Number Publication Date
JP2018018492A true JP2018018492A (ja) 2018-02-01
JP6952257B2 JP6952257B2 (ja) 2021-10-20

Family

ID=61081883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017006969A Active JP6952257B2 (ja) 2016-07-15 2017-01-18 コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6952257B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029760B1 (ko) * 2018-10-17 2019-10-08 전남대학교산학협력단 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법
JP2020067844A (ja) * 2018-10-25 2020-04-30 マツダ株式会社 ウェルビーイング値推定システム
JP2020154870A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 選択装置、選択方法及び選択プログラム
JP2021516373A (ja) * 2018-08-21 2021-07-01 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム
WO2022269892A1 (ja) * 2021-06-25 2022-12-29 富士通株式会社 判定プログラム、判定方法および情報処理装置
WO2023112084A1 (ja) * 2021-12-13 2023-06-22 日本電気株式会社 制御装置、制御方法及び記憶媒体
WO2023228342A1 (ja) * 2022-05-26 2023-11-30 株式会社ジオクリエイツ 情報処理システム、情報処理装置、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005016137A1 (ja) * 2003-08-19 2005-02-24 Sony Corporation 画像表示システム、画像表示装置、画像表示方法
JP2008118527A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、表示装置、撮像方法、表示方法
JP2008263274A (ja) * 2007-04-10 2008-10-30 Sony Corp 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム
JP2011129035A (ja) * 2009-12-21 2011-06-30 Nec Corp コンテンツ配信制御システム、コンテンツ配信装置およびコンテンツ配信制御方法
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体
JP2016066389A (ja) * 2014-09-22 2016-04-28 ヤマハ株式会社 再生制御装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005016137A1 (ja) * 2003-08-19 2005-02-24 Sony Corporation 画像表示システム、画像表示装置、画像表示方法
JP2008118527A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、表示装置、撮像方法、表示方法
JP2008263274A (ja) * 2007-04-10 2008-10-30 Sony Corp 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム
JP2011129035A (ja) * 2009-12-21 2011-06-30 Nec Corp コンテンツ配信制御システム、コンテンツ配信装置およびコンテンツ配信制御方法
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体
JP2016066389A (ja) * 2014-09-22 2016-04-28 ヤマハ株式会社 再生制御装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021516373A (ja) * 2018-08-21 2021-07-01 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム
KR102029760B1 (ko) * 2018-10-17 2019-10-08 전남대학교산학협력단 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법
JP2020067844A (ja) * 2018-10-25 2020-04-30 マツダ株式会社 ウェルビーイング値推定システム
JP7132546B2 (ja) 2018-10-25 2022-09-07 マツダ株式会社 ウェルビーイング値推定システム
JP2020154870A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 選択装置、選択方法及び選択プログラム
JP7175810B2 (ja) 2019-03-20 2022-11-21 ヤフー株式会社 選択装置、選択方法及び選択プログラム
WO2022269892A1 (ja) * 2021-06-25 2022-12-29 富士通株式会社 判定プログラム、判定方法および情報処理装置
WO2023112084A1 (ja) * 2021-12-13 2023-06-22 日本電気株式会社 制御装置、制御方法及び記憶媒体
WO2023228342A1 (ja) * 2022-05-26 2023-11-30 株式会社ジオクリエイツ 情報処理システム、情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6952257B2 (ja) 2021-10-20

Similar Documents

Publication Publication Date Title
JP6952257B2 (ja) コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム
US10944708B2 (en) Conversation agent
US10387898B2 (en) Crowd-based personalized recommendations of food using measurements of affective response
US10198505B2 (en) Personalized experience scores based on measurements of affective response
CN105844072B (zh) 刺激提示系统、刺激提示方法、计算机以及控制方法
US20140350349A1 (en) History log of users activities and associated emotional states
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US9894415B2 (en) System and method for media experience data
JP5735592B2 (ja) 情報処理装置、制御方法および制御プログラム
US10346480B2 (en) Systems, apparatus, and methods for social graph based recommendation
JP6692239B2 (ja) 情報処理装置、情報処理システム、端末装置、情報処理方法及び情報処理プログラム
US20150061824A1 (en) Information processing device, determination method, and non-transitory computer readable storage medium
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
US20210204023A1 (en) Methods and systems for improving user experience
KR102384311B1 (ko) 이미지 기반으로 사용자 정보를 관리하는 디바이스 및 그 방법
US20200275875A1 (en) Method for deriving and storing emotional conditions of humans
JP4609475B2 (ja) 情報処理装置及び情報処理方法、並びに記録媒体
EP3270263A1 (en) Information processing apparatus for presenting content, method for controlling the same, and control program
JP2019020882A (ja) ライフログ活用システム、方法及びプログラム
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018503187A (ja) 被験者とのインタラクションのスケジューリング
CN106303701A (zh) 智能电视内容推荐方法及装置
JP2005044120A (ja) 情報蓄積装置、情報検索装置、情報蓄積方法、情報検索方法、情報蓄積システム、情報検索システム、クライアント装置およびサーバ装置
JP7416244B2 (ja) 音声生成装置、音声生成方法及び音声生成プログラム
JP2023092463A (ja) スマートウォッチ着用者の人生における特定のイベントをアーカイブする方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210910