JP2021057002A - コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム - Google Patents

コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム Download PDF

Info

Publication number
JP2021057002A
JP2021057002A JP2020095295A JP2020095295A JP2021057002A JP 2021057002 A JP2021057002 A JP 2021057002A JP 2020095295 A JP2020095295 A JP 2020095295A JP 2020095295 A JP2020095295 A JP 2020095295A JP 2021057002 A JP2021057002 A JP 2021057002A
Authority
JP
Japan
Prior art keywords
emotional state
user
image
images
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020095295A
Other languages
English (en)
Inventor
吹野　美和
Yoshikazu Fukino
美和 吹野
宏樹 竹内
Hiroki Takeuchi
宏樹 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2021057002A publication Critical patent/JP2021057002A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

【課題】ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる技術を提供する。【解決手段】コンテンツ選択方法は、コンピュータが、少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、ディスプレイに複数の画像を選択可能に表示させ、複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度を、ユーザの現在の感情状態を示す現在感情状態として取得し、ユーザが目標とする感情状態を示す目標感情状態を取得し、現在感情状態から目標感情状態に変化させるためのコンテンツを決定し、コンテンツを出力する。【選択図】図１０

Description

本開示は、ユーザの感情状態を変化させるためのコンテンツを選択する技術に関するものである。
従来、感情状態を変化させるためのコンテンツをユーザに提供するコンテンツ提供方法が存在している。
例えば、特許文献１におけるコンテンツ提供方法は、ユーザが目標とする感情状態を示す目標感情状態値を取得し、ユーザの生体データを取得し、生体データに基づいて、ユーザの現在の感情状態を示す現在感情状態値を算出し、目標感情状態値と現在感情状態値との差分値を算出し、差分値に応じて感情状態を変化させるためのコンテンツを決定し、決定したコンテンツをユーザに提供している。
また、例えば、特許文献２における情報処理装置は、画像データから抽出される画像情報に基づいて、画像データを複数含む画像データ群毎にテーマ性を解析し、テーマ性と関連付けて記憶された所定の処理と画像データ群との組合せを、テーマ性に基づいて選択している。
特開２０１８−１９５０４３号公報 特開２０１１−１７０６９０号公報
しかしながら、上記従来の技術では、ユーザが自身の感情状態を感覚的に選択することが困難であるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することが困難であり、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる技術を提供することを目的とするものである。
本開示に係るコンテンツ選択方法は、コンピュータが、少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、ディスプレイに前記複数の画像を選択可能に表示させ、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得し、前記ユーザが目標とする感情状態を示す目標感情状態を取得し、前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定し、前記コンテンツを出力する。
本開示によれば、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる。
本開示の一実施の形態に係るコンテンツ提供システムの構成の一例を示す図である。 本開示の一実施の形態に係る端末装置の構成の一例を示すブロック図である。 本開示の一実施の形態に係るサーバの構成の一例を示すブロック図である。 本実施の形態における画像データベースの一例を示す図である。 本実施の形態における画像に対するアンケートの一例を示す図である。 本実施の形態において、ユーザに提示される画像の一例を示す図である。 本実施の形態において、複数の感情の強度を対応付けた画像の一例を示す図である。 本開示の一実施の形態に係るコンテンツ提供装置の構成の一例を示すブロック図である。 本開示の一実施の形態に係るスピーカ装置の構成の一例を示すブロック図である。 本実施の形態における端末装置及びサーバの動作について説明するためのフローチャートである。 本実施の形態において、ユーザＩＤと複数の画像の表示位置とを対応付けた表示位置データベースの一例を示す図である。 本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の一例を示す図である。 本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第１の変形例を示す図である。 本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第２の変形例を示す図である。 本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第３の変形例を示す図である。 本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第４の変形例を示す図である。 本実施の形態において、端末装置の表示部に表示される第１画像選択画面の一例を示す図である。 本実施の形態において、端末装置の表示部に表示される第２画像選択画面の一例を示す図である。 本実施の形態において、端末装置の表示部に表示される画像選択画面の一例を示す図である。 本実施の形態において、ユーザが目標とする感情状態を表した座標点の入力前に、端末装置の表示部に表示される座標選択画面の一例を示す図である。 本実施の形態において、ユーザが目標とする感情状態を表した座標点の入力後に、端末装置の表示部に表示される座標選択画面の一例を示す図である。 本実施の形態におけるコンテンツ提供装置及びスピーカ装置の動作について説明するためのフローチャートである。 本実施の形態において、音楽コンテンツの出力開始時に表示されるコンテンツ提示画面の一例を示す図である。 本実施の形態において、音楽コンテンツの出力中に表示されるコンテンツ提示画面の一例を示す図である。 本実施の形態における音楽コンテンツに対するアンケートの一例を示す図である。 本実施の形態における覚醒度の補正について説明するための図である。 本実施の形態におけるユーザの生体情報に応じた音楽コンテンツの決定について説明するための図である。 本実施の形態において、リカレンスプロットにより作成された複数の画像の一例を示す図である。 本開示の実施の形態の変形例に係る端末装置の構成の一例を示すブロック図である。
（本開示の基礎となった知見）
上記の特許文献１の技術では、生体データに基づいてユーザの現在の感情状態を示す現在感情状態値を算出しているが、複数の感情状態を示す複数の画像がユーザに提示されることはなく、複数の画像の中からユーザの現在の感情状態を示す画像が選択されることはない。
また、上記の特許文献２の技術では、画像データから抽出される画像情報に基づいて、複数の画像データを含む画像データ群毎にテーマ性が解析される。テーマ性は、所定の評価基準を示す複数の特徴軸に基づいた特徴量空間上で示される。特徴軸としては、「静的−動的」、「可愛い−格好いい」及び「理性的−感情的」の３つの軸が挙げられている。各特徴軸の特徴量は数値で表される。
このように、特許文献２では、画像データ群のテーマ性が、所定の評価基準を示す複数の特徴軸に基づいた特徴量空間上で示されるが、複数の感情状態を示す複数の画像がユーザに提示されることはなく、複数の画像の中からユーザの現在の感情状態を示す画像が選択されることはない。
そのため、上記のいずれの従来技術でも、ユーザは、自身の感情状態を感覚的に選択することができず、ユーザの視覚によって現在の感情状態が特定されない。
以上の課題を解決するために、本開示の一態様に係るコンテンツ選択方法は、コンピュータが、少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、ディスプレイに前記複数の画像を選択可能に表示させ、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得し、前記ユーザが目標とする感情状態を示す目標感情状態を取得し、前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定し、前記コンテンツを出力する。
この構成によれば、ディスプレイに表示された複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度が、ユーザの現在の感情状態を示す現在感情状態として取得されるので、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる。
また、上記のコンテンツ選択方法において、さらに、前記ユーザを識別するためのユーザ識別情報を取得し、前記複数の画像の取得において、前記ユーザ識別情報に予め対応付けられている前記複数の画像を取得してもよい。
この構成によれば、ユーザを識別するためのユーザ識別情報が取得され、ユーザ識別情報に予め対応付けられている複数の画像が取得されるので、複数の画像に対して、ユーザ毎に異なる感情の強度を対応付けることができ、より正確なユーザの感情の強度を取得することができる。
また、上記のコンテンツ選択方法において、さらに、前記現在感情状態を取得した後、前記ディスプレイに前記複数の画像を選択可能に表示させ、前記目標感情状態の取得において、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記目標感情状態として取得してもよい。
この構成によれば、現在感情状態が取得された後、ディスプレイに表示された複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度が、目標感情状態として取得されるので、目標感情状態についても、複数の画像の中から感覚的に選択することができるとともに、ユーザによって選択された画像からユーザが目標とする感情状態を容易に特定することができる。
また、上記のコンテンツ選択方法において、前記現在感情状態は、２つの感情の強度を縦軸及び横軸で表す座標平面上の座標値で表され、さらに、前記現在感情状態を取得した後、前記現在感情状態を示す座標点とともに前記座標平面を前記ディスプレイに表示させ、前記目標感情状態の取得において、前記座標平面上において前記ユーザによって選択された前記目標感情状態を示す座標点の座標値を、前記目標感情状態として取得してもよい。
この構成によれば、現在感情状態は、２つの感情の強度を縦軸及び横軸で表す座標平面上の座標値で表される。現在感情状態を取得した後、現在感情状態を示す座標点とともに座標平面がディスプレイに表示され、座標平面上においてユーザによって選択された目標感情状態を示す座標点の座標値が、目標感情状態として取得される。したがって、ユーザが目標とする感情状態を座標平面上から容易に選択することができる。
また、上記のコンテンツ選択方法において、前記複数の画像の表示において、第１の感情の強度に対応付けられた複数の画像を表示させ、さらに、前記複数の画像が表示されてから前記ユーザによって前記画像が選択されるまでの選択時間を計測し、さらに、計測した前記選択時間が所定時間以下である場合、前記第１の感情の強度とは異なる第２の感情の強度に対応付けられた複数の画像を選択可能に表示させてもよい。
この構成によれば、第１の感情の強度に対応付けられた複数の画像が表示されてからユーザによって画像が選択されるまでの選択時間が計測される。そして、計測された選択時間が所定時間以下である場合、第１の感情の強度とは異なる第２の感情の強度に対応付けられた複数の画像が選択可能に表示される。
したがって、ユーザが自身の感情に応じた画像を選択することに慣れ、選択時間が短縮された場合、より詳細にユーザの感情を取得するための複数の画像がさらに表示されるので、より正確なユーザの感情の強度を取得することができる。
また、上記のコンテンツ選択方法において、さらに、取得した前記現在感情状態の履歴を記憶し、さらに、前回取得した前記現在感情状態の前記感情の強度と前々回取得した前記現在感情状態の前記感情の強度との差分が閾値以上である場合、前記感情の強度の優先度を上げ、前記複数の画像の表示において、前記優先度の高い前記感情の強度に対応付けられる前記複数の画像を順番に表示させてもよい。
この構成によれば、前回取得した現在感情状態の感情の強度が、前々回取得した現在感情状態の感情の強度から大きく変化した場合、当該感情の強度が優先して取得されるので、より変化の大きい感情の強度を優先して取得することができる。
また、上記のコンテンツ選択方法において、さらに、現在の時刻と、選択した前記画像の特徴量とに基づいて、取得した前記現在感情状態を補正してもよい。
この構成によれば、現在の時刻と、選択された画像の特徴量とに基づいて、取得された現在感情状態が補正されるので、例えば、時間帯によって画像の見え方が異なる場合に、見え方の違いを補正することができる。
また、上記のコンテンツ選択方法において、さらに、前記ユーザの生体情報を取得し、さらに、取得した前記生体情報に基づいて、取得した前記現在感情状態を補正してもよい。
この構成によれば、ユーザの生体情報が取得され、取得された生体情報に基づいて、取得された現在感情状態が補正されるので、例えば、ユーザの体の状態に応じて画像の見え方が異なる場合に、見え方の違いを補正することができる。
本開示の他の態様に係るコンテンツ選択装置は、少なくとも１つの感情の強度と対応付けられた複数の画像を取得する画像取得部と、ディスプレイに前記複数の画像を選択可能に表示させる表示制御部と、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得する現在感情状態取得部と、前記ユーザが目標とする感情状態を示す目標感情状態を取得する目標感情状態取得部と、前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定するコンテンツ決定部と、前記コンテンツを出力する出力部と、を備える。
この構成によれば、ディスプレイに表示された複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度が、ユーザの現在の感情状態を示す現在感情状態として取得されるので、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる。
本開示の他の態様に係るコンテンツ選択プログラムは、少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、ディスプレイに前記複数の画像を選択可能に表示させ、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得し、前記ユーザが目標とする感情状態を示す目標感情状態を取得し、前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定し、前記コンテンツを出力するようにコンピュータを機能させる。
この構成によれば、ディスプレイに表示された複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度が、ユーザの現在の感情状態を示す現在感情状態として取得されるので、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態）
図１は、本開示の一実施の形態に係るコンテンツ提供システムの構成の一例を示す図である。図１に示すコンテンツ提供システムは、端末装置１、サーバ２、コンテンツ提供装置３及びスピーカ装置４を備える。
端末装置１は、例えば、パーソナルコンピュータ、タブレット型コンピュータ又はスマートフォンであり、ユーザが存在する空間に配置されている。
サーバ２は、ユーザの現在の感情状態を示す現在感情状態を取得するとともに、ユーザの目標とする感情状態を示す目標感情状態を取得する。端末装置１とサーバ２とは、インターネットなどのネットワーク５を介して互いに通信可能に接続されている。
コンテンツ提供装置３は、例えば、プロセッサ及びメモリ等を備えるサーバであり、ユーザの現在感情状態を目標感情状態に変化させるためのコンテンツを提供する。なお、本実施の形態では、コンテンツ提供装置３は、コンテンツの一例として、音楽コンテンツをユーザに提供するが、本開示は特にこれに限定されない。コンテンツ提供装置３は、ユーザの感情状態を変化させるための映像コンテンツを提供してもよい。また、コンテンツ提供装置３は、ユーザがいる空間内の照明の色を変化させることにより、ユーザの感情状態を変化させる照明コンテンツを提供してもよい。サーバ２とコンテンツ提供装置３とは、ネットワーク５を介して互いに通信可能に接続されている。
スピーカ装置４は、ユーザが存在する空間に配置されている。スピーカ装置４は、コンテンツ提供装置３から受信した音楽コンテンツを出力する。なお、映像コンテンツがユーザに提供される場合、コンテンツ提供システムは、スピーカ装置４に替えて表示装置を備えてもよい。また、照明コンテンツがユーザに提供される場合、コンテンツ提供システムは、スピーカ装置４に替えて照明装置を備えてもよい。
図２は、本開示の一実施の形態に係る端末装置の構成の一例を示すブロック図である。
図２に示す端末装置１は、表示部１１、入力部１２、通信部１３、プロセッサ１４及びメモリ１５を備える。
表示部１１は、例えば、液晶表示装置であり、種々の情報を表示する。表示部１１は、ユーザを識別するためのユーザＩＤのユーザによる入力を受け付けるためのユーザＩＤ入力画面を表示する。表示部１１は、少なくとも１つの感情の強度と対応付けられた複数の画像を選択可能に表示する。表示部１１は、複数の画像の中から、ユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付けるための第１画像選択画面を表示する。表示部１１は、複数の画像の中から、ユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付けるための第２画像選択画面を表示する。
入力部１２は、例えば、キーボード、マウス又はタッチパネルディスプレイであり、ユーザによる種々の情報の入力を受け付ける。入力部１２は、ユーザＩＤのユーザによる入力を受け付ける。入力部１２は、複数の画像の中から、ユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付ける。入力部１２は、複数の画像の中から、ユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付ける。
通信部１３は、サーバ２へ種々の情報を送信するとともに、サーバ２から種々の情報を受信する。通信部１３は、入力部１２によって入力されたユーザＩＤをサーバ２へ送信する。通信部１３は、複数の画像を含む画像データをサーバ２から受信する。通信部１３は、ユーザによって選択された現在の感情状態を表した１の画像を識別するための第１画像ＩＤをサーバ２へ送信する。通信部１３は、ユーザによって選択された目標とする感情状態を表した１の画像を識別するための第２画像ＩＤをサーバ２へ送信する。
プロセッサ１４は、例えば、ＣＰＵ（中央演算処理装置）であり、表示制御部１４１、入力制御部１４２及び通信制御部１４３を備える。
表示制御部１４１は、表示部１１の表示動作を制御する。表示制御部１４１は、ユーザＩＤのユーザによる入力を受け付けるためのユーザＩＤ入力画面を表示部１１に表示させる。表示制御部１４１は、表示部１１に複数の画像を選択可能に表示させる。表示制御部１４１は、複数の画像の中から、ユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付けるための第１画像選択画面を表示部１１に表示させる。表示制御部１４１は、複数の画像の中から、ユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付けるための第２画像選択画面を表示部１１に表示させる。
入力制御部１４２は、入力部１２の入力受付動作を制御する。入力制御部１４２は、ユーザＩＤのユーザによる入力を受け付けるように入力部１２を制御する。入力制御部１４２は、複数の画像の中から、ユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付けるように入力部１２を制御する。入力制御部１４２は、複数の画像の中から、ユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付けるように入力部１２を制御する。
通信制御部１４３は、通信部１３の通信動作及び送信動作を制御する。通信制御部１４３は、入力部１２によって入力されたユーザＩＤをサーバ２へ送信するように通信部１３を制御する。通信制御部１４３は、通信部１３によって受信された画像データを画像データ記憶部１５１に記憶する。通信制御部１４３は、入力部１２によって選択された第１画像ＩＤをサーバ２へ送信するように通信部１３を制御する。また、通信制御部１４３は、入力部１２によって選択された第２画像ＩＤをサーバ２へ送信するように通信部１３を制御する。
メモリ１５は、例えば、半導体メモリ又はハードディスクドライブであり、画像データ記憶部１５１を備える。
画像データ記憶部１５１は、通信部１３によって受信された画像データを記憶する。
図３は、本開示の一実施の形態に係るサーバの構成の一例を示すブロック図である。
図３に示すサーバ２は、通信部２１、プロセッサ２２及びメモリ２３を備える。
通信部２１は、端末装置１によって送信されたユーザＩＤを受信する。通信部２１は、画像データを端末装置１へ送信する。通信部２１は、ユーザの現在の感情状態を表した１の画像を識別するための第１画像ＩＤを端末装置１から受信する。通信部２１は、ユーザが目標とする感情状態を表した１の画像を識別するための第２画像ＩＤを端末装置１から受信する。通信部２１は、ユーザの現在の感情状態を示す現在感情状態と、ユーザが目標とする感情状態を示す目標感情状態とをコンテンツ提供装置３へ送信する。
メモリ２３は、例えば、半導体メモリ又はハードディスクドライブであり、画像データベース記憶部２３１を備える。
画像データベース記憶部２３１は、少なくとも１つの感情の強度と、複数の画像のそれぞれとを対応付けた画像データベースを記憶する。
ここで、画像データベースについて説明する。
図４は、本実施の形態における画像データベースの一例を示す図である。
図４に示すように、画像データベースは、画像を識別するための画像ＩＤと、画像特徴量と、少なくとも１つの感情の強度とを対応付けている。画像特徴量は、画像の色相を示す第１画像特徴量と、画像の彩度を示す第２画像特徴量と、画像の明度を示す第３画像特徴量とを含む。
なお、画像データベースは、画像ＩＤごとに、画像特徴量を対応付けている。例えば、外部のデータベースに画像が記憶されている場合、画像データベースの画像ＩＤに対応する画像が外部のデータベースから取得されてもよく、また、画像データベースの画像特徴量と同じ画像特徴量を有する画像が外部のデータベースから取得されてもよい。
感情の強度は、例えば、覚醒度の値及び感情価の値で表される。また、現在感情状態及び目標感情状態は、２つの感情の強度を縦軸及び横軸で表す座標平面上の座標値で表される。すなわち、現在感情状態及び目標感情状態は、縦軸が覚醒度であり、横軸が感情価である２次元座標の座標値で表される。当該２次元座標は、ラッセルの円環図（ｃｉｒｃｕｍｐｌｅｘ ｍｏｄｅｌ ｏｆ ａｆｆｅｃｔ）に基づくものである（Ｊａｍｅｓ Ａ． Ｒｕｓｓｅｌｌ、「Ａ Ｃｉｒｃｕｍｐｌｅｘ Ｍｏｄｅｌ ｏｆ Ａｆｆｅｃｔ」、Ｊｏｕｒｎａｌ ｏｆ Ｐｅｒｓｏｎａｌｉｔｙ ａｎｄ Ｓｏｃｉａｌ Ｐｓｙｃｈｏｌｏｇｙ、１９８０、Ｖｏｌ．３９、Ｎｏ．６、１１６１−１１７８）。覚醒度は、−１．０（鎮静）から＋１．０（覚醒）までの値で示され、感情価は、−１．０（不快）から＋１．０（快適）までの値で示される。覚醒度の値と感情価の値とによりユーザの感情状態が表される。
なお、本実施の形態では、画像に対して対応付けられる感情の強度は、覚醒度の値及び感情価の値であるが、本開示は特にこれに限定されない。画像に対して対応付けられる感情の強度は、覚醒度の値、感情価の値、緊張感を示す値、複雑性を示す値及びストレス感を示す値のうちの少なくとも１つであってもよい。
感情の強度は、無次元量で規定されてもよい。例えば、覚醒度の値が大きければ、覚醒度が高いことを示す。感情の強度は、所定の基準に基づいて、正の値及び負の値で表されてもよい。
ここで、感情の強度と画像の特徴量との関係について説明する。例えば、覚醒度の値が高い画像には、覚醒度の値が低い画像よりも、赤色成分が多く含まれている。また、感情価の値が高い画像の明度は、感情価の値が低い画像の明度よりも高い。また、緊張感の値が高い画像には、緊張感の値が低い画像よりも、黄色成分が多く含まれている。また、複雑性の値が高い画像は、複雑性の値が低い画像よりも、多くの色を有している。また、複雑性の値が高い画像の例としては、迷彩模様のような、複数の色の境界線が曲線で表された画像である。また、ストレス感の高い画像は、ストレス感の低い画像よりも、多くの色を有している。ストレス感の値が高い画像の例としては、複数の色の境界線が鋭角を有する画像である。
続いて、画像データベースを作成する方法について説明する。
画像データベースに格納される画像と感情の強度とは、画像の特徴量と、ユーザへのアンケート結果又はユーザの生体情報の計測結果とに基づいて、対応付けられる。例えば、１つの画像について、覚醒度、感情価、緊張感、複雑性及びストレス感などの感情の強度が対応付けられる。
また、ユーザに画像が提示され、提示された画像に対するユーザの評価がアンケート結果として取得される。これにより、画像と感情の強度とが対応付けられる。例えば、写真画像又はデザインされた画像がユーザに提示され、提示された画像に対して複数の感情をユーザが７段階で評価するアンケートが実施される。例えば、複数の感情それぞれの評価スコアと画像との関係に基づいて画像と感情の強度とが対応付けられる。なお、一人のユーザのアンケート結果が用いられてもよいし、複数のユーザのアンケート結果の平均が用いられてもよい。
画像セットに含まれる複数の画像のうちの一部の画像に対するユーザのアンケート結果に基づいて、ユーザに提示していない他の画像の感情の強度が付与されてもよい。例えば、画像と、画像に対する複数のユーザの評価結果とを用いて推定モデルが学習され、学習済みの推定モデルを用いて、提示していない画像の感情の強度が推定されてもよい。また、一部の画像に対するアンケート結果と一部の画像の特徴量とを用いて推定モデルが学習され、学習済みの推定モデルを用いて、他の画像の感情の強度が推定されてもよい。
また、ユーザの生体情報の計測結果が用いられる場合には、ユーザの生体情報の計測結果と感情の強度との対応関係が参照されて、計測結果に基づいて、画像と感情の強度との対応付けが決定される。例えば、生体情報としては、脳波、脈波又は心電図などが利用可能である。
図５は、本実施の形態における画像に対するアンケートの一例を示す図である。
例えば、複数の画像のうちの１つの画像がユーザに提示される。そして、提示された画像に対するユーザの評価が受け付けられる。図５に示す例は、１つの画像について、複数の感情の各項目に対する複数のユーザの評価を平均したアンケート結果を表示している。図５に示すアンケートでは、１つの画像に対して、覚醒度、明暗（感情価）、緊張感及び複雑性の４つの感情が評価される。各感情は、７段階で評価される。図５において、覚醒度の評価の平均は６．７であり、明暗（感情価）の評価の平均は６．４であり、緊張感の評価の平均は１．５であり、複雑性の評価の平均は１．２である。各感情の評価の平均が、−１．０〜＋１．０の値に正規化され、感情の強度として画像に対応付けられる。例えば、アンケートでは、直接的に感情と対応付ける評価結果が取得されてもよいが、明暗（感情価）のような画像の特徴量に近い評価結果が取得されて、他の画像への感情評価の基準が取得されてもよい。
また、例えば、明暗（感情価）の感情状態のみが画像に対応付けられてもよい。サーバ２は、音楽コンテンツの出力後に、ユーザの感情状態をフィードバックとして取得してもよい。ユーザの直接的な感情状態ではなく、明暗の形式で表した感情状態の方がユーザに適した音楽コンテンツを決定できる場合には、サーバ２は、音楽コンテンツ出力後のフィードバック結果に応じて、現在感情状態及び目標感情状態を取得してもよい。画像特徴量に関連する情報に基づいて、感情状態を取得し、音楽コンテンツを決定することができる。
図６は、本実施の形態において、ユーザに提示される画像の一例を示す図である。
画像は、色、図形及び模様の少なくとも１つにより表現されてもよい。図６では、例えば、色のみ、図形のみ又は模様のみで表現される画像を示す。画像は、複数の要素を組み合わせて表現してもよい。また、例えば、ユーザに依存して、画像の印象の影響を受けやすい感情の項目がある可能性がある。音楽コンテンツ出力後のフィードバック結果に応じて、画像の印象の影響を受けやすい感情の項目を含む画像を用いて、感情状態が取得されてもよい。
図７は、本実施の形態において、複数の感情の強度を対応付けた画像の一例を示す図である。
図７に示すように、縦軸が覚醒度であり、横軸が感情価である２次元座標平面上に、覚醒度及び感情価の値に応じた複数の画像が配置される。ここで、覚醒度及び感情価に加えて、緊張感又はストレス感の感情を画像に対応付けることが可能である。例えば、覚醒度、感情価及び緊張感を画像に対応付ける場合、画像１０００は、覚醒度及び感情価を表現した第１領域１００１と、第１領域１００１の外縁に接した緊張感を表現した第２領域１００２とを含んでもよい。第２領域１００２は、緊張感を増加せる黄色成分を含む。例えば、表示位置毎に、第２領域１００２の黄色成分の含有量を変化させることにより、緊張感の強度を変化させることが可能である。第２領域１００２の黄色成分が増加することにより、緊張感は増加する。
また、例えば、覚醒度、感情価及びストレス感を画像に対応付ける場合、画像１０１０は、第１の色を有する第１領域１０１１と、第１の色とは異なる第２の色を有する第２領域１０１２とを含む。第１領域１０１１及び第２領域１０１２により、覚醒度及び感情価が表現される。第１領域１０１１と第２領域１０１２との境界線１０１３は、少なくとも１つの鋭角部分を含む。鋭角部分の数により、ストレス感が表現される。例えば、表示位置毎に、鋭角部分の数を変化させることにより、ストレス感の強度を変化させることが可能である。境界線１０１３の鋭角部分の数が増加することにより、ストレス感は増加する。
プロセッサ２２は、例えば、ＣＰＵであり、画像取得部２２１、現在感情状態取得部２２２、目標感情状態取得部２２３及び通信制御部２２４を備える。
画像取得部２２１は、画像データベース記憶部２３１から、少なくとも１つの感情の強度と対応付けられた複数の画像を取得する。通信部２１は、画像取得部２２１によって取得された複数の画像を含む画像データを端末装置１へ送信する。
現在感情状態取得部２２２は、複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度を、ユーザの現在の感情状態を示す現在感情状態として取得する。現在感情状態取得部２２２は、通信部２１によって受信されたユーザの現在の感情状態を表した１の画像を識別するための第１画像ＩＤに対応付けられた感情の強度を、現在感情状態として画像データベース記憶部２３１から取得する。
目標感情状態取得部２２３は、ユーザが目標とする感情状態を示す目標感情状態を取得する。目標感情状態取得部２２３は、通信部２１によって受信されたユーザが目標とする感情状態を表した１の画像を識別するための第２画像ＩＤに対応付けられた感情の強度を、目標感情状態として画像データベース記憶部２３１から取得する。
通信制御部２２４は、通信部２１の送信動作及び受信動作を制御する。通信制御部２２４は、端末装置１によって送信されたユーザＩＤを受信するように通信部２１を制御する。通信制御部２２４は、画像データを端末装置１へ送信するように通信部２１を制御する。通信制御部２２４は、ユーザの現在の感情状態を表した１の画像を識別するための第１画像ＩＤを端末装置１から受信するように通信部２１を制御する。通信制御部２２４は、ユーザが目標とする感情状態を表した１の画像を識別するための第２画像ＩＤを端末装置１から受信するように通信部２１を制御する。通信制御部２２４は、現在感情状態及び目標感情状態をコンテンツ提供装置３へ送信するように通信部２１を制御する。
図８は、本開示の一実施の形態に係るコンテンツ提供装置の構成の一例を示すブロック図である。
図８に示すコンテンツ提供装置３は、通信部３１、プロセッサ３２及びメモリ３３を備える。
通信部３１は、サーバ２によって送信された現在感情状態及び目標感情状態を受信する。通信部３１は、音楽コンテンツ決定部３２１によって決定された音楽コンテンツをスピーカ装置４へ送信する。
メモリ３３は、例えば、半導体メモリ又はハードディスクドライブであり、音楽コンテンツ記憶部３３１を備える。
音楽コンテンツ記憶部３３１は、複数の音楽コンテンツを記憶している。音楽コンテンツ記憶部３３１は、音楽コンテンツを識別するための曲ＩＤと、曲名と、現在感情状態と目標感情状態との差分を示す感情状態変化値とを、音楽コンテンツに対応付けて記憶している。
プロセッサ３２は、例えば、ＣＰＵであり、音楽コンテンツ決定部３２１及び通信制御部３２２を備える。
音楽コンテンツ決定部３２１は、現在感情状態から目標感情状態に変化させるためのコンテンツを決定する。本実施の形態におけるコンテンツは、音楽コンテンツである。音楽コンテンツ決定部３２１は、通信部３１によって受信された現在感情状態及び目標感情状態の差分を示す感情状態変化値を算出する。音楽コンテンツ決定部３２１は、算出した感情状態変化値に対応付けられている音楽コンテンツを、音楽コンテンツ記憶部３３１から取得する。
例えば、現在感情状態である覚醒度及び感情価が−０．５及び−０．５であり、目標感情状態である覚醒度及び感情価が＋０．３及び＋０．６である場合、感情状態変化値（覚醒度の差分及び感情価の差分）は、＋０．８及び＋１．１となる。音楽コンテンツ決定部３２１は、感情状態変化値である覚醒度の差分（＋０．８）及び感情価の差分（＋１．１）に対応付けられている音楽コンテンツを、音楽コンテンツ記憶部３３１から取得する。
通信制御部３２２は、サーバ２によって送信された現在感情状態及び目標感情状態を受信するように通信部３１を制御する。通信制御部３２２は、音楽コンテンツ決定部３２１によって決定された音楽コンテンツをスピーカ装置４へ送信するように通信部３１を制御する。
図９は、本開示の一実施の形態に係るスピーカ装置の構成の一例を示すブロック図である。
図９に示すスピーカ装置４は、通信部４１、プロセッサ４２及びスピーカ４３を備える。
通信部４１は、コンテンツ提供装置３によって送信された音楽コンテンツを受信する。
プロセッサ４２は、例えば、ＣＰＵであり、音楽コンテンツ出力制御部４２１及び通信制御部４２２を備える。
音楽コンテンツ出力制御部４２１は、通信部４１によって受信された音楽コンテンツを出力するようにスピーカ４３を制御する。
通信制御部４２２は、コンテンツ提供装置３によって送信された音楽コンテンツを受信するように通信部４１を制御する。
スピーカ４３は、コンテンツを出力する。本実施の形態におけるコンテンツは、音楽コンテンツである。
続いて、本実施の形態におけるコンテンツ提供システムの動作について説明する。
図１０は、本実施の形態における端末装置及びサーバの動作について説明するためのフローチャートである。
まず、ステップＳ１において、端末装置１の表示部１１は、ユーザＩＤのユーザによる入力を受け付けるためのユーザＩＤ入力画面を表示する。
次に、ステップＳ２において、入力部１２は、表示部１１に表示されたユーザＩＤ入力画面において、ユーザＩＤのユーザによる入力を受け付ける。
次に、ステップＳ３において、通信部１３は、入力部１２によって受け付けられたユーザＩＤをサーバ２へ送信する。
次に、ステップＳ４において、サーバ２の通信部２１は、端末装置１によって送信されたユーザＩＤを受信する。
次に、ステップＳ５において、画像取得部２２１は、通信部２１によって受信されたユーザＩＤに対応する複数の画像を画像データベース記憶部２３１から取得する。
ここで、ユーザＩＤには、複数の画像が予め対応付けられている。また、ユーザＩＤに対応付けられている複数の画像は、予め表示位置が決められている。
図１１は、本実施の形態において、ユーザＩＤと複数の画像の表示位置とを対応付けた表示位置データベースの一例を示す図であり、図１２は、本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の一例を示す図である。
図１１に示すように、表示位置データベースは、ユーザＩＤと複数の画像の表示位置とを予め対応付けている。なお、表示位置データベースは、メモリ２３に記憶される。
画像取得部２２１は、ユーザを識別するためのユーザＩＤ（ユーザ識別情報）を取得する。画像取得部２２１は、ユーザＩＤ（ユーザ識別情報）に予め対応付けられている複数の画像を取得する。表示位置データベースが記憶されている場合、表示位置データベースに含まれる複数の画像毎の表示位置の情報に基づいて、表示部１１に複数の画像が表示される。
図１２に示すように、表示部１１は、ユーザの選択操作を２階層にし、第１の画面１１１１で大雑把に選んだムードを、第２の画面１１１２でより詳しく選択させてもよい。図１２の第１の画面１１１１は、図１２の画像群１１１３を大雑把に表している。まず、表示部１１は、第１の画面１１１１を表示する。例えば、ユーザは、図１２の第１の画面１１１１の座標（３，３）の画像を選択する。この場合、次に、表示部１１は、図１２の画像群１１１３のうち、座標（７，７）から座標（９，９）の９個の画像を第２の画面１１１２として表示する。この操作を用いることにより、ユーザは、図１２の第１の画面１１１１で選択した情動の軸上の領域を、より詳しく選択することができる。
なお、第１の画面１１１１の各画像は、画像群１１１３を３×３ごとに区切った時の左上の画像を使用してもよい。例えば、第１の画面１１１１の座標（１，１）の画像は画像群１１１３の座標（１，１）の画像を使用してもよく、第１の画面１１１１の座標（１，２）は画像群１１１３の座標（１，４）の画像を使用してもよく、第１の画面１１１１の座標（３，３）は画像群１１１３の座標（７，７）の画像を使用してもよい。
表示部１１は、３×３の９個の第１の画像セットを表示し、第１の画像セットのうちの１の画像の選択を受け付ける。そして、第１の画像セットのうちの１の画像が選択された場合、表示部１１は、当該１の画像に対応付けられた３×３の９個の第２の画像セットを表示し、第２の画像セットのうちの１の画像の選択を受け付ける。この場合、画像データベース記憶部２３１は、図１２に示す９×９の８１個の画像を含む画像群１１１３を３×３の９個の画像として大雑把に示した第１の画像セットと、第１の画像セットの各画像に対応する領域を、より詳細な３×３の９個の画像として示した第２の画像セットとを記憶する。第１の画像セットの１の画像は、第１の画面の座標（１，１）〜（１，３）、（２，１）〜（２，３）、（３，１）〜（３，３）の９個のいずれかの画像である。また、第２の画像セットの１の画像は、例えば、第２の画面の座標（７，７）〜（９，９）のいずれかの画像である。
図１３は、本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第１の変形例を示す図である。
図１３に示すように、端末装置１の表示部１１には、縦方向及び横方向に９つずつ画像が表示されてもよい。図１３の座標（１，１）〜座標（９，９）は、各画像の表示位置を示している。
また、表示部１１は、図１３に示すように９×９の８１個の画像を１つの画面に表示してもよいが、画面のサイズが小さい場合、個々の画像を視認することが困難となるおそれがある。そこで、表示部１１は、８１個の画像の一部を画面上に視認可能に表示し、縦方向及び横方向にスクロールすることにより、全ての画像を表示してもよい。
なお、本実施の形態では、画像データベース記憶部２３１は、予めユーザ毎に、画像群を記憶しているが、本開示は特にこれに限定されず、ユーザ毎に、複数の画像群を記憶してもよい。画像取得部２２１は、例えば、利用時間、利用日（平日又は休日）、又は利用空間中の他人の存在の有無などの情報に基づいて、複数の画像群の中から１の画像群を取得してもよい。また、端末装置１は、ユーザに、複数の感情を提示し、提示した複数の感情の中から、最も関心がある感情の選択を受け付けてもよい。画像取得部２２１は、選択された感情に基づいて、画像群を選択してもよい。
上記のように、事前にコンテンツ提供システムを利用するユーザに対してアンケートを行い、当該ユーザを識別するユーザＩＤと複数の画像とを予め対応付けておくことにより、当該ユーザの現在感情状態及び目標感情状態をより正確に取得することが可能となる。
なお、本実施の形態では、ユーザＩＤが取得されるが、本開示は特にこれに限定されず、ユーザＩＤが取得されなくてもよい。この場合、ユーザＩＤの入力を受け付ける処理が不要となり、ユーザＩＤと複数の画像とを予め対応付けた表示位置データベースが記憶されていなくてもよい。
また、表示位置データベースが記憶されていない場合、複数の画像毎の感情の強度に関する値に基づいて、表示部１１に複数の画像が表示されてもよい。
図１４は、本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第２の変形例を示す図である。
例えば、感情の強度である覚醒度の値及び感情価の値に応じて表示位置が決定されてもよい。図１４に示すように、表示画面において、縦軸が覚醒度であり、横軸が感情価であり、それぞれの値に応じた位置に画像が表示されてもよい。
図１４に示すように、表示部１１は、ユーザの選択操作を２階層にし、第１の画面１１２１で大雑把に選んだムードを、第２の画面１１２２でより詳しく選択させてもよい。図１４の第１の画面１１２１は、図１４の画像群１１２３を大雑把に表している。まず、表示部１１は、第１の画面１１２１を表示する。例えば、ユーザは、図１４の第１の画面１１２１の座標（３，３）の画像を選択する。この場合、次に、表示部１１は、図１４の画像群１１２３のうち、座標（７，７）から座標（９，９）の９個の画像を第２の画面１１２２として表示する。この操作を用いることにより、ユーザは、図１４の第１の画面１１２１で選択した情動の軸上の領域を、より詳しく選択することができる。
なお、第１の画面１１２１の各画像は、画像群１１２３を３×３ごとに区切った時の左上の画像を使用してもよい。例えば、第１の画面１１２１の座標（１，１）の画像は画像群１１２３の座標（１，１）の画像を使用してもよく、第１の画面１１２１の座標（１，２）は画像群１１２３の座標（１，４）の画像を使用してもよく、第１の画面１１２１の座標（３，３）は画像群１１２３の座標（７，７）の画像を使用してもよい。
表示部１１は、３×３の９個の第１の画像セットを表示し、第１の画像セットのうちの１の画像の選択を受け付けてもよい。そして、第１の画像セットのうちの１の画像が選択された場合、表示部１１は、当該１の画像に対応付けられた３×３の９個の第２の画像セットを表示し、その後に第２の画像セットのうちの１の画像の選択を受け付けてもよい。この場合、画像データベース記憶部２３１は、覚醒度が縦軸であり感情価が横軸である座標平面上の画像群１１２３を３×３の９個の画像に分割した第１の画像セットと、第１の画像セットの各画像に対応する領域を３×３の９個の画像に分割した第２の画像セットとを記憶する。第１の画像セットの１の画像は、第１の画面の座標（１，１）〜（１，３）、（２，１）〜（２，３）、（３，１）〜（３，３）の９個のいずれかの画像である。また、第２の画像セットの１の画像は、例えば、第２の画面の座標（７，７）〜（９，９）のいずれかの画像である。
図１５は、本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第３の変形例を示す図である。
図１５に示すように、端末装置１の表示部１１には、縦方向及び横方向に９つずつ画像が表示されてもよい。図１５に示すように、表示画面において、縦軸が覚醒度であり、横軸が感情価であり、それぞれの値に応じた位置に画像が表示されてもよい。
また、表示部１１は、図１５に示すように９×９の８１個の画像を１つの画面に表示してもよいが、画面のサイズが小さい場合、個々の画像を視認することが困難となるおそれがある。そこで、表示部１１は、８１個の画像の一部を画面上に視認可能に表示し、縦方向及び横方向にスクロールすることにより、全ての画像を表示してもよい。
また、表示部１１は、図１５に示す９×９の８１個の画像を表示せずに、覚醒度が縦軸であり感情価が横軸である座標平面を表示し、座標平面上におけるユーザの現在感情状態に対応する位置の選択を受け付けてもよい。そして、表示部１１は、座標平面上の選択された位置を含む画像を中心とする３×３の９個の画像セットを表示し、画像セットのうちの１の画像の選択を受け付けてもよい。
また、各画像に２個以上の感情の強度が対応付けられている場合、端末装置１の表示制御部１４１は、２個以上の感情の強度のうちの２個の感情の強度を選択し、２個の感情の強度を用いて複数の画像を２次元で表示してもよい。また、表示制御部１４１は、各画像に対応付けられた感情の数に応じて、複数の画像を１次元〜多次元で表示してもよい。なお、ユーザの視認性の観点から、複数の画像は２次元で表示することが望ましい。
また、表示制御部１４１は、２個以上の感情の強度のうちの１の感情の強度に対応付けられた複数の画像を１次元で表示し、ユーザによる選択を受け付けた後、さらに、２個以上の感情の強度のうちの他の感情の強度に対応付けられた複数の画像を１次元で表示し、ユーザによる選択を受け付けてもよい。
図１６は、本実施の形態において、端末装置の表示部に表示される複数の画像の表示位置の第４の変形例を示す図である。
図１６に示す第１の画面１１３１では、感情を表す画像を覚醒度と感情価との２軸で示している。縦軸が覚醒度であり、横軸が感情価である。第１の画面１１３１は、３×３の画像を含む。例えば、ユーザが、第１の画面１１３１の左上の画像を選択した場合、ユーザの選択した感情が、興奮且つネガティブな感情であることはわかる。しかしながら、第１の画面１１３１だけでは、興奮且つネガティブな感情のうち、怒り、恐怖又は深い悲しみなどの更に詳細な感情はわからない。そこで、第１の画面１１３１の複数の画像のうち、興奮且つネガティブな感情に対応する画像が選択された場合、興奮且つネガティブな感情に関連付けられている複数の画像を表す第２の画面１１３２が更に表示される。ユーザは、第２の画面１１３２に表示された複数の画像の中から、さらに自身の感情に対応する画像を選択する。これにより、ユーザが意図している感情をシステム側でより詳しく把握することができる。
図１０に戻って、次に、ステップＳ６において、通信部２１は、画像取得部２２１によって取得された複数の画像を含む画像データを端末装置１へ送信する。なお、画像データは、ユーザＩＤに応じた複数の画像の表示位置を含む。
次に、ステップＳ７において、端末装置１の通信部１３は、サーバ２によって送信された画像データを受信する。
次に、ステップＳ８において、表示制御部１４１は、複数の画像を表示するとともに、複数の画像の中からユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付けるための第１画像選択画面を表示部１１に表示する。
次に、ステップＳ９において、入力部１２は、表示部１１に表示された第１画像選択画面において、複数の画像の中からユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付ける。
図１７は、本実施の形態において、端末装置の表示部に表示される第１画像選択画面の一例を示す図である。
表示部１１は、図１７に示す第１画像選択画面を表示する。図１７に示す第１画像選択画面では、複数の画像が選択可能に表示される。ユーザは、入力部１２を用いて、複数の画像の中から、ユーザの現在の感情状態を表した１の画像を選択する。現在感情状態は、音楽コンテンツの選択の基準となる情報である。そのため、直感的な情報である複数の画像の中から１の画像が選択されることが望ましい。
図１０に戻って、次に、ステップＳ１０において、通信部１３は、入力部１２によって選択されたユーザの現在の感情状態を表した１の画像に対応する第１画像ＩＤをサーバ２へ送信する。
次に、ステップＳ１１において、サーバ２の通信部２１は、端末装置１によって送信された第１画像ＩＤを受信する。
次に、ステップＳ１２において、現在感情状態取得部２２２は、通信部２１によって受信された第１画像ＩＤに対応付けられた感情の強度を、現在感情状態として画像データベース記憶部２３１から取得する。
次に、ステップＳ１３において、端末装置１の表示制御部１４１は、複数の画像を表示するとともに、複数の画像の中からユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付けるための第２画像選択画面を表示部１１に表示する。表示制御部１４１は、現在感情状態が取得された後、表示部１１に複数の画像を選択可能に表示させる。
次に、ステップＳ１４において、入力部１２は、表示部１１に表示された第２画像選択画面において、複数の画像の中からユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付ける。
図１８は、本実施の形態において、端末装置の表示部に表示される第２画像選択画面の一例を示す図である。
表示部１１は、図１８に示す第２画像選択画面を表示する。図１８に示す第２画像選択画面では、複数の画像が選択可能に表示される。ユーザは、入力部１２を用いて、複数の画像の中から、ユーザが目標とする感情状態を表した１の画像を選択する。
図１０に戻って、次に、ステップＳ１５において、通信部１３は、入力部１２によって選択されたユーザが目標とする感情状態を表した１の画像に対応する第２画像ＩＤをサーバ２へ送信する。
次に、ステップＳ１６において、サーバ２の通信部２１は、端末装置１によって送信された第２画像ＩＤを受信する。
次に、ステップＳ１７において、目標感情状態取得部２２３は、通信部２１によって受信された第２画像ＩＤに対応付けられた感情の強度を、目標感情状態として画像データベース記憶部２３１から取得する。目標感情状態取得部２２３は、複数の画像のうちのユーザによって選択された画像に対応付けられた少なくとも１つの感情の強度を、目標感情状態として取得する。
次に、ステップＳ１８において、通信部２１は、現在感情状態取得部２２２によって取得された現在感情状態と、目標感情状態取得部２２３によって取得された目標感情状態とをコンテンツ提供装置３へ送信する。
なお、本実施の形態では、端末装置１は、第１画像ＩＤ及び第２画像ＩＤを個別に送信しているが、本開示は特にこれに限定されず、端末装置１は、第１画像ＩＤ及び第２画像ＩＤをまとめて送信してもよい。この場合、図１０のステップＳ１０及びステップＳ１１の処理が不要となり、ステップＳ９の処理の後、ステップＳ１３の処理が行われる。ステップＳ１５において、通信部１３は、第１画像ＩＤ及び第２画像ＩＤをサーバ２へ送信する。サーバ２は、第１画像ＩＤ及び第２画像ＩＤを受信した後、ステップＳ１２、ステップＳ１７及びステップＳ１８の処理を行う。
本実施の形態では、第１画像選択画面が表示された後、第２画像選択画面が表示されるが、本開示は特にこれに限定されず、複数の画像の中からユーザの現在の感情状態を表した１の画像のユーザによる選択を受け付けるとともに、複数の画像の中からユーザの目標とする感情状態を表した１の画像のユーザによる選択を受け付けるための１の画像選択画面が表示されてもよい。
図１９は、本実施の形態において、端末装置の表示部に表示される画像選択画面の一例を示す図である。
表示部１１は、図１９に示す画像選択画面を表示してもよい。図１９に示す画像選択画面では、現在の感情状態を表した１の画像をユーザが選択するための第１画像群が選択可能に表示されるとともに、目標とする感情状態を表した１の画像をユーザが選択するための第２画像群が選択可能に表示される。ユーザは、入力部１２を用いて、第１画像群の中から、ユーザの現在の感情状態を表した１の画像を選択するとともに、第２画像群の中から、ユーザが目標とする感情状態を表した１の画像を選択する。
また、本実施の形態では、複数の画像の中からユーザが目標とする感情状態を表した１の画像のユーザによる選択を受け付けるための第２画像選択画面が表示されるが、本開示は特にこれに限定されず、２つの感情の強度を縦軸及び横軸で表す座標平面上においてユーザが目標とする感情状態を表した座標点のユーザによる選択を受け付けるための座標選択画面が表示されてもよい。
図２０は、本実施の形態において、ユーザが目標とする感情状態を表した座標点の入力前に、端末装置の表示部に表示される座標選択画面の一例を示す図であり、図２１は、本実施の形態において、ユーザが目標とする感情状態を表した座標点の入力後に、端末装置の表示部に表示される座標選択画面の一例を示す図である。
表示部１１は、図２０に示す座標選択画面を表示してもよい。図２０に示す座標選択画面では、２つの感情の強度を縦軸及び横軸で表す座標平面と、現在感情状態を示す座標点とが表示される。図２０では、縦軸が覚醒度を表しており、横軸が感情価を表している。図２０中のスタート点は、現在感情状態を示す座標点を表している。現在感情状態は、２つの感情の強度を縦軸及び横軸で表す座標平面上の座標値で表される。表示制御部１４１は、現在感情状態を取得した後、現在感情状態を示す座標点とともに座標平面を表示部１１に表示させる。ユーザは、入力部１２を用いて、座標平面上において、ユーザが目標とする感情状態を表した座標点を選択する。サーバ２の目標感情状態取得部２２３は、座標平面上においてユーザによって選択された目標感情状態を示す座標点の座標値を、目標感情状態として取得する。
目標感情状態を表した座標点が選択された後、表示部１１は、図２１に示す座標選択画面を表示する。図２１に示す座標選択画面では、２つの感情の強度を縦軸及び横軸で表す座標平面と、現在感情状態を示す座標点と、目標感情状態を示す座標点とが表示される。図２１では、縦軸が覚醒度を表しており、横軸が感情価を表している。図２１中のスタート点は、現在感情状態を示す座標点を表しており、ゴール点は、目標感情状態を示す座標点を表している。座標選択画面には、スタート点とゴール点とを結ぶ矢印が表示される。
図２２は、本実施の形態におけるコンテンツ提供装置及びスピーカ装置の動作について説明するためのフローチャートである。
まず、ステップＳ２１において、コンテンツ提供装置３の通信部３１は、サーバ２によって送信された現在感情状態及び目標感情状態を受信する。
次に、ステップＳ２２において、音楽コンテンツ決定部３２１は、現在感情状態から目標感情状態に変化させるための音楽コンテンツを決定する。音楽コンテンツ決定部３２１は、目標感情状態を示す感情の強度から、現在感情状態を示す感情の強度を減算することにより、現在感情状態と目標感情状態との差分を示す感情状態変化値を算出する。音楽コンテンツ決定部３２１は、算出した感情状態変化値に対応付けられている音楽コンテンツを、音楽コンテンツ記憶部３３１から取得する。
次に、ステップＳ２３において、通信部３１は、音楽コンテンツ決定部３２１によって決定された音楽コンテンツをスピーカ装置４へ送信する。
次に、ステップＳ２４において、スピーカ装置４の通信部４１は、コンテンツ提供装置３によって送信された音楽コンテンツを受信する。
次に、ステップＳ２５において、音楽コンテンツ出力制御部４２１は、通信部４１によって受信された音楽コンテンツをスピーカ４３に出力させる。ユーザは、スピーカ４３から出力される音楽コンテンツを聞く。これにより、ユーザの感情状態は、現在感情状態から目標感情状態に変化する。
なお、音楽コンテンツの出力中において、端末装置１の表示部１１は、現在感情状態、目標感情状態及び音楽コンテンツの楽曲名を表示してもよい。
図２３は、本実施の形態において、音楽コンテンツの出力開始時に表示されるコンテンツ提示画面の一例を示す図であり、図２４は、本実施の形態において、音楽コンテンツの出力中に表示されるコンテンツ提示画面の一例を示す図である。
表示部１１は、音楽コンテンツの出力開始時に図２３に示すコンテンツ提示画面を表示する。図２３に示すコンテンツ提示画面は、２つの感情の強度を縦軸及び横軸で表す座標平面と、現在感情状態を示す座標点と、目標感情状態を示す座標点と、音楽コンテンツの楽曲名と、音楽コンテンツのディスクジャケット画像とが表示される。図２３では、縦軸が覚醒度を表しており、横軸が感情価を表している。図２３中のスタート点は、現在感情状態を示す座標点を表しており、ゴール点は、目標感情状態を示す座標点を表している。座標選択画面には、スタート点とゴール点とを結ぶ矢印が表示される。
また、表示部１１は、音楽コンテンツの出力中に図２４に示すコンテンツ提示画面を表示する。図２４に示すコンテンツ提示画面は、座標平面と、現在感情状態を示す座標点と、目標感情状態を示す座標点と、ユーザの感情状態の遷移を示す座標点と、音楽コンテンツの楽曲名と、音楽コンテンツのディスクジャケット画像とが表示される。図２４中の現在点は、音楽コンテンツを聞くことにより変化するユーザの感情状態の遷移を示す座標点を表している。なお、現在点の座標は、音楽コンテンツの出力時間と現在時刻とに基づいて算出される。
なお、端末装置１は、現在感情状態及び目標感情状態をサーバ２から受信し、音楽コンテンツの楽曲名及び音楽コンテンツのディスクジャケット画像をコンテンツ提供装置３から受信し、コンテンツ提示画面を生成する。
また、音楽コンテンツについても画像と同様にアンケートが行われ、アンケート結果に基づいて、音楽コンテンツに対応付ける感情状態変化値が取得されてもよい。
図２５は、本実施の形態における音楽コンテンツに対するアンケートの一例を示す図である。
例えば、複数の音楽コンテンツのうちの１つの音楽コンテンツがユーザに向かって出力される。そして、出力された音楽コンテンツに対するユーザの評価が受け付けられる。このとき、音楽コンテンツの出力開始時点から所定の時間内（例えば、出力開始から１０秒内）に音楽コンテンツに対するユーザの評価が受け付けられる。また、音楽コンテンツの出力終了時点から所定時間内（例えば、出力終了時点の１０秒前から１０秒後までの間）に音楽コンテンツに対するユーザの評価が受け付けられる。
図２５に示す例は、１つの音楽コンテンツについて、複数の感情の各項目に対する複数のユーザの評価を平均したアンケート結果を表示している。図２５に示すアンケートでは、１つの音楽コンテンツに対して、覚醒度、明暗（感情価）、緊張感及び複雑性の４つの感情が評価される。各感情は、７段階で評価される。
図２５において、音楽コンテンツの出力開始時点において、覚醒度の評価の平均は３．１であり、明暗（感情価）の評価の平均は５．４であり、緊張感の評価の平均は１．５であり、複雑性の評価の平均は５．８である。また、音楽コンテンツの出力終了時点において、覚醒度の評価の平均は５．５であり、明暗（感情価）の評価の平均は７．８であり、緊張感の評価の平均は１．０であり、複雑性の評価の平均は３．５である。出力終了時点の各感情の評価値から、出力開始時点の各感情の評価値を減算することにより、各感情の感情状態変化値が算出される。感情状態変化値が、−１．０〜＋１．０の値に正規化され、音楽コンテンツに対応付けられる。
（変形例）
続いて、本実施の形態の変形例について説明する。
（１）画像選択時において、端末装置１は、１つの感情の強度に対応する複数の画像を１軸で表示する表示態様と、複数の感情の強度に対応する複数の画像を複数の軸で表示する表示態様とを切り替えてもよい。例えば、端末装置１は、ユーザのいる場所に応じて表示態様を切り替えてもよい。
例えば、ユーザが、就寝前に、ベッドルームでコンテンツ提供システムを使用する場合、静かな音楽コンテンツが出力されるなど、出力される音楽コンテンツが予め想定される。この場合、複数の画像は、１つの感情軸で表示されてもよい。例えば、感情価軸のみに対応する複数の画像が表示される。また、最初に、端末装置１は、ネガティブ（マイナス）に対応する複数の画像及びポジティブ（プラス）に対応する複数の画像のいずれを表示するかのユーザによる選択を受け付けてもよい。
また、ユーザの利用情報に基づいて、音楽コンテンツの出力開始から所定時間以内に音楽コンテンツの出力が所定回数以上キャンセルされた場合、端末装置１は、感情価の情報をより正確に取得するために、複数の画像を変更してもよい。例えば、端末装置１は、プラスの感情価に対応する複数の画像と、マイナスの感情価に対応する複数の画像とのいずれを表示するかのユーザによる選択を受け付けるための画面を表示してもよい。その後、端末装置１は、ユーザによって選択されたプラスの感情価に対応する複数の画像と、マイナスの感情価に対応する複数の画像とのいずれかを表示してもよい。
また、ユーザの利用情報に基づいて、音楽コンテンツの出力開始から所定時間以内に音楽コンテンツの出力が所定回数以上キャンセルされた場合、端末装置１は、他の感情に対応付けられている複数の画像を表示してもよい。感情価に基づいて決定された音楽コンテンツの出力開始から所定時間以内に音楽コンテンツの出力が所定回数以上キャンセルされた場合、端末装置１は、複雑性又はストレス感に対応付けられている複数の画像を表示してもよい。例えば、端末装置１は、１つの軸の感情の強度が取得された後に、さらに音楽コンテンツの出力がキャンセルされた場合に、１つの軸の異なる感情の強度が取得してもよい。
例えば、ユーザがリビングでくつろいでいる状態でコンテンツ提供システムを使用する場合、ユーザには音楽コンテンツを詳しく選ぶ心理的な準備があると想定される。この場合、複数の画像は、最初から２つの感情軸で表示されてもよい。端末装置１は、例えば、覚醒度、感情価、緊張感及び複雑性の順でユーザに選択させる複数の画像を表示してもよい。
現在時刻は、インターネットから取得されてもよく、コンテンツ提供装置３又は端末装置１に内蔵される時計から取得されてもよい。また、端末装置１は、端末装置１の配置位置を予め記憶し、記憶した配置位置を参照することで端末装置１（ユーザ）の位置を特定してもよい。
（２）端末装置１は、ユーザの状況に応じて、より詳細な現在感情状態又は目標感情状態を取得してもよい。例えば、ユーザが就寝する前の時間帯においてコンテンツ提供システムが利用される場合、端末装置１は、プラスの感情価に対応する複数の画像と、マイナスの感情価に対応する複数の画像とのいずれを表示するかのユーザによる選択を受け付けるための画面を表示してもよい。その後、端末装置１は、ユーザによって選択されたプラスの感情価に対応する複数の画像と、マイナスの感情価に対応する複数の画像とのいずれかを表示してもよい。複数の画像は、例えば、３個である。
（３）端末装置１は、複数の画像が表示された時刻からユーザにより１の画像が選択された時刻までの選択時間に基づいて、現在感情状態又は目標感情状態として取得する感情の数を変更してもよい。初心者は、慣れていないため、選択時間が長くなるおそれがあり、成熟度が上がるにつれて、選択時間は短くなる。例えば、選択時間が所定の閾値よりも短い場合、端末装置１は、より詳細な感情状態を取得するために、取得する感情軸の数を増やしてもよい。
端末装置１の表示制御部１４１は、第１の感情の強度に対応付けられた複数の画像を表示させる。端末装置１のプロセッサ１４は、複数の画像が表示されてからユーザによって画像が選択されるまでの選択時間を計測する時間計測部を備えてもよい。表示制御部１４１は、計測された選択時間が所定時間以下である場合、第１の感情の強度とは異なる第２の感情の強度に対応付けられた複数の画像を選択可能に表示させる。
最初は、サーバ２は、２つの軸の感情の強度を現在感情状態又は目標感情状態として取得し、選択時間が短縮されるにつれて、取得する感情の軸を増やす。端末装置１は、１つの画面を複数の画面に分割し、各画面に複数の感情のそれぞれに対応する複数の画像を表示してもよい。また、サーバ２は、１つの感情の軸又は２つの感情の軸に対応する複数の画像を表示する第１画面に基づいて１つの感情の強度又は２つの感情の強度を取得してもよい。次に、サーバ２は、第１画面とは異なる１つの感情の軸又は２つの感情の軸に対応する複数の画像を表示する第２画面に基づいて１つの感情の強度又は２つの感情の強度を取得してもよい。
なお、選択時間の閾値としては、ユーザの過去の選択時間に基づいた時間が設定されてもよい。端末装置１は、例えば、複数の画像が表示される前の過去５回の選択時間の平均と、複数の画像が表示される前の過去１０回の選択時間の平均との差分が所定の時間以上に短くなった場合に、成熟度が上がったと判断し、取得する感情の軸を増やす。また、端末装置１は、前回の選択時間から５回前までの選択時間の平均と、６回前の選択時間から１０回前までの選択時間の平均との差分を用いてもよい。
また、端末装置１は、感情の軸を増やさないことを示す選択ボタンを第２画面に表示してもよい。また、端末装置１は、第２画面の選択時間が所定時間以上であり、かつ、音楽コンテンツの出力が所定回数以上キャンセルされる場合には、第２画面の表示を止めて、第１画面のみを表示してもよい。
端末装置１は、第２画面において感情の軸を増やさないことを示す選択ボタンが押下された後、その後の現在感情状態又は目標感情状態の取得時には、第２画面を表示しないようにしてもよい。また、端末装置１は、第２画面を表示させずに現在感情状態又は目標感情状態が取得され、かつ、音楽コンテンツの出力が所定回数以上キャンセルされる場合には、第２画面を表示するとともに、第２画面において画像が選択されることによりユーザに適した音楽コンテンツが出力可能であることを示すメッセージを表示してもよい。
（４）現在感情状態又は目標感情状態の過去の履歴に基づいて、取得された感情の強度の値の変化が大きい感情は優先順位を上げてもよく、取得された感情の強度の値の変化が小さい感情は優先順位を下げてもよい。サーバ２のメモリ２３は、取得した現在感情状態の履歴を記憶してもよい。画像取得部２２１は、前回取得した現在感情状態の感情の強度と前々回取得した現在感情状態の感情の強度との差分が閾値以上である場合、感情の強度の優先度を上げてもよい。画像取得部２２１は、優先度の高い感情の強度に対応する複数の画像を取得してもよい。端末装置１の表示制御部１４１は、優先度の高い感情の強度に対応付けられる複数の画像を順番に表示させてもよい。
例えば、端末装置１は、複数の感情の強度を取得する場合、優先順位の高い感情の強度に対応する複数の画像を先に表示する。１つの感情の軸毎に複数の画像を表示して、複数の感情の強度を取得する場合には、端末装置１は、優先順位の高い感情の強度に対応する複数の画像を順番に表示する。
また、端末装置１は、２つの感情の軸に対応する複数の画像を表示し、かつ１つの感情の軸に対応する複数の画像を表示する場合、優先順位が高い順に２つの感情の軸に対応する複数の画像を表示し、その後、３番目の優先順位の感情の軸に対応する複数の画像を表示する。また、端末装置１は、優先順位が１位及び２位の感情の軸に対応する複数の画像を先に表示し、その後、優先順位が１位及び３位の感情の軸に対応する複数の画像を表示してもよい。
また、サーバ２は、取得された感情の強度の値の変化が所定値以下である場合には、ユーザに画像を選択させることなく、過去の選択履歴に基づいて現在感情状態又は目標感情状態を取得してもよい。取得された感情の強度の値の変化が所定値以下であるか否かの判断には、選択された画像に対応する感情の強度の値の平均値に対する差分が利用可能である。また、取得された感情の強度の値の変化が所定値以下であるか否かの判断には、分散値を利用することも可能である。
なお、取得された感情の強度の値の変化は、時間帯に応じて利用することが望ましい。時間帯に応じた感情の軸の設定は、過去の履歴に基づかずユーザの行動に応じた設定になるため、有効である。例えば、就寝直前の時間帯のユーザは、眠りたい可能性が高い。そのため、サーバ２は、緊張感の軸又はストレス感の軸を用いて感情の強度を取得し、覚醒度の軸を用いて感情の強度を取得しない。
また、取得された感情の強度の値の変化は、現在感情状態及び目標感情状態の少なくとも一方の取得において比較されてもよい。
（５）選択された画像に対する感情状態は、人の特性に応じて補正されてもよい。サーバ２のプロセッサ２２は、現在の時刻と、選択された画像の特徴量とに基づいて、取得された現在感情状態を補正する補正部をさらに備えてもよい。また、補正部は、現在の時刻と、選択された画像の特徴量とに基づいて、取得された目標感情状態を補正してもよい。
図２６は、本実施の形態における覚醒度の補正について説明するための図である。
補正部は、ユーザにより画像が選択された時刻などの時刻情報を取得し、取得した時刻情報と、選択された画像の特徴量とに基づいて、現在感情状態の値又は目標感情状態の値を補正する。例えば、人は、時間帯によって色の見え方が変化すると言われている。例えば、人は、夜に青が見えやすくなると言われている。そのため、補正部は、現在の時刻（ユーザにより画像が選択された時刻）が夜間であり、かつ選択された画像の色相が青色（例えば、１８０°〜２４０°）を示している場合、覚醒度の値を例えば２０％増加させてもよい。
図２６の例において、選択された画像の画像ＩＤが「７７８８」であり、現在の時刻が夜間の時刻である場合、補正部は、第１画像特徴量である色相が１８５°であるので、覚醒度の値を「＋０．１」から「＋０．１２」に補正する。
また、音楽コンテンツ決定部３２１は、人の特性に応じて音楽コンテンツを決定してもよい。人の時間経過の感じ方は時間帯により変化すると言われている。例えば、人は、同じ曲であっても夜間の方が昼間よりもテンポが速く聞こえると言われている。そのため、音楽コンテンツ決定部３２１は、現在の時刻が夜間の時間帯であれば、算出した感情状態変化値に対応付けられている音楽コンテンツのテンポよりも例えば２０％遅いテンポの音楽コンテンツを決定してもよい。
（６）選択された画像に対する感情状態は、画像選択時におけるユーザの生体情報に応じて補正されてもよい。コンテンツ提供システムは、ユーザの生体情報を計測する生体情報計測装置をさらに備えてもよい。生体情報は、例えば、心拍数である。サーバ２の通信部２１は、ユーザの生体情報を生体情報計測装置から取得する。サーバ２のプロセッサ２２は、取得された生体情報に基づいて、取得された現在感情状態を補正する補正部をさらに備えてもよい。例えば、補正部は、取得された心拍数が所定値以上である場合、現在感情状態の覚醒度の値を２０％増加させてもよい。
また、補正部は、取得された生体情報に基づいて、取得された目標感情状態を補正してもよい。この場合、例えば、補正部は、取得された心拍数が所定値以上である場合、目標感情状態の覚醒度の値を２０％増加させてもよい。
また、人は、心拍数が高い時に音楽を聞くと、平常時よりもテンポが遅く聞こえると言われている。そこで、音楽コンテンツ決定部３２１は、ユーザの生体情報に応じて音楽コンテンツを決定してもよい。
図２７は、本実施の形態におけるユーザの生体情報に応じた音楽コンテンツの決定について説明するための図である。
平常時において、ユーザの今の気分（覚醒度）が「０」であった場合、それは心拍数が６０ｂｐｍである時の感覚である。このとき、ユーザの今の気分（覚醒度）を表す音楽コンテンツのテンポは、６０ｂｐｍである。一方、ユーザが走った後において、ユーザの今の気分（覚醒度）が「０」であった場合、それは心拍数が１２０ｂｐｍである時の感覚である。このとき、ユーザの今の気分（覚醒度）が「０」であるため、６０ｂｐｍのテンポの音楽コンテンツを出力すると、非常に覚醒度の低い音楽コンテンツが再生されたような印象を与えてしまう。このため、音楽コンテンツ決定部３２１は、ユーザの生体情報（例えば、心拍数）に応じて、音楽コンテンツのテンポを補正することが好ましい。図２７の補正式に示すように、音楽コンテンツ決定部３２１は、平常時の心拍数６０ｂｐｍと、走った後の現在の心拍数１２０ｂｐｍとを加算した値を２で割った値（９０ｂｐｍ）を補正後の音楽コンテンツのテンポとして算出してもよい。これにより、今の気分（覚醒度）に合ったテンポの音楽コンテンツを提供することができる。
また、現在感情状態取得部２２２は、ユーザの心拍数に応じて、現在感情状態の強度を補正してもよい。現在感情状態取得部２２２は、覚醒度（例えば、「０」）を取得した際の心拍数が平常値の６０ｂｐｍであった場合、そのまま覚醒度を取得する。一方、現在感情状態取得部２２２は、覚醒度（例えば、「０」）を取得した際の心拍数が所定値よりも高い場合、覚醒度をより高い値（例えば、＋０．５）に補正してもよい。現在感情状態取得部２２２は、現在の心拍数の値に応じて、補正値を決定してもよい。また、現在感情状態取得部２２２は、現在の心拍数が所定の範囲である場合には、所定の値を減算した覚醒度を取得してもよい。
また、目標感情状態取得部２２３は、ユーザの心拍数に応じて、目標感情状態の強度を補正してもよい。なお、目標感情状態取得部２２３は、ユーザの心拍数に応じて、目標感情状態の強度を補正しなくてもよい。この場合、現在感情状態の強度のみが、心拍数を用いて補正されてもよい。
また、音楽コンテンツ出力制御部４２１は、出力開始時には補正後のテンポ（例えば、９０ｂｐｍ）で音楽コンテンツを出力し、時間が経過するにつれて徐々にテンポを遅くし、出力終了時には平常時のテンポ（例えば、６０ｂｐｍ）で音楽コンテンツを出力するように制御してもよい。このように、徐々にテンポを遅くすることにより、ユーザの感情を効果的に誘導することができる。
（７）複数の画像は、音楽データを解析した結果を視覚化することにより作成されてもよい。例えば、非線形時系列解析の手法の１つであるリカレンスプロットにより、種々の音楽データの特徴を視覚化した複数の２次元平面画像が作成されてもよい。
図２８は、本実施の形態において、リカレンスプロットにより作成された複数の画像の一例を示す図である。
図２８に示す画像１０２１は、ボサノバ音楽を階層的なリカレンスプロットで解析した画像であり、画像１０２２は、ヒーリング用シンセサイザー音楽を階層的なリカレンスプロットで解析した画像であり、画像１０２３は、オルゴール音を階層的なリカレンスプロットで解析した画像である。各画像には、感情を表す色を付与してもよい。なお、階層的なリカレンスプロットについては、「Ｍｉｗａ Ｆｕｋｉｎｏ、Ｙｏｓｈｉｔｏ Ｈｉｒａｔａ及びＫａｚｕｙｕｋｉ Ａｉｈａｒａ、「Ｃｏａｒｓｅ−ｇｒａｉｎｉｎｇ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ： ｒｅｃｕｒｒｅｎｃｅ ｐｌｏｔ ｏｆ ｒｅｃｕｒｒｅｎｃｅ ｐｌｏｔｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ ｍｕｓｉｃ」、Ｃｈａｏｓ： Ａｎ Ｉｎｔｅｒｄｉｓｃｉｐｌｉｎａｒｙ Ｊｏｕｒｎａｌ ｏｆ Ｎｏｎｌｉｎｅａｒ Ｓｃｉｅｎｃｅ、（２０１６年）」に開示されているので、詳細な説明は省略する。
このように、種々の音楽データをリカレンスプロットで解析することにより、複数の画像を容易に作成することができる。
（８）本実施の形態において、端末装置１は、サーバ２、コンテンツ提供装置３及びスピーカ装置４の少なくとも１つの構成の一部又は全てを備えてもよい。
図２９は、本開示の実施の形態の変形例に係る端末装置の構成の一例を示すブロック図である。
図２９に示す端末装置１Ａは、表示部１１、入力部１２、プロセッサ１４Ａ、メモリ１５Ａ及びスピーカ４３を備える。プロセッサ１４Ａは、表示制御部１４１、入力制御部１４２、画像取得部２２１、現在感情状態取得部２２２、目標感情状態取得部２２３、音楽コンテンツ決定部３２１及び音楽コンテンツ出力制御部４２１を備える。メモリ１５Ａは、画像データベース記憶部２３１及び音楽コンテンツ記憶部３３１を備える。なお、図２９に示す端末装置１Ａにおいて、上記の実施の形態の端末装置１は、サーバ２、コンテンツ提供装置３及びスピーカ装置４と同じ構成については同じ符号を付し、説明を省略する。
（まとめ）
本実施の形態では、大雑把（俯瞰的）な感情を表す３×３の画像のうちの１の画像が選択された後、選択された１の画像に対応する感情の範囲から更に詳細な感情を示す３×３の画像のうちの１の画像が選択される。このような選択操作により、ユーザが画像から受けた更に詳細な感情に関する情報を取得することができる。また、このような選択操作により、システム側が想定している画像が表現している感情と、ユーザ側が受け取った感情との違いを補正することも可能である。
また、表示部１１の画面が大きい場合には、表示制御部１４１は、９×９の画像を最初から表示してもよい。また、表示部１１の画面が小さい場合には、表示制御部１４１は、９×９の画像を２階層に分け、３×３の画像を最初に表示し、３×３の画像の中から１の画像が選択されると、さらに３×３の画像を表示してもよい。これにより、システム側で保持している感情画像の数は変化させずに、画像の視認性を高めることができる。
また、２軸以上の感情軸を設け、１軸ずつユーザに選択させることにより、Ｒｕｓｓｅｌｌに基づく２軸のマップでは表現しきれない新たな軸を、システム側が機械学習しながら発見し追加することも可能である。これにより、将来的に拡張性のあるユーザインタフェースデザインとなる。例えば、高音の金属音（甲高い音）に対する感受性が非常に高いユーザの感情を表現する場合、従来の２軸のマップでは音の高さの違いがマップ上で表現できない。しかし、機械学習により音の高さの違いが判別できるようになった後に、高さが異なる複数の音をリカレンスプロットでそれぞれ解析することにより、音の高さの違いを表現した複数の画像が作成される。そして、作成された複数の画像がユーザに提示されることで、個人差に対応した感情の入力インタフェースを実現することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
本開示に係る技術は、ユーザが自身の感情状態を感覚的に選択することができるとともに、ユーザによって選択された画像からユーザの現在の感情状態を容易に特定することができるので、ユーザの感情状態を変化させるためのコンテンツを選択する技術に有用である。
１ 端末装置
２ サーバ
３ コンテンツ提供装置
４ スピーカ装置
５ ネットワーク
１１ 表示部
１２ 入力部
１３ 通信部
１４ プロセッサ
１５ メモリ
２１ 通信部
２２ プロセッサ
２３ メモリ
３１ 通信部
３２ プロセッサ
３３ メモリ
４１ 通信部
４２ プロセッサ
４３ スピーカ
１４１ 表示制御部
１４２ 入力制御部
１４３ 通信制御部
１５１ 画像データ記憶部
２２１ 画像取得部
２２２ 現在感情状態取得部
２２３ 目標感情状態取得部
２２４ 通信制御部
２３１ 画像データベース記憶部
３２１ 音楽コンテンツ決定部
３２２ 通信制御部
３３１ 音楽コンテンツ記憶部
４２１ 音楽コンテンツ出力制御部
４２２ 通信制御部

Claims (10)

  1. コンピュータが、
    少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、
    ディスプレイに前記複数の画像を選択可能に表示させ、
    前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得し、
    前記ユーザが目標とする感情状態を示す目標感情状態を取得し、
    前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定し、
    前記コンテンツを出力する、
    コンテンツ選択方法。
  2. さらに、前記ユーザを識別するためのユーザ識別情報を取得し、
    前記複数の画像の取得において、前記ユーザ識別情報に予め対応付けられている前記複数の画像を取得する、
    請求項１記載のコンテンツ選択方法。
  3. さらに、前記現在感情状態を取得した後、前記ディスプレイに前記複数の画像を選択可能に表示させ、
    前記目標感情状態の取得において、前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記目標感情状態として取得する、
    請求項１又は２記載のコンテンツ選択方法。
  4. 前記現在感情状態は、２つの感情の強度を縦軸及び横軸で表す座標平面上の座標値で表され、
    さらに、前記現在感情状態を取得した後、前記現在感情状態を示す座標点とともに前記座標平面を前記ディスプレイに表示させ、
    前記目標感情状態の取得において、前記座標平面上において前記ユーザによって選択された前記目標感情状態を示す座標点の座標値を、前記目標感情状態として取得する、
    請求項１又は２記載のコンテンツ選択方法。
  5. 前記複数の画像の表示において、第１の感情の強度に対応付けられた複数の画像を表示させ、
    さらに、前記複数の画像が表示されてから前記ユーザによって前記画像が選択されるまでの選択時間を計測し、
    さらに、計測した前記選択時間が所定時間以下である場合、前記第１の感情の強度とは異なる第２の感情の強度に対応付けられた複数の画像を選択可能に表示させる、
    請求項１〜４のいずれか１項に記載のコンテンツ選択方法。
  6. さらに、取得した前記現在感情状態の履歴を記憶し、
    さらに、前回取得した前記現在感情状態の前記感情の強度と前々回取得した前記現在感情状態の前記感情の強度との差分が閾値以上である場合、前記感情の強度の優先度を上げ、
    前記複数の画像の表示において、前記優先度の高い前記感情の強度に対応付けられる前記複数の画像を順番に表示させる、
    請求項１〜５のいずれか１項に記載のコンテンツ選択方法。
  7. さらに、現在の時刻と、選択した前記画像の特徴量とに基づいて、取得した前記現在感情状態を補正する、
    請求項１〜６のいずれか１項に記載のコンテンツ選択方法。
  8. さらに、前記ユーザの生体情報を取得し、
    さらに、取得した前記生体情報に基づいて、取得した前記現在感情状態を補正する、
    請求項１〜７のいずれか１項に記載のコンテンツ選択方法。
  9. 少なくとも１つの感情の強度と対応付けられた複数の画像を取得する画像取得部と、
    ディスプレイに前記複数の画像を選択可能に表示させる表示制御部と、
    前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得する現在感情状態取得部と、
    前記ユーザが目標とする感情状態を示す目標感情状態を取得する目標感情状態取得部と、
    前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定するコンテンツ決定部と、
    前記コンテンツを出力する出力部と、
    を備えるコンテンツ選択装置。
  10. 少なくとも１つの感情の強度と対応付けられた複数の画像を取得し、
    ディスプレイに前記複数の画像を選択可能に表示させ、
    前記複数の画像のうちのユーザによって選択された画像に対応付けられた前記少なくとも１つの感情の強度を、前記ユーザの現在の感情状態を示す現在感情状態として取得し、
    前記ユーザが目標とする感情状態を示す目標感情状態を取得し、
    前記現在感情状態から前記目標感情状態に変化させるためのコンテンツを決定し、
    前記コンテンツを出力するようにコンピュータを機能させる、
    コンテンツ選択プログラム。
JP2020095295A 2019-06-06 2020-06-01 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム Pending JP2021057002A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962858020P 2019-06-06 2019-06-06
US62/858,020 2019-06-06
JP2019179541 2019-09-30
JP2019179541 2019-09-30

Publications (1)

Publication Number Publication Date
JP2021057002A true JP2021057002A (ja) 2021-04-08

Family

ID=73609421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020095295A Pending JP2021057002A (ja) 2019-06-06 2020-06-01 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム

Country Status (3)

Country Link
US (1) US11379094B2 (ja)
JP (1) JP2021057002A (ja)
CN (1) CN112052349B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139849A1 (ja) * 2022-01-18 2023-07-27 パナソニックＩｐマネジメント株式会社 感情推定方法、コンテンツ決定方法、プログラム、感情推定システム、及びコンテンツ決定システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822123A (en) * 1993-09-09 1998-10-13 Davis; Bruce Electronic television program guide schedule system and method with pop-up hints
US5732232A (en) * 1996-09-17 1998-03-24 International Business Machines Corp. Method and apparatus for directing the expression of emotion for a graphical user interface
US20080216002A1 (en) * 2004-08-30 2008-09-04 Pioneer Corporation Image Display Controller and Image Display Method
CN101512574A (zh) * 2006-09-07 2009-08-19 宝洁公司 用于测量情绪响应和选择偏好的方法
GB0818089D0 (en) * 2008-10-03 2008-11-05 Eastman Kodak Co Interactive image selection method
KR101262922B1 (ko) * 2009-12-10 2013-05-09 한국전자통신연구원 감성 변화에 따른 감성지수 결정 장치 및 그 방법
JP2011170690A (ja) 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
US20150127577A1 (en) * 2012-05-04 2015-05-07 B-Sm@Rk Limited Method and apparatus for rating objects
US20170004260A1 (en) * 2012-08-16 2017-01-05 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
KR102458643B1 (ko) * 2016-05-27 2022-10-24 얀센 파마슈티카 엔.브이. 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법
US10698951B2 (en) * 2016-07-29 2020-06-30 Booktrack Holdings Limited Systems and methods for automatic-creation of soundtracks for speech audio
US20180101659A1 (en) * 2016-10-07 2018-04-12 eMind Science Corp. Methods, devices, and systems for identifying, monitoring, and treating a mental health disorder
JP6839818B2 (ja) 2017-05-17 2021-03-10 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
CN107424019A (zh) * 2017-08-15 2017-12-01 京东方科技集团股份有限公司 基于情绪识别的艺术品推荐方法、装置、介质和电子设备
US10091554B1 (en) * 2017-12-06 2018-10-02 Echostar Technologies L.L.C. Apparatus, systems and methods for generating an emotional-based content recommendation list
CN109688264B (zh) * 2018-12-17 2021-02-12 咪咕数字传媒有限公司 一种电子设备显示状态调整方法、装置及存储介质
CN109684978A (zh) * 2018-12-18 2019-04-26 深圳壹账通智能科技有限公司 员工情绪监控方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139849A1 (ja) * 2022-01-18 2023-07-27 パナソニックＩｐマネジメント株式会社 感情推定方法、コンテンツ決定方法、プログラム、感情推定システム、及びコンテンツ決定システム

Also Published As

Publication number Publication date
CN112052349B (zh) 2024-04-16
US20200387267A1 (en) 2020-12-10
US11379094B2 (en) 2022-07-05
CN112052349A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
JP6982660B2 (ja) 身体活動及びトレーニングモニタ
JP6636792B2 (ja) 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2019518284A (ja) 呼吸シーケンスユーザインターフェース
US20210212581A1 (en) Method and apparatus for providing biometric information by electronic device
US10372086B2 (en) Smart watch having display, color of which changes according to state of user
JP7288064B2 (ja) 視覚型仮想エージェント
JP2021057002A (ja) コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム
JP4750554B2 (ja) 色彩診断システム及びそのプログラム
JP2021135853A (ja) 睡眠改善システム
US20210011614A1 (en) Method and apparatus for mood based computing experience
JP2017170253A (ja) 印象評価装置及び印象評価方法
JP6226288B2 (ja) 印象評価装置及び印象評価方法
JP2021003216A (ja) 情報処理システム、及び、情報処理方法
EP3893091A1 (en) Controlling a data inspection by a user

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423