JP2022138233A - コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース - Google Patents

コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース Download PDF

Info

Publication number
JP2022138233A
JP2022138233A JP2021038000A JP2021038000A JP2022138233A JP 2022138233 A JP2022138233 A JP 2022138233A JP 2021038000 A JP2021038000 A JP 2021038000A JP 2021038000 A JP2021038000 A JP 2021038000A JP 2022138233 A JP2022138233 A JP 2022138233A
Authority
JP
Japan
Prior art keywords
content
emotion
time
estimated
emotion value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021038000A
Other languages
English (en)
Inventor
真央 勝原
Mao Katsuhara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021038000A priority Critical patent/JP2022138233A/ja
Priority to PCT/JP2022/002893 priority patent/WO2022190686A1/ja
Priority to EP22766653.4A priority patent/EP4307206A1/en
Priority to CN202280018430.9A priority patent/CN116917923A/zh
Publication of JP2022138233A publication Critical patent/JP2022138233A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/10Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/40Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/30Control

Abstract

【課題】ユーザ個々人にフィットするコンテンツをリコメンドする。【解決手段】コンテンツリコメンデーションシステムは、バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、を具備する。【選択図】図2

Description

本開示は、ユーザインタフェース端末装置に楽曲等のコンテンツをリコメンドするコンテンツリコメンデーションシステム及びコンテンツリコメンデーション方法に関する。本開示は、リコメンドすべきコンテンツを選定するのに用いられるコンテンツライブラリと、コンテンツライブラリの生成方法とに関する。本開示は、ユーザインタフェース端末装置に表示されるグラフィカルユーザインタフェースであるターゲットインプットユーザインタフェースに関する。
に関する。
典型的には、楽曲や映像等のコンテンツのリコメンデーションには、ユーザの購買又は視聴履歴といった行動や、楽曲のジャンル、リズム及びテンポ等のメタ情報を用い、一般的な解釈によってシーンごとのリコメンデーションリストを作成して提示する。
特開2018-195043号公報 特表2016-532360号公報 特開2018-159908号公報
しかしながら、上記のような一般論に基づく推薦方法では、ユーザの真の意向をくみ取ることは難しく、ユーザの意図に反する推薦を行うと、リコメンデーションシステムに対するユーザの信頼度は低下し、結果としてサービスが利用されなくなるおそれがある。
そこで、ユーザ個々人の心理状態に応じたコンテンツをリコメンドするような提案もある(特許文献1及び特許文献2)。しかしながら、これらの方法では、実際に推定によりリコメンドを行う方法の科学的な根拠が曖昧である。また、リコメンドするコンテンツの選定は従来通りのメタ情報に基づく。このため、ユーザ個々人にフィットするコンテンツをリコメンドするのは困難である。
以上のような事情に鑑み、本開示の目的は、ユーザ個々人にフィットするコンテンツをリコメンドすることにある。
本開示の一形態に係るコンテンツリコメンデーションシステムは、
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
を具備する。
本実施形態によれば、継続的且つ時系列的なバイタルデータを長期間的に反映することができ、より正確に推定情動値を生成できる。推定情動値がより正確であるため、推定情動値からターゲット情動値に到達するために、より適したコンテンツを選定することができる。
前記リコメンデーションエンジンが前記ターゲット情動値を取得するより前から、
前記バイタル特徴量生成部は、前記時系列バイタルデータを取得し、前記時系列的なバイタル特徴量データを生成し、
前記情動推定演算部は、前記時系列的なバイタル特徴量データに基づき前記推定情動値を生成してもよい。
リコメンデーションエンジンがターゲット情動値を取得するより前から、バイタル特徴量生成部は、時系列バイタルデータを取得して時系列的なバイタル特徴量データを生成し、情動推定演算部は、時系列的なバイタル特徴量データに基づき推定情動値を生成する。このため、仮にリコメンデーションエンジンがターゲット情動値を取得してから時系列バイタルデータを取得し、時系列的なバイタル特徴量データを生成し、推定情動値を生成する場合に比べて、継続的且つ時系列的なバイタルデータを長期間的に反映することができ、より正確に推定情動値を生成できる。推定情動値がより正確であるため、推定情動値からターゲット情動値に到達するために、より適したコンテンツを選定することができる。
前記情動推定演算部は、前記時系列的なバイタル特徴量データに含まれる過去のバイタル特徴量データから推移した、前記時系列的なバイタル特徴量データに含まれる最新のバイタル特徴量データに基づき、前記推定情動値を生成してもよい。
情動推定演算部には、最新のバイタル特徴量データだけでなく、時系列的なバイタル特徴量データ(即ち、過去のバイタル特徴量データを含む)が入力される。情動推定演算部は、時系列的なバイタル特徴量データに含まれる過去のバイタル特徴量データから推移した、時系列的なバイタル特徴量データに含まれる最新のバイタル特徴量データに基づき、推定情動値を生成する。言い換えれば、情動推定演算部は、過去のバイタル特徴量データがどのように推移して最新のバイタル特徴量データになったか、を含めた、現在のユーザの推定情動値を生成する。要するに、情動推定演算部は、複数段階の過去のバイタル特徴量データの推移を含めた、現在のユーザの推定情動値を生成する。これにより、継続的且つ時系列的なバイタルデータを長期間的に反映することができ、より正確に推定情動値を生成できる。
前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶してもよい。
リコメンデーションエンジンは、推定情動値からターゲット情動値に到達するための複数のコンテンツを全て選定することができる。
前記コンテンツライブラリは、前記複数の異なる推定情動値と、前記複数の異なるターゲット情動値との2次元的なマトリクスであり、
それぞれの推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録されてもよい。
リコメンデーションエンジンは、推定情動値とターゲット情動値との交点に登録された複数のコンテンツを全て選定することができる。
前記リコメンデーションエンジンは、複数のコンテンツを前記コンテンツライブラリから選定し、
前記コンテンツリコメンデーションシステムは、
前記ユーザのコンテクスト情報を生成するコンテクスト情報生成部と、
前記コンテクスト情報に基づき、選定された前記複数のコンテンツから少なくとも1個のコンテンツを絞り込むコンテクスト処理部と、をさらに具備し、
前記コンテンツリコメンド部は、絞り込まれた前記少なくとも1個のコンテンツをリコメンドしてもよい。
クラウドサーバのコンテクスト処理部は、コンテクスト情報生成部が生成したコンテクスト情報に基づき、リコメンデーションエンジンが選定した複数のコンテンツから少なくとも1個のコンテンツを絞り込む。コンテクスト処理部は、典型的には1個のコンテンツを絞り込むが、複数のコンテンツに絞り込んでもよい。
前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための複数のコンテンツを記憶し、前記複数のコンテンツは、複数の異なる前記コンテクスト情報に関連付けられ、
前記コンテクスト処理部は、生成された前記コンテクスト情報が関連付けられた少なくとも1個のコンテンツを、選定された前記複数のコンテンツから絞り込んでもよい。
コンテンツライブラリに登録された複数のコンテンツには、複数の異なるコンテクスト情報が関連付けられている。コンテクスト処理部は、コンテクスト情報生成部が生成したコンテクスト情報が関連付けられた少なくとも1個のコンテンツを、選定された複数のコンテンツから絞り込む。例えば、リコメンデーションエンジンが、コンテクスト情報として「運動中」が関連付けられたコンテンツと、コンテクスト情報として「就寝時」が関連付けられたコンテンツを選定し、コンテクスト情報生成部が生成したコンテクスト情報が「運動中」である場合、コンテクスト処理部は、コンテクスト情報として「運動中」が関連付けられたコンテンツを絞り込む。コンテクスト処理部は、コンテクスト情報に加えて、時系列バイタルデータやコンテンツのメタデータに基づきコンテンツを絞り込んでもよい。例えば、コンテクスト処理部は、時系列バイタルデータに含まれるユーザの心拍とテンポが同調するコンテンツ(楽曲)を絞り込んでもよい。
前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
前記コンテンツリコメンデーションシステムは、
前記リコメンドされたコンテンツを、前記推定情動値から前記リコメンド後の推定情動値に到達するためのコンテンツとして、前記ユーザ毎の前記コンテンツライブラリに登録することにより、前記コンテンツライブラリを前記ユーザ毎にアップデートするライブラリ更新部をさらに具備してもよい。
このように、ライブラリ更新部は、コンテンツを1個リコメンドする毎に、コンテンツライブラリに対するフィードバックを行う。これにより、初期コンテンツライブラリを、ユーザ毎にカスタマイズされたテーラーメイドのコンテンツライブラリへと特化して行くことができる。
前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
前記リコメンデーションエンジンは、前記リコメンド後の推定情動値から前記ターゲット情動値に到達するためのコンテンツを前記コンテンツライブラリからさらに選定し、
前記コンテンツリコメンド部は、さらに選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドしてもよい。
ユーザがコンテンツを体験(視聴等)した後、ユーザの情動が、ターゲット情動値に到達することが望まれる。言い換えれば、リコメンド後の推定情動値が、ターゲット情動値に到達していることが望まれる。一方、リコメンドされたコンテンツの体験がユーザの情動変化に効果的に作用せず、リコメンド後の推定情動値が、ターゲット情動値に到達していない可能性もある。例えば、リコメンド後の推定情動値が変化せずのままだった、あるいは、予定外の情動値に到達した、という可能性もある。リコメンド後の推定情動値を演算することで、リコメンドされたコンテンツが、ユーザの情動変化に効果的に作用した(即ち、ターゲット情動値に到達した)かどうかをフィードバックすることができる。
前記情動推定演算部は、時系列的な前記推定情動値を生成し、
前記リコメンデーションエンジンは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値を、前記ターゲット情動値に到達するためのコンテンツを、前記コンテンツライブラリから選定してもよい。
リコメンデーションエンジンは、過去の推定情動値から最新の推定情動値までの推移を含めた、ターゲット情動値に到達するためのコンテンツを選定することができる。
前記コンテンツライブラリは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値から、前記ターゲット情動値に到達するための1又は複数のコンテンツを記憶してもよい。
このコンテンツライブラリの構成により、リコメンデーションエンジンは、時系列的な推定情動値に含まれる過去(例えば、10分前等)の推定情動値から到達した、時系列的な推定情動値に含まれる最新の推定情動値を、ターゲット情動値に到達するためのコンテンツを、コンテンツライブラリから選定することができる。
前記コンテンツライブラリは、複数の異なる過去の推定情動値からそれぞれ複数の異なる最新の推定情動値に到達し、次いで、前記複数の異なる最新の推定情動値から複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶してもよい。
このコンテンツライブラリの構成により、リコメンデーションエンジンは、リコメンデーションエンジンは、過去の推定情動値、最新の推定情動値、そしてターゲット情動値に、複数段階で到達するためのコンテンツを選定することができる。
前記コンテンツライブラリは、前記複数の異なる過去の推定情動値と、前記複数の異なる最新の推定情動値と、前記複数の異なるターゲット情動値との3次元的なマトリクスであり、
それぞれの過去の推定情動値と、それぞれの最新の推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記最新の推定情動値に到達し、次いで、前記最新の推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録されてもよい。
このコンテンツライブラリの構成により、リコメンデーションエンジンは、リコメンデーションエンジンは、過去の推定情動値、最新の推定情動値、そしてターゲット情動値に、複数段階で到達するためのコンテンツを選定することができる。
前記情動推定演算部は、前記ユーザの情動が特定の情動状態であることの確度(Probability)を演算し、前記確度を前記推定情動値としてもよい。
強度とは異なり、統計的及び確率的な値である確度を利用することで、適切な推定情動値を演算することができる。
前記確度は、前記ユーザの情動が特定の情動状態であることを定量化した値である。
定量化した値を利用することで、より科学的にユーザの情動を推定することができる。
前記情動推定演算部は、前記ユーザの情動が第1の特定の情動状態であることの確度である第1の確度と、前記ユーザの情動が第2の特定の情動状態であることの確度である第2の確度とを演算し、前記第1の確度及び前記第2の確度に基づき前記推定情動値を生成してもよい。
複数の種類の情動状態の確度を演算することで、ユーザの情動をより正確に推定できる可能性が高まる。
前記第1の特定の情動状態は覚醒(Arousal)状態であり、前記第1の確度は、前記ユーザの情動が覚醒状態であることの確度であり、
前記第2の特定の情動状態は感情価(Valance)の快(Pleasure)状態であり、前記第2の確度は、前記ユーザの情動が快状態であることの確度でもよい。
情動推定演算部は、ラッセルの円環モデルを利用したモデルである。しかし、ラッセルの円環モデルそのものではなく、ラッセルの円環モデルで採用される「強度」とは異なる「確度」を利用することで、より科学的にユーザの情動を推定することができる。
前記ユーザインタフェース端末装置は、ユーザが前記ターゲット情動値をインプットするために表示されるGUIであるターゲットインプットユーザインタフェースを表示し、
前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットしてもよい。
ターゲットインプットユーザインタフェースの座標系を見ることで、ターゲットとしてのエリアをユーザが視覚的に選択しやすい。
前記ターゲットインプットユーザインタフェースは、第1の特定の情動状態であることの確度である第1の確度の高低と、第2の特定の情動状態であることの確度である第2の確度の高低とに対応する複数の異なるエリアを2軸方向のマトリクス状に表示し、
前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記第1の確度及び前記第2の確度の組み合わせを、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットしてもよい。
2軸方向のマトリクス状の座標系を見ることで、ターゲットとしてのエリアをユーザが視覚的に選択しやすい。
前記ユーザインタフェース端末装置は、生成された前記推定情動値を取得し、
前記ターゲットインプットユーザインタフェースは、前記推定情動値を示すオブジェクトを、前記推定情動値が含まれるエリアに表示してもよい。
ユーザは、エリアに表示されたオブジェクトを見ることで、推定情動値を示すオブジェクトが表示されるエリアの、座標系全体に対する相対的な位置を知ることができる。ターゲットインプットユーザインタフェースを見慣れたユーザならば、現在の自分の情動を視覚的に知ることができる。さらに、ユーザは、現在の自分の情動の相対的な評価を知ることができるので、自分がターゲットとする情動を決めやすくなる。例えば、ユーザは、ターゲットインプットユーザインタフェースの座標系を見ることで、自分の情動を、現在のエリアから、ターゲットとして別のエリアに到達させたいと考え易くなる。
前記ユーザは、前記推定情動値を示すオブジェクトが表示された前記エリアから、前記ターゲット情動値を含むエリアまでスワイプすることにより、前記ターゲット情動値を前記ユーザインタフェース端末装置にインプットしてもよい。
スワイプすることで、ユーザは、現在の情動からユーザがなりたい感情まで到達することを、直感的にインプットできる。
前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアに、それぞれの確度の高低を表現する情動状態を示すピクトグラムを表示してもよい。
ユーザは、ピクトグラムを見ることで、自分がターゲットとする情動を決めやすくなる。また、ピクトグラムが表示された座標系に、ユーザの推定情動値を示すオブジェクト(本例では、星マーク)を表示すれば、現在の自分の情動を、視覚的に容易に知ることができる。
前記コンテンツライブラリは、
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、前記コンテンツライブラリに登録する
ことにより生成されてもよい。
これにより、コンテンツのメタデータやテンポ等飲みに依存せず、適切な初期コンテンツライブラリを科学的に生成できる。
前記バイタルセンサは、ウェアラブルデバイスに搭載され、
前記バイタルセンサは、脳波計測、容量脈波計測、皮膚コンダクタンス計測、レーザードップラー計測、RGBカメラ撮像及び/又はサーモカメラ撮像することにより、前記バイタルデータとして、脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温のデータを取得してもよい。
バイタルセンサがウェアラブルデバイスに搭載されることで、バイタルセンサは、ユーザのバイタルデータを、より継続的且つ時系列的にセンシングしやすくなる。
前記コンテクスト情報生成部は、前記バイタルセンサが取得する前記時系列バイタルデータに基づき生成された前記時系列的なバイタル特徴量データ、前記ユーザの環境の環境データ及び/又は前記ユーザの活動状態に基づき、前記コンテクスト情報を作成してもよい。
クラウドサーバのコンテクスト情報生成部は、時系列バイタルデータ(脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温等)、環境データ(温度、湿度、照度等)及び/又はユーザの活動状態(運動中かどうか等)に基づき、ユーザのコンテクスト情報を生成することができる。コンテクスト情報は、時刻、場所、活動内容(例えば、運動中、通勤中、仕事中、運転中、起床時、就寝時)等の如何なるコンテクストを含んでよい。
前記情動推定演算部は、前記時系列的なバイタル特徴量データ及び前記コンテクスト情報から、前記ユーザの情動の推定値である推定情動値を生成してもよい。
情動推定演算部がバイタル特徴量データのみに基づき(即ち、コンテクスト情報を使用せずに)推定情動値を生成する場合に比べて、より正確な推定情動値を生成できる。
本開示の一形態に係るコンテンツリコメンデーション方法は、
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成し、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成し、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定し、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドする。
本開示の一形態に係るコンテンツライブラリは、
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する
ことにより生成される。
本開示の一形態に係るコンテンツライブラリの生成方法は、
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する。
本開示の一形態に係るターゲットインプットユーザインタフェースは、
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
を具備するコンテンツリコメンデーションシステムの前記ユーザインタフェース端末装置が、ユーザが前記ターゲット情動値をインプットするために表示するGUIであるターゲットインプットユーザインタフェースであって、
特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
前記ユーザにより何れかのエリアが選択され、
選択された前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする。
本開示の一実施形態に係るコンテンツリコメンデーションシステムの概要を示す。 コンテンツリコメンデーションシステムの機能的構成を示す。 コンテンツリコメンデーションシステムの動作フローを示す。 情動推定演算部のモデルを説明するための図である。 ターゲットインプットユーザインタフェースの一例を示す。 コンテンツライブラリの一例を示す。 コンテンツライブラリの生成方法を示す。 第1の変形例に係るターゲットインプットユーザインタフェースを示す。 第2の変形例に係るターゲットインプットユーザインタフェースを示す。 第3の変形例に係るターゲットインプットユーザインタフェースを示す。 第4の変形例に係るターゲットインプットユーザインタフェースを示す。
以下、図面を参照しながら、本開示の実施形態を説明する。
I.第1の実施形態
1.コンテンツリコメンデーションシステムの概要
図1は、本開示の一実施形態に係るコンテンツリコメンデーションシステムの概要を示す。
コンテンツリコメンデーションシステム1は、1又は複数のウェアラブルデバイス100、1又は複数の環境センサ200、ユーザインタフェース端末装置300及びクラウドサーバ400を有する。
1又は複数のウェアラブルデバイス100は、例えば、イヤーバッド、ヘッドフォン、スマートウォッチ、リストバンド型フィットネストラッカ、衣服型ウェアラブルデバイス等である。1又は複数のウェアラブルデバイス100は、1人のユーザが装着する。以下、1又は複数のウェアラブルデバイス100を、単に単数形のウェアラブルデバイス100として総称する。ウェアラブルデバイス100は、それぞれ1又は複数のバイタルセンサ101を搭載する。以下、1又は複数のバイタルセンサ101を、単に単数形のバイタルセンサ101として総称する。
バイタルセンサ101は、ウェアラブルデバイス100を装着するユーザのバイタルデータを、継続的且つ時系列的にセンシングする。バイタルセンサ101は、脳波計測、容量脈波計測、皮膚コンダクタンス計測、レーザードップラー計測、RGBカメラ撮像及び/又はサーモカメラ撮像等の手法により、バイタルデータとして、脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温等のデータを取得する。
1又は複数の環境センサ200は、例えば、温度センサ、湿度センサ、照度センサ等である。以下、1又は複数の環境センサ200を、単に単数形の環境センサ200として総称する。環境センサ200は、温度、湿度、照度等(環境データ)をセンシングする。環境センサ200は、ユーザインタフェース端末装置300に搭載されてもよいし、ウェアラブルデバイス100に搭載されてもよいし、これらから独立した外部デバイスでもよい。
ユーザインタフェース端末装置300は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ等である。ユーザインタフェース端末装置300は、表示デバイス及び入力デバイスを有する。表示デバイス及び入力デバイスは、典型的には、表示機能及び入力機能を一体化に含むタッチパネルである。あるいは、入力デバイスは、表示デバイスであるディスプレイから独立してもよい。この場合、入力デバイスは、メカニカルスイッチ、ホイール、マウス、キーボード、音声入力用マイクロフォン等を含んでよい。
ユーザインタフェース端末装置300は、コンテンツ提供アプリケーションプログラム310(図2参照)を実行する。コンテンツ提供アプリケーションプログラム310は、ユーザインタフェース端末装置300とクラウドサーバ400とにより協働して実現されるウェブアプリケーションである。コンテンツ提供アプリケーションプログラム310は、コンテンツ(楽曲、動画等)をユーザにリコメンドし、提供(ストリーミング再生等)する。
ユーザインタフェース端末装置300は、さらに、バイタルセンサ101が継続的且つ時系列的にセンシングするユーザのバイタルデータをウェアラブルデバイス100から取得し、環境センサ200がセンシングする環境データを取得する。ユーザインタフェース端末装置300は、取得したバイタルデータ及び環境データと、ユーザインタフェース端末装置300が取得する位置情報(GPS情報、無線LAN情報)や加速度データ等とに基づき、ユーザの活動状態(例えば、運動中かどうか等)を判断する。コンテンツ提供アプリケーションプログラム310がユーザの活動状態を判断してもよい。あるいは、別のアプリケーションプログラム(例えば、フィットネストラッカを管理するアプリケーションプログラム)がユーザの活動状態を判断し、コンテンツ提供アプリケーションプログラム310がその情報を利用してもよい。
ユーザインタフェース端末装置300は、バイタルセンサ101が継続的且つ時系列的にセンシングするユーザのバイタルデータ、環境センサ200がセンシングする環境データ、ユーザインタフェース端末装置300が判断したユーザの活動状態を示す情報を、クラウドサーバ400に定期的に送信する。なお、ユーザインタフェース端末装置300がこれらのデータ及び情報をクラウドサーバ400に送信するのは、一例である。これに代えて、ウェアラブルデバイス100がバイタルデータを、環境センサ200が環境データを、ユーザインタフェース端末装置300を介さず直接クラウドサーバ400に送信してもよい。あるいは、ウェアラブルデバイス100がバイタルデータ等に基づきユーザの活動状態を判断してもよい。この場合、ウェアラブルデバイス100からユーザインタフェース端末装置300を介して又は介さずに、ユーザの活動状態をクラウドサーバ400に送信してもよい。要するに、クラウドサーバ400が、継続的且つ時系列的にセンシングされるユーザのバイタルデータ、環境データ及びユーザの活動状態を示す情報を取得できれば如何なる方法でもよい。あるいは、クラウドサーバ400が、受信したバイタルデータ及び環境データを示す情報に基づき、ユーザの活動状態を示す情報を生成してもよい。
クラウドサーバ400は、複数のハードウェアリソース及び複数のソフトウェアリソースにより実現される。クラウドサーバ400は、継続的且つ時系列的にセンシングされるユーザのバイタルデータ、環境データ及びユーザの活動状態を示す情報を取得する。クラウドサーバ400は、バイタルデータ、環境状態を示す情報及びユーザの活動状態に基づきユーザにリコメンドすべきコンテンツを選定し、選定したコンテンツをユーザインタフェース端末装置300のコンテンツ提供アプリケーションプログラム310にリコメンドする。
2.コンテンツリコメンデーションシステムの機能的構成
図2は、コンテンツリコメンデーションシステムの機能的構成を示す。
ROMが記憶する情報処理プログラムをRAMにロードしてプロセッサが実行することにより、クラウドサーバ400は、バイタル特徴量生成部401、コンテクスト情報生成部402、情動推定演算部403、リコメンデーションエンジン404、コンテクスト処理部405及びコンテンツリコメンド部406として動作する。クラウドサーバ400は、コンテンツライブラリ410を非一過性のコンピュータ読み取り可能な記憶装置に格納する。なお、クラウドサーバ400の機能部の一部であるバイタル特徴量生成部401、コンテクスト情報生成部402及び情動推定演算部403の少なくとも一部は、ユーザインタフェース端末装置300が実現してもよい。
3.コンテンツリコメンデーションシステムの動作フロー
図3は、コンテンツリコメンデーションシステムの動作フローを示す。
ステップS101:バイタル特徴量データの生成を開始
前提として、ウェアラブルデバイス100のバイタルセンサ101は、ユーザインタフェース端末装置300やクラウドサーバ400からのトリガを必要とせず、継続的且つ時系列的にユーザのバイタルデータ(以下、時系列バイタルデータと称する)をセンシングする。
クラウドサーバ400のバイタル特徴量生成部401は、バイタルセンサ101が継続的且つ時系列的にセンシングする時系列バイタルデータを取得すると、時系列バイタルデータから時系列的なバイタル特徴量データの生成を開始し、バイタル特徴量データを生成し続ける。言い換えれば、バイタル特徴量生成部401は、時系列バイタルデータの取得を開始すると、その他のトリガを必要とせず、時系列バイタルデータから時系列的なバイタル特徴量データの生成を開始し、バイタル特徴量データを生成し続ける。バイタル特徴量生成部401は、例えば、時系列バイタルデータにノイズ除去等の信号処理を行うことにより、時系列的なバイタル特徴量データを生成する。
ステップS102:コンテクスト情報を生成
クラウドサーバ400のコンテクスト情報生成部402は、時系列バイタルデータ(脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温等)、環境データ(温度、湿度、照度等)及び/又はユーザの活動状態(運動中かどうか等)に基づき、ユーザのコンテクスト情報を生成する。コンテクスト情報は、時刻、場所、活動内容(例えば、運動中、通勤中、仕事中、運転中、起床時、就寝時)等の如何なるコンテクストを含んでよい。
ステップS103:推定情動値を生成
クラウドサーバ400の情動推定演算部403に、バイタル特徴量生成部401が生成した時系列的なバイタル特徴量データと、コンテクスト情報生成部402が生成したコンテクスト情報とが入力される。情動推定演算部403は、入力された時系列的なバイタル特徴量データ及びコンテクスト情報から、ユーザの情動の推定値(以下、推定情動値と称する)を生成するモデルである。情動推定演算部403は、ラッセルの円環モデルを利用したモデルである。なお、情動推定演算部403に時系列的なバイタル特徴量データのみ入力され、情動推定演算部403は、バイタル特徴量データのみに基づき(即ち、コンテクスト情報を使用せずに)推定情動値を生成してもよい。
情動推定演算部403には、最新のバイタル特徴量データだけでなく、時系列的なバイタル特徴量データ(即ち、過去のバイタル特徴量データを含む)が入力される。情動推定演算部403は、時系列的なバイタル特徴量データに含まれる過去のバイタル特徴量データから推移した、時系列的なバイタル特徴量データに含まれる最新のバイタル特徴量データに基づき、推定情動値を生成する。言い換えれば、情動推定演算部403は、過去のバイタル特徴量データがどのように推移して最新のバイタル特徴量データになったか、を含めた、現在のユーザの推定情動値を生成する。要するに、情動推定演算部403は、複数段階の過去のバイタル特徴量データの推移を含めた、現在のユーザの推定情動値を生成する。
図4は、情動推定演算部のモデルを説明するための図である。
図中左に示す様に、ラッセルの円環モデルにおいて、覚醒(Arousal)軸は、眠気(Sleepiness)から覚醒までの範囲で、ユーザの情動が覚醒状態であることの強度を示す。具体的には、上側ほど覚醒が強く、下側ほど覚醒が弱い(即ち、眠気が強い)ことを示す。また、感情価(Valance)軸は、不快(Un-pleasure)から快(Pleasure)までの範囲で、ユーザの情動が快状態であることの強度を示す。具体的には、右側ほど快の感情が強く、左側ほど快の感情が弱い(即ち、不快の感情が強い)ことを示す。
一方、図中右に示す様に、情動推定演算部403のモデルにおいて、覚醒(Arousal)軸は、ユーザの情動が覚醒状態であることの確度(Probability)を示し、感情価(Valance)軸は、ユーザの情動が快状態であることの確度を示す。確度は、統計的及び確率的な値であり、ラッセルの円環モデルで採用される「強度」とは異なる。確度は、ユーザの情動が特定の情動状態(覚醒状態、快状態)であることを定量化した値を意味する。定量化した値を利用することで、より科学的にユーザの情動を推定することができる。
情動推定演算部403は、入力された時系列的なバイタル特徴量データから、ユーザの情動が特定の情動状態であることの確度を演算し、この確度を推定情動値とする。具体的には、情動推定演算部403は、ユーザの情動が覚醒(Arousal)状態(第1の特定の情動状態)であることの確度(第1の確度)を演算する。情動推定演算部403は、ユーザの情動が感情価(Valance)の快(Pleasure)状態(第2の特定の情動状態)であることの確度(第2の確度)を演算する。情動推定演算部403は、ユーザの情動が覚醒状態であることの確度(第1の確度)及びユーザの情動が快状態であることの確度(第2の確度)に基づき推定情動値を生成する。複数の種類の情動状態の確度を演算することで、ユーザの情動をより正確に推定できる可能性が高まる。
図中右に示す様に、推定情動値は、ユーザの情動が覚醒(Arousal)状態であることの確度の高低と、ユーザの情動が快(Pleasure)状態であることの確度の高低と、の組み合わせにより、4象限にマトリクス状に分類される。演算された推定情動値がエリア(1)に含まれる場合、ユーザの情動が、覚醒状態である確度が高く、快状態である確度が高いことを意味する。演算された推定情動値がエリア(2)に含まれる場合、ユーザの情動が、覚醒状態である確度が低く、快状態である確度が高いことを意味する。演算された推定情動値がエリア(3)に含まれる場合、ユーザの情動が、覚醒状態である確度が低く、快状態である確度が低いことを意味する。演算された推定情動値がエリア(4)に含まれる場合、ユーザの情動が、覚醒状態である確度が高く、快状態である確度が低いことを意味する。
なお、推定情動値の分類数は4象限でなくてもよい。4象限をそれぞれ2×2に分割した16象限に推定情動値を分類してもよい。あるいは、各象限をさらに細かく(最終的には座標レベルに)分割して、さらに多数の象限に推定情動値を分類してもよい。あるいは、覚醒(Arousal)軸又は感情価(Valance)軸の何れか一方のみを使用し、推定情動値を2象限(例えば、覚醒状態の高低)に分類してもよい。このように、推定情動値は、最低2象限に分類すればよい。
情動推定演算部403は、生成した推定情動値を、リコメンデーションエンジン404に入力する。本例では、情動推定演算部403が演算した推定情動値は、覚醒状態である確度が低く、快状態である確度が低い値であり、エリア(3)に含まれると仮定する。
ステップS104で、クラウドサーバ400のリコメンデーションエンジン404は、このユーザに過去にコンテンツをリコメンドしたことがあるか否かを判断する。リコメンデーションエンジン404は、このユーザに初めてコンテンツをリコメンドすると判断すると(ステップS104、NO)、ステップS105に進む。
ステップS105:ターゲットインプットユーザインタフェースに推定情動値を表示
クラウドサーバ400のリコメンデーションエンジン404に、情動推定演算部403が生成した推定情動値が入力される。リコメンデーションエンジン404は、情動推定演算部403が生成した推定情動値を、ユーザインタフェース端末装置300に供給する。
ユーザインタフェース端末装置300は、クラウドサーバ400から推定情動値を取得する。ユーザインタフェース端末装置300は、表示デバイス(タッチパネル等)に、ターゲットインプットユーザインタフェース320を表示する。ターゲットインプットユーザインタフェース320は、推定情動値321をユーザに表示し、ユーザがターゲットとする情動(以下、ターゲット情動値と称する)322を、ユーザがインプットするために表示されるGUIである。ユーザがターゲットとする情動とは、言い換えれば、ユーザがなりたい感情である。なお、コンテンツ提供アプリケーションプログラム310が、ターゲットインプットユーザインタフェース320を表示してもよい。あるいは、コンテンツ提供アプリケーションプログラム310とは独立したアプリケーションプログラムが、ターゲットインプットユーザインタフェース320を表示してもよい。
図5は、ターゲットインプットユーザインタフェースの一例を示す。
図中左に示す様に、ターゲットインプットユーザインタフェース320のベース画面は、情動推定演算部403のモデルと同様のマトリクス状の座標系である。即ち、ターゲットインプットユーザインタフェース320のベース画面は、ユーザの情動が覚醒(Arousal)状態(第1の特定の情動状態)であることの確度(第1の確度)の高低と、ユーザの情動が感情価(Valance)の快(Pleasure)状態(第2の特定の情動状態)であることの確度(第2の確度)の高低と、に対応する複数の異なるエリア(1)乃至(4)を2軸方向のマトリクス状に表示する。
図中の中央に示す様に、ターゲットインプットユーザインタフェース320は、推定情動値を示すオブジェクト(本例では、星マーク)を、クラウドサーバ400から取得した推定情動値が含まれるエリア(3)に表示する。
ユーザは、エリア(3)に表示されたオブジェクトを見ることで、推定情動値を示すオブジェクトが表示されるエリア(3)の、座標系全体に対する相対的な位置を知ることができる。ターゲットインプットユーザインタフェース320を見慣れたユーザならば、現在の自分の情動が、覚醒状態である確度が低く、快状態である確度が低いことを、視覚的に知ることができる。さらに、ユーザは、現在の自分の情動の相対的な評価を知ることができるので、自分がターゲットとする情動を決めやすくなる。例えば、ユーザは、ターゲットインプットユーザインタフェース320の座標系を見ることで、自分の情動を、エリア(3)から、ターゲットとして別のエリアに到達させたいと考え易くなる。例えば、ユーザは、現在の推定情動値(エリア(3):覚醒状態である確度が低く、快状態である確度が低い)を、ターゲット情動値(エリア(1):覚醒状態である確度が高く、快状態である確度が高い)に到達させたいと考える。
ステップS106:ターゲット情動値をインプット
図中右に示す様に、ユーザは、何れかのエリア(本例では、エリア(1))を選択する。例えば、ユーザは、推定情動値を示すオブジェクトが表示されたエリア(3)から、ターゲット情動値を含むエリア(1)までスワイプする。スワイプすることで、ユーザは、現在の情動からユーザがなりたい感情まで到達することを、直感的にインプットできる。あるいは、ユーザは、ターゲット情動値を含むエリア(1)をタップしてもよい。あるいは、ユーザは、ターゲット情動値を含むエリア(1)の番号を発声することにより音声入力してもよい。これにより、ユーザは、選択したエリア(1)に含まれる確度を、ターゲット情動値としてユーザインタフェース端末装置300にインプットする。このように、ユーザは、何れかのエリア(本例では、エリア(1))を選択することにより、選択したエリア(1)に含まれる第1の確度及び第2の確度の組み合わせ(覚醒状態である確度が高く、快状態である確度が高い)を、ターゲット情動値としてユーザインタフェース端末装置300にインプットする。
ユーザインタフェース端末装置300は、ユーザがインプットしたターゲット情動値を、クラウドサーバ400に供給する。
ステップS107:コンテンツライブラリからコンテンツを選定
クラウドサーバ400のリコメンデーションエンジン404は、ユーザインタフェース端末装置300からインプットされたターゲット情動値を取得する。リコメンデーションエンジン404は、情動推定演算部403が生成した推定情動値から、ユーザがインプットしたターゲット情動値に到達するためのコンテンツ(楽曲、動画等)を、コンテンツライブラリ410から選定する。
図6は、コンテンツライブラリの一例を示す。
コンテンツライブラリ410は、複数の異なる推定情動値から、それぞれ複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶する。具体的には、コンテンツライブラリ410は、複数の異なる推定情動値(1)乃至(4)と、複数の異なるターゲット情動値(1')乃至(4')との2次元的なマトリクスである。それぞれの推定情動値と、それぞれのターゲット情動値との交点に、推定情動値からターゲット情動値に到達するための複数のコンテンツ(厳密には、コンテンツの識別情報やアクセス情報。以下同じ)が登録される。例えば、推定情動値(3)とターゲット情動値(1')との交点に、複数のコンテンツが登録される。なお、各交点に登録されるコンテンツは典型的には複数であるが、1個でもよい。1個の交点に登録された複数のコンテンツには、複数の異なるコンテクスト情報が関連付けられている。例えば、1個の交点に登録されたあるコンテンツにはコンテクスト情報として「運動中」が関連付けられ、同じ交点に登録された別のコンテンツにはコンテクスト情報として「就寝時」が関連付けられる。
また、コンテンツライブラリ410は、基準となる初期コンテンツライブラリ410と、ユーザ毎にカスタマイズされたテーラーメイドのコンテンツライブラリ410を含む。リコメンデーションエンジン404は、初めてコンテンツをリコメンドするユーザには(ステップS104、NO)、初期コンテンツライブラリ410を使用する。一方、リコメンデーションエンジン404は、過去にコンテンツをリコメンドしたことがあるユーザには(ステップS104、YES)、ユーザ毎のコンテンツライブラリ410を使用する。
リコメンデーションエンジン404は、コンテンツライブラリ410から複数のコンテンツを選定する。本例の場合、リコメンデーションエンジン404は、推定情動値(3)からターゲット情動値(1')に到達するための複数のコンテンツを全て選定する。言い換えれば、リコメンデーションエンジン404は、推定情動値(3)とターゲット情動値(1')との交点に登録された複数のコンテンツを全て選定する。
ところで、リコメンデーションエンジン404がターゲット情動値を取得する(ステップS106)より前から、バイタル特徴量生成部401は、時系列バイタルデータを取得して時系列的なバイタル特徴量データを生成し(ステップS101)、情動推定演算部403は、時系列的なバイタル特徴量データに基づき推定情動値を生成する(ステップS103)。このため、仮にリコメンデーションエンジン404がターゲット情動値を取得してから時系列バイタルデータを取得し、時系列的なバイタル特徴量データを生成し、推定情動値を生成する場合に比べて、継続的且つ時系列的なバイタルデータを長期間的に反映することができ、より正確に推定情動値を生成できる。推定情動値がより正確であるため、推定情動値からターゲット情動値に到達するために、より適したコンテンツを選定することができる。
ステップS108:コンテクスト情報を入力
クラウドサーバ400のコンテクスト処理部405に、コンテクスト情報生成部402が生成したコンテクスト情報(ステップS102)が入力される。
ステップS109:コンテンツを絞り込み(ナローダウン)
クラウドサーバ400のコンテクスト処理部405は、コンテクスト情報生成部402が生成したコンテクスト情報に基づき、リコメンデーションエンジン404が選定した複数のコンテンツから少なくとも1個のコンテンツを絞り込む。コンテクスト処理部405は、典型的には1個のコンテンツを絞り込むが、複数のコンテンツに絞り込んでもよい。上述のように、コンテンツライブラリ410に登録された複数のコンテンツには、複数の異なるコンテクスト情報が関連付けられている。コンテクスト処理部405は、コンテクスト情報生成部402が生成したコンテクスト情報が関連付けられた少なくとも1個のコンテンツを、選定された複数のコンテンツから絞り込む。例えば、リコメンデーションエンジン404が、コンテクスト情報として「運動中」が関連付けられたコンテンツと、コンテクスト情報として「就寝時」が関連付けられたコンテンツを選定し、コンテクスト情報生成部402が生成したコンテクスト情報が「運動中」である場合、コンテクスト処理部405は、コンテクスト情報として「運動中」が関連付けられたコンテンツを絞り込む。コンテクスト処理部405は、コンテクスト情報に加えて、時系列バイタルデータやコンテンツのメタデータに基づきコンテンツを絞り込んでもよい。例えば、コンテクスト処理部405は、時系列バイタルデータに含まれるユーザの心拍とテンポが同調するコンテンツ(楽曲)を絞り込んでもよい。
ステップS110:コンテンツをリコメンド
クラウドサーバ400のコンテンツリコメンド部406は、選定され絞り込まれたコンテンツを、ユーザインタフェース端末装置300にリコメンドする。
ユーザインタフェース端末装置300のコンテンツ提供アプリケーションプログラム310は、リコメンドされたコンテンツを提供(ストリーミング再生等)する。
ステップS110の後:Loop
ステップS101以降、クラウドサーバ400のバイタル特徴量生成部401は、時系列的なバイタル特徴量データを生成し続けている。言い換えれば、バイタル特徴量生成部401は、最新のバイタル特徴量データを追加することで、時系列的なバイタル特徴量データを更新し続けている。
情動推定演算部403は、コンテンツリコメンド部406がコンテンツをリコメンドした後の時系列的なバイタル特徴量データと、コンテクスト情報とから、ユーザの情動の推定値である、リコメンド後の推定情動値を生成する(ステップS103)。
クラウドサーバ400のリコメンデーションエンジン404は、このユーザに過去にコンテンツをリコメンドしたことがあると判断すると(ステップS104、YES)、ステップS111に進む。
ステップS111:コンテンツライブラリのアップデート
本例では、クラウドサーバ400は、推定情動値(3)からターゲット情動値(1')に到達するためのコンテンツをユーザにリコメンドした(ステップS110)。従って、ユーザがコンテンツを体験(視聴等)した後、ユーザの情動が、ターゲット情動値(1')(即ち、覚醒状態である確度が高く、快状態である確度が高い)に到達することが望まれる。言い換えれば、リコメンド後の推定情動値が、ターゲット情動値(1')に到達していることが望まれる。一方、リコメンドされたコンテンツの体験(視聴等)がユーザの情動変化に効果的に作用せず、リコメンド後の推定情動値が、ターゲット情動値(1')に到達していない可能性もある。例えば、リコメンド後の推定情動値が変化せず(3')のままだった、あるいは、(2')又は(4')に到達した、という可能性もある。リコメンド後の推定情動値を演算することで、リコメンドされたコンテンツが、ユーザの情動変化に効果的に作用した(即ち、ターゲット情動値(1')に到達した)かどうかをフィードバックすることができる。
クラウドサーバ400のライブラリ更新部407は、リコメンドされたコンテンツを、推定情動値からリコメンド後の推定情動値に到達するためのコンテンツとして、ユーザ毎のコンテンツライブラリに登録することにより、コンテンツライブラリをユーザ毎にアップデートする。本例の場合、リコメンド後の推定情動値が、推定情動値(3)からターゲット情動値(1')に到達していれば、ライブラリ更新部407は、リコメンドされたコンテンツを、確度の高いコンテンツとしてラベル付けする。
一方、リコメンド後の推定情動値が変化せず(3')のままだった場合、ライブラリ更新部407は、リコメンドされたコンテンツを、このユーザのコンテンツライブラリ410の推定情動値(3)とターゲット情動値(1')との交点から削除し、推定情動値(3)とターゲット情動値(3')との交点に登録する。リコメンド後の推定情動値が(2')又は(4')に到達した場合、ライブラリ更新部407は、リコメンドされたコンテンツを、このユーザのコンテンツライブラリ410の推定情動値(3)とターゲット情動値(1')との交点から削除し、推定情動値(3)とターゲット情動値(2')又は(4')との交点に登録する。
このように、ライブラリ更新部407は、コンテンツを1個リコメンドする毎に、コンテンツライブラリ410に対するフィードバックを行う。これにより、初期コンテンツライブラリ410を、ユーザ毎にカスタマイズされたテーラーメイドのコンテンツライブラリ410へと特化して行くことができる。
ステップS105:ターゲットインプットユーザインタフェースに推定情動値を表示
クラウドサーバ400のリコメンデーションエンジン404に、情動推定演算部403が生成したリコメンド後の推定情動値が入力される。リコメンデーションエンジン404は、情動推定演算部403が生成したリコメンド後の推定情動値を、ユーザインタフェース端末装置300に供給する。
ユーザインタフェース端末装置300は、クラウドサーバ400からリコメンド後の推定情動値を取得する。ユーザインタフェース端末装置300は、表示デバイス(タッチパネル等)に、ターゲットインプットユーザインタフェース320を表示する。ターゲットインプットユーザインタフェース320は、推定情動値を示すオブジェクト(本例では、星マーク)を、クラウドサーバ400から取得したリコメンド後の推定情動値が含まれるエリアに表示する。
ユーザは、エリアに表示されたオブジェクトを見ることで、リコメンド後の推定情動値が、自分がターゲットするエリア(先に、ステップS106で自分がスワイプしたエリア)に到達したかどうかを知ることができる。
ステップS106:ターゲット情動値をインプット
ユーザは、リコメンド後の推定情動値が、自分がターゲットするエリアに到達していなければ、再度、先にインプットしたターゲット情動値を含むエリアをスワイプ又はタップして、先にインプットしたターゲット情動値を新たにインプットしてもよい。あるいは、ユーザは、別のエリアをターゲットとしたければ、別のエリアをスワイプ又はタップして、別のターゲット情動値を新たにインプットしてもよい。なお、ユーザがターゲットとするエリアが、前回のインプットしたエリアから変わらなければ、ユーザは再度ターゲット情動値を含むエリアをインプットしなくて問題無い。
ユーザがターゲット情動値を新たにインプットした場合、ユーザインタフェース端末装置300は、新たにインプットされたターゲット情動値をクラウドサーバ400に供給する。
ステップS107:コンテンツライブラリからコンテンツを選定
クラウドサーバ400のリコメンデーションエンジン404は、ユーザインタフェース端末装置300からインプットされたターゲット情動値を新たに取得する。リコメンデーションエンジン404は、情動推定演算部403が生成したリコメンド後の推定情動値から、ユーザが新たにインプットしたターゲット情動値に到達するためのコンテンツを、コンテンツライブラリ410から選定する。
一方、ユーザがターゲット情動値を新たにインプットしなかった場合、リコメンデーションエンジン404は、ユーザインタフェース端末装置300からターゲット情動値を新たに取得しない。この場合、リコメンデーションエンジン404は、リコメンド後の推定情動値から先に入力されたターゲット情動値に到達するためのコンテンツをコンテンツライブラリ410からさらに選定する。本例の場合、リコメンド後の推定情動値が、推定情動値(3)からターゲット情動値(1')に到達していれば、リコメンデーションエンジン404は、リコメンド後の推定情動値(1)からターゲット情動値(1')に到達するためのコンテンツを選定する。一方、リコメンド後の推定情動値が変化せず(3')のままだった場合、リコメンデーションエンジン404は、リコメンド後の推定情動値(3)からターゲット情動値(1')に到達するためのコンテンツを選定する。リコメンド後の推定情動値が(2')又は(4')に到達した場合、リコメンデーションエンジン404は、リコメンド後の推定情動値(2)又は(4)からターゲット情動値(1')に到達するためのコンテンツを選定する。
その後、クラウドサーバ400は、1巡目と同様に、コンテクスト情報を入力し(ステップS108)、コンテンツを絞り込み(ステップS109)、コンテンツをリコメンドする(ステップS110)。
4.コンテンツライブラリの生成方法
図7は、コンテンツライブラリの生成方法を示す。
基準となる初期コンテンツライブラリ410を生成する方法を説明する。情報処理装置(コンピュータ等。不図示)は、初期コンテンツライブラリ410を生成し、クラウドサーバ400に格納する。
外乱の無いコントロール環境下に、複数(10人以上)の被験者を準備する。複数の被験者は、それぞれバイタルセンサ101が搭載されたウェアラブルデバイス100を装着する。バイタルセンサ101は、それぞれコントロール環境下で、継続的且つ時系列的に、複数の被験者の時系列バイタルデータをセンシングする。
情報処理装置のバイタル特徴量生成部は、バイタルセンサ101がそれぞれセンシングした複数の被験者の時系列バイタルデータを取得する。情報処理装置のバイタル特徴量生成部は、複数の被験者の時系列バイタルデータから、複数の被験者の時系列的なバイタル特徴量データを生成する。情報処理装置のバイタル特徴量生成部は、複数の被験者の時系列バイタルデータにノイズ除去等の信号処理を行うことにより、複数の被験者の時系列的なバイタル特徴量データを生成する(ステップS201)。
情報処理装置の情動推定演算部は、複数の被験者の時系列的なバイタル特徴量データから、複数の被験者の推定情動値を生成する。情報処理装置の情動推定演算部は、コンテクスト情報をさらに使用して推定情動値を生成してもよい(ステップS202)。
複数の被験者にコントロール環境下でコンテンツ(楽曲、動画等)を体験(視聴等)させる。コンテンツの体験中も、バイタルセンサ101は、それぞれ、継続的且つ時系列的に、複数の被験者の時系列バイタルデータをセンシングする。
情報処理装置のバイタル特徴量生成部は、バイタルセンサ101がそれぞれセンシングした、コンテンツを体験した後の、複数の被験者の時系列バイタルデータを取得する。情報処理装置のバイタル特徴量生成部は、複数の被験者の時系列バイタルデータから、コンテンツを体験した後の、複数の被験者の時系列的なバイタル特徴量データを生成する(ステップS203)。
情報処理装置の情動推定演算部は、コンテンツを体験した後の複数の被験者の時系列的なバイタル特徴量データから、複数の被験者のコンテンツ体験後の推定情動値を生成する(ステップS204)。
情報処理装置のライブラリ更新部は、体験されたコンテンツを、推定情動値からコンテンツ体験後の推定情動値に到達するためのコンテンツとして、小規模ライブラリに登録する。情報処理装置は、このフローを繰り返して、複数の小規模ライブラリを作成及び更新する。情報処理装置は、小規模ライブラリに登録されたコンテンツの類似性やメタデータに応じて、小規模ライブラリに登録されたコンテンツにコンテクスト情報が関連付ける。情報処理装置は、複数の小規模ライブラリを統合し、コンテンツライブラリ410を生成する(ステップS205)。これにより、コンテンツのメタデータやテンポ等飲みに依存せず、適切な初期コンテンツライブラリ410を科学的に生成できる。
II.第2の実施形態
以下、既に説明した構成及び動作等と同様の構成及び動作等は説明及び図示を省略し、異なる構成及び動作等を主に説明及び図示する。
第1の実施形態では、コンテンツライブラリ410は、複数の推定情動値(1)乃至(4)と、複数のターゲット情動値(1')乃至(4')との2次元的なマトリクスである。リコメンデーションエンジン404は、コンテンツライブラリ410は、時系列的な推定情動値に含まれる最新の推定情動値から、ターゲット情動値に到達するためのコンテンツを選定する。
これに対して、第2の実施形態では、リコメンデーションエンジン404は、時系列的な推定情動値に含まれる過去(例えば、10分前等)の推定情動値から到達した、時系列的な推定情動値に含まれる最新の推定情動値を、ターゲット情動値に到達するためのコンテンツを、コンテンツライブラリから選定する。要するに、リコメンデーションエンジン404は、過去の推定情動値、最新の推定情動値、そしてターゲット情動値に、複数段階で到達するためのコンテンツを選定する。要するに、リコメンデーションエンジン404は、過去の推定情動値から最新の推定情動値までの推移を含めた、ターゲット情動値に到達するためのコンテンツを選定する。
これを実現するため、コンテンツライブラリは、時系列的な推定情動値に含まれる過去の推定情動値から到達した、時系列的な推定情動値に含まれる最新の推定情動値から、ターゲット情動値に到達するための1又は複数のコンテンツを記憶する。具体的には、コンテンツライブラリは、複数の異なる過去の推定情動値からそれぞれ複数の異なる最新の推定情動値に到達し、次いで、複数の異なる最新の推定情動値から複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶する。
具体的には、コンテンツライブラリは、複数の異なる過去の推定情動値(1)乃至(4)と、複数の異なる最新の推定情動値(1')乃至(4')と、複数の異なるターゲット情動値(1")乃至(4")との3次元的なマトリクスである。それぞれの過去の推定情動値(1)乃至(4)と、それぞれの最新の推定情動値(1')乃至(4')と、それぞれのターゲット情動値(1")乃至(4")との交点に、推定情動値から最新の推定情動値に到達し、次いで、最新の推定情動値からターゲット情動値に到達するための1又は複数のコンテンツが登録される。
III.ターゲットインプットユーザインタフェースの変形例
第1の実施形態では、図5に示す様に、ターゲットインプットユーザインタフェース320のベース画面は、ユーザの情動が覚醒(Arousal)状態(第1の特定の情動状態)であることの確度(第1の確度)の高低と、ユーザの情動が感情価(Valance)の快(Pleasure)状態(第2の特定の情動状態)であることの確度(第2の確度)の高低と、に対応する複数の異なるエリア(1)乃至(4)を2軸方向のマトリクス状に表示する。ターゲットインプットユーザインタフェース320は、推定情動値を示すオブジェクト(本例では、星マーク)を、クラウドサーバ400から取得した推定情動値が含まれるエリア(3)に表示する。
ターゲットインプットユーザインタフェースのスタイルは、図5の例に限定されない。以下、ターゲットインプットユーザインタフェースの複数の変形例を図示及び説明する。なお、ユーザが、ユーザインタフェース端末装置300を介してターゲットインプットユーザインタフェースのスタイルを可変に設定可能であってもよい。あるいは、アプリケーションの仕様で、ターゲットインプットユーザインタフェースのスタイルが一義的に決まっていてもよい。
1.第1の変形例
図8は、第1の変形例に係るターゲットインプットユーザインタフェースを示す。
第1の変形例に係るターゲットインプットユーザインタフェースのベース画面は、図5のベース画面と同じである。一方、第1の変形例に係るターゲットインプットユーザインタフェースは、推定情動値を示すオブジェクトを表示しない(破線の星マークを模式的に示す)。このため、ユーザは、現在の自分の情動を視覚的に知ることができない。このスタイルでも、ユーザは、何れかのエリアをタップや音声入力等に選択する。これにより、ユーザは、選択したエリアに含まれる確度を、ターゲット情動値としてユーザインタフェース端末装置300にインプットする。
ターゲットインプットユーザインタフェースが、推定情動値を示すオブジェクトを表示しない場合、クラウドサーバ400のリコメンデーションエンジン404は、情動推定演算部403が生成した推定情動値を、ユーザインタフェース端末装置300に供給しなくてもよい。あるいは、クラウドサーバ400のリコメンデーションエンジン404は、情動推定演算部403が生成した推定情動値を、ユーザインタフェース端末装置300に供給してもよい。この場合、ユーザインタフェース端末装置300は、推定情動値を内部情報として保持する。
2.第2の変形例
図9は、第2の変形例に係るターゲットインプットユーザインタフェースを示す。
第2の変形例に係るターゲットインプットユーザインタフェースのベース画面は、ユーザの情動が覚醒(Arousal)状態(第1の特定の情動状態)であることの確度(第1の確度)の高低と、ユーザの情動が感情価(Valance)の快(Pleasure)状態(第2の特定の情動状態)であることの確度(第2の確度)の高低と、に対応する複数の異なるエリアを2軸方向のマトリクス状に表示する。第2の変形例に係るターゲットインプットユーザインタフェースは、複数の異なるエリアに、番号(1)乃至(4)ではなく、それぞれの確度の高低を表現する情動状態を示すピクトグラムを表示(射影)する。ピクトグラムは、例えば、顔の絵文字であり、1語程度の簡潔な文字を含んでもよい。
具体的には、エリア(1)に、覚醒状態である確度が高く、快状態である確度が高いことを表現する「喜」を示すピクトグラムを表示する。エリア(2)に、覚醒状態である確度が低く、快状態である確度が高いことを表現する「楽」を示すピクトグラムを表示する。エリア(3)に、覚醒状態である確度が低く、快状態である確度が低いことを表現する「哀」を示すピクトグラムを表示する。エリア(4)に、覚醒状態である確度が高く、快状態である確度が低いことを表現する「怒」を示すピクトグラムを表示する。
ユーザは、ピクトグラムを見ることで、自分がターゲットとする情動を決めやすくなる。また、ピクトグラムが表示された座標系に、ユーザの推定情動値を示すオブジェクト(本例では、星マーク)を表示すれば、現在の自分の情動を、視覚的に容易に知ることができる。
3.第3の変形例
図10は、第3の変形例に係るターゲットインプットユーザインタフェースを示す。
第1の実施形態では、ターゲットインプットユーザインタフェース320のベース画面は、ユーザの情動が覚醒(Arousal)状態(第1の特定の情動状態)であることの確度(第1の確度)の高低と、ユーザの情動が感情価(Valance)の快(Pleasure)状態(第2の特定の情動状態)であることの確度(第2の確度)の高低と、に対応する複数の異なるエリア(1)乃至(4)を2軸方向のマトリクス状に表示する。
これに対して、第3の変形例では、ターゲットインプットユーザインタフェースは、一方の特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に単純化して表示する。例えば、ユーザは原則的に、感情価(Valance)として、不快(Un-pleasure)ではなく快(Pleasure)を選択すると想定される。このため、ターゲット情動値の感情価(Valance)は固定的に快(Pleasure)であるとする。言い換えれば、ターゲット情動値の感情価(Valance)の確度を正の値に固定する。ターゲットインプットユーザインタフェースは、ターゲット情動値として、覚醒(Arousal)状態の確度の高低のインプットだけを受け付ける。図5の例で言えば、感情価(Valance)軸の不快(Un-pleasure)の確度が高いエリア(3)及び(4)が表示されず(あるいは表示されてもインプットは受け付けず)、快(Pleasure)の確度が高いエリア(1)及び(2)をユーザは選択可能である。これにより、選択されない可能性が高いエリアを表示しないことで、必要なエリアのみを表示し、ターゲットインプットユーザインタフェースが全体として単純化される。このため、ユーザはターゲットとするエリアを選択しやすく、且つ、希望のエリアを選択できないことの不利益が生じる可能性も少ない。
4.第4の変形例
図11は、第4の変形例に係るターゲットインプットユーザインタフェースを示す。
第3の変形例のように感情価(Valance)の確度を固定して覚醒(Arousal)の確度を可変とする代わりに、覚醒(Arousal)の確度を固定して感情価(Valance)の確度を可変としてもよい。第3の変形例及び第4の変形例によれば、1軸方向の高低のみの選択を行うため、入力デバイスとしてホイールやメカニカルスイッチを利用してユーザがインプットしやすい。
IV.結語
本実施形態によれば、ユーザの推定情動値を常時推定し、ユーザの推定情動値とユーザの目指すべきターゲット情動値に応じて、科学的根拠に基づき必要となるコンテンツをより個人に特化した形で提供することができる。その結果、ユーザ個々人にフィットするコンテンツをリコメンドすることができ、ユーザにとって満足度の高いリコメンデーションシステムを提供することが可能となる。
本開示は、以下の各構成を有してもよい。
(1)
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
を具備するコンテンツリコメンデーションシステム。
(2)
上記(1)に記載のコンテンツリコメンデーションシステムであって、
前記リコメンデーションエンジンが前記ターゲット情動値を取得するより前から、
前記バイタル特徴量生成部は、前記時系列バイタルデータを取得し、前記時系列的なバイタル特徴量データを生成し、
前記情動推定演算部は、前記時系列的なバイタル特徴量データに基づき前記推定情動値を生成する
コンテンツリコメンデーションシステム。
(3)
上記(1)又は(2)に記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記時系列的なバイタル特徴量データに含まれる過去のバイタル特徴量データから推移した、前記時系列的なバイタル特徴量データに含まれる最新のバイタル特徴量データに基づき、前記推定情動値を生成する
コンテンツリコメンデーションシステム。
(4)
上記(1)乃至(3)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶する
コンテンツリコメンデーションシステム。
(5)
上記(4)に記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、前記複数の異なる推定情動値と、前記複数の異なるターゲット情動値との2次元的なマトリクスであり、
それぞれの推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録される
コンテンツリコメンデーションシステム。
(6)
上記(1)乃至(5)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記リコメンデーションエンジンは、複数のコンテンツを前記コンテンツライブラリから選定し、
前記コンテンツリコメンデーションシステムは、
前記ユーザのコンテクスト情報を生成するコンテクスト情報生成部と、
前記コンテクスト情報に基づき、選定された前記複数のコンテンツから少なくとも1個のコンテンツを絞り込むコンテクスト処理部と、をさらに具備し、
前記コンテンツリコメンド部は、絞り込まれた前記少なくとも1個のコンテンツをリコメンドする
コンテンツリコメンデーションシステム。
(7)
上記(6)に記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための複数のコンテンツを記憶し、前記複数のコンテンツは、複数の異なる前記コンテクスト情報に関連付けられ、
前記コンテクスト処理部は、生成された前記コンテクスト情報が関連付けられた少なくとも1個のコンテンツを、選定された前記複数のコンテンツから絞り込む
コンテンツリコメンデーションシステム。
(8)
上記(1)乃至(7)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
前記コンテンツリコメンデーションシステムは、
前記リコメンドされたコンテンツを、前記推定情動値から前記リコメンド後の推定情動値に到達するためのコンテンツとして、前記ユーザ毎の前記コンテンツライブラリに登録することにより、前記コンテンツライブラリを前記ユーザ毎にアップデートするライブラリ更新部をさらに具備する
コンテンツリコメンデーションシステム。
(9)
上記(1)乃至(8)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
前記リコメンデーションエンジンは、前記リコメンド後の推定情動値から前記ターゲット情動値に到達するためのコンテンツを前記コンテンツライブラリからさらに選定し、
前記コンテンツリコメンド部は、さらに選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドする
コンテンツリコメンデーションシステム。
(10)
上記(1)乃至(9)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、時系列的な前記推定情動値を生成し、
前記リコメンデーションエンジンは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値を、前記ターゲット情動値に到達するためのコンテンツを、前記コンテンツライブラリから選定する
コンテンツリコメンデーションシステム。
(11)
上記(10)に記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値から、前記ターゲット情動値に到達するための1又は複数のコンテンツを記憶する
コンテンツリコメンデーションシステム。
(12)
上記(10)又は(11)に記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、複数の異なる過去の推定情動値からそれぞれ複数の異なる最新の推定情動値に到達し、次いで、前記複数の異なる最新の推定情動値から複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶し、
コンテンツリコメンデーションシステム。
(13)
上記(12)に記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、前記複数の異なる過去の推定情動値と、前記複数の異なる最新の推定情動値と、前記複数の異なるターゲット情動値との3次元的なマトリクスであり、
それぞれの過去の推定情動値と、それぞれの最新の推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記最新の推定情動値に到達し、次いで、前記最新の推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録される
コンテンツリコメンデーションシステム。
(14)
上記(1)乃至(13)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記ユーザの情動が特定の情動状態であることの確度(Probability)を演算し、前記確度を前記推定情動値とする
コンテンツリコメンデーションシステム。
(15)
上記(14)に記載のコンテンツリコメンデーションシステムであって、
前記確度は、前記ユーザの情動が特定の情動状態であることを定量化した値である
コンテンツリコメンデーションシステム。
(16)
上記(14)又は(15)に記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記ユーザの情動が第1の特定の情動状態であることの確度である第1の確度と、前記ユーザの情動が第2の特定の情動状態であることの確度である第2の確度とを演算し、前記第1の確度及び前記第2の確度に基づき前記推定情動値を生成する
コンテンツリコメンデーションシステム。
(17)
上記(16)に記載のコンテンツリコメンデーションシステムであって、
前記第1の特定の情動状態は覚醒(Arousal)状態であり、前記第1の確度は、前記ユーザの情動が覚醒状態であることの確度であり、
前記第2の特定の情動状態は感情価(Valance)の快(Pleasure)状態であり、前記第2の確度は、前記ユーザの情動が快状態であることの確度である
コンテンツリコメンデーションシステム。
(18)
上記(14)乃至(17)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記ユーザインタフェース端末装置は、ユーザが前記ターゲット情動値をインプットするために表示されるGUIであるターゲットインプットユーザインタフェースを表示し、
前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
コンテンツリコメンデーションシステム。
(19)
上記(18)に記載のコンテンツリコメンデーションシステムであって、
前記ターゲットインプットユーザインタフェースは、第1の特定の情動状態であることの確度である第1の確度の高低と、第2の特定の情動状態であることの確度である第2の確度の高低とに対応する複数の異なるエリアを2軸方向のマトリクス状に表示し、
前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記第1の確度及び前記第2の確度の組み合わせを、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
コンテンツリコメンデーションシステム。
(20)
上記(18)又は(19)に記載のコンテンツリコメンデーションシステムであって、
前記ユーザインタフェース端末装置は、生成された前記推定情動値を取得し、
前記ターゲットインプットユーザインタフェースは、前記推定情動値を示すオブジェクトを、前記推定情動値が含まれるエリアに表示する
コンテンツリコメンデーションシステム。
(21)
上記(20)に記載のコンテンツリコメンデーションシステムであって、
前記ユーザは、前記推定情動値を示すオブジェクトが表示された前記エリアから、前記ターゲット情動値を含むエリアまでスワイプすることにより、前記ターゲット情動値を前記ユーザインタフェース端末装置にインプットする
コンテンツリコメンデーションシステム。
(22)
上記(18)乃至(21)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアに、それぞれの確度の高低を表現する情動状態を示すピクトグラムを表示する
コンテンツリコメンデーションシステム。
(23)
上記(1)乃至(22)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記コンテンツライブラリは、
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、前記コンテンツライブラリに登録する
ことにより生成される
コンテンツリコメンデーションシステム。
(24)
上記(1)乃至(23)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記バイタルセンサは、ウェアラブルデバイスに搭載され、
前記バイタルセンサは、脳波計測、容量脈波計測、皮膚コンダクタンス計測、レーザードップラー計測、RGBカメラ撮像及び/又はサーモカメラ撮像することにより、前記バイタルデータとして、脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温のデータを取得する
コンテンツリコメンデーションシステム。
(25)
上記(1)乃至(24)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記コンテクスト情報生成部は、前記バイタルセンサが取得する前記時系列バイタルデータに基づき生成された前記時系列的なバイタル特徴量データ、前記ユーザの環境の環境データ及び/又は前記ユーザの活動状態に基づき、前記コンテクスト情報を作成する
コンテンツリコメンデーションシステム。
(26)
上記(1)乃至(25)の何れかに記載のコンテンツリコメンデーションシステムであって、
前記情動推定演算部は、前記時系列的なバイタル特徴量データ及び前記コンテクスト情報から、前記ユーザの情動の推定値である推定情動値を生成する
コンテンツリコメンデーションシステム。
(27)
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成し、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成し、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定し、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドする
コンテンツリコメンデーション方法。
(28)
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する
ことにより生成される
コンテンツライブラリ。
(29)
バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する
コンテンツライブラリの生成方法。
(30)
バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
を具備するコンテンツリコメンデーションシステムの前記ユーザインタフェース端末装置が、ユーザが前記ターゲット情動値をインプットするために表示するGUIであるターゲットインプットユーザインタフェースであって、
特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
前記ユーザにより何れかのエリアが選択され、
選択された前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
ターゲットインプットユーザインタフェース。
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
コンテンツリコメンデーションシステム1
ウェアラブルデバイス100
バイタルセンサ101
環境センサ200
ユーザインタフェース端末装置300
コンテンツ提供アプリケーションプログラム310
ターゲットインプットユーザインタフェース320
推定情動値321
ターゲット情動値322
クラウドサーバ400
バイタル特徴量生成部401
コンテクスト情報生成部402
情動推定演算部403
リコメンデーションエンジン404
コンテクスト処理部405
コンテンツリコメンド部406
コンテンツライブラリ410

Claims (30)

  1. バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
    前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
    ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
    選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
    を具備するコンテンツリコメンデーションシステム。
  2. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記リコメンデーションエンジンが前記ターゲット情動値を取得するより前から、
    前記バイタル特徴量生成部は、前記時系列バイタルデータを取得し、前記時系列的なバイタル特徴量データを生成し、
    前記情動推定演算部は、前記時系列的なバイタル特徴量データに基づき前記推定情動値を生成する
    コンテンツリコメンデーションシステム。
  3. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記時系列的なバイタル特徴量データに含まれる過去のバイタル特徴量データから推移した、前記時系列的なバイタル特徴量データに含まれる最新のバイタル特徴量データに基づき、前記推定情動値を生成する
    コンテンツリコメンデーションシステム。
  4. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶する
    コンテンツリコメンデーションシステム。
  5. 請求項4に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、前記複数の異なる推定情動値と、前記複数の異なるターゲット情動値との2次元的なマトリクスであり、
    それぞれの推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録される
    コンテンツリコメンデーションシステム。
  6. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記リコメンデーションエンジンは、複数のコンテンツを前記コンテンツライブラリから選定し、
    前記コンテンツリコメンデーションシステムは、
    前記ユーザのコンテクスト情報を生成するコンテクスト情報生成部と、
    前記コンテクスト情報に基づき、選定された前記複数のコンテンツから少なくとも1個のコンテンツを絞り込むコンテクスト処理部と、をさらに具備し、
    前記コンテンツリコメンド部は、絞り込まれた前記少なくとも1個のコンテンツをリコメンドする
    コンテンツリコメンデーションシステム。
  7. 請求項6に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、複数の異なる推定情動値からそれぞれ複数の異なるターゲット情動値に到達するための複数のコンテンツを記憶し、前記複数のコンテンツは、複数の異なる前記コンテクスト情報に関連付けられ、
    前記コンテクスト処理部は、生成された前記コンテクスト情報が関連付けられた少なくとも1個のコンテンツを、選定された前記複数のコンテンツから絞り込む
    コンテンツリコメンデーションシステム。
  8. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
    前記コンテンツリコメンデーションシステムは、
    前記リコメンドされたコンテンツを、前記推定情動値から前記リコメンド後の推定情動値に到達するためのコンテンツとして、前記ユーザ毎の前記コンテンツライブラリに登録することにより、前記コンテンツライブラリを前記ユーザ毎にアップデートするライブラリ更新部をさらに具備する
    コンテンツリコメンデーションシステム。
  9. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記コンテンツをリコメンドした後の前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である、リコメンド後の推定情動値を生成し、
    前記リコメンデーションエンジンは、前記リコメンド後の推定情動値から前記ターゲット情動値に到達するためのコンテンツを前記コンテンツライブラリからさらに選定し、
    前記コンテンツリコメンド部は、さらに選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドする
    コンテンツリコメンデーションシステム。
  10. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、時系列的な前記推定情動値を生成し、
    前記リコメンデーションエンジンは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値を、前記ターゲット情動値に到達するためのコンテンツを、前記コンテンツライブラリから選定する
    コンテンツリコメンデーションシステム。
  11. 請求項10に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、前記時系列的な推定情動値に含まれる過去の推定情動値から到達した、前記時系列的な推定情動値に含まれる最新の推定情動値から、前記ターゲット情動値に到達するための1又は複数のコンテンツを記憶する
    コンテンツリコメンデーションシステム。
  12. 請求項10に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、複数の異なる過去の推定情動値からそれぞれ複数の異なる最新の推定情動値に到達し、次いで、前記複数の異なる最新の推定情動値から複数の異なるターゲット情動値に到達するための1又は複数のコンテンツを記憶する
    コンテンツリコメンデーションシステム。
  13. 請求項12に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、前記複数の異なる過去の推定情動値と、前記複数の異なる最新の推定情動値と、前記複数の異なるターゲット情動値との3次元的なマトリクスであり、
    それぞれの過去の推定情動値と、それぞれの最新の推定情動値と、それぞれのターゲット情動値との交点に、前記推定情動値から前記最新の推定情動値に到達し、次いで、前記最新の推定情動値から前記ターゲット情動値に到達するための1又は複数のコンテンツが登録される
    コンテンツリコメンデーションシステム。
  14. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記ユーザの情動が特定の情動状態であることの確度(Probability)を演算し、前記確度を前記推定情動値とする
    コンテンツリコメンデーションシステム。
  15. 請求項14に記載のコンテンツリコメンデーションシステムであって、
    前記確度は、前記ユーザの情動が特定の情動状態であることを定量化した値である
    コンテンツリコメンデーションシステム。
  16. 請求項14に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記ユーザの情動が第1の特定の情動状態であることの確度である第1の確度と、前記ユーザの情動が第2の特定の情動状態であることの確度である第2の確度とを演算し、前記第1の確度及び前記第2の確度に基づき前記推定情動値を生成する
    コンテンツリコメンデーションシステム。
  17. 請求項16に記載のコンテンツリコメンデーションシステムであって、
    前記第1の特定の情動状態は覚醒(Arousal)状態であり、前記第1の確度は、前記ユーザの情動が覚醒状態であることの確度であり、
    前記第2の特定の情動状態は感情価(Valance)の快(Pleasure)状態であり、前記第2の確度は、前記ユーザの情動が快状態であることの確度である
    コンテンツリコメンデーションシステム。
  18. 請求項14に記載のコンテンツリコメンデーションシステムであって、
    前記ユーザインタフェース端末装置は、ユーザが前記ターゲット情動値をインプットするために表示されるGUIであるターゲットインプットユーザインタフェースを表示し、
    前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
    前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
    コンテンツリコメンデーションシステム。
  19. 請求項18に記載のコンテンツリコメンデーションシステムであって、
    前記ターゲットインプットユーザインタフェースは、第1の特定の情動状態であることの確度である第1の確度の高低と、第2の特定の情動状態であることの確度である第2の確度の高低とに対応する複数の異なるエリアを2軸方向のマトリクス状に表示し、
    前記ユーザは、何れかのエリアを選択することにより、選択した前記エリアに含まれる前記第1の確度及び前記第2の確度の組み合わせを、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
    コンテンツリコメンデーションシステム。
  20. 請求項18に記載のコンテンツリコメンデーションシステムであって、
    前記ユーザインタフェース端末装置は、生成された前記推定情動値を取得し、
    前記ターゲットインプットユーザインタフェースは、前記推定情動値を示すオブジェクトを、前記推定情動値が含まれるエリアに表示する
    コンテンツリコメンデーションシステム。
  21. 請求項20に記載のコンテンツリコメンデーションシステムであって、
    前記ユーザは、前記推定情動値を示すオブジェクトが表示された前記エリアから、前記ターゲット情動値を含むエリアまでスワイプすることにより、前記ターゲット情動値を前記ユーザインタフェース端末装置にインプットする
    コンテンツリコメンデーションシステム。
  22. 請求項18に記載のコンテンツリコメンデーションシステムであって、
    前記ターゲットインプットユーザインタフェースは、特定の情動状態の確度の高低に対応する複数の異なるエリアに、それぞれの確度の高低を表現する情動状態を示すピクトグラムを表示する
    コンテンツリコメンデーションシステム。
  23. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記コンテンツライブラリは、
    バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
    前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
    体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、前記コンテンツライブラリに登録する
    ことにより生成される
    コンテンツリコメンデーションシステム。
  24. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記バイタルセンサは、ウェアラブルデバイスに搭載され、
    前記バイタルセンサは、脳波計測、容量脈波計測、皮膚コンダクタンス計測、レーザードップラー計測、RGBカメラ撮像及び/又はサーモカメラ撮像することにより、前記バイタルデータとして、脳波、脈波、脈拍、血圧、血流、発汗、呼吸及び/又は体温のデータを取得する
    コンテンツリコメンデーションシステム。
  25. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記コンテクスト情報生成部は、前記バイタルセンサが取得する前記時系列バイタルデータに基づき生成された前記時系列的なバイタル特徴量データ、前記ユーザの環境の環境データ及び/又は前記ユーザの活動状態に基づき、前記コンテクスト情報を作成する
    コンテンツリコメンデーションシステム。
  26. 請求項1に記載のコンテンツリコメンデーションシステムであって、
    前記情動推定演算部は、前記時系列的なバイタル特徴量データ及び前記コンテクスト情報から、前記ユーザの情動の推定値である推定情動値を生成する
    コンテンツリコメンデーションシステム。
  27. バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成し、
    前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成し、
    ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定し、
    選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドする
    コンテンツリコメンデーション方法。
  28. バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
    前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
    体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する
    ことにより生成される
    コンテンツライブラリ。
  29. バイタルセンサが継続的且つ時系列的にセンシングする複数の被験者の時系列バイタルデータをコントロール環境下で取得し、前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者の推定情動値を生成し、
    前記複数の被験者に前記コントロール環境下でコンテンツを体験させ、前記コンテンツを体験した後の前記複数の被験者の前記時系列バイタルデータから前記複数の被験者の時系列的なバイタル特徴量データを生成し、
    前記コンテンツを体験した後の前記複数の被験者の前記時系列的なバイタル特徴量データから、前記複数の被験者のコンテンツ体験後の推定情動値を生成し、
    体験された前記コンテンツを、前記推定情動値から前記コンテンツ体験後の推定情動値に到達するためのコンテンツとして、コンテンツライブラリに登録する
    コンテンツライブラリの生成方法。
  30. バイタルセンサが継続的且つ時系列的にセンシングするユーザのバイタルデータである時系列バイタルデータを取得し、前記時系列バイタルデータから時系列的なバイタル特徴量データを生成するバイタル特徴量生成部と、
    前記時系列的なバイタル特徴量データから、前記ユーザの情動の推定値である推定情動値を生成する情動推定演算部と、
    ユーザインタフェース端末装置からインプットされた前記ユーザがターゲットとする情動を示すターゲット情動値を取得し、前記推定情動値から前記ターゲット情動値に到達するためのコンテンツをコンテンツライブラリから選定するリコメンデーションエンジンと、
    選定された前記コンテンツを前記ユーザインタフェース端末装置にリコメンドするコンテンツリコメンド部と、
    を具備するコンテンツリコメンデーションシステムの前記ユーザインタフェース端末装置が、ユーザが前記ターゲット情動値をインプットするために表示するGUIであるターゲットインプットユーザインタフェースであって、
    特定の情動状態の確度の高低に対応する複数の異なるエリアを1軸方向に表示し、
    前記ユーザにより何れかのエリアが選択され、
    選択された前記エリアに含まれる前記確度を、前記ターゲット情動値として前記ユーザインタフェース端末装置にインプットする
    ターゲットインプットユーザインタフェース。
JP2021038000A 2021-03-10 2021-03-10 コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース Pending JP2022138233A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021038000A JP2022138233A (ja) 2021-03-10 2021-03-10 コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース
PCT/JP2022/002893 WO2022190686A1 (ja) 2021-03-10 2022-01-26 コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース
EP22766653.4A EP4307206A1 (en) 2021-03-10 2022-01-26 Content recommendation system, content recommendation method, content library, method for generating content library, and target input user interface
CN202280018430.9A CN116917923A (zh) 2021-03-10 2022-01-26 内容推荐系统、内容推荐方法、内容库、用于生成内容库的方法和目标输入用户接口

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021038000A JP2022138233A (ja) 2021-03-10 2021-03-10 コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース

Publications (1)

Publication Number Publication Date
JP2022138233A true JP2022138233A (ja) 2022-09-26

Family

ID=83226725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021038000A Pending JP2022138233A (ja) 2021-03-10 2021-03-10 コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース

Country Status (4)

Country Link
EP (1) EP4307206A1 (ja)
JP (1) JP2022138233A (ja)
CN (1) CN116917923A (ja)
WO (1) WO2022190686A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402577B1 (ja) 2023-06-16 2023-12-21 株式会社ファーストスター・ヘルスケア 音楽提供システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323171A (ja) * 2006-05-30 2007-12-13 Olympus Corp コンテンツ再生システム
JP2013054447A (ja) * 2011-09-01 2013-03-21 Hitachi Ltd 気分改善システムおよび気分改善方法
US20150029087A1 (en) 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for adjusting power consumption in a user device based on brain activity
JP6636792B2 (ja) * 2015-01-30 2020-01-29 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
US20170351768A1 (en) * 2016-06-03 2017-12-07 Intertrust Technologies Corporation Systems and methods for content targeting using emotional context information
US10838685B2 (en) 2017-03-23 2020-11-17 Fuji Xerox Co., Ltd. Information processing device and non-transitory computer-readable medium
JP6839818B2 (ja) 2017-05-17 2021-03-10 パナソニックIpマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402577B1 (ja) 2023-06-16 2023-12-21 株式会社ファーストスター・ヘルスケア 音楽提供システム

Also Published As

Publication number Publication date
CN116917923A (zh) 2023-10-20
EP4307206A1 (en) 2024-01-17
WO2022190686A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
US10261947B2 (en) Determining a cause of inaccuracy in predicted affective response
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
US10289201B2 (en) Method and apparatus for generating mood-based haptic feedback
JP6636792B2 (ja) 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
CN107250947B (zh) 用于监控和影响基于姿势的行为的方法和系统
US10198505B2 (en) Personalized experience scores based on measurements of affective response
EP2730223B1 (en) Apparatus and method for determining user's mental state
US20210015417A1 (en) Emotion data training method and system
US20140085101A1 (en) Devices and methods to facilitate affective feedback using wearable computing devices
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
US11914784B1 (en) Detecting emotions from micro-expressive free-form movements
CN108574701A (zh) 用于确定用户状态的系统和方法
CN110753514A (zh) 基于隐式采集的计算机交互的睡眠监测
US20220095974A1 (en) Mental state determination method and system
WO2022190686A1 (ja) コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース
JP2020154459A (ja) 将来における生活に対する満足度を予測するシステム、方法、およびプログラム
Rincon et al. Detecting emotions through non-invasive wearables
US11429188B1 (en) Measuring self awareness utilizing a mobile computing device
US11675798B2 (en) System and method for customized user content
JP7408103B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Parousidou Personalized Machine Learning Benchmarking for Stress Detection
KR102432250B1 (ko) 케어용 챗봇을 제공하는 시스템
US11783723B1 (en) Method and system for music and dance recommendations
EP4163924A1 (en) Content presentation system, content presentation device and content presentation method
KR20240009319A (ko) 어플리케이션 내 액티비티 및 아웃도어 액티비티를 포함하는 액티비티 번들을 지원하는 서버 및 그 동작 방법