JP2012506085A - レンダリング環境のユーザへの影響の制御 - Google Patents

レンダリング環境のユーザへの影響の制御 Download PDF

Info

Publication number
JP2012506085A
JP2012506085A JP2011531623A JP2011531623A JP2012506085A JP 2012506085 A JP2012506085 A JP 2012506085A JP 2011531623 A JP2011531623 A JP 2011531623A JP 2011531623 A JP2011531623 A JP 2011531623A JP 2012506085 A JP2012506085 A JP 2012506085A
Authority
JP
Japan
Prior art keywords
user
report
feedback
self
emotional state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011531623A
Other languages
English (en)
Other versions
JP5766119B2 (ja
Inventor
ディルク ブロッケン
ティム ジェイ ダブリュ テイス
ヨリス エイチ ヤンッセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012506085A publication Critical patent/JP2012506085A/ja
Application granted granted Critical
Publication of JP5766119B2 publication Critical patent/JP5766119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Feedback Control In General (AREA)

Abstract

レンダリング環境におけるユーザ14への影響を制御する方法は、レンダリング環境のシステムフィードバック13によって引き起こされる影響に応じたユーザ14の1又は複数の生理的条件を表わす信号データ16を得るステップと、ユーザの所望の感情状態に対応するデータを得るステップであって、前記データは、ユーザの自己リポート及び付随する自己リポートの前の直近の期間におけるユーザ14の1又は複数の生理的条件を表わす付随する信号データ16を表わすデータに基づくものである、ステップと、所望の感情状態19,20;32−36が達成されているかどうか決定するステップと、状態19,20;32−36が達成されていない場合、それに応じて、レンダリング環境によって提供されるシステムフィードバック16を適応させるステップと、を含む。

Description

本発明は、レンダリング環境においてユーザに対する影響を制御する方法に関する。本発明は更に、感情適応システムを制御する装置に関する。
本発明は、コンピュータプログラムに関する。
Saari, T他による文献「Emotional regulation system for emotionally adapted games」(Proceedings of FuturePlay 2005 conference, 13.-15.10. 2005, Michigan State University, USA)は、ユーザ制御される感情規制システムに基づいて、感情に関して適応されるゲームを構築するためのアプローチに関する。この文献は、ゲームエンジンに感情規制を含めるためのシステム設計を開示する。
上記エンジンは、ユーザ入力を連続的に監視する。この入力データは、処理され、ゲーム内部の論理状態を扱う層に送られる。提案される感情規制は、実際のゲームエンジンと並行してランするミドルウェアシステムとして実現されることができる。ゲームエンジンの入力処理層は、取得され前処理された生体フィードバックセンサデータのデータフローを受け取ることができる。リアルタイム信号処理は、生体フィードバック信号に対するさまざまな形の増幅、フィルタリング及び特徴選択を含むことができる。このデータフローは、ゲーム世界の状態に直接影響を与えることができ、又はそれは、感情フィードバックエンジンの感情規制サブモジュールによって使用されることができる。このモジュールは、異なるプレーヤプロファイルタイプに関する感情バランスのルール及び「感情ノブ」によって制御されるゲーム関連の明示的に設定される嗜好を含む。感情規制エンジンの出力は、ゲームエンジンのさまざまな異なるレベルのアクションに適用されることができる:
i)ゲーム世界の論理状態が、再方向付けされることができ、
ii)合成エージェントのアクションが、制御されることができ、
iii)ゲームの動態学が、変更されることができ、
iv)ゲーム世界のレンダリングが変えられることができる。最初の2つの選択肢は、ゲームのハイレベルのストーリー関連の構造に一層関連し、最後の2つは、仮想環境内のオブジェクトのプレゼンテーションの選択に一層直接的に関連する。
知られているシステムの問題は、どのプレーヤも種々様々であり、プレーヤは、技術、嗜好及び経時的な情緒反応に関して多様であるので、生理的及び性能関連のパラメータに基づいてプレーヤの情緒反応を想定することがあまりに単純すぎることである。
ユーザを所望のメンタル状態にするように、例えば個別のユーザに対してシステムフィードバックのレベルを適応させる感情適応システムを実現する方法、装置及びコンピュータプログラムを提供することが望ましい。
これは、本発明による方法であって、
−レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの1又は複数の生理的条件を表わす信号データを得るステップと、
−ユーザの所望の感情状態に対応するデータを得るステップであって、例えば、ユーザ自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータを得ることを含みうる、ステップと、
−所望の感情状態が達成されているかどうか決定するステップと、
−状態が達成されていない場合、それに応じて、レンダリング環境によって提供されるシステムフィードバックを適応させるステップと、
を含む方法によって達成される。
方法は、それぞれ異なるユーザが、システムフィードバックの特定の見地の特定のレベルによって、それぞれ異なるメンタル状態に導かれ、この関係が更に時間依存であり、特定のメンタル状態が、それぞれ異なるユーザに関する及びある時間にわたるユーザの1又は複数の生理的条件を表わすそれぞれ異なる信号(以下:感情信号)によって特徴付けられることができるという洞察に基づく。ユーザ自己リポート、及び付随する自己リポートの前の直近の期間にわたる付随する感情信号を表わすデータを得ることによって、方法は、メンタル状態を感情信号値にリンクさせるデータを得る。従って、入力として(複数の)感情信号を使用する制御ループは、ユーザの感情状態を制御するように実現されることができる。対照的に、従来の方法は、感情信号自体を単に制御するものであり、従って、ユーザは、(静的な)制限を設定することができる。ゲームドメインにおいて、方法は、ゲーム内の(性能関連の)データに基づいて、ゲームの動作を適応させることは、プレーヤの楽しみを最適化するには、あまりに単純すぎることを認識する。これは、優等生、開拓者、社会主義者及びキラーのような多くの異なるタイプのプレーヤが存在するからである。それぞれ異なるプレーヤは、ゲームをプレイする際、それぞれ異なる技術、嗜好及び情緒反応を有する。すべてのプレーヤが、最適な性能/挑戦レベルを享受するというわけではない。従って、方法は、プレーヤの情緒反応を測定するニーズを認識し、データのプレーヤによる解釈が成功のために必要とされることを認識する。これを行うために、方法は、プレーヤが、情緒性の複数の次元(dimensions)を考慮することを可能にし、1つの一般的なモデルは、誘意性(valence)及び喚起(arousal)の次元に基づく。誘意性情報は、ユーザ自己リポートによって提供され、喚起情報は、感情信号に含まれる。信号データによって決定される1又は複数の次元及びユーザの自己リポートによって決定される1又は複数の次元の二者択一の選択が、可能である。
このコンテクストにおいて、感情信号は、ユーザの生理的状態の推測がなされることを可能にする信号であり、かかる信号は、(ゲーム環境の場合の)性能関連のパラメータ又は概してレンダリング環境を実現するシステムに供給される明示的なユーザ入力情報に依存しない。感情状態は、ストレス及び高い作業負荷を表わすメンタル状態を含む。
方法の一実施形態において、ユーザの所望の感情状態に対応するデータは、ユーザが感情状態間の切り替えをする切り替えポイントに対応する閾値を含む。
効果は、フィードバックレベルに対する感情状態の程度及びロケーションの両方がデータによって表現されることである。このようなデータに基づく閉ループ制御は、より安定している。その理由は、データによって確立される「ユーザのモデル」によって表される状態の範囲内にとどまるために必要な調整がより少なくすむからである。方法は、あるユーザがフィードバックの特定の見地のレベルの変化に対して相対的に無感覚でありうることを考慮する。この場合、当該見地に関するフィードバックレベルの調整が行われることが必要となる頻度が、より少なくなりうる。特に、方法を実現する装置が例えばユーザフィードバックに応じて状態を切り替える実施形態において、フィードバックレベルが、所望の感情状態に対応するレンジの中央に保たれる場合、切り替えの数が、低減されることができる。閾値を確立することは、ユーザがこのレンジの中間を見つけることを可能にする。状態の変化が、実際に望ましい場合、システムフィードバックの各々の見地について閾値を有することは、ユーザが、変化に対する適当な見地を選択し、例えば少なくとも1つの閾値が現在レベルに最も近い見地、を選択することを可能にする。
一実施形態において、少なくとも較正モードでは、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが得られるとともに、システムフィードバックの少なくとも1つの次元のレベルが、継続的に変更される。
従って、このモードにおいて、ユーザは、所望の感情状態に対応する第1のレベルにとどまるのではなく、フィードバックレベルのレンジ内を進むことよって、感情状態の境界を見つけることが可能である。
この実施形態の変形例において、システムフィードバックの少なくとも1つの次元の次のレベルが、スキャンシーケンスデータベースから選択される。
感情状態に対応するフィードバックレベル値のレンジが決定されるので、効果は、値の繰り返しを回避することである。ユーザは、適切で効率的な検索ストラテジを表わすシーケンスに基づいて、相対的に迅速にレンジを発見することができる。
一実施形態において、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、データベースに記憶される。
これは、ユーザが、複数データポイントに基づいて、ユーザの正確なモデルを作ることを可能にするだけでなく、必要に応じて更にこのモデルを作り直すことも可能にする。
一実施形態において、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、較正モードでは、それらが、ユーザの1又は複数の生理的条件を表わす少なくとも1つの信号からユーザの感情状態を予測するための少なくとも1つのクラシファイヤを訓練するために使用される。
効果は、ユーザが多数の自己リポート及び付随する信号セクションを得る必要がないことである。信号レベルが、測定されることができ、感情状態は、測定された特定のレベルに以前に遭遇していない場合であっても、推測されることができる。
一実施形態において、ユーザの自己リポート及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、適応モードへの切り替えが実現され、適応モードでは、所望の感情状態が達成されているかどうか決定するステップ、及び状態が達成されていない場合、それに応じて、レンダリング環境によって供給されるシステムフィードバックを適応させるステップ、が連続的に実施される。
効果は、ユーザが、適応モードにおいて自己リポートを促されないことであり、従って、レンダリング環境におけるシステムフィードバックの経験が中断されない。
この実施形態の変形例は、新しいユーザリポートが供給されない限り、適応モードのままであることを含む。
こうして、システムが、ユーザを所望の感情状態に保つことができる限り、レンダリング環境のユーザ経験は中断されない。システムフィードバックのレベルがもはや正しくないというユーザからの標示は、較正モードへの切り替えをトリガし、較正モードにおいて、所望の感情状態に対応するシステムフィードバックレベルのレンジが、確立しなおされる。この方法は、ゲーム環境のユーザが、時間と共に学習することができ、レンダリング環境のユーザが、概して、フィードバックの特定のレベルに慣れ又は退屈しさえすることがあることを考慮する。ユーザは、これを信号により通知することができ、その結果、環境が適応される。
本発明の別の見地によれば、感情適応システムを制御する装置であって、
−レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの1又は複数の生理的条件を表わす信号データを得るための入力/出力ユニットと、
−アルゴリズムを実現するプロセッサと、
−データベース用のメモリと、
を有し、アルゴリズムは、装置が、
−ユーザの所望の感情状態に対応するデータであって、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータに任意に基づくことができるデータ、を得、
−所望の感情状態が達成されているかどうか決定し、
−状態が達成されていない場合、それに応じて、レンダリング環境によって供給されるシステムフィードバックを適応させる、
ことを可能にする装置が提供される。
装置は、本発明による方法を実施するように構成されることができる。
本発明の別の見地によれば、フィードバック効果をレンダリングする製品及び本発明による装置を有する感情適応システムが提供される。
本発明の別の見地によれば、機械可読媒体に組み込まれるとき、情報処理能力を有するシステムに本発明による方法を実施させることが可能な命令の組を含むコンピュータプログラムが提供される。
フィードバック効果をレンダリングする製品及びシステムを制御する装置を有するシステムの概略ブロック図。 感情適応ループを有するシステムの概念図。 ユーザ−製品対話モデルを示す概略図。 レンダリング環境においてユーザに対する影響を制御する方法のフローチャート。 ゲームスピード対時間の形のユーザ−システム対話モデルの例を示す図。 図5に対応する、より長い時間期間に関する図。 図4の方法を使用して得られるユーザリポート及びフィードバックレベルの経時的な展開を示す図。 アンビエント生成製品にとって一般的なユーザ対話モデルの他の例を示す図。
本発明は、添付の図面を参照してより詳しく説明される。
図1は、1又は複数のレンダリング製品及び制御装置を有する一般的な感情適応システム1を概略的に示している。システムは、プロセッサ2、メインメモリ3、1又は複数のデータベースをホストする他のメモリユニット4、少なくとも1つの入力装置5、少なくとも1つのユーザ入力装置6、表示装置7、及び感情適応システム1によって提供されるレンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの1又は複数の生理的条件を表わす感情信号データを得るための入力/出力ユニット8を有する。システム1は更に、外部レンダリング装置10−12に対するインタフェース9を有する。
提案されるシステムアーキテクチャ及び機能は、例えば以下のような広範囲にわたる感情適応製品に適用されることができる:
−コンピュータゲームシステム;
−ホームシアタシステム(映画及びTV番組の両方);
−アンビエント生成(Atmosphere creation)製品:例えば、Philips Living Colors製品の場合、感情信号は、例えば、(リビング)部屋の家具に組み込まれるセンサによって及びワイヤレス装置(例えばブレスレット測定による心拍及び皮膚コンダクタンス)によって集められることができる;
−フォトフレーム;及び
−音楽プレーヤ。
プロセッサ2は、感情適応システム1を実現し、ここに説明される装置の動作を可能にするように適切に構成されるよく知られた中央処理ユニット(CPU)でありうる。
メインメモリ3は、知られているRAM(ランダムアクセスメモリ)メモリモジュールでありうる。プロセッサ2は、メインメモリ3から、装置1の機能を可能にするための少なくとも1つの命令を読み込むように構成されることができる。
プロセッサ2は、メディアコンテントを記録し、メディアコンテントを受け取る等によってメディアコンテントを得るために入力装置5に結合される。実現例に依存して、入力装置5は、写真を撮るためのフォトカメラ、フィルムを撮影するためのビデオカメラ、パーソナルビデオレコーダ(PVR)、TVチューナ、データネットワークにコンピュータを接続するためのネットワークカードを備えたコンピュータ、又はメディアコンテントを得るのに適した任意の他の装置を有する。一実施形態において、例えば入力装置5は、例えばデジタルビデオブロードキャスティング(DVB)仕様、ビデオオンデマンドシステム、インターネットラジオシステム、等を使用して、ビデオコンテント放送事業者から知られている態様でビデオデータを受け取る。
ユーザ入力装置6は、概して、よく知られたQWERTYコンピュータキーボードのようなキーボード、ポインティングデバイス及び可能性として遠隔制御ユニットを少なくとも含む。例えば、ポインティングデバイスは、コンピュータ(ワイヤレス)マウス、ライトペン、タッチパッド、ジョイスティック、ライトペン、トラックボール等の様々な形で利用可能である。
表示装置7は、例えば、CRT(陰極線管)、LCD(液晶ディスプレイ)、LCOS(液晶オンシリコン)リアプロジェクション技術、DLP(デジタル光処理)テレビジョン/プロジェクタ、プラズマ画面表示装置等の、ユーザにビデオ情報を提示するための任意の通常の手段でありうる。
感情適応システム1によって処理されるメディアコンテント/コンテントアイテム/ドキュメントは、視覚情報(例えばビデオ画像、写真又はグラフィクス)、オーディオ情報、テキスト情報、及びMPEG−7標準に従うメタデータのような他のデジタルデータのうちの少なくとも1つ又は任意の組み合わせを含む。このようなメタデータは、サンプリングによって及び語彙検索タームを使用することによって、デジタル化された材料を記述し検索するために使用されることができる。メディアコンテントは、オーディオ又はビデオテープ、例えばCD−ROMディスク(コンパクトディスクリードオンリーメモリ)又はDVDディスク(デジタル多用途ディスク)のような光学記憶ディスク、フロッピー(登録商標)及びハードドライブディスク等のさまざまな異なるデータ担体に、例えばMPEG(Motion Picture Experts Group)、MIDI(Musical Instrument Digital Interface)、Shockwave、QuickTime、WAV(Waveform Audio)等の任意の形式で記憶されることができる。
プロセッサ2は、ここに概説される方法のステップの実行を可能にするためのソフトウェアプログラムを実行するように構成される。一実施形態において、ソフトウェアは、感情適応システム1に含まれる装置を、それがランされるところに関係なくイネーブルする。装置をイネーブルするために、プロセッサ2は、ソフトウェアプログラムが、他の(外部)装置10−12に送信されるようにすることができる。これらの外部の装置10−12は、例えばBluetooth、IEEE802.11[a−g]等の既存の技術を使用して、インタフェース9を通じてプロセッサ2に接続される。一実施形態において、プロセッサ2は、UPnP(汎用プラグアンドプレイ)標準により、外部装置と対話する。
理想的には、エンタテインメント製品は、その動作を現在ユーザに対して連続的に適応させる。感情は、ユーザ−製品対話において重要な役目を果たすので、エンタテインメント製品は、感情に関して適応的になるべきであり、すなわち、経験を最適化するために、それらの動作をユーザの感情状態/応答に対して連続的に調整する。個人化された経験に向かう第1のステップとして、多くの製造業者は、今日、それらの製品をカスタマイズ可能にしている(例えばそのキーパッドカラーがユーザによって容易に変えられることができる移動電話)。論理的な次のステップは、製品−適応性である:
ユーザが、使用前又は後(すなわちオフライン)に製品の挙動(動作、外観、その他)を変更する代わりに、製品は、図2に示すように、使用中(すなわちオンライン)、それ自身の挙動を連続的に変更する。図2において、感情適応システム1は、ユーザ14に対してレンダリング環境を形成するさまざまな装置の設定の形で、システムフィードバック13を提供する。このフィードバックは、ユーザの経験、挙動及び感情状態の変化15をもたらす。変化15は、本明細書において感情データ16ともよばれる測定可能なパラメータの変化として現れ、かかるパラメータは、システム1への入力として供給される。感情適応システム1は、データを集め、解析し(ステップ17)、システムフィードバック13を供給するために製品の設定の調整の形で、適当なアクションをとる(ステップ18)。
システムフィードバックに関して、音響、視覚及び触覚効果のような多くの製品特徴が、適応されることができる。感情データに関して、多数の感情測定技法が可能である。
ここに概説される方法において、(連続的に測定される、心拍、皮膚コンダクタンスレベル及びキーボード圧力のような)感情信号と、(ユーザによって時々提供される)ユーザリポートとの間の区別がなされる。感情信号は、それらがユーザからの認知努力を求めないという点で、受動的に測定される。ユーザリポートは、それらがユーザからの認知努力及び能動的入力を求めるという点で、能動的に提供される。
感情適応システム1の特定の実現は、感情に関連する信号の選択及びアプリケーション特有のモデルに基づく。
一実施形態による感情信号は、生理的応答を表わす信号を含む。測定されるパラメータは、血液容積脈波レベル、血液容積脈波振幅、心拍、心拍変動性、呼吸レベル(すなわち相対胸部体積)、呼吸レート、呼吸−心拍コヒーレンス、皮膚コンダクタンスレベル、皮膚コンダクタンス応答(単位時間当たり)の数、及び筋肉アクティビティ又は振幅(例えば皺眉筋又は大頬骨筋)の1又は複数を含む。心拍変動性は、ほとんどの人々の情緒反応に非常に密接に相関付けられる。別の実施形態による感情信号は、付加的に又は代替として、触覚応答を表わすパラメータを含む。測定すべき適切なパラメータは、キーボード圧力である。更に別の実施形態における感情信号は、付加的に又は代替として、例えば具体的にはレンダリングされているシステムフィードバック又はコンテントの背後の論理とは無関係な無意識の動きのような動きを特徴付けるために、例えばビデオ解析によって、挙動反応を測定する。例えば、ユーザによるそわそわした振る舞いの程度が、定量化されることができる。
感情信号の選択は、現在のアプリケーションコンテクストが与えられる場合、ユーザの感情状態をどのように測定するかの問題につながる。感情状態及び応答は、アプリケーションに依存する。それぞれ異なるアプリケーション挙動は、それぞれ異なる情緒反応を引き起こす。それぞれ異なる感情信号の有用性は、開発中のアプリケーションに関して評価されるべきである。例えば、コンピュータゲームにおいて、キーボード圧力は有用でありえるが、ホームエンタテインメントシステムの場合、これは使用されることができない。従って、第1の準備ステップとして、目標とされるアプリケーションコンテクストを与えられる場合、最も見込みのある感情信号が調べられるべきである。更に、ユーザがユーザリポートをシステムにどのように容易に提供することができるかが調査されるべきである(以下に詳しく説明する)。
感情適応システム1の実現の別の見地は、システムフィードバックのタイプに関する:
システム1が、どのように、ユーザの感情状態(の変化)に応答するべきか?
多くのユーザ−製品対話シナリオは、図3に示される一般的な形を有することが期待される。点線は、個人の所望の感情状態(最適製品経験)の境界を表わす。一例として、図3において、システムフィードバックの次元ともよばれる2つのフィードバック特徴F、Fが、適応化のために使用される。2つの最適フィードバック設定(エリア19、20)が示されている。しかしながら、理論上、適応化されるシステムフィードバックの任意の数の次元がありえ、最適フィードバック設定に対応する異なる数のエリアがありうる。
次の実現ステップとして、この一般的なユーザ−システム対話モデル(図3)からアプリケーション特有の対話モデルを生成する必要がある。アプリケーション特有のモデルを生成するために、システムフィードバックのタイプが決定される必要がある。例えば、ホームシアタ環境において、Ambilight効果のボリューム又は強さを最適化することを考えることが可能である。ゲームの例において、ゲームスピードが、適応化されるべきフィードバックパラメータとして使用されることができる。
準備ステップが行われているとき、適切な感情信号及びアプリケーション特有のモデルが、システムアーキテクチャに組み込まれることができる。提案されるシステムは、図4のフローチャートに関して後述されるように動作する。
製品の使用中、ユーザの感情信号が、連続的に測定される。
最初に、システム1は、較正モードにあり(ステップ21)、較正モードの間、システムフィードバックのレベルは、継続的に変化し、例えばフォードバックが増加し又は減少する。代替として、システムは、フィードバックの離散的なレベルを提供することができ、複数レベルを通じて離散的(例えば10、30、60、30、10)なステップをとり、場合によっては、ランダム(例えば10、100、20、30、95)なステップをとりうる。
これらの変化は、システムが受け取る(ステップ22)ユーザリポートによって制御されることができる。任意の単一のフィードバック次元(例えば図3において述べたような2つの効果)が、他の次元に関係なく変更されることができる。あらゆる次元に関して、これが調べられ、つまり、2つの「明示的な」ユーザ−リポートタイプである「私は、これがあまりに多すぎると感じる」及び「私は、これが十分でないと感じる」が、受け取られることができる。第3の状態である「これはokである」は、2つのユーザリポートから導き出される;あまりに多すぎるリポート及びあまりに少なすぎるリポートの間にある時間中、この状態の存在が想定される。その理由は、ユーザが、おそらくシステムフィードバックレベルを気に入っていたからである。そうでなければ、ユーザは、それを報告していたであろう。代替として、ユーザは、ただ1つの(「経験OK」又は「経験BAD」)フィードバック制御又は多くの制御を提供されることができる。事実、少数のフィードバック制御が有用性に関して好ましいが、任意の数(1又はより大きい)のフィードバック制御が、実現されることができる。
あらゆるユーザリポートの後、このユーザリポート及び付随する感情信号が、データベース24に記憶される(ステップ23)(例えば、当該ユーザリポートの前の直近の数秒の間の心拍及びキーボード圧力の平均値が記憶される)。更に、システムフィードバックの方向が、(較正モードで動作するステップ21の一部として)変更され、例えば、増加するフィードバック強度から減少するフィードバック強度に変更される(この説明は、以下に詳しく記述される図7に示される)。代替として、特に上述したような「連続的なフィードバック無しの選択肢」の場合、次のシステムフィードバックレベルは、ランダムに選ばれ、又は知られている「スキャン」シーケンスを含むデータベースから選択されることができる。場合によって、次のシステムフィードバック設定は、非常に似ている設定又はすでに提供された設定の繰り返しを回避するように、選択されることもできる。
データの記憶を含むステップ23の後、少なくとも1つの分類アルゴリズムが、データベース24に以前に入力された最も最近の感情信号及びデータに基づいて、ステップ22の最も最近のユーザリポートを分類し、すなわち予測することを試みる(ステップ25)。このクラシファイヤは、当業者に知られている神経ネットワーク原理又は代替マシン学習手法に基づくことができる。
次に(ステップ26)、システムは、クラシファイヤの最も最近の予測(例えば最も最近の5つの予測)をチェックする。クラシファイヤが、最小閾値を満足する正確さを有する(例えば、最近の5つの予測のうちの4つが正しい)場合、次のシステムモードは、適応モードである(ステップ27)。そうでない場合、システムは、較正モードのままである。このチェックは、多くのやり方で実現されることができる:
−上で示唆したように、直前のXトライアルがY成功を示す場合(YはXより小さい);
−特定量の時間又は対話イベントの後、適応モードへの自動的な切り替え;
−代替として、システムは、周期的な、プリセットされた又はランダムに選択された時間に、較正モードと適応モードとの間で周期的に切り替わることができる。
適応モードにおいて、システムフィードバックは、ユーザの現在感情信号に連続的に適応される。ユーザが、新しいユーザリポートを提供しない限り、システムは、適応モードのままである。新しいユーザリポートがシステムに入力される場合、システムが十分な予測パワーを有するかどうか調べるために、すべての上述のステップ22、23、25、26が再び行われる。任意には、記憶された分類予測成功の組は、適応モード中のユーザフィードバックの受け取り時に空にされることができ、その理由は、これが、(ユーザ嗜好の変化又は他の原因により)適応が明らかに不成功だったことを知らせるものであるからである。
2つの実施形態に対する図4の方法の適用が以下に記述される。
実施形態1:ホームシアタシステム
この実施形態では、Ambilight及び触覚フィードバック(ユーザの椅子の幾つかの小さい振動モータを通じて)を含むホームシアタシステムが想定される。Ambilightは、特に同時にレンダリングされる音響映像コンテントの解析の結果に従って、感情適応システム1がアンビエント照明条件を変えることを可能にする照明技術である。従って、本実施形態において、外部装置10、11、12は、上述した種類の照明装置及び触覚フィードバック装置を有する。
このアプリケーションコンテクストにおいて、ユーザは、テレビジョンの前の椅子に座ることが期待される。従って、感情データを取得する装置8は、椅子(例えば、ユーザの姿勢、皮膚温度及び呼吸パターンを測定する)及びテレビジョン(例えばユーザの表情及び瞳孔径を捕捉するカメラ)に組み込まれることができる。「これは、あまりに多いシステムフィードバックである」及び「これは、あまりに少ないシステムフィードバックである」という2つのユーザリポートは、ホームシアタシステムの遠隔制御装置又は代替として椅子の肘掛けの一方における2つのボタンによって実現されることができる。
Ambilight及び触覚効果のレベルは、適応されるべきシステムフィードバックパラメータとして使用される。これらは、それぞれ異なるパターン(すなわち映画のイベントに対するAmbilight効果及び触覚効果)に分類される。
システムは、較正モードにおいて始まる。これが、ユーザJohnに事前に伝えられる。Johnは、システムフィードバックレベルが最小レベルで始まり、彼が視聴する映画を通じて、彼がフィードバックの現在レベルがあまりに高くなりすぎたと示すまで、増大することを伝えられる。その時点以降、フィードバックレベルは、彼がシステムフィードバックのレベルがあまりに低くなりすぎたことを示すポイントにそれが到達するまで、減少する。
システムフィードバックの1つの次元のレベルFが、図7に示されている。第1の時間間隔M1は、ホームシアタシステムにおいてレンダリングされる第1の映画に対応する。第2の時間間隔M2は、ホームシアタシステムにおいてレンダリングされる第2の映画に対応する。
Johnが視聴する第1の映画は、Ambilight及び触覚システムフィードバックによって増強される幾つかの恐ろしい場面を含む恐怖映画である。第1の「増強される」場面には、レベル1のシステムフィードバックパターンを伴う(すなわち、1=最低強度及び100=最高強度であるので、ほとんどフィードバック無し)。Johnが、彼の遠隔制御装置上の「あまりに多すぎる」ボタンを押す場合、これは、彼がシステムフィードバックの最小レベルが既に「あまりに多すぎる」と感じていることを示す。その場合、Johnは、システムフィードバック機能のオフを確立するように求められる。しかしながら、Johnは、レベル1のシステムフィードバックにほとんど気付かず、従ってボタンを押さない。更なる数個のシーンの後、システムフィードバックレベルは、レベル15まで増大される。Johnは、システムフィードバックに気付き始めるが、それがなお十分でないと感じる。60分後、システムフィードバックレベルは、レベル65にある。「わあ、これはかっこいい!」とJohnは思う。
しかしながら、映画の80分の時点で、フィードバックは、レベル76まで増大される。彼は、このフィードバックの量が、あまりに圧倒的(気を狂わせる)であると感じ、従って、「あまりに多すぎる」ボタンを押す。この「あまりに多すぎる」リポート及び期間79.50−80.00(すなわち10秒)にわたるJohnの平均感情信号が、データベースに記憶される。それ以降の場面は、減少するレベルのシステムフィードバックを伴う。しかしながら、30分後、システムフィードバックは、レベル50にあり、Johnは、これが十分でないと感じ、従って、「あまりに少なすぎる」ボタンを押す。この「あまり少なすぎる」リポート及び期間109.50−110.00にわたる彼の感情信号が、データベース24に加えられる(図4)。そのほかに、彼の2つの最も最近のリポートの間(すなわち期間94.50−95.00)の感情データが、「これはokである」としてデータベース24に記憶される。Johnは、ここでボタンを押さなかったので、彼は、この時点ではシステムフィードバックを気に入っていたものと想定される。その後、システムフィードバックレベルは再び増大し始める。
映画の後、システムは、正確な分類に必要な追加のデータポイントの量を評価する。プログレスバーが、現在のデータ量対必要とされるデータ量の評価を示す。数日(及び数個の映画)後、システムは、正しい分類のために十分なデータを得ている。その時点以降、システムは、Johnの現在感情信号値と合致するフィードバックレベルを適用する。すなわち:
−感情信号が、Johnの一般的な「あまりに多すぎる」リポートと同様である場合、その後の増強される映画シーンは、システムフィードバックの低減されたレベルを伴う。
−Johnの感情信号が、「あまりに少なすぎる」という彼のパターンと合致する場合、次の場面は、フィードバックのより高いレベルを有する。
−彼の感情信号が、「これはokである」というパターンに合致する場合、システムフィードバックの量は不変のままである。
実施形態2:コンピュータゲーム
以下に記述される実施形態は、出願人によって構築され、詳しくテストされた。コンピュータゲームパックマンが、例示の実施形態として使用される。
プレーヤ(Jackとよぶ)は、パーソナルコンピュータモニタの形をした表示装置7の前で、椅子に座っており、入力装置5(キーボード)を使用してパックマンをプレイする。従って、姿勢、皮膚温度、表情、瞳孔径、マウス及びキーボード圧力等の多くの感情信号が、使用されることができる。2つのユーザリポート「これは、あまりに多すぎるシステムフィードバックである」及び「これは、あまりに少なすぎるシステムフィードバックである」は、実際のゲームにおいて使用されない(キーボードの)任意のキーの対によって実現されることができる。この例において、キーパッドの[アップ]及び[ダウン]キーが使用される。
図5及び図6に示されるように、ゲームのスピードS(すなわち移動するすべての対象のスピード)が、適応化されるべきシステムフィードバックパラメータとして使用される。パックマンにおいて、ゲームスピードSは、1(最も遅い)乃至100(最も速い)のレベルを有する変数である。
Jackは、ゲームが較正モードにおいて開始することをユーザフレンドリなやり方で伝えられる。ゲームの開始前に、Jackは、システムフィードバックレベルS(ゲームスピード)が低いレベルで始まり、ゲーム全体を通じて増大することを伝えられる。ゲームがあまりに速すぎるようになるとすぐに、彼は、[ダウン]キーを押すことができ、ゲームがあまりに遅すぎると考えられるとすぐに、Jackは、スピードを上げるために[アップ]キーを押すことができる。
ゲームは、スピードレベル15で始まり、Jackは、これがあまりに遅すぎると感じ、ゲームのスピードを速めるために[アップ]キーを押す。7.30分に、ゲームは、スピードレベル85に達し、Jackは、これがあまりに速すぎると感じる(「私は挑戦的なゲームが好きであるが、これは私にはあまりに多すぎる」)。従って、彼は、[ダウン]キーを押す。「遅くする」ユーザリポート及び7.20−7.30分における付随する感情信号が、データベース24に記憶される。ここで、ゲームは、スピードを徐々に減少し始める。10.30分に、ゲームは、レベル55まで遅くなる。Jackは、これが十分に挑戦的ではないと感じ(「これは、私にとっていくらか退屈である」)、従って、[アップ]キーを押し、これは、ゲームのスピードレベルを再び徐々に増大させる。再び、「速くする」リポート及び10.20−10.30分における感情信号が、データベース24に記憶される。その上、「これはokである」リポートが、最後の「遅くする」及び「速くする」時点の間の期間にわたる(すなわち8.50−9.00分における)感情信号と共に記憶される。この較正はしばらく続く。19.10分に、Jackは、[アップ]キーを押す。このユーザリポート及び3つの直前のリポートは、ゲームによって正確に分類される(予測される)。従って、ゲームは、適応モードに入る。このモードにおいて、ゲームのスピードレベルは、Jackの感情信号に適応されている:
−感情信号が、Jackの一般的な「あまりに速すぎる」リポートの感情信号と同様であるとき、ゲームのスピードレベルが徐々に低減される。
−Jackの感情信号が、「あまりに遅すぎる」という彼のパターンと合致する場合、ゲームスピードは、徐々に増大する。
−Jackの感情信号が、「これはokである」パターンと合致する場合、ゲームスピードは不変のままである。
適応モードにおける5分のプレイ後、Jackは、彼がしばらくゲームスピードを変更していないことに気付く。「しかしながら」、Jackは、「私はただこのようなものが気に入っているので、スピードレベルを変更する必要もない」と結論付ける。30分後、Jackは、ゲームを保存し、終了することを決める。彼は、行うべき作業をなお有する。しかしながら、一日を終える頃、彼は、ゲームを続行し、それは適応モードにおいて直接始まる。
図5及び図6は、実際に、感情適応システム1が、2つのモードで動作することが可能であることによって、システムフィードバックの一層適当なレベルを提供することができることを示す。下側の破線28は、所望の感情状態に関する低い方の閾値を表し、上側の破線29は、所望の感情状態に関する高い方の閾値を表わす。実線30は、実際のゲームスピードSの経時的な成長を表わす。分かるように、ユーザが、特定のゲームスピードに慣れ、より熟達するにつれて、所望の感情状態に対応するゲームスピードの境界は、時間と共に成長する。図6は、長期的にみて、ほぼ一定のレベルがどのように確立されるかを示す。システム1は、少なくとも較正モードにおいて、システムフィードバックの少なくとも1つの次元のレベルを継続的に変更するので、境界の成長が認められる。従って、システムは、上下の閾値28、29の間のレンジの中間を目標とすることが可能であり、それによって、適応モードをより長期にすることができる。より長い時間期間にわたるほど、必要とされる較正モードへの戻りがより少なくなる。その理由は、閾値28、29がより少ない変更を受けるからである。
図8は、アンビエント照明システムの例に関してシステムフィードバックのそれぞれ異なる次元の相互関連性を示している。この例では、1つのフィードバックパラメータFは色であり、色は、緑(レベルG)及び赤(レベルR)を介して青(レベルB)から黄色(レベルY)まで及ぶことができる。図示される例において、感情信号データは、心拍値Sを含む。より広いエリア31は、望ましくない感情状態に対応する。より小さいエリア32−36は、所望の感情状態に対応する。閾値が、破線で示されている。従って、所望の感情状態に関する閾値は、色によって異なる。システム1は、所望の感情状態の境界内にとどまるように、強度を適応させることができる。これらの境界を発見するために、システム1は、較正モードにおいて、互いに依存することなく色及び強度を変える。ユーザの反応を予測するクラシファイヤを訓練するための自己リポート及び感情信号データの使用は、システム1が単に心拍パラメータSの特定の値を目標とすることを試みようとする場合よりも、より適応的なシステムを生み出す。
上述の実施形態は、本発明を説明するものであって、制限するものではなく、当業者であれば、添付の請求項の要旨から逸脱することなく多くの代替実施形態を設計することが可能であることに注意すべきである。請求項において、括弧内に配される任意の参照符号は、請求項を制限するものとして解釈されるべきでない。「含む、有する」という語は、請求項に列挙されるもの以外の構成要素又はステップの存在を除外しない。構成要素に先行する「a」又は「an」という語は、このような構成要素の複数の存在を除外しない。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。
一実施形態において、本発明によるシステムは、単一の装置において実現される。別の実施形態において、それは、サービスプロバイダ及びクライアントを含む。代替として、システムは、分散され、互いから遠隔的に位置する装置を含むことができる。
装置は、例えばケーブル、衛星又は他のリンクを有するテレビジョン受信機(TVセット)、ビデオカセット又はHDDレコーダ、ホームシネマシステム、ポータブルCDプレーヤ、例えばiPronto遠隔制御装置のような遠隔制御装置、セルラ電話等のさまざまなコンシューマエレクトロニクス装置の任意のものでありうる。
一実施形態において、データベース24は、最初の使用の前に、装置特有のユーザ汎用性のあるデータによって占められる。従って、較正フェーズの間、異なるユーザ又は仮定上の異なるユーザについて確立されたデータは、感情適応システム1の実際の現在ユーザからの自己リポート及び感情データ16に基づくデータによって、徐々に置き換えられる。

Claims (12)

  1. レンダリング環境においてユーザに対する影響を制御する方法であって、
    前記レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの1又は複数の生理的条件を表わす信号データを得るステップと、
    ユーザの所望の感情状態に対応するデータを得るステップと、
    前記所望の感情状態が達成されているかどうか決定するステップと、
    前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させるステップと、
    を含む方法。
  2. ユーザの所望の感情状態に対応する前記データは、ユーザが感情状態間の切り替えをする切り替えポイントに対応する閾値を含む、請求項1に記載の方法。
  3. 少なくとも較正モードにおいて、ユーザの自己リポート及び前記付随する自己リポートの前の直近の期間におけるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが得られ、前記システムフィードバックの少なくとも1つの次元のレベルが継続的に変更される、請求項1に記載の方法。
  4. 前記システムフィードバックの少なくとも1つの次元の次のレベルが、スキャンシーケンスデータベースから選択される、請求項3に記載の方法。
  5. ユーザの自己リポート、及び前記付随する自己リポートの前の直近の期間におけるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、データベースに記憶される、請求項1に記載の方法。
  6. ユーザの自己リポート、及び前記付随する自己リポートの前の直近の期間におけるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、前記較正モードにおいて、それらは、ユーザの1又は複数の生理的条件を表わす少なくとも1つの信号から、ユーザの感情状態を予測するための1つのクラシファイヤを訓練するために使用される、請求項1に記載の方法。
  7. ユーザの自己リポート及び付随する自己リポートの前の直近の期間におけるユーザの1又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、
    適応モードへの切り替えが行われ、前記適応モードにおいて、
    前記所望の感情状態が達成されているかどうか決定するステップと、
    前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させるステップと、
    が連続的に実施される、請求項1に記載の方法。
  8. 新しいユーザリポートが提供されない限り、前記適応モードのままでいることを含む、請求項7に記載の方法。
  9. 感情適応システムを制御する装置であって、
    レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの1又は複数の生理的条件を表わす信号データを得るための入力/出力ユニットと、
    アルゴリズムを実現するためのプロセッサと、
    データベース用のメモリと、
    を有し、前記アルゴリズムは、前記装置が、
    ユーザの所望の感情状態に対応するデータを得、
    前記所望の感情状態が達成されているかどうか決定し、
    前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させる、ことを可能にする、装置。
  10. 請求項1乃至8のいずれか1項に記載の方法を実施するように構成される、請求項9に記載の装置。
  11. フィードバック効果をレンダリングする製品及び請求項9又は10に記載の装置を有する感情適応システム。
  12. 機械可読媒体に組み込まれるとき、情報処理能力を有するシステムに請求項1乃至8のいずれか1項に記載の方法を実施させることが可能な命令の組を含むコンピュータプログラム。
JP2011531623A 2008-10-20 2009-10-19 レンダリング環境のユーザへの影響の制御 Active JP5766119B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP08167040 2008-10-20
EP08167040.8 2008-10-20
EP09154104.5 2009-03-02
EP09154104 2009-03-02
PCT/IB2009/054591 WO2010046834A2 (en) 2008-10-20 2009-10-19 Controlling an influence on a user in a rendering environment

Publications (2)

Publication Number Publication Date
JP2012506085A true JP2012506085A (ja) 2012-03-08
JP5766119B2 JP5766119B2 (ja) 2015-08-19

Family

ID=41698520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011531623A Active JP5766119B2 (ja) 2008-10-20 2009-10-19 レンダリング環境のユーザへの影響の制御

Country Status (6)

Country Link
US (1) US9612654B2 (ja)
EP (1) EP2340473B1 (ja)
JP (1) JP5766119B2 (ja)
KR (1) KR101604602B1 (ja)
CN (2) CN108279781B (ja)
WO (1) WO2010046834A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174988A (ja) * 2013-03-11 2014-09-22 Immersion Corp 自動ハプティック効果調整システム
JP2019532374A (ja) * 2016-07-21 2019-11-07 マジック リープ, インコーポレイテッドMagic Leap,Inc. ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538755B2 (en) * 2007-01-31 2013-09-17 Telecom Italia S.P.A. Customizable method and system for emotional recognition
WO2010119376A1 (en) * 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. Methods and systems for adapting a user environment
KR101299220B1 (ko) * 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
US10843078B2 (en) * 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
WO2012020861A1 (ko) * 2010-08-12 2012-02-16 엘지전자 주식회사 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법
EP2771863B1 (en) * 2011-10-24 2020-07-08 President and Fellows of Harvard College Enhancing diagnosis of autism through artificial intelligence and mobile health technologies without compromising accuracy
MX2014004914A (es) * 2011-10-28 2014-06-05 Koninkl Philips Nv Sistema de iluminacion con funcion de monitoreo.
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
KR20150021842A (ko) * 2013-08-21 2015-03-03 삼성전자주식회사 시스템 사용성 증진 장치, 방법 및 휴대 기기
TWI557563B (zh) * 2014-06-04 2016-11-11 國立成功大學 情緒調控系統及其調控方法
TWI559252B (zh) * 2014-12-19 2016-11-21 Real-time identification of emotional environment control devices, systems, methods and computer program products
US10768704B2 (en) 2015-03-17 2020-09-08 Whirlwind VR, Inc. System and method for modulating a peripheral device based on an unscripted feed using computer vision
US10074368B2 (en) * 2016-08-17 2018-09-11 International Business Machines Corporation Personalized situation awareness using human emotions and incident properties
US10152118B2 (en) * 2017-04-26 2018-12-11 The Virtual Reality Company Emotion-based experience freedback
CN108875047A (zh) * 2018-06-28 2018-11-23 清华大学 一种信息处理方法及系统
US11354973B2 (en) * 2018-08-02 2022-06-07 Igt Gaming system and method providing player feedback loop for automatically controlled audio adjustments
US11023687B2 (en) * 2018-10-08 2021-06-01 Verint Americas Inc. System and method for sentiment analysis of chat ghost typing
KR102569000B1 (ko) * 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
US10788890B1 (en) 2019-03-26 2020-09-29 X Development Llc Closed-loop system for influencing mental/emotional state with immersive sensory surroundings
EP4035142A1 (en) * 2019-09-27 2022-08-03 Apple Inc. Creation of optimal working, learning, and resting environments on electronic devices
EP4202610A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Affect-based rendering of content data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007121372A2 (en) * 2006-04-18 2007-10-25 World Golf Tour, Inc. Method for automatically adapting virtual equipment model

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4412288A (en) * 1980-04-01 1983-10-25 Michael Herman Experiment-machine
US4683891A (en) * 1982-04-26 1987-08-04 Vincent Cornellier Biomonitoring stress management method and device
US4571682A (en) * 1983-08-22 1986-02-18 Computerized Sports Equipment, Inc. System and method for skill enhancement and behavior modification
US5209494A (en) * 1992-02-24 1993-05-11 Donald Spector Biofeedback game
JP3048299B2 (ja) * 1993-11-29 2000-06-05 パイオニア株式会社 情報再生装置
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US6496724B1 (en) * 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
IL130818A (en) * 1999-07-06 2005-07-25 Intercure Ltd Interventive-diagnostic device
EP1860642A3 (en) * 2000-01-11 2008-06-11 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
US20020143241A1 (en) * 2000-06-28 2002-10-03 Lars-Hakan Thorell Method and device for wireless transmission and processing of psychophysiological data
US6595929B2 (en) * 2001-03-30 2003-07-22 Bodymedia, Inc. System for monitoring health, wellness and fitness having a method and apparatus for improved measurement of heat flow
KR100580618B1 (ko) * 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
DE10210799B4 (de) * 2002-03-12 2006-04-27 Siemens Ag Anpassung einer Mensch-Maschine-Schnittstelle in Abhängigkeit eines Psychoprofils und einer momentanen Befindlichkeit eines Anwenders
US20030195040A1 (en) * 2002-04-10 2003-10-16 Breving Joel S. Video game system and game controller
US7654901B2 (en) * 2002-04-10 2010-02-02 Breving Joel S Video game system using bio-feedback devices
US20070100666A1 (en) * 2002-08-22 2007-05-03 Stivoric John M Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices
IL155955A0 (en) * 2003-05-15 2003-12-23 Widemed Ltd Adaptive prediction of changes of physiological/pathological states using processing of biomedical signal
JP2005021255A (ja) * 2003-06-30 2005-01-27 Sony Corp 制御装置及び制御方法
US20080177197A1 (en) * 2007-01-22 2008-07-24 Lee Koohyoung Method and apparatus for quantitatively evaluating mental states based on brain wave signal processing system
WO2005081185A1 (ja) * 2004-02-25 2005-09-01 Brother Kogyo Kabushiki Kaisha 推論情報作成装置、推論情報管理システム、推論情報作成システム、推論情報作成プログラム、推論情報作成プログラムをコンピュータに読取可能に記録した記録媒体、及び推論情報の作成方法
EP1582965A1 (en) * 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
WO2005101413A1 (en) * 2004-04-15 2005-10-27 Koninklijke Philips Electronics N.V. Method of generating a content item having a specific emotional influence on a user
AU2006217448A1 (en) * 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
US20060224046A1 (en) * 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
US8062129B2 (en) * 2006-09-29 2011-11-22 Pope Alan T Physiological user interface for a multi-user virtual environment
WO2008077176A1 (en) * 2006-12-22 2008-07-03 Neuro-Insight Pty. Ltd. Assessment of computer games
EP1975783A1 (en) * 2007-03-31 2008-10-01 Sony Deutschland Gmbh Method and system for adapting a user interface of a device
WO2008137581A1 (en) * 2007-05-01 2008-11-13 Neurofocus, Inc. Neuro-feedback based stimulus compression device
US20090069707A1 (en) * 2007-09-06 2009-03-12 Sandford Joseph A Method to improve neurofeedback training using a reinforcement system of computerized game-like cognitive or entertainment-based training activities
US20100069780A1 (en) * 2008-03-19 2010-03-18 Ocz Technology Group, Inc. Method and apparatus for using biopotentials for simultaneous multiple control functions in computer systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007121372A2 (en) * 2006-04-18 2007-10-25 World Golf Tour, Inc. Method for automatically adapting virtual equipment model
JP2009534121A (ja) * 2006-04-18 2009-09-24 ワールド ゴルフ ツアー, インコーポレイテッド 仮想装置モデルを自動的に適合させる方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014038003; Tim Tijs et al.: 'Creating an Emotionally Adaptive Game' Entertainment Computing - ICEC 2008 , 200809, 122-133, Springer *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174988A (ja) * 2013-03-11 2014-09-22 Immersion Corp 自動ハプティック効果調整システム
US10228764B2 (en) 2013-03-11 2019-03-12 Immersion Corporation Automatic haptic effect adjustment system
JP2019532374A (ja) * 2016-07-21 2019-11-07 マジック リープ, インコーポレイテッドMagic Leap,Inc. ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
US11656680B2 (en) 2016-07-21 2023-05-23 Magic Leap, Inc. Technique for controlling virtual image generation system using emotional states of user
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム

Also Published As

Publication number Publication date
WO2010046834A2 (en) 2010-04-29
US9612654B2 (en) 2017-04-04
EP2340473B1 (en) 2017-07-12
WO2010046834A3 (en) 2010-09-16
EP2340473A2 (en) 2011-07-06
JP5766119B2 (ja) 2015-08-19
CN108279781A (zh) 2018-07-13
US20110207100A1 (en) 2011-08-25
KR101604602B1 (ko) 2016-03-18
CN102187299A (zh) 2011-09-14
CN108279781B (zh) 2022-01-14
KR20110086068A (ko) 2011-07-27

Similar Documents

Publication Publication Date Title
JP5766119B2 (ja) レンダリング環境のユーザへの影響の制御
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
JP5586436B2 (ja) 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
US20080320126A1 (en) Environment sensing for interactive entertainment
US9503772B2 (en) Control mechanisms
KR20020062325A (ko) 텔레비전 상에 디스플레이되는 가상 생물
KR20150001038A (ko) 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
WO2021230100A1 (ja) 情報処理装置および方法、並びにプログラム
US20220368770A1 (en) Variable-intensity immersion for extended reality media
WO2021196595A1 (zh) 基于智慧屏的运动设备控制方法、装置及存储介质
JP2017135475A (ja) 評価装置、評価方法およびコンピュータプログラム
US20240256042A1 (en) Information processing apparatus, information processing method, and program
US11675419B2 (en) User-driven adaptation of immersive experiences
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
US20180366028A1 (en) System for behavioral conditioning through gamification
Zadtootaghaj Gaming Quality of Experience
US20230181995A1 (en) In-Activity Visualizations for Exercise Devices
Sabet Gaming QoE Assessment
US20240123351A1 (en) Affective gaming system and method
Abramczuk et al. Is a Virtual Ferrari as Good as the Real One? Children’s Initial Reactions to Virtual Reality Experiences
JP2024502045A (ja) 動的要約キューの生成と提供のための方法及びシステム
TWM443348U (en) Situation command system
GB2623345A (en) Affective gaming system and method
JP2023181568A (ja) 情報処理装置及び情報処理方法
CN116761658A (zh) 用于动态摘要队列生成和提供的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150616

R150 Certificate of patent or registration of utility model

Ref document number: 5766119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250