JP2009510826A - コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置 - Google Patents

コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置 Download PDF

Info

Publication number
JP2009510826A
JP2009510826A JP2008531865A JP2008531865A JP2009510826A JP 2009510826 A JP2009510826 A JP 2009510826A JP 2008531865 A JP2008531865 A JP 2008531865A JP 2008531865 A JP2008531865 A JP 2008531865A JP 2009510826 A JP2009510826 A JP 2009510826A
Authority
JP
Japan
Prior art keywords
user
content information
psychological data
data
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008531865A
Other languages
English (en)
Other versions
JP5069687B2 (ja
Inventor
エム アールツ，ロナルデュス
クルト，ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009510826A publication Critical patent/JP2009510826A/ja
Application granted granted Critical
Publication of JP5069687B2 publication Critical patent/JP5069687B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明は、家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する方法に関連する。本方法は：ユーザの感情状態を示す心理的データを取得するステップ(210)；心理的データに関連するコンテンツ情報の一部分を特定するステップ(230)；及びコンテンツ情報の関連部分を指すリファレンスと共に、心理的データを格納するステップ(240)；を有する。本発明は、装置、心理的データを格納するデータストレージ及びコンピュータプログラムにも関連する。

Description

本発明は、家庭電化製品のインターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析するための方法に関連する。本発明は、家庭電化製品のインターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析するための装置、心理的データを記憶するデータストレージ及びコンピュータプログラムにも関連する。
米国特許第6,798,461号(特許文献１)はあるビデオシステムを開示しており、そのビデオシステムは、ビデオデータを視聴者に表示するディスプレイと、脈拍や皮膚の導電性のような心理的データを検出することに備えて視聴者の指に取り付けられたセンサと、ビデオデータを受信するビデオ混合装置とを有する。ビデオ混合装置は、視聴者がビデオデータを鑑賞している間、心理的データを受信し、それらを表示するよう用意される。このシステムは、ビデオコンテンツを楽しみながら、視聴者が心理的データをモニタすることを可能にする。
既存のシステムは、リアルタイムで測定された心理的データ及びビデオコンテンツを同時に表示することを可能にする。そのようなシステムの場合、視聴者は、そのビデオコンテンツを見て感じたものを、同じビデオコンテンツを見ていない他者に伝達できないかもしれない。
米国特許第6,798,461号明細書
本発明の課題は、コンテンツ情報の提供を受けたユーザの感情状態を分析し、ユーザが自身の体験を伝達できるようにする方法を提供することである。
本方法は：
− 前記ユーザの感情状態を示す心理的データを取得するステップ；
− 前記心理的データに関連する前記コンテンツ情報の部分を特定するステップ；及び
− 前記コンテンツ情報の関連部分のリファレンスと共に、前記心理的データを格納するステップ；
を有する方法である。
コンテンツ情報がユーザに提供される際、そのコンテンツ情報に関する或る感情をユーザが抱いていることを、測定可能な心理的プロセスが示すかもしれない。例えば、ユーザが現在鑑賞している映画によってユーザが突然驚き(又は恐怖)を感じたとき、皮膚の抵抗が変化する。ユーザの感情状態を記録するため、心理的データを伴う信号(例えば、直流皮膚抵抗測定値、筋電図測定値又は瞳の大きさ等)が取得される。
ユーザがコンテンツ情報を徐々に消費する際に、ユーザの感情状態が変化するかもしれない。このため心理的データも変化するかもしれない。従って、特定の時点で得られた特定の心理的データに対応するコンテンツ情報の部分が、特定される。コンテンツ情報の対応する部分を指すリファレンスを伴う心理的データは、ユーザの体験を明確に表すことを可能にする。
ユーザがコンテンツ情報の提供の提供を受ける際、後の利用に備えてユーザの体験又は感情を保存することが望ましい。このため、コンテンツ情報の関連部分を指すリファレンスと共に、心理的データが記憶される。心理的データを記憶することで、その心理的データを後に利用可能にする時間シフトが用意される。記憶された心理的データは、コンテンツ情報を再び再生するため及びユーザの感じた感情状態を示すために使用される。コンテンツ情報の関連部分を指すリファレンスと共に記憶された心理的データは、他のユーザに伝達されてもよいし、或いは他のユーザの心理的データと比較されてもよい。
本発明によれば、家庭電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する装置が提供される。本装置はデータプロセッサを有し、該データプロセッサは：
− 前記ユーザの感情状態を示す心理的データを取得すること；
− 前記心理的データに関連する前記コンテンツ情報の部分を特定すること；及び
− 前記コンテンツ情報の関連部分のリファレンスと共に、前記心理的データを格納可能にすること；
を実行するようにした装置である。
本装置は説明される本方法と共に動作するように構築される。
これら及び他の本発明の形態は、図面と共に実施例により説明及び記述される。
家庭電化製品システムにおいてユーザは様々な方法でコンテンツ情報(又は、単にコンテンツと呼ぶ)の提供を受ける。例えば、ユーザが現在読んでいる本の中のページを検出する何らかの電子装置を組み込んだ取り外し可能なカバーと共に、ユーザは本を読むかもしれない。別の例として、ユーザはTV画面又はPCディスプレイでサッカーゲームを鑑賞するかもしれない。ユーザにコンテンツが提供される際、それは、如何なるディスプレイも又は如何なるオーディオ再生装置も利用せずに、例えば本を読むことで、ユーザがコンテンツを利用することを意味するかもしれないし、或いは、家庭電化装置で見たり聴いたりすることでユーザがコンテンツを利用することを意味するかもしれない。
コンテンツは、視覚的な情報(例えば、ビデオ画像、写真、グラフィックス)、オーディオ情報及びテキスト情報の内の少なくとも１つ又は何らかの組み合わせを含んでもよい。「オーディオ情報」なる用語は、聞き取れる音、静けさ、会話、音楽、静寂、外部雑音等による音に関するデータを意味する。オーディオデータは、MPEG-1レイヤIII(mp3)標準仕様(MPEG: Moving Picture Experts Group)のようなフォーマット、AVI(Audio Video Interleaves)フォーマット、WAM(Windows Media Audio)フォーマット等でもよい。「ビデオ情報」なる用語は、動き、画像、「静止画」、ビデオテキスト等のような視覚的なデータを意味する。ビデオデータは、GIF(Graphic Interchange Format)、JPEG(Joint Photographic Experts Groupに由来する)、MPEG-4等のようなフォーマットでもよい。テキスト情報は、ASCII(American Standard Code for Information Interchange)フォーマット、PDFフォーマット(Adobe Acrobat Format)、HTML(Hyper Text Markup Language)フォーマット等でもよい。
図１は２つのユーザインターフェース110,130及び装置150を有するシステム例を示す。ユーザインターフェース110では、電子装置114a,114bを組み込んでいるブックカバーの中に用意された本112をユーザが読む。電極114a,114bは監視プロセッサ116に接続されてもよい。ユーザが本を読む場合、電極114a,114bを通じて電気皮膚反応(galvanic skin response)が測定され、測定値に付随する適切な信号が生じる。更に、その信号は監視プロセッサ116に(無線で)供給される。別の実施例では、電極114a,114bは、本を読んでいるユーザの脈拍を測定するように用意される。別の実施例では、取り外し可能なブックカバーが或るセンサを組み込み、センサは、ユーザの体の中の他の心理的プロセス(例えば、ユーザの顔の皮膚温度分布−これはユーザの感情状態の変化に関連付けられる)を測定する。
監視プロセッサ116は、本を読んでいるユーザのビデオデータを捕捉するビデオカメラ118に結合されてもよい。ユーザが読んでいる本の中のページ、ユーザが見ている本の中の絵、又はユーザが現在読んでいる段落(パラグラフ)を確認するため、ビデオカメラ118は、捕捉したビデオデータを監視プロセッサ116に供給するよう構築される。ビデオデータの以後のコンテンツ分析により、現在読まれているページ若しくはそのページ内の段落又は見られている絵は判定可能になる。コンテンツ分析は監視プロセッサ116で実行されてもよいし、或いは装置150で実行されてもよい。ユーザインターフェース110でビデオカメラ118を利用することは選択的である。なぜなら、ユーザにより現在利用されているコンテンツの一部分が、別の方法で確認されてもよいからである。例えば、監視プロセッサ116は、物理的なブックマーク形式でのページカウンタや、本の中のページを特定する別の小さなツール(gadget)等を含んでもよい。
電気皮膚反応測定値又は他の心理的データ及びリファレンスを有する信号を装置150に送信するように監視プロセッサ116は構築され、そのリファレンスは、信号が取得された時点でユーザが見ていた又は聴いていたコンテンツの対応する部分を指す。或いは、監視プロセッサ116から信号及びビデオデータを受信するように装置150は構築され、その信号及びビデオデータは、コンテンツの対応する部分を指すリファレンスを特定するために更に処理されることを要する。
更に、ユーザインターフェース130において、ユーザはビデオ及びオーディオコンテンツ(例えば、映画)を鑑賞するかもしれないし、或いはユーザはディスプレイ装置(例えば、TVセット、PDA(パーソナルディジタルアシスタント)のタッチスクリーン、又は移動電話機等)に表示される電子テキスト(例えば、新聞又は書籍)を読むかもしれない。ユーザがコンテンツを見る際、その信号は、ユーザの脈拍数、電気皮膚抵抗又は他の心理的パラメータを示す。信号は様々な方法で取得されてよい。例えば、ディスプレイ装置は、心理的データを取得するセンサを組み込んでいるキーボード又はリモートコントロールユニットを備えていてもよい。
信号中の対応する心理的データに関するコンテンツ部分の身元(識別子)を装置150に与えるように、ディスプレイ装置は構築されてもよい。例えば、ディスプレイ装置は、映画の中のフレーム番号や、映画の開始以来の時間等を示してもよい。映画の中で示される特定のビデオオブジェクトやキャラクタに心理的データが関連することも、ディスプレイ装置が示すかもしれない。別の例では、ディスプレイ装置は装置150に識別子を明示的には提供しないが、ディスプレイ装置はコンテンツ及び信号を装置150に時間的に同期して送信する。
心理的データは１つ以上のイヤフォンを通じて取得されてもよい。ユーザに対してオーディオを再生するイヤフォンの通常の機能に対する追加的な選択肢として、電気皮膚反応を測定するようにイヤフォンは設計されてもよい。例えば、イヤフォンの表面は、電気皮膚反応を検出する１つ以上の電極を含んでもよい。ユーザはユーザインターフェース110,130でそのような１つ以上のイヤフォンを使用してもよい。
対応する心理的データに関連するコンテンツ部分を指すリファレンスを設定するのに必要な全ての情報及び心理的データを、監視プロセッサ116から又はディスプレイ装置から装置150は受信する。
装置150はデータプロセッサ151を有し、データプロセッサは、例えば信号に組み込まれている受信した心理的データから、特定の情報、他の情報(対応する心理的データに関連するコンテンツ部分を特定する)及びインデックス(対応する心理的データ及びコンテンツの特定された部分を指定する)を生成するよう構築される。或いは、コンテンツの対応部分でコンテンツに心理的データを埋め込むように、データプロセッサ151が構築されてもよい。更に別の例では、ユーザの感情状態各々に関連付けられた対応する感情記述子に、心理的データを変換するようにデータプロセッサは構築されてもよい。そして、１つ以上の感情記述子は、コンテンツの対応する部分に埋め込まれてもよいし、又は、コンテンツの特定部分及び対応する感情記述子を示すインデックスが生成されてもよい。インデックス、埋め込まれた心理的データを伴うコンテンツ、又は埋め込まれた感情記述子を伴うコンテンツを格納するよう用意されたデータストレージ160と(リモートに)通信するように装置150が構築されてもよい。データストレージ160はデータベースのように問い合わせを受けることが好ましい。
インデックス及び／又はコンテンツは様々なデータキャリアのデータストレージ160に如何なるフォーマットで格納されてもよい。データキャリアは、例えば、オーディオ又はビデオテープ、光記憶ディスク(例えば、CD-ROM(コンパクトディスクリードオンリメモリ)又はDVDディスク(ディジタル多用途ディスク))、フロッピディスク及びハードディスク 等である。フォーマットは、例えば、MPEG(モーションピクチャーエキスパートグループ)、MIDI(Musical Instrument Digital Interface)、ショックウェーブ(Shockwave)、クイックタイム(QuickTime)、WAV(Waveform Audio)等である。例えば、データ記憶部はコンピュータハードディスクドライブ、多用途フラッシュメモリカード(例えば、「メモリスティック」装置等)等で構築されてもよい。
図１を参照しながら説明したように、ユーザにコンテンツを提供するのに２種類ある。ユーザは時間的に非線形にコンテンツを利用するかもしれない。例えば、ユーザインターフェース130でディスプレイ装置に示されている写真集の中の写真をユーザが見ていたとする。その写真集から別の写真を表示する際、ユーザはリモート制御装置で方向ボタンを押すかもしれないし、何らかの時点でキーボードのキーを押すかもしれない。別の例では、コンテンツは所定の時間的進捗と共に提示される。そのようなコンテンツは映画、歌又はスライドショー(スライドショーでスライドは自動的に変えられる)等かもしれない。コンテンツ提示の何れのタイプにおいも(すなわち、時間的に線形でも非線形でも)、少なくとも２つの方法を使って対応する心理的データに関連するコンテンツ部分を特定することができる：心理的データを取得した時間に基づく方法、又はコンテンツ情報の特定の部分に注意を払っているユーザを監視する方法である。第１の方法の具体例は、コンテンツが映画の場合である。心理的データを取得する時間は監視プロセッサ116又はデータプロセッサ151に実装されているタイマ(図示せず)により記録される。所与の記録された時点があれば、ユーザが特定の感情を抱きそれに応じて関連する心理データが得られたことに応じて、映画の中のフレーム又はビデオシーンを特定することは容易である。
第１の方法の別の例はユーザインターフェース110について与えられる。対応する心理的データに関連するコンテンツ部分を時間ベースで特定することは、先ず本112のページが開かれた時にタイマーを起動し、そのページがめくられつつある時にタイマーを止めることで実行されてもよい。従って、タイマーは本112の１ページ(２ページ)の合計時間を特定可能にする。どんな心理的データがその期間に受信されるかが知られるようにも仮定される。更に、本のページ内のどの段落が、その対応する心理的データに関連しているかが、補間により算出されてもよい。一方、ユーザが複数のページにざっと目を通す場合、確認された期間がページ当たり又は画像／写真当たり１秒未満であったならば、そのページは読むことができないので、データプロセッサは、確認されたその期間に取得された心理的データを無視するように構築されてもよい。
第２の方法では、例えばコンテンツは写真集かもしれない。例えばカメラ118又は本112に取り付けられたページカウンタのような監視装置は、特定の場合にユーザが利用したコンテンツの部分を判定可能にする。例えば、ビデオデータとコンテンツとを比較することで確認されたコンテンツの一部分を含むビデオデータを取得するように、カメラ118は構築される。写真集の場合、特定の一枚の画像が確認されてもよい。コンテンツが映画の場合、特定のフレームが同様に確認されてもよい。
写真集又は映画を眺めている間、ユーザが着目しているオブジェクト(対象)を検出することで、より精密な判定が達成できるかもしれない。ユーザの視線方向、本の位置、コンテンツを表示するディスプレイ装置の位置等を判定するためにカメラ118が使用されることが、オブジェクトの検出には必要となる。画面又は本の中のオブジェクトを検出する方法自体は、既知である。オブジェクト検出は、心理的データをコンテンツの特定の有意義な部分(semantic portion)(例えば、映画の中の或るキャラクタや、デュエットソングでの歌手の１人)に関連付けることを可能にする。
精密な判定は、ユーザインターフェース110で上述したように補間法を利用し、対応する心理的データに関連する本のページの段落を判定することによっても可能である。ページ内に画像が有る場合、ユーザは先ずその画像を見るであろう。従って、ページが開かれた直後に取得された心理的データと画像との間に直接的な結びつきの可能性がある。
本発明の一実施例では、対応する心理的データに関するコンテンツ部分を特定し、集まってしまったユーザ感情の影響が補償されるようにデータプロセッサ151を合わせることが予測される。ユーザがコンテンツを利用している間にユーザ感情が集まり、心理的データがコンテンツの特定の部分に関する感情を客観的には反映しないかもしれないので、そのような影響が生じる。その影響は或る有利な方法で緩和され、例えば、ユーザインターフェース130において、ユーザが写真集に目を通す際、写真及び心理的データ間の同期を遅らせることで緩和される。この遅延は、ある写真が別の写真の後で提示される場合に、感情を晴らして落ち着くのにユーザがいくらか時間を要することを考慮に入れる。
データプロセッサ151は、本発明を実行し且つ説明済みの装置の動作を可能にするように適切に構築された周知の中央処理装置(CPU)をでもよい。
図２を参照しながら本発明が更に説明され、図２はユーザがコンテンツを利用する差異ユーザの感情状態を分析する方法例を示す。
ステップ210において、ユーザが例えば映画を見たり、歌を聴いたり、本を読んだりする際に心理的データが取得される。心理的データは、コンテンツを利用する特定の時点におけるユーザの感情状態を導出可能にする。例えば、ユーザの興奮の度合いが推測されてもよい。ある心理的データは、怒り、憂い、喜び等のような感情状態を確実に推論及び分類できるようにする。
動作ステップ220では、心理的データが所定の基準と比較され、コンテンツの利用された部分に対する心理的データがユーザの感情反応の或るレベルを超えたか否かを判定する。例えば、電気皮膚反応が、ユーザの感情状態のレベルに応じて変わるかもしれない。
ステップ220において、感情状態レベルが閾値を越えているように心理的データから判定された場合、心理的データに関するコンテンツ部分がステップ230で確認される。心理的データとコンテンツの対応する確認された部分との間の対応関係は、ユーザインターフェース110,130に対するリファレンスと共に上述したように決定される。
ステップ240では、インデックスがデータストレージ160に格納される。或いは、心理的データ又は少なくとも１つの感情記述子が、コンテンツの関連部分を指すリファレンスと共にコンテンツに組み込まれ、そのコンテンツがデータストレージ160に格納される。
選択的に、ステップ220で閾値を越えていた場合、ユーザに向けられたカメラ118で得られたビデオデータが、感情状態及びユーザの態度(例えば、ユーザの表情)を抽出するのに使用される。代替的に又は追加的に、例えばマイクロフォンのようなオーディオ入力装置が、ユーザの声を記録するように活性化(アクティブに)される。ビデオデータ及び／又は音声データは、装置150に供給され、更にデータストレージ160に格納される。こうして、ユーザの体験は記録され、ユーザに又は他者に何らかの後の時点で、例えば同期した方式でコンテンツ自身と共に同時に、提示されてもよい。
ステップ250では、コンテンツ情報が心理的データと同期して提示される。この提示は別様に実行されてもよい。但し、コンテンツの一部分の提示は、コンテンツのその部分に関する心理的データの同期した提示を伴うものとする。例えば、映画が通常の方法でディスプレイ画面に提示されるが、ディスプレイ画面周囲のフレームの色は、映画の対応するフレームに関連する心理的データに応じて変化する。
ステップ250の有利な代替例では、コンテンツの一部分が、対応する関連する心理的データに依存して修正された方法で提示される。例えば、オブジェクトに関する心理的データが、そのユーザはそのビデオオブジェクトに関して或る感情を抱いたことを示す場合、映画のそのビデオオブジェクトが別様にハイライト又強調される。この強調は、心理的データから導かれる特定の感情に対応する色を利用することを含んでもよい。
或いは、心理的データを使って、コンテンツの中から、ある選択基準に合う１つ以上のコンテンツ部分だけを選別してもよい。例えば、ユーザは、写真集の中から、ある感情を引き起こす画像だけを取り出してもよい。
如何なる所望の長さのコンテンツの粗筋でも作成可能である。例えば、対応する心理的データが所定の閾値を上回る感情レベルを示す場合に、粗筋に備えてコンテンツの一部分がマークされる。閾値を(適切に)合わせることで、ユーザ又はデータプロセッサは時間の長さや粗筋のサイズを調整できる。
別の実施例では、ユーザの心理的データは、同じコンテンツに関する他者の別の心理的データと比較される。この比較は、彼らが同じコンテンツを好むか否かをユーザが確認できるようにし、選択的に、同じコンテンツの同じ部分又は別の部分を各ユーザが好む程度を確認できるようにする。
別の実施例では、ユーザは心理的データを利用し、データストレージ160の中で、実質的に同じ心理的データを伴う別のコンテンツを探すことができる。例えば、データストレージ160に問い合わせを行うユーザの問い合わせ語句(クエリ)は、コンテンツの中である形式で分布している心理的データのパターンを有するかもしれない。例えば、そのパターンは、ユーザの感情反応が中頃で高く、コンテンツの終わりで特に高いことを示すかもしれない。コンテンツベースで構築されたそのようなパターンは、同じ又は同様なパターンを伴う別のコンテンツを見出すのに使用されてもよい。
説明された実施例の変形例及び修正例は、本発明概念の範囲内で可能である。例えば装置150及び／又はデータストレージ160は、ユーザ装置に遠隔的にアクセス可能であってもよく、ユーザ装置は、例えば、ケーブル、衛星又は他のリンクを伴うテレビジョンセット(TVセット)、ビデオカセット、HDDレコーダ、家庭用映画システム、携帯用CDプレーヤ、アイプロント(iPronto)リモートコントロールのようなリモートコントロール装置、セルラ電話機等である。ユーザ装置はステップ250を、或いはステップ250の代替例を実行するように構築されてもよい。
一実施例では、図１に示されるシステムは単独の装置で実現されてもよいし、或いはサービスプロバイダ及びクライアントを含んでもよい。或いは、本システムは分散され互いに離れて設けられた装置群で構築されてもよい。
データプロセッサ151はソフトウエアプログラムを実行し、本発明の方法のステップを実行可能にしてもよい。そのソフトウエアは、ソフトウエアが動作している装置150を独立に動作可能にする。装置を動作可能にするため、データプロセッサはソフトウエアプログラムを他の(外部の)装置に例えば伝送してもよい。独立の方法請求項及びコンピュータプログラム製品関連請求項は、家庭電気製品での動作に備えてソフトウエアが作成され或いは利用される場合に、本発明を保護するために使用されるかもしれない。例えば、ブルートゥース、IEEE802.11[a-g]等のような既存の記述を使って、外部装置がデータプロセッサと接続されてもよい。データプロセッサは、UPnP(ユニバーサルプラグアンドプレイ)標準仕様に従って外部装置と相互作用してもよい。
「コンピュータプログラム」は、フロッピディスク等のようなコンピュータ読み取り可能な媒体に格納され、インターネット等のようなネットワークを介してダウンロード可能であり或いは他の何らかの方法による市販の如何なるソフトウエア製品をも意味するように理解されるべきである。
様々なプログラム製品が本発明によるシステム及び方法の機能を実現し、ハードウエアと共に又は様々な装置に設けられたいくつかの方法で組み合わせられてもよい。本発明は、いくつもの個別素子を有するハードウエアを用いて、及び適切にプログラムされたコンピュータを用いて実現可能である。いくつもの手段を有する装置の請求項では、これらのいくつもの手段は１つの同じハードウエア品目で実現されてもよい。
本発明によるシステム例を示す機能ブロック図である。 本発明の方法例を示す図である。

Claims (15)

  1. 家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する方法であって、
    − 前記ユーザの感情状態を示す心理的データを取得するステップ；
    − 前記心理的データに関連する前記コンテンツ情報の一部分を特定するステップ；
    − 前記コンテンツ情報の関連部分を指すリファレンスと共に、前記心理的データを格納するステップ；
    を有する方法
  2. 前記心理的データが、電気皮膚反応の測定値を有する請求項１記載の方法。
  3. 前記心理的データが、ユーザのイヤフォンを通じて取得される請求項２記載の方法。
  4. 前記コンテンツ情報が、再生時間に線形な場合に適している請求項１記載の方法。
  5. 前記コンテンツ情報が、時間に非線形にユーザが利用する場合に適している請求項１記載の方法。
  6. 前記コンテンツ情報が、電子テキスト、印刷テキスト又は複数の画像である請求項５記載の方法。
  7. 前記コンテンツの一部分が、関連する心理的データを取得した時間に基づいて特定される請求項４又は５に記載の方法。
  8. 心理的データに関連する前記コンテンツ情報の一部分が、コンテンツ情報の提供を受けたユーザを監視することで確認される請求項４又は５に記載の方法。
  9. 前記格納するステップにおいて、前記心理的データが前記コンテンツ情報に組み込まれる請求項１記載の方法。
  10. 前記特定するステップ及び前記格納するステップを引き起こすための閾値を、前記心理的データが越えたか否かを判定するステップを更に有する請求項１記載の方法。
  11. 前記閾値を越えた場合、カメラ又はオーディオ入力装置を活性化し、前記ユーザのビデオデータ又は前記ユーザの音声データをそれぞれ記録するステップを更に有する請求項１０記載の方法。
  12. − 前記心理的データと同時に前記コンテンツ情報を提供し直すステップ；
    − ある選択基準に従って、前記心理的データに関連する前記コンテンツ情報の少なくとも一部分を選択するステップ；
    − 前記ユーザの前記心理的データと、同じコンテンツ情報に関する別ユーザの別の心理的データとを比較するステップ；及び
    − 前記心理的データを用いて、実質的に同じ心理的データを伴う別のコンテンツ情報をデータベースの中で探すステップ；
    の内の何れかを更に有する請求項１記載の方法。
  13. 家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する装置であって、当該装置はデータプロセッサを有し、前記データプロセッサは：
    − 前記ユーザの感情状態を示す心理的データを取得すること；
    − 前記心理的データに関連する前記コンテンツ情報の一部分を特定すること；及び
    − 前記コンテンツ情報の関連部分を指すリファレンスと共に、前記心理的データを格納可能にすること；
    を実行するようにした装置。
  14. 家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を示す心理的データであって、前記コンテンツ情報の関連部分を指すリファレンスを有するようにした心理的データ。
  15. 請求項１乃至１２の何れか１項に記載の方法をコンピュータ装置に実行させるコード手段を有するコンピュータプログラム。
JP2008531865A 2005-09-26 2006-09-22 コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置 Expired - Fee Related JP5069687B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05108838 2005-09-26
EP05108838.3 2005-09-26
PCT/IB2006/053442 WO2007034442A2 (en) 2005-09-26 2006-09-22 Method and apparatus for analysing an emotional state of a user being provided with content information

Publications (2)

Publication Number Publication Date
JP2009510826A true JP2009510826A (ja) 2009-03-12
JP5069687B2 JP5069687B2 (ja) 2012-11-07

Family

ID=37889236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531865A Expired - Fee Related JP5069687B2 (ja) 2005-09-26 2006-09-22 コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置

Country Status (5)

Country Link
US (1) US20080235284A1 (ja)
EP (1) EP1984803A2 (ja)
JP (1) JP5069687B2 (ja)
CN (1) CN101495942A (ja)
WO (1) WO2007034442A2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361868B2 (ja) * 2007-05-01 2013-12-04 ニューロフォーカス・インコーポレーテッド 神経情報貯蔵システム
US20080318196A1 (en) * 2007-05-21 2008-12-25 Bachar Al Kabaz DAL self service school library
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US9521960B2 (en) * 2007-10-31 2016-12-20 The Nielsen Company (Us), Llc Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
WO2009149126A2 (en) * 2008-06-02 2009-12-10 New York University Method, system, and computer-accessible medium for classification of at least one ictal state
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
TW201220216A (en) * 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
US20120259240A1 (en) * 2011-04-08 2012-10-11 Nviso Sarl Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US8781565B2 (en) 2011-10-04 2014-07-15 Qualcomm Incorporated Dynamically configurable biopotential electrode array to collect physiological data
US8712126B2 (en) 2012-03-12 2014-04-29 Xerox Corporation Web-based system and method for video analysis
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US9378655B2 (en) 2012-12-03 2016-06-28 Qualcomm Incorporated Associating user emotion with electronic media
KR20140095291A (ko) * 2013-01-24 2014-08-01 삼성전자주식회사 사용자의 움직임과 심박수에 기초한 스트레스 측정 장치 및 방법
US10225328B2 (en) 2013-03-14 2019-03-05 Aperture Investments, Llc Music selection and organization using audio fingerprints
US10623480B2 (en) 2013-03-14 2020-04-14 Aperture Investments, Llc Music categorization using rhythm, texture and pitch
US10242097B2 (en) 2013-03-14 2019-03-26 Aperture Investments, Llc Music selection and organization using rhythm, texture and pitch
US11271993B2 (en) 2013-03-14 2022-03-08 Aperture Investments, Llc Streaming music categorization using rhythm, texture and pitch
US10061476B2 (en) 2013-03-14 2018-08-28 Aperture Investments, Llc Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood
US9875304B2 (en) 2013-03-14 2018-01-23 Aperture Investments, Llc Music selection and organization using audio fingerprints
US20150157279A1 (en) * 2013-12-06 2015-06-11 President And Fellows Of Harvard College Method, computer-readable storage device and apparatus for providing ambient augmented remote monitoring
CN103729406B (zh) * 2013-12-09 2017-09-08 宇龙计算机通信科技(深圳)有限公司 环境信息的搜索方法及系统
CN103716536B (zh) * 2013-12-17 2017-06-16 东软熙康健康科技有限公司 生成动态图片的方法及系统
US9766959B2 (en) 2014-03-18 2017-09-19 Google Inc. Determining user response to notifications based on a physiological parameter
US20220147562A1 (en) 2014-03-27 2022-05-12 Aperture Investments, Llc Music streaming, playlist creation and streaming architecture
CN104125348A (zh) * 2014-07-04 2014-10-29 北京智谷睿拓技术服务有限公司 通信控制方法、装置和智能终端
US20160063874A1 (en) * 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US9613033B2 (en) * 2014-08-29 2017-04-04 Yahoo!, Inc. Emotionally relevant content
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
US9668688B2 (en) 2015-04-17 2017-06-06 Mossbridge Institute, Llc Methods and systems for content response analysis
CN104905803B (zh) * 2015-07-01 2018-03-27 京东方科技集团股份有限公司 可穿戴电子设备及其情绪监控方法
CN106333643B (zh) * 2015-07-10 2020-04-14 中兴通讯股份有限公司 用户健康的监测方法、监测装置以及监测终端
CN105232063B (zh) * 2015-10-22 2017-03-22 广东小天才科技有限公司 用户心理健康检测方法及智能终端
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
CN107307873A (zh) * 2016-04-27 2017-11-03 富泰华工业（深圳）有限公司 情绪交互装置及方法
CA3062935A1 (en) * 2016-07-27 2018-02-01 Biosay, Inc. Systems and methods for measuring and managing a physiological-emotional state
EP3300655A1 (en) 2016-09-28 2018-04-04 Stichting IMEC Nederland A method and system for emotion-triggered capturing of audio and/or image data
US11249945B2 (en) * 2017-12-14 2022-02-15 International Business Machines Corporation Cognitive data descriptors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178593A (ja) * 2002-11-25 2004-06-24 Eastman Kodak Co 画像処理方法及びシステム
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP2005063087A (ja) * 2003-08-11 2005-03-10 Sony Corp 記録再生装置、再生装置、記録再生方法および再生方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5507291A (en) * 1994-04-05 1996-04-16 Stirbl; Robert C. Method and an associated apparatus for remotely determining information as to person's emotional state
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
AU2001288902A1 (en) * 2000-09-07 2002-03-22 Healthetech, Inc. Portable computing apparatus particularly useful in a weight management program
US6359391B1 (en) 2000-09-08 2002-03-19 Philips Electronics North America Corporation System and method for overvoltage protection during pulse width modulation dimming of an LCD backlight inverter
US6852086B2 (en) * 2001-06-18 2005-02-08 Dan Atlas Detection of signs of attempted deception and other emotional stresses by detecting changes in weight distribution of a standing or sitting person
US6885818B2 (en) * 2001-07-30 2005-04-26 Hewlett-Packard Development Company, L.P. System and method for controlling electronic devices
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US6798461B2 (en) 2002-01-10 2004-09-28 Shmuel Shapira Video system for integrating observer feedback with displayed images
US7327505B2 (en) 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US6952164B2 (en) * 2002-11-05 2005-10-04 Matsushita Electric Industrial Co., Ltd. Distributed apparatus to improve safety and communication for law enforcement applications
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178593A (ja) * 2002-11-25 2004-06-24 Eastman Kodak Co 画像処理方法及びシステム
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP2005063087A (ja) * 2003-08-11 2005-03-10 Sony Corp 記録再生装置、再生装置、記録再生方法および再生方法

Also Published As

Publication number Publication date
EP1984803A2 (en) 2008-10-29
US20080235284A1 (en) 2008-09-25
WO2007034442A3 (en) 2008-11-06
CN101495942A (zh) 2009-07-29
WO2007034442A2 (en) 2007-03-29
JP5069687B2 (ja) 2012-11-07

Similar Documents

Publication Publication Date Title
JP5069687B2 (ja) コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置
CN108337532A (zh) 演出片段的标注方法、视频播放方法、装置及系统
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
US7698238B2 (en) Emotion controlled system for processing multimedia data
CN102244788B (zh) 信息处理方法、信息处理装置和丢失恢复信息生成装置
TW583877B (en) Synchronization of music and images in a camera with audio capabilities
Tancharoen et al. Practical experience recording and indexing of life log video
KR20170100007A (ko) 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법
US8030564B2 (en) Method for selecting and recommending content, server, content playback apparatus, content recording apparatus, and recording medium storing computer program for selecting and recommending content
KR20060131981A (ko) 사용자에 대해 특정 감정적 영향을 갖는 콘텐츠 항목을생성하는 방법
TWI538498B (zh) 用於以關鍵字為基礎之視訊串流及其他內容的非線性導航的方法與裝置
US20140204014A1 (en) Optimizing selection of a media object type in which to present content to a user of a device
US20070294301A1 (en) Information Management Method, Information Management Program, and Information Management Device
JP2015518680A (ja) 受動的に検知された聴衆反応に基づくメディア・プログラムの提示制御
US20070265720A1 (en) Content marking method, content playback apparatus, content playback method, and storage medium
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
US9558784B1 (en) Intelligent video navigation techniques
US9564177B1 (en) Intelligent video navigation techniques
JPH0990973A (ja) 音声処理装置
KR20160065670A (ko) 컨텐트를 제공하는 방법 및 디바이스
JP2023025013A (ja) 音楽療法のための歌唱補助装置
JPH0887870A (ja) 情報処理装置
JP2009283020A (ja) 記録装置、再生装置、及びプログラム
JP2010154342A (ja) 電子機器および映像コンテンツ情報表示方法
CN114762357A (zh) 信息处理系统、信息处理方法以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees