JP2009508553A - 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 - Google Patents
眼球性質を解析することで、人間の感情を決定するシステムおよび方法 Download PDFInfo
- Publication number
- JP2009508553A JP2009508553A JP2008530666A JP2008530666A JP2009508553A JP 2009508553 A JP2009508553 A JP 2009508553A JP 2008530666 A JP2008530666 A JP 2008530666A JP 2008530666 A JP2008530666 A JP 2008530666A JP 2009508553 A JP2009508553 A JP 2009508553A
- Authority
- JP
- Japan
- Prior art keywords
- emotional
- data
- subject
- response
- stimulus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本発明は、例えば、瞳孔サイズ、瞬目の性質、視線位置(または注視点)の性質、あるいは他の性質を含め、利用者の眼球性質を組み合わせたものを解析することにより、人間の感情を決定するシステムおよび方法に関するものである。このシステムおよび方法は、利用者に与えられた様々な刺激を知覚しながら、他のデータの中でも、利用者の眼球性質を解析することで、そのような刺激の感情的影響を測定するように構成されることがある。測定された眼球性質は、感情的反応の強さを決定するためだけでなく、正の感情的反応(例えば、快、または「好き」)、中立の感情的反応、負の感情的反応(例えば、不快、または「嫌い」)を区別するためにも、使用されることがある。
Description
本発明は、一般に、少なくとも瞳孔サイズ、瞬目(blink)の性質、および視線位置(または、注視点)の性質を含む、眼球性質を解析することで、人間の感情を決定することに関するものである。
本出願は、「SYSTEM AND METHOD FOR DETERMINING
HUMAN EMOTION BY MEASURING EYE PROPERTIES(眼球性質を測定することで、人間の感情を決定するシステムおよび方法)」と称する2005年9月16日出願の米国仮特許出願第60/717,268号から優先権を主張している。この仮出願の内容は、参照によって、本明細書中に組み入れられている。
HUMAN EMOTION BY MEASURING EYE PROPERTIES(眼球性質を測定することで、人間の感情を決定するシステムおよび方法)」と称する2005年9月16日出願の米国仮特許出願第60/717,268号から優先権を主張している。この仮出願の内容は、参照によって、本明細書中に組み入れられている。
眼球運動を追跡するシステムおよび方法が一般に知られている。近年、アイトラッキング(視線追跡)装置により、マシンは、細かい眼球運動を自動的に観察し、記録することができる。利用者の感情状態を推定するために、何らかのアイトラッキング技術が、ある程度まで利用されてきた。
Lang, P.J., Bradley, M.M., &Cuthbert, B.N., "International Affective Picture System (IAPS)Technical Manual and Affective Ratings"
Lang, P.J., Bradley, M.M., &Cuthbert, B.N., "International Affective Picture System (IAPS)Technical Manual and Affective Ratings"
アイトラッキング技術の最近の進歩にもかかわらず、多くの現行システムは、様々な欠点を免れない。例えば、利用者の感情に関する情報を引き出そうとする多くの現行システムは、効果的に、かつ/または正確に情報を引き出せる能力を欠いている。一部の現行システムは、結果を、とりわけ、Lang, P.J.氏、Bradley, M.M.氏、および、Cuthbert, B.N.氏による「International
Affective Picture System(IAPS) Technical Manual and Affective Ratings(IAPS(国際情動写真体系)技術マニュアルと情動評価)」(これは、参照によって本明細書中に組み入れられている)を含む、充分了解されている基準方式または基準モデルにマッピング(対応付け)することができない。したがって、それらの結果は、一部分、それらの結果を解読するのが困難であるために、時には、充分了解されない傾向にあり、広範には適用できない傾向にもある。
Affective Picture System(IAPS) Technical Manual and Affective Ratings(IAPS(国際情動写真体系)技術マニュアルと情動評価)」(これは、参照によって本明細書中に組み入れられている)を含む、充分了解されている基準方式または基準モデルにマッピング(対応付け)することができない。したがって、それらの結果は、一部分、それらの結果を解読するのが困難であるために、時には、充分了解されない傾向にあり、広範には適用できない傾向にもある。
さらに、現行システムは、データを収集し、かつ/または得られたデータを減らそうとするときに、脳内での感情的プロセスと理性的プロセスとを区別することの重要性を考慮に入れているようには思えない。
さらに、一部の現行のシステムおよび方法は、利用者の感情決定の精度を向上させ得る関連情報を考慮に入れることもできない。例えば、いくつかのシステムおよび方法は、瞬目を感情の指標と判断するときに、上記潜在的価値に影響を与えることができない。他の現行のシステムおよび方法は、感情を決定し、かつ/または、疑わしい感情を確認する際に、他の関連情報を使用することができない。従来手法の他の欠点には、中立の感情的反応を特定し、それを考慮に入れることができない点がある。
多くの現行システムは、利用者により着用されるか、あるいは利用者に付けられているアイトラッキング装置または他の装置を使用することが多い。アイトラッキング(および/または他の)技術のこのような侵襲的利用は、それ自体、利用者の感情状態に強い影響を与え、それにより、それらの結果を不必要に歪曲することがある。
上記および他の欠点は、公知のアイトラッキング・システムおよび感情検出方法に存在する。
本発明の一態様は、上記および他の既存の問題を解決することに関わる。一実施形態によると、本発明は、例えば、瞳孔サイズ、瞬目の性質、および視線位置(または注視点)の性質、あるいは他の性質を含め、利用者の眼球性質を組み合わせたものを解析することにより、人間の感情を決定するシステムおよび方法に関わる。本明細書に記述される測定された眼球性質は、感情的反応の強さを決定するためだけでなく、正の感情的反応(例えば、快、または、「好き」)、中立の感情的反応、および負の感情的反応(例えば、不快、または「嫌い」)を区別するためにも、使用されることがある。
本明細書に用いられる「利用者(user)」は、例えば、本発明のシステムおよび方法が、それぞれ、臨床用途(例えば、広告またはマーケッティングの研究または調査など)に利用されるか、心理学の研究に利用されるかどうかに応じて、回答者であるか、あるいは被験者をさすことがある。任意の特定のデータ収集および/または解析セッションにおいて、利用者は、積極的な参加者(例えば、指示に応じる参加者、眺める参加者、かつ/または、目に見えようと目に見えまいと様々な刺激に反応する参加者など)、あるいは、受動的な個人(例えば、データが収集されていることに気づいていない個人、刺激が与えられない個人、など)を含むことがある。本発明のシステムおよび方法の特定の用途に応じて、「利用者」に対して、さらなる名称が使用されることがある。
一実施形態では、本発明のシステムおよび方法は、利用者に与えられた様々な刺激を知覚しながら、他のデータの中でも、利用者の眼球性質を解析することで、そのような刺激の感情的影響を測定するように構成されることがある。この刺激は、任意の現実の刺激、あるいは、公知の技術または後に開発される技術を介して、利用者に与えられる任意のアナログ刺激または電子刺激を含む。利用者の五感(視覚、聴覚、嗅覚、味覚、触覚)のどれか1つまたは複数の感覚に関して、刺激を任意に組み合わせたものが与えられる。
与えられた刺激の感情的影響を測定できることにより、様々なタイプのコンテンツまたは他のインタラクション・シナリオへの感情的反応がより良く理解される。したがって、本発明は、任意の数の調査、研究、インタラクション・シナリオでの使用のため、あるいは、他の用途のためにカスタマイズされることがある。模範的な例示として、広告主は、どのタイプの広告コンテンツが正の感情的反応を引き出すのかより良く理解するために、利用者に様々な広告刺激を与えたいと思うことがある。同様に、刺激パッケージは、セキュリティ・アプリケーション、安全アプリケーション、人間工学(エルゴノミクス)、エラー防止の開発だけでなく、製品の設計、コンピュータゲームの設計、フィルム解析、メディア解析、ヒューマン・コンピュータ・インターフェースの開発、eラーニング・アプリケーションの開発、ホームエンターテインメント・アプリケーションの開発にも関わっている人による使用のために、あるいは、診断および/または最適化研究に関する医学用途のために、カスタマイズされる。刺激パッケージは、様々な他の分野または他の目的でもカスタマイズされることがある。
本発明の一態様によると、データを得る前に、セットアップ・較正プロセスが行われることがある。データ収集セッションの間に利用者に様々な刺激が与えられることになっている場合には、セットアップ中に、管理者または他の個人は、新たな刺激パッケージを作り出すか、あるいは、既存の刺激パッケージを検索および/または修正する。上に挙げたように、利用者の五感のどれか1つまたは複数の感覚に関して、刺激を任意に組み合わせたものが利用される。
このセットアップ・プロセスはさらに、一般の利用者情報(例えば、名前、年齢、性別など)、およびノイズをもたらすなどして、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置に関する情報を含む一般の健康情報、目に関係する情報(例えば、コンタクトレンズの使用、メガネの使用、任意のレーザ矯正眼科手術、緑内障または他の状態の診断または治療)、および、媒体、広告などを含む任意の数の品目について一般的な知覚または感情(例えば、好き、または嫌い)に関する情報を含む、利用者用のユーザー・プロファイルを作成することも含むことがある。ユーザー・プロファイルには、他の情報も含められることがある。
一実施例では、較正は、環境(および/または状況)に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者に基準となる感情レベルを決定することを含む。
例えば、部屋、自動車、シミュレータなどの環境、または他の環境に合わせて較正しようとするときに、周囲の状態(例えば、光、ノイズ、温度など)は、これらの周囲の状態か、様々なセンサ(例えば、カメラ、マイク、においセンサなど)か、その一方または両方を適宜に調整するように測定されて、有意味のデータ(不在ノイズ)を確実に得られるようにする。
さらに、較正中に、上記環境内の利用者に合わせて、1つまたは複数のセンサも調整する。例えば、アイトラッキング・データの収集では、アイトラッキング装置が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、このアイトラッキング装置に対して相対的に、利用者を位置づける。このアイトラッキング装置は、利用者の身体には付けられないことがある。一部の実施例では、このアイトラッキング装置は利用者には目に見える。他の実施例では、利用者が、このアイトラッキング装置のあることに気づかないように、このアイトラッキング装置を目立たないように位置づける。これは、アイトラッキング装置があることに気づかずに変わっている利用者の感情状態のどんなインスタンス(事例)も緩和する(排除しない場合)のに役立つ。さらに他の実施例では、このアイトラッキング装置は、表示装置または他のユーザー・インターフェースに付けるか、あるいは、それらに組み込まれる。さらに他の実施例では、このアイトラッキング装置は、利用者により着用されるか、あるいは、任意の数の様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物(例えば、ショッピングカート)に付けられる。
利用者の目の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを保証するために、このアイトラッキング装置を較正することがある。較正はさらに、所在周囲光のレベルを測定および/または調整して、利用者の瞳孔の任意の収縮または拡張が、「中立」範囲または正規範囲であると見なされる範囲に確実に入るようにすることも含む。一実施例では、この較正プロセスは、利用者の前方に位置づけられた表示装置上に表示されたビジュアル・インジケータ(視覚的な指標)の動きを、利用者が自分の目で追跡することを必要とする。このプロセスは、位置座標(例えば、x、y、z、または他の座標)によって定められる通り、この表示装置上のどこを利用者が見ているのか決定するために、実行される。この点に関して、利用者用の枠組み(frame of reference)が設定される。
最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用のマイク(または、他のオーディオ・センサ)も較正される(発話認識および/または音声認識用のハードウェアおよびソフトウェアとともに)。指および/または手のひらから皮膚導電率を測定するのに用いられる電気皮膚反応(GSR)フィードバック計器も、呼吸数ベルトセンサ、EEG電極とEMG電極、または他のセンサとともに較正される。触覚センサ、においセンサ、および他のセンサ、あるいは、様々な精神生理状態を監視する公知の技術が導入される。アイトラッキング・データとともに、公知の、あるいは後に開発される他の生理的技法および/または感情検出技法を使用して、本明細書に開示される感情検出技法を向上させる。
一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入されることがある。
本発明の一態様によると、較正はさらに、利用者に基準となるデータを生成するために、公知のセンサ(例えば、GSRフィードバック計器、アイトラッキング装置など)を任意に組み合わせたものを使用して、利用者の感情状態(または、意識レベル)を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。
一実施例では、較正はさらに、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態(例えば、感情的に中立である状態、または他の所望の状態)にできるだけ近い状態にあることを確実にするために、利用者の感情状態を調整することも含む。一実施形態では、公知の感情モデルに基づいて、正の反応(例えば、快)、中立の反応、または負の反応(例えば、不快)を引き出すのに知られている刺激を利用者に与えながら、様々な生理的データを測定する。この刺激は、視覚的な刺激、あるいは、人体の他の4つの感覚のどれかに関係する刺激を含む。一例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置くことがある。
一実施例では、この測定された生理的データは、眼球性質を含む。例えば、瞬目率パターン、瞳孔反応、注視点移動、および/または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が与えられる。いくつかの実施形態では、較正は、利用者に対して、一回、行われ、また、較正データは、利用者用に作成されたユーザー・プロファイルとともに格納される。
本発明の他の態様によると、所望の任意の初期セットアップおよび/または較正が完了した後で、利用者に対してデータが収集されることがある。このデータ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。利用者に刺激を与える場合には、収集データは、その与えられた刺激と同期化される。収集データは、眼球性質のデータ、あるいは、他の生理的データ、環境データ、および/または、他のデータを含む。
本発明の一態様によると、眼球性質データは、約50Hzにてサンプリングされるが、ただし、他のサンプリング周波数も使用されることがある。収集された眼球性質データは、利用者の瞳孔サイズ、瞬目の性質、視線位置(または注視点)の性質、あるいは、他の眼球性質に関するデータを含む。顔の表情(例えば、顔の筋肉の動き)に関するデータも収集される。収集された瞳孔データは、例えば、瞳孔サイズ、変化速度(収縮または拡張)、加速度(速度から得られることがある)、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。上に挙げたいくつかの実施形態では、これらの性質は、利用者に刺激が与えられるのに応じて、測定される。この刺激は、視覚刺激、非視覚刺激、または、双方の刺激を組み合わせたものを含む。
本発明のシステムおよび方法は、利用者に与えられた様々な刺激の感情的影響を測定することに関連して、本明細書に述べられているとはいえ、本明細書に述べられる様々な作業は、刺激が与えられずに行われる場合があると理解されるべきである。したがって、この記述は、限定的なものと見なされるべきではない。
本発明の他の態様によると、収集データは、1つまたは複数の誤り検出・訂正(データ・クレンジング)技法を用いて処理されることがある。いくつかのセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が実施される。例えば、収集された眼球性質データに関しては、誤り訂正は、瞳孔の光調節を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正、注視点誤り訂正、および、外れ値の検出と除去も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激(1つまたは複数)とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行されることがある。
本発明の一態様によると、データ処理はさらに、いくつかのセンサのそれぞれから収集されたデータから、該当する特徴を抜き出す(あるいは、決定する)ことも含む場合がある。例えば、収集された眼球性質データに関しては、特徴抽出は、該当する特徴に対して、瞳孔データ、瞬目データ、注視点データを処理することを含む。
瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ(例えば、拡張または収縮)を決定すること、加速度(速度から得られることもある)だけでなく変化速度も決定すること(例えば、刺激に応じて、拡張または収縮がどれくらい速く行われるか決定する)を含む場合がある。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離を含む瞳孔関係の他のデータも決定される。
本発明の一態様によると、瞬目データを処理することは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを決定することを含む場合がある。
注視点(または眼球運動)データの処理は、例えば、サッカード、エクスプレス・サッカード(例えば、速度が約100°/秒よりも速いサッカード)、および眼振(目の急速な不随意運動)、あるいは、他のデータを解析することを含む場合がある。該当する特徴は、眼球運動の速度(°/秒)と方向、凝視時間(例えば、目が一点に集中する時間)、空間中の凝視場所(例えば、x、y、z、または他の座標で定められる通り)、あるいは他の特徴を含む。
本発明の他の態様によると、データ処理はさらに、感情的反応解析エンジン(またはモジュール)からの1つまたは複数のルールを、収集および処理された眼球性質データ(または他のデータ)に施すことで、この処理されたデータからの感情手がかりを解読して、1つまたは複数の感情構成要素を決定することも含む場合がある。感情構成要素は、例えば、感情価、感情喚起、感情区分(または名称)、および/または感情タイプを含む。他の構成要素も決定されることがある。感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応(例えば、快または「好き」)であるか、負の感情的反応(例えば、不快または「嫌い」)であるか、中立の感情的反応であるかどうかを示す。感情喚起は、所定の目盛(スケール)を用いて、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。
一実施例では、感情的反応解析エンジン(またはモジュール)において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づく。例えば、利用者の感情価および感情喚起と、瞳孔サイズ、瞬目の性質、注視点などの眼球性質との間には、公知の関係がある。
この処理されたデータから決定されるさらなる感情構成要素は、感情区分(または名称)および/または感情タイプを含むことがある。感情区分(または名称)は、公知または所有者独自仕様(プロプライエタリ)の任意の感情モデルにおいて表される任意の数の感情をさすが、一方、感情タイプは、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。
本発明の一態様によると、利用者が、所与の刺激への感情的反応を経験しているかどうかについて判定を下すことがある。一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された(または、得られた)感情的に中立の(または他の)状態から、何か変化が発生しているかどうか確かめる。他の実施例では、感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定(前述の特徴解読データ処理に基づいて)は、感情的反応を示す。感情的反応がまったく経験されていない場合には、データ収集が継続する。しかしながら、感情的反応が検出されている場合には、その感情的反応を評価する。
感情的反応を評価しているときに、その感情的反応が、本能に基づく反応を含むか、理性に基づく反応を含むかどうかについて判定が下される。刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な感情(例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き)が観察される。これらの反応は、本能的なものと見なされる。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから、さらに長い期間(例えば、約1秒〜5秒)内に大脳皮質による理性的な処理からもたらされる。所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この本能的反応の重要性と、この本能的反応が人間の感情を表すことを考慮に入れることが好ましい。最初の期間(例えば、1秒)は、人間が所与の視覚刺激を好むか、嫌うかどうか本能的に自分で決めるに足る時間であることがたびたびある。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、その感情的な影響が実際に表される所である。
一実施形態により、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析エンジン(またはモジュール)からの1つまたは複数のルールが施されることがある。利用者の感情的反応が本能的反応であると判定される場合には、その感情的反応に対応するデータが、本能的な感情的影響モデルに施される。しかしながら、利用者の感情的反応が理性的反応から成っていると判定される場合には、その理性的反応に対応するデータが、理性的な感情的影響モデルに施される。
本発明の一態様によると、本能的な感情的反応と理性的な感情的反応が、様々なやり方で利用されることがある。このような利用の1つは、二次元表現、三次元表現、グラフ表現、または他の表現を用いて、本能的な感情的反応と理性的な感情的反応をマッピングする(対応付ける)ことを含む。いくつかの実施例では、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示される。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のグラフ描写とともに、提案されたコンテンツの全部または一部を見ることができる。
収集および処理されたデータは、様々なやり方で提示されることがある。例えば、本発明の一態様によると、視覚刺激(例えば、絵)を利用者に与えている間、その視覚刺激上において、利用者の注視の大部分の対象であった範囲を強調表示する(あるいは、他の方法で図示する)ために、ゲイズ・プロットが作成される。上に挙げたように、注視点(または眼球運動)データの処理は、とりわけ、凝視時間(例えば、目が一点に集中する時間)と、空間中の凝視場所(x、y、z、または他の座標で定められる通り)を決定することを含む。このような情報から、凝視点のクラスタが特定される。一実施例では、利用者に与えられた視覚画像または刺激にマスクが重ねられる。個々の視覚刺激に対応する、収集され、処理された注視点データに基づいて、凝視点のクラスタが決定されると、このマスクのうち、その決定された凝視点のクラスタに対応する部分を透明にして、この視覚刺激のうち、利用者がもっとも集中した部分だけを明らかにする。他のデータ提示(データ・プレゼンテーション)手法も導入されることもある。
一実施例では、結果は、結果として得られる感情マトリックスに対して形容詞を識別するのに役立つ形容詞データベースにマッピングされる。これは、結果を言葉で表現するか、あるいは、書くときに、1つまたは複数の標準化された(または特定業界向け)語彙で結果を表すのに役立つ。
本発明の他の態様によると、数人の利用者または被験者の感情的反応に基づく結果について、統計的解析が行われることがある。スキャン・パス解析、バックグラウンド変数解析、感情評価解析はそれぞれ、実施され得る様々なタイプの統計的解析の例である。他のタイプの統計的解析も実施されることがある。
本発明の一態様によると、ヒューマン・マシン対話形セッション中に、利用者入力データおよび/または他のデータに関して利用者の感情を考慮に入れることで、そのインタラクション(対話)が高められるか、あるいは、コンテンツが変更されることがある。本発明の上記手法を、様々な人工知能または知識ベースのシステムの用途に利用して、所望の人間の感情を高めるか、または抑制する。例えば、感情は、いくつかの刺激を選択して、与えることにより、起こされる。他の多数の用途が存在する。
用途に応じて、感情検出データ(または結果)は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置に保存するか、ネットワーク(例えば、インターネット)上でデータを送るか、あるいは、他の方法で、データを提示または利用することで、公表されることがある。このデータはまた、任意の数の用途にも使用されるか、あるいは、他のやり方でも使用され、制約はない。
本発明の一態様によると、所与の刺激が利用者に与えられている間(あるいは、所与の刺激が利用者に与えられた後で)、その刺激に関して、さらに、口頭、文章、または他のコマンド・ベースの問合せに返答するように利用者に促すことがある。一例では、特定の刺激(例えば、絵)が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの(例えば、快)か、負のもの(例えば、不快)か、あるいは中立のものと認めたかどうか、および/または、その程度を示すよう、その利用者に指示する。別法として、このシステムは、利用者が特定の刺激(1つまたは複数)について意見を決めているときに、返答するように、その利用者に促すことがある。その意見を決めるのにかかった時間が格納されて、様々なやり方で利用される。利用者は、様々なアクションまたは身振りのどれか1つを通じて、例えば、表示装置上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイクに向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録(記録)する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および/または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。この点に関しては、感情データとともに、コマンド・ベースの問合せへの返答に関するデータを含めることで、刺激の感情的影響の測定を向上させる。
本発明の一利点は、本発明が、本能的な「あらかじめ組み込まれた」感情認知的処理と、「さらにレベルの高い」理性的な感情認知的処理とを区別し、したがって、感情的影響試験において、「社会学習行動ノイズ」を排除することに役立つ点である。
本発明の他の利点は、本発明が、所与の刺激について、「真新しい」、「見てすぐの」、理解し易く、かつ解釈し易いデータを提供することである。
本発明の上記および他の目的、特徴、利点は、好ましい実施形態の詳細な説明、およびその説明に付けられた図面を通じて、明らかになろう。また、上記の一般的な説明と、以下の詳細な説明は両方とも、模範的なものであって、本発明の範囲を限定しないものと理解されたい。
図1は、本発明の一実施形態による、利用者の眼球性質を組み合わせたものを解析することで、人間の感情を決定する方法の一般的な概要を与えている図である。この方法は、利用者に与えられた様々な感情的影響を測定することに関連して述べられているとはいえ、本明細書に述べられる様々な作業は、刺激が与えられずに行われる場合があると理解されるべきである。一部の用途では、これらの作業をすべて行う必要があるとは限らない。他の用途では、図1に示される作業の一部または全部とともに、追加作業が行われることがある。一部の実施例では、1つまたは複数の作業が、同時に行われる。したがって、本記述は、模範的なものと見なされるべきであり、限定的なものであってはならない。
図1に示される作業を可能にする様々な構成要素の例は、図の種々のものを1つ1つ参照して、以下でさらに詳しく説明する。これらの構成要素はすべて必要であるとは限らない。ときには、これらの開示された構成要素の一部または全部と一緒に、追加構成要素が使用されることがある。同等な様々のものも使用できる。
本発明の一態様によると、データを収集する前に、工程4において、セットアップおよび/または較正プロセスが行われることがある。一実施例では、データ収集セッションの間に利用者に刺激が与えられることになっている場合には、管理者または他の個人は、新たな刺激パッケージを作り出すか、あるいは、既存の刺激パッケージを検索および/または修正する。刺激パッケージは、例えば、利用者の五感(視覚、聴覚、嗅覚、味覚、触覚)のどれか1つまたは複数の感覚に関して、刺激を任意に組み合わせたものを含む。この刺激は、任意の現実の刺激、あるいは、公知の技術を介して利用者に与えられる任意のアナログ刺激または電子刺激を含む。刺激はさらに、例えば、自動車を運転するか、または自動車に乗ったり、映画を見たりすることなど、生のシナリオも含む。また、様々な刺激を組み合わせて、シミュレータまたは他の制御された環境において、様々な生のシナリオをシミュレーションする。
工程4はさらに、新規利用者用のユーザー・プロファイルを作成し、かつ/または、既存の利用者用のプロファイルを修正することも含むことがある。ユーザー・プロファイルは、名前、年齢、性別、または他の一般情報を含め(ただし、それらには限定されない)、一般の利用者情報を含む。目に関係する情報も、ユーザー・プロファイルに含まれ、その情報は、レーザ矯正眼科手術などのような任意の先行処置だけでなく、コンタクトレンズまたはメガネの任意の使用に関する情報も含む。例えば、緑内障または他の状態の任意の診断(あるいは、その治療)などの目に関係する他の情報も提供される。一般の健康情報も、ユーザー・プロファイルに含まれ、その健康情報は、ノイズをもたらすなどして、データ収集中に、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置(例えば、ペースメーカ)に関する情報を含む。さらに、利用者はまた、例えば、視覚媒体、広告などを含む任意の数の品目について一般的な知覚または感情(例えば、好き、嫌い)を与えるか、あるいは登録(記録)するように、促される。ユーザー・プロファイルには、他の情報も含められることがある。
本発明の一態様によると、工程4において、例えば、環境(および/または状況)に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者に基準となる感情レベルを決定することを含む様々な較正プロトコルが導入されることがある。
特定の環境(および/または状況)に合わせて様々なセンサを調整または較正することは、この環境において、周囲の状態またはパラメータ(例えば、輝度、バックグラウンドノイズ、温度など)を測定することと、必要であれば、周囲の状態か、様々なセンサ(例えば、カメラ、マイク、においセンサ、触覚センサ、生体物理(バイオフィジカル)センサなど)か、または両方を調整して、有意味のデータを確実に得られるようにすることを含む場合がある。
較正中に、この環境内の利用者に合わせて、1つまたは複数のセンサも調整(または較正)することがある。例えば、アイトラッキング・データを得るために、アイトラッキング装置が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、このアイトラッキング装置に対して相対的に、利用者を位置づける(すわるか、立つか、あるいは、他の方法で)。いくつかの例では、このアイトラッキング装置は、利用者の身体には付けないことがある。一部の実施例では、このアイトラッキング装置は、利用者には目に見えるように位置づけられる。他の実施例では、利用者が、このアイトラッキング装置のあることに気づかずに、利用者の眼球性質を追跡できるようにするやり方で、このアイトラッキング装置を人目につかないように位置づける。この点に関しては、このアイトラッキング装置のあることに気づかずに、利用者の感情状態が変更されるかもしれないどんな可能性も、意識的であれ、無意識的であれ、最小限に抑えられる(排除されない場合)。他の実施例では、このアイトラッキング装置は、表示装置に付けられるか、あるいは、表示装置に組み込まれる。
しかしながら、さらに他の実施例では、このアイトラッキング装置は、利用者により着用されるか、あるいは、様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物に付けられる。
本発明の一態様によると、利用者の単眼または両眼の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを確かにするために、このアイトラッキング装置を較正することがある。所在周囲光のレベルも、適宜に測定および調整して、利用者の瞳孔の任意の収縮または拡張が、「中立」範囲または正規範囲であると見なされる範囲に確実に入るようにする。一実施例では、較正中、利用者の前方に位置づけられた表示装置上に表示されたビジュアル・インジケータの動きを、自分の目で追跡するように利用者に指示して、位置座標(例えば、x、y、z、または他の座標)によって定められる通り、この表示装置上のどこを利用者が見ているのか決定する。この点に関して、利用者用の枠組みが設定される。一実施例では、このビジュアル・インジケータは、様々な形状、サイズ、または色を呈する。このビジュアル・インジケータの様々な属性は、較正を行っている間、変わらないか、あるいは、変化する。他の較正方法も使用される。
さらに、工程4において、利用者に対して、他のセンサをいくつでも較正してもよい。例えば、最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用のマイク(または、他のオーディオ・センサ)が較正されることがある。必要に応じて、発話認識および/または音声認識用のハードウェアおよびソフトウェアも較正されることがある。呼吸数ベルトセンサ、EEG電極とEMG電極、指および/または手のひらから皮膚導電率を測定するのに用いられる電気皮膚反応(GSR)フィードバック計器も、触覚センサ、においセンサ、または他の任意のセンサ、あるいは、様々な精神生理状態を監視する公知の技術とともに、較正される。アイトラッキング・データとともに、公知の、あるいは後に開発される他の生理的技法および/または感情検出技法(およびセンサ)を使用して、本明細書に開示される感情検出技法を向上させる。
一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入される。
本発明の一態様によると、工程4において、較正はさらに、利用者に基準となるデータを生成するために、公知のセンサを任意に組み合わせたものを使用して、利用者の現在の感情状態(または、意識レベル)を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。
一実施例では、工程4において、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態(例えば、感情的に中立である状態、または他の所望の状態)にできるだけ近い状態にあることを確実にするために、利用者の感情レベルも調整する場合がある。例えば、公知の感情モデルに基づいて、正の反応(例えば、快)、中立の反応、または負の反応(例えば、不快)を引き出すのに知られている画像または他の刺激を利用者に与えながら、様々な生理的データを測定する。一例では、眼球性質を測定する場合に、瞬目率パターン、瞳孔反応、衝動性眼球運動、および/または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が与えられる。人体の五感のどれかに関係するただ1つの刺激または刺激の組合せが利用者に与えられる。例えば、一実施例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置く。この安らかになる声には、心地よい視覚刺激または他の刺激がともなう(あるいは、ともなわない)。
本発明のいくつかの実施形態によると、較正は、利用者に対して、一回、行われる。それぞれの利用者に対する較正データは、その利用者用に作成されたユーザー・プロファイルとともに(あるいは、そのユーザー・プロファイルとは別に)格納される。
本発明の一態様によると、所望の任意のセットアップおよび/または較正が完了すると、利用者に対してデータが収集されることがある。このデータ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。例えば、工程8において、データ収集中に利用者に刺激が与えられるかどうかについて判定が下される。利用者への与えられた刺激の感情的影響に関するデータが要望されると判定が下される場合には、工程12において、利用者に刺激が与えられ、また、工程16において、データが収集される(以下に述べられる)。これと対照的に、工程8において、利用者に刺激が与えられないと判定が下される場合には、工程16において、データ収集が行われる。
工程16において、利用者に対してデータが収集される。収集データは、眼球性質データまたは他の生理的データ、環境データ、および/または、他のデータを含む。利用者に刺激が与えられる場合には(工程12)、収集データは、その与えられた刺激と同期化される。
本発明の一態様によると、眼球性質データは、約50Hzにて、あるいは別の適切なサンプリングレートにてサンプリングされることがある。収集された眼球性質データは、利用者の瞳孔サイズ、瞬目の性質、視線位置(または注視点)の性質、あるいは、他の眼球性質に関するデータを含む。収集された瞳孔データは、瞳孔サイズ、変化速度(収縮または拡張)、加速度(速度から得られることがある)、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。顔の筋肉の動き(すなわち、一般に顔の表情)に関するデータも収集される。
本発明の一態様によると、工程16において収集されたデータは、工程20において、1つまたは複数の誤り検出・訂正(データ・クレンジング)技法を用いて処理されることがある。データ収集中に使用されたセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が導入される。例えば、収集された眼球性質データに関しては、誤り訂正は、瞳孔の光調節を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正、注視点誤り訂正、および、外れ値の検出と除去も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激(1つまたは複数)とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行されることがある。
工程24において、データ処理はさらに、いくつかのセンサによって収集されたデータから、該当する特徴を抜き出す(あるいは、決定する)ことも含む場合がある。収集された眼球性質データに関しては、特徴抽出は、該当する特徴に対して、瞳孔データ、瞬目データ、注視点データを処理することを含む。
工程24において、瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ(例えば、拡張または収縮)を決定することを含む場合がある。瞳孔データを処理することはさらに、速度から得られる加速度だけでなく、変化速度、すなわち、刺激に応じて拡張または収縮がどれくらい速く行われるかも決定することも含む。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離を含む瞳孔関係の他のデータも決定される。
工程24において、瞬目データを処理することは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを決定することを含む場合がある。瞬目回数の測定は、突然の瞬目活動間のタイムフレームを決定することを含む。
瞬目持続時間(例えば、ミリ秒で表す)はまた、注意の瞬目を生理的な瞬目と区別するように処理されることがある。5つの瞬目パターンが、それらの持続時間に基づいて区別される。中立の瞬目は、較正中に測定される瞬目に相当するものと分類される。長い瞬目間隔は、注意の高まりを示すが、一方、短い瞬目は、利用者が情報を探している可能性があることを示す。非常に短い瞬目間隔は混乱状態を示すが、一方、半分の瞬目は、警戒感が高められた徴候として役立つ。瞬目の速度は、眼球の見える大きさがどれくらい速く変化しているのかをさすが、一方、瞬目の大きさは、まばたきしながら、眼球がどれほど見えるのかをさしている。
工程24において、注視点(または眼球運動)データの処理は、例えば、サッカード、エクスプレス・サッカード(例えば、速度が約100°/秒よりも速いサッカード)、および眼振(目の急速な不随意運動)、あるいは、他のデータを解析することを含む場合がある。該当する特徴は、眼球運動の速度(°/秒)と方向、凝視時間(例えば、目が一点に集中する時間)、空間中の凝視場所(例えば、x、y、z、または他の座標で定められる通り)、あるいは、凝視エリアへの戻り、関連性、奥行き評価用の両眼連動、スキャン活動を含む他の特徴を含む。
本発明の一態様によると、工程28において、データ処理は、感情的反応解析エンジン(またはモジュール)からの1つまたは複数のルールを、(工程16、工程20、工程24において)収集および処理された眼球性質データに施すことで、この処理されたデータからの感情手がかりを解読して、1つまたは複数の感情構成要素を決定することを含む場合がある。感情構成要素は、例えば、感情価、感情喚起、感情区分(または名称)、および/または感情タイプを含む。他の構成要素も決定されることがある。
感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応(例えば、快または「好き」)であるか、負の感情的反応(例えば、不快または「嫌い」)であるか、中立の感情的反応であるかどうかを示すために、使用されることがある。
感情喚起は、所定の目盛(スケール)を用いて、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む場合がある。例えば、一実施例では、この値は、負から正までの目盛で定量化される。その場合、ゼロは中立の反応を示す。他の測定目盛も導入されることがある。
一実施例により、感情的反応解析エンジン(またはモジュール)において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づく。例えば、瞳孔サイズと感情喚起との間には関係がある。さらに、利用者の感情価と瞳孔拡張との間にも関係がある。例えば、不快、すなわち負の反応により、瞳孔は、快または中立の反応よりも大きく拡張する。
瞬目の性質はまた、利用者の感情価と感情喚起を定めるのにも役立つ。感情価に関して、不快な反応は、速くて、半ば閉じた瞬目で表現される。これと対照的に、快、すなわち正の反応は、長くて、閉じた瞬目をもたらす。負、すなわち望ましくない刺激は、頻繁な驚き瞬目をもたらすが、一方、快、すなわち正の刺激は、著しい驚き瞬目をもたらすことはない。感情喚起は、例えば、瞬目の速度を考慮に入れることで、評価される。さらに強い感情的反応があるときには、さらに速い瞬目が行われる。
視線位置と眼球運動はまた、感情手がかりを推定するのに用いられる。利用者が、特定の刺激、または刺激の一部に視線を集中する時間を測定することで、利用者の反応が正(例えば、快)であるか、負(例えば、不快)であるかどうかについて、判定を下すことができる。例えば、ある特定の刺激をじっと見つめる利用者は、この刺激への正(すなわち、快)の反応を示すが、一方、利用者が、すばやく刺激から目をそらす場合には、負(すなわち、不快)の反応が暗示される。
この処理されたデータから決定されるさらなる感情構成要素は、感情区分(または名称)および/または感情タイプを含むことがある。
感情区分(または名称)は、公知または所有者独自仕様(プロプライエタリ)の任意の感情モデルにおいて表される任意の数の感情(例えば、喜び、悲しみ、期待、驚き、信頼、嫌悪、怒り、恐怖など)をさす。感情タイプは、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。
本発明の一態様によると、工程32において、利用者が所与の刺激への感情的反応を経験しているかどうかについて、判定が下されることがある。一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された(または、得られた)感情的に中立の(または他の)状態から、何か変化が発生しているかどうか確かめる。他の実施例では、(前述の特徴解読データ処理に基づいて)感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定が、感情的反応を示す。
工程32において、感情的反応がまったく経験されていないと判定が下される場合には、工程36において、データ収集を継続すべきかどうかについて判定が下される。さらなるデータ収集が要望される場合には、処理は、工程8(上述)に進む。さらなるデータ収集がまったく要望されない場合には、処理は、工程68において終了する。
しかしながら、工程32において、感情的反応が検出されていると判定が下される場合には、その感情的反応が評価される。例えば、工程40において、その感情的反応が、本能に基づく反応を含むか、理性に基づく反応を含むかどうかについて判定が下される。刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な「本能的」感情(例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き)が観察される。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから、約1秒〜5秒のタイムフレーム内に大脳皮質の理性的な処理からもたらされる。よって、所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この「見てすぐ」の重要性と、この「見てすぐ」が人間の感情を表すことを考慮に入れることが好ましい。
この点に関しては、収集データは、与えられた刺激と同期化されて、収集データのどの部分が、どの与えられた刺激に対応するのか判定できるようにする。例えば、第1の刺激(例えば、第1の視覚画像)が、所定期間の間、利用者に表示される場合には、収集データのその対応する持続時間は、収集データのその持続時間が、第1の画像への利用者の反応から得られる眼球性質に対応することを示すメタデータ(あるいは、何か他のデータ・レコード)を含む。いくつかの実施例では、その所定持続時間の最初の1秒くらいが、徹底的に解析される。最初の期間(例えば、1秒)は、人間が所与の刺激を好むか、嫌うかどうか本能的に自分で決めるに足る時間であることがたびたびある。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、その感情的な影響が実際に表される所である。
本発明の一態様によると、工程40において、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析エンジン(またはモジュール)からの1つまたは複数のルールが施されることがある。例えば、突然の瞳孔拡張、さらに小さい瞬目サイズ、および/または、他の性質は、本能的な反応を示すが、一方、拡張のピークと、さらに大きい瞬目サイズは、理性的な反応を示す。他の定義済みルールも適用されることがある。
工程40において、利用者の感情的反応が本能的反応であると判定される場合には、工程44において、その感情的反応に対応するデータが、本能的な感情的影響モデルに施されることがある。
これと対照的に、工程40において、利用者の感情的反応が理性的反応から成っていると判定される場合には、工程52において、その理性的反応に対応するデータが、理性的な感情的影響モデルに施されることがある。
本明細書に述べられるシステムおよび方法で利用できる公知の感情モデルのいくつかの例には、エクマン(Ekman)モデル、プルチック(Plutchik)モデル、イザード(Izard)モデルがある。エクマンモデルの感情は、怒り、嫌悪、恐怖、喜び、悲しみ、驚きなどの顔の表情に関係がある。プルチックモデルは、エクマンモデルの基本的感情を、容認、怒り、期待、嫌悪、喜び、恐怖、悲しみ、驚きまで広げている。イザードモデルは、怒り、軽蔑、嫌悪、恐怖、罪悪感、関心、喜び、恥ずかしさ、驚きを区別している。
本発明の一実施例では、工程48と工程56において、本能的な感情的反応と理性的な感情的反応がそれぞれ、様々なやり方(例えば、二次元表現または三次元表現、グラフ表現、あるいは、他の表現)でマッピングされる。いくつかの実施例では、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示される。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のグラフ描写とともに、提案されたコンテンツの全部または一部を見ることができる。
工程60において、用途に応じて、感情検出データ(または結果)は、公表されるか、あるいは他の方法で出力される。公表は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置に保存するか、ネットワーク(例えば、インターネット)上でデータを送るか、あるいは、他の方法で、データを提示または利用することを含む場合がある。このデータは、任意の数の用途にも使用されるか、あるいは、他のやり方でも使用され、制約はない。
本発明の一実施形態は、図1に示される方法の一般的な概要には示されていないが、この実施形態はさらに、所与の刺激が利用者に与えられている間(あるいは、所与の刺激が利用者に与えられた後で)、その刺激に関して、コマンド・ベースの問合せに返答するように利用者に促すことも含む場合がある。このようなコマンド・ベースの問合せは、口頭、文章、または他の方法で行われる。一実施例では、例えば、特定の刺激(例えば、絵)が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの(例えば、快)か、負のもの(例えば、不快)か、あるいは中立のものと認めたかどうか、および/または、その程度を選択するよう、その利用者に指示する。
別法として、いくつかの実施例では、利用者が特定の刺激(1つまたは複数)について意見を決めているときに、返答するように、その利用者に促す。その意見を決めるのにかかった時間が格納されるか、あるいは、様々なやり方で利用される。利用者は、様々なアクションまたは身振りのどれか1つを通じて、例えば、表示装置上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイクに向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録(記録)する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および/または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。この点に関しては、感情データとともに、コマンド・ベースの問合せへの返答に関するデータを含めることで、刺激の感情的影響の測定を向上させる。様々なさらなる実施形態が、以下でさらに詳細に述べられる。
利用者の眼球性質の組合せを解析することで、人間の感情を決定する方法の概要を与えた後で、図1に示される作業を可能にする様々な構成要素を、次に説明する。
図2に示される本発明の一実施形態によると、利用者の眼球性質の組合せを解析することで、人間の感情を決定するシステム100が提供される。一実施形態では、システム100は、利用者の眼球性質を解析することで、利用者に与えられた刺激の感情的影響を測定するように構成される。システム100は、コンピュータ110、アイトラッキング装置120、表示装置130を含み、しかも、それらの装置が、動作可能に互いにやり取りしている。
コンピュータ110は、パーソナルコンピュータ、携帯型コンピュータ(例えば、ラップトップ・コンピュータ)、プロセッサ、または他の装置を含む。図3に示されるように、コンピュータ110は、バス115を介して電気的に結合されたプロセッサ112、インターフェース114、メモリ116、記憶装置118を含む。メモリ116は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、または、他のメモリを含む。メモリ116は、プロセッサ112で処理されるデータだけでなく、プロセッサ112で実行されるコンピュータ実行命令も格納する。記憶装置118は、コンピュータ実行命令および/またはデータを格納するフロッピー(登録商標)ディスク、ハードディスク、光ディスク、テープ、または他の公知の記憶装置を含む。
図4を参照すると、インターフェース114は、利用者に刺激を与えるのに用いられる表示装置130のインターフェースを含む。インターフェース114はさらに、アイトラッキング装置120、キーボード140、マウス150、1つまたは複数のマイク160、1つまたは複数のにおいセンサ170、1つまたは複数の触覚センサ180、および他のセンサ190を含め、利用者から感覚入力情報を得るのに用いられる周辺装置のインターフェースも含む。他のセンサ190は、指および/または手のひらから皮膚導電率を測定するのに用いられる呼吸数ベルトセンサ、EEG電極、EMG電極、電気皮膚反応(GSR)フィードバック計器を含むが、それらには限定されない。公知の、あるいは後に開発される他の生理的センサおよび/または感情検出センサが使用される。インターフェース114はさらに、プリンタ、表示モニタ(表示装置130とは別に)、外部ディスクドライブまたはデータベースなどの他の装置のインターフェースも含む。
本発明の一態様によると、アイトラッキング装置120は、利用者の様々な眼球性質を記録する(または追跡する)カメラまたは他の公知のアイトラッキング装置から成っていることがある。以下でさらに詳しく説明される通り、アイトラッキング装置120で追跡される眼球性質の例は、瞳孔サイズ、瞬目の性質、視線位置(または注視点)の性質、あるいは他の性質を含む。アイトラッキング装置120は、利用者に及ぼす影響をできるだけ少なくするように選択された邪魔にならない着用不能な装置から成っている。一部の実施例では、アイトラッキング装置120は、利用者に見えるように位置づけられる。他の実施例では、利用者が、アイトラッキング装置120のあることに気づかずに、利用者の眼球性質を追跡できるようにするやり方で、このアイトラッキング装置120を人目につかないように位置づける。
本発明の一態様によると、アイトラッキング装置120は、利用者の身体には付けないことがある。この点に関しては、アイトラッキング装置120のあることに気づかずに、利用者が、(刺激への)自分の反応を変更するどんな可能性も、意識的であれ、無意識的であれ、最小限に抑えられる(排除されない場合)。
アイトラッキング装置120はまた、表示装置130に付けるか、あるいは、表示装置130に組み込まれる(例えば、携帯電話の中のカメラと同様に)ことがある。一実施例では、アイトラッキング装置120および/または表示装置130は、Tobii Technology ABから市販されている「Tobii 1750 eye-tracker」から成っている。他の市販のアイトラッキング装置および/またはアイトラッキング技術は、本明細書に述べられる様々な構成要素の代わりに使用されるか、あるいは、それらの構成要素と一体化される。
別の実施例によると、アイトラッキング装置120は、利用者により着用されるか、あるいは、様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物に付けられる。
本発明の一態様によると、表示装置130は、グラフィカル・ユーザー・インターフェース(GUI)を介して、利用者に視覚(または他の)刺激を与えるための、モニタまたは他の表示装置を含むことがある。以下でさらに詳しく説明される通り、視覚刺激は、例えば、絵、アートワーク、図表、グラフ、映画、マルチメディア的提示、対話形のコンテンツ(例えば、ビデオゲーム)またはシミュレーション、あるいは、他の視覚刺激を含むことがある。
一実施例では、コンピュータ110に結合された表示モニタに加えて、表示装置130が備えられる。代替実施例では、表示装置130は、コンピュータ110に結合された表示モニタを含む。
図4に示されるように、コンピュータ110は、様々なセンサから利用者に関して収集されたデータを解析することで、人間の感情を決定する1つまたは複数のモジュールを含むアプリケーション200を実行する。アプリケーション200はさらに、利用者に刺激を与えるように、また与えられた刺激の感情的影響を測定するように構成される。アプリケーション200は、ユーザー・プロファイル・モジュール204、較正モジュール208、コントローラ212、刺激モジュール216、データ収集モジュール220、感情的反応解析モジュール224、コマンド・ベースの反応解析モジュール228、マッピング・モジュール232、データ処理モジュール236、言語モジュール240、統計モジュール244、および他のモジュールを含み、しかも、それらのモジュールがそれぞれ、様々な特徴および機能(本明細書に述べられる)を実装する。アプリケーション200を構成するモジュールの1つまたは複数は、組み合わされる。いくつかの目的では、すべてのモジュールが必要であるとは限らない。
アプリケーション200の様々な特徴および機能は、表示装置130、またはコンピュータ110に結合された表示モニタの一方、または両方に表示されたGUIを介して、利用者、管理者、または他の個人によりアクセスされ、ナビゲートされる。アプリケーション200の上記の特徴および機能はまた、別のコンピュータまたはプロセッサにより制御される。
様々な実施形態では、本明細書に述べられる機能は、ソフトウェアに加えて、またはソフトウェアの代わりに、ハードウェアおよび/またはファームウェアの様々な組合せで実行されることがあると理解されよう。
一実施形態によると、コンピュータ110は、アプリケーション200をホストする。代わりの実施形態(図示されてない)では、アプリケーション200は、サーバによりホストされる。コンピュータ110は、任意の数の公知通信リンクを介して、ネットワーク(例えば、インターネット、イントラネットなど)上で、このサーバのアプリケーション200にアクセスする。この実施形態では、本発明は、このサーバとコンピュータ110の両方において、実行命令として格納されたソフトウェアで実行される。導入される特定タイプのクライアント/サーバ・アーキテクチャに応じて、他の実施例および構成があるかもしれない。
他の様々なシステム構成が使用されることがある。したがって、本記述は、模範的なものと見なされるべきであり、限定的なものであってはならない。
一実施例では、管理者または作業者は、初期セットアップ/較正プロセスとデータ収集セッションの一方または両方の期間中に、アプリケーション200の様々な特徴および機能を制御するために、(利用者に加えて)居合わせている。
代わりの実施例では、利用者は、初期セットアップ/較正プロセスとデータ収集セッションの一方または両方を自己管理するために、援助も指導もなく、直接アプリケーション200を制御する。この点に関して、別の個人がいないことは、神経質または自己認識の原因を別の個人がいるものと考えることなく、利用者が自分の感情状態を確実に変更しないようにするのに役立つ。この実施例では、コンピュータ110を、利用者の正面に(あるいは、利用者に充分近い所に)位置づけて、利用者がアプリケーション200にアクセスし、アプリケーション200を制御できるようになっている。また、表示装置130は、コンピュータ110に結合された表示モニタを含むことがある。したがって、利用者は、表示装置130上に表示されるアプリケーション200に関連するGUIを介して、アプリケーション200の様々なモジュールをナビゲートする。他の構成も実施されることがある。
本発明の一態様によると、データ収集セッション中に刺激が利用者に与えられることになっている場合には、利用者、管理者、または他の個人は、新たな刺激パッケージを作成するか、あるいは、この初期セットアップの一部として、既存の刺激パッケージを検索および/または修正することがある。様々な刺激パッケージの作成と修正、および提示は、アプリケーション200に関連するGUIを使用して、アプリケーション200の刺激モジュール216により、可能となる。刺激パッケージは、結果・刺激データベース296に格納される。
本発明の一態様によると、刺激パッケージは、利用者の五感(視覚、聴覚、嗅覚、味覚、触覚)のどれか1つまたは複数の感覚に関して、刺激を任意に組み合わせたものを含むことがある。この刺激は、任意の現実の刺激、あるいは、公知の技術を介して利用者に与えられる任意のアナログ刺激または電子刺激を含む。例えば、視覚刺激の例は、絵、アートワーク、図表、グラフ、映画、マルチメディア的提示、対話形のコンテンツ(例えば、ビデオゲーム)、または、他の視覚刺激を含む。刺激はさらに、例えば、自動車を運転するか、または自動車に乗ったり、映画を見たりすることなど、生のシナリオも含む。さらに、様々な刺激を組み合わせて、シミュレータまたは他の制御された環境において、様々な生のシナリオをシミュレーションすることもある。
刺激モジュール216により、様々なタイプのコンテンツへの感情的反応を理解したい望みに応じて、様々な刺激パッケージを選択して、利用者に与えることができる場合がある。例えば、広告主は、利用者が、どのタイプの広告コンテンツに正の反応(例えば、好き)、負の反応(例えば、嫌い)、あるいは、中立の反応を起こすことがあるか、より良く理解するために、様々な広告刺激を利用者に与える。同様に、刺激モジュールにより、セキュリティ・アプリケーション、安全アプリケーション、人間工学(エルゴノミクス)、エラー防止の開発だけでなく、製品の設計、コンピュータゲームの設計、フィルム解析、メディア解析、ヒューマン・コンピュータ・インターフェースの開発、eラーニング・アプリケーションの開発、ホームエンターテインメント・アプリケーションの開発にも関わっている人のために、あるいは、診断に関する医学用途および/または最適化研究のために、刺激パッケージをカスタマイズすることができる。刺激パッケージは、様々な他の分野または他の目的でもカスタマイズされることがある。
本発明の一態様によると、初期セットアップ中に、(アプリケーション200の)ユーザー・プロファイル・モジュール204は、新規利用者用のユーザー・プロファイルを作成するために、利用者に関する情報の入力(アプリケーション200に関連するGUIによる)を促すことがある。ユーザー・プロファイル・モジュール204はまた、既存の利用者用のプロファイルを必要に応じて修正できるようにする。名前、年齢、性別、および他の一般情報に加えて、利用者は、例えば、レーザ矯正眼科手術などのような任意の先行処置だけでなく、コンタクトレンズまたはメガネの任意の使用に関する情報も入力するように、促される。緑内障または他の状態の任意の診断(あるいは、その治療)を含む目に関係する他の情報も含まれる。ユーザー・プロファイルはまた、ノイズをもたらすなどして、データ収集中に、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置(例えば、ペースメーカ)に関する情報を含め、一般の健康情報も含む。利用者はさらに、例えば、視覚媒体、広告などを含む任意の数の品目について一般的な知覚または感情(例えば、好き、嫌い)を与えるか、あるいは登録(記録)するように、促される。ユーザー・プロファイルには、他の情報も含められる。上記の情報はどれも、利用者か、管理者(もしいれば)のいずれかにより入力される。一実施形態では、ユーザー・プロファイルは、被験者・較正データベース294に格納される。
本発明の一態様によると、例えば、環境(および/または状況)に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者にとって基準となる感情レベルを決定することを含む様々な較正プロトコルが導入されることがある。
特定の環境(および/または状況)に合わせて様々なセンサを調整または較正することは、この環境において、周囲の状態またはパラメータ(例えば、輝度、バックグラウンドノイズ、温度など)を測定することと、必要であれば、周囲の状態か、様々なセンサ(例えば、アイトラッキング装置120、マイク160、においセンサ170、触覚センサ180、および/または他のセンサ190)か、その一方または両方を調整して、有意味のデータを確実に得られるようにすることを含む場合がある。
本発明の一態様によると、較正中に、この環境内の利用者に合わせて、1つまたは複数のセンサを調整または較正することがある。例えば、アイトラッキング・データを収集するために、アイトラッキング装置120が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、利用者を位置づける(すわるか、立つか、あるいは、他の方法で)。一実施例では、単眼または両眼の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを保証するために、コントローラ212を利用して、アイトラッキング装置120を較正することがある。所在周囲光のレベルも、適宜に測定および調整して、利用者の瞳孔を、「中立」範囲または正規範囲であると見なされる範囲外に拡張させることも、収縮させることも確実にないようにする。コントローラ212は、ハードウェア装置を制御および較正できるようにするソフトウェア・モジュール(例えば、ハードウェア・ドライバを含む)であることもある。
較正モジュール208は、表示装置130上に表示されたビジュアル・インジケータの動きを、自分の目で追跡するように利用者に求めて、位置座標(例えば、x、y、z、または他の座標)によって定められる通り、表示装置130上のどこを利用者が見ているのか決定するような較正プロセスを可能にする。この点に関して、利用者用の基準の枠組みが設定される。このビジュアル・インジケータは、様々な形状、サイズ、または色を呈する。このビジュアル・インジケータの様々な属性は、較正を行っている間、変わらないか、あるいは、変化する。他の較正方法も使用されることがある。
較正モジュール208および/またはコントローラ212は、利用者に対して、他のセンサをいくつでも較正できるようになっている。例えば、最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用の1つまたは複数のマイク160(あるいは、他のオーディオ・センサ)が較正される。必要に応じて、発話認識および/または音声認識用のハードウェアおよびソフトウェアも較正される。においセンサ170、触覚センサ180、および、呼吸数ベルトセンサ、EEG電極とEMG電極、GSRフィードバック計器を含む他のセンサ190も、さらなるセンサとして較正される。
一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入される。
較正はさらに、利用者に基準となるデータを生成するために、公知のセンサを任意に組み合わせたものを使用して、利用者の現在の感情状態(または、意識レベル)を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。
一実施例では、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態(例えば、感情的に中立である状態、または他の所望の状態)にできるだけ近い状態にあることを確実にするために、利用者の感情レベルも調整する。例えば、公知の感情モデルに基づいて、正の反応(例えば、快)、中立の反応、または負の反応(例えば、不快)を引き出すのに知られている画像または他の刺激を利用者に与えることで、様々な生理的データが測定される。
一例では、眼球性質を測定しようとする場合に、瞬目率パターン、瞳孔反応、衝動性眼球運動、および/または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が示される。人体の五感のどれかに関係するただ1つの刺激または刺激の組合せが利用者に与えられる。例えば、一実施例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置く。この安らかになる声には、心地よい視覚刺激または他の刺激がともなう(あるいは、ともなわない)。較正モジュール208か、視覚モジュール216のいずれか一方または両方を用いて、較正刺激を与えることができる。
本発明のいくつかの実施形態によると、較正は、利用者に対して、一回、行われる。それぞれの利用者に対する較正データは、それらのユーザー・プロファイルとともに(あるいは、それらのユーザー・プロファイルとは別に)、被験者・較正データベース294に格納される。
本発明の一態様によると、所望の任意のセットアップおよび/または較正が完了すると、利用者に対して、データが収集されて、処理されることがある。データ収集モジュール220は、アイトラッキング装置120または他の感覚入力装置で得られた生データを受け取る。収集データは、眼球性質データまたは他の生理的データ、環境データ(その試験環境について)、および/または他のデータを含む。この生データは、収集データベース292に、あるいは別の適切なデータ・リポジトリに格納される。データ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。
一実施例では、利用者に刺激が与えられる場合に、その刺激は、出力装置をいくつか使用して与えられる。例えば、視覚刺激は、表示装置130を介して利用者に与えられる。収集データが、この与えられた刺激と同期化されるように、刺激モジュール216とデータ収集モジュール220を同期させる。
図5は、一実施例によると、特に、アプリケーション200(図4)により可能となる様々な特徴および機能が眼球性質データの収集および処理に関わるときに、それらの特徴および機能を図式的に表したものである。図5に示される特徴および機能は、本明細書に説明されている。
本発明の一態様によると、データ収集モジュール220は、約50Hzにて眼球性質データをサンプリングするが、ただし、他の適切なサンプリングレートも使用されることがある。データ収集モジュール220はさらに、利用者の瞳孔サイズ、瞬目の性質、視線位置(または注視点)の性質、あるいは、他の眼球性質に関するデータを含む眼球性質データも収集する。収集された瞳孔データは、瞳孔サイズ、変化速度(収縮または拡張)、加速度(速度から得られることがある)、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。顔の筋肉の動き(すなわち、一般的に顔の表情)に関するデータも収集される。これらの眼球性質は、以下でさらに詳しく説明される通り、1つまたは複数の刺激への利用者の感情的反応を決定するために使用される。
本発明の一態様によると、収集データは、1つまたは複数の信号ノイズ除去技法または誤り検出・訂正(データ・クレンジング)技法を用いて処理される(例えば、データ処理モジュール236により)ことがある。データ収集中に使用されたセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が導入される。
例えば、図5に示されるように、例えば生データ502を含む収集された眼球性質データでは、誤り訂正は、瞳孔光調節504を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正506、注視点誤り訂正508、および、外れ値の検出と除去510も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激(1つまたは複数)とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行される。一実施例では、クレンジング処理済データはまた、収集データベース292に、あるいは他の任意の適切なデータ・リポジトリに格納される。
本発明の一態様によると、データ処理モジュール236は、収集データベース292からの収集データおよび/または「クレンジング処理済」データをさらに処理して、該当する特徴を、収集データから抜き出す(または、決定する)ことがある。収集された眼球性質データに関して、図5に示される通り、特徴抽出は、該当する特徴を決定するために、瞳孔データ、瞬目データ、注視点データを処理することを含む場合がある。一実施例では、特徴抽出を可能にするために、入力データに様々なフィルタを施す。
瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ(例えば、拡張または収縮)を決定することを含む。瞳孔サイズは、約1.5mmから9mmを超える値まで様々である。瞳孔データを処理することはさらに、速度から得られる加速度だけでなく、変化速度、すなわち、刺激に応じて拡張または収縮がどれくらい速く行われるか決定することも含む。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離(518)を含む瞳孔関係の他のデータも決定される(520、522)。
瞬目データを処理することは、例えば、瞬目ポテンション512、瞬目回数514、瞬目持続時間と瞬目の大きさ516、または他の瞬目データを決定することを含む。瞬目回数の測定は、突然の瞬目活動間のタイムフレームを決定することを含む。
瞬目持続時間(例えば、ミリ秒で表す)はまた、注意の瞬目を生理的な瞬目と区別するように処理される。5つの瞬目パターンが、それらの持続時間に基づいて区別される。中立の瞬目は、較正中に測定される瞬目に相当するものと分類される。長い瞬目間隔は、注意の高まりを示すが、一方、短い瞬目は、利用者が情報を探している可能性があることを示す。非常に短い瞬目間隔は混乱状態を示すが、一方、半分の瞬目は、警戒感が高められた徴候として役立つ。瞬目の速度は、眼球の見える大きさがどれくらい速く変化しているのかをさすが、一方、瞬目の大きさは、まばたきしながら、眼球がどれほど見えるのかをさしている。
注視点(または眼球運動)データの処理524は、例えば、サッカード、エクスプレス・サッカード(例えば、速度が約100°/秒よりも速いサッカード)、および眼振(目の急速な不随意運動)、あるいは、他のデータを解析することを含む。該当する特徴は、眼球運動の速度(°/秒)と方向、凝視時間(例えば、目が一点に集中する時間)、空間中の凝視場所(例えば、x、y、z、または他の座標で定められる通り)、あるいは、凝視エリアへの戻り、関連性、奥行き評価用の両眼連動、スキャン活動を含む他の特徴を含む。
抜き出された特徴データは、特徴抽出データベース290に、あるいは任意の他の適切なデータ・リポジトリに格納されることがある。
本発明の他の態様によると、データ処理モジュール236は、感情的反応解析モジュール224からの1つまたは複数のルールを、抜き出された特徴データ(特徴抽出データベース290に格納されている)に施すことで、このデータからの感情手がかりを解読して、感情価610、感情喚起620、感情区分(または名称)630、および/または感情タイプ640を含む1つまたは複数の感情構成要素を決定することがある。図5に示され、かつ以下でさらに詳しく説明されるように、特徴解読の結果は、結果データベース296に、あるいは任意の他の適切なデータ・リポジトリに格納されることがある。
図6のブロック図に示されるように、感情構成要素の例は、感情価610、感情喚起620、感情区分(または名称)630、および/または感情タイプ640を含む。他の構成要素も決定されることがある。図示されるように、感情価610は、所与の刺激への利用者の感情的反応が、正の感情的反応(例えば、快または「好き」)であるか、負の感情的反応(例えば、不快または「嫌い」)であるか、中立の感情的反応であるかどうかを示すために使用される。感情喚起620は、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。一実施例では、この値は、負から正までの目盛で定量化される場合がある。その場合、ゼロは中立の反応を示す。他の測定目盛も導入されることがある。
本発明の一態様によると、感情的反応解析モジュール224(図4)において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づくことがある。例えば、瞳孔サイズと感情喚起との間には関係がある。さらに、利用者の感情価と瞳孔拡張との間にも関係がある。例えば、不快、すなわち負の反応により、瞳孔は、快または中立の反応よりも大きく拡張する。
瞬目の性質はまた、利用者の感情価と感情喚起を定めるのにも役立つ。感情価に関して、不快な反応は、速くて、半ば閉じた瞬目で表現されることがある。これと対照的に、快、すなわち正の反応は、長くて、閉じた瞬目をもたらす。負、すなわち望ましくない刺激は、頻繁な驚き瞬目をもたらすが、一方、快、すなわち正の刺激は、著しい驚き瞬目をもたらすことはない。感情喚起は、例えば、瞬目の速度を考慮に入れることで、評価される。さらに強い感情的反応があるときには、さらに速い瞬目が行われる。
視線位置と眼球運動はまた、感情手がかりを推定するのに用いられることがある。利用者が、特定の刺激、または刺激の一部に視線を集中する時間を測定することで、利用者の反応が正(例えば、快)であるか、負(例えば、不快)であるかどうかについて、判定を下すことができる。例えば、ある特定の刺激をじっと見つめている利用者は、この刺激への正(すなわち、快)の反応を示すが、一方、利用者が、すばやく刺激から目をそらす場合には、負(すなわち、不快)の反応が暗示される。
上に挙げたように、感情区分(または名称)630と感情タイプ640はまた、データ処理モジュール236により処理されたデータから決定されることがある。感情区分(または名称)630は、公知または所有者独自仕様(プロプライエタリ)の任意の感情モデルにおいて表される任意の数の感情(例えば、喜び、悲しみ、期待、驚き、信頼、嫌悪、怒り、恐怖など)をさす。感情タイプ640は、以下でさらに詳しく説明される通り、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。感情価610、感情喚起620、感情区分(または名称)630、および/または感情タイプ640をそれぞれ処理して、感情的反応のマップ650(これも、以下でさらに詳しく説明される)を作成する。
上に挙げたように、感情的反応解析モジュール224からの1つまたは複数のルールは、その抜き出された特徴データに施されて、1つまたは複数の感情構成要素を決定することがある。様々な作業において、様々なルールが適用される。図7は、或る点に関して、本発明による模範的な特徴解読作業の一般的な概要を示している。図7による特徴解読は、感情的反応解析モジュール224により行われる。以下でさらに詳しく説明される通り、特徴解読は、予備感情喚起の決定(工程704)、重みに基づく感情喚起区分の決定(工程708)、中立感情価の決定(工程712)および抽出(工程716)、正(例えば、快)の感情価の決定と負(例えば、不快)の感情価の決定(工程720)、および、重みに基づく感情価区分の決定(工程724)を含む。これらの作業はそれぞれ、各作業において適用されるルールの説明とともに、以下でさらに詳しく説明される。一部の用途では、これらの作業をすべて行う必要があるとは限らない。他の用途では、図7に示される作業の一部または全部とともに、追加作業が行われることがある。いくつかの実施例では、1つまたは複数の作業を同時に行うことがある。
さらに、それぞれの作業において適用されるルールも模範的なものであり、限定的なものと見なされるべきではない。様々な実施例において、異なるルールが適用されることがある。したがって、この説明は、模範的なものと見なされるべきであり、限定的なものであってはならない。
作業と、それに伴うルールを提示する前に、特徴、区分、重み、しきい値、および他の変数のリストが以下に与えられる。
変数は、感情価レベル(Vlevel)と感情喚起レベル(Alevel)を含む特徴を表現するIAPS(国際情動写真体系)により、特定される。数値および標準偏差(SD)の変数が定義される。
区分変数は、感情価レベルおよび感情喚起レベルの変数から決定される。例えば、感情価レベル区分は、快と不快を含む。感情喚起レベル区分は、「感情喚起レベルI(AI)」、「感情喚起レベルII(AII)」、「感情喚起レベルIII(AIII)」に関して、まとめられる。
特徴変数(Vlevel.IAPS.Value、Alevel.IAPS.Value)に対する所定のしきい値は、感情価と感情喚起の区分を決定するために、使用される。例えば、感情価レベル値が所定のしきい値(4.3)よりも小さくて、かつ、感情喚起レベル値が、所定のしきい値(3)よりも大きい場合には、感情喚起レベル区分は、不快と判定される。同様な判定は、感情喚起区分でも行われる。
感情喚起は、瞳孔サイズ、および/または、瞬目のカウントと回数を含む(ただし、必ずしもそれらには限定されるとは限らない)特徴量から決定される。
感情喚起特徴に対する所定のしきい値は、感情喚起区分(AI、AII、AIII)の間の区分けを画定するために使用される。この例や他の例では、他のしきい値も使用される。
感情喚起特徴に基づくそれぞれの感情喚起区分内の標準偏差の変数が定められる。
それぞれの感情喚起特徴に対する感情喚起の標準偏差、区分、重みの変数がさらに定められる。
感情価は、瞳孔データおよび/または瞬目データを含むが、必ずしもそれらには限定されるとは限らない特徴量から決定される。
感情価特徴に対する所定のしきい値は、感情価区分(快と不快)の間の区分けを画定するために使用される。この例や他の例では、他のしきい値も使用される。
感情価特徴に基づくそれぞれの感情価区分内の標準偏差の変数が定められる。
それぞれの感情価特徴に対する感情価の標準偏差、区分、重みの変数がさらに定められる。
前述の変数の1つまたは複数は、当業者に知られ、かつ了解されている「IAPS」(すなわち、国際情動写真体系)を参照している。本明細書に述べられる模範的な一組の特徴解読ルールでは、IAPSデータは、基本システム精度を測定する測定基準としてのみ使用される。しかしながら、本明細書に述べられる特徴解読ルールは、IAPSに依存しないことと、他の精度測定基準(例えば、GSRフィードバックデータ)が、IAPSデータの代わりに、またはIAPSデータに加えて使用される場合があると理解されるべきである。
一実施例では、工程704は、1つまたは複数の特徴に対して、予備感情喚起の決定を含む。上述の感情喚起は、感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。該当するそれぞれの特徴は、工程704において、分類されて、重みを付けられる。また、予備感情喚起のレベルは、以下に記述されるルールを用いて、決定される。
それぞれの特徴は、(AI、AII、またはAIII)と分類され、次に、現在の特徴と区分に対する標準偏差(SD)により、ゼロと1との間の重みが付けられて、その分類について信頼を示す。図8Aは、Alevel.SizeSubsample.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら3つの感情喚起区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔サイズに関係する感情喚起特徴(Alevel.SizeSubsample.Pupil.Size.Mean.MeanLR)に基づいて、その区分と重みを決定するために用いられる一組の繰返し(iterations)である。
上記繰返しの部分は、瞳孔サイズの値が、AIとAIIとの間の瞳孔サイズのしきい値よりも小さいかどうか判定する。瞳孔サイズの値が、そのしきい値よりも小さい場合には、その区分はAIである。上記繰返しのこの部分は、次に、ゼロと1との間の重みの値を決定する。
上記繰返しの部分は、瞳孔サイズの値が、AIIとAIIIとの間の瞳孔サイズのしきい値よりも大きいかどうか判定する。瞳孔サイズの値が、そのしきい値よりも大きい場合には、その区分はAIIIである。この繰返しは、次に、ゼロと1との間の重みの値を決定する。
上記繰返しの部分は、その進行中のIf文を満たせないことに基づいて、この区分がAIIであると判定する。上記繰返しは、次に、ゼロと1との間の重みの値を決定する。
図8Bは、Alevel.SizeSubsample.Pupil.Size.Mean.MeanLR対Alevel.IAPS.Valueのプロットを描いている。これらのプロット値は、視覚的に図8Bに表されている。図8Cは、Alevel.MagnitudeIntegral.Blink.CatおよびWeightの決定を図示する概略図である。図8Aと同様に、これら3つの感情喚起区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞬目データに関係する感情喚起特徴(Alevel.MagnitudeIntegral.Blink.Cat)に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。
上記繰返しの部分は、瞬目データの値が、AIIIとAIIとの間の瞬目データのしきい値よりも小さいかどうか判定する(これも、図8Cに示される)。瞬目データの値が、そのしきい値よりも小さい場合には、その区分はAIIIである。上記繰返しの部分は、次に、ゼロと1との間の重みの値を決定する。
上記繰返しの部分は、瞬目データの値が、AIIとAIとの間の瞬目データのしきい値よりも大きいかどうか判定する。瞬目データの値が、そのしきい値よりも大きい場合には、その区分はAIである。この繰返しの部分は、次に、ゼロと1との間の重みの値を決定する。
上記繰返しの部分は、その進行中のIf文を満たせないことに基づいて、この区分がAIIであると判定する。上記繰返しは、次に、ゼロと1との間の重みの値を決定する。
図8Dは、Alevel.MagnitudeIntegral.Blink.Count*Length.Mean.MeanLR対Alevel.IAPS.Valueのプロットを描いている。
工程708は、重みに基づいて、感情喚起区分(1つまたは複数)の決定を含むことがある。一実施例では、Alevel.EmotionTool.Cat{AI;AII;AIII}は、最大の重みを持つ「感情喚起」特徴を見つけ出すことで、決定される。
上に挙げたように、感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応(例えば、快)であるか、負の感情的反応(例えば、不快)であるか、中立の感情的反応であるかどうかを示すために使用される。工程712では、中立の感情価の決定のために(刺激が中立であるかどうか判定するために)、ルールが施される。
以下の4つのケースが評価されることがある。
(1)この基準距離がゼロであって、かつ、この「瞬目回数」が1.25回よりも多い場合には、その感情的反応は、中立であると見なされる。
(2)この基準距離がゼロであって、かつ、この「感情喚起区分」がA1である場合には、その感情的反応は、中立であると見なされる。
(3)この基準距離がゼロであって、かつ、この「感情喚起最小時間」が1000よりも長い場合には、その感情的反応は、中立であると見なされる。
(4)この「感情喚起区分」がA1である場合には、その感情的反応は、中立であると見なされる。
(1)この基準距離がゼロであって、かつ、この「瞬目回数」が1.25回よりも多い場合には、その感情的反応は、中立であると見なされる。
(2)この基準距離がゼロであって、かつ、この「感情喚起区分」がA1である場合には、その感情的反応は、中立であると見なされる。
(3)この基準距離がゼロであって、かつ、この「感情喚起最小時間」が1000よりも長い場合には、その感情的反応は、中立であると見なされる。
(4)この「感情喚起区分」がA1である場合には、その感情的反応は、中立であると見なされる。
工程716において、中立であると判定された刺激は、刺激評価から除外される。これも、中立の感情価抽出として知られている。
工程720において、刺激が正(例えば、快)であるか、負(例えば、不快)であるかどうかについて、判定が下されることがある。快の感情価と不快の感情価を決定するのに使用される特徴には、
がある。これらの特徴は、刺激が「快」であるか、「不快」であるか判定するのに用いられる。
すべての特徴または選択された特徴は、分類され、次に、現在の特徴と区分に対する標準偏差により、ゼロと1との間の重みが付けられて、その分類について信頼を示すことができる。
図10Aは、Vlevel.TimeBasedist.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら2つの感情価区分は、しきい値を用いて画定される。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴(Vlevel.TimeBasedist.Pupil.tBase>>>>2000ms.Mean.MeanLR)に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。
以下の2つのケースが評価されることがある。
(1)このBasedistance(基準距離)がTimeBasedist.Thresholdよりも短い場合には、その感情的反応は、不快であると見なされる。
(2)このBasedistance(基準距離)がTimeBasedist.Thresholdよりも長い場合には、その感情的反応は、快であると見なされる。
(1)このBasedistance(基準距離)がTimeBasedist.Thresholdよりも短い場合には、その感情的反応は、不快であると見なされる。
(2)このBasedistance(基準距離)がTimeBasedist.Thresholdよりも長い場合には、その感情的反応は、快であると見なされる。
図10Bは、Vlevel.TimeBasedist.Pupil.tBase->2000ms.Mean.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。
図10Cは、Vlevel.BaseIntegral.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら2つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴(Vlevel.TimeBasedist.Pupil.tBase>>>>tAmin.Mean.MeanLR)に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。
以下の2つのケースが評価されることがある。
(1)このBaseIntegralが、このBaseIntegral.Thresholdよりも小さい場合には、その感情的反応は、不快であると見なされる。
(2)このBaseIntegralが、このBaseIntegral.Thresholdよりも大きい場合には、その感情的反応は、快であると見なされる。
(1)このBaseIntegralが、このBaseIntegral.Thresholdよりも小さい場合には、その感情的反応は、不快であると見なされる。
(2)このBaseIntegralが、このBaseIntegral.Thresholdよりも大きい場合には、その感情的反応は、快であると見なされる。
図10Dは、Vlevel.BaseIntegral.Pupil.tBase->tAmin.Median.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。
図10Eは、Vlevel.TimeAminPupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら2つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴(Vlevel.TimeAmin.Pupil.Amin.Median5Mean10.ClusterLR)に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。
以下の2つのケースが評価されることがある。
(1)この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、不快であると見なされる。
(2)この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、快であると見なされる。
(1)この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、不快であると見なされる。
(2)この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、快であると見なされる。
図10Fは、Vlevel.TimeAmin.Pupil.Amin.Median5Mean10.ClusterLR対Vlevel.IAPS.Valueのプロットを描いている。
図10Gは、Vlevel.PotentionIntegral.BlinkおよびWeightの決定を図示する概略図である。図示される通り、これら2つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴(Vlevel.PotentionIntegral.Blink.1/DistNextBlink.Mean.MeanLR)に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。
以下の2つのケースが評価されることがある。
(1)このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも小さい場合には、その感情的反応は、快であると見なされる。
(2)このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも大きい場合には、その感情的反応は、不快であると見なされる。
(1)このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも小さい場合には、その感情的反応は、快であると見なされる。
(2)このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも大きい場合には、その感情的反応は、不快であると見なされる。
図10Hは、Vlevel.PotentionIntegral.Blink.1/DistNextBlink.Mean.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。
工程724において、感情価区分(1つまたは複数)は、重みに基づいて、決定される。
すなわち、最大の重みを持つ「感情価」特徴を見つけ出すことによるVlevel.EmotionTool.Cat{U;P}の決定である。
以下の情報を含む分類表が与えられる。
すなわち、最大の重みを持つ「感情価」特徴を見つけ出すことによるVlevel.EmotionTool.Cat{U;P}の決定である。
本発明の他の態様によると、利用者が、所与の刺激への感情的反応を経験しているかどうかについて判定が下されることがある。
一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された(または、得られた)感情的に中立の(または他の)状態から、何か変化が発生しているかどうか確かめる。他の実施例では、(前述の特徴解読データ処理中に)感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定が、感情的反応を示す。
感情的反応が経験されてないことが明らかである場合には、データ収集モジュール220を介して、データ収集を続けるか、あるいは、そのデータ収集セッションが終了する。これと対照的に、感情的反応が経験されていると判定される場合には、その感情的反応が、本能ベースの反応を含むか、理性ベースの反応を含むかどうか判定する処理が行われる。
図11に示されるように、刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な感情(例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き)が観察される。多くの場合に、最初の期間(例えば、1秒)は、人間が所与の刺激を好むか、嫌うかどうか自分で決めるに足る時間である。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、この感情的な影響が実際に表される所である。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから約1秒〜5秒のタイムフレーム内に大脳皮質の理性的な処理からもたらされる。所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この「見てすぐ」の重要性と、この「見てすぐ」が人間の感情を表すことを考慮に入れることが好ましい。
本発明の一態様によると、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析モジュール224からの1つまたは複数のルールが施されることがある。例えば、突然の瞳孔拡張、さらに小さい瞬目サイズ、および/または、他の性質は、本能的な反応を示すが、一方、拡張のピークと、さらに大きい瞬目サイズは、理性的な反応を示す。他の定義済みルールも適用され得る。
利用者の感情的反応が本能的反応であると判定される場合には、マッピング・モジュール232(図4)は、その感情的反応に対応するデータを、本能的な感情的影響モデルに施す。利用者の感情的反応が理性的反応であると判定される場合には、マッピング・モジュール232(図4)は、その理性的反応に対応するデータを、理性的な感情的影響モデルに施す。
前に挙げたように、利用者の感情的反応に対応するデータは、エクマン(Ekman)モデル、プルチック(Plutchik)モデル、イザード(Izard)モデルを含む(ただし、それらのモデルには限定されない)様々な公知の感情モデルに施される。
本発明の一態様によると、本能的な感情的反応と理性的な感情的反応は、マッピング・モジュール232による、様々なやり方でマッピングされることがある。図12Aは、本発明の一実施形態により、感情的反応のマップの模範的な例示である。このマッピングは、図12Bに描かれるプルチックの感情モデルに基づいている。一実施例では、或るモデルにおけるそれぞれの感情区分(または名称)には、異なる色が割り当てられる。他のビジュアル・インジケータが利用される。このマップの中心から外に延びている線(またはマーカ)を目盛(スケール)として使用して、この感情的反応の影響レベルを測定する。他の目盛(スケール)も導入されることがある。
本発明の一態様によると、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示されることがある。例えば、図13に示されるように、第1の刺激1300aは、刺激1300aへの利用者の感情的反応を描いている対応するマップ1300bのすぐ上に表示される。同様に、第2の刺激1304aは、刺激1304aへの利用者の感情的反応を描いている対応するマップ1304bのすぐ上に表示され、以下同様に行われる。異なる表示形式も利用されることがある。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のマップとともに、提案されたコンテンツの全部または一部を見ることができる。
収集および処理されたデータは、様々なやり方で提示されることがある。例えば、本発明の一態様によると、視覚刺激(例えば、絵)を利用者に与えている間、その視覚刺激上において、利用者の注視の大部分の対象であったエリアを強調表示する(あるいは、他の方法で図示する)ために、ゲイズ・プロットが作成される。上に挙げたように、注視点(または眼球運動)データの処理は、とりわけ、凝視時間(例えば、目が一点に集中する時間)と、空間中の凝視場所(x、y、z、または他の座標で定められる通り)を決定することを含む。このような情報から、凝視点のクラスタが特定される。一実施例では、利用者に与えられた視覚画像または刺激にマスクが重ねられる。個々の視覚刺激に対応する、収集され、処理された注視点データに基づいて、凝視点のクラスタが決定されると、このマスクのうち、その決定された凝視点のクラスタに対応する部分を透明にして、この視覚刺激のうち、利用者がもっとも集中した部分だけを明らかにする。他のデータ提示手法も導入されることもある。
一実施例では、結果は、結果として得られる感情マトリックスに対して形容詞を識別するのに役立つ形容詞データベース298に、言語モジュール(またはエンジン)240を介してマッピングされる。これは、結果を言葉で表現するか、あるいは、書くときに、1つまたは複数の標準化された(または特定業界向け)語彙で結果を表すのに役立つ。
さらにもう1つの代替実施例では、統計モジュール(またはエンジン)244は、数人の利用者または被験者の感情的反応に基づく結果について、統計的解析を実行できるようにする。スキャン・パス解析、バックグラウンド変数解析、感情評価解析はそれぞれ、実施され得る様々なタイプの統計的解析の例である。他のタイプの統計的解析も実施されることがある。
さらに、ヒューマン・マシン対話形セッションにおいて、利用者入力データおよび/または他のデータに関して利用者の感情を考慮に入れることで、そのインタラクション(対話)が高められるか、あるいは、コンテンツが変更されることがある。本発明の上記手法を、様々な人工知能または知識ベースのシステムの用途に利用して、所望の人間の感情を高めるか、または抑制する。例えば、感情は、いくつかの刺激を選択して、与えることにより、起こされる。他の多数の用途も存在する。
用途に応じて、結果データベース296からの感情検出データ(または結果)は、様々なやり方で公表されることがある。公表は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置(コンピュータ110に結合されている)に保存するか、ネットワーク(例えば、インターネット)上でデータを送るか、あるいは、他の方法で、データを提示または利用することを含む。このデータは、任意の数の用途に使用されるか、あるいは、他のやり方で使用され、制約はない。
本発明の一態様によると、刺激が利用者に与えられるときに、例えば、キーボード140、マウス150、マイク160を介して、あるいは他の感覚入力装置を通じて、コマンド・ベースの問合せに返答するように利用者に促すことがある。このようなコマンド・ベースの問合せは、口頭、文章、または他の方法で行われることもある。一実施形態では、例えば、特定の刺激(例えば、絵)が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの(例えば、快)か、負のもの(例えば、不快)か、あるいは中立のものと認めたかどうか、および/または、その程度を選択するよう、その利用者に指示する。別法として、利用者が特定の刺激(1つまたは複数)について意見を決めているときに、返答するように、その利用者に促す。意見を決めるのにかかった時間が格納されて、様々なやり方で利用される。もちろん、他の記述子(デスクリプタ)も利用されることがある。利用者は、様々なアクションまたは身振りのどれか1つを通じて、例えば、表示装置130上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイク160に向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録(記録)する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および/または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。コマンド・ベースの反応解析モジュール(またはエンジン)228は、利用者の反応に関するデータに1つまたは複数の所定ルールを施して、刺激への利用者の感情的反応を定めるのに役立てる。その結果得られたデータを利用して、アイトラッキング装置120から処理されたデータを補うことで、感情的反応情報を向上させる。
本発明の他の実施形態、用途、利点は、本明細書に開示される本発明の明細および実施を考慮に入れることで、当業者には明らかになろう。よって、その明細は、単に模範的なものと見なされるべきである。
Claims (58)
- 少なくとも測定された生理的データに基づいて、1つまたは複数の刺激を与えるのに応じて人間の感情を検出するコンピュータ実施形式の方法であって、
被験者に少なくとも1つの刺激を与えるステップと、
瞳孔データ、瞬目データ、注視点データを含む生理的データを含むデータを、前記被験者から収集するステップと、
眼球の特徴抽出処理を行って、前記収集された生理的データから、該当する眼球の特徴を決定するステップと、
前記該当する眼球の特徴を解析して、前記少なくとも1つの刺激への被験者の感情的反応の1つまたは複数の感情構成要素を特定するステップとを含む方法。 - 前記該当する眼球の特徴を利用して、前記少なくとも1つの刺激への前記被験者の感情的反応の本能的な感情構成要素を決定するステップをさらに含む請求項1に記載の方法。
- 前記解析する方法が、ルール・ベースの解析を施して、前記被験者の感情的反応の1つまたは複数の感情構成要素を特定するステップをさらに含む請求項1に記載の方法。
- 前記解析するステップが、前記被験者の年齢に対応する該当する眼球の特徴にルール・ベースの解析を施して、前記被験者の感情的反応の1つまたは複数の感情構成要素を特定するステップをさらに含む請求項1に記載の方法。
- 前記解析するステップが、前記被験者の性別に対応するルール・ベースの解析を施して、前記被験者の感情的反応の1つまたは複数の感情構成要素を特定するステップをさらに含む請求項1に記載の方法。
- 前記解析するステップが、統計的解析を施して、前記被験者の感情的反応の1つまたは複数の感情構成要素を特定するステップをさらに含む請求項1に記載の方法。
- 前記該当する眼球の特徴を利用して、前記少なくとも1つの刺激への前記被験者の感情的反応の理性的な感情構成要素を決定するステップをさらに含む請求項1に記載の方法。
- 前記感情構成要素が、感情価、感情喚起、感情区分、感情タイプを含む請求項1に記載の方法。
- 前記収集された生理的データに、データ誤り検出・訂正を行うステップをさらに含む請求項1に記載の方法。
- 前記データ誤り検出・訂正を行うステップが、外れ値データの決定と除去を含む請求項9に記載の方法。
- 前記データ誤り検出・訂正を行うステップが、瞳孔拡張訂正、瞬目誤り訂正、注視点誤り訂正の1つまたは複数を含む請求項9に記載の方法。
- 訂正されたデータを格納するステップをさらに含み、また、眼球の特徴抽出処理を行うステップが、前記格納された訂正済みデータに実施される請求項9に記載の方法。
- a.1つまたは複数のデータ収集センサを較正するステップと、
b.被験者に基準となる感情レベルを決定するステップと、
を含む較正作業を、較正モードの間に行うステップをさらに含む請求項1に記載の方法。 - 前記1つまたは複数のデータ収集センサを較正するステップが、環境周囲条件に合わせて較正するステップを含む請求項13に記載の方法。
- 前記データの収集が、少なくとも一部、アイトラッキング装置により行われる方法であって、データの収集の前に、被験者の眼球に合わせて、前記アイトラッキング装置を較正するステップをさらに含む請求項1に記載の方法。
- 1つまたは複数の刺激を与えて、データ収集の前に、所望の感情状態を被験者中に引き起こすステップをさらに含む請求項1に記載の方法。
- 被験者に前記少なくとも1つの刺激を与えるステップが、所定の一組の刺激を被験者に与えるステップをさらに含み、また、前記データ収集ステップが、前記一組のそれぞれの刺激に対して別々に、前記刺激と、前記刺激を与えるときに収集されるデータとを含む請求項1に記載の方法。
- 被験者用のユーザー・プロファイルを作成して、前記該当する眼球の特徴を解析するステップに役立てるステップをさらに含み、また、前記ユーザー・プロファイルが、前記被験者の眼球に関係するデータ、人口統計情報、または較正情報を含む請求項1に記載の方法。
- 前記データを収集するステップが、環境データを収集するステップをさらに含む請求項1に記載の方法。
- 前記データを収集するステップが、或る期間にわたって、所定のサンプリング周波数にて眼球データを収集するステップを含む請求項1に記載の方法。
- 前記眼球の特徴のデータが、瞳孔サイズ、瞳孔サイズ変化データ、瞳孔変化速度データに関する瞳孔データを指す請求項1に記載の方法。
- 前記眼球の特徴のデータが、与えられた刺激に応じて拡張または収縮が行われるのにかかる時間に関する瞳孔データを指す請求項1に記載の方法。
- 前記眼球の特徴のデータが、前記被験者に刺激を与える前と刺激を与えた後の瞳孔サイズに関する瞳孔データを指す請求項1に記載の方法。
- 前記眼球の特徴のデータが、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさのデータに関する瞬目データを指す請求項1に記載の方法。
- 前記眼球の特徴のデータが、サッカード、エクスプレス・サッカード、眼振のデータに関する注視点データを指す請求項1に記載の方法。
- 前記眼球の特徴のデータが、凝視時間、空間中の凝視場所、凝視エリアに関する注視点データを指す請求項1に記載の方法。
- 前記本能的な感情構成要素を決定するステップが、前記該当する特徴にルール・ベースの解析を施して、本能的な反応を決定するステップをさらに含む請求項2に記載の方法。
- 前記本能的な感情構成要素を決定するステップが、前記該当する特徴に統計的解析を施して、本能的な反応を決定するステップをさらに含む請求項2に記載の方法。
- 感情構成要素を感情モデルにマッピングするステップをさらに含む請求項1に記載の方法。
- 前記本能的な感情構成要素を本能的な感情モデルに施すステップをさらに含む請求項2に記載の方法。
- 前記理性的な感情構成要素を理性的な感情モデルに施すステップをさらに含む請求項7に記載の方法。
- 前記該当する眼球の特徴を利用して、前記少なくとも1つの刺激への前記被験者の反応の本能的な感情構成要素と理性的な感情構成要素を決定するステップをさらに含む請求項1に記載の方法。
- 前記本能的な感情構成要素を本能的な感情モデルに施し、かつ、前記理性的な感情構成要素を理性的な感情モデルに施すステップをさらに含む請求項32に記載の方法。
- 前記該当する眼球の特徴を利用して、前記少なくとも1つの刺激が前記被験者により知覚される最初の期間に対応する被験者の感情的反応の1つまたは複数の最初の感情構成要素を決定するステップをさらに含む請求項1に記載の方法。
- 前記該当する眼球の特徴を利用して、前記最初の期間後の或る期間に対応する被験者の感情的反応の1つまたは複数の二次的な感情構成要素を決定するステップをさらに含む請求項34に記載の方法。
- 前記該当する眼球の特徴を利用して、前記最初の期間後の或る期間に対応する被験者の感情的反応の1つまたは複数の二次的な感情構成要素を決定し、さらに前記1つまたは複数の最初の感情構成要素に基づいて決定するステップをさらに含む請求項34に記載の方法。
- 前記被験者の感情的反応の感情構成要素の表示を、前記感情的反応を起こさせた対応する刺激と同時に同期化するステップをさらに含む請求項1に記載の方法。
- 前記被験者の感情的反応の感情構成要素の時系列表示を、前記感情的反応を起こさせた対応する刺激と、個々に同期化するステップをさらに含む請求項1に記載の方法。
- 前記感情構成要素を、感情形容詞データベースに施して、感情的反応マトリックスに基づいて、前記感情的反応に対する標識(ラベル)を決定するステップをさらに含む請求項1に記載の方法。
- 少なくとも1つの共通の刺激への前記被験者の前記感情的反応を、2人以上の被験者に対して集計するステップをさらに含む請求項1に記載の方法。
- 眼球のデータ以外の前記被験者の少なくとも1つの他の生理的性質に関するデータを収集し、また、前記少なくとも1つの他の生理的性質に関する前記収集したデータを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項1に記載の方法。
- 刺激を与えるのに応じて前記被験者の顔の表情のデータを収集し、また、前記収集された顔の表情データを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項1に記載の方法。
- 刺激を与えるのに応じて前記被験者の電気皮膚反応データを収集し、また、前記収集された皮膚反応データを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項1に記載の方法。
- 前記刺激が、視覚刺激と、少なくとも1つの非視覚刺激から成っている請求項1に記載の方法。
- 前記被験者が正の感情的反応を持ったか、負の感情的反応を持ったかどうかと、その感情的反応の大きさとを含む感情構成要素を出力するステップをさらに含む請求項29に記載の方法。
- 被験者が、中立でない感情的反応を持ったかどうか判定し、また前記感情的反応を持った場合には、前記被験者が正の感情的反応を持ったか、負の感情的反応を持ったかどうかと、その感情的反応の大きさとを含む前記感情的反応の指標を出力するステップをさらに含む請求項1に記載の方法。
- 対話セッションにおいて、ユーザー入力として、前記被験者の感情的反応の前記1つまたは複数の特定された感情構成要素を利用するステップをさらに含む請求項1に記載の方法。
- 観察セッションにおいて、前記被験者の感情的反応の前記1つまたは複数の特定された感情構成要素を記録するステップをさらに含む請求項1に記載の方法。
- 所定の数値目盛に基づいて数値として表される感情喚起と感情価とを含め、前記感情的反応の指標を出力するステップをさらに含む請求項1に記載の方法。
- 所定の数値目盛に基づいて数値または数値範囲として提示される感情的反応の精度に関する指標を出力するステップをさらに含む請求項1に記載の方法。
- 本能的な感情的反応と理性的な感情的反応とを含む感情的反応の指標を出力するステップをさらに含む請求項1に記載の方法。
- 本能的な感情的反応と二次的な感情的反応とを含む感情的反応の指標を出力するステップをさらに含む請求項1に記載の方法。
- 前記感情的反応を起こした刺激と並置されて、かつ同時に表示される感情的反応マップを出力するステップをさらに含む請求項1に記載の方法。
- 所与の刺激を前記被験者に与えているときに、前記刺激に関する口頭または文章による問合せに返答するように前記被験者に促すステップをさらに含む請求項1に記載の方法。
- 所定時間の間、所与の刺激を前記被験者に表示した後で、前記刺激に関する口頭または文章による問合せに返答するように前記被験者に促すステップをさらに含む請求項1に記載の方法。
- 指示メッセージ(プロンプト)に前記被験者が返答するのにかかる時間を記録するステップをさらに含む請求項54に記載の方法。
- 前記少なくとも1つの刺激が、前記被験者に与えて調査を行うためのカスタマイズされた刺激である請求項1に記載の方法。
- 少なくとも測定された生理的データに基づいて、1つまたは複数の刺激を与えるのに応じて人間の感情を検出するコンピュータ化されたシステムであって、
被験者に少なくとも1つの刺激を与える刺激モジュールと、
瞳孔データ、瞬目データ、注視点データを含む生理的データを含むデータを、前記被験者から収集するデータ収集手段と、
眼球の特徴抽出処理を行って、前記収集された生理的データから、該当する眼球の特徴を決定するデータ処理モジュールと、
前記該当する眼球の特徴を解析して、被験者の感情的反応の1つまたは複数の感情構成要素を特定する感情的反応解析モジュールと、
を含むシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71726805P | 2005-09-16 | 2005-09-16 | |
PCT/IB2006/004174 WO2007102053A2 (en) | 2005-09-16 | 2006-09-18 | System and method for determining human emotion by analyzing eye properties |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009508553A true JP2009508553A (ja) | 2009-03-05 |
Family
ID=38475225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008530666A Pending JP2009508553A (ja) | 2005-09-16 | 2006-09-18 | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20070066916A1 (ja) |
EP (1) | EP1924941A2 (ja) |
JP (1) | JP2009508553A (ja) |
CA (1) | CA2622365A1 (ja) |
WO (1) | WO2007102053A2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011042989A1 (ja) * | 2009-10-09 | 2011-04-14 | Kikuchi Kouichi | 視認情景に対する視認者情感判定装置 |
JP2011120824A (ja) * | 2009-12-14 | 2011-06-23 | Tokyo Univ Of Agriculture & Technology | 感性評価装置、感性評価方法、及び感性評価プログラム |
JP2013099373A (ja) * | 2011-11-07 | 2013-05-23 | Fujitsu Ltd | 非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法 |
JP2014515291A (ja) * | 2011-05-20 | 2014-06-30 | アイフルエンス,インコーポレイテッド | 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法 |
JP5718495B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
JP5718494B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
JP5718493B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718492B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
KR101585830B1 (ko) * | 2015-06-22 | 2016-01-15 | 이호석 | 시청자 감정에 따른 스토리 전개 시스템 및 방법 |
CN106175672A (zh) * | 2016-07-04 | 2016-12-07 | 中国科学院生物物理研究所 | 基于“大范围首先”知觉组织的行为评测系统及其应用 |
JP2017086530A (ja) * | 2015-11-11 | 2017-05-25 | 日本電信電話株式会社 | 印象推定装置、印象推定方法、およびプログラム |
JP2017086529A (ja) * | 2015-11-11 | 2017-05-25 | 日本電信電話株式会社 | 印象推定装置およびプログラム |
JP2017202047A (ja) * | 2016-05-10 | 2017-11-16 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
CN108366764A (zh) * | 2015-10-01 | 2018-08-03 | 株式会社夏目综合研究所 | 排除明暗、呼吸和脉搏的影响的观看者情绪判定装置、观看者情绪判定系统和程序 |
KR20210002791A (ko) * | 2019-07-01 | 2021-01-11 | 한국생산기술연구원 | 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법 |
JP2021019983A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社豊田中央研究所 | 心理状態判定装置 |
Families Citing this family (200)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7881493B1 (en) | 2003-04-11 | 2011-02-01 | Eyetools, Inc. | Methods and apparatuses for use of eye interpretation information |
US20070088714A1 (en) * | 2005-10-19 | 2007-04-19 | Edwards Gregory T | Methods and apparatuses for collection, processing, and utilization of viewing data |
US7607776B1 (en) * | 2005-10-24 | 2009-10-27 | James Waller Lambuth Lewis | Digital eye bank for virtual clinic trials |
US7760910B2 (en) * | 2005-12-12 | 2010-07-20 | Eyetools, Inc. | Evaluation of visual stimuli using existing viewing data |
WO2008129356A2 (en) | 2006-03-13 | 2008-10-30 | Imotions-Emotion Technology A/S | Visual attention and emotional response detection and display system |
JP2007259931A (ja) * | 2006-03-27 | 2007-10-11 | Honda Motor Co Ltd | 視線検出装置 |
JP4876687B2 (ja) * | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | 注目度計測装置及び注目度計測システム |
US7930199B1 (en) * | 2006-07-21 | 2011-04-19 | Sensory Logic, Inc. | Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding |
US9095295B2 (en) * | 2006-09-01 | 2015-08-04 | Board Of Regents Of The University Of Texas System | Device and method for measuring information processing speed of the brain |
US20100004977A1 (en) * | 2006-09-05 | 2010-01-07 | Innerscope Research Llc | Method and System For Measuring User Experience For Interactive Activities |
US9514436B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
US20090024049A1 (en) | 2007-03-29 | 2009-01-22 | Neurofocus, Inc. | Cross-modality synthesis of central nervous system, autonomic nervous system, and effector data |
US9886981B2 (en) | 2007-05-01 | 2018-02-06 | The Nielsen Company (Us), Llc | Neuro-feedback based stimulus compression device |
EP2142082A4 (en) * | 2007-05-01 | 2015-10-28 | Neurofocus Inc | NEUROINFORMATIC REFERENCE SYSTEM |
US8126220B2 (en) * | 2007-05-03 | 2012-02-28 | Hewlett-Packard Development Company L.P. | Annotating stimulus based on determined emotional response |
US20090328089A1 (en) * | 2007-05-16 | 2009-12-31 | Neurofocus Inc. | Audience response measurement and tracking system |
US8392253B2 (en) | 2007-05-16 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-physiology and neuro-behavioral based stimulus targeting system |
US20090030287A1 (en) * | 2007-06-06 | 2009-01-29 | Neurofocus Inc. | Incented response assessment at a point of transaction |
US8494905B2 (en) * | 2007-06-06 | 2013-07-23 | The Nielsen Company (Us), Llc | Audience response analysis using simultaneous electroencephalography (EEG) and functional magnetic resonance imaging (fMRI) |
JP4999570B2 (ja) * | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
WO2009009722A2 (en) | 2007-07-12 | 2009-01-15 | University Of Florida Research Foundation, Inc. | Random body movement cancellation for non-contact vital sign detection |
WO2009018374A1 (en) | 2007-07-30 | 2009-02-05 | Neurofocus, Inc. | Neuro-response stimulus and stimulus attribute resonance estimator |
US20090036755A1 (en) * | 2007-07-30 | 2009-02-05 | Neurofocus, Inc. | Entity and relationship assessment and extraction using neuro-response measurements |
US7857452B2 (en) * | 2007-08-27 | 2010-12-28 | Catholic Healthcare West | Eye movements as a way to determine foci of covert attention |
US8386313B2 (en) | 2007-08-28 | 2013-02-26 | The Nielsen Company (Us), Llc | Stimulus placement system using subject neuro-response measurements |
CN101795620B (zh) * | 2007-08-28 | 2013-05-01 | 神经焦点公司 | 消费者体验评定系统 |
US8635105B2 (en) * | 2007-08-28 | 2014-01-21 | The Nielsen Company (Us), Llc | Consumer experience portrayal effectiveness assessment system |
US8392255B2 (en) * | 2007-08-29 | 2013-03-05 | The Nielsen Company (Us), Llc | Content based selection and meta tagging of advertisement breaks |
US20090083129A1 (en) * | 2007-09-20 | 2009-03-26 | Neurofocus, Inc. | Personalized content delivery using neuro-response priming data |
US8494610B2 (en) * | 2007-09-20 | 2013-07-23 | The Nielsen Company (Us), Llc | Analysis of marketing and entertainment effectiveness using magnetoencephalography |
WO2009046224A1 (en) | 2007-10-02 | 2009-04-09 | Emsense Corporation | Providing remote access to media, and reaction and survey data from viewers of the media |
US9513699B2 (en) * | 2007-10-24 | 2016-12-06 | Invention Science Fund I, LL | Method of selecting a second content based on a user's reaction to a first content |
US9582805B2 (en) * | 2007-10-24 | 2017-02-28 | Invention Science Fund I, Llc | Returning a personalized advertisement |
US20090112694A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Targeted-advertising based on a sensed physiological response by a person to a general advertisement |
US20090112693A1 (en) * | 2007-10-24 | 2009-04-30 | Jung Edward K Y | Providing personalized advertising |
US20090113297A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Requesting a second content based on a user's reaction to a first content |
US20090112696A1 (en) * | 2007-10-24 | 2009-04-30 | Jung Edward K Y | Method of space-available advertising in a mobile device |
WO2009059246A1 (en) * | 2007-10-31 | 2009-05-07 | Emsense Corporation | Systems and methods providing en mass collection and centralized processing of physiological responses from viewers |
US9211077B2 (en) * | 2007-12-13 | 2015-12-15 | The Invention Science Fund I, Llc | Methods and systems for specifying an avatar |
US20090157751A1 (en) * | 2007-12-13 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for specifying an avatar |
US20090157625A1 (en) * | 2007-12-13 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for identifying an avatar-linked population cohort |
US8615479B2 (en) | 2007-12-13 | 2013-12-24 | The Invention Science Fund I, Llc | Methods and systems for indicating behavior in a population cohort |
US20090164458A1 (en) * | 2007-12-20 | 2009-06-25 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems employing a cohort-linked avatar |
US20090157481A1 (en) * | 2007-12-13 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for specifying a cohort-linked avatar attribute |
US20090157813A1 (en) * | 2007-12-17 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for identifying an avatar-linked population cohort |
US20090157660A1 (en) * | 2007-12-13 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems employing a cohort-linked avatar |
US8356004B2 (en) * | 2007-12-13 | 2013-01-15 | Searete Llc | Methods and systems for comparing media content |
US20090171164A1 (en) * | 2007-12-17 | 2009-07-02 | Jung Edward K Y | Methods and systems for identifying an avatar-linked population cohort |
US20090164503A1 (en) * | 2007-12-20 | 2009-06-25 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for specifying a media content-linked population cohort |
US20090164131A1 (en) * | 2007-12-20 | 2009-06-25 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for specifying a media content-linked population cohort |
US9418368B2 (en) * | 2007-12-20 | 2016-08-16 | Invention Science Fund I, Llc | Methods and systems for determining interest in a cohort-linked avatar |
US9775554B2 (en) * | 2007-12-31 | 2017-10-03 | Invention Science Fund I, Llc | Population cohort-linked avatar |
AU2009204001A1 (en) * | 2008-01-11 | 2009-07-16 | Oregon Health & Science University | Rapid serial presentation communication systems and methods |
US20090222305A1 (en) * | 2008-03-03 | 2009-09-03 | Berg Jr Charles John | Shopper Communication with Scaled Emotional State |
EP2099198A1 (en) * | 2008-03-05 | 2009-09-09 | Sony Corporation | Method and device for personalizing a multimedia application |
EP2100556A1 (en) | 2008-03-14 | 2009-09-16 | Koninklijke Philips Electronics N.V. | Modifying a psychophysiological state of a subject |
US8219438B1 (en) * | 2008-06-30 | 2012-07-10 | Videomining Corporation | Method and system for measuring shopper response to products based on behavior and facial expression |
US20100010370A1 (en) * | 2008-07-09 | 2010-01-14 | De Lemos Jakob | System and method for calibrating and normalizing eye data in emotional testing |
US20100010317A1 (en) * | 2008-07-09 | 2010-01-14 | De Lemos Jakob | Self-contained data collection system for emotional response testing |
WO2010018459A2 (en) * | 2008-08-15 | 2010-02-18 | Imotions - Emotion Technology A/S | System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP5225870B2 (ja) * | 2008-09-30 | 2013-07-03 | 花村 剛 | 情動分析装置 |
WO2010045356A1 (en) * | 2008-10-14 | 2010-04-22 | Ohio University | Cognitive and linguistic assessment using eye tracking |
US9370664B2 (en) | 2009-01-15 | 2016-06-21 | Boston Scientific Neuromodulation Corporation | Signaling error conditions in an implantable medical device system using simple charging coil telemetry |
US8808195B2 (en) * | 2009-01-15 | 2014-08-19 | Po-He Tseng | Eye-tracking method and system for screening human diseases |
US8270814B2 (en) * | 2009-01-21 | 2012-09-18 | The Nielsen Company (Us), Llc | Methods and apparatus for providing video with embedded media |
US9357240B2 (en) | 2009-01-21 | 2016-05-31 | The Nielsen Company (Us), Llc | Methods and apparatus for providing alternate media for video decoders |
US8464288B2 (en) * | 2009-01-21 | 2013-06-11 | The Nielsen Company (Us), Llc | Methods and apparatus for providing personalized media in video |
JP5244627B2 (ja) * | 2009-01-21 | 2013-07-24 | Kddi株式会社 | 感情推定方法および装置 |
WO2010099443A1 (en) * | 2009-02-27 | 2010-09-02 | Forbes David L | Methods and systems for assessing psychological characteristics |
US9558499B2 (en) | 2009-02-27 | 2017-01-31 | The Forbes Consulting Group, Llc | Methods and systems for assessing psychological characteristics |
US9295806B2 (en) | 2009-03-06 | 2016-03-29 | Imotions A/S | System and method for determining emotional response to olfactory stimuli |
US20100250325A1 (en) | 2009-03-24 | 2010-09-30 | Neurofocus, Inc. | Neurological profiles for market matching and stimulus presentation |
US8600100B2 (en) * | 2009-04-16 | 2013-12-03 | Sensory Logic, Inc. | Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions |
ITRM20090347A1 (it) * | 2009-07-03 | 2011-01-04 | Univ Siena | Dispositivo di analisi del sistema nervoso centrale attraverso l applicazione di stimoli di diversa natura combinati tra loro e lo studio delle corrispondenti reazioni. |
US20120116186A1 (en) * | 2009-07-20 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
US8326002B2 (en) * | 2009-08-13 | 2012-12-04 | Sensory Logic, Inc. | Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions |
US8493409B2 (en) * | 2009-08-18 | 2013-07-23 | Behavioral Recognition Systems, Inc. | Visualizing and updating sequences and segments in a video surveillance system |
US20110046502A1 (en) * | 2009-08-20 | 2011-02-24 | Neurofocus, Inc. | Distributed neuro-response data collection and analysis |
US8655437B2 (en) | 2009-08-21 | 2014-02-18 | The Nielsen Company (Us), Llc | Analysis of the mirror neuron system for evaluation of stimulus |
US10987015B2 (en) * | 2009-08-24 | 2021-04-27 | Nielsen Consumer Llc | Dry electrodes for electroencephalography |
EP2473100A4 (en) * | 2009-09-01 | 2014-08-20 | Exxonmobil Upstream Res Co | METHOD OF USING HUMAN PHYSIOLOGICAL RESPONSES AS INPUT DATA FOR HYDROCARBON MANAGEMENT DECISIONS |
US8323216B2 (en) * | 2009-09-29 | 2012-12-04 | William Fabian | System and method for applied kinesiology feedback |
US9560984B2 (en) | 2009-10-29 | 2017-02-07 | The Nielsen Company (Us), Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
US20110106750A1 (en) | 2009-10-29 | 2011-05-05 | Neurofocus, Inc. | Generating ratings predictions using neuro-response data |
US8209224B2 (en) * | 2009-10-29 | 2012-06-26 | The Nielsen Company (Us), Llc | Intracluster content management using neuro-response priming data |
FI20096190A (fi) * | 2009-11-17 | 2011-05-18 | Optomed Oy | Tutkimuslaite |
US8335715B2 (en) * | 2009-11-19 | 2012-12-18 | The Nielsen Company (Us), Llc. | Advertisement exchange using neuro-response data |
US8335716B2 (en) * | 2009-11-19 | 2012-12-18 | The Nielsen Company (Us), Llc. | Multimedia advertisement exchange |
US9767470B2 (en) | 2010-02-26 | 2017-09-19 | Forbes Consulting Group, Llc | Emotional survey |
US20110237971A1 (en) * | 2010-03-25 | 2011-09-29 | Neurofocus, Inc. | Discrete choice modeling using neuro-response data |
US8684742B2 (en) | 2010-04-19 | 2014-04-01 | Innerscope Research, Inc. | Short imagery task (SIT) research method |
US8655428B2 (en) | 2010-05-12 | 2014-02-18 | The Nielsen Company (Us), Llc | Neuro-response data synchronization |
US20140221866A1 (en) * | 2010-06-02 | 2014-08-07 | Q-Tec Systems Llc | Method and apparatus for monitoring emotional compatibility in online dating |
US20210118323A1 (en) * | 2010-06-02 | 2021-04-22 | The Vista Group Llc | Method and apparatus for interactive monitoring of emotion during teletherapy |
AU2011202904B2 (en) * | 2010-06-17 | 2012-08-02 | Forethought Pty Ltd | Measurement of emotional response to sensory stimuli |
CA2803047A1 (en) * | 2010-07-05 | 2012-01-12 | Cognitive Media Innovations (Israel) Ltd. | System and method of serial visual content presentation |
US8392250B2 (en) | 2010-08-09 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-response evaluated stimulus in virtual reality environments |
US8392251B2 (en) | 2010-08-09 | 2013-03-05 | The Nielsen Company (Us), Llc | Location aware presentation of stimulus material |
US8396744B2 (en) | 2010-08-25 | 2013-03-12 | The Nielsen Company (Us), Llc | Effective virtual reality environments for presentation of marketing materials |
AU2015200496B2 (en) * | 2010-08-31 | 2017-03-16 | Forbes Consulting Group, Llc | Methods and systems for assessing psychological characteristics |
US9545224B2 (en) * | 2010-11-08 | 2017-01-17 | Optalert Australia Pty Ltd | Fitness for work test |
US20120143693A1 (en) * | 2010-12-02 | 2012-06-07 | Microsoft Corporation | Targeting Advertisements Based on Emotion |
US8913005B2 (en) * | 2011-04-08 | 2014-12-16 | Fotonation Limited | Methods and systems for ergonomic feedback using an image analysis module |
US8898091B2 (en) * | 2011-05-11 | 2014-11-25 | Ari M. Frank | Computing situation-dependent affective response baseline levels utilizing a database storing affective responses |
US20120311032A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Emotion-based user identification for online experiences |
US8872640B2 (en) * | 2011-07-05 | 2014-10-28 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles |
US20130019187A1 (en) * | 2011-07-15 | 2013-01-17 | International Business Machines Corporation | Visualizing emotions and mood in a collaborative social networking environment |
US8564684B2 (en) * | 2011-08-17 | 2013-10-22 | Digimarc Corporation | Emotional illumination, and related arrangements |
KR101901417B1 (ko) * | 2011-08-29 | 2018-09-27 | 한국전자통신연구원 | 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법 |
US9015084B2 (en) | 2011-10-20 | 2015-04-21 | Gil Thieberger | Estimating affective response to a token instance of interest |
US8306977B1 (en) * | 2011-10-31 | 2012-11-06 | Google Inc. | Method and system for tagging of content |
US9355366B1 (en) * | 2011-12-19 | 2016-05-31 | Hello-Hello, Inc. | Automated systems for improving communication at the human-machine interface |
EP2798525A4 (en) * | 2011-12-30 | 2015-08-26 | Intel Corp | COGNITIVE LOAD EVALUATION FOR DIGITAL DOCUMENTS |
US9451303B2 (en) | 2012-02-27 | 2016-09-20 | The Nielsen Company (Us), Llc | Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing |
US9569986B2 (en) | 2012-02-27 | 2017-02-14 | The Nielsen Company (Us), Llc | System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications |
US9292858B2 (en) | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
US10537240B2 (en) * | 2012-03-09 | 2020-01-21 | Ocuspecto Oy | Method for assessing function of the visual system and apparatus thereof |
US8708705B1 (en) | 2012-04-06 | 2014-04-29 | Conscious Dimensions, LLC | Consciousness raising technology |
US9060671B2 (en) | 2012-08-17 | 2015-06-23 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
US9104467B2 (en) | 2012-10-14 | 2015-08-11 | Ari M Frank | Utilizing eye tracking to reduce power consumption involved in measuring affective response |
US9477993B2 (en) | 2012-10-14 | 2016-10-25 | Ari M Frank | Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention |
JP5923180B2 (ja) * | 2012-11-12 | 2016-05-24 | アルプス電気株式会社 | 生体情報計測装置及びそれを用いた入力装置 |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
ES2751380T3 (es) | 2012-12-11 | 2020-03-31 | Ami Klin | Sistemas y métodos para detectar inhibición de parpadeo como marcador de cautivación y prominencia de estímulo percibido |
KR101878359B1 (ko) * | 2012-12-13 | 2018-07-16 | 한국전자통신연구원 | 정보기술을 이용한 다중지능 검사 장치 및 방법 |
US8769557B1 (en) | 2012-12-27 | 2014-07-01 | The Nielsen Company (Us), Llc | Methods and apparatus to determine engagement levels of audience members |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9202352B2 (en) | 2013-03-11 | 2015-12-01 | Immersion Corporation | Automatic haptic effect adjustment system |
US9100540B1 (en) | 2013-03-14 | 2015-08-04 | Ca, Inc. | Multi-person video conference with focus detection |
US9055071B1 (en) | 2013-03-14 | 2015-06-09 | Ca, Inc. | Automated false statement alerts |
US8887300B1 (en) | 2013-03-14 | 2014-11-11 | Ca, Inc. | Automated message transmission prevention based on a physical reaction |
US9041766B1 (en) | 2013-03-14 | 2015-05-26 | Ca, Inc. | Automated attention detection |
US9716599B1 (en) | 2013-03-14 | 2017-07-25 | Ca, Inc. | Automated assessment of organization mood |
US9320450B2 (en) | 2013-03-14 | 2016-04-26 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
US8850597B1 (en) | 2013-03-14 | 2014-09-30 | Ca, Inc. | Automated message transmission prevention based on environment |
US9047253B1 (en) | 2013-03-14 | 2015-06-02 | Ca, Inc. | Detecting false statement using multiple modalities |
US9208326B1 (en) | 2013-03-14 | 2015-12-08 | Ca, Inc. | Managing and predicting privacy preferences based on automated detection of physical reaction |
US9256748B1 (en) | 2013-03-14 | 2016-02-09 | Ca, Inc. | Visual based malicious activity detection |
WO2015057321A1 (en) | 2013-10-17 | 2015-04-23 | Children's Healthcare Of Atlanta, Inc. | Methods for assessing infant and child development via eye tracking |
US9552517B2 (en) | 2013-12-06 | 2017-01-24 | International Business Machines Corporation | Tracking eye recovery |
CN106258010B (zh) * | 2014-02-04 | 2019-11-22 | 弗劳恩霍夫应用研究促进协会 | 2d图像分析器 |
US9622702B2 (en) | 2014-04-03 | 2017-04-18 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
CN104000602A (zh) * | 2014-04-14 | 2014-08-27 | 北京工业大学 | 情感带宽测定及其情感损伤判别方法 |
US20150302422A1 (en) * | 2014-04-16 | 2015-10-22 | 2020 Ip Llc | Systems and methods for multi-user behavioral research |
US20150305662A1 (en) | 2014-04-29 | 2015-10-29 | Future Life, LLC | Remote assessment of emotional status |
DE102014216208A1 (de) * | 2014-08-14 | 2016-02-18 | Robert Bosch Gmbh | Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers |
WO2016057781A1 (en) | 2014-10-08 | 2016-04-14 | The University Of Florida Research Foundation, Inc. | Method and apparatus for non-contact fast vital sign acquisition based on radar signal |
US9248819B1 (en) | 2014-10-28 | 2016-02-02 | Nissan North America, Inc. | Method of customizing vehicle control system |
US9132839B1 (en) * | 2014-10-28 | 2015-09-15 | Nissan North America, Inc. | Method and system of adjusting performance characteristic of vehicle control system |
JP2016163166A (ja) * | 2015-03-02 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
US9833200B2 (en) | 2015-05-14 | 2017-12-05 | University Of Florida Research Foundation, Inc. | Low IF architectures for noncontact vital sign detection |
US9936250B2 (en) | 2015-05-19 | 2018-04-03 | The Nielsen Company (Us), Llc | Methods and apparatus to adjust content presented to an individual |
JP6553418B2 (ja) * | 2015-06-12 | 2019-07-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 表示制御方法、表示制御装置及び制御プログラム |
CN106333643B (zh) * | 2015-07-10 | 2020-04-14 | 中兴通讯股份有限公司 | 用户健康的监测方法、监测装置以及监测终端 |
US10685488B1 (en) * | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
US9679497B2 (en) * | 2015-10-09 | 2017-06-13 | Microsoft Technology Licensing, Llc | Proxies for speech generating devices |
US10575728B2 (en) * | 2015-10-09 | 2020-03-03 | Senseye, Inc. | Emotional intelligence engine via the eye |
US10262555B2 (en) | 2015-10-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Facilitating awareness and conversation throughput in an augmentative and alternative communication system |
US10148808B2 (en) | 2015-10-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Directed personal communication for speech generating devices |
US11382545B2 (en) | 2015-10-09 | 2022-07-12 | Senseye, Inc. | Cognitive and emotional intelligence engine via the eye |
DE102015222388A1 (de) | 2015-11-13 | 2017-05-18 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug |
US10775882B2 (en) * | 2016-01-21 | 2020-09-15 | Microsoft Technology Licensing, Llc | Implicitly adaptive eye-tracking user interface |
JP6597397B2 (ja) * | 2016-02-29 | 2019-10-30 | 富士通株式会社 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
US9711056B1 (en) * | 2016-03-14 | 2017-07-18 | Fuvi Cognitive Network Corp. | Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills |
US9925549B2 (en) | 2016-03-21 | 2018-03-27 | Eye Labs, LLC | Head-mounted displays and attachments that enable interactive sensory experiences |
US9925458B2 (en) | 2016-03-21 | 2018-03-27 | Eye Labs, LLC | Scent dispersal systems for head-mounted displays |
US10726465B2 (en) | 2016-03-24 | 2020-07-28 | International Business Machines Corporation | System, method and computer program product providing eye tracking based cognitive filtering and product recommendations |
US10187694B2 (en) | 2016-04-07 | 2019-01-22 | At&T Intellectual Property I, L.P. | Method and apparatus for enhancing audience engagement via a communication network |
US10339659B2 (en) * | 2016-06-13 | 2019-07-02 | International Business Machines Corporation | System, method, and recording medium for workforce performance management |
US10074368B2 (en) | 2016-08-17 | 2018-09-11 | International Business Machines Corporation | Personalized situation awareness using human emotions and incident properties |
US10137893B2 (en) * | 2016-09-26 | 2018-11-27 | Keith J. Hanna | Combining driver alertness with advanced driver assistance systems (ADAS) |
US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
US10660517B2 (en) | 2016-11-08 | 2020-05-26 | International Business Machines Corporation | Age estimation using feature of eye movement |
US10602214B2 (en) | 2017-01-19 | 2020-03-24 | International Business Machines Corporation | Cognitive television remote control |
US10394324B2 (en) * | 2017-03-13 | 2019-08-27 | Disney Enterprises, Inc. | Configuration for adjusting a user experience based on a biological response |
US20180295317A1 (en) * | 2017-04-11 | 2018-10-11 | Motorola Mobility Llc | Intelligent Dynamic Ambient Scene Construction |
US10068620B1 (en) | 2017-06-20 | 2018-09-04 | Lp-Research Inc. | Affective sound augmentation for automotive applications |
US20180374023A1 (en) * | 2017-06-21 | 2018-12-27 | Lextant Corporation | System for creating ideal experience metrics and evaluation platform |
EP3430974A1 (en) | 2017-07-19 | 2019-01-23 | Sony Corporation | Main module, system and method for self-examination of a user's eye |
WO2019073661A1 (ja) * | 2017-10-13 | 2019-04-18 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム |
US20190230416A1 (en) * | 2018-01-21 | 2019-07-25 | Guangwei Yuan | Face Expression Bookmark |
WO2019154510A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
CN108310759B (zh) * | 2018-02-11 | 2021-04-16 | Oppo广东移动通信有限公司 | 信息处理方法及相关产品 |
US20190041975A1 (en) * | 2018-03-29 | 2019-02-07 | Intel Corporation | Mechanisms for chemical sense response in mixed reality |
US11821741B2 (en) | 2018-04-17 | 2023-11-21 | Lp-Research Inc. | Stress map and vehicle navigation route |
EP3912013A1 (en) | 2019-01-16 | 2021-11-24 | Pupil Labs GmbH | Methods for generating calibration data for head-wearable devices and eye tracking system |
US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
ES2801024A1 (es) * | 2019-06-26 | 2021-01-07 | Banco De Espana | Metodo y sistema de clasificacion de billetes basado en neuroanalisis |
US12102434B2 (en) * | 2019-07-02 | 2024-10-01 | Entropik Technologies Private Limited | System for estimating a user's response to a stimulus |
US11335342B2 (en) * | 2020-02-21 | 2022-05-17 | International Business Machines Corporation | Voice assistance system |
WO2022055383A1 (en) | 2020-09-11 | 2022-03-17 | Harman Becker Automotive Systems Gmbh | System and method for determining cognitive demand |
EP3984449B1 (en) | 2020-10-19 | 2023-09-13 | Harman Becker Automotive Systems GmbH | System and method for determining heart beat features |
US20240260872A1 (en) | 2021-05-28 | 2024-08-08 | Harman International Industries, Incorporated | System and method for quantifying a mental state |
CN113855022A (zh) * | 2021-10-11 | 2021-12-31 | 北京工业大学 | 基于眼动生理信号的情绪评估方法及装置 |
FR3129072B1 (fr) * | 2021-11-17 | 2023-09-29 | Robertet Sa | Procédé de caractérisation d’une stimulation olfactive |
US20230165459A1 (en) * | 2021-11-23 | 2023-06-01 | Eyelation, Inc. | Apparatus and method for dimensional measuring and personalizing lens selection |
WO2023146963A1 (en) * | 2022-01-26 | 2023-08-03 | The Regents Of The University Of Michigan | Detecting emotional state of a user based on facial appearance and visual perception information |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4931865A (en) * | 1988-08-24 | 1990-06-05 | Sebastiano Scarampi | Apparatus and methods for monitoring television viewers |
JPH07313494A (ja) * | 1994-05-27 | 1995-12-05 | Nec Corp | ストレス計測装置 |
JP2000508557A (ja) * | 1996-04-12 | 2000-07-11 | アイライト リサーチ ナムローゼ フェンノートシャップ | 刺激への反応におけるデータの測定と処理 |
US20040210159A1 (en) * | 2003-04-15 | 2004-10-21 | Osman Kibar | Determining a psychological state of a subject |
WO2005043453A1 (en) * | 2003-10-23 | 2005-05-12 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
Family Cites Families (95)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3507988A (en) * | 1966-09-15 | 1970-04-21 | Cornell Aeronautical Labor Inc | Narrow-band,single-observer,television apparatus |
US3712716A (en) * | 1971-04-09 | 1973-01-23 | Stanford Research Inst | Eye tracker |
GB1540992A (en) * | 1975-04-22 | 1979-02-21 | Smiths Industries Ltd | Display or other systems and equipment for use in such systems |
US3986030A (en) * | 1975-11-03 | 1976-10-12 | Teltscher Erwin S | Eye-motion operable keyboard-accessory |
US4075657A (en) * | 1977-03-03 | 1978-02-21 | Weinblatt Lee S | Eye movement monitoring apparatus |
US4146311A (en) * | 1977-05-09 | 1979-03-27 | Synemed, Inc. | Automatic visual field mapping apparatus |
US4574314A (en) * | 1982-05-28 | 1986-03-04 | Weinblatt Lee S | Camera autofocus technique |
US4528989A (en) * | 1982-10-29 | 1985-07-16 | Weinblatt Lee S | Screening method for monitoring physiological variables |
US4483681A (en) * | 1983-02-07 | 1984-11-20 | Weinblatt Lee S | Method and apparatus for determining viewer response to visual stimuli |
US4623230A (en) * | 1983-07-29 | 1986-11-18 | Weinblatt Lee S | Media survey apparatus and method using thermal imagery |
US4649434A (en) * | 1984-01-23 | 1987-03-10 | Weinblatt Lee S | Eyeglass-frame mountable view monitoring device |
US4582403A (en) * | 1984-03-05 | 1986-04-15 | Weinblatt Lee S | Head movement correction technique for eye-movement monitoring system |
US4659197A (en) * | 1984-09-20 | 1987-04-21 | Weinblatt Lee S | Eyeglass-frame-mounted eye-movement-monitoring apparatus |
US4647964A (en) * | 1985-10-24 | 1987-03-03 | Weinblatt Lee S | Technique for testing television commercials |
US4695879A (en) * | 1986-02-07 | 1987-09-22 | Weinblatt Lee S | Television viewer meter |
US4661847A (en) * | 1986-02-19 | 1987-04-28 | Weinblatt Lee S | Technique for monitoring magazine readers |
US4718106A (en) * | 1986-05-12 | 1988-01-05 | Weinblatt Lee S | Survey of radio audience |
US4837851A (en) * | 1987-08-28 | 1989-06-06 | Weinblatt Lee S | Monitoring technique for determining what location within a predetermined area is being viewed by a person |
US4974010A (en) * | 1989-06-09 | 1990-11-27 | Lc Technologies, Inc. | Focus control system |
US5090797A (en) * | 1989-06-09 | 1992-02-25 | Lc Technologies Inc. | Method and apparatus for mirror control |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
US4992867A (en) * | 1990-02-28 | 1991-02-12 | Weinblatt Lee S | Technique for monitoring magazine readers while permitting a greater choice for the reader of possible reading positions |
US5204703A (en) * | 1991-06-11 | 1993-04-20 | The Center For Innovative Technology | Eye movement and pupil diameter apparatus and method |
US5318442A (en) * | 1992-05-18 | 1994-06-07 | Marjorie K. Jeffcoat | Periodontal probe |
US5219322A (en) * | 1992-06-01 | 1993-06-15 | Weathers Lawrence R | Psychotherapy apparatus and method for treating undesirable emotional arousal of a patient |
US5517021A (en) * | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
US5406956A (en) * | 1993-02-11 | 1995-04-18 | Francis Luca Conte | Method and apparatus for truth detection |
US5617855A (en) * | 1994-09-01 | 1997-04-08 | Waletzky; Jeremy P. | Medical testing device and associated method |
JP3310498B2 (ja) * | 1994-09-02 | 2002-08-05 | 独立行政法人産業技術総合研究所 | 生体情報解析装置および生体情報解析方法 |
US5725472A (en) * | 1995-12-18 | 1998-03-10 | Weathers; Lawrence R. | Psychotherapy apparatus and method for the inputting and shaping new emotional physiological and cognitive response patterns in patients |
US6292688B1 (en) * | 1996-02-28 | 2001-09-18 | Advanced Neurotechnologies, Inc. | Method and apparatus for analyzing neurological response to emotion-inducing stimuli |
US5676138A (en) * | 1996-03-15 | 1997-10-14 | Zawilinski; Kenneth Michael | Emotional response analyzer system with multimedia display |
US6163281A (en) * | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
US6228038B1 (en) * | 1997-04-14 | 2001-05-08 | Eyelight Research N.V. | Measuring and processing data in reaction to stimuli |
WO1999018842A1 (en) * | 1997-10-16 | 1999-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
KR100281650B1 (ko) * | 1997-11-13 | 2001-02-15 | 정선종 | 긍정/부정 감성 상태 판별을 위한 뇌파 분석 방법 |
IL122632A0 (en) * | 1997-12-16 | 1998-08-16 | Liberman Amir | Apparatus and methods for detecting emotions |
US6125806A (en) * | 1998-06-24 | 2000-10-03 | Yamaha Hatsudoki Kabushiki Kaisha | Valve drive system for engines |
US6190314B1 (en) * | 1998-07-15 | 2001-02-20 | International Business Machines Corporation | Computer input device with biosensors for sensing user emotions |
US6090051A (en) * | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
US6422999B1 (en) * | 1999-05-13 | 2002-07-23 | Daniel A. Hill | Method of measuring consumer reaction |
US6401050B1 (en) * | 1999-05-21 | 2002-06-04 | The United States Of America As Represented By The Secretary Of The Navy | Non-command, visual interaction system for watchstations |
US6480826B2 (en) * | 1999-08-31 | 2002-11-12 | Accenture Llp | System and method for a telephonic emotion detection that provides operator feedback |
US6151571A (en) * | 1999-08-31 | 2000-11-21 | Andersen Consulting | System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters |
US6353810B1 (en) * | 1999-08-31 | 2002-03-05 | Accenture Llp | System, method and article of manufacture for an emotion detection system improving emotion recognition |
US6697457B2 (en) * | 1999-08-31 | 2004-02-24 | Accenture Llp | Voice messaging system that organizes voice messages based on detected emotion |
US6427137B2 (en) * | 1999-08-31 | 2002-07-30 | Accenture Llp | System, method and article of manufacture for a voice analysis system that detects nervousness for preventing fraud |
US6463415B2 (en) * | 1999-08-31 | 2002-10-08 | Accenture Llp | 69voice authentication system and method for regulating border crossing |
US6346887B1 (en) * | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
US20020007105A1 (en) * | 1999-10-29 | 2002-01-17 | Prabhu Girish V. | Apparatus for the management of physiological and psychological state of an individual using images overall system |
US6826540B1 (en) * | 1999-12-29 | 2004-11-30 | Virtual Personalities, Inc. | Virtual human interface for conducting surveys |
TW482985B (en) * | 2000-01-03 | 2002-04-11 | Amova Company | Automatic media and advertising system |
US6453194B1 (en) * | 2000-03-29 | 2002-09-17 | Daniel A. Hill | Method of measuring consumer reaction while participating in a consumer activity |
US6884596B2 (en) * | 2000-04-28 | 2005-04-26 | The Regents Of The University Of California | Screening and therapeutic methods for promoting wakefulness and sleep |
US7680602B2 (en) * | 2000-05-31 | 2010-03-16 | Daniel Alroy | Concepts and methods for identifying brain correlates of elementary mental states |
US6862457B1 (en) * | 2000-06-21 | 2005-03-01 | Qualcomm Incorporated | Method and apparatus for adaptive reverse link power control using mobility profiles |
US6434419B1 (en) * | 2000-06-26 | 2002-08-13 | Sam Technology, Inc. | Neurocognitive ability EEG measurement method and system |
US6429868B1 (en) * | 2000-07-13 | 2002-08-06 | Charles V. Dehner, Jr. | Method and computer program for displaying quantitative data |
JP3824848B2 (ja) * | 2000-07-24 | 2006-09-20 | シャープ株式会社 | 通信装置および通信方法 |
US6873314B1 (en) * | 2000-08-29 | 2005-03-29 | International Business Machines Corporation | Method and system for the recognition of reading skimming and scanning from eye-gaze patterns |
IL138955A (en) * | 2000-10-11 | 2007-08-19 | Shlomo Lampert | Reaction measurement method and system |
WO2002033541A2 (en) * | 2000-10-16 | 2002-04-25 | Tangis Corporation | Dynamically determining appropriate computer interfaces |
US6964023B2 (en) * | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
US6572562B2 (en) * | 2001-03-06 | 2003-06-03 | Eyetracking, Inc. | Methods for monitoring affective brain function |
EP1262844A1 (en) * | 2001-06-01 | 2002-12-04 | Sony International (Europe) GmbH | Method for controlling a man-machine-interface unit |
RU2330607C2 (ru) * | 2001-06-13 | 2008-08-10 | Компьюмедикс Лимитед | Способ и устройство для мониторинга сознания |
US7953219B2 (en) * | 2001-07-19 | 2011-05-31 | Nice Systems, Ltd. | Method apparatus and system for capturing and analyzing interaction based content |
US20030040921A1 (en) * | 2001-08-22 | 2003-02-27 | Hughes Larry James | Method and system of online data collection |
US7113916B1 (en) * | 2001-09-07 | 2006-09-26 | Hill Daniel A | Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli |
US20030078838A1 (en) * | 2001-10-18 | 2003-04-24 | Szmanda Jeffrey P. | Method of retrieving advertising information and use of the method |
US6598971B2 (en) * | 2001-11-08 | 2003-07-29 | Lc Technologies, Inc. | Method and system for accommodating pupil non-concentricity in eyetracker systems |
US6585521B1 (en) * | 2001-12-21 | 2003-07-01 | Hewlett-Packard Development Company, L.P. | Video indexing based on viewers' behavior and emotion feedback |
US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
US7249603B2 (en) * | 2002-04-03 | 2007-07-31 | The Procter & Gamble Company | Method for measuring acute stress in a mammal |
KR100485906B1 (ko) * | 2002-06-26 | 2005-04-29 | 삼성전자주식회사 | 정서유도 장치 및 방법 |
US20040092809A1 (en) * | 2002-07-26 | 2004-05-13 | Neurion Inc. | Methods for measurement and analysis of brain activity |
US20070100666A1 (en) * | 2002-08-22 | 2007-05-03 | Stivoric John M | Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices |
US20080071136A1 (en) * | 2003-09-18 | 2008-03-20 | Takenaka Corporation | Method and Apparatus for Environmental Setting and Data for Environmental Setting |
EP1524586A1 (en) * | 2003-10-17 | 2005-04-20 | Sony International (Europe) GmbH | Transmitting information to a user's body |
US7141028B2 (en) * | 2003-12-17 | 2006-11-28 | Mcnew Barry | Apparatus, system, and method for creating an individually, balanceable environment of sound and light |
RU2395228C2 (ru) * | 2004-04-01 | 2010-07-27 | Уилльям С. ТОРЧ | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения |
US20050228785A1 (en) * | 2004-04-02 | 2005-10-13 | Eastman Kodak Company | Method of diagnosing and managing memory impairment using images |
US9076343B2 (en) * | 2004-04-06 | 2015-07-07 | International Business Machines Corporation | Self-service system for education |
US20050289582A1 (en) * | 2004-06-24 | 2005-12-29 | Hitachi, Ltd. | System and method for capturing and using biometrics to review a product, service, creative work or thing |
US20060058627A1 (en) * | 2004-08-13 | 2006-03-16 | Flaherty J C | Biological interface systems with wireless connection and related methods |
US7914468B2 (en) * | 2004-09-22 | 2011-03-29 | Svip 4 Llc | Systems and methods for monitoring and modifying behavior |
US20060253166A1 (en) * | 2005-01-06 | 2006-11-09 | Flaherty J C | Patient training routine for biological interface system |
US8095209B2 (en) * | 2005-01-06 | 2012-01-10 | Braingate Co., Llc | Biological interface system with gated control signal |
US8812096B2 (en) * | 2005-01-10 | 2014-08-19 | Braingate Co., Llc | Biological interface system with patient training apparatus |
US8060194B2 (en) * | 2005-01-18 | 2011-11-15 | Braingate Co., Llc | Biological interface system with automated configuration |
JP2006350705A (ja) * | 2005-06-16 | 2006-12-28 | Fujifilm Holdings Corp | 情報提供装置および方法並びにプログラム |
JP2007144113A (ja) * | 2005-10-25 | 2007-06-14 | Olympus Corp | 生体情報収集及び提示装置並びに瞳孔径測定装置 |
US20070150916A1 (en) * | 2005-12-28 | 2007-06-28 | James Begole | Using sensors to provide feedback on the access of digital content |
WO2008129356A2 (en) * | 2006-03-13 | 2008-10-30 | Imotions-Emotion Technology A/S | Visual attention and emotional response detection and display system |
MX2009002419A (es) * | 2006-09-07 | 2009-03-16 | Procter & Gamble | Metodos para medir la respuesta emocional y preferencia de seleccion. |
-
2006
- 2006-09-18 WO PCT/IB2006/004174 patent/WO2007102053A2/en active Application Filing
- 2006-09-18 EP EP06849514A patent/EP1924941A2/en not_active Ceased
- 2006-09-18 JP JP2008530666A patent/JP2009508553A/ja active Pending
- 2006-09-18 US US11/522,476 patent/US20070066916A1/en not_active Abandoned
- 2006-09-18 CA CA002622365A patent/CA2622365A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4931865A (en) * | 1988-08-24 | 1990-06-05 | Sebastiano Scarampi | Apparatus and methods for monitoring television viewers |
JPH07313494A (ja) * | 1994-05-27 | 1995-12-05 | Nec Corp | ストレス計測装置 |
JP2000508557A (ja) * | 1996-04-12 | 2000-07-11 | アイライト リサーチ ナムローゼ フェンノートシャップ | 刺激への反応におけるデータの測定と処理 |
US20040210159A1 (en) * | 2003-04-15 | 2004-10-21 | Osman Kibar | Determining a psychological state of a subject |
WO2005043453A1 (en) * | 2003-10-23 | 2005-05-12 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011042989A1 (ja) * | 2009-10-09 | 2011-04-14 | Kikuchi Kouichi | 視認情景に対する視認者情感判定装置 |
JP5445981B2 (ja) * | 2009-10-09 | 2014-03-19 | 渡 倉島 | 視認情景に対する視認者情感判定装置 |
JP2011120824A (ja) * | 2009-12-14 | 2011-06-23 | Tokyo Univ Of Agriculture & Technology | 感性評価装置、感性評価方法、及び感性評価プログラム |
JP2014515291A (ja) * | 2011-05-20 | 2014-06-30 | アイフルエンス,インコーポレイテッド | 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法 |
JP2013099373A (ja) * | 2011-11-07 | 2013-05-23 | Fujitsu Ltd | 非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法 |
JP5718494B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
JP5718493B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718492B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718495B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
KR101585830B1 (ko) * | 2015-06-22 | 2016-01-15 | 이호석 | 시청자 감정에 따른 스토리 전개 시스템 및 방법 |
CN108366764A (zh) * | 2015-10-01 | 2018-08-03 | 株式会社夏目综合研究所 | 排除明暗、呼吸和脉搏的影响的观看者情绪判定装置、观看者情绪判定系统和程序 |
JP2017086530A (ja) * | 2015-11-11 | 2017-05-25 | 日本電信電話株式会社 | 印象推定装置、印象推定方法、およびプログラム |
JP2017086529A (ja) * | 2015-11-11 | 2017-05-25 | 日本電信電話株式会社 | 印象推定装置およびプログラム |
JP2017202047A (ja) * | 2016-05-10 | 2017-11-16 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
CN106175672A (zh) * | 2016-07-04 | 2016-12-07 | 中国科学院生物物理研究所 | 基于“大范围首先”知觉组织的行为评测系统及其应用 |
CN106175672B (zh) * | 2016-07-04 | 2019-02-19 | 中国科学院生物物理研究所 | 基于“大范围首先”知觉组织的行为评测系统及其应用 |
KR20210002791A (ko) * | 2019-07-01 | 2021-01-11 | 한국생산기술연구원 | 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법 |
KR102239694B1 (ko) * | 2019-07-01 | 2021-04-13 | 한국생산기술연구원 | 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법 |
JP2021019983A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社豊田中央研究所 | 心理状態判定装置 |
JP7170274B2 (ja) | 2019-07-30 | 2022-11-14 | 株式会社豊田中央研究所 | 心理状態判定装置 |
Also Published As
Publication number | Publication date |
---|---|
CA2622365A1 (en) | 2007-09-13 |
EP1924941A2 (en) | 2008-05-28 |
WO2007102053A2 (en) | 2007-09-13 |
WO2007102053A3 (en) | 2008-03-20 |
US20070066916A1 (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009508553A (ja) | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 | |
US11617559B2 (en) | Augmented reality systems and methods for user health analysis | |
EP3709861B1 (en) | Systems for visual field analysis | |
Jyotsna et al. | Eye gaze as an indicator for stress level analysis in students | |
Fritz et al. | Using psycho-physiological measures to assess task difficulty in software development | |
Perry et al. | Don't stand so close to me: A behavioral and ERP study of preferred interpersonal distance | |
Bekele et al. | Understanding how adolescents with autism respond to facial expressions in virtual reality environments | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
JP6404239B2 (ja) | 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム | |
CN108078573B (zh) | 一种基于生理反应信息与刺激信息的兴趣取向值测验方法 | |
US20040210159A1 (en) | Determining a psychological state of a subject | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
Bekele et al. | Design of a virtual reality system for affect analysis in facial expressions (VR-SAAFE); application to schizophrenia | |
KR20150076167A (ko) | 감각 및 인지 프로파일링을 위한 시스템 및 방법 | |
Przybyło et al. | Eyetracking-based assessment of affect-related decay of human performance in visual tasks | |
Agrigoroaie et al. | Cognitive Performance and Physiological Response Analysis: Analysis of the Variation of Physiological Parameters Based on User’s Personality, Sensory Profile, and Morningness–Eveningness Type in a Human–Robot Interaction Scenario | |
Andruccioli et al. | Arousal effects on fitness-to-drive assessment: algorithms and experiments | |
Rafique et al. | Towards estimation of emotions from eye pupillometry with low-cost devices | |
Bekele et al. | Virtual reality-based facial expressions understanding for teenagers with autism | |
WO2023037714A1 (en) | Information processing system, information processing method and computer program product | |
Andreeßen | Towards real-world applicability of neuroadaptive technologies: investigating subject-independence, task-independence and versatility of passive brain-computer interfaces | |
Biele et al. | Movement in virtual reality | |
Notenboom | Using Technology to Recognise Emotions in Autistic People | |
CN117120958A (zh) | 压力检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110208 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110628 |