JP2018521381A - 感情検出システム - Google Patents

感情検出システム Download PDF

Info

Publication number
JP2018521381A
JP2018521381A JP2017557112A JP2017557112A JP2018521381A JP 2018521381 A JP2018521381 A JP 2018521381A JP 2017557112 A JP2017557112 A JP 2017557112A JP 2017557112 A JP2017557112 A JP 2017557112A JP 2018521381 A JP2018521381 A JP 2018521381A
Authority
JP
Japan
Prior art keywords
subject
emotion detection
data set
image data
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017557112A
Other languages
English (en)
Other versions
JP6752819B2 (ja
Inventor
ナタン,オフィル
ナブワニ,アヨーブ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2018521381A publication Critical patent/JP2018521381A/ja
Application granted granted Critical
Publication of JP6752819B2 publication Critical patent/JP6752819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本明細書に開示される感情検出システムは、監視される対象のプライバシー及びセキュリティを能動的に保護する。この保護の提供は、上記システムを、従来の感情検出器から区別する。いくつかの例において、自己充足型の感情検出装置が、対象の感情状態を記述した匿名データを感情検出システム内の他の装置に提供すると同時に、対象のアイデンティティを保護する。こうした例において、感情検出装置は、装置により取得された生イメージデータをもっぱら装置内のカプセル化された記憶場所に隔離することによって、対象のアイデンティティを保護する。匿名データを提供するために、感情検出装置は、最初、生イメージデータを処理して対象の顔のイメージ内の目印点を識別する。次に、感情検出装置は、目印点を汎用顔に正規化し、正規化された目印点を記述した匿名データセットを後続処理のために他の装置に送信する。

Description

従来の感情検出器は、事象に対する人の反応を記述したデータを取得し、記録する。従来の感情検出器は、さらに、記録されたデータを解析して、事象に対する人の感情的な反応を解釈する。感情検出器により記録、解析、及び解釈される反応には、人の発話、顔の表情、生理学的信号、装置使用パターン等が含まれる。有効であるために、多くの感情検出器は、人が閾レベルの活動を提示することを必要とする。例えば、人の発話に基づく感情検出器は、人が1つ以上の検出可能な表現を発することを必要とする。同様に、装置使用パターンに基づく感情検出器は、人が物体(例えば、マウス又はキーボード)を操作してベースライン使用パターンを確立することを必要とする。他の感情検出器では、センサが有効であるように人と物理的に接触することを必要とする。例えば、人の生理学的状態に基づく感情検出器は、人が1つ以上のセンサ(例えば、心電図電極、皮膚コンダクタンスセンサ等)を装着することを必要とする。従来の感情検出器の使用を通してもたらされる利点には、システムにより生成された事象に対する人の反応を持続的に記録し、後に解析するシステムの能力が含まれる。
著作権保護対象資料の通知
本特許文献内の資料の一部は、米国及び他国の著作権法下で著作権保護を受ける。著作権の所有者は、特許文献又は特許開示が米国特許商標庁の公的に利用可能なファイル又は記録において出現する限り、何人によるそのファクシミリ複製にも反論を有さないが、そうでない場合は何であれすべての著作権を留保する。著作権所有者はここで、37 C.F.R.§1.14に従うその権利を限定なく含め、本特許文献を秘密に維持させるその権利のいずれも放棄しない。
本開示の一実施形態に従い構成された感情検出装置を示す。 本開示の一実施形態に従い構成された感情検出処理を示す。 本開示の一実施形態に従い構成された感情検出処理を実行する感情検出装置を示す。 本開示の一実施形態に従い構成された感情検出システムを示す。 本開示の一実施形態に従い構成された感情監視処理を示す。 本開示の一実施形態に従い構成された感情監視処理を実行する感情検出システムを示す。 本開示の一実施形態に従い構成されたコンピューティングシステムを示す。 本開示の一実施形態に従い構成されたモバイルコンピューティングシステムを示す。
本明細書に開示される感情検出システムは、監視される対象(subjects)のプライバシー及びセキュリティを能動的に保護する。この保護の提供は、本明細書に説明されるシステムを、従来の感情検出器から区別する。いくつかの例示的な実施形態において、自己充足型の感情検出装置が、対象の感情状態を記述した匿名データを感情検出システム内の他の装置に提供すると同時に、対象のアイデンティティ(identity)を保護する。こうした例において、感情検出装置は、装置により取得された生(raw)イメージデータをもっぱら装置内のカプセル化された記憶場所内に隔離することにより、対象のアイデンティティを保護する。匿名データを提供するために、感情検出装置は、最初、生イメージデータを処理して対象の顔のイメージ内の目印点を識別する。次に、感情検出装置は、目印点を汎用顔(generic face)に正規化し、正規化された目印点を記述した匿名データセットを後続処理のために他の装置に送信する。いくつかの例において、上記他の装置は、対象に提示される刺激を記述した情報と関連して、匿名データセットを処理して、対象の感情状態を識別し、記録する。上記刺激には、非インタラクティブコンテンツ(例えば、本、テレビジョン、ムービー、ラジオ番組、音楽、広告等)を含むことができる。刺激は、また、インタラクティブコンテンツ(例えば、ゲーム、ショッピング等)を含んでもよい。いくつかの例において、感情検出システム内の他の装置は、刺激を調整すること(例えば、価格、プロット、音楽ジャンル等を調整すること)により、対象の感情状態に影響するよう試みる。本明細書に提供される様々な例示的実施形態が、顔のイメージを参照するが、他のターゲット特徴が、対象の感情状態を評価するのに同様に使用でき、いくつか例を挙げると、例えば、音声記録、身体姿勢及び/又はジェスチャイメージ、並びにバイオメトリックデータ、例えば心拍及び血圧などである。十分理解されるであろうように、本明細書に提供される手法を使用して、任意のこうしたターゲット生データを装置内にカプセル化し、そのデータ内の目印点を識別し、目印点を汎用モデル(例えば、汎用音声を用いてユーザの抑揚と高くなった音程とを繰り返す汎用音声モデル、又は、汎用身体を用いてユーザの身体言語及び/又はジェスチャを繰り返す汎用胴部モデルなど)に正規化することができる。いずれの上記例示的場合においても、正規化された目印点を記述した匿名データセットを、後続処理のために他の装置に送信することができる。
上記例示的態様及び実施形態のさらに他の態様、実施形態、及び利点が、下記で詳細に論じられる。さらに、前述の情報及び下記の詳細な説明の双方は、様々な態様及び実施形態の単に例示であり、請求される態様及び実施形態の性質及び特性を理解するための概観又はフレームワークを提供するよう意図される。「一実施形態」、「他の実施形態」、「一例」、「いくつかの実施形態」、「いくつかの例」、「代替的な一実施形態」、「様々な実施形態」、「1つの実施形態」、「少なくとも1つの実施形態」、「別の実施形態」、「この及び他の実施形態」、又は同様のものに対する参照は、必ずしも相互排他的でなく、実施形態又は例に関連して説明される特定の特徴、構造、又は特性が少なくとも1つの実施形態又は例に含まれ得ることを示すよう意図される。本明細書におけるこうした用語の出現は、必ずしもすべて同一の実施形態又は例を参照しない。本明細書に開示される任意の実施形態又は例が、任意の他の実施形態又は例と組み合わせられてもよい。
さらに、本明細書に用いられる語法及び用語は説明を目的としており、限定とみなされるべきではない。本明細書で単数において参照されるシステム及び方法の例、実施形態、コンポーネント、要素、又は動作に対するいかなる参照も、複数を含む実施形態をさらに包含することがあり、本明細書における任意の実施形態、コンポーネント、要素、又は動作に対する複数におけるいかなる参照も、単数のみ含む実施形態をさらに包含することがある。単数又は複数形における参照は、現在開示されるシステム若しくは方法、そのコンポーネント、動作、又は要素を限定するようには意図されない。本明細書における「含める」、「含む」、「有する」、「含有する」、「伴う」、及びこれらの派生語の使用は、その後に列挙されるアイテム及びその均等物並びにさらなるアイテムを包含するよう意図される。「又は」に対する参照は包括的とみなされることがあり、したがって、「又は」を用いて説明されるいかなる用語も、説明される用語のうち1つ、1つより多く、及びすべてのうち、任意のものを示すことがある。さらに、本文献と本明細書において参照により援用される文献との間で用語の使用が矛盾する事象においては、援用参照における用語使用が本文献のそれに対する補足であり、共存できない矛盾について、本文献における用語使用がコントロールする。
概要
前に説明されたように、従来の感情検出器はいくつかの恩恵を提供するが、適用に依存して、さらに欠点にも悩まされる。例えば、プライバシーに関して、大抵の人間の対象は、一定の見張りに晒されたくはない。このことは、見張りが上記人間の対象の正確な肖像及び振る舞いを持続的に記録する場合、特に当てはまる。さらに、大抵の人間の対象は、見張り記録が誤使用され、盗まれ、あるいはその他の方法で自分達の許可なく使用されることについて、懸念する。対比を目的として、大抵の人間のユーザは、カメラに自分達のあらゆる動きを連続的に記録させることに反対し、自身を表現すること又は自分達の感情反応を匿名的に解析されることに反対しない。
ゆえに、本開示のいくつかの例に従い、感情検出装置及びシステムが提供され、これにおいて、対象の感情状態を示す出力データは匿名である(すなわち、出力データは対象の個人アイデンティティを示さず、そのため、例えば、対象の実際のアイデンティティは出力データに含まれない)。上記感情検出装置及びシステムは、例えばデータを汎用対象のモデルに正規化することにより、匿名データを生成することによって、少なくとも従来の感情検出器とは異なる。いくつかのこうした例において、この匿名データは、感情検出装置により提供される唯一の出力である。上記例において、感情検出装置は、匿名データを提供する前に、対象を識別するのに使用できる情報(例えば、対象の顔、音声、身体姿勢及びジェスチャリング、又は他の検出可能な、識別する特質を記述した情報)を削除する。こうして、上記例は、監視される対象のプライバシー及びセキュリティに対するさらなる保護を提供する。
いくつかの例において、感情検出装置は、さらなる特徴を含む感情検出システムに組み込まれる。例えば、いくつかの例が、1つ以上の感情検出装置と、該感情検出装置により送信される匿名データを解析する1つ以上のリモート装置と、上記感情検出装置を上記リモート装置に結合するネットワークと、を含む感情検出システムを含む。上記例において、リモート装置は、匿名データを受信し、匿名データをマイニングして個々の対象の感情状態を分類する。次いで、個々の感情状態を示す感情識別子が、後続処理のためにセキュアに記憶される。
いくつかの例において、感情検出システムは、1つ以上の刺激コントローラをさらに含む。上記例において、リモート装置は、1つ以上の刺激コントローラの動作を自動的に制御するように構成できる。この制御は、匿名データ又は感情識別子の解析によって起こせる。例えば、いくつかの例において、リモート装置は、対象の匿名データセットを解析し、匿名データに関連付けられる実行すべき応答的アクションを識別する。応答的アクションを識別することに対する応答で、リモート装置は、上記応答的アクションを実行する。例えば、リモート装置が、第1の刺激に関連して否定的感情状態を検出する場合、リモート装置は、第2の刺激を指定する応答的アクションを識別することができる。こうした応答的アクションを識別することに応答して、リモート装置は、第2の刺激を生成するように、刺激メッセージを生成し、少なくとも1つの刺激コントローラに送信することができる。この例において、刺激メッセージを受信することに応答して、刺激コントローラは、対象に第2の刺激を提示する。
本明細書に開示される上記及び他の例は、従来の感情検出器を超える様々なさらなる利点を提供する。例えば、本明細書に説明されるいくつかの例において、対象の実際の撮影は行われず、イメージデータは永続的に記憶されず、生イメージデータが、汎用目的プログラマブル装置(例えば、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレット等)によってでなく特化された装置(例えば、感情検出装置)によって解析される。従来の感情検出器に対する対比を目的として、上記手法は、生イメージデータがプライバシー及びセキュリティ脅威により晒されるところのソフトウェアスタックの上位レイヤにおいて、汎用目的プログラマブル装置が生イメージデータを解析することを防止する。他の例において、感情検出装置は、入力データが取得された後、対象のアイデンティティを記述した入力データを取得するのに使用されるカメラ、マイクロフォン、又は他の入力を非アクティブ化する。こうして、上記例は、入力データ及び出力データに対して承認されていないアクセスを得ることの困難さを増大させる。さらに、いくつかの例によれば、感情検出システムは、下記でさらに詳細に説明されるように、匿名データを効率的に利用して、多くの価値あるアクションを達成する。
より特化された一例において、感情検出システムは、顔のイメージを用いて対象の感情状態を監視する。この感情検出システムは対象にとって都合よく、なぜならば、それがあまり侵襲的でなく、他タイプの感情検出システムよりもより低い閾値の対象活動を必要とするからである。さらに、この感情検出システムは、自己完結型のユニタリな(unitary)感情検出装置内でイメージデータを捕捉し、解析し、削除することにより、自分達の肖像の承認されていない記録又は使用に関する対象の懸念に対処する。こうした感情検出装置の1つの例、プライベート感情認識センサ(private emotion recognition sensor)(PERS)が、下記でさらに説明される。
この感情検出装置は、カメラ、顔イメージ処理コンポーネント、データ記憶装置、及びデータ送信コンポーネントを含むことができる。いくつかの例において、カメラは、対象の顔を記述したイメージデータを取得する。顔イメージ処理コンポーネントは、イメージデータを処理して、対象の顔の物理的状態を記述したデータの匿名セットを生成する。この匿名データセットは、対象の感情状態に関する詳細を決定するようさらに解析できるが、対象のアイデンティティを決定することに使用できない。この装置は、他の感情指示特徴(emotion-indicating features)に対して容易に外挿される(extrapolated)ことができる。例えば、別の実施形態において、感情検出装置は、マイクロフォン、音声処理コンポーネント、データ記憶装置、及びデータ送信コンポーネントを含むことができる。こうした例において、マイクロフォンは、対象の口頭発声を記述した音声データを取得する。音声処理コンポーネントは、音声データを処理して、対象の音声の状態を(抑揚、ラウドネス等に関して)記述したデータの匿名セットを生成する。この匿名データセットは、対象の感情状態に関する詳細を決定するようさらに解析できるが、対象のアイデンティティを決定することに使用できない。他の例において、感情検出装置は、カメラ、身体姿勢及びジェスチャイメージ処理コンポーネント、データ記憶装置、並びにデータ送信コンポーネントを含むことができる。こうした例において、カメラは、対象の身体姿勢及びジェスチャリング状態を記述した身体姿勢及び/又はジェスチャデータを取得する。イメージ処理コンポーネントは、イメージデータを処理して、対象の身体及び/又はジェスチャリングの物理的状態を記述したデータの匿名セットを生成する。この匿名データセットは、対象の感情状態に関する詳細を決定するようさらに解析できるが、対象のアイデンティティを決定することに使用できない。本開示を考慮し、多数の他の変形が明らかになるであろう。具体的なターゲット感情指示特徴の選択は、対象の感情状態を識別するようデータを処理することにおける所望の計算負荷などのファクタに依存する。任意のこうしたターゲット感情指示特徴を、本明細書に様々に提供されるようにそのままで、あるいは所与の対象の感情状態のより総合的な理解を得る努力において他のターゲット感情指示特徴と関連して(例えば、顔及び音声、又は、顔及びジェスチャなど)、解析し、使用することができる。いずれの上記場合においても、生の感情指示データが匿名の同等物に変換され、生データ自体は破棄されて、対象のアイデンティティを保護することができる。
感情検出装置
図1は、感情検出装置の1つの例、PERS100を示す。PERS100は、プログラマブル装置を用いて実装でき、例えば、下記で図9及び図10を参照して説明されるシステムのコンポーネントのうち任意のものを用いて製作されてもよい。図1に示されるように、PERS100は、ハウジング102を含み、ハウジング102内に、カメラ104、顔イメージプロセッサ106、及び出力バッファ114が配設される。いくつかの例において、ハウジングは、プラスチック、アルミニウム、又は何らかの他の耐久性のある材料で作られる。ハウジング102は、留め具を含むことができ、上記留め具は、ハウジングが様々な場所及び向き又は様々な構造において設置されることを可能にする。例えば、ハウジング102は、クランプ、樹脂、面ファスナー、又は他のメカニズムを含んで、感情検出装置がカウンタ、コンピュータモニタ、壁、ビルボード、標識、椅子、セキュリティカメラ、又は他の場所に設置されることを可能にすることができる。いくつかの例において、カメラ104は2次元カメラである。他の例において、カメラ104は3次元カメラである。いくつかの例において、PERS100は、回路を有するネットワークインターフェース(例えば、有線又は無線送受信器、コネクタ、アンテナ等)と、PERS100が通信ネットワークを介して他の装置と通信することを集合的に可能にするソフトウェアスタックとをさらに含む。
図1に表されるように、顔イメージプロセッサ106は、入力フレームバッファ108、顔検出モジュール110、及び目印点抽出モジュール112を含む。入力フレームバッファ108及び出力バッファ114は、ハウジング102内に含まれる様々なデータ記憶装置、例えば、オンチップメモリ又はオフチップメモリなどから割り当てできる。顔検出モジュール110及び目印点抽出モジュール112は、ハードウェア、又はハードウェア及びソフトウェアの組み合わせにおいて実装できる。顔イメージプロセッサ106が顔検出モジュール110及び目印点抽出モジュール112を介して実行するよう構成される処理の例が、下記で図2及び図3を参照してさらに説明される。
いくつかの例によれば、感情検出装置は、対象の感情状態を示す匿名データを生成する処理を実行する。図2は、こうした例に従う検出処理200を示す。図2に示されるように、検出処理200は、感情検出装置が1つ以上の顔の表情を記述した匿名データセットを後続処理のために他の装置にプライベートかつセキュアに提供することを組み合わせで可能にするいくつかの動作を含む。
動作202において、検出処理200を実行する装置は、装置の1つ以上のコンポーネント(例えば、カメラ、メモリ、プロセッサ、ネットワーキングインターフェース、イメージ処理モジュール等)を初期化する。動作204において、装置は、イメージデータについてカメラをポーリングする。イメージデータは、1つ以上のフレームを含むことができる。これらフレームは、対象の顔の生イメージデータを含むことができる。いくつかの例において、生イメージデータは3次元イメージデータを含む。別の例において、生イメージデータは2次元イメージデータを含む。
動作206において、装置は、上記1つ以上のフレームのうちいずれかが対象の顔のイメージを含むかどうかを決定する。そうである場合、装置は動作208に進む。そうでない場合、装置は動作218に進む。動作208において、装置は、後続処理のためにフレームを記憶する。さらに、少なくとも1つの例において、装置は、セキュリティ対策として動作208内でカメラを非アクティブ化する。動作208においてカメラを非アクティブ化することにより、装置は、装置上で実行するいかなる承認されたプロセスによってもさらなるイメージデータが取得されないことを確保するのに役立つ。
動作210において、装置は、上記イメージを解析して、対象の感情状態を示すデータを識別し、記憶する。いくつかの例において、装置は、インテル(登録商標)RealsenseTMテクノロジーを実行して、顔のイメージ内の目印点を識別する。目印点は、顔の特徴、例えば、唇、眉毛、まぶた等のアイデンティティ及び向きを指定する点の集合である。1つの例において、装置は、対象の感情状態を組み合わせで示す78個の目印点を識別する。
動作212において、装置は、さらなるセキュリティ対策として上記フレームを削除する。動作212においてフレームを削除することにより、装置は、フレームが記憶される時間の量と、フレーム及び目印点が装置の記憶装置内に共存する時間の量とを制限する。
動作214において、装置は、動作210において識別された目印点を汎用顔に対して正規化することにより、匿名データセットを生成する。この正規化処理は、顔のイメージ内で識別された各目印点を汎用顔のモデル内の対応する目印点にマッピングすることによって達成でき、そのため、顔の全体的表現は、顔のイメージから汎用顔に変換される。いくつかの例において、匿名データセットは、汎用顔のモデルにおける点及び点の場所を識別する値を記憶したフィールドを有するデータの要素を含む。上記場所フィールドに記憶された値は、2次元又は3次元の情報を含むことができる。次に、動作212において、装置は、後続処理のために匿名データセットを記憶する。
動作216において、装置は、匿名データセットを、事前定義された構成可能パラメータの値により指定されるアドレスに送信する。このアドレスは、ローカルアドレス、すなわち装置に対して一体的であるコンポーネントのアドレス、又は、リモートアドレス、すなわち装置に対して一体的でないコンポーネントのアドレスであり得る。動作218において、装置は、シャットダウンが差し迫っているかどうかを決定する。そうである場合、検出処理200は終了する。そうでない場合、検出処理200は動作204に進む。
検出処理200に従う処理は、感情検出装置が対象の感情状態を記述したデータをプライベートかつセキュアに生成し、通信することを可能にする。
図3は、1つの例示的な感情検出装置の動作を示す入力‐出力図である。より詳細には、図3は、図2の検出処理200を実行する図1のPERS100を表す。図1及び図2の組み合わせにおいて図3を主に参照し、PERS100は、動作204を実行して、イメージについてカメラ104をポーリングする。カメラ104は、3次元イメージデータを含むフレームを取得し、フレームを顔イメージプロセッサ106に送信する。顔イメージプロセッサ106の顔検出モジュール110は、動作206を実行することによりイメージ内の顔を検出し、動作208を実行することによりフレームを入力フレームバッファに記憶する。次に、顔イメージプロセッサ106の目印点抽出モジュール112が、動作210を実行してイメージを解析し、点の集合302により示されるように、目印点を識別する。
上記の例を継続し、顔イメージプロセッサ106は、動作212及び214を実行して上記フレームを削除し、匿名データセット304を生成し、匿名データセットを出力バッファ114に記憶する。この時点で、PERS100は、動作216を実行して、匿名データセットをさらなる処理のために別の装置に送信することができる。
上記で説明されたコンポーネントは、イメージデータを処理して対象の感情状態を決定するが、他の例が、同じ目的に対して対象についての他の識別可能な特質を使用する。例えば、1つの例において、感情検出装置が、図1に示されるアーキテクチャに類似したアーキテクチャを実装して、対象により行われる声の発生を処理することによって対象の感情状態を決定する。こうした例において、顔イメージプロセッサ106は、人間の声の発生を検出し、かつ声の発生により表現されるように対象の感情状態を記述した匿名データセットを抽出するように構成された音声プロセッサで、置換される。この匿名データセットは、発せられた言葉と、言葉が声に出された仕方(例えば、ボリューム、ピッチ、速度等)とを記述したデータを含むことができる。
感情検出システム
図4は、対象410の感情状態を監視し、かつ該感情状態に任意選択で影響するように構成された感情検出システム400を示す。図示されるように、感情検出システム400は、感情検出装置402、リモート装置404、刺激コントローラ406、及びネットワーク408を含む。刺激コントローラ406は、刺激412と刺激414とを含む刺激を生成することができる。感情検出装置402には、例えば、上記で図1〜図3を参照して説明されたPERSを含むことができる。リモート装置には、任意のプログラマブル装置、例えば、下記で図7及び図8を参照して説明されるシステムのうち任意のものなどを含むことができる。通信ネットワーク408には、システムが情報を交換することができる任意の通信ネットワークを含むことができる。例えば、ネットワーク408は、パブリックネットワーク、例えばインターネットなどであってもよく、他のパブリック又はプライベートネットワーク、例えばLAN、WAN、エクストラネット、及びイントラネットなどを含んでもよい。図4に示されるように、感情検出装置402、リモート装置404、及び任意選択で刺激コントローラ406は、ネットワーク408に接続され、ネットワーク408を介してデータを通信する。
刺激コントローラ406は、対象410に刺激を提供するように機能する様々な装置の形式をとることができる。例えば、いくつかの例によれば、刺激コントローラ406は、プログラマブル装置、例えば、ゲーミングコンソール、コンピュータ対応テレビジョン、パーソナルコンピュータ、ラップトップ、又はモバイルフォンなどである。こうした例において、刺激412及び414には、オンラインショッピングウェブページ、音楽、ビデオゲーム、テレビジョン番組、及び映画などのコンテンツを含むことができる。
他の例において、刺激コントローラ406は、ネットワーク408に接続されない場合がある。切断された刺激コントローラの例には、劇場プロジェクタ、非コンピュータ対応テレビジョン、標識、ビルボード、価格タグ、及び消費者製品が含まれる。こうした例において、刺激412及び414には、映画、広告、価格、情報メッセージ、及び消費者製品設計などのコンテンツを含むことができる。
いくつかの例によれば、感情検出システム400は、受動モード又は能動モードにおいて動作するように構成される。受動モードにおいて動作するとき、感情検出システム400は、刺激コントローラ406が対象又は何らかの他のユーザ若しくはシステムにより受信されるコマンドに従って対象を刺激するとき、対象410の感情状態を受動的に監視する。能動モードにおいて動作するとき、感情検出システム400は、対象の感情状態を監視し、1つ以上のシステム目標に従って対象の感情状態に影響するよう試みる。感情検出システム400が実行するよう構成される処理の例が、下記で図5及び図6を参照してさらに説明される。
いくつかの例によれば、感情検出システムは、対象の感情状態を監視し、かつ任意選択で、対象の感情状態に影響するよう試みる処理を実行する。図5は、こうした例に従う監視処理500を示す。
動作502において、監視処理500を実行するシステムは、例えば検出処理200に従い処理を実行することにより、匿名データを生成する。いくつかの例において、システムの1つのコンポーネントが匿名データを生成し、それをシステムの別のコンポーネントに送信し、該別のコンポーネントは、匿名データを受信し、後に処理する。
動作504において、システムは、匿名データセットをデータストア内に記録し、匿名データセットに関連付けられた刺激を識別し、匿名データセットを解析してそれからの推論を引き出す。いくつかの例において、システムは、匿名データセットの1つ以上のタイムスタンプを刺激の1つ以上のタイムスタンプと比較することにより、匿名データセットに関連付けられた刺激を識別する。刺激のタイムスタンプが、匿名データセットのタイムスタンプのすぐ前(例えば、100〜500ミリ秒前の間)である場合、システムは、上記刺激を匿名データセットに関連付けられるとして識別する。匿名データセット又は刺激内における明示的な識別値を含む、他の識別方法が、本明細書に開示される例の範囲から逸脱することなく実施されてもよい。
動作504における解析及び引き出される潜在的な推論の具体的モードは、例示間で変動する。例えば、いくつかの例によれば、1つ以上の匿名データセットにより表現される感情状態を決定する(例えば、分類する)ために、様々なデータマイニング手法が採用される。上記目的のために実行できるデータマイニング手法の例には、ニューラルネットワーク、k近傍処理、及びベクターマシンが含まれる。他の例において、動作504内で、システムは、システムにより受信及び処理された匿名データセットの履歴に基づいて、データマイニング予測処理(例えば、ロジスティック回帰)を実行して、対象又は対象のグループの感情状態を予測する。こうした例において、システムは、システムのユーザに対して上記予測をまとめた(articulating)1つ以上の要約(summaries)を作成することができる。
動作506において、システムは、匿名データ又はその解析が1つ以上の構成可能パラメータにより定義されるシステムアクションをトリガするかどうかを決定する。そうである場合、装置は動作508に進む。そうでない場合、監視処理500は終了する。
動作508において、システムは、刺激メッセージを1つ以上の刺激コントローラに送信することにより、1つ以上の刺激コントローラの構成可能パラメータを調整する。刺激メッセージには、さらなる刺激を対象に提示するための1つ以上の要求を含むことができる。動作510において、1つ以上の刺激コントローラは、上記構成可能パラメータに従って刺激514を生成し、これにより、対象の感情状態を第1の感情状態から第2の感情状態に変えるよう試み、監視処理500は終了する。
監視処理500に従う処理は、感情検出システムが対象の感情状態と可能性としてその挙動とを監視し、かついくつかの例において影響を与えることを可能にする。
図6は、1つの例示的な感情検出システムの動作を示す入力‐出力図である。図6は、図5の監視処理500を実行する図4の感情検出システム400を表す。図2〜図5の組み合わせにおいて図6を主に参照し、感情検出装置402は、対象410に対する刺激412の提示のすぐ後(例えば、100〜500ミリ秒後の間)の時間に、動作204を実行して対象410のイメージについてポーリングする。感情検出システム402は、次に、動作206〜216を実行し、匿名データセット304を生成する。
上記例を継続し、リモート装置404が、動作502を実行して匿名データセット304を受信し、リモート装置に対してローカルのデータストアにデータを記録する。次に、リモート装置404は、動作506を実行して、1つ以上の構成可能パラメータの値を参照することにより、匿名データの記録がさらなるアクションをトリガするかどうかを決定する。リモート装置404が、さらなるアクションがトリガされないと決定する場合、処理はここで終了する。しかしながら、この例において、リモート装置404は、さらなるアクションがトリガされると決定し、動作508を実行して刺激メッセージ600を刺激コントローラ406に送信する。刺激メッセージ600は、対象の感情状態を新しい感情状態に移行するように予測されたさらなる刺激を提示するための要求を含むことができる。刺激メッセージ600を受信することに応答して、刺激コントローラ406は、動作510を実行して刺激414を生成する。この時点で、上記で説明された活動は、対象410に対する刺激414の提示のすぐ後の時間に感情検出402が動作204を実行して対象410のイメージについてポーリングすることで、繰り返すことができる。
次に、前に開示されたものよりさらに特化された感情検出システムが、図6を参照して説明される。特化された感情検出システムの1つの例が、オンラインの又は従来的なブロードキャストコンテンツ(例えば、物語、講義、記事、ムービー、ショー、アマチュアビデオ等)に向けられる。この例において、感情検出装置402は、対象410がコンテンツをレビューすること(reviewing)又はコンテンツと対話することにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、オンラインコンテンツのうち識別された部分(例えば、ニュース記事、歌、ジョーク、サスペンスに満ちたシーン、ドラマチックなシーン、恐ろしいシーン等)がその意図した効果を対象410の感情状態に対して有したかどうかを決定する。この例において、解析された匿名データの要約がコンテンツ製作者に提供されて、コンテンツ製作者が将来のコンテンツを向上させることを可能にすることができる。別法として、上記要約がコンテンツ提供者に提供されて、いずれのコンテンツが一般に対象に又は具体的に対象410に最も関連あり得るかに関して、コンテンツ提供者がより良い提案を行えるようにしてもよい。
特化された感情検出システムの別の例が、ビデオゲームに向けられる。この例において、感情検出装置402は、対象410がビデオゲームをプレーすることにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、ゲームのうち識別された部分(例えば、ステージ、パズル、ボスとの戦闘、カットシーン等)がその意図した効果を対象410の感情状態に対して有したかどうかを決定する。この例において、解析された匿名データの要約がビデオゲーム製作者に提供されて、ビデオゲーム製作者が将来のゲームを向上させることを可能にすることができる。別法として、上記要約がビデオゲーム提供者に提供されて、いずれのゲームが一般に対象に又は具体的に対象410に最も関連あり得るかに関して、ビデオゲーム提供者がより良い提案を行えるようにしてもよい。
特化された感情検出システムの別の例が、オンラインショッピングに向けられる。この例において、感情検出装置402は、対象410が購入すべきアイテムの検索においてウェブサイトを閲覧することにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、いずれのアイテム又は価格が対象410における肯定的及び否定的感情反応を引き起こしたかを決定する。さらに、この例において、刺激コントローラ406が、事前定義された状況におけるさらなる刺激(例えば、刺激414)を提示することができる。例えば、対象410が、価格設定情報なしにアイテムを提示されたときに肯定的感情を表現し、後に、価格を提示されたときに否定的感情を表現した場合、リモート装置404は、指定されたパーセンテージだけ価格を値引くよう刺激メッセージ600を送信することができる。刺激メッセージ600を受信することに応答して、刺激コントローラ406は、値引きされた価格の形式でさらなる刺激414を送信することができる。
さらに、上記例において、リモート装置404は、匿名データセットを解析して、いずれの製品が対象410に関心があったかといずれの製品が関心が無かったかとを示す要約を作り出すことができる。解析された匿名データのこうした要約は、アイテム製造業者に提供されて、アイテム製造業者が将来のアイテムを向上させることを可能にすることができる。別法として、上記要約が小売業者に提供されて、いずれのアイテムが一般に対象に又は具体的に対象410に最も関連あり得るかに関して、小売業者がより良い提案を行えるようにしてもよい。
特化された感情検出システムの別の例が、映画館で提示される映画に向けられる。この例において、感情検出装置402は、対象410が映画館で映画を見ることにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、映画のうち識別された部分(例えば、ジョーク、サスペンスに満ちたシーン、ドラマチックなシーン、恐ろしいシーン等)がその意図した効果を対象410の感情状態に対して有したかどうかを決定する。この例において、解析された匿名データの要約が映画製作者に提供されて、映画製作者が将来の映画を向上させることを可能にすることができる。
特化された感情検出システムの別の例が、標識及びビルボードに提示される広告に向けられる。この例において、感情検出装置402は、対象410が標識又はビルボード上の広告を見ることにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットを、広告が対象410における肯定的及び否定的感情反応を引き起こしたかどうかについてさらに解析して、広告がその意図した効果を対象410の感情状態に対して有したかどうかを決定する。さらに、この例において、リモート装置404は、匿名データセットを解析して、いずれの製品が対象410に関心があったかといずれが関心が無かったかとを示す要約を作り出すことができる。解析された匿名データのこうした要約は、アイテム製造業者に提供されて、アイテム製造業者が将来のアイテムを向上させることを可能にすることができる。別法として、上記要約は小売業者に提供されて、いずれのアイテムが一般に対象に又は具体的に対象410に最も関連あり得るかに関して、小売業者がより良い提案を行えるようにしてもよい。
特化された感情検出システムの別の例が、実際のショッピングに向けられる。この例において、感情検出装置402は、対象410が実在の(brick-and-mortar)小売店舗(例えば、スーパーマーケット、デパート、専門店等)において購入すべきアイテムを閲覧することにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、いずれのアイテム又は価格が対象410における肯定的及び否定的感情反応を引き起こしたかを決定する。さらに、この例において、刺激コントローラ406が、事前定義された状況におけるさらなる刺激(例えば、刺激414)を提示することができる。例えば、対象410が、価格設定情報なしにアイテムを提示されたときに肯定的感情を表現し、後に、価格を提示されたときに否定的感情を表現した場合、リモート装置404は、指定されたパーセンテージだけ価格を値引くよう刺激メッセージ600を送信することができる。刺激メッセージ600を受信することに応答して、刺激コントローラ406は、値引きされた価格の形式でさらなる刺激414を送信することができる。
さらに、上記例において、リモート装置404は、匿名データセットを解析して、いずれの製品が対象410に関心があったかといずれが関心が無かったかとを示す要約を作り出すことができる。解析された匿名データのこうした要約は、アイテム製造業者に提供されて、アイテム製造業者が将来のアイテムを向上させることを可能にすることができる。別法として、上記要約が小売業者に提供されて、いずれのアイテムが一般に対象に又は具体的に対象410に最も関連あり得るかに関して、小売業者がより良い提案を行えるようにしてもよい。
特化された感情検出システムの別の例が、自動車動作に向けられる。この例において、感情検出装置402は、対象410が自動車を運転し、車載エンターテインメントシステムにより提供されるコンテンツをレビューすることにより刺激412を受けるとき、対象410を見るように位置づけられる。リモート装置404は、匿名データセットを記録し、該匿名データセットをさらに解析して、いずれの事象(天候及びトラフィック条件、ラジオで再生された歌等)が対象410における肯定的及び否定的感情反応を引き起こしたかを決定する。さらに、この例において、刺激コントローラ406が、事前定義された状況におけるさらなる刺激(例えば、刺激414)を提示することができる。例えば、対象410が天候又はトラフィック条件を提示されたときに否定的感情を表現した場合、リモート装置は、対象410を静めるよう刺激メッセージ600を送信することができる。刺激メッセージ600を受信することに応答して、刺激コントローラ406は、落ち着かせる音楽又は落ち着かせるメッセージの形式でさらなる刺激414を提供して、対象410をリラックスさせることができる。別の例において、対象410が、構成可能パラメータの値を超える時間の期間について感情の欠如を表現する場合、リモート装置404は、対象410を活気づけるよう刺激メッセージ600を送信することができる。刺激メッセージ600を受信することに応答して、刺激コントローラ406は、活気づける音楽、メッセージ、又はアラームの形式でさらなる刺激414を提供して、対象410を活気づけることができる。
いくつかの例において、本明細書に開示されるコンポーネント(例えば、PERS100、感情検出装置402、リモート装置404、及び刺激コントローラ406)は、該コンポーネントにより実行される動作に影響するパラメータを読み出すことができる。上記パラメータは、揮発メモリ(例えば、RAMなど)又は不揮発メモリ(例えば、磁気ハードドライブなど)を含む任意形式の適切なメモリに物理的に記憶できる。さらに、パラメータは、適当なデータ構造(例えば、ユーザモードアプリケーションにより定義されるデータベース又はファイルなど)に、又は一般に共有されるデータ構造(例えば、オペレーティングシステムにより定義されるアプリケーションレジストリなど)に論理的に記憶されてもよい。さらに、いくつかの例が、外部エンティティがパラメータを修正し、これによりコンポーネントの挙動を構成することを許容するシステムとユーザインターフェースとの双方を提供する。
感情検出装置100又は感情検出システム400内の情報は、コンピュータ読取可能媒体上に情報を保持することができる任意の論理的及び物理的構造に記憶でき、該構造には、とりわけ、リンクリスト、ファイルシステム、フラットファイル、インデックス化されたファイル、階層データベース、リレーショナルデータベース、又はオブジェクト指向データベースが含まれる。データは、一意及び外部キーの関係及びインデックスを用いてモデル化されてもよい。一意及び外部キーの関係及びインデックスは、様々なフィールド及びテーブル間で確立されて、データ完全性とデータやりとり性能との双方を確保することができる。
情報は、様々な手法を用いて本明細書に開示されるコンポーネント間でフローすることができる。上記手法には、例えば、TCP/IP又はHTTPなどの標準プロトコルを用いてネットワークを通じて情報を渡すこと、メモリにおいてモジュール間で情報を渡すこと、及び、ファイル、データベース、データストア、又は何らかの他の不揮発データ記憶装置に書き込むことにより情報を渡すことが含まれる。さらに、情報のコピーに対する代わり、組み合わせ、又は追加で、情報に対するポインタ又は他の参照が送信され、受信されてもよい。反対に、情報は、情報のポインタ又は他の参照に対する代わり、組み合わせ、又は追加で、交換されてもよい。情報を通信する他の手法及びプロトコルが、本明細書に開示される例及び実施形態の範囲から逸脱することなく使用できる。
例示的なシステム
図7は、本開示の一実施形態に従い構成されたコンピューティングシステム700を示す。いくつかの実施形態において、システム700は対象の感情状態を検出するコンピューティングシステムであり得るが、システム700はこの文脈に限定されない。例えば、システム700は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント(PDA)、セルラー電話、組み合わせのセルラー電話/PDA、テレビジョン、スマートデバイス(例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン)、モバイルインターネットデバイス(MID)、メッセージング装置、データ通信装置、セットトップボックス、ゲームコンソール、又はグラフィックスレンダリング動作を実行しコンテンツを表示することができる他のこうしたコンピューティング環境に組み込まれてもよい。
いくつかの実施形態において、システム700は、ディスプレイ720に結合されたプラットフォーム702を含む。プラットフォーム702は、コンテンツ装置、例えば、コンテンツサービス装置730若しくはコンテンツ配信装置740又は他の同様のコンテンツソースなどから、コンテンツを受信することができる。1つ以上のナビゲーション機構を含むナビゲーションコントローラが、例えばプラットフォーム702及び/又はディスプレイ720と対話するのに使用されて、ユーザによるナビゲーションのジェスチャリングを補足することができる。こうした例示的なコンポーネントの各々が、下記でより詳細に説明される。
いくつかの実施形態において、プラットフォーム702は、チップセット705、プロセッサ710、メモリ712、記憶装置714、グラフィックスサブシステム715、アプリケーション716、及び/又は無線機(radio)718のうち任意の組み合わせを含むことができる。チップセット705は、プロセッサ710、メモリ712、記憶装置714、グラフィックスサブシステム715、アプリケーション716、及び/又は無線機718間の相互通信を提供することができる。例えば、チップセット705は、記憶装置714との相互通信を提供することができる記憶装置アダプタ(図示されていない)を含むことができる。
プロセッサ710は、例えば、複合命令セットコンピュータ(CISC)若しくは縮小命令セットコンピュータ(RISC)プロセッサ、x86命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央処理ユニット(CPU)として実装できる。いくつかの実施形態において、プロセッサ710は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ、及び同様のものを含むことができる。メモリ712は、例えば、揮発メモリ装置、例えばこれらに限られないが、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、又はスタティックメモリ(SRA)などとして実装できる。記憶装置714は、例えば、不揮発記憶装置、例えばこれらに限られないが、磁気ディスクドライブ、光学ディスクドライブ、テープドライブ、内部記憶装置、取り付け記憶装置、フラッシュメモリ、バッテリバックアップ型SDRAM(同期DRAM)、及び/又はネットワークアクセス可能記憶装置などとして実装できる。いくつかの実施形態において、記憶装置714は、例えば、複数のハードドライブが含まれるときに価値あるデジタルメディアの記憶性能強化保護を増大するテクノロジーを含むことができる。
グラフィックスサブシステム715は、本明細書に様々に説明されるように、表示のために静止又はビデオなどのイメージの処理を実行することができ、いくつかの実施形態において、直視型ディスプレイの光源のアレイを駆動するように構成される。グラフィックスサブシステム715は、例えば、グラフィックス処理ユニット(GPU)又はビジュアル処理ユニット(VPU)であり得る。アナログ又はデジタルのインターフェースが、グラフィックスサブシステム715及びディスプレイ720を通信可能に結合するのに使用できる。例えば、上記インターフェースは、高精細マルチメディアインターフェース(High-Definition Multimedia Interface)、ディスプレイポート(DisplayPort)、ワイヤレスHDMI(登録商標)、及び/又はワイヤレスHD準拠の手法のうち任意のものであり得る。グラフィックスサブシステム715は、プロセッサ710又はチップセット705に統合できる。グラフィックスサブシステム715は、チップセット705に通信可能に結合されるスタンドアロンカードであり得る。本明細書に説明される直視型投射手法を含む、グラフィックス及び/又はビデオ処理手法は、様々なハードウェアアーキテクチャにおいて実装できる。例えば、グラフィックス及び/又はビデオ機能性は、チップセット内に統合できる。別法として、ディスクリートのグラフィックス及び/又はビデオプロセッサが使用されてもよい。さらに別の実施形態として、グラフィックス及び/又はビデオ機能は、マルチコアプロセッサを含む汎用目的プロセッサにより実装されてもよい。さらなる一実施形態において、上記機能は消費者電子装置において実装されてもよい。
無線機718は、様々な適切な無線通信手法を用いて信号を送信及び受信することができる1つ以上の無線機を含むことができる。上記手法は、1つ以上の無線ネットワークにわたる通信に関与することができる。例示的な無線ネットワークには、(これらに限られないが)ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)、ワイヤレスメトロポリタンエリアネットワーク(WMAN)、セルラーネットワーク、及び衛星ネットワークが含まれる。こうしたネットワークにわたり通信することにおいて、無線機718は、任意のバージョンにおける1つ以上の適用可能な標準に従って動作することができる。
いくつかの実施形態において、ディスプレイ720は、任意のテレビジョン又はコンピュータタイプのモニタ又はディスプレイを含むことができる。1つ以上のソフトウェアアプリケーション716の制御下で、プラットフォーム702は、ディスプレイ720上にユーザインターフェース722を表示することができる。
いくつかの実施形態において、コンテンツサービス装置730は、例えば、任意の国の、国際的な、及び/又は独立したサービスによりホストされ、ゆえに、インターネット又は他のネットワークを介してプラットフォーム702にアクセス可能であり得る。コンテンツサービス装置730は、プラットフォーム702に及び/又はディスプレイ720に結合できる。プラットフォーム702及び/又はコンテンツサービス装置730は、ネットワーク760に結合されて、ネットワーク760への及びネットワーク760からのメディア情報を通信する(例えば、送信する及び/又は受信する)ことができる。コンテンツ配信装置740もまた、プラットフォーム702に及び/又はディスプレイ720に結合できる。いくつかの実施形態において、コンテンツサービス装置730は、ケーブルテレビジョンボックス、パーソナルコンピュータ、ネットワーク、電話、デジタル情報及び/又はコンテンツを配信することができるインターネット対応装置又は電気器具、並びに、ネットワーク760を介してか又は直接、コンテンツ提供者とプラットフォーム702及び/又はディスプレイ720との間でコンテンツを単方向又は双方向に通信することができる任意の他の同様の装置を含むことができる。コンテンツは、ネットワーク760を介してシステム700内のコンポーネントとコンテンツ提供者とのうち任意の1つに及び該任意の1つから単方向及び/又は双方向に通信できることが十分理解されるであろう。コンテンツの例には、例えば、ビデオ、音楽、グラフィックス、テキスト、医療及びゲーミングコンテンツ、及び同様のものを含む、任意のメディア情報を含むことができる。
コンテンツサービス装置730は、コンテンツ、例えば、メディア情報、デジタル情報、及び/又は他のコンテンツを含むケーブルテレビジョン番組などを受信する。コンテンツ提供者の例には、任意のケーブル又は衛星のテレビジョン又はラジオ又はインターネットのコンテンツ提供者を含むことができる。提供された例は、本開示を限定するようには意図されない。いくつかの実施形態において、プラットフォーム702は、1つ以上のナビゲーション機構を有するナビゲーションコントローラ750から制御信号を受信することができる。コントローラ750のナビゲーション機構は、例えば、ユーザインターフェース722と対話するのに使用できる。いくつかの実施形態において、ナビゲーションコントローラ750は、ユーザが空間的な(例えば、連続的な及び多次元の)データをコンピュータに入力することを許容するコンピュータハードウェアコンポーネント(具体的に、ヒューマンインターフェース装置)であり得るポインティング装置であり得る。グラフィカルユーザインターフェース(GUI)などの多くのシステム、並びにテレビジョン及びモニタが、ユーザが物理的なジェスチャ、顔の表情、又はサウンドを用いてコンピュータ又はテレビジョンを制御し、該コンピュータ又はテレビジョンに対するデータを提供することを許容する。
コントローラ750のナビゲーション機構の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング、又は他のビジュアルインジケータの動きにより、ディスプレイ(例えば、ディスプレイ720)上に反映できる。例えば、ソフトウェアアプリケーション716の制御下で、ナビゲーションコントローラ750上に位置するナビゲーション機構は、例えば、ユーザインターフェース722上に表示される仮想ナビゲーション機構にマッピングできる。いくつかの実施形態において、コントローラ750は、別個のコンポーネントでなく、プラットフォーム702及び/又はディスプレイ720に統合されてもよい。しかしながら、十分理解されるように、実施形態は、本明細書に図示又は説明される要素に又は文脈内に限定されない。
いくつかの実施形態において、ドライバ(図示されていない)が、例えば、有効化されているとき、最初の起動の後にボタンのタッチでテレビジョンのようにプラットフォーム702をユーザが即座にオン及びオフすることを可能にするテクノロジーを含むことができる。プラットフォーム702が「オフ」にされているとき、プログラム論理が、プラットフォーム702がメディアアダプタ又は他のコンテンツサービス装置730若しくはコンテンツ配信装置740にコンテンツをストリーミングすることを許容してもよい。さらに、チップセット705は、例えば、5.1サラウンドサウンドオーディオ及び/又は7.1高精細サラウンドサウンドオーディオの、ハードウェア及び/又はソフトウェアサポートを含むことができる。ドライバには、統合されたグラフィックスプラットフォームのためのグラフィックスドライバを含むことができる。いくつかの実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクト(PCI)エクスプレスグラフィックスカードを含むことができる。
様々な実施形態において、システム700に示されるコンポーネントのうち任意の1つ以上を統合することができる。例えば、プラットフォーム702及びコンテンツサービス装置730が統合されてもよく、あるいはプラットフォーム702及びコンテンツ配信装置740が統合されてもよく、あるいはプラットフォーム702、コンテンツサービス装置730、及びコンテンツ配信サービス740が統合されてもよい。様々な実施形態において、プラットフォーム702及びディスプレイ720は、統合されたユニットであり得る。例えば、ディスプレイ720及びコンテンツサービス装置730が統合されてもよく、あるいはディスプレイ720及びコンテンツ配信装置740が統合されてもよい。上記例は、本開示を限定するようには意図されない。
様々な実施形態において、システム700は、無線システム、有線システム、又は双方の組み合わせとして実装できる。無線システムとして実装されるとき、システム700は、無線共有媒体を通じて通信するのに適切なコンポーネント及びインターフェース、例えば、1つ以上のアンテナ、送信機、受信機、送受信器、増幅器、フィルタ、制御論理、及び同様のものなどを含むことができる。無線共有媒体の一例には、無線スペクトルのうちの部分、例えばRFスペクトル及び同様のものなどを含むことができる。有線システムとして実装されるとき、システム700は、有線通信媒体を通じて通信するのに適切なコンポーネント及びインターフェース、例えば、入力/出力(I/O)アダプタ、I/Oアダプタを対応する有線通信媒体に接続する物理コネクタ、ネットワークインターフェースカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、及び同様のものなどを含むことができる。有線通信媒体の例には、ワイヤ、ケーブル、金属導線、印刷回路ボード(PCB)、バックプレーン、スイッチファブリック、半導体材料、ツイストペア線、同軸ケーブル、光ファイバ、及び同様のものを含むことができる。
プラットフォーム702は、1つ以上の論理的又は物理的チャネルを確立して情報を通信することができる。情報には、メディア情報及び制御情報を含むことができる。メディア情報は、ユーザに向けられたコンテンツを表す任意のデータを参照することができる。コンテンツの例には、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール又はテキストメッセージ、ボイスメールメッセージ、英数字シンボル、グラフィックス、イメージ、ビデオ、テキスト及び同様のものからのデータを含むことができる。制御情報は、自動化されたシステムに向けられたコマンド、命令、又は制御ワードを表す任意のデータを参照することができる。例えば、制御情報を使用して、システムを通じてメディア情報をルーティングし、あるいは(例えば、本明細書に説明されるように特権アクセス違反チェックについて支援されたハードウェアを用いて)所定の仕方でメディア情報を処理するようにノードに命令することができる。しかしながら、実施形態は、図7に図示又は説明される要素又は文脈に限定されない。
上記で説明されたように、システム700は、様々な物理的様式又はフォームファクタにおいて具現化できる。図8は、システム700が具現化され得るスモールフォームファクタ装置800の実施形態を示す。いくつかの実施形態において、例えば、装置800は、無線能力を有するモバイルコンピューティング装置として実装できる。モバイルコンピューティング装置は、例えば、処理システムと1つ以上のバッテリなどのモバイルパワーソース又はサプライとを有する任意の装置を参照することができる。
前に説明されたように、モバイルコンピューティング装置の例には、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント(PDA)、セルラー電話、組み合わせのセルラー電話/PDA、テレビジョン、スマートデバイス(例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン)、モバイルインターネットデバイス(MID)、メッセージング装置、データ通信装置、及び同様のものを含むことができる。
モバイルコンピューティング装置の例には、人により着用されるように配置されたコンピュータ、例えば、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シュー(shoe)コンピュータ、衣類コンピュータ、及び他の着用可能なコンピュータなどをさらに含むことができる。いくつかの実施形態において、例えば、モバイルコンピューティング装置は、コンピュータアプリケーションと音声通信及び/又はデータ通信とを実行することができるスマートフォンとして実装できる。いくつかの実施形態が、例としてスマートフォンとして実装されたモバイルコンピューティング装置を用いて説明され得るが、他の実施形態が、他のワイヤレスモバイルコンピューティング装置を用いて同様に実装できることが十分理解され得る。実施形態はこの文脈内に限定されない。
図8に示されるように、装置800は、ハウジング802、ディスプレイ804、入力/出力(I/O)装置806、及びアンテナ808を含むことができる。装置800は、ナビゲーション機構812をさらに含むことができる。ディスプレイ804には、モバイルコンピューティング装置に適した情報を表示する任意の適切な表示ユニットを含むことができ、ディスプレイ804は、1つの例示的な実施形態において、本明細書に提供されるように直視できる画素化されたディスプレイである。I/O装置806には、モバイルコンピューティング装置に情報を入力する任意の適切なI/O装置を含むことができる。I/O装置806の例には、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、カメラ、スイッチ、ロッカースイッチ、マイクロフォン、スピーカー、音声認識装置及びソフトウェア、並びに同様のものを含むことができる。情報は、マイクロフォンによって装置800に入力されてもよい。上記情報は、音声認識装置によりデジタル化できる。実施形態はこの文脈内に限定されない。
様々な実施形態が、ハードウェア要素、ソフトウェア要素、又は双方の組み合わせを用いて実装できる。ハードウェア要素の例には、プロセッサ、マイクロプロセッサ、回路、回路素子(例えば、トランジスタ、抵抗器、キャパシタ、インダクタ、及び同様のもの)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、及び同様のものを含むことができる。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェース、アプリケーションプログラムインターフェース(API)、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組み合わせを含むことができる。ハードウェア要素が使用されるか及び/又はソフトウェア要素が使用されるかは、任意数のファクタ、例えば、所望の計算レート、電力レベル、熱耐性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバス速度、及び他の設計又は性能制約などに従って、実施形態ごとに変動してよい。
いくつかの実施形態は、例えば、命令又は命令セットを記憶することができるマシン読取可能媒体又は物品を用いて実装でき、上記命令又は命令セットは、マシンにより実行される場合、本開示の実施形態に従う方法及び/又は動作をマシンに実行させることができる。上記マシンは、例えば、任意の適切な処理プラットフォーム、コンピューティングプラットフォーム、コンピューティング装置、処理装置、コンピューティングシステム、処理システム、コンピュータ、プロセッサ、又は同様のものを含むことができ、ハードウェア及びソフトウェアの任意の適切な組み合わせを用いて実装できる。マシン読取可能媒体又は物品には、例えば、任意の適切なタイプのメモリユニット、メモリ装置、メモリ物品、メモリ媒体、記憶装置、記憶物品、記憶媒体、及び/又は記憶ユニット、例えば、メモリ、取外し可能若しくは取外し不能媒体、消去可能若しくは消去不能媒体、書き込み可能若しくは書き換え可能媒体、デジタル若しくはアナログ媒体、ハードディスク、フロッピーディスク、コンパクトディスク読取専用メモリ(CD−ROM)、コンパクトディスクレコーダブル(CD−R)、コンパクトディスクリライタブル(CD−RW)、光ディスク、磁気媒体、磁気光媒体、取外し可能メモリカード若しくはディスク、様々なタイプのデジタル多用途ディスク(DVD)、テープ、カセット、又は同様のものを含むことができる。上記命令には、任意の適切な高水準の、低水準の、オブジェクト指向の、ビジュアルの、コンパイル型の、及び/又はインタプリタ型のプログラミング言語を用いて実装された任意の適切なタイプの実行可能コードを含むことができる。
さらなる例示的な実施形態
下記の例はさらなる実施形態に関連し、該実施形態から多数の組み合わせ及び構成が明らかになるであろう。
例1は、感情検出装置を含む感情検出システムであって、上記感情検出装置は、メモリと、上記メモリに結合された少なくとも1つのプロセッサと、上記少なくとも1つのプロセッサにより実行可能であり、かつ対象の顔を表すイメージデータを受信し、上記イメージデータを解析して、上記顔における複数の点を識別し、上記複数の点を記述した匿名データセットを記憶することであって、上記匿名データセットの各要素は識別子フィールドと場所フィールドとを含み、上記匿名データセットを、上記感情検出装置とは区別可能なリモート装置に送信し、上記イメージデータを削除するように構成された顔イメージ処理モジュールと、を含む。
例2は、例1の構成要件を含み、上記イメージデータは、2次元イメージデータと3次元イメージデータとのうち少なくとも1つを含む。
例3は、前述の例のうちいずれかの構成要件を含み、上記顔イメージ処理モジュールは、データセットを汎用顔に正規化することにより少なくとも部分的に上記イメージデータを解析し、上記データセットを記憶することにより少なくとも部分的に上記匿名データを記憶するように構成される。
例4は、前述の例のうちいずれかの構成要件を含み、上記イメージデータは目印点を含む。
例5は、前述の例のうちいずれかの構成要件を含み、上記匿名データセットの各要素の上記場所は、2次元値及び3次元値のうち少なくとも1つを含む。
例6は、前述の例のうちいずれかの構成要件を含み、上記感情検出装置は、上記イメージデータを取得するように構成されたカメラをさらに含み、上記顔イメージ処理モジュールは、上記イメージデータを解析すること、上記匿名データセットを記憶すること、及び上記匿名データセットを送信することの前に、上記カメラを非アクティブ化するように構成される。
例7は、例6の構成要件を含み、上記感情検出装置は、上記カメラと上記メモリと上記少なくとも1つのプロセッサと上記顔イメージ処理モジュールとを含むハウジングをさらに含む。
例8は、前述の例のうちいずれかの構成要件を含み、上記リモート装置、をさらに含み、上記リモート装置は、上記イメージデータを受信することの前に上記対象に提供される刺激を識別し、上記匿名データセットを解析して、上記刺激を提示されたときの上記対象の感情状態を決定するように構成される。
例9は、例8の構成要件を含み、上記刺激は、非インタラクティブコンテンツとインタラクティブコンテンツとのうち少なくとも1つを含む。
例10は、前述の例のうちいずれかの構成要件を含み、上記刺激は、上記対象に提供されるコンテンツの一部を含む。
例11は、例10の構成要件を含み、上記コンテンツの一部はビデオフレームのシーケンスを含む。
例12は、前述の例のうちいずれかの構成要件を含み、上記対象を刺激するように構成された刺激コントローラ、をさらに含む。
例13は、例12の構成要件を含み、上記リモート装置、をさらに含み、上記リモート装置は、上記刺激コントローラにメッセージを送信するように構成され、上記刺激コントローラは、上記メッセージを受信することに応答して上記対象を刺激するように構成される。
例14は、前述の例のうちいずれかの構成要件を含み、上記リモート装置、をさらに含み、上記リモート装置は、上記匿名データセットを解析して、上記対象の推定された感情状態を識別し、上記対象の上記推定された感情状態に基づいて上記対象のターゲット感情状態を識別し、上記対象を上記ターゲット感情状態に移行する刺激を識別し、上記刺激を用いて上記対象を刺激するように構成される。
例15は、装置を用いて感情を検出する方法であり、当該方法は、対象の顔を表すイメージデータを受信するステップと、上記イメージデータを解析して、上記顔における複数の点を識別するステップと、上記複数の点を記述した匿名データセットを記憶するステップであって、上記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ステップと、上記匿名データセットを、上記装置とは区別可能なリモート装置に送信するステップと、上記イメージデータを削除するステップと、を含む。
例16は、例15の構成要件を含み、上記イメージデータを受信するステップは、2次元イメージデータと3次元イメージデータとのうち少なくとも1つを受信するステップを含む。
例17は、例15又は16の構成要件を含み、上記イメージデータを解析するステップは、データセットを汎用顔に正規化するステップを含み、上記匿名データセットを記憶するステップは、上記データセットを記憶するステップを含む。
例18は、例15乃至17のうちいずれかの構成要件を含み、上記イメージデータを解析するステップは、目印点を識別するステップを含む。
例19は、例15乃至18のうちいずれかの構成要件を含み、上記匿名データセットを記憶するステップは、2次元値と3次元値とのうち少なくとも1つを各要素の上記場所フィールドに記憶するステップを含む。
例20は、例15乃至19のうちいずれかの構成要件を含み、上記イメージデータをカメラを介して取得するステップと、上記イメージデータを解析するステップ、上記匿名データセットを記憶するステップ、及び上記匿名データセットを送信するステップの前に、上記カメラを非アクティブ化するステップと、をさらに含む。
例21は、例20の構成要件を含み、上記イメージデータを取得するステップは、上記装置に対して一体的なカメラから上記イメージデータを取得するステップを含む。
例22は、例15乃至21のうちいずれかの構成要件を含み、上記イメージデータを受信するステップの前に上記対象に提供される刺激を識別するステップと、上記匿名データセットを解析して、上記刺激を提示されたときの上記対象の感情状態を決定するステップと、をさらに含む。
例23は、例22の構成要件を含み、上記刺激を識別するステップは、非インタラクティブコンテンツとインタラクティブコンテンツとのうち少なくとも1つを識別するステップを含む。
例24は、例15乃至23のうちいずれかの構成要件を含み、上記刺激を識別するステップは、上記対象に提供されるコンテンツの一部を識別するステップを含む。
例25は、例24の構成要件を含み、上記コンテンツの一部を識別するステップは、上記コンテンツ内のビデオフレームのシーケンスと上記コンテンツ内の1つ以上の時間オフセットとのうち少なくとも1つを識別するステップを含む。
例26は、例15乃至25のうちいずれかの構成要件を含み、上記対象を刺激するステップ、をさらに含む。
例27は、例26の構成要件を含み、上記対象を刺激するステップは、上記リモート装置から刺激コントローラにメッセージを送信するステップと、上記対象を刺激する刺激を生成するステップと、を含む。
例28は、例15乃至27のうちいずれかの構成要件を含み、上記匿名データを解析して、上記対象の推定された感情状態を識別するステップと、上記対象の上記推定された感情状態に基づいて上記対象のターゲット感情状態を識別するステップと、上記対象を上記ターゲット感情状態に移行する刺激を識別するステップと、上記刺激を用いて上記対象を刺激するステップと、をさらに含む。
例29は、命令をエンコードされた非一時的コンピュータプログラム製品であり、上記命令は、1つ以上のプロセッサにより実行されるとき、感情を検出する処理を実行させ、上記処理は、対象の顔を表すイメージデータを受信することと、上記イメージデータを解析して、上記顔における複数の点を識別することと、上記複数の点を記述した匿名データセットを記憶することであって、上記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ことと、上記匿名データセットを、上記装置とは区別可能なリモート装置に送信することと、上記イメージデータを削除することと、を含む。
例30は、例29の構成要件を含み、上記イメージデータを受信することは、2次元イメージデータと3次元イメージデータとのうち少なくとも1つを受信することを含む。
例31は、例29又は30の構成要件を含み、上記イメージデータを解析することは、データセットを汎用顔に正規化することを含み、上記匿名データセットを記憶することは、上記データセットを記憶することを含む。
例32は、例29乃至31のうちいずれかの構成要件を含み、上記イメージデータを解析することは、目印点を識別することを含む。
例33は、例29乃至32のうちいずれかの構成要件を含み、上記匿名データセットを記憶することは、2次元値と3次元値とのうち少なくとも1つを各要素の上記場所フィールドに記憶することを含む。
例34は、例29乃至33のうちいずれかの構成要件を含み、上記イメージデータをカメラを介して取得することと、上記イメージデータを解析すること、上記匿名データセットを記憶すること、及び上記匿名データセットを送信することの前に、上記カメラを非アクティブ化することと、をさらに含む。
例35は、例34の構成要件を含み、上記イメージデータを取得することは、上記装置に対して一体的なカメラから上記イメージデータを取得することを含む。
例36は、例29乃至35のうちいずれかの構成要件を含み、上記イメージデータを受信することの前に上記対象に提供される刺激を識別することと、上記匿名データセットを解析して、上記刺激を提示されたときの上記対象の感情状態を決定することと、をさらに含む。
例37は、例36の構成要件を含み、上記刺激を識別することは、非インタラクティブコンテンツとインタラクティブコンテンツとのうち少なくとも1つを識別することを含む。
例38は、例29乃至37のうちいずれかの構成要件を含み、上記刺激を識別することは、上記対象に提供されるコンテンツの一部を識別することを含む。
例39は、例38の構成要件を含み、上記コンテンツの一部を識別することは、上記コンテンツ内のビデオフレームのシーケンスと上記コンテンツ内の1つ以上の時間オフセットとのうち少なくとも1つを識別することを含む。
例40は、例29乃至39のうちいずれかの構成要件を含み、上記対象を刺激すること、をさらに含む。
例41は、例40の構成要件を含み、上記対象を刺激することは、上記リモート装置から刺激コントローラにメッセージを送信することと、上記対象を刺激する刺激を生成することと、を含む。
例42は、例29乃至41のうちいずれかの構成要件を含み、上記匿名データを解析して、上記対象の推定された感情状態を識別することと、上記対象の上記推定された感情状態に基づいて上記対象のターゲット感情状態を識別することと、上記対象を上記ターゲット感情状態に移行する刺激を識別することと、上記刺激を用いて上記対象を刺激することと、をさらに含む。
前述の例示的な実施形態の説明は、例示及び説明の目的で提示されている。上記説明は、網羅的であるように又は本開示を開示された厳密な形式に限定するようには意図されない。本開示を考慮して、多くの修正及び変形が可能である。本開示の範囲は、上記詳細な説明によってでなく、本明細書に添付される請求項によって限定されることが意図される。本出願に対して優先権を主張する将来申請される出願は、開示された対象事項を異なる仕方で請求する可能性があり、本明細書において様々に開示され又はその他の方法で例証されるように1つ以上の限定の任意のセットを一般に含む可能性がある。

Claims (25)

  1. 感情検出装置を含む感情検出システムであって、前記感情検出装置は、
    メモリと、
    前記メモリに結合された少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサにより実行可能であり、かつ
    対象の顔を表すイメージデータを受信し、
    前記イメージデータを解析して、前記顔における複数の点を識別し、
    前記複数の点を記述した匿名データセットを記憶することであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含み、
    前記匿名データセットを、前記感情検出装置とは区別可能なリモート装置に送信し、
    前記イメージデータを削除する
    ように構成された顔イメージ処理モジュールと、
    を含む、感情検出システム。
  2. 前記イメージデータは、2次元イメージデータと3次元イメージデータとのうち少なくとも1つを含む、請求項1に記載の感情検出システム。
  3. 前記顔イメージ処理モジュールは、
    データセットを汎用顔に正規化することにより少なくとも部分的に前記イメージデータを解析し、
    前記データセットを記憶することにより少なくとも部分的に前記匿名データセットを記憶する
    ように構成される、請求項1に記載の感情検出システム。
  4. 前記イメージデータは目印点を含む、請求項1に記載の感情検出システム。
  5. 前記匿名データセットの各要素の前記場所フィールドは、2次元値及び3次元値のうち少なくとも1つを含む、請求項1に記載の感情検出システム。
  6. 前記感情検出装置は、前記イメージデータを取得するように構成されたカメラをさらに含み、前記顔イメージ処理モジュールは、前記イメージデータを解析すること、前記匿名データセットを記憶すること、及び前記匿名データセットを送信することの前に、前記カメラを非アクティブ化するように構成される、請求項1に記載の感情検出システム。
  7. 前記感情検出装置は、前記カメラと前記メモリと前記少なくとも1つのプロセッサと前記顔イメージ処理モジュールとを含むハウジングをさらに含む、請求項6に記載の感情検出システム。
  8. 前記リモート装置、をさらに含み、前記リモート装置は、
    前記イメージデータを受信することの前に前記対象に提供される刺激を識別し、
    前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定する
    ように構成される、請求項1に記載の感情検出システム。
  9. 前記刺激は、非インタラクティブコンテンツとインタラクティブコンテンツとのうち少なくとも1つを含む、請求項8に記載の感情検出システム。
  10. 前記刺激は、前記対象に提供されるコンテンツの一部を含む、請求項8に記載の感情検出システム。
  11. 前記コンテンツの一部はビデオフレームのシーケンスを含む、請求項10に記載の感情検出システム。
  12. 前記対象を刺激するように構成された刺激コントローラ、をさらに含む請求項1乃至11のうちいずれか1項に記載の感情検出システム。
  13. 前記リモート装置、をさらに含み、前記リモート装置は、前記刺激コントローラにメッセージを送信するように構成され、前記刺激コントローラは、前記メッセージを受信することに応答して前記対象を刺激するように構成される、請求項12に記載の感情検出システム。
  14. 前記リモート装置、をさらに含み、前記リモート装置は、
    前記匿名データセットを解析して、前記対象の推定された感情状態を識別し、
    前記対象の前記推定された感情状態に基づいて前記対象のターゲット感情状態を識別し、
    前記対象を前記ターゲット感情状態に移行する刺激を識別し、
    前記刺激を用いて前記対象を刺激する
    ように構成される、請求項1乃至11のうちいずれか1項に記載の感情検出システム。
  15. 装置を用いて感情を検出する方法であって、
    対象の顔を表すイメージデータを受信するステップと、
    前記イメージデータを解析して、前記顔における複数の点を識別するステップと、
    前記複数の点を記述した匿名データセットを記憶するステップであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ステップと、
    前記匿名データセットを、前記装置とは区別可能なリモート装置に送信するステップと、
    前記イメージデータを削除するステップと、
    を含む方法。
  16. 前記イメージデータを解析するステップは、データセットを汎用顔に正規化するステップを含み、前記匿名データセットを記憶するステップは、前記データセットを記憶するステップを含む、請求項15に記載の方法。
  17. 前記イメージデータを解析するステップは、目印点を識別するステップを含む、請求項15に記載の方法。
  18. 前記イメージデータをカメラを介して取得するステップと、
    前記イメージデータを解析するステップ、前記匿名データセットを記憶するステップ、及び前記匿名データセットを送信するステップの前に、前記カメラを非アクティブ化するステップと、
    をさらに含む請求項15に記載の方法。
  19. 前記イメージデータを受信するステップの前に前記対象に提供される刺激を識別するステップと、
    前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定するステップと、
    をさらに含む請求項15乃至18のうちいずれか1項に記載の方法。
  20. 前記刺激を識別するステップは、前記対象に提供されるコンテンツの一部を識別するステップを含む、請求項19に記載の方法。
  21. 前記コンテンツの一部を識別するステップは、前記コンテンツ内のビデオフレームのシーケンスと前記コンテンツ内の1つ以上の時間オフセットとのうち少なくとも1つを識別するステップを含む、請求項20に記載の方法。
  22. プロセッサに動作を実行させるコンピュータプログラムであって、前記動作は、
    対象の顔を表すイメージデータを受信することと、
    前記イメージデータを解析して、前記顔における複数の点を識別することと、
    前記複数の点を記述した匿名データセットを記憶することであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ことと、
    前記匿名データセットを、前記プロセッサとは区別可能なリモート装置に送信することと、
    前記イメージデータを削除することと、
    を含む、コンピュータプログラム。
  23. 前記イメージデータを解析することは、データセットを汎用顔に正規化することを含み、前記匿名データセットを記憶することは、前記データセットを記憶することを含む、請求項22に記載のコンピュータプログラム。
  24. 前記動作は、
    前記イメージデータを受信することの前に前記対象に提供される刺激を識別することと、
    前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定することと、
    をさらに含む、請求項22又は23に記載のコンピュータプログラム。
  25. 請求項22乃至24のうちいずれか1項に記載のコンピュータプログラムを記憶したコンピュータ読取可能記憶媒体。
JP2017557112A 2015-06-26 2016-05-23 感情検出システム Active JP6752819B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/752,100 US9600715B2 (en) 2015-06-26 2015-06-26 Emotion detection system
US14/752,100 2015-06-26
PCT/US2016/033737 WO2016209453A1 (en) 2015-06-26 2016-05-23 Emotion detection system

Publications (2)

Publication Number Publication Date
JP2018521381A true JP2018521381A (ja) 2018-08-02
JP6752819B2 JP6752819B2 (ja) 2020-09-09

Family

ID=57586357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557112A Active JP6752819B2 (ja) 2015-06-26 2016-05-23 感情検出システム

Country Status (6)

Country Link
US (1) US9600715B2 (ja)
EP (1) EP3314530A4 (ja)
JP (1) JP6752819B2 (ja)
KR (1) KR102611913B1 (ja)
CN (1) CN107710222A (ja)
WO (1) WO2016209453A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177498A (ja) * 2019-04-19 2020-10-29 ヤフー株式会社 決定装置、決定方法及び決定プログラム
WO2022249460A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106562792B (zh) 2015-10-08 2021-08-06 松下电器(美国)知识产权公司 信息提示装置的控制方法和信息提示装置
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
US10387571B2 (en) * 2016-07-20 2019-08-20 Vidicons LLC Networked device with suggested response to incoming message
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
US10846517B1 (en) * 2016-12-30 2020-11-24 Amazon Technologies, Inc. Content modification via emotion detection
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
CN109583577B (zh) 2017-09-29 2021-04-23 上海寒武纪信息科技有限公司 运算装置及方法
US11086634B2 (en) 2017-07-05 2021-08-10 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN107578014B (zh) 2017-09-06 2020-11-03 上海寒武纪信息科技有限公司 信息处理装置及方法
CN111553473B (zh) * 2017-07-05 2023-10-13 上海寒武纪信息科技有限公司 数据冗余方法及执行数据冗余方法的神经网络处理器
US20210201269A1 (en) * 2017-11-03 2021-07-01 Sensormatic Electronics, LLC Methods and System for Employee Monitoring and Business Rule and Quorum Compliance Monitoring
CN107992822B (zh) * 2017-11-30 2020-04-10 Oppo广东移动通信有限公司 图像处理方法和装置、计算机设备、计算机可读存储介质
US10740617B2 (en) * 2017-12-19 2020-08-11 Intel Corporation Protection and recovery of identities in surveillance camera environments
US10776609B2 (en) * 2018-02-26 2020-09-15 Samsung Electronics Co., Ltd. Method and system for facial recognition
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN108741822B (zh) * 2018-05-22 2021-06-08 国家电网公司客户服务中心南方分中心 一种呼叫中心客服座位工椅
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
US11017430B2 (en) 2018-11-16 2021-05-25 International Business Machines Corporation Delivering advertisements based on user sentiment and learned behavior
KR20200093090A (ko) * 2019-01-07 2020-08-05 현대자동차주식회사 차량 및 그 제어방법
US11102353B2 (en) 2019-05-07 2021-08-24 Avaya Inc. Video call routing and management based on artificial intelligence determined facial emotion
CN112446243A (zh) * 2019-08-29 2021-03-05 鸿富锦精密电子(郑州)有限公司 电子装置及基于情绪的内容推送方法
CN115104099A (zh) * 2020-02-21 2022-09-23 菲利普莫里斯生产公司 用于服务器与用户设备之间的交互式和隐私保护通信的方法和装置
EP4107655B1 (en) * 2020-02-21 2023-12-06 Philip Morris Products S.A. Method and apparatus for interactive and privacy-preserving communication between a server and a user device
US11656681B2 (en) 2020-08-31 2023-05-23 Hypear, Inc. System and method for determining user interactions with visual content presented in a mixed reality environment
US11341543B2 (en) 2020-08-31 2022-05-24 HYPE AR, Inc. System and method for generating visual content associated with tailored advertisements in a mixed reality environment
US11240469B1 (en) * 2020-12-18 2022-02-01 Frqncy, Inc. Systems and methods for audience interactions in real-time multimedia applications
US20230370692A1 (en) * 2022-05-14 2023-11-16 Dish Network Technologies India Private Limited Customized content delivery
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016475A (ja) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd 画像コミュニケーション機能付き情報端末装置および画像配信システム
JP2008085685A (ja) * 2006-09-28 2008-04-10 Hitachi Ltd 小型カメラ搭載型の列車内情報表示システム
JP2013020365A (ja) * 2011-07-08 2013-01-31 Namco Bandai Games Inc ゲームシステム、プログラム、及び情報記憶媒体
JP2013178816A (ja) * 2003-07-18 2013-09-09 Canon Inc 画像処理装置、撮像装置、画像処理方法
JP2014042235A (ja) * 2012-07-24 2014-03-06 Takashi Hirabayashi 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム
US20140267413A1 (en) * 2013-03-14 2014-09-18 Yangzhou Du Adaptive facial expression calibration

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960099A (en) * 1997-02-25 1999-09-28 Hayes, Jr.; Carl Douglas System and method for creating a digitized likeness of persons
TWI221574B (en) 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
KR200265257Y1 (ko) * 2001-11-15 2002-02-21 삼성네트웍스 주식회사 상황적응적 감성 조정 장치
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7824409B2 (en) * 2003-01-31 2010-11-02 Zimmer, Inc. Modular impaction grafting tamps
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7606392B2 (en) 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
EP2109302B1 (en) * 2008-04-07 2010-09-22 NTT DoCoMo, Inc. Emotion recognition message system and message storage server therefor
US8462996B2 (en) 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
CN101620669B (zh) * 2008-07-01 2011-12-07 邹采荣 一种人脸身份和表情的同步识别方法
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
US20110063440A1 (en) * 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
US8667519B2 (en) * 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US8671347B2 (en) * 2011-01-07 2014-03-11 Empire Technology Development Llc Quantifying frustration via a user interface
WO2012139242A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Personalized program selection system and method
CN103493068B (zh) * 2011-04-11 2017-06-13 英特尔公司 个性化广告选择系统和方法
US8903176B2 (en) * 2011-11-14 2014-12-02 Sensory Logic, Inc. Systems and methods using observed emotional data
JP5845988B2 (ja) * 2012-03-16 2016-01-20 大日本印刷株式会社 画像処理システム、画像処理方法、サーバおよびプログラム
US20140063237A1 (en) * 2012-09-03 2014-03-06 Transportation Security Enterprises, Inc.(TSE), a Delaware corporation System and method for anonymous object identifier generation and usage for tracking
US9105119B2 (en) * 2013-05-02 2015-08-11 Emotient, Inc. Anonymization of facial expressions
KR20150009032A (ko) * 2013-07-09 2015-01-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN103731728A (zh) * 2014-01-24 2014-04-16 浪潮软件集团有限公司 一种实时收视调查的方法
CN104182619B (zh) * 2014-08-05 2017-06-06 上海市精神卫生中心 基于智能终端实现情绪特征参数采集和处理的系统及方法
CN104361356B (zh) * 2014-12-08 2017-08-11 清华大学 一种基于人机交互的电影受众体验评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016475A (ja) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd 画像コミュニケーション機能付き情報端末装置および画像配信システム
JP2013178816A (ja) * 2003-07-18 2013-09-09 Canon Inc 画像処理装置、撮像装置、画像処理方法
JP2008085685A (ja) * 2006-09-28 2008-04-10 Hitachi Ltd 小型カメラ搭載型の列車内情報表示システム
JP2013020365A (ja) * 2011-07-08 2013-01-31 Namco Bandai Games Inc ゲームシステム、プログラム、及び情報記憶媒体
JP2014042235A (ja) * 2012-07-24 2014-03-06 Takashi Hirabayashi 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム
US20140267413A1 (en) * 2013-03-14 2014-09-18 Yangzhou Du Adaptive facial expression calibration

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LILY MENG, 外3名: ""Retaining expressions on de-identified faces"", 2014 37TH INTERNATIONAL CONVENTION ON INFORMATION AND COMMUNICATION TECHNOLOGY, ELECTRONICS AND MICR, JPN6020025796, 30 May 2014 (2014-05-30), US, pages 1252 - 1257, XP032623057, ISSN: 0004310028, DOI: 10.1109/MIPRO.2014.6859759 *
塚本明利, 外2名: ""映像認識による広告効果測定支援システム「RESCAT」"", OKIテクニカルレビュー, vol. 第78巻, 第1号, JPN6020025795, 1 October 2011 (2011-10-01), pages 32 - 35, ISSN: 0004310027 *
早川こゆき, 外1名: ""表情変化を考慮したVideo Face Swapping"", 映像情報メディア学会技術報告, vol. 第36巻, 第54号, JPN6020025793, 4 December 2012 (2012-12-04), JP, pages 39 - 42, ISSN: 0004310026 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177498A (ja) * 2019-04-19 2020-10-29 ヤフー株式会社 決定装置、決定方法及び決定プログラム
JP7122286B2 (ja) 2019-04-19 2022-08-19 ヤフー株式会社 決定装置、決定方法及び決定プログラム
WO2022249460A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Also Published As

Publication number Publication date
KR102611913B1 (ko) 2023-12-11
EP3314530A1 (en) 2018-05-02
US20160379047A1 (en) 2016-12-29
EP3314530A4 (en) 2019-02-20
CN107710222A (zh) 2018-02-16
JP6752819B2 (ja) 2020-09-09
KR20180014195A (ko) 2018-02-07
WO2016209453A1 (en) 2016-12-29
US9600715B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
JP6752819B2 (ja) 感情検出システム
Zhang et al. Watching the TV watchers
US9344773B2 (en) Providing recommendations based upon environmental sensing
JP6261515B2 (ja) 個人のリアクションを伴うコンテンツの消費
Davies et al. Security and privacy implications of pervasive memory augmentation
US20160350801A1 (en) Method for analysing comprehensive state of a subject
US20170095192A1 (en) Mental state analysis using web servers
EP2943854B1 (en) Leveraging physical handshaking in head mounted displays
US20170351768A1 (en) Systems and methods for content targeting using emotional context information
CN109241347A (zh) 用于内容反应注释的系统和方法
CN105793857A (zh) 访问追踪和限制
JP2022516640A (ja) 生体データを利用したハイライト映像生成方法及びその装置
Andrejevic FCJ-187 The droning of experience
Bâce et al. Quantification of users' visual attention during everyday mobile device interactions
Barra et al. Biometric data on the edge for secure, smart and user tailored access to cloud services
Sedenberg et al. A window into the soul: Biosensing in public
CN114270409A (zh) 在计算机生成现实记录中提供限制
US20240037944A1 (en) Computer-generated reality recorder
US20200226012A1 (en) File system manipulation using machine learning
WO2015118061A1 (en) Method and system for displaying content to a user
Sasaka et al. A novel framework for estimating viewer interest by unsupervised multimodal anomaly detection
Salah et al. Computer vision for ambient intelligence
Kumar et al. Google glasses impediments
CN110908505B (zh) 兴趣识别方法、装置、终端设备及存储介质
US20160342810A1 (en) Obtaining Data of Interest From Remote Environmental Sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200819

R150 Certificate of patent or registration of utility model

Ref document number: 6752819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250