JP2006012171A - 生体認識を用いたレビュー管理システム及び管理方法 - Google Patents
生体認識を用いたレビュー管理システム及び管理方法 Download PDFInfo
- Publication number
- JP2006012171A JP2006012171A JP2005182945A JP2005182945A JP2006012171A JP 2006012171 A JP2006012171 A JP 2006012171A JP 2005182945 A JP2005182945 A JP 2005182945A JP 2005182945 A JP2005182945 A JP 2005182945A JP 2006012171 A JP2006012171 A JP 2006012171A
- Authority
- JP
- Japan
- Prior art keywords
- information
- biometric
- product
- content
- biometric data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
Abstract
【課題】 製品・サービス・創造的作業・又は事物の参照にバイオメトリクスを捕捉して使用するためのシステム及び方法を提供する。
【解決手段】 ユーザが特定の製品・サービス・創造的作業・又は事物を認識している間にバイオメトリック情報を捕捉する。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔面の表情、声の表情、及び/又は目の表情(例えば虹彩情報)を捕捉して認識し、映画の内容に対する観客の反応を判定する。本システムは、バイオメトリック情報及び/又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として保存したり、製品を評価する際に前記製品のその他の潜在的ユーザが情報を参照できるようにする。
【選択図】 図1
【解決手段】 ユーザが特定の製品・サービス・創造的作業・又は事物を認識している間にバイオメトリック情報を捕捉する。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔面の表情、声の表情、及び/又は目の表情(例えば虹彩情報)を捕捉して認識し、映画の内容に対する観客の反応を判定する。本システムは、バイオメトリック情報及び/又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として保存したり、製品を評価する際に前記製品のその他の潜在的ユーザが情報を参照できるようにする。
【選択図】 図1
Description
本発明は、生体認識を用いたレビュー管理システム及び管理方法に係り、さらに詳しくは、製品・サービス・創造的作業又は事物の参照に、バイオメトリクス・データを収集して使用するシステム並びに方法に関する。
ロジャー・エバート等の映画評論家が提供する評論や、ザ ニューヨーク タイムズ(登録商標)等の新聞で公表される評論、「amazon.com」等のウェブ・サイトに掲載される評価、及び/又はニールセン・メディア・リサーチ社(登録商標)によって行なわれる調査から作製された評価等、消費者向け評論に基づいて、消費者はビデオ、演劇、映画、テレビ番組を選択することが多い。
例えば、映画評論家(テレビ又は新聞媒体を通じて)は個人的意見だけを述べ、この意見は個人的な偏見に満ちていることが多い。ある特定の評論家がホラー映画を好きでない場合、その特定の評論家はホラー映画に対して良い評価を付けないことが多い。同様に、ある特定の評論家がアクション映画を好む場合又は特定の映画スターに魅力を感じている場合には、その評論家は彼又は彼女のお気に入りの映画スターが出るアクション映画やショーに高い評価を付ける可能性が高い。
大半の映画ファンは各々の映画に意見や評価を発表しないのが普通である。つまり、限定数の意見だけしか利用できないのが普通である。更に、ウェブ・ジャンキー(すなわち何にでも意見を発表したがる偏執的な人)や極端主義者(すなわち好むか好まざるかいずれかで強い意見を持っている人)がこのようなウェブ・サイトに意見を掲示することが想定される傾向にある。したがって、この場合、消費者は大衆の意見を決定するに足る充分な掲示を得られないか、又は掲示された意見が正確なものとして信用できないかのいずれかとなる。
ニールセン・メディア・リサーチ社は、ニールセン調査対象が視聴したテレビ・チャンネルに基づいて自動的に視聴情報を収集する。ニールセンの調査対象は比較的多く(5,000世帯で11,000視聴者程度)、様々な民族と地域にわたっているが、評価は定性的ではない。ニールセンのシステムはセットされたテレビル受像機のチャンネルだけに依存しており、視聴者が本当に番組を視聴又は楽しんでいるかを示すものではない。つまり、これらの評価は定性的尺度を提供するものではないので、これらの評価は特定番組に対する一般大衆の意見の正確な評価を提供するものではない。
したがって、製品・サービス・創造的作業又は事物についての更に正確で定性的なフィードバックを提供し、望ましくは上記の欠点を伴わないシステム及び方法が必要とされている。
本発明の代表的手段の一例を示せば次の通りである。
本発明は、ある人がある製品を認識している間に前記ある人のバイオメトリック・データ(生体情報あるいは生体認識情報)を、捕捉するように構成されたバイオメトリック捕捉装置と、前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置とを含むことを特徴とする。
本発明は、ある人がある製品を認識している間に前記ある人のバイオメトリック・データ(生体情報あるいは生体認識情報)を、捕捉するように構成されたバイオメトリック捕捉装置と、前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置とを含むことを特徴とする。
このバイオメトリック・データは、指紋や虹彩、あるいは声、顔などの身体的特徴によって本人確認を行なうための情報である。
本発明の実施例は、ユーザが製品・サービス・創造的作業又は事物を感知、認識している(perceiving)間に特定のバイオメトリック情報を収集するシステムを含む。
本発明の実施例は、ユーザが製品・サービス・創造的作業又は事物を感知、認識している(perceiving)間に特定のバイオメトリック情報を収集するシステムを含む。
例えば、映画ファンが映画を鑑賞している間に、システムが観衆の一人又はそれ以上の人の顔の表情、声の表現及び/又は目の表情(例えば虹彩情報)を捉えて認識し、映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使用して大衆の代弁者例えば政治家に対する聴衆の反応を評価することもできる。
本システムは、民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現(笑う、泣く、等)は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
本システムは、バイオメトリック情報を解釈して、人間の感情及び/又は感情的レベル(度合又は確率)を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び/又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ(例えば消費者、観衆、理解者等)へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
大抵の人には容易に理解されるように、一般に笑い声のない笑顔は幸福として解釈しうる。笑い声と同時の笑顔は、ある人が何か特に面白いものを見つけたのだと解釈しうる。笑い声と涙を同時に伴う笑顔は、ある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
同様に、これも容易に理解されるように、泣声のない涙は、悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び/又は持続、叫び声の大きさ及び/又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声はある人が悲しい真似をしているだけであると推測できる。
さらにいくつかの例を続けると、急激に変化する顔の表情及び/又は音声の鋭い強調、たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスは、ショックと驚きの判定を支援できる。
一般に、顔の表情、声の表現、目の表情を感情及び/又は感情レベルに変換するなんらかのアルゴリズムを用いて本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル(Hidden Markov Models)、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。
さらに、本システム及び方法は、映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
本発明の実施例は、以下を提供することができる:
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
本発明は、製品・サービス・創造的作業・又は事物を参照するバイオメトリック情報を捕捉使用するためのシステムを提供する。本システムは、製品についての情報とある人が当該製品を認識している間に当該人のバイオメトリック・データを捕捉するように構成されたバイオメトリック捕捉装置、及び当該バイオメトリック・データに基づく情報と当該製品についての情報を格納するための装置とを含む。
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
本発明は、製品・サービス・創造的作業・又は事物を参照するバイオメトリック情報を捕捉使用するためのシステムを提供する。本システムは、製品についての情報とある人が当該製品を認識している間に当該人のバイオメトリック・データを捕捉するように構成されたバイオメトリック捕捉装置、及び当該バイオメトリック・データに基づく情報と当該製品についての情報を格納するための装置とを含む。
当該製品はビデオ・クリップでありうる。製品情報はビデオ・インデックス又は製品それ自体でありうる。バイオメトリック・データは、一次バイオメトリック・データ又は二次バイオメトリック・データを含む。バイオメトリック・データは、顔の表情、声の表現、虹彩情報、身ぶり言語(ボディランゲージ)、発汗レベル、心拍情報、無関係な会話、又は関連する会話を含む。バイオメトリック捕捉装置は、マイクロホン、カメラ、サーモメータ、心拍モニター、MRI装置、又はこれらの装置の組み合わせであり得る。バイオメトリック捕捉装置は、更に、バイオメトリック表現認識装置も含む。バイオメトリック・データに基づく情報は、一次バイオメトリック情報、二次バイオメトリック情報、又は反応参照メトリック情報である。本システムは、更に、決定メカニズムと、感情としてバイオメトリック・データを解釈するための反応認識装置、バイオメトリック・データに基づいた広告のコストを推定するための広告推定装置、及び/又は別の人がバイオメトリック・データに基づいた情報及び製品についての情報を参照できるようにするための参照装置も含む。
本発明は、更に、バイオメトリック情報を捕捉使用して製品・サービス・創造的作業・又は事物を参照する方法も提供する。本方法は、ある人が製品を認識している際にバイオメトリック情報を捕捉するステップと、バイオメトリック情報に基づく情報及び製品に関する情報を将来の使用のためにデータベースへ保存するステップとを含む。
本発明によれば、バイオメトリック・データの組合せで認識した感情表現をレビュー情報に利用することができる。
本発明によれば、バイオメトリック・データを解釈して、人間の感情及び/又は感情的レベル(度合又は確率)を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。
また、本発明によれば、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び/又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ(例えば消費者、観衆、理解者等)へ提供することができる。
以下の説明は、当業者が本発明を使用できるようにする目的で提供され、また特定の用途とその必要条件の状況で提供される。実施例に対する各種の変更は当業者には容易に理解されるであろうし、本明細書で規定する一般原理は本発明の精神及び範囲から逸脱することなく他の実施例及び用途にも適用される。したがって本発明は図示した実施例に制限されるべきことを意図していないが、本明細書で開示される原理、特徴、教示に一致するもっとも広い範囲で許容されるべきものである。
本発明の実施例は、ユーザが特定の製品・サービス・創造的作業・又は事物を感知、認識している間にバイオメトリック情報を捕捉するためのシステムを含む。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔の表情、声の表現及び/又は目の表情(例えば虹彩情報)を捕捉して映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使って大衆の代弁者例えば政治家に対する聴衆の反応を評価することができる。本システムは民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現(笑う、泣く、等)は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
本システムはバイオメトリック情報を解釈して、人間の感情及び/又は感情的レベル(度合又は確率)を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び/又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ(例えば消費者、観衆、理解者等)へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
バイオメトリック表現を感情及び/又は感情レベルへ変換するための幾つかの技術が開発されている。非特許文献1、非特許文献2、非特許文献3、は各々2種類の形態すなわち会話表現と顔面表現が互いに相補的であることを見出している。会話と顔面表現の両方を使用することにより、研究者はいずれかの形態を単独で使用するよりも大きな感情認識率が達成可能であることを示している。研究されている感情の分類は幸福、悲哀、怒り、嫌悪、驚き、恐怖で構成される。
非特許文献4では、顔の画像シーケンスとスピーチとを処理して感情表現を認識するフレームワークを提案している。ここで対象になる6種類の表現は怒り、悲哀、喜び、嫌気、恐れ、驚きで構成されている。
非特許文献5では、統計的手法と隠れマルコフ・モデル(HMM)を用いての感情認識を説明している。この技術は6種類の基本的感情すなわち怒り、嫌悪、恐れ、幸せ、悲しみ、驚きを顔の表現(ビデオ)と感情的スピーチ(オーディオ)の両方から分類しようとするものである。ルール・ベースのシステムを用いてオーディオ及びビデオ情報を組み合わせ感情認識率を向上できることが示されている。
特許文献1では、手の動きから手話を認識し顔面の表情だけから感情とその確率を認識する手話トランスレータを説明している。
多くの人に容易に明らかなように、一般に、笑い声のない微笑みは幸福と解釈することができる。微笑みと同時の笑い声は、ある人が何か特に可笑しなものを見つけたと解釈できる。笑い声と涙を同時に伴う笑顔はある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
同様に、これも容易に理解されるように、泣声のない涙は悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び/又は持続、叫び声の大きさ及び/又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声は、ある人が悲しい真似をしているだけであると推測できる。
さらにいくつかの例を続けると、急激に変化する顔の表情及び/又は音声の鋭い強調たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスはショックと驚きの判定を支援できる。
一般に、顔の表情、声の表現、目の表情を感情及び/又は感情レベルに変換するなんらかのアルゴリズムを用いて、本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。さらに、本システム及び方法は映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
利便な言語を設定する便宜上、術語「製品」には、人によって認識され得る全ての製品・サービス・創造的作業又は事物を含む。術語「人」は、消費者、ユーザ、観察者、聴取者、映画ファン、政治アナリスト、又はその他製品の認識者等として機能する何らかの人を含む。術語「一次バイオメトリクス」には、ある製品を認識する人による物理的表現を含む。このような表現には、笑う、泣く、微笑む、聞き取り可能な叫び、単語等を含む。このような表現はまた、ボディランゲージ、人の発生する雑音例えば口笛、舌打ち、歯を噛み合わせる音などを含む。術語「二次バイオメトリクス」には、特定の表現から認識される一般的感情及び/又は感情レベル(システムが分析において正しいかどうかは別として)を含む。このような二次バイオメトリクスには、幸福、悲哀、恐れ、怒り、嫌悪、驚き等を含む。術語「反応参照メトリクス」は、一般に一次及び二次バイオメトリクスを惹起するような製品の説明に相当する。反応参照メトリクスの例としては、コメディの量、ドラマの量、特殊効果の量、ホラーの量、等が含まれる。一次バイオメトリクス、二次バイオメトリクス、反応参照メトリクスの間の相違が幾らか不鮮明であることは理解されるべきである。例えば、笑いは一次又は二次バイオメトリックのいずれかとして主張することが可能である。面白さは二次バイオメトリック又は反応参照メトリックのいずれかとして論じることができる。
本発明の実施例として、以下を提供することができる:
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
図1は、本発明の実施例による感情反応認識装置100を示すブロック図である。感情反応認識装置100は、顔面/虹彩表現認識装置110経由で決定メカニズム及び反応解釈装置115へ接続してあるカメラ105を含む。認識装置100は更に、音声表現認識装置125経由で決定メカニズム及び反応解釈装置115へ接続されたマイクロホン120を含む。図示したように、カメラ105とマイクロホン120は、人135からバイオメトリック情報を捕捉する。
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
図1は、本発明の実施例による感情反応認識装置100を示すブロック図である。感情反応認識装置100は、顔面/虹彩表現認識装置110経由で決定メカニズム及び反応解釈装置115へ接続してあるカメラ105を含む。認識装置100は更に、音声表現認識装置125経由で決定メカニズム及び反応解釈装置115へ接続されたマイクロホン120を含む。図示したように、カメラ105とマイクロホン120は、人135からバイオメトリック情報を捕捉する。
カメラ105は、人135から画像情報を捕捉するものであり、デジタル式カメラが便利である。しかし、アナログ式カメラを代用することも可能である。カメラ105は、人135の頭部だけに焦点を合わせて顔の表情及び/又は目の表情(例えば虹彩情報)を捕捉するが、他の実施例において、カメラ105は、人135の体に焦点を合わせボディランゲージを捕捉する。当業者には容易に認識されるように、カメラ105がボディランゲージを捕捉している場合には、ボディランゲージ認識装置(図示略)をカメラ105と決定メカニズム及び反応解釈装置115との間に接続できる。
マイクロホン120は人135から音声表現を捕捉するものであり、デジタル式マイクロホンが望ましい。マイクロホン120は、指向性マイクロホンとして各人の発話を個別に捕捉したり、あるいは無指向性マイクロホンとして聴衆全体の発話を捕捉できることが理解されよう。更に、マイクロホン120は、狭い周波数帯域だけを捕捉する(例えば、声によって作られる音だけを捕捉しようとする)又は広い周波数帯域を捕捉する(例えば舌打ちや口笛等を含む全ての音を捕捉しようとする)ことができる。
顔面/虹彩表現認識装置110は、カメラ105経由で捕捉した画像データから顔面及び/又は目の表現を認識するのが望ましく、表現を感情及び/又は感情レベルに翻訳することができる。これ以外に、顔面/虹彩表現認識装置110は表現を感情的分類又はグループへ変換することができる。認識装置110は、例えばどちらともはっきりしない顔(感情ゼロ又は基準顔貌)、笑っている顔、中程度の笑顔、極端な笑顔、叫んでいる顔、ショックを受けた顔等の表現も認識する。顔面/虹彩表現認識装置110は、虹彩の大きさを認識できる。更に、顔面/虹彩表現認識装置110は、表現のグラデーションと確率、例えば20%笑い顔、35%微笑んでいる顔、及び/又は50%泣き顔、等、及び/又は複数の表現の組み合わせを認識する。
音声表現認識装置125は、マイクロホン120経由で捕捉した音声データから音声表現を認識するのが望ましく、音声表現を感情及び/又は感情レベル(又は感情分類又はグループ)に翻訳することができる。音声表現認識装置125は笑い、悲鳴、言語表現等を認識する。更に、音声表現認識装置125は、表現のグラデーションと確率、例えば20%笑い声、35%泣き声等も認識する。音声表現認識装置125は、言語表現及び/又は非言語音響表現、例えば舌打ち、口笛、テーブルを叩く音、脚を踏み鳴らす音、歯を噛み合わせる音等を認識可能な(音声表現認識装置125と同様の)音響表現認識装置(図示略)で置き換えることが可能である。
カメラ105とマイクロホン120は、各々バイオメトリック捕捉装置の例である。他のバイオメトリック捕捉装置としては、サーモメータ、心拍モニター、又はMRI装置が含まれる。顔面/虹彩表現認識装置110、ボディランゲージ認識装置(図示略)及び音声表現認識装置125の各々は「バイオメトリック表現認識装置」の例である。カメラ105と顔面/虹彩表現認識装置110、カメラ105とボディランゲージ認識装置(図示略)、マイクロホン120と音声表現認識装置125は、各々「バイオメトリック認識システム」の例である。
決定メカニズム及び反応解釈装置115は、顔面/虹彩表現認識装置110と音声表現認識装置125からの結果を組み合わせて人135の完全な一次バイオメトリック表現を判定する。反応解釈装置115は、何らかのアルゴリズム例えばルール・ベース、ニューラルネットワーク、ファジー論理、及び/又はその他の感情分析アルゴリズムを使用して、一次バイオメトリック表現から人の感情及び感情レベルを決定する。したがって、解釈装置は、感情(例えば幸福)だけでなくそのレベル例えば20%幸せで80%普通等も判定できる。反応解釈装置115は、表現と感情に、認識されている製品の情報(例えば映画、映画インデックス、製品識別情報、政治家のスピーチ情報等)を関連付けることが可能である。このような統合により、他の人が予想される感情に製品を関連付けることができるようになる
図1は、顔面と音声のバイオメトリック情報に限定されているが、他のバイオメトリクスやバイオメトリック情報を捕捉して感情及び/又は感情レベルを判定できることは当業者には理解されよう。例えば、感情反応認識装置100は、手のジェスチャー、心拍、発汗、ボディランゲージ、無関係なおしゃべりの量等を捕捉できる。決定メカニズム及び反応解釈装置115は、変換アルゴリズムを用いて一次バイオメトリック表現(微笑み、声を出した笑い、涙等)を笑い、恐れ、驚き等の感情及び/又はこれに対応するレベルに変換できる。
図1は、顔面と音声のバイオメトリック情報に限定されているが、他のバイオメトリクスやバイオメトリック情報を捕捉して感情及び/又は感情レベルを判定できることは当業者には理解されよう。例えば、感情反応認識装置100は、手のジェスチャー、心拍、発汗、ボディランゲージ、無関係なおしゃべりの量等を捕捉できる。決定メカニズム及び反応解釈装置115は、変換アルゴリズムを用いて一次バイオメトリック表現(微笑み、声を出した笑い、涙等)を笑い、恐れ、驚き等の感情及び/又はこれに対応するレベルに変換できる。
図2は、本発明の実施例による感情反応認識装置及びストレージ・システム200を示すブロック図である。感情反応認識装置及びストレージ・システム200はほとんどどこにでも、例えば家庭、劇場、航空機、及び/又は車両内に配置することができる。システム200は、移動体装置特に携帯電話に組み込むことが可能であり、携帯電話はマイクロホンとカメラを両方とも備える傾向にある。このシステム200は、家庭用のテレビ又はセットトップボックスに組み込んだり、又は劇場用として劇場の客席の背もたれに組み込むことができる。システム200は感情反応認識装置202を含み、これは顔面/虹彩表現認識装置110経由で決定メカニズム及び反応解釈装置205へ接続されたカメラ105と、音声表現認識装置125経由で決定メカニズム及び反応解釈装置205へ接続されたマイクロホン120とを含む。感情反応認識装置202は評価管理サーバ215へ接続される。感情反応認識装置202は、図1を参照して前述したように、異なったバイオメトリック捕捉装置及び/又は装置の組み合わせで構成できることが当業者には理解されよう。
カメラ105、顔面/虹彩表現認識装置110、マイクロホン120、及び音声表現認識装置125の各々は、図1を参照して説明したコンポーネントと同様のものであり、同様に機能する。
決定メカニズム及び反応解釈装置205は、図1を参照して上記で説明した決定メカニズム及び反応解釈装置115と同様のものであり、さらに、以下の追加、変更、及び/又は説明を含む。反応解釈装置205は、表現、感情、及び/又は感情レベルを認識されている製品についての情報と関連付ける。図2の実施例において、図示した製品は映画/番組インデックス210を含む。反応解釈装置205は、表情、感情、及び/又は感情レベルを映画の内容と関連付け、動的アップデート情報220として図示した情報を将来の使用のため評価管理サーバ215へ送信する。
評価管理サーバ215は、動的アップデート情報220を用いて実質的内容に関連する感情傾向の統計情報を計算することができる。評価管理サーバ215は統計情報をリレーショナル・データベース又はその他の構造体に保持することができ、また興味のある人(例えばユーザ、消費者、観客、視聴者等)へ情報220を提供してその製品がどれほど感動的か、又製品の認知によってどのような種類の感情的反応が予想されるかを示すことができる。評価管理サーバ215は、感情及び/又は感情レベルを検証してその製品についての反応評価メトリクスを決定できる。例えば、ある映画がコメディだとすると、どの位映画が面白かったかを確定する反応評価メトリックは惹起された面白いと言う感情の量に基づいたものとなり、これは表現された笑い及び/又は微笑みの量に基づくことができる。したがって、評価管理サーバ215はコメディとしての製品の成功度を測定し保存できる。評価管理サーバ215の代わりとして、例えば決定メカニズム及び反応解釈装置205等の他のコンポーネントが反応評価メトリクスを決定できることは当業者には理解されよう。
本実施例において、サーバ215は新しい観客が動的アップデート情報220に基づいて映画を選択できるようにするものであり、情報は多くの異なる方法で提示することが可能である。例えば、サーバ215は「平均より5.5倍笑い声が多い」又は「平均より15.3倍笑い声が多い、泣き声無し」のように情報を表現できる。表現は、一次バイオメトリクス、二次バイオメトリクス、反応評価メトリクス、又はこれらの組み合わせに関するものである。意図しているか意図していないかに係わらず、新しい観客が別の評価者になり得ることは理解されよう。
新しい種類の報奨(例えばアカデミー賞やグラミー賞)は、ある製品(例えば映画)の熱烈な感情(例えば統計情報)に基づいて決定されることは理解されよう。言い換えれば、報奨は感情を揺さぶる意図に関連してその製品がどの程度成功したかに基づいている。最高のコメディは、観客が表現した最大数の笑いに基づくことができる。
図3は、本発明の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム300を示すブロック図である。
ネットワーク・システム300は、第1のコンテンツ提供兼バイオメトリック捕捉システム302と第2のコンテンツ提供兼バイオメトリック捕捉システム304を含み、各々ネットワーク320(例えばLAN、WAN、インターネット、無線等)経由で評価管理サーバ325へ接続されている。評価管理サーバ325は更に、例えばネットワーク320経由で広告費用推測装置330や広告会社335へ接続されている。評価管理サーバ325は、1つまたは多数のユーザ・システム、例えば第1のコンテンツ提供兼バイオメトリック捕捉システム302と第2のコンテンツ提供兼バイオメトリック捕捉システム304に接続できることが理解されよう。
第1のコンテンツ提供兼バイオメトリック捕捉システム302は、モニタ310(例えばテレビ、DVDプレーヤ等)へ接続された評価付きコンテンツ・セレクタ315を含み、これは感情反応認識装置305へ接続される。
評価付きコンテンツ・セレクタ315は、製品情報とこれに対応する感情情報(一次バイオメトリクスとして、二次バイオメトリクスとして、又は反応評価メトリクスとして表現されたかに係わらない)を評価管理サーバ325から取得する。評価付きコンテンツ・セレクタ315は、利用可能なオプションを第1の人355へ、例えばリスト形式で、メニュー項目のセットとして、階層化テーブルとして、又は他の何らかの方法(望ましくは変性された方法)で提示する。評価付きコンテンツ・セレクタ315は、従来のリモートコントロール(図示略)、キーボード、タッチスクリーン、又はその他の入力装置とこれに対応するソフトウェアを含む。評価付きコンテンツ・セレクタ315は、コンテンツ・プロバイダ例えばオンデマンド映画サービス等を含む。第1の人355は評価付きコンテンツ・セレクタ315を使って見たい製品例えば鑑賞したい映画を選択できる。ネットワーク・システム300は、評価付きコンテンツ・セレクタ315を含むように説明しているが、どのようなデータ評価機構を使用することも可能なことは当業者には理解されよう。どのユーザも、データ評価機構により、保存されている製品と感情情報(例えば認識、購入、レンタル、鑑賞、制御、聴取等しようとする製品を選択するため)を参照できる。
モニタ310は、選択された製品例えば映画を提示し、これはテレビ又は映画画面とすることができる。モニタは、製品が音楽の場合にはオーディオ型のシステムに置き換える又は拡張することができ、製品が仮想現実イベントの場合には触覚フィードによって置き換える又は拡張することができることは、当業者には理解されよう。モニタ310は、製品を提示するためのメカニズム(電子的又はライブかによらない)又はメカニズムの組み合わせを提示する。
感情反応認識装置305は、第1の人355の表現、感情及び/又は感情レベルを捕捉する。感情反応認識装置305は、図2を参照して説明した感情反応認識装置202のコンポーネントを含む。
第2のコンテンツ提供兼バイオメトリック捕捉システム304は、第1のコンテンツ提供兼バイオメトリック捕捉システム302と同様に、第2の人360に製品及び感情情報を提供するため、又感情と感情レベルの情報を収集して評価管理サーバ325に例えば保持されているデータベース内に格納するため、評価付きコンテンツ・セレクタ350、モニタ345、感情反応認識装置340を含む。これらのコンポーネントは第1のコンテンツ提供兼バイオメトリック捕捉システム302のコンポーネントと同様に機能し、構成/プログラムされる。フィードバック・データベースはネットワーク・システム300のどこに保持されても構わないことは当業者には理解されよう。
評価管理サーバ325は、ユーザに正確な評価情報を提供する新規サービスを提供できる。評価情報は自動的に回収され、したがってオーバヘッドや人的資源を削減できる。評価管理サーバ325はフィードバック・データベース(図示略)の情報を生成し又は更新する。
評価管理サーバ325はフィードバック情報を広告費用推測装置330へ送信できる。図面では「評価点数」として図示してあるが、情報はどのような種類又は形態でも構わないことは当業者には理解されよう。広告費用推測装置330は、広告会社335によるテレビのコマーシャルを含め広告にかかる費用見積りを生成できる。特定の製品(例えば番組)に対する反応が良いほど、製品(例えば番組)の提示中にコマーシャルにかかる見積りは高くなる。
評価管理サーバ325は、フィードバック・データベース(図示略)を維持するのが望ましい。評価は「5つ星」評価スケールを使って点数付けする。しかし、このような点数評価スケールは、非統計的で不十分なデータ、少数の認識者に基づく個人的偏見、中程度に良い製品と中程度に悪い製品の間の差別がうまくできない、個人的聴衆の好みについての定量的情報がないという欠点を抱えている。評価管理サーバ325はもっと広い範囲の反応についてパーセンテージによる点数評価を保持するのが望ましい。
反応評価メトリクス(metrics)の幾つかと二次バイオメトリクスに対する関連性について、以下の表1に図示する。他のメトリクスも考慮できる。
表1の二つの欄の間の関連性は、手動でトレーニングするかファジー論理を用いて自動生成するかのいずれかで反応評価マトリクスの二次バイオメトリクスへマッピングできる。例えば、多重ファジー連想記憶マトリクス(MFAMM)を形成するファジー規則を書いて反応評価メンバー・スコアに対するファジー・ドメイン・メンバーシップの度合をマッピングできる。ファジー・ドメインは各二次バイオメトリック・パラメータについてのスケール又は次元である。MFAMMは「ファジー・ドメイン」と反応評価出力の全ての組み合わせの間にマッピングが存在することを保証する。
反応評価データベース(又はフィードバック・データベース)は以下の表2に示したのと同様の方法で構成できる。この表2は、放送される全ての番組、映画、スポーツのリストを含む。各々の番組に対応して、「面白い」「スリリング」等の感情的評価メトリックが存在する。各メトリックに対応して評価点数(パーセンテージ又はその他のスケールとして)が存在する。このデータベースは、オンデマンドでユーザが製品評価のため例えば内容評価のために問い合わせることができる。フィードバック・データベースは、ある製品をユーザが経験し終えるとユーザの反応で自動的に更新される。
多くの人は、もし彼らの感情的反応が記録されるとしても、画像の類似性や識別情報が保持されていない限り、ほとんど心配しないだろう。
各ユーザについて収集される情報はパラメータであるから、この情報を利用して窃盗又はその他の詐欺を働くことはできない。
図4は、本発明の第2の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム400を示すブロック図である。映画提供者の状況で図示してあるが、本発明の実施例は異なる用途に使用可能であることが当業者には理解されよう。ネットワーク・システム400は、ネットワーク465経由で評価管理サーバ430へ接続された第1のコンテンツ提供兼バイオメトリック捕捉システム402と、ネットワーク465経由で評価管理サーバ430へ接続された第2のコンテンツ提供兼バイオメトリック捕捉システム404とを含む。コンテンツ提供サーバ460は、ネットワーク465経由で第1のコンテンツ提供兼バイオメトリック捕捉システム402と、第2のコンテンツ提供兼バイオメトリック捕捉システム404へ接続される。
第1のコンテンツ提供兼バイオメトリック捕捉システム402は、評価管理クライアント415へ接続されたコンテンツ・セレクタ410と、評価管理クライアント415へ接続された感情反応認識装置420と、評価管理クライアント415へ接続されたモニタ425とを含む。評価管理クライアント415は、評価管理サーバ430とコンテンツ提供サーバ460へ接続される。感情反応認識装置420、コンテンツ・セレクタ410、モニタ425は各々意図しない評価者として図4で分類されている第1の人405に対するI/Oとして機能する。
本実施例において、第2のコンテンツ提供兼バイオメトリック捕捉システム404は第1のコンテンツ提供兼バイオメトリック捕捉システム402と同じ方法で互いに接続された同一のコンポーネントを含む。つまり、第2のコンテンツ提供兼バイオメトリック捕捉システム404は、評価管理クライアント440へ接続されたコンテンツ・セレクタ435と、評価管理クライアント440へ接続された感情反応認識装置445と、評価管理クライアント440へ接続されたモニタ450とを含む。評価管理クライアント440は評価管理サーバ430及びコンテンツ提供サーバ460へ接続される。感情反応認識装置445、コンテンツ・セレクタ435、モニタ450の各々は、図4ではその他の観察者として分類されている第2の人455へのI/Oとして機能する。
図4において、矢印で(又イベントの番号で)示してあるように、本実施例の方法は評価管理クライアント415がコンテンツ提供サーバ460によって提供されるコンテンツ(又は製品)のリストを要求し取得することから開始される。評価管理クライアント415は、提供されるコンテンツの各々について何らかの評価情報(すなわち一次バイオメトリクス、二次バイオメトリクス、又は反応評価メトリクスのいずれかとして提供されるフィードバック情報)を要求し取得する。評価情報を取得した後、評価管理クライアント415は提供されるコンテンツのリストとこれに対応する利用可能な評価情報をモニタ425へ提供し、第1の人405が情報を熟読してから、認識するコンテンツを選択できるようにする。第1の人405は、コンテンツ・セレクタ410のインタフェースを使って認識例えば鑑賞しようとするコンテンツを選択する。選択情報は評価管理クライアント415へ送信され、クライアントは、第1の人405へ選択されたコンテンツを提供するように、コンテンツ提供サーバ460へ命令を送る。コンテンツ提供サーバ460はモニタ425へのコンテンツを直接モニタ425へ提供できる。本発明の精神と範囲から逸脱することなくこれに代わる方法も可能であることは当業者には理解されよう。例えば、ユーザはコンテンツ提供サーバ460から直接コンテンツを要求できる。更に、コンテンツ提供サーバ460は評価管理クライアント415経由でモニタ425へコンテンツを送信することができる。
ユーザがコンテンツを認識している間に、感情反応認識装置420は第1の人405をモニタしてバイオメトリック表現を捕捉できる。感情反応認識装置420は表現を感情及び/又は感情レベルへ変換でき、更にコンテンツ・インデックスに関連させた感情及び/又は感情レベルを評価管理クライアント415へ送信できる。評価管理クライアント415は、次に、フィードバック情報例えばバイオメトリック表現、感情及び感情レベル、及びコンテンツ・インデックスを評価管理サーバ430へ送信し、サーバは同一又は別の人405,455による将来の使用のために参照情報を保存する。評価管理クライアント415は、感情反応認識装置420の代わりにコンテンツ・インデックスに対して感情及び/又は感情レベルを統合しても良い。これ以外に、表現、感情及び/又は感情レベルだけを送信しても良く、これは評価管理サーバ430ではすでに製品情報又は時間ベースのマッピングが分かっていることによる。言い換えれば、評価管理サーバ430は表現、感情及び/又は感情レベルを映画へ簡単にマッピングすることができ、これは評価管理サーバ430では時刻と映画の内容(例えばインデックス)の間のマッピングがすでにできていることによる。他の多くのオプションも利用できる。
本実施例において、評価管理サーバ430,第1のコンテンツ提供兼バイオメトリック捕捉システム402,第2のコンテンツ提供兼バイオメトリック捕捉システム404,コンテンツ提供サーバ460の各々が個別のコンピュータ上に維持されるものと仮定している。しかし、コンポーネント各々又はコンポーネントの異なる組み合わせ及び/又はシステムを別々のコンピュータに保持し得ることは当業者に理解されよう。例えば、評価管理サーバ430とコンテンツ提供サーバ460は同一コンピュータ上に配置できる。又、例えば、第1のコンテンツ提供兼バイオメトリック捕捉システム402とコンテンツ提供サーバ460は同一のコンピュータ上に配置可能である。更に別の例として、感情反応認識装置420と評価管理サーバ430は同一のコンピュータ上に配置可能である。
図5は、コンピュータ・システム500の例を示すブロック図である。コンピュータ・システム500は通信チャネル520へ接続されたプロセッサ505例えばインテル社製ペンティアム(登録商標)・プロセッサ、又はモトローラ社製PowerPC(登録商標)プロセッサ等を含む。コンピュータ・システム500は更に、各々通信チャネル520へ接続される、キーボード又はマウス等の入力装置510、CRTディスプレイ等の出力装置515、通信装置525、磁気ディスク装置等のデータ記憶装置530、ランダム・アクセス・メモリ(RAM)等のメモリ535を含む。通信インタフェース535はインターネットとして共通に参照される広域ネットワーク等のネットワークへ接続される。データ記憶装置530とメモリ535は異なるユニットとして図示してあるが、データ記憶装置530とメモリ535は同一ユニットの部分、分散ユニット、仮想メモリ等とすることが可能なことは当業者には理解されよう。
データ記憶装置530及び/又はメモリ535は、例えばマイクロソフト・ウィンドウズNT(登録商標)又はウィンドウズ95(登録商標)オペレーティング・システム(OS)、IBM(登録商標) OS/2オペレーティング・システム、MAC(登録商標) OS又はUNIX(登録商標)オペレーティング・システム等のオペレーティング・システム540、及び/又はその他のプログラム545を格納できる。好適実施例は前述した以外のプラットホームとオペレーティング・システムでも実現され得ることは理解されよう。実施例はJAVA(登録商標)、C、及び/又はC++言語又はその他のプログラミング言語をつかって、オブジェクト指向プログラミング手法と併せて、書くことができる。オブジェクト指向プログラミング(OOP)は複雑なアプリケーションの開発にますます使用されるようになってきた。
システム500は、追加の情報例えばネットワーク接続、追加のメモリ、追加プロセッサ、LAN、ハードウェアチャネル間で情報を転送するための入出力線、インターネット又はイントラネット等も含むことは当業者には理解されよう。またプログラムとデータは別の方法でシステムにより受信されシステム内に格納し得ることも当業者には理解されよう。例えば、コンピュータで読み取り可能な記憶媒体(CRSM)読取装置550、例えば磁気ディスクドライブ装置、ハードディスクドライブ装置、光磁気リーダ、CPU等を通信バス520に接続しコンピュータで読み取り可能な記憶媒体(CRSM)555、例えば磁気ディスク、ハードディスク、光磁気ディスク、RAM等を読み取ることができる。したがって、システム500はCRSM読取装置550経由でプログラム及び/又はデータを受信する。更に、本明細書において術語「メモリ」は永久又は一時を問わず全てのデータ記憶媒体を包含することを意図していることは理解されよう。
図6は、本発明の実施例によるバイオメトリック・データを捕捉使用して製品を評価しまた消費者の意見データベースを構築する方法600を示すフローチャートである。方法600はステップ605から開始し、利用可能なコンテンツ/タイトルのリストの要求をコンテンツ提供サーバへ送信しコンテンツ提供サーバからリストを取得する。ステップ610では、各々のコンテンツ/タイトルに関連した評価情報(すなわちフィードバック、バイオメトリック又は反応情報)の要求を評価管理サーバへ送信し、評価情報を評価管理サーバから受信する。ステップ615では、利用可能なコンテンツ/タイトルのリストとこれに対応する評価情報をユーザへ表示する。ステップ620では、ユーザがコンテンツ・セレクタを使用して特定のコンテンツ/タイトルを選択する。コンテンツ・セレクタは何らかの入力捕捉装置例えばキーボード、リモコン、マウス、音声コマンド・インタフェース、タッチスクリーン等を使用できる。ステップ625では、選択したコンテンツ/タイトルの要求をコンテンツ提供サーバへ送信する。ステップ630では、コンテンツをユーザへ表示しつつ、感情反応認識装置によってユーザの感情及び/又は感情レベルを捕捉する。ステップ635では、感情及び/又は感情レベルが例えばコンテンツのタイトルと一緒に評価管理サーバへ送信される。ここで方法600は終了する。
図7は本発明の第3の実施例による通信及びコンテンツ・サービス・システムを示す。通信及びコンテンツ・サービス・システムは複数の移動体端末701と通信及びコンテンツ提供サーバ711とを含む。移動体端末701とサーバ711の間の通信として無線通信を使用する。
移動体端末701は、通信機能702及びコンテンツ提供機能703を有する。通信機能702は、携帯電話のような音声と電子メールのようなテキストデータとを使用することにより通信する機能を含む。コンテンツ提供機能703は、映画、テレビ番組を表示したりラジオを鳴らす機能を含む。また移動体端末701は、更に感情反応認識機能704と評価管理クライアント機能705も含む。基本的に、感情反応認識機能704の機能は感情反応認識装置420と同様のコンポーネントを含み同様の方法で動作し、また評価管理クライアント機能705は評価管理クライアント415と同様のコンポーネントを含み同様の方法で動作する。移動体端末701は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能702,703,704,705はハードウェア又はソフトウェアで実現される。移動体端末701はその他のアプリケーションをメモリに記憶してプロセッサにより実行することができる。
通信及びコンテンツ提供サーバ711は、通信管理機能712とコンテンツ提供管理機能713とを有する。通信管理機能712の機能は移動体端末701間の通信を管理する。また、通信及びコンテンツ提供サーバ711が移動体端末701からコンテンツ要求を受信した時、通信管理機能712がコンテンツ提供管理機能713を実行する。コンテンツ提供管理機能713は、評価管理サーバ430及びコンテンツ提供サーバ460と同様のコンポーネントを含み同様の方法で動作する。通信及びコンテンツ提供サーバ711は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能712と713はハードウェア又はソフトウェアで実現される。
通信及びコンテンツ提供サーバ711は、データベース720へ接続される。データベース720はコンテンツと、各々のコンテンツに対応する各々の感情の評価点数(パーセンテージ又はその他のスケールで)を格納する。
さらに詳しく説明すると、あるコンテンツの所定の時刻に於ける各々の感情の評価点数が、図8に図示してあるようにして、データベース720に格納される。
図9は、ユーザがコンテンツを鑑賞又は聴取している時の移動体端末701と通信及びコンテンツ提供サーバ711の間のデータ通信の例を示す。
ユーザがコンテンツを鑑賞又は聴取する際には、ユーザは移動体端末701のコンテンツ提供機能703を実行する。コンテンツ提供機能703は評価管理クライアント機能705を実行する。評価管理クライアント機能705は、コンテンツ要求を通信及びコンテンツ提供サーバ711へ送信する(901)。サーバ711が要求を受信すると、通信管理機能712がコンテンツ提供管理機能713を実行する。
コンテンツ提供管理機能713は、図10に図示したような表を生成する(902)。表は、コンテンツと、データベース720に格納されているデータに基づいて各々のコンテンツについての各々の感情の評価点数とを含む。図10に図示したようなスコアは所定の評価点を越える時間の割合を示す。例えば、映画1の面白さは所定の評価点数を越える時間が全体の10%であることを意味する。コンテンツ提供管理機能713は表を移動体端末701に送信する(903)。移動体端末701は画面上に表を表示する(904)。移動体端末701のユーザはコンテンツ又は「面白い」、「スリリング」等の感情を選択できる(905)。ユーザが感情の一つを選択すると、ユーザは所定のレベルを越えたコンテンツの場面を鑑賞及び/又は聴取できる。例えば、ユーザが感情の一つである「面白い」を選択した場合、ユーザは所定のレベルを越えるコンテンツの面白い場面を鑑賞及び/又は聴取できる。評価管理クライアント機能705は、コンテンツと選択された感情の情報を通信及びコンテンツ提供サーバ711へ送信する(906)。サーバ711のコンテンツ提供管理機能713は、選択された感情が所定のレベルを越える場面をデータベース720から検索し(907)、移動体端末701へ検索した場面を送信する(908)。評価管理クライアント機能707が場面を受信すると、評価管理クライアント機能は移動体端末701の画面上に場面を再生するための再生ボタンを表示する(909)。
ユーザがコンテンツの一つを選択した場合、ユーザはそのコンテンツを鑑賞及び/又は聴取できる。評価管理クライアント機能705は選択されたコンテンツの情報を通信及びコンテンツ提供サーバ711へ送信する(906)。サーバ711のコンテンツ提供管理機能713はデータベースからコンテンツを検索し(907)、移動体端末701へ検索したコンテンツを送信する(908)。評価管理クライアント機能707がコンテンツを受信すると、評価管理クライアント機能707は移動体端末701の画面上にコンテンツを再生するための再生ボタンを表示する(909)。
再生ボタンをユーザが選択した場合、評価管理クライアント機能705は感情反応認識機能704を実行して移動体端末701の画面上にコンテンツを表示する(910)。感情反応認識機能704は一次バイオメトリクスを捕捉する。移動体端末701はカメラ、マイクロホン、及びセンサーを備える。カメラはユーザの表情を捉え、マイクロホンはユーザの声を捉え、センサーは握りの強さ及び/又はユーザの手の汗を捉える。例えば、ユーザがコンテンツでスリルを感じている場合、握りは強い握りになり手掌は汗ばんでくる。感情反応認識機能704はカメラ、マイクロホン、センサーによって捕捉された情報に基づいて、二次バイオメトリクスとして一般的感情及び/又は感情レベルを生成する(911)。感情反応認識機能704は、感情及び/又は感情レベルを、コンテンツとコンテンツの時刻を特定するためのインデックスと関連付け、また移動体端末701のメモリに格納する。評価管理クライアント機能705は感情、感情レベル、コンテンツ、時刻をメモリから所定の時間間隔で読み取り、これらを通信及びコンテンツ提供サーバ711へ送信する(912)。
コンテンツ提供管理機能713は、感情、感情レベル、コンテンツとコンテンツの時刻を指定するインデックスに基づいてデータベース720の感情の評価点数を更新する(913)。コンテンツ提供管理機能713が要求を受信すると、コンテンツ提供管理機能713は感情の更新された評価点数に基づいて表を生成し、表を移動体端末701へ送信する。
更に、感情情報の付いた広告をデータベース720に保存することができる。サーバ711のコンテンツ提供管理機能713がコンテンツと選択された感情の情報を評価管理クライアント機能705から受信すると、コンテンツ提供管理機能713は選択された感情に一致する広告を検索し、コンテンツと一緒に検索された広告を移動体端末701へ送信する。移動体端末はコンテンツを表示する前に受信した広告を表示する。したがって、システムはユーザの感情に合わせた広告を提供することができる。
本発明の好適実施例の前述の説明は単なる例示であって、前述の実施例及び方法のその他の変化及び変更が前述の教示に鑑みて可能である。例えば、図面の各々でコンポーネントの各々は単一のコンピュータ・システムへ組み込まなくても良い。コンポーネントの各々はネットワーク内で分散していても構わない。本明細書で記載した各種実施例はハードウェア、ソフトウェア、又はこれらの希望する組み合わせを用いて実現できる。その点で、本明細書で記載した各種機能を実現する能力のあるあらゆる種類の論理を使用できる。コンポーネントはプログラム済み汎用デジタル・コンピュータを用いて、特定用途集積回路を用いて、又は相互接続してある従来のコンポーネント及び回路のネットワークを使用して、実現することができる。接続は有線、無線、モデム等とすることができる。本明細書で説明した実施例は排他又は制限することを意図したものではない。本発明は以下の請求の範囲によってのみ制限されるものである。
100…感情反応認識装置、105…カメラ、110…顔面/虹彩表現認識装置、115…反応解釈装置、120…マイクロホン、125…音声表現認識装置、135…人、200…感情反応認識装置及びストレージ・システム、202…感情反応認識装置、205…決定メカニズム及び反応解釈装置、210…映画/番組インデックス、215…評価管理サーバ、220…動的アップデート情報、300…ネットワーク・システム、302…第1のコンテンツ提供兼バイオメトリック捕捉システム、304…第2のコンテンツ提供兼バイオメトリック捕捉システム、315…コンテンツ・セレクタ、320…ネットワーク、325…評価管理サーバ、330…広告費用推測装置、335…広告会社、340…感情反応認識装置345…モニタ、350…評価付きコンテンツ・セレクタ。
Claims (24)
- ある人がある製品を認識している間に前記ある人のバイオメトリック・データを、捕捉するように構成されたバイオメトリック捕捉装置と、
前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置と
を含むことを特徴とするシステム。 - 前記製品がビデオ・クリップを含むことを特徴とする請求項1に記載のシステム。
- 前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項2に記載のシステム。
- 前記製品に関する前記情報が前記製品を含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック捕捉装置はマイクロホン、カメラ、サーモメータ、心拍モニタ、及びMRI装置の少なくとも一つを含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック捕捉装置は、更にバイオメトリック表現認識装置を含むことを特徴とする請求項7に記載のシステム。
- 前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項1に記載のシステム。
- バイオメトリック・データを感情として解釈するための決定メカニズム及び反応解釈装置を更に含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック・データに基づいて広告の費用を推定するための広告推定装置を更に含むことを特徴とする請求項1に記載のシステム。
- 前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにする参照装置を更に含むことを特徴とする請求項1に記載のシステム。
- ある人がある製品を認識している間にバイオメトリック情報を捕捉するステップと、
前記バイオメトリック情報に基づく情報と前記製品に関する情報とを将来の使用のためにデータベース内に格納するステップと、
を含むことを特徴とする方法。 - 前記製品がビデオ・クリップを含むことを特徴とする請求項13に記載の方法。
- 前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項14に記載の方法。
- 前記製品に関する前記情報が前記製品を含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データを感情及び/又は感情レベルとして認識するステップを更に含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データに基づいた広告の費用を推定するステップを更に含むことを特徴とする請求項13に記載の方法。
- 前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにするステップを更に含むことを特徴とする請求項13に記載の方法。
- ある人がある製品を認識している間にバイオメトリック情報を捕捉するための手段と、
前記バイオメトリック情報に基づいた情報と前記製品に関する情報とを将来の使用のために格納するデータベースと、
を含むことを特徴とするシステム。 - ユーザにコンテンツを提示し、前記ユーザのバイオメトリック情報を捕捉し、サーバへ前記捕捉したバイオメトリック情報を送信するための少なくとも1台の装置と、
前記コンテンツと前記コンテンツに対応してあらかじめ取得してあるバイオメトリック情報を格納し、前記コンテンツと前記あらかじめ取得してあるバイオメトリック情報を前記少なくとも1台の装置へ提供し、前記少なくとも1台の装置から前記ユーザの前記捕捉したバイオメトリック情報を受信し、前記少なくとも1台の装置から受信した前記捕捉したバイオメトリック情報に基づいて前記あらかじめ取得してあるバイオメトリック情報を更新するためのサーバと
を含むことを特徴とするコンテンツ提供システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/876,848 US20050289582A1 (en) | 2004-06-24 | 2004-06-24 | System and method for capturing and using biometrics to review a product, service, creative work or thing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006012171A true JP2006012171A (ja) | 2006-01-12 |
JP2006012171A5 JP2006012171A5 (ja) | 2008-07-31 |
Family
ID=35507647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005182945A Withdrawn JP2006012171A (ja) | 2004-06-24 | 2005-06-23 | 生体認識を用いたレビュー管理システム及び管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050289582A1 (ja) |
JP (1) | JP2006012171A (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007193904A (ja) * | 2006-01-20 | 2007-08-02 | Pioneer Electronic Corp | データ記録装置 |
JP2008272019A (ja) * | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | 集団感情認識支援システム |
JP2009267445A (ja) * | 2008-04-21 | 2009-11-12 | Toshiba Corp | 嗜好性情報管理装置及び嗜好性情報管理方法 |
JP2010520553A (ja) * | 2007-03-07 | 2010-06-10 | エムセンス コーポレイション | メディア性能の基準として生物的反応の一致性を利用する方法及びシステム |
JP2010186373A (ja) * | 2009-02-13 | 2010-08-26 | Omron Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2011513851A (ja) * | 2008-03-03 | 2011-04-28 | ザ プロクター アンド ギャンブル カンパニー | 尺度評価された情動状態を伴う買物客向け情報伝達 |
JP2012009957A (ja) * | 2010-06-22 | 2012-01-12 | Sharp Corp | 評価情報通知装置、コンテンツ提示装置、コンテンツ評価システム、評価情報通知装置の制御方法、評価情報通知装置の制御プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2013109767A (ja) * | 2011-11-23 | 2013-06-06 | Inst For Information Industry | 広告システムおよび広告方法 |
JP2014523154A (ja) * | 2011-06-17 | 2014-09-08 | マイクロソフト コーポレーション | インタレストベースビデオストリーム |
JP2014524178A (ja) * | 2011-06-17 | 2014-09-18 | マイクロソフト コーポレーション | 環境センシングに基づくビデオハイライト特定 |
JP2014529133A (ja) * | 2011-09-12 | 2014-10-30 | インテル・コーポレーション | ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること |
KR20150071852A (ko) * | 2013-12-19 | 2015-06-29 | (주) 로임시스템 | 뇌파인식형 학습 문제 제공시스템 |
WO2015194391A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 検出装置および方法、並びにプログラム |
JP2016062084A (ja) * | 2014-09-22 | 2016-04-25 | 株式会社日立システムズ | 作業管理装置、感情解析端末、作業管理プログラムおよび作業管理方法 |
JP2017526094A (ja) * | 2014-07-03 | 2017-09-07 | リアルアイズ・オーウー | ウェブベースのコンテンツとの対話中におけるコンピュータユーザデータの収集および処理方法 |
JP2018106419A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | マーケティング装置 |
JP2019505011A (ja) * | 2015-12-07 | 2019-02-21 | エスアールアイ インターナショナルSRI International | 統合化された物体認識および顔表情認識を伴うvpa |
WO2019146405A1 (ja) * | 2018-01-25 | 2019-08-01 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム |
JP6667766B1 (ja) * | 2019-02-25 | 2020-03-18 | 株式会社QBIT Robotics | 情報処理システムおよび情報処理方法 |
JP2020077189A (ja) * | 2018-11-07 | 2020-05-21 | スカパーJsat株式会社 | 体験記録システム及び体験記録方法 |
JP2020077229A (ja) * | 2018-11-08 | 2020-05-21 | スカパーJsat株式会社 | コンテンツ評価システム及びコンテンツ評価方法 |
KR20200101137A (ko) | 2019-02-19 | 2020-08-27 | 주식회사딜루션 | 감정 분석 시스템 및 이의 동작 방법 |
US20200353366A1 (en) * | 2019-05-10 | 2020-11-12 | Golden Poppy, Inc. | System and method for augmented reality game system |
JP2021047659A (ja) * | 2019-09-19 | 2021-03-25 | コニカミノルタ株式会社 | 作業関与状況評価装置、作業関与状況評価方法及びプログラム |
Families Citing this family (235)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4481682B2 (ja) * | 2004-02-25 | 2010-06-16 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
KR100763900B1 (ko) * | 2004-08-28 | 2007-10-05 | 삼성전자주식회사 | 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치 |
US7783028B2 (en) * | 2004-09-30 | 2010-08-24 | International Business Machines Corporation | System and method of using speech recognition at call centers to improve their efficiency and customer satisfaction |
US8235725B1 (en) | 2005-02-20 | 2012-08-07 | Sensory Logic, Inc. | Computerized method of assessing consumer reaction to a business stimulus employing facial coding |
JP2007041988A (ja) * | 2005-08-05 | 2007-02-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
EP1921986A4 (en) | 2005-09-02 | 2011-11-30 | Emsense Corp | DEVICE AND METHOD FOR MEASURING ELECTRICAL ACTIVITY IN TISSUE |
US20070066916A1 (en) * | 2005-09-16 | 2007-03-22 | Imotions Emotion Technology Aps | System and method for determining human emotion by analyzing eye properties |
US8260008B2 (en) | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
US20070150281A1 (en) * | 2005-12-22 | 2007-06-28 | Hoff Todd M | Method and system for utilizing emotion to search content |
US9348930B2 (en) * | 2006-02-13 | 2016-05-24 | Junaid Ali | Web-based application or system for managing and coordinating review-enabled content |
JP2007280486A (ja) * | 2006-04-05 | 2007-10-25 | Sony Corp | 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 |
JP2007280485A (ja) * | 2006-04-05 | 2007-10-25 | Sony Corp | 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 |
WO2008008893A2 (en) * | 2006-07-12 | 2008-01-17 | Medical Cyberworlds, Inc. | Computerized medical training system |
US20080109295A1 (en) * | 2006-07-12 | 2008-05-08 | Mcconochie Roberta M | Monitoring usage of a portable user appliance |
US20080065468A1 (en) * | 2006-09-07 | 2008-03-13 | Charles John Berg | Methods for Measuring Emotive Response and Selection Preference |
WO2008064431A1 (en) * | 2006-12-01 | 2008-06-05 | Latrobe University | Method and system for monitoring emotional state changes |
JP2008205861A (ja) * | 2007-02-20 | 2008-09-04 | Matsushita Electric Ind Co Ltd | 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体 |
US20080215974A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Interactive user controlled avatar animations |
US9215996B2 (en) | 2007-03-02 | 2015-12-22 | The Nielsen Company (Us), Llc | Apparatus and method for objectively determining human response to media |
US20080295126A1 (en) * | 2007-03-06 | 2008-11-27 | Lee Hans C | Method And System For Creating An Aggregated View Of User Response Over Time-Variant Media Using Physiological Data |
US8473044B2 (en) | 2007-03-07 | 2013-06-25 | The Nielsen Company (Us), Llc | Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals |
US8782681B2 (en) * | 2007-03-08 | 2014-07-15 | The Nielsen Company (Us), Llc | Method and system for rating media and events in media based on physiological data |
US8764652B2 (en) | 2007-03-08 | 2014-07-01 | The Nielson Company (US), LLC. | Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals |
US8484081B2 (en) * | 2007-03-29 | 2013-07-09 | The Nielsen Company (Us), Llc | Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous system, and effector data |
JP4367663B2 (ja) * | 2007-04-10 | 2009-11-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
EP2142082A4 (en) | 2007-05-01 | 2015-10-28 | Neurofocus Inc | NEUROINFORMATIC REFERENCE SYSTEM |
US9886981B2 (en) | 2007-05-01 | 2018-02-06 | The Nielsen Company (Us), Llc | Neuro-feedback based stimulus compression device |
US8126220B2 (en) * | 2007-05-03 | 2012-02-28 | Hewlett-Packard Development Company L.P. | Annotating stimulus based on determined emotional response |
US8392253B2 (en) | 2007-05-16 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-physiology and neuro-behavioral based stimulus targeting system |
US8494905B2 (en) | 2007-06-06 | 2013-07-23 | The Nielsen Company (Us), Llc | Audience response analysis using simultaneous electroencephalography (EEG) and functional magnetic resonance imaging (fMRI) |
US7865916B2 (en) * | 2007-07-20 | 2011-01-04 | James Beser | Audience determination for monetizing displayable content |
KR20100038107A (ko) | 2007-07-30 | 2010-04-12 | 뉴로포커스, 인크. | 신경-반응 자극 및 자극 속성 공명 추정기 |
JP4506795B2 (ja) | 2007-08-06 | 2010-07-21 | ソニー株式会社 | 生体運動情報表示処理装置、生体運動情報処理システム |
US20090049390A1 (en) * | 2007-08-17 | 2009-02-19 | Sony Computer Entertainment Inc. | Methods and apparatuses for distributing content based on profile information and rating the content |
US8392254B2 (en) | 2007-08-28 | 2013-03-05 | The Nielsen Company (Us), Llc | Consumer experience assessment system |
US8386313B2 (en) | 2007-08-28 | 2013-02-26 | The Nielsen Company (Us), Llc | Stimulus placement system using subject neuro-response measurements |
US8635105B2 (en) | 2007-08-28 | 2014-01-21 | The Nielsen Company (Us), Llc | Consumer experience portrayal effectiveness assessment system |
US8392255B2 (en) | 2007-08-29 | 2013-03-05 | The Nielsen Company (Us), Llc | Content based selection and meta tagging of advertisement breaks |
US20090083129A1 (en) | 2007-09-20 | 2009-03-26 | Neurofocus, Inc. | Personalized content delivery using neuro-response priming data |
US8494610B2 (en) | 2007-09-20 | 2013-07-23 | The Nielsen Company (Us), Llc | Analysis of marketing and entertainment effectiveness using magnetoencephalography |
US8332883B2 (en) * | 2007-10-02 | 2012-12-11 | The Nielsen Company (Us), Llc | Providing actionable insights based on physiological responses from viewers of media |
US20090113297A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Requesting a second content based on a user's reaction to a first content |
US9582805B2 (en) | 2007-10-24 | 2017-02-28 | Invention Science Fund I, Llc | Returning a personalized advertisement |
US9513699B2 (en) | 2007-10-24 | 2016-12-06 | Invention Science Fund I, LL | Method of selecting a second content based on a user's reaction to a first content |
US20090133047A1 (en) | 2007-10-31 | 2009-05-21 | Lee Hans C | Systems and Methods Providing Distributed Collection and Centralized Processing of Physiological Responses from Viewers |
US8817190B2 (en) * | 2007-11-28 | 2014-08-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
JP4538756B2 (ja) * | 2007-12-03 | 2010-09-08 | ソニー株式会社 | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
US8380562B2 (en) * | 2008-04-25 | 2013-02-19 | Cisco Technology, Inc. | Advertisement campaign system using socially collaborative filtering |
US20090295682A1 (en) * | 2008-05-30 | 2009-12-03 | Fuji Xerox Co., Ltd. | Method for improving sensor data collection using reflecting user interfaces |
KR20100000336A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치 |
JP2010016482A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置および情報処理方法 |
JP4621758B2 (ja) * | 2008-07-08 | 2011-01-26 | パナソニック株式会社 | コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置 |
US20100010370A1 (en) | 2008-07-09 | 2010-01-14 | De Lemos Jakob | System and method for calibrating and normalizing eye data in emotional testing |
US8136944B2 (en) | 2008-08-15 | 2012-03-20 | iMotions - Eye Tracking A/S | System and method for identifying the existence and position of text in visual media content and for determining a subjects interactions with the text |
US9253264B2 (en) * | 2008-08-29 | 2016-02-02 | TAPP Technologies, LLC | Content distribution platform for beverage dispensing environments |
US8363618B2 (en) * | 2008-08-29 | 2013-01-29 | Ciright Systems, Inc. | Content distribution platform |
US20100145215A1 (en) * | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
US8487772B1 (en) | 2008-12-14 | 2013-07-16 | Brian William Higgins | System and method for communicating information |
US9357240B2 (en) | 2009-01-21 | 2016-05-31 | The Nielsen Company (Us), Llc | Methods and apparatus for providing alternate media for video decoders |
US8270814B2 (en) | 2009-01-21 | 2012-09-18 | The Nielsen Company (Us), Llc | Methods and apparatus for providing video with embedded media |
US8464288B2 (en) | 2009-01-21 | 2013-06-11 | The Nielsen Company (Us), Llc | Methods and apparatus for providing personalized media in video |
WO2010100567A2 (en) | 2009-03-06 | 2010-09-10 | Imotions- Emotion Technology A/S | System and method for determining emotional response to olfactory stimuli |
US20100250325A1 (en) | 2009-03-24 | 2010-09-30 | Neurofocus, Inc. | Neurological profiles for market matching and stimulus presentation |
US8905298B2 (en) * | 2009-03-24 | 2014-12-09 | The Western Union Company | Transactions with imaging analysis |
US8473352B2 (en) | 2009-03-24 | 2013-06-25 | The Western Union Company | Consumer due diligence for money transfer systems and methods |
JP5881929B2 (ja) * | 2009-04-10 | 2016-03-09 | ソニー株式会社 | サーバ装置、広告情報生成方法及びプログラム |
US8635237B2 (en) * | 2009-07-02 | 2014-01-21 | Nuance Communications, Inc. | Customer feedback measurement in public places utilizing speech recognition technology |
US8326002B2 (en) * | 2009-08-13 | 2012-12-04 | Sensory Logic, Inc. | Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions |
US8655437B2 (en) | 2009-08-21 | 2014-02-18 | The Nielsen Company (Us), Llc | Analysis of the mirror neuron system for evaluation of stimulus |
US10987015B2 (en) | 2009-08-24 | 2021-04-27 | Nielsen Consumer Llc | Dry electrodes for electroencephalography |
WO2011031932A1 (en) * | 2009-09-10 | 2011-03-17 | Home Box Office, Inc. | Media control and analysis based on audience actions and reactions |
US9560984B2 (en) | 2009-10-29 | 2017-02-07 | The Nielsen Company (Us), Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
US8209224B2 (en) | 2009-10-29 | 2012-06-26 | The Nielsen Company (Us), Llc | Intracluster content management using neuro-response priming data |
US20110106750A1 (en) | 2009-10-29 | 2011-05-05 | Neurofocus, Inc. | Generating ratings predictions using neuro-response data |
US8335715B2 (en) | 2009-11-19 | 2012-12-18 | The Nielsen Company (Us), Llc. | Advertisement exchange using neuro-response data |
US8335716B2 (en) | 2009-11-19 | 2012-12-18 | The Nielsen Company (Us), Llc. | Multimedia advertisement exchange |
US8888497B2 (en) * | 2010-03-12 | 2014-11-18 | Yahoo! Inc. | Emotional web |
US20110225049A1 (en) * | 2010-03-12 | 2011-09-15 | Yahoo! Inc. | Emoticlips |
JP5534183B2 (ja) * | 2010-03-23 | 2014-06-25 | ソニー株式会社 | 電子機器および情報処理プログラム |
US20130332952A1 (en) * | 2010-04-12 | 2013-12-12 | Atul Anandpura | Method and Apparatus for Adding User Preferred Information To Video on TV |
US8684742B2 (en) | 2010-04-19 | 2014-04-01 | Innerscope Research, Inc. | Short imagery task (SIT) research method |
US8655428B2 (en) | 2010-05-12 | 2014-02-18 | The Nielsen Company (Us), Llc | Neuro-response data synchronization |
CN102947850B (zh) * | 2010-05-28 | 2016-07-06 | 乐天株式会社 | 内容输出装置、内容输出方法 |
US10111611B2 (en) | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US9247903B2 (en) | 2010-06-07 | 2016-02-02 | Affectiva, Inc. | Using affect within a gaming context |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US9723992B2 (en) | 2010-06-07 | 2017-08-08 | Affectiva, Inc. | Mental state analysis using blink rate |
US9503786B2 (en) | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
US11056225B2 (en) | 2010-06-07 | 2021-07-06 | Affectiva, Inc. | Analytics for livestreaming based on image analysis within a shared digital environment |
US11017250B2 (en) | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
US10799168B2 (en) | 2010-06-07 | 2020-10-13 | Affectiva, Inc. | Individual data sharing across a social network |
US10592757B2 (en) | 2010-06-07 | 2020-03-17 | Affectiva, Inc. | Vehicular cognitive data collection using multiple devices |
US10401860B2 (en) | 2010-06-07 | 2019-09-03 | Affectiva, Inc. | Image analysis for two-sided data hub |
US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
US10628741B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
US9959549B2 (en) | 2010-06-07 | 2018-05-01 | Affectiva, Inc. | Mental state analysis for norm generation |
US10911829B2 (en) * | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
JP2013537435A (ja) * | 2010-06-07 | 2013-10-03 | アフェクティヴァ,インコーポレイテッド | ウェブサービスを用いた心理状態分析 |
US20140058828A1 (en) * | 2010-06-07 | 2014-02-27 | Affectiva, Inc. | Optimizing media based on mental state analysis |
US10517521B2 (en) | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
US10074024B2 (en) | 2010-06-07 | 2018-09-11 | Affectiva, Inc. | Mental state analysis using blink rate for vehicles |
US9642536B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
US11151610B2 (en) | 2010-06-07 | 2021-10-19 | Affectiva, Inc. | Autonomous vehicle control using heart rate collection based on video imagery |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US10628985B2 (en) | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
US10843078B2 (en) | 2010-06-07 | 2020-11-24 | Affectiva, Inc. | Affect usage within a gaming context |
US9934425B2 (en) | 2010-06-07 | 2018-04-03 | Affectiva, Inc. | Collection of affect data from multiple mobile devices |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US9646046B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state data tagging for data collected from multiple sources |
US9204836B2 (en) | 2010-06-07 | 2015-12-08 | Affectiva, Inc. | Sporadic collection of mobile affect data |
US10779761B2 (en) | 2010-06-07 | 2020-09-22 | Affectiva, Inc. | Sporadic collection of affect data within a vehicle |
US10482333B1 (en) | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
US11410438B2 (en) | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
US10143414B2 (en) | 2010-06-07 | 2018-12-04 | Affectiva, Inc. | Sporadic collection with mobile affect data |
US10289898B2 (en) * | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
US11073899B2 (en) | 2010-06-07 | 2021-07-27 | Affectiva, Inc. | Multidevice multimodal emotion services monitoring |
US10897650B2 (en) | 2010-06-07 | 2021-01-19 | Affectiva, Inc. | Vehicle content recommendation using cognitive states |
US10474875B2 (en) | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US11232290B2 (en) | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
US11067405B2 (en) | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
US11318949B2 (en) | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US10108852B2 (en) | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
US10869626B2 (en) | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US10627817B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Vehicle manipulation using occupant image analysis |
US10796176B2 (en) | 2010-06-07 | 2020-10-06 | Affectiva, Inc. | Personal emotional profile generation for vehicle manipulation |
US10922567B2 (en) | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US11292477B2 (en) | 2010-06-07 | 2022-04-05 | Affectiva, Inc. | Vehicle manipulation using cognitive state engineering |
US11823055B2 (en) | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
US8392250B2 (en) | 2010-08-09 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-response evaluated stimulus in virtual reality environments |
US8392251B2 (en) | 2010-08-09 | 2013-03-05 | The Nielsen Company (Us), Llc | Location aware presentation of stimulus material |
US8396744B2 (en) | 2010-08-25 | 2013-03-12 | The Nielsen Company (Us), Llc | Effective virtual reality environments for presentation of marketing materials |
AU2011308650A1 (en) | 2010-09-30 | 2013-03-21 | Affectiva, Inc. | Measuring affective data for web-enabled applications |
SG2014013619A (en) * | 2010-10-21 | 2014-07-30 | Holybrain Bvba | Method and apparatus for neuropsychological modeling of human experience and purchasing behavior |
WO2012068193A2 (en) * | 2010-11-17 | 2012-05-24 | Affectiva, Inc. | Sharing affect across a social network |
CN102479024A (zh) * | 2010-11-24 | 2012-05-30 | 国基电子(上海)有限公司 | 手持装置及其用户界面构建方法 |
US20120143693A1 (en) * | 2010-12-02 | 2012-06-07 | Microsoft Corporation | Targeting Advertisements Based on Emotion |
US20120222057A1 (en) * | 2011-02-27 | 2012-08-30 | Richard Scott Sadowsky | Visualization of affect responses to videos |
JP5617697B2 (ja) * | 2011-03-04 | 2014-11-05 | 株式会社ニコン | 電子機器、画像表示システム及び画像選択方法 |
EP2698782A4 (en) * | 2011-04-11 | 2014-09-03 | Nec Corp | INFORMATION DISTRIBUTION DEVICE, INFORMATION RECEIVER AND SYSTEM, PROGRAM AND METHOD THEREFOR |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
US8965822B2 (en) * | 2011-05-11 | 2015-02-24 | Ari M. Frank | Discovering and classifying situations that influence affective response |
US8845429B2 (en) * | 2011-05-27 | 2014-09-30 | Microsoft Corporation | Interaction hint for interactive video presentations |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US20120324492A1 (en) * | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Video selection based on environmental sensing |
EP2727378B1 (en) | 2011-07-01 | 2019-10-16 | Dolby Laboratories Licensing Corporation | Audio playback system monitoring |
US8719277B2 (en) | 2011-08-08 | 2014-05-06 | Google Inc. | Sentimental information associated with an object within a media |
US9762719B2 (en) | 2011-09-09 | 2017-09-12 | Qualcomm Incorporated | Systems and methods to enhance electronic communications with emotional context |
US20130174018A1 (en) * | 2011-09-13 | 2013-07-04 | Cellpy Com. Ltd. | Pyramid representation over a network |
JP2013074572A (ja) * | 2011-09-29 | 2013-04-22 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
CN102521769A (zh) * | 2011-12-15 | 2012-06-27 | 丁阔 | 基于互联网用户虚拟身份的微代言系统及其构建方法 |
US9292858B2 (en) | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
US9569986B2 (en) | 2012-02-27 | 2017-02-14 | The Nielsen Company (Us), Llc | System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications |
US9451303B2 (en) | 2012-02-27 | 2016-09-20 | The Nielsen Company (Us), Llc | Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing |
CN104145287A (zh) * | 2012-02-29 | 2014-11-12 | 雀巢产品技术援助有限公司 | 用于在产品测试环境中区分分数的工具和方法 |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
CA2775814C (en) * | 2012-05-04 | 2013-09-03 | Microsoft Corporation | Advertisement presentation based on a current media reaction |
US20130305270A1 (en) * | 2012-05-08 | 2013-11-14 | Scooltv, Inc. | System and method for rating a media file |
US10034049B1 (en) | 2012-07-18 | 2018-07-24 | Google Llc | Audience attendance monitoring through facial recognition |
US20140026156A1 (en) | 2012-07-18 | 2014-01-23 | David Deephanphongs | Determining User Interest Through Detected Physical Indicia |
US10762582B2 (en) | 2012-07-19 | 2020-09-01 | Comcast Cable Communications, Llc | System and method of sharing content consumption information |
US20140046922A1 (en) * | 2012-08-08 | 2014-02-13 | Microsoft Corporation | Search user interface using outward physical expressions |
US8989835B2 (en) | 2012-08-17 | 2015-03-24 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
US9232247B2 (en) * | 2012-09-26 | 2016-01-05 | Sony Corporation | System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user |
WO2014066871A1 (en) * | 2012-10-27 | 2014-05-01 | Affectiva, Inc. | Sporadic collection of mobile affect data |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US20140181851A1 (en) * | 2012-12-21 | 2014-06-26 | Dor Givon | Methods Circuits Apparatuses Systems and Associated Computer Executable Code for Providing Viewer Analytics Relating to Broadcast and Otherwise Distributed Content |
US11553228B2 (en) * | 2013-03-06 | 2023-01-10 | Arthur J. Zito, Jr. | Multi-media presentation system |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9320450B2 (en) | 2013-03-14 | 2016-04-26 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
US9015737B2 (en) * | 2013-04-18 | 2015-04-21 | Microsoft Technology Licensing, Llc | Linked advertisements |
MX2015015907A (es) | 2013-05-28 | 2016-03-09 | Procter & Gamble | Metodo no invasivo objetivo para cuantificar el grado de comezon mediante el uso de mediciones psicofisiologicas. |
JP6369462B2 (ja) * | 2013-05-30 | 2018-08-08 | ソニー株式会社 | クライアント装置、制御方法、システム、およびプログラム |
US9681186B2 (en) | 2013-06-11 | 2017-06-13 | Nokia Technologies Oy | Method, apparatus and computer program product for gathering and presenting emotional response to an event |
US9622702B2 (en) | 2014-04-03 | 2017-04-18 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
CN103957459B (zh) * | 2014-05-15 | 2019-03-15 | 北京智谷睿拓技术服务有限公司 | 播放控制方法及播放控制装置 |
US9792957B2 (en) | 2014-10-08 | 2017-10-17 | JBF Interlude 2009 LTD | Systems and methods for dynamic video bookmarking |
US10380657B2 (en) * | 2015-03-04 | 2019-08-13 | International Business Machines Corporation | Rapid cognitive mobile application review |
CN104793743B (zh) * | 2015-04-10 | 2018-08-24 | 深圳市虚拟现实科技有限公司 | 一种虚拟社交系统及其控制方法 |
US9936250B2 (en) | 2015-05-19 | 2018-04-03 | The Nielsen Company (Us), Llc | Methods and apparatus to adjust content presented to an individual |
US10460765B2 (en) | 2015-08-26 | 2019-10-29 | JBF Interlude 2009 LTD | Systems and methods for adaptive and responsive video |
US10872354B2 (en) * | 2015-09-04 | 2020-12-22 | Robin S Slomkowski | System and method for personalized preference optimization |
US10542315B2 (en) | 2015-11-11 | 2020-01-21 | At&T Intellectual Property I, L.P. | Method and apparatus for content adaptation based on audience monitoring |
US9525912B1 (en) * | 2015-11-20 | 2016-12-20 | Rovi Guides, Inc. | Systems and methods for selectively triggering a biometric instrument to take measurements relevant to presently consumed media |
US10255487B2 (en) * | 2015-12-24 | 2019-04-09 | Casio Computer Co., Ltd. | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium |
US11540009B2 (en) | 2016-01-06 | 2022-12-27 | Tvision Insights, Inc. | Systems and methods for assessing viewer engagement |
JP6984083B2 (ja) | 2016-01-06 | 2021-12-17 | テレビジョン・インサイツ、インコーポレイテッド | 視聴者エンゲージメントを評価するためのシステム |
US11012719B2 (en) * | 2016-03-08 | 2021-05-18 | DISH Technologies L.L.C. | Apparatus, systems and methods for control of sporting event presentation based on viewer engagement |
US11856271B2 (en) | 2016-04-12 | 2023-12-26 | JBF Interlude 2009 LTD | Symbiotic interactive video |
US10049263B2 (en) * | 2016-06-15 | 2018-08-14 | Stephan Hau | Computer-based micro-expression analysis |
US20170364929A1 (en) * | 2016-06-17 | 2017-12-21 | Sanjiv Ferreira | Method and system for identifying, aggregating & transforming emotional states of a user using a temporal phase topology framework |
CN106792170A (zh) * | 2016-12-14 | 2017-05-31 | 合网络技术(北京)有限公司 | 视频处理方法及装置 |
US11050809B2 (en) | 2016-12-30 | 2021-06-29 | JBF Interlude 2009 LTD | Systems and methods for dynamic weighting of branched video paths |
EP3613224A4 (en) * | 2017-04-20 | 2020-12-30 | TVision Insights, Inc. | METHOD AND DEVICE FOR MULTI-TELEVISION MEASUREMENTS |
US10187690B1 (en) * | 2017-04-24 | 2019-01-22 | Gopro, Inc. | Systems and methods to detect and correlate user responses to media content |
CN107239738A (zh) * | 2017-05-05 | 2017-10-10 | 南京邮电大学 | 一种融合眼动技术与心率检测技术的情感分析方法 |
US10922566B2 (en) | 2017-05-09 | 2021-02-16 | Affectiva, Inc. | Cognitive state evaluation for vehicle navigation |
US11010797B2 (en) * | 2017-07-05 | 2021-05-18 | International Business Machines Corporation | Sensors and sentiment analysis for rating systems |
US11601715B2 (en) | 2017-07-06 | 2023-03-07 | DISH Technologies L.L.C. | System and method for dynamically adjusting content playback based on viewer emotions |
US10904615B2 (en) * | 2017-09-07 | 2021-01-26 | International Business Machines Corporation | Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed |
US10171877B1 (en) | 2017-10-30 | 2019-01-01 | Dish Network L.L.C. | System and method for dynamically selecting supplemental content based on viewer emotions |
US10257578B1 (en) | 2018-01-05 | 2019-04-09 | JBF Interlude 2009 LTD | Dynamic library display for interactive videos |
US10755088B2 (en) * | 2018-01-11 | 2020-08-25 | Adobe Inc. | Augmented reality predictions using machine learning |
US11507619B2 (en) | 2018-05-21 | 2022-11-22 | Hisense Visual Technology Co., Ltd. | Display apparatus with intelligent user interface |
US10965985B2 (en) | 2018-05-21 | 2021-03-30 | Hisense Visual Technology Co., Ltd. | Display apparatus with intelligent user interface |
US11601721B2 (en) * | 2018-06-04 | 2023-03-07 | JBF Interlude 2009 LTD | Interactive video dynamic adaptation and user profiling |
CN108737872A (zh) * | 2018-06-08 | 2018-11-02 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
US11354607B2 (en) | 2018-07-24 | 2022-06-07 | International Business Machines Corporation | Iterative cognitive assessment of generated work products |
US11336968B2 (en) * | 2018-08-17 | 2022-05-17 | Samsung Electronics Co., Ltd. | Method and device for generating content |
CN109460737A (zh) * | 2018-11-13 | 2019-03-12 | 四川大学 | 一种基于增强式残差神经网络的多模态语音情感识别方法 |
US10902219B2 (en) * | 2018-11-21 | 2021-01-26 | Accenture Global Solutions Limited | Natural language processing based sign language generation |
US11064255B2 (en) * | 2019-01-30 | 2021-07-13 | Oohms Ny Llc | System and method of tablet-based distribution of digital media content |
US20200288204A1 (en) * | 2019-03-05 | 2020-09-10 | Adobe Inc. | Generating and providing personalized digital content in real time based on live user context |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
US11589094B2 (en) * | 2019-07-22 | 2023-02-21 | At&T Intellectual Property I, L.P. | System and method for recommending media content based on actual viewers |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
US11503090B2 (en) | 2020-11-30 | 2022-11-15 | At&T Intellectual Property I, L.P. | Remote audience feedback mechanism |
US11882337B2 (en) | 2021-05-28 | 2024-01-23 | JBF Interlude 2009 LTD | Automated platform for generating interactive videos |
US11934477B2 (en) | 2021-09-24 | 2024-03-19 | JBF Interlude 2009 LTD | Video player integration within websites |
US20230153868A1 (en) * | 2021-11-12 | 2023-05-18 | Intuit Inc. | Automatic customer feedback system |
US11895368B2 (en) * | 2022-03-04 | 2024-02-06 | Humane, Inc. | Generating, storing, and presenting content based on a memory metric |
US11910061B2 (en) * | 2022-05-23 | 2024-02-20 | Rovi Guides, Inc. | Leveraging emotional transitions in media to modulate emotional impact of secondary content |
US11871081B2 (en) * | 2022-05-23 | 2024-01-09 | Rovi Guides, Inc. | Leveraging emotional transitions in media to modulate emotional impact of secondary content |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680481A (en) * | 1992-05-26 | 1997-10-21 | Ricoh Corporation | Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system |
US5617855A (en) * | 1994-09-01 | 1997-04-08 | Waletzky; Jeremy P. | Medical testing device and associated method |
JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
US6332193B1 (en) * | 1999-01-18 | 2001-12-18 | Sensar, Inc. | Method and apparatus for securely transmitting and authenticating biometric data over a network |
US6976032B1 (en) * | 1999-11-17 | 2005-12-13 | Ricoh Company, Ltd. | Networked peripheral for visitor greeting, identification, biographical lookup and tracking |
EP1256937B1 (en) * | 2001-05-11 | 2006-11-02 | Sony France S.A. | Emotion recognition method and device |
US8561095B2 (en) * | 2001-11-13 | 2013-10-15 | Koninklijke Philips N.V. | Affective television monitoring and control in response to physiological data |
US6585521B1 (en) * | 2001-12-21 | 2003-07-01 | Hewlett-Packard Development Company, L.P. | Video indexing based on viewers' behavior and emotion feedback |
US20030126013A1 (en) * | 2001-12-28 | 2003-07-03 | Shand Mark Alexander | Viewer-targeted display system and method |
US20030179229A1 (en) * | 2002-03-25 | 2003-09-25 | Julian Van Erlach | Biometrically-determined device interface and content |
US7634171B2 (en) * | 2002-05-20 | 2009-12-15 | Microsoft Corporation | PC-based personal video recorder |
KR20050103977A (ko) * | 2003-03-06 | 2005-11-01 | 디지맥 코포레이션 | 카메라 및 디지털 워터마킹 시스템들 및 방법들 |
-
2004
- 2004-06-24 US US10/876,848 patent/US20050289582A1/en not_active Abandoned
-
2005
- 2005-06-23 JP JP2005182945A patent/JP2006012171A/ja not_active Withdrawn
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007193904A (ja) * | 2006-01-20 | 2007-08-02 | Pioneer Electronic Corp | データ記録装置 |
JP4490375B2 (ja) * | 2006-01-20 | 2010-06-23 | パイオニア株式会社 | データ記録装置 |
JP2010520553A (ja) * | 2007-03-07 | 2010-06-10 | エムセンス コーポレイション | メディア性能の基準として生物的反応の一致性を利用する方法及びシステム |
JP2008272019A (ja) * | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | 集団感情認識支援システム |
JP2011513851A (ja) * | 2008-03-03 | 2011-04-28 | ザ プロクター アンド ギャンブル カンパニー | 尺度評価された情動状態を伴う買物客向け情報伝達 |
JP2009267445A (ja) * | 2008-04-21 | 2009-11-12 | Toshiba Corp | 嗜好性情報管理装置及び嗜好性情報管理方法 |
JP2010186373A (ja) * | 2009-02-13 | 2010-08-26 | Omron Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2012009957A (ja) * | 2010-06-22 | 2012-01-12 | Sharp Corp | 評価情報通知装置、コンテンツ提示装置、コンテンツ評価システム、評価情報通知装置の制御方法、評価情報通知装置の制御プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2014524178A (ja) * | 2011-06-17 | 2014-09-18 | マイクロソフト コーポレーション | 環境センシングに基づくビデオハイライト特定 |
JP2014523154A (ja) * | 2011-06-17 | 2014-09-08 | マイクロソフト コーポレーション | インタレストベースビデオストリーム |
JP2014529133A (ja) * | 2011-09-12 | 2014-10-30 | インテル・コーポレーション | ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること |
US10939165B2 (en) | 2011-09-12 | 2021-03-02 | Intel Corporation | Facilitating television based interaction with social networking tools |
US10524005B2 (en) | 2011-09-12 | 2019-12-31 | Intel Corporation | Facilitating television based interaction with social networking tools |
JP2013109767A (ja) * | 2011-11-23 | 2013-06-06 | Inst For Information Industry | 広告システムおよび広告方法 |
KR20150071852A (ko) * | 2013-12-19 | 2015-06-29 | (주) 로임시스템 | 뇌파인식형 학습 문제 제공시스템 |
KR101587462B1 (ko) * | 2013-12-19 | 2016-01-21 | (주) 로임시스템 | 뇌파인식형 학습 문제 제공시스템 |
US10426382B2 (en) | 2014-06-20 | 2019-10-01 | Sony Corporation | Detection device and detection method |
WO2015194391A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 検出装置および方法、並びにプログラム |
JP2017526094A (ja) * | 2014-07-03 | 2017-09-07 | リアルアイズ・オーウー | ウェブベースのコンテンツとの対話中におけるコンピュータユーザデータの収集および処理方法 |
US10423512B2 (en) | 2014-07-03 | 2019-09-24 | Realeyes Oü | Method of collecting and processing computer user data during interaction with web-based content |
JP2016062084A (ja) * | 2014-09-22 | 2016-04-25 | 株式会社日立システムズ | 作業管理装置、感情解析端末、作業管理プログラムおよび作業管理方法 |
JP2019505011A (ja) * | 2015-12-07 | 2019-02-21 | エスアールアイ インターナショナルSRI International | 統合化された物体認識および顔表情認識を伴うvpa |
JP7022062B2 (ja) | 2015-12-07 | 2022-02-17 | エスアールアイ インターナショナル | 統合化された物体認識および顔表情認識を伴うvpa |
JP2018106419A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | マーケティング装置 |
JPWO2019146405A1 (ja) * | 2018-01-25 | 2021-02-25 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム |
JP7278972B2 (ja) | 2018-01-25 | 2023-05-22 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、情報処理方法、及び、プログラム |
WO2019146405A1 (ja) * | 2018-01-25 | 2019-08-01 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム |
JP2020077189A (ja) * | 2018-11-07 | 2020-05-21 | スカパーJsat株式会社 | 体験記録システム及び体験記録方法 |
JP2020077229A (ja) * | 2018-11-08 | 2020-05-21 | スカパーJsat株式会社 | コンテンツ評価システム及びコンテンツ評価方法 |
KR20200101137A (ko) | 2019-02-19 | 2020-08-27 | 주식회사딜루션 | 감정 분석 시스템 및 이의 동작 방법 |
TWI717030B (zh) * | 2019-02-25 | 2021-01-21 | 日商Qbit機器人股份有限公司 | 資訊處理系統及資訊處理方法 |
WO2020174537A1 (ja) * | 2019-02-25 | 2020-09-03 | 株式会社QBIT Robotics | 情報処理システムおよび情報処理方法 |
JP6667766B1 (ja) * | 2019-02-25 | 2020-03-18 | 株式会社QBIT Robotics | 情報処理システムおよび情報処理方法 |
US20200353366A1 (en) * | 2019-05-10 | 2020-11-12 | Golden Poppy, Inc. | System and method for augmented reality game system |
JP2021047659A (ja) * | 2019-09-19 | 2021-03-25 | コニカミノルタ株式会社 | 作業関与状況評価装置、作業関与状況評価方法及びプログラム |
JP7427894B2 (ja) | 2019-09-19 | 2024-02-06 | コニカミノルタ株式会社 | 作業関与状況評価装置、作業関与状況評価方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20050289582A1 (en) | 2005-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006012171A (ja) | 生体認識を用いたレビュー管理システム及び管理方法 | |
US20190373322A1 (en) | Interactive Video Content Delivery | |
US8605958B2 (en) | Method and apparatus for generating meta data of content | |
KR101197978B1 (ko) | 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 | |
US8340974B2 (en) | Device, system and method for providing targeted advertisements and content based on user speech data | |
US20130268955A1 (en) | Highlighting or augmenting a media program | |
US20150020086A1 (en) | Systems and methods for obtaining user feedback to media content | |
US20050223237A1 (en) | Emotion controlled system for processing multimedia data | |
JP2009140010A (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
US20170220570A1 (en) | Adjusting media content based on collected viewer data | |
JP2010016482A (ja) | 情報処理装置および情報処理方法 | |
KR20140037874A (ko) | 관심 기반 비디오 스트림 선택 기법 | |
WO2014137942A1 (en) | Surfacing information about items mentioned or presented in a film in association with viewing the film | |
KR20150013237A (ko) | 현재 프리젠팅된 미디어 프로그램의 미래 부분의 결정 | |
CN109474843A (zh) | 语音操控终端的方法、客户端、服务器 | |
US20140325540A1 (en) | Media synchronized advertising overlay | |
US20220020053A1 (en) | Apparatus, systems and methods for acquiring commentary about a media content event | |
US11803579B2 (en) | Apparatus, systems and methods for providing conversational assistance | |
US20140331246A1 (en) | Interactive content and player | |
JP2018032252A (ja) | 視聴ユーザログ蓄積システム、視聴ユーザログ蓄積サーバ、及び視聴ユーザログ蓄積方法 | |
KR101947079B1 (ko) | 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템 및 방법 | |
US20230097729A1 (en) | Apparatus, systems and methods for determining a commentary rating | |
WO2018083852A1 (ja) | 制御装置および記録媒体 | |
CN106113057A (zh) | 基于机器人的音视频宣传方法和系统 | |
JP2021197563A (ja) | 関連情報配信装置、プログラム、コンテンツ配信システム及びコンテンツ出力端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090128 |