JP2005510147A

JP2005510147A - アフェクティブ・テレビジョン・モニタリングおよびコントロール

Info

Publication number: JP2005510147A
Application number: JP2003545037A
Authority: JP
Inventors: ネベンカディミトロヴァ; ジョンツィマーマン; ラリサアグニホトゥリ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-13
Filing date: 2002-11-05
Publication date: 2005-04-14
Anticipated expiration: 2022-11-05
Also published as: CN1586078A; WO2003043336A1; JP4283113B2; KR20040054774A; CN1586078B; US20030093784A1; KR100946222B1; EP1449379A1; US8561095B2

Abstract

【課題】テレビシステムの用途に、特定のプログラムおよびプログラム・セグメントに対する視聴者応答を収集して、正確かつ控え目に分析するためのシステム及び方法を提供すること。
【解決手段】テレビを視聴している（または聞いている）視聴者のメンバによる感覚応答と無意識または自然発生的な動きを、収集し、分析し、かつ使用するためのシステムおよび方法。公知のプログラミングがテレビ受信機に表示される間、複数のセンサが、不連続なプログラム・セグメントと関連している可能性がある感情的な反応の認識できる証拠のために一人または複数の視聴者をモニタする。肯定的（または否定的）反応が、ある特定のタイプのプログラム内容と関連している可能性がある場合、システムは、視聴者に通知するかまたは自動的に簡単にプログラムを示す（または示すことを避ける）機会のために次のプログラムをモニタする。

Description

本発明は、一般に、テレビ視聴者フィードバック収集システムに関し、より詳細には、自動的に視聴者プロファイルを作成するために人の反応入力を使用するシステム及び方法に関する。

最新のテレビシジョン・システムは、多種多様なソースから高品質プログラムを視聴者に提供するために驚くべき量の音声映像入力を効果的に処理する。これらのソースの多くは、ケーブルを通して、または放送波によってプログラミングを送信する放送網である。他のソースは、より局所的、またはより限定されているかもしれない。例えば、私設通信網は、限られた視聴者のみを意図しているプログラミングを送信することができ、そして、多くの家庭には、一旦それらが記録されたマテリアルを確保するならば、それら自体プログラム・ソースとなるビデオカセット・レコーダ(VCRs)または他の記録装置が備えられている。

したがって、最新の視聴者には、膨大なプログラミング選択肢がある。ほとんどのプログラミングが商業的な理由のために作り出されるので、人気があるプログラミングを、将来、プログラムを企画するためのガイドとして使うことができるように、プログラム製作者は、視聴者が何を視聴したいか、または好むかを判定することに興味を持つ。更に、膨大な量の利用可能なプログラミングに対処するために、視聴者が、そうすることを選択するならば、それの比較的少ない部分に、選択的に焦点を合わせることが可能となるさまざまなデバイスがある。例えば、ある視聴者は、単に特定チャンネルのプログラミングのみに同意することを選択出来る。しかしながら、それが収集される目的のいかんを問わず、テレビジョン・ユーザー（視聴者）の視聴選好に関するデータを収集することは、しばしば役立つ。人々が視聴することを好むものに関する有用なデータを収集するいくつかの方法がある。まず第一に、視聴者は質問されるだけかもしれない。所定のプログラムが、試験視聴者に示され、次に、そのメンバは、彼らの応答を判定するために尋ねられたかもしれない。一般に、有効であるにもかかわらず、この方法にはいくつかの欠点がある。一つには、それは、多数のインタビュアが質問をして、かつ回答を記録することを必要とする。次に、視聴者の好き嫌いを正確に読み取るつもりならば、回答は適切に解釈されなければならない。これらの理由により、このアプローチは、一般に、限られた試験視聴者に対してのみ有用である。視聴者の反応がこの限られた視聴者のみから収集されるので、彼らの反応が世間一般の視聴を代表することを確実にするように、これらの視聴者は、適切に選ばれる必要がある。

もちろん、試験視聴者が、予め定められた書面での質問に回答を提供する、彼らの反応の説明を書き込む、または、彼らが、複数のプログラムのいずれを最も楽しんだかを「投票する」ことを依頼されるだけの場合、インタビュー要員は、必要ない。しかしながら、このアプローチは、更に、解釈においてより多くのエラーを起こしやすく、そして、それと共に、応答疲労と呼ばれるかもしれない問題を持ち込む。これは、試験視聴者が、ある時点で、質問に回答することまたは用紙に記入することに飽きてしまうかもしれない状況である、そして、その場合は、彼らが現在行いたいことの全ては、同意された割当てを果たすことであるので、それらをいいかがげんに終わらせてします。さらに、故意に誤った方向に向けられた回答の問題が存在する。ここで、視聴者は質問の目的を読み取って、何かの理由で、まぎらわしい反応をする。例えば、視聴者に魅力的なプログラミングは、視聴者がその気持ちの良い性質を認めたくないほどあまりにも露骨、または暴力的であった可能性がある。しかしながら、良い動機付であっても、この種の行動は、試験プロセスを損なう。

そして、もちろん、結果は、実質上依頼される質問と与えられた回答だけである。いかなるインタビュー・スクリプトまたは書面によるアンケートも、偽らない真面目な回答者からさえ、正確な反応をもたらすように慎重に企画されなければならない。これの全ては、時間、費用および他のリソースを必要とし、したがって、限られた視聴者だけを試験することが可能である。試験者がいかに慎重に統計学的に有効なサンプルを提供するために試験視聴者を集めようとしても、彼らは質問に返答したいという意欲を有する人達に限られている。この問題は、視聴者が在宅で電話され、彼らが視聴する様子について、そして、彼らの一般的な視聴習慣について尋ねられる場合でさえ、存在する。そして、上記した方法のいずれによっても、通常、視聴者が、視聴されたプログラム全体に関する彼らの応答の報告を作成し、そして、肯定的または否定的反応を起こしたかもしれないプログラムの特定のセグメントに関するものは作成しないという問題は、解消されない。多くの場合、この種の反応は、直覚的または潜在意識かもしれない、そして、真面目な視聴者さえ、プログラムのどの部分が、最も望ましかったかを必ずしも正確に指摘することが出来ない。最後に、質問回答または他の照会メカニズムは、全プログラムの後に続けさせる、または、それが終わる前にそれに割り込ませなければならない。いずれの場合にも、視聴者応答を評価する完全性は、損なわれる。上記したように、視聴者フィードバックも、単に彼ら自身のチャネル選択プロセスを単純化するためにのみ使用されるかもしれない。しかし、視聴者が単に彼らがどのプログラムが好きか覚えていて、かつ彼らのチャネルセレクタを調整しようとした場合であっても、結果は、決して完全にはならない。彼らの記憶は不完全かもしれず、そして、彼らが選ぶチャンネルは彼らの本当の選好によくマッチしていないかもしれない。とにかく、彼らは手動で選択を実行しなければならず、そしてそれがあまりにも煩わしいので、そうすることを先延しにするかもしれない。

したがって、広い試験視聴者にわたって実施することができ、かつ、試験を行っている関係者または単に自動プログラムの選択援助システムに、正確なフィードバックを提供する、テレビジョンプログラミングおよび同様のプログラミングに対する視聴者の応答を測定する割り込みのないかつ自動的な方法が、必要とされる。本発明のシステム及び方法は、まさにこの種の解決を提供する。

米国特許出願第09/442,960,号「オーディオ／データ／ビジュアル情報選択の方法および装置(Method and Apparatus for Audio/Data/Visual Information Selection)」( filed by Nevenka Dimitrova, Thomas McGee, Herman Elenbaas, Lalitha Agnihotri, Radu Jasinschi, Serhan Dagtas, Aaron Mendelsohn on November 18, 1999, co-owned by the Assignee of the present application) 「ガルバクティベーター：皮膚伝道率を感知して伝える手袋(The Galvactivator: A Glove that Senses and Communicates Skin Conductivity)」(Rosalind W. Picard & Jocelyn Scheirer )（Proceedings from the 9th International Conference on Human-Computer Interaction, New Orleans (August 2001)）「表情動力学のモデル化( Modeling the Dynamics of Facial Expressions)」(Antonio Colminarez) (submitted to the Computer Vision & Pattern Recognition Conference held in Hawaii from December 11-13, 2001) 「音声認識における隠れマルコフモデルおよび選択されたアプリケーションのチュートリアル(A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition)」 (L. R. Rabiner)（77 Proceedings of the IEEE 257-285 (1989)）「トッピックセグメンテーションおよび分類用の統合マルチメディア処理 (Integrated Multimedia Processing for Topic Segmentation and Classification)」(R. S. Jasinschi, N. Dimitrova, T. McGee, L. Agnihotri, J. Zimmerman, & D. Li)( Proceedings of the IEEE International Conference on Image Processing (Thessaloniki, October 2001)

上述された従来技術の不足に対処するため、本発明の主要な目的は、テレビシステムの用途に、特定のプログラムおよびプログラム・セグメントに対する視聴者応答を収集して、正確かつ控え目に分析するためのシステム及び方法を提供することである。一つ以上の視聴者-フィードバック・センサは、反応情報を収集するために各々の試験視聴者に近接して配置される。反応データは、保存および分析のためのデジタル形式に変換され、かつシステム・データベースで格納される。データベースに格納される反応情報は、それが特定のプログラム・セグメントで修正可能なように、タイムスタンプされる。セットトップボックスは、一つ以上のプログラミング・ソースに結合される。コントロールプログラムによって、視聴者が見たいプログラミングが選択される、または、彼らが彼ら自身の選択をすることが出来る。

一旦、充分な量のマテリアルが視聴されると、識別可能なプログラム・セグメントと関連するデータは、評価される。レポーティング・デバイスは、分析の結果を配信する。

特に好適な実施例の場合、報告された結果は、視聴者の反応が確認出来るように、試験プロセスを知らせるために使用される。

別の特に好適な実施例の場合、視聴者の反応は、視聴者選好レベル（視聴者の好き嫌いを表し、収集された反応情報から推定される）と関連している。

本発明の更なる目的および利点は、より完全に「発明を実施するための最良の形態」に記載されている。

以上は、当業者が、以下に説明する本発明の詳細な説明をよりよく理解することができるように、本発明の特徴および技術的利点をむしろ広汎に概説した。

本発明の請求項の対象を形成する本発明の更なる特徴および利点は、以下に記載される。当業者は、彼らが本発明の同じ目的を実行するための他の構成を変更するまたは設計するための基準として開示されている概念および特定の実施例を、容易に使用することが出来ることを認めなければならない。当業者は、さらに、この種の等価構造がその最も広い形式において本発明の精神と範囲から逸脱しないことを理解しなければならない。

詳細な説明を始める前に、本特許文献の全体にわたって使用される特定の語句の定義を記載することは、有利であろう。用語「含む(include)」および「有する(comprise)」、並びにそれの派生語は、制限なしの包含(inclusion)を意味し、用語「または(or)」は、包括的(inclusive)であり、および／または(and/or)を意味する。句「〜と関連する(associated with)および「それと関連する(associated therewith)」並びにそれの派生語は、含む(include)、〜に含まれている(be included within)、〜と相互接続する(interconnect with)、含む(contain)、〜に含まれる(be contained within)、〜にまたはと接続する(connect to or with)、〜にまたはと結合する(couple to or with)、〜と伝達可能で(be communicable with)、〜と協同して(cooperate with)、インタリーブする(interleave)、並置する(juxtapose)、すぐ近くで(be proximate to)、〜にまたはと結び付けられる(be bound to or with)、備える(have)、〜のプロパティを備える(have a property of)等を意味することも出来る。用語「コントローラ(controller)」は、少なくとも一つの動作をコントロールする任意のデバイス、システムまたはそれの一部を意味し、この種のデバイスは、ハードウェア、ファームウェアまたはソフトウェア、または、それらの少なくとも2つのある組合せにおいて実施することが可能である。任意の特定のコントローラと関連している機能性は、局所的または遠隔であるかにかわらず、集中することまたは分散することも可能であることに留意しなければならない。特定の語句の定義は、本特許文献の全体にわたって与えられ、当業者は、多くの場合、ほとんどの場合ではないが、この種の定義は、この種の定義語句の従来並びに将来の使用法に当てはまることを理解しなければならない。

本発明およびそれの利点をより完全に理解するために、次に、添付の図面とともに以下の説明がなされる。ここで、同じ参照番号は、同じものを示す。

以下に記載する図1〜5、および本特許文献の本発明の原理を記載するために用いる様々な実施例は、例を示すに過ぎず、何れの点においても本発明の範囲を制限するものと解釈してはならない。後に続く典型的な実施例の説明において、本発明は、デジタル・テレビ受信機に組み込まれるまたはそれと共に使用される。しかしながら、本実施例は、具体例を示すだけであって、デジタル・テレビ受信機に対する本発明の範囲を制限するように解釈されるべきではない。実際、当業者は、本発明の典型的な実施例がアナログ・テレビ受信機および他の同様のデバイス用に、容易に変更可能であることも認識されるであろう。

本明細書において、一般に、テレビジョン「プログラム」または「プログラミング」は、テレビ受信機、または、例えば、放送またはケーブルテレビ、予め録音してあるビデオテープまたはＤＶＤプレゼンテーション、および、電気通信またはコンピュータ・ネットワークを通じて送信されるストリーミング・マルチメディア含む同様のデバイスに表示することが出来るプログラムまたはそれの部分を指すために使用されていることに留意されたい。本明細書で使用されているように、「テレビジョンプログラミング」は、それらが実際のテレビジョン放送を伴おうとそうでなかろうと、さらに音声プログラミングおよびテキストまたはマルチメディアのプレゼンテーションも含む。例えば、ラジオ放送およびマルチメディアのウェブ・ページ・プレゼンテーションも、同様に含まれる。（適当な例で、「視聴する(view)」または「視聴者(viewer)」は、単に聞く、または聞いて読む、並びに、実際に、ビデオ画像を見ることを指す。）

図1は、本発明の一実施例による典型的なテレビシステム100を示す。典型的なテレビシステム100は、テレビ受信機105、赤外線(IR)検出器160を備えるセットトップボックス150、およびビデオ録画デバイス140（典型的には、このように呼ばれるが、通常、プログラム音声も記録する）を有する。以後、更に詳細に説明されるように、本発明は、特に、表示および記録のために選択されたプログラミング・マテリアルに関して、調査目的およびテレビ受信機105の拡張動作のためのフィードバックとして、視聴者の反応を収集し、使用するシステムを提供する。

テレビ受信機105は、ケーブルまたは衛星テレビジョンのプログラム・サービスプロバイダによって提供されるテレビジョン・プログラムを表示するための、および、予め記録されたマテリアルを表示するためのディスプレイスクリーン110を有する。受信器105は、さらに赤外線(IR)センサ115および囲んでいる点線によって示されるように、一組の手動コントロール120を含む。手動コントロール120は、電動ボタン、音量コントロールボタン、垂直および水平のコントロールボタンおよび一つ以上のチャネル選択ボタンを含むことが出来るが、これに限定されるものではない。赤外線(IR)センサ115は、テレビジョン視聴者によって操作することが出来る任意のハンドヘルドの遠隔操作装置125から、IRコントロール信号を受け取る。典型的に、IRセンサ115によって検出される遠方操作装置125からのIRコントロール信号は、ディスプレイスクリーン110で視聴されているチャンネルを変更する、音量を上げるまたは下げる、テレビ受信機105をオン、オフする等のためにテレビ受信機105内で処理される。任意に、IRセンサ115によって検出されるIRコントロール信号は、セットトップボックス150の動作をコントロールするためにセットトップボックス150に中継することが出来る。

セットトップボックス150は、ケーブルまたは衛星テレビジョンのプログラム・サービスプロバイダから入ってくる信号の従来の同調および復調を実行し、例えば、そこからビデオ信号を引き出すことができるMPEG(Moving Picture Experts Group)符号化されたデジタルデータのストリームを生成する。これに代えて、テレビ受信機105は、直接外部アンテナ（図示せず）から入って来るテレビジョン放送信号を受け取ることができる。本発明の本代替実施例において、テレビ受信機105は、アンテナから受信された、入って来るRF信号の従来の同調および復調を実行し、例えば、そこからビデオ信号を引き出すことができるMPEG(Moving Picture Experts Group)符号化されたデジタルデータのストリームを生成する。外部アンテナがある場合、セットトップボックス150に接続することも出来る。

セットトップボックス150は、さらに赤外線(IR)センサ160も含む。IRセンサ160は、テレビジョン視聴者によって操作されるハンドヘルドの遠隔操作装置125から、赤外線(IR)コントロール信号を受け取る。セットトップボックス150をコントロールする遠隔操作装置125は、テレビ受信機105を操作する同じ遠隔操作装置125であることが望ましい。典型的に、IRセンサ160によって検出されるIRコントロール信号は、ディスプレイスクリーン110上で視聴するためのテレビ受信機105に送信されているチャンネルを変更し、セットトップボックス150（および／またはテレビ受信機105）をオン／オフし、および他のテレビジョンコントロールを調整するために、セットトップボックス150内で処理される。

ビデオレコーダ140は、視聴者が別の時間に見るためにプログラムを記録するデバイスである。それは、テレビ受信機105または、好ましくは直接、セットトップボックス150に接続することが出来、ディスプレイ110に表示されているものを記録することが出来、しかも、ディスプレイがオフである時、記録することも出来る。あるプログラムが表示される間、別のプログラムを、記録出来るようにテレビシステム100が構成されるときに、特別の利点が、得られる。ビデオレコーダ140は、必ずしもそれに限定されるわけではないが、ビデオカセット・レコーダ(VCR)とすることが可能である。例えば、ビデオテープまたはフロッピーディスクのような取外し可能媒体を使用して、セットトップボックス150または受信器105から受信されないプログラムを再生することが可能であり、または、記録および再生のためのプログラムのダウンロードを可能にするネットワークに直接または間接的に接続することが可能である。

更に、レコーダ140は、TV105またはセットトップボックス150と結合させることが出来るであろう。本発明の有利な実施例においては、セットトップボックス150は、テレビ受信機105に統合させることが可能である。セットトップボックス150とテレビ受信機105の統合は、例えば、テレビ受信機105が高解像度デジタルテレビジョン(HDTV)受信器である場合、一般に、行われる。セットトップボックス150の機能および動作原理が周知であるので、テレビジョン・メーカは、多くの場合、セットトップボックス150をテレビ受信機105に統合するのが有利であることに気づく。この結果、機器、ワイヤリングおよびテレビジョン視聴者が実行するために要求されるセットアップ作業の量が減少する。

テレビシステム100は、さらに、テレビ受信機105およびセットトップボックス150の両方と通信するパーソナルコンピュータ(PC)170を含むことが好ましい。PC170は、中央処理ユニット(CPU)180、ビデオモニタ190および取外し可能な記憶媒体195を有する。PC170は、さらに、従来の要素（図示せず）、例えば、キーボード、マウス、内蔵ハードディスクドライブおよびランダムアクセスメモリ(RAM)を有する。PC170を使用する本発明の一実施例の場合、視聴者フィードバックを収集するシステムは、CPU180およびCPU180のランダムアクセスメモリ(RAM)（図示せず）に格納されるまたはCPU180の内蔵ハードディスクドライブ（図示せず）に格納されるプログラムを有する。プログラムは、さらに、例えば、3.5インチ・フロッピーディスク、コンパクトディスク読み出し専用記憶素子(CD ROM)、デジタル・ビデオ・ディスク(DVD)、または、同様の記憶媒体である取外し可能な記憶媒体195に格納することも出来る。

更に、本発明の視聴者-フィードバック集合システムは、それらの任意の数が存在し得るが、132、134、136および138として図1で列挙されている、複数の視聴者反応センサを有する。センサ信号受信器185は、それらの未処理の状態で視聴者反応モニタ132〜138によって生成される反応信号を受信し、そして、PC170によって保存および分析のためにそれらを処理する。

本発明の有利な実施例の場合、視聴者反応を収集するシステムは、テレビ受信機105に組み込まれる埋め込みシステムとすることが可能である。本発明の代替の有利な実施例の場合、システムは、セットトップボックス150内で実施することが可能である。換言すれば、別々に示される図1の中のテレビシステム100のコンポーネント、すなわち、センサ信号受信器185、PC170およびセットトップボックス150は、受信器105のような単一の物理ユニットまたはある他の形で分散されるそれらの機能に組み込むことが出来る。

図2は、本発明の同様の実施例による、図1の典型的なテレビ受信機システム100に類似しているシステムで実施されるプログラムおよびプログラム・セグメントに対する視聴者応答を収集する典型的なシステムを示す。テレビ受信機システム200は、ディスプレイ210を備えるテレビ受信機205を含む。セットトップボックス250は、前述したように、プログラミング情報を受信して、受信器205にそれを送信する。テレビ受信機システム200は、そこで示されるさまざまなコンポーネントがシステム200で同様に存在するにもかかわらず、明確にするため図1に示される実施例から多少単純化されていることに留意されたい。理想的には、視聴者は、少なくとも試験視聴者セクションの初めに、椅子215に座っている。「試験視聴者」によって、本発明の一実施例によれば、システムは、コントロールされた試験状況で使用することが出来ることを意味する。システムが視聴者の家で使用される別の実施例の場合、同様の椅子215を、それにもかかわらず、提供することが可能であろう。本発明のシステム及び方法は、いずれのアプリケーション用にも適用でき、かつ、相違の必要性が明示的に示されるまたは文脈から容易に明らかでない限り、一方に適用できる本明細書において記載されている特徴は、他方にも適用できると考えられるであろうことに留意されたい。

椅子215は、オプションとして、例えば、温度、姿勢、動き回るまたは静止している傾向等の視聴者の条件面を記録するためのセンサ（図示せず）を備える。マイクロフォン（図示せず）も、反応する音、例えば、笑いまたは会話型スピーチを記録するための椅子215の中に存在させ、または取り付けることが出来る。これらのセンサによって生成される信号は、収集されて、センサ信号受信器285に無線送信のための無線信号に変換される。椅子215およびセンサ信号受信器285は、それらの間で無線通信を補助するために、それぞれ、アンテナ217および219を備える。当然、無線送信は、必要でなく、センサ信号は、赤外線のような他の手段によってまたは単にケーブルによって送信することも可能である。センサ・シャツ220は、無意識または自然発生的な反応を通して視聴者フィードバックを収集するための別のデバイスを提供する。ここで求められる「無意識の」または「自然発生的な」反応は、表示されたプログラミングを見る間、視聴者に対して自然に発生するものであることに留意されたい。すなわち、これらの用語は、一般にそれが表示されている時間で、またはその近くで、プログラミング自体に対する反応または応答を指し、後の問合せ、例えばインタビュアの質問に対する反応ではない。したがって、本発明の重要な利点は、直接プログラム・セグメントと接続させることが出来、かつ、同時に、プログラムを中断することなく続けることを可能とする、応答を受信する能力である。センサ・シャツ220は、椅子215と共にまたは代用として使用することが出来る。センサ・シャツ220は、視聴者条件、例えば、体温センサ、心拍数モニタ、汗検出器などを測定するために一つ以上のセンサを含む。特に好適な実施例において、センサ・シャツ220は、ガルバクティベーター(galvactivator)（図示せず）を含む。これは、生理的に刺激的な外部または内部刺激が発生するとき、皮膚がしばらくより良い電気導体になるという現象を利用して、皮膚伝導率反応（別名皮膚電気反応）を測定する。この現象は、本明細書に参照として取り入れられている、「ガルバクティベーター：皮膚伝道率を感知して伝える手袋(The Galvactivator: A Glove that Senses and Communicates Skin Conductivity)」(Rosalind W. Picard & Jocelyn Scheirer )(Proceedings from the 9th International Conference on Human-Computer Interaction, New Orleans (August 2001))においてより充分に説明されている。当業者にとって明らかであるように、この種のセンサは、さらに手袋または視聴者と接触する他の製品に組み込むことも可能である。この記載事項は、例示的であり、かつ限定しないことを意図する。センサ・シャツ220、手袋または他の感覚デバイスは、センサ信号受信器285にセンサデータを送信するための無線送波器222を含むことが好ましい。

図2の実施例に示された他の視聴者-条件センサは、視聴室201（または、入室と退室さえ）に関するモーションを感知するためのモーションセンサ230を含む。カバーすべきモーション（のフィールド）に応じて複数のモーションセンサが存在することが可能である。モーションセンサ230は、通常、ケーブル接続を通してセンサ信号受信器285に接続されるが、この他の方法、例えば、前に言及した方法も使用することが出来る。

ビデオカメラ240は、椅子215に座る視聴者の画像、特に、視聴者の頭部および顔部を取り込むように配置される。それは、固定されていてもよいし、または可動であってもよい。後者の場合、ドライブ-コントロール系（図示せず）は、ビデオカメラを、視聴者を追跡してかつ焦点を合わせた状態を保つ際、援助するために使用することができる。ビデオカメラ240は、さまざまな方法で感覚情報を提供するために使用することが出来る。すでに詳述した（マイクロフォンを除く）大部分の他のセンサと異なって、この信号出力は、ビデオ記録装置、例えば、図1に示されるビデオレコーダ140上へ単に保存することが出来る。しかしながら、通常、視聴者-応答ビデオ画像がこのように記録される場合、別のビデオレコーダ（図示せず）が使用される。

しかしながら、特に好適な実施例の場合、ビデオ情報は、そのフィードバック価値を高めかつ人のオペレータによって実行されたビデオ画像の任意の分析を除去する（または、補強する）ために、別に処理される。好ましい実施例において、複数のセンサ、例えば、記載されているさまざまなデバイスで集められる感覚情報は、各々の感覚入力を単に見て別個に調べることから得られるであろうよりさらに正確な視聴者反応のプロファイルを与えるように組み合わされて分析されるであろう。例えば、特定のガルバクティック(galvactic)反応は、興奮を含むかもしれない、しかし、誘発されたが詳細不明の感情が良いか悪いかという疑問は未解決のままである。しかしながら視覚的な合図と組み合わせて使用されると、誘発性も、さらに測定することが出来る。例えば、微笑は、この特定の状態の興奮が幸せなものであることを示す。別の例として、視覚反応（例えば、しわが寄った額）、または音声反応（例えば、（話し手のセンテンスの終了語尾の上がりによって判定されるような）質問を求めている反応）の何れかは、混乱または理解の不足を示すことが出来るであろう。しかしながら、この入力が一緒に考慮される場合、これが正しい判定であるという可能性が増す。

図3は、本発明の好ましい実施例に従うビデオカメラ240からの入力を処理するために使用することが可能なビデオプロセッサ300を示しているブロック図である。ビデオプロセッサ300は、入力ポート305でカメラ240からビデオ入力を受信する。ビデオプロセッサ300は、さらにカメラ240によって取り込まれた画像を記録するためのビデオ記録媒体310も含むことが好ましい。また、「ビデオ録画(video recording)」が、便宜のために本明細書において使用される。典型的に、ビデオレコーダは、音声およびおそらく付随するテキスト（例えば、字幕）さえも記録する。例示の実施例の場合、必要に応じてディスプレイのために、ビデオプロセッサは、出力ポート312を通して記録されたビデオを出力する。ポート305を通して受信されたビデオ入力は、さらにそれが処理のための標準のデジタル形式に変換されるデジタイザ315に送信される。デジタル化された画像の各々のフレーム、または、これに代えて、フレームの選択された各々のサブセットは、視覚分析モジュール320において、ビデオ・ライブラリファイル325に格納された視聴者の公知の表情、または動きの同様にデジタル化された画像と比較される。顔の意志表示の分析に関する、より完全な議論のために、本明細書に参照として取り入れられている、「表情動力学のモデル化(Modeling the Dynamics of Facial Expressions)」(Antonio Colminarez) (submitted to the Computer Vision & Pattern Recognition Conference held in Hawaii from December 11-13, 2001)を参照されたい。比較は、（ピクセルの全てまたは一部を使用して）ピクセル順ベースでまたは任意の公知の画像分析アルゴリズムを用いて行うことが出来る。ライブラリファイル315に格納された参照ビデオ画像は、個人的に視聴者のものであるが、同様に、さらに他の人からの参照視聴のカタログも含むことが出来ることが好ましい。比較ステップの目的は、取り込まれた視聴者の表情または動きが公知の感情または他の人の応答と関連しているものとして認識することが出来るかどうかを、可能な限り正確に判定することである。もちろん、この種の評価は、何れも、確かではなく予言的または近似的であり、かつ、特定の判定が要求されるまたは可能でさえあるという含意は、本明細書においてとられないことを、理解されたい。それにもかかわらず、コンテクストにおいて評価されるときに、ビデオプロセッサ300によって提供される情報は、重要な入力を提供する。視覚分析モジュール320によって検出される一致は、センサ信号受信器285に報告される。一致が見いだされない場合、報告は、この条件を示すことが可能でありまたは簡単に省略されることも可能である。

図4は、本発明の一実施例による感覚入力の相互作用、並びに集められかつ処理された感覚データを使用するための可能なアプリケーションを示している系統図である。また、この実施例は、例示的であり、かつ限定するものではない。上記のように、表情および頭部の動きは、認識できる感情を判定するために参照画像に対して分析される（ブロック405）。インジケータ、例えば、微笑と凝視の強度（すなわち、動き回ることのない持続時間および凝視の方向）は、一組の予め定められた基準によって解釈される。全体のアクション、例えば、ビデオカメラ240またはモーションセンサ230によって検出されるような部屋の周囲での動きも、さらに解釈される（ブロック410）。更に、例えば、椅子215またはセンサ・シャツ220上のセンサによって取り込まれる生物測定反応データは、ほとんどの場合確実性がいくぶん少ないが、取り込まれたビデオ画像と関連して上記と同様の方法で、特定の人の感情的な反応と関連しているとして特徴づけられるであろう（ブロック415）。特定の感覚データ、例えば、体温は、単にベースラインまたは前のレベルに対する変更に注目することによって分析することが出来ることに留意されたい。この種の分析は、好ましい一実施例の場合、それが環境条件の変化、例えば、室温、外部の気象条件、周囲雑音レベル、時刻等をも考慮するものの、ビデオ画像との比較より確かに容易である。

もちろん、他の入力、例えば、プログラミング選択を変更する際の視聴者のアクションも、特に遠隔操作装置、例えば、この種の変更を実行することを容易にする遠隔操作装置125（図1に示す）が設けてある場合、考慮に入れることが可能である（ブロック420）。プログラミングの変更は、特定のプログラム・セグメントに対する嫌悪を示す、または、頻度が高くかつ明白な方向がない場合、一般的な倦怠を示す可能性がある。場合によっては、多数のチャンネルを、短い区間、短時間で連続して目を通す際、視聴者は「チャンネルサーフィン」をしているかもしれない。しかしながら、全体のパターンの一部であっても、特定のセグメントを視聴するための一時停止が期待されたより長いことは、情報を提供する可能性がある。そして、遠隔操作装置125におけるデフレクションゲージまたは同様のデバイスで測定される「次のチャンネル」ボタンを押すごとに加えられる物理的力は、特に特定の同時発生する音声反応、例えば、ため息または虚辞の感知および認識に結合されるときに、倦怠またはフラストレートを示す可能性がある。本発明のシステム及び方法を実践しながらの経験および観察は、単独のまたは組み合わせた特定の検出入力を、特定の人の感情的反応と相関させる能力を高めることは、明白であろう。

上記した各々の感覚入力特徴および利用可能な任意の他のものも、同様に、含まれる特定の行動または条件の分類のために、直接または間接的に供給される（ブロック425）。個々の入力は、不連続な認識できる条件または条件の変化が、連続なものまたは関係のある入力の少なくとも断続的なストリームから分離することが出来るかどうかを判定するために、各々、調べられる。一旦、不連続な感覚イベントが分類されると、それは、公知の気分、感情または他の応答と相関させるために、知識ベースのデータと比較させることが出来る（ブロック430）。特定の気分または感情がどれ程の強度かを判定することも、さらに可能となるであろう。

好ましい実施例において、視覚ドメインから引き出された表情は、特徴ベクトルのためのシンボルと所定の値によって、全てラベル表示される。例えば、5つの状態（悲しそうな、笑っている、無関心な、退屈している、怖い）がある場合、これらはシンボリックに（好ましくは数で）コード化される。さらに、感情のボリュームは、（例えば、穏やかにから非常に幸福まで）0から1までのスケールで記録され、かつアルゴリズムの確実性の程度も、さらに記録される。視聴者のポーズとアクション（座っている、起きている、気晴らしに新聞を読んでいる、叫んでいる等）が追跡され、かつこれらは、さらに記録もされる。（これらは、さらに我々の特徴ベクトルのための特定の値ともなる）生物測定反応（心電図、筋電図、呼吸、および自律神経系活性化を測定する皮膚伝導率センサ）も、さらに記録される。これらの信号は、実時間でデジタル化され、かつ記録される。これらの特徴全てが、必ずしも役立つというわけではない。最初に、学習モードにおいて、線形識別関数は、パターンを認識するための特徴の最適セットを見いだすために、認識性能に個々に基づく各々の特徴にランクを付けるために使用することが出来る。さらに、遠隔コントロール反応パターンはいくつかのカテゴリに分かれ、「チャンネル切替え」、積極的な視聴（ボリュームアップ、巻戻しまたは低速モード）、半積極的な視聴、非積極的に分類することが出来る。これらの値は、全て、特徴ベクトルf=(f1,f2,....fn）において使用され、特徴ベクトルは、ある時間セグメントにわたって（例えば、2秒ごとに）記録される。

次に、これらの観察シンボルは、隠れマルコフモデル(Hidden Markov Model)に送られる。隠れマルコフモデル(HMM)は、信号処理において広く使用される一般のテクニックである。HMMの本質は、観察（シンボル）の出来事を説明するモデルを作成し、かつ他の観察シーケンスを識別するためにそれを使用することである。HMMとそのアプリケーションの原理は、本明細書に参照として取り入れられている、「音声認識における隠れマルコフモデルおよび選択されたアプリケーションのチュートリアル(A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition)」(L. R. Rabiner)(77 Proceedings of the IEEE 257-285 (1989))に示されている。

簡単に言うと、HMMにおいて、有限数の状態があり、かつHMMは、必ず、それらの状態の一つである。各クロックタイムで、それは、前の状態に従う遷移確率分布に基づく新たな状態に入る。遷移が起こった後、出力シンボルは、この現在の状態に従い確率分布に基づいて生成される。HMMの形式定義において、状態は、Q={q₁, q₂,…q_N}として示される。ここで、Nは、状態の数である。観察シンボルは、V={v₁, v₂,… v_M}として示される。ここで、Mは、観察シンボルの数である。状態間の遷移確率分布は、マトリックスA={a_ij}によって表示され、ここで、a_ij=Pr{q_j at t+1| q_i at t}である。観察シンボル確率分布は、マトリックスB={b_j(k)}によって表示され、ここで、b_j(k)は、現在の状態がq_jであるときに、観察v_kを生成する確率である。

システムは、2つのフェーズ（すなわち、トレーニングと分類）から成る。我々は、前述のように特徴値の収集を用いてトレーニングにより、異なる行動（例えば、強い好み、無関心、嫌気、愕然とする）と一致する、異なるHMMを作成する。HMMトレーニングは、観察シーケンスPr(O|λ)の確率を最大にするように、λ=(A, B,π)のパラメータを基本的に調整している。ここで、πは、初期状態分布を表し、π={π_i}として定義される。ここで、π_iは、HMMの初期状態である状態q_iの確率である。Oは、観察シーケンスである。

分類フェーズにおいて、高水準ラベルからなる観察シーケンスは、顔の、生物測定の、人のアクション、および遠隔コントロール反応パターンに対する入力特徴値の所定のセットから引き出される。それから、そのシーケンスは、異なるHMM（例えば、強い好み、無関心、嫌気、愕然とする）に、入力として送られ、最も高い反応（観察の確率）を生成するHMMのクラスとして分類される。

一旦視聴者の行動が識別されると、それは、視聴者によって現在視聴されているプログラムおよびプログラム・セグメントのタイプと共に、システムにフィードバックされる。示されているプログラムに対してユーザーが、好むか、好まないかまたは中立であるかどうかに関して、推論がなされる。次に、これは、ユーザーの視聴プロファイルに基づいて、よりよく楽しむことが可能である視聴者に、異なるプログラム（または増加等のようにプログラミング内容を改善するあるアクション）を示すために使用される。この新情報に対する反応は、ユーザーが、異なるケースでは好むような情報またはアクションを学ぶためにモニタされる。このような方法で、行動の組合せは、ブロック430で、気分の推論、タイプ、強度等のために使用される。

この視聴者条件分析とともに、視聴者が、見せられているプログラム入力も、さらに分析される（ブロック435）。電子プログラム・ガイド(EPG)情報は、所定のソースから利用可能なプログラミング入力の残り部分に関する記述データである。この情報のいくつかが、チャネルを選択している視聴者によって使用することが出来る実際のプログラム・ガイド・ディスプレイを生成するために使用される一方、他の情報は、表示されたプログラム内容を、根拠となる視聴者行動と関連させるための本発明のシステムによって使用される。換言すれば、EPGは、特定のプログラムが、始まるまたは終わったことを示しているシステムに電子合図を与える。プログラム・セグメントの使用は、単一のテレビジョン・プログラムまたはモーション・ピクチャさえ、均一なイベントでなくむしろ一連のセグメント（または「シーン」）であるという認識から生じることに留意されたい。サブプログラム・レベルでビデオ・セグメンテーションおよび選択のプロセスは、米国特許出願第09/442,960,号「オーディオ／データ／ビジュアル情報選択の方法および装置(Method and Apparatus for Audio/Data/Visual Information Selection)」(filed by Nevenka Dimitrova, Thomas McGee, Herman Elenbaas, Lalitha Agnihotri, Radu Jasinschi, Serhan Dagtas, Aaron Mendelsohn on November 18, 1999, co-owned by the Assignee of the present application)においてより充分に説明されかつ本明細書に参照として取り入れられている。更なる説明が、「トッピックセグメンテーションおよび分類用の統合マルチメディア処理 (Integrated Multimedia Processing for Topic Segmentation and Classification)」(R. S. Jasinschi, N. Dimitrova, T. McGee, L. Agnihotri, J. Zimmerman, & D. Li)( Proceedings of the IEEE International Conference on Image Processing (Thessaloniki, October 2001))にも与えられ、かつ本明細書に参照として取り入れられている。これらのセグメントの各々に対する視聴者反応は、全体としてのプログラムの評価より役立つ視聴者選好の推定量である可能性がある。本発明のシステム及び方法が最も有利に使用されるのは、この観点においてである。

一つの特に好適な実施例の場合、プログラミング・プロバイダは、プログラミング加入者（すなわち、視聴者）に、少なくともいくらかの感覚機器を（おそらく有料で）支給する、または、感覚読み取りを提供するために加入者の家庭で一般に見いだされる電気デバイス（例えば、ビデオカメラ）を接続する方法に関する指示を提供する。処理されたまたは未処理である感覚信号は、プロバイダに戻される。プロバイダは、視聴者にセットされているプログラミング内容を調整するために、または肯定反応を生じたものと同様のプログラミングを選択する際、視聴者を援助する加入者（視聴者）使用のためのチャネル選択コントロールをつくるために、それらを分析しかつそれらを使用する。もちろん、この状況において、EPG情報は、感知された視聴者応答が特定のプログラム・セグメントと関連させることが出来るように、プログラム・セグメンテーション情報を含むことが好ましい。

プログラミングをセグメント化する（すなわち、それを、不連続な視聴者反応と比較されるセグメントに、論理的に分割する）ために、EPG情報を使用する代わりに、または組み合わせて、分割関数は、分析のために適切にプログラムを自動的に分けるために、例えば、セットトップボックス150に含ませることも出来る。プログラム（およびプログラムの分割）情報は、プログラム・セグメント間に発生すると判定された気分および感情と比較され、重要なプログラム選好情報を提供する（ブロック440）。この選好情報は、さまざまな方法で使用することが出来る。もちろん、最初に、それは、メモリ・レコーダに格納することが出来（ブロック445）、かつ、後で、将来の視聴者選好を予測する新たな補助として再検討することが出来る。これは、試験状況において、行うことが出来る、または、前述したように、システムが視聴者の家庭で動作する場合、この情報は、個人のまたは集合（すなわち試験-視聴者）の分析のためプログラミング・プロバイダに送信することが出来る。個人の視聴者に関して、学習された選好情報は、さらに将来の気分または感情の判定（ブロック430）のために、処理することも出来る（ブロック450）。更に、選好情報は、視聴者がそうする機会を与えられる場合、ユーザーが、好意的な応答をもたらした以前に視聴された内容と類似のプログラミング内容を選択するという仮定に基づいて、使用することが出来る。この効果は、特定のタイプのプログラミングが、今、利用可能であることを視聴者に通知する（ブロック455）、簡単な注意喚起によって達成することが出来る。または、多くの類似のやがて現れるプログラムは、推奨として提供することが出来る（ブロック460）。いずれのケースにもおいて、もちろん、ユーザーは、推奨されたプログラミングを視聴する、または記録する機会を提供されるだけである。しかしながら、別の実施例において、システムは、記録のための特定のプログラミングを選択するだけで、自動的に、それを記録デバイスに送信することが出来る（ブロック465）。これは、多量のマテリアルを記録する能力がある場合、特に有効であり、この結果、プログラミングはしばらくの間保存することが可能であり、次の記録セッションに上書きされることは全くない。最後に、視聴されたまたは記録されたプログラミングの実際の内容は、前に学習されたユーザー選好に基づいて増加することが可能である（ブロック470）。増加マテリアルは、プログラミング・プロバイダからおそらく利用可能であり、しかも、視聴者の個人の好みによって使用される。例えば、以前、アクション・シーンに対する選好を示した視聴者は、法廷シーンの代わりに挿入されたカー・チェイスを見ることが可能であり、一方、コメディを好む別の視聴者は、その代わりにユーモラスなシーケンスを見ることが出来る。もちろん、視聴者が、彼らの個性を、何らかの方法で自発的に示す場合、または個性がシステム・センサで自動的に判定することが可能である場合、システムは、彼らの個人の好みに（または、しばしば一緒に見ている複数の視聴者に対する複合の好みに）、プログラミングをカスタマイズすることが出来る。

図5は、本発明の一実施例による、感覚フィードバック情報を収集し、処理し、かつ使用する方法500を示しているフローチャートである。初めに、プログラミング受信とディスプレイシステムと感覚フィードバック・システムは、適切であることが仮定される（プロセスステップ開始）。プログラム・ディスプレイが開始するとき、感覚デバイスは電源を入れられ起動させられる（プロセスステップ505）。システムは、直ちに最初の入力を受信し、例示された実施例において、最初の入力をベースラインとして確立する（プロセスステップ510）。別の実施例において、識別可能な視聴者のためのベースラインはすでに確立されており、視聴者の個性を判定することができない場合のみ、新たなベースラインは判定される。センサ入力は、認識できる感覚条件（例えば、温度または汗レベルの上昇）が検出されるまで、処理される（プロセスステップ515）。その時、指示は、気分／感情判定のための感覚プロセッサに送信され、気分／感情の感覚の結果が検出された時、表示されていたプログラム・セグメントに関する情報と関連付けられる（プロセスステップ520）。プログラミングに対する反応が予想される範囲内である場合、選好情報は、データベースに格納される（プロセスステップ525）。それがまったく偽りの、例えば、通常生真面目な視聴者が不幸なセグメントで笑っている（この場合、注意散漫が疑われる）場合、選好情報は「予想される範囲内」ではないことに留意されたい。好ましい実施例において、この種の反応は、無視される。プロセスは、さらに、選好情報をプロバイダへ送信する（プロセスステップ530）、または選好情報を局所的に使用する（プロセスステップ535）、または両方とも使用するステップを続けることも可能である（局所的な使用のいくつかの具体例が、図4を参照して上記された）。

本発明が詳述されたにもかかわらず、当業者は、それらが、その最も広い形において、本発明の精神と範囲から逸脱することなく、本明細書においてさまざまな変更、代替および修正が可能であることを理解しなければならない。

本発明の一実施例による、典型的なテレビ受信機システムを示す。本発明の同様の実施例による、図1の典型的なテレビ受信機システムに類似しているシステムで実施されるプログラム・セグメントに対する視聴者反応を収集する典型的なシステムを示す。本発明の好ましい実施例によるビデオカメラからの入力を処理するために使用することが出来るビデオプロセッサを示しているブロック図である。本発明の一実施例による感覚入力の相互作用、並びに集められかつ処理された感覚データを使用するための可能なアプリケーションを示している系統図である。本発明の一実施例による、感覚フィードバック情報を収集し、処理し、かつ使用する方法を示しているフローチャートである。

符号の説明

100 テレビジョンシステム
105 テレビ受信器
110 ディスプレイスクリーン
115 赤外線(IR)センサ
120 手動コントロール
125 遠方操作装置
132、134、136、138 視聴者反応センサ
140 ビデオレコーダ
150 セットトップボックス
160 赤外線(IR)検出器
170 パーソナルコンピュータ(PC)
180 中央処理ユニット(CPU)
185 センサ信号受信器
190 ビデオモニタ
195 取外し可能な記憶媒体

Claims

プログラミング内容を記述している情報と関連させることが可能な、放送プログラミングに対する視聴者反応を評価するシステムであって、
テレビジョンプログラミングを受信しかつ表示するための受信器と、
前記表示されたプログラミングを視聴している前記視聴者による身体的な応答を感知し、かつ前記身体的な応答を表す信号を生成するための少なくとも一つのセンサと、
前記センサ信号を受信し、かつ、それが少なくとも一つの認識できる視聴者反応と関連している可能性があるかどうかを判定するためにそれを分析するためのプロセッサであって、その後、前記認識された反応を、前記身体的な応答が感知されたときに表示されていた前記プログラムに関する記述情報と関連させる前記プロセッサとを有するシステム。
前記プログラミング記述と視聴者選好として感知された応答との間の前記関連を格納するためのメモリ・デバイスを、更に有する請求項１に記載のシステム。
前記少なくとも一つのセンサが、複数のセンサを有し、前記システムが、前記複数のセンサの少なくともいくつかによって生成される前記信号を受信するためのセンサ信号受信器を更に有し、前記センサ信号受信器は、前記プロセッサがセンサ信号の集合を分析することが可能な、前記受信されたセンサ信号を結合する請求項１に記載のシステム。
前記少なくとも一つのセンサは、ビデオ画像取り込みデバイスであり、前記システムが前記ビデオカメラと通信するビデオプロセッサを更に有し、前記ビデオプロセッサが前記ビデオカメラから受信されるビデオ画像と比較するための画像ライブラリを有する請求項１に記載のシステム。
前記ビデオカメラによって取り込まれた前記画像を記録するためのビデオレコーダを更に有する請求項４のシステム。
前記少なくとも一つのセンサが、前記視聴者による発声を捕捉するためのマイクロフォンである請求項１に記載のシステム。
前記視聴環境における変化を感知し、かつ、視聴者の身体的応答を分析するために、前記プロセッサに環境情報を送信するための環境センサを更に有する請求項１に記載のシステム。
一つ以上の異なったセグメントを含む放送プログラミングに対する視聴者反応を評価する方法であって、
前記視聴者が、前記プログラミングを視聴することが出来る受信器を提供するステップと、
少なくとも一つの視聴者の身体的条件をモニタするステップと、
認められた身体的条件ステータスを視聴者反応と関連させるステップとを有するシステム。
前記身体的条件ステータスが、変化が前記モニタリングステップの間に認められている、ベースライン・レベルと関連した前記身体的条件の前記変化を含む請求項８に記載の方法。
表示されたプログラミング・セグメントの少なくとも一つの特徴的な特性を判定するステップと、
前記プログラミング・セグメントの前記表示の間に認められた身体的条件に対応する視聴者反応を視聴者選好レベルと関連させるステップと、
プログラムの選択を高めるために前記選好レベルを適用するステップとを、更に有する請求項８に記載の方法。
プログラムの選択が、特定された将来のプログラミングが前記少なくとも一つの特徴的な特性を備えている少なくとも一つのセグメントを含むという通知を提供することによって高められる請求項10に記載の方法。
前記プログラム選択が、前記少なくとも一つの特徴的な特性を所有するセグメントをプログラムに挿入することによって高められる請求項10に記載の方法。
前記モニタされた視聴者の身体的条件が、生物測定反応である請求項８に記載の方法。
前記モニタリングステップが、視覚的に観測可能な反応をモニタすることを有する請求項８に記載の方法。
前記視覚的に観測可能な反応が、前記視聴者の凝視の方向を含む請求項14に記載の方法。
前記視覚的に観測可能な反応が、異なる方向に変化する前に特定の方向の前記視聴者の凝視の持続時間を含む請求項14に記載の方法。