JP2009521169A

JP2009521169A - コンテンツストリームから決定されたフィンガープリントを使用したスクリプト同期

Info

Publication number: JP2009521169A
Application number: JP2008546744A
Authority: JP
Inventors: アントニウスヘンリキュスベルクフェンス，ウィンフリート; ヘンリキュスフェルベルクト，マルク; バプティストアドリアニュスマリアホルステン，ヤン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-12-23
Filing date: 2006-12-13
Publication date: 2009-05-28
Also published as: WO2007072326A2; ATE457112T1; CN101427580A; US20080263620A1; EP1967005A2; EP1967005B1; DE602006012123D1; WO2007072326A3; CN101427580B

Abstract

コンテンツストリーム６０とスクリプト５０は、マルチメディアシステムで１以上の知覚による効果を出力するために同期される。フィンガープリントは、コンテンツストリーム６０の一部から計算される２２。時間値は、フィンガープリントに対応して決定される。時間値は、フィンガープリントを利用してアクセスされるフィンガープリントデータベース２４で記憶され、時間値が検索される。スクリプトクロック２６は、時間値に同期され、これによりコンテンツストリーム６０の部分に同期される。コンテンツストリーム６０の部分は、同期されたスクリプトクロック２６を利用してスクリプトと同期してレンダリングされる。スクリプト５０は、効果コントローラ３４のために効果信号３２で出力される１以上の知覚による効果を生成するために利用される。効果信号３２は、コンテンツストリーム１４の一部をレンダリングするのと同期して生成される。

Description

本発明は、マルチメディアシステムの分野に関し、より詳細には、知覚によるエレメント及びコンテンツストリームに関連されるスクリプトの同期に関する。

コンピュータ技術の加速する進展に基づいた家庭用娯楽システムの急増により、たとえば光、振動、温度、風、音、匂いを変えることを含むユーザの知覚に影響を及ぼす効果を展開することで実際の出力における更に大きなユーザの関与を形成することが望まれる。この望みは、多くのテーマパークが来客をひきつけるために使用している大型の乗り物、並びに、大型スクリーンのＴＶ、高精細ＴＶ、オーディオ体験及びビデオゲームに関連されるような家庭におけるドラマチックな効果を発展する可能性から進展される。

ＴＶの視聴に関するユーザの体験は、新たな技術が利用可能になるにつれて迅速に変わっている。最初の表れは、ＴＶ体験をエンハンスするためにランプが加えられるハイエンドＴＶで既に見ることができる。現在、色出力及び時間の振る舞いを含むランプのようなこれらの効果の制御は、複雑なプログラム、及び専用の機器を必要とするコンテンツのリアルタイム分析に基づいている。

１つの可能なソリューションは、予め定義されたスクリプトに実際のコンテンツストリームの一部（たとえばビデオ及び／又はオーディオ）を作成させることである。しかし、問題は、これは、ブロードキャストされるか又は（たとえばＤＶＤに）プリレコードされるかで、コンテンツプロバイダにより（ＭＰＥＧ，ＭＰ３のような）コンテンツをストリーミングする新たな標準的な活動を必要とすることでおり、この標準化は、全ての標準化されたストリーミングタイプについて必要とされる。

“A Real-World Representation System and Language”と題されたKoninklijke Philips Electronics社によるWIPO WO02/09218の国際出願、“Dynamic Markup Language”と題されたEves等によるWO03/100548の国際出願は、引用により本明細書にそれぞれ完全な形で盛り込まれるものであり、マークアップ言語における記述に従って装置を駆動及び動作させ、現実の世界の経験をユーザに対してレンダリングする手段、及び、フラグメントからマークアップ言語の文書を生成する手段を開示する。

Limayeによる米国特許第６６４２９６６は、引用により本明細書に完全な形で盛り込まれものであり、ビデオコンテンツのプレイアウト制御、及び／又は、マルチメディアコンテンツのフレームにおける埋め込まれた鍵により制御データに含まれる命令の実行を同期する手段を開示する。この鍵は、制御データと関連付けされたファイルとを検索するアドレス、制御データファイルがビデオコンテンツでプレイアウトされるときに該鍵を含む現在のフレームからの将来の時間への示唆を提供する。言い換えれば、この鍵は、将来において、制御データに含まれる命令が実行されるべき（再生されるべき）時間を規定する。将来の時間は、現在の時間を示すクロックと共に使用され、データが再生されるべき時間が決定される。しかし、将来において、将来のフレームに関連するデータが再生されるべき示唆を使用することは、再生されたビデオコンテンツが停止、巻き戻し、早送り等のようにランダムにアクセスされる点で問題を有する。したがって、将来のフレームが鍵データで規定される将来の時間で実際に再生されることを保証するやり方は存在しない。さらに、コンテンツにおける鍵の埋め込みは、オリジナルコンテンツの変更を必要とする。

Mihcak等による“Robust Recognizer of Perceptually Similar Content”と題された米国特許出願US2005/0022004号は、コンテンツアイテムでどのようにフィンガープリントが使用されるかを開示している。この引例は、同期のためのハッシュ技術の使用を記載しているが、同期の方法及び装置を提供することができない。

本発明の目的は、従来技術におけるこれらの問題点及び他の問題点を克服するシステムを提供することにある。

本発明は、ビデオ／オーディオコンテンツに関連するスクリプトを駆動するリアルタイム分析の代わりに、周辺光のＴＶのランプのようなセンサ装置を駆動／制御するコンテンツストリームに関する予め定義されたスクリプトを提供する。スクリプトは、実際のコンテンツストリーム（たとえばビデオ又はオーディオ）と共にエンコードされる場合がある。別の実施の形態では、スクリプトは、配信（distribute）されるか、及び／又は、コンテンツストリームとは異なるソースから利用可能であるか、又は同じソースから利用可能であるが、コンテンツストリームから分かれる場合がある。

本発明は、フィンガープリンティング技術のような技術を使用し、スクリプトストリームとのコンテンツストリームの同期を容易にするため、コンテンツストリームからの情報を識別する。スクリプトストリームは、ライト、ブロアー等を制御するために使用され、テレビを視聴し、音楽を聴くようなコンテンツを消費する間にユーザの体験を拡張する。

簡単に言えば、コンテンツストリームは、受信機により受信され、所与のアルゴリズムに従ってコンテンツストリームの一部からフィンガープリントの値が計算される。ビデオストリームでは、ビデオストリームの一部は、所与のフレーム又は複数のフレームである場合がある。フィンガープリントの値は、フィンガープリントデータベースにアクセスするために利用され、このデータベースは、ルックアップテーブルとして機能し、コンテンツストリームの特定の時間的な位置が検索される。この特定の時間的な位置は、フィンガープリントに対応し、これによりコンテンツストリームにおける時間位置にも対応する。特定の時間的な位置は、次いで、スクリプトクロックに入力され、このスクリプトクロックは、クロック値をその時間位置と関連付ける。クロック値は、次いで、スクリプト出力発生手段に入力される。スクリプトストリームは、スクリプト発生手段によりスクリプトサーバから検索される場合がある。クロック値に対応するスクリプトストリームの一部は、コンテンツストリームの対応する部分との同期したレンダリングにおいてレンダリング装置に提供される。

スクリプト出力発生手段の処理時間による潜在的な遅延を調節するため、コンテンツストリームは、再生装置のようなコンテンツレンダリング装置へのコンテンツストリームの出力を調節するコンテンツバッファに入力される場合がある。効果コントローラのような効果レンダリング装置への効果信号がコンテンツストリームのレンダリングと同期するように、たとえば、バッファ時間は、フィンガープリントデータベースにアクセスする処理時間にスクリプト発生手段の処理時間を加えたものに等しい場合がある。このように、スクリプトストリームが利用され、１以上の知覚による効果（sensory effects）が生成され、この知覚による効果は、受信機によるコンテンツストリームのレンダリングと同期して効果コントローラのために効果信号で出力される。幾つかの実施の形態では、コンテンツストリームを一次的に記憶することが不可能な場合がある。コンテンツストリームのレンダリングは、（コンテンツストリームをまさに聞いているが、コンテンツストリームのパスにない場合）ユーザシステムの制御下にない場合がある。したがって、幾つかの実施の形態では、コンテンツストリームが遅延される場合がある。コンテンツのレンダリングを遅延することができない他の実施の形態では、時間位置は、コンテンツファクタ（デルタタイム）で調節される場合がある。このデルタタイムは、コンテンツストリームのパスとフィンガープリント及びスクリプト出力発生手段のパスとの遅延の差に依存して、正の値又は負の値である場合がある。

システム及び方法は、マルチメディアシステムにおける１以上の知覚による効果を出力するコンテンツストリーム及びスクリプトストリームを同期するために提供される。本システム及び方法は、コンテンツストリームからフィンガープリントを決定することを含み、この場合、コンテンツストリームの予め決定された時間インターバル又はシーケンスインターバルで決定された少なくとも１つのフィンガープリントが存在する。フィンガープリント情報は、フィンガープリントデータベースに入力され、ここで、対応する時間位置が検索される。次いで、この時間位置は、クロックに入力され、このクロックは、クロック値を時間位置と関連付ける。受信機は、コンテンツストリーム及びクロック値に対応するスクリプトストリームの一部を検索する。スクリプトストリームは、１以上の知覚による効果を生成するために利用され、この知覚による効果は、効果コントローラのための効果信号で出力される。効果信号は、コンテンツストリームのレンダリングと同期して生成される。

１実施の形態では、フィンガープリントデータベースは、コンテンツストリームのフィンガープリントからスクリプト識別子を生成する。受信機は、スクリプト識別子をデータベースから抽出する場合があり、このスクリプト識別子は、特定のスクリプトストリーム、及びスクリプト識別子に対応する特定のフィンガープリントと時間値のペアのテーブルを検索するために使用される。クロック値は、コンテンツストリームで識別されたスクリプトストリームを位置合わせするために使用される。別の実施の形態では、スクリプト識別子は、コンテンツストリームのフィンガープリントをリモートサーバ（たとえばスクリプト識別データベース）に送出することで発見され、このリモートサーバは、このフィンガープリントで、全てのスクリプトされたコンテンツから全ての指紋をもつ大規模データベースをサーチし、照合があった場合にスクリプト識別子がリターンされる場合がある。スクリプト識別子により、識別されたコンテンツについて必要とされるフィンガープリント及び時間値のペアをもつテーブルを検索することもできる。

以下は、以下の図面と共に考慮されたとき、上述された特徴及び効果並びに更なる特徴及び効果を示す例示的な実施の形態の説明である。以下の説明では、限定するのではなく例示する目的で、特定のアーキテクチャ、インタフェース、技術等のような特定の詳細が例示のために述べられる。しかし、これら特定の詳細から逸脱する他の実施の形態は特許請求の範囲内にあるものと理解されることは当業者にとって明らかであろう。さらに、明確さのため、公知の装置、回路、及び方法の詳細な説明は、本発明の説明を曖昧にすることが無いように省略される。

図面は例示の目的のために含まれ、本発明の範囲を表すものではないことが明示的に理解されるべきである。添付図面では、異なる図面における同じ参照符号は、同じエレメントを示す。

スクリプト／コンテンツ同期の本発明のシステム１０は、図１及び図２に例示され、本実施の形態で記載される。図１を参照して、コンテンツストリーム１２（ブロードキャスタ、ＤＶＤプロデューサ／プレーヤ等により供給される）は、受信機１１に入力される。コンテンツストリームは、フィンガープリント計算手段２２に入力され、この計算手段は、コンテンツストリームの選択フレームインターバル（図２参照）、時間インターバル、キーフレーム等で、フィンガープリントＦ_T0，Ｆ_T1，Ｆ_T2，Ｆ_T3，．．．，Ｆ_TNを決定、計算等する。このように、それぞれのフィンガープリントは、コンテンツストリームの部分の特定の開始時間（たとえば時間Ｔ０，Ｔ１，Ｔ３，．．．，ＴＮ）に対応する。

フィンガープリントは、コンテンツストリームにおける情報（たとえばデジタル、アナログ等）に応じた動作により、コンテンツストリームから決定、計算等される。フィンガープリントは、ハッシュ値に到達するためにコンテンツストリームデータの選択された一部にハッシュ関数を実行することを含めて、何れかのやり方で決定される。フィンガープリントがどのようの決定されるかに関する他の例は、１つのフレーム内のビデオマテリアルの２つの部分間の輝度の差、及び異なるフレーム間の輝度の差を計算（決定）することによる。輝度に於ける差が正（明るい）であるか負（暗い）であるかに依存して、この差を表すビットは、１又は０に設定される。結果は、フィンガープリントとして利用される。勿論、他の技術が適切に利用される場合がある。

以下の説明は、コンテンツストリーム６０と対応するスクリプトストリーム５０の同期のやり方を詳述する。図示されるように、コンテンツストリーム６０は、コンテンツ部分に分割される。コンテンツ部分は、コンテンツストリーム６０とスクリプト５０の間の矢印により図２で示されるように、コンテンツ部分と同期して実行されることが意図されるスクリプト部分に対応する。言い換えれば、時間Ｔ₀で開始するのに対応するコンテンツストリーム６０の開始部分がレンダリングされたとき、そのコンテンツ部分の開始時間に対応するスクリプト部分、フラグメント等は、同期して開始及び実行される。同じことが、コンテンツストリーム６０とスクリプトストリーム５０の部分のそれぞれについて実行される。

本発明のシステムに係る動作を容易にするため、フィンガープリントデータベース２４は、上述されたコンテンツ及びスクリプトの同期されたレンダリングの前に形成される。フィンガープリントデータベース２４は、フィンガープリント及び時間値のペアを含む。フィンガープリント計算手段２２が現在のシステムの動作の間にフィンガープリントを決定するとき、フィンガープリントデータベースに記憶されるフィンガープリントと時間値のペアは、同じやり方で（たとえば同じアルゴリズムを利用して）、同じフレームインターバル、時間インターバル等でコンテンツから決定（たとえば計算、測定等）される。時間値は、コンテンツストリームの開始に関して、フィンガープリントが導出されたコンテンツ部分の相対的な時間を供給する。たとえば、コンテンツストリームの開始から時間Ｔ２でシリアルにレンダリングされる（たとえば再生される）ために開始されるコンテンツストリームの一部から導出されたフィンガープリントについて、時間値はＴ２である。次いで、この時間値は、以下に更に説明されるように、コンテンツストリームにおけるこの時間に対応するスクリプトストリームの一部の開始時間を識別するために本システムにより利用される場合がある。この例について、フィンガープリントデータベース２４は、Ｆ_T0，Ｔ０；Ｆ_T1，Ｔ１；Ｆ_T2，Ｔ２；Ｆ_T3，Ｔ３；．．．，Ｆ_TN，ＴＮといった複数のフィンガープリント及び時間値のペアを含む。フィンガープリントデータベース２４は、スクリプトサーバを含むソース、コンテンツストリームのソースから、複数のフィンガープリントと時間値のペアを受ける。フィンガープリントと時間値のペアは、コンテンツ又はスクリプトプロバイダにより決定及び供給される。ソースに関わらず、フィンガープリントデータベース２４は、典型的に、コンテンツストリーム１２を受信する前に、受信されたフィンガープリント及び時間値のペアを記憶する。記憶されるフィンガープリント及び時間値の数は、フィンガープリントを決定するためのサンプリングレートに関連する。フィンガープリントを導出するサンプリングレートは、所与のコンテンツストリームについて記憶されるフィンガープリントと時間値のペアの数を制御する。

コンテンツストリーム１２はその後にシステム１０により受信されたとき、それぞれのコンテンツストリーム部分はフィンガープリント計算手段２２によりサンプリングされ、対応するフィンガープリントが決定され（たとえば、Ｆ_T0，Ｆ_T1，Ｆ_T2，Ｆ_T3，．．．，Ｆ_TN）、これらはフィンガープリントデータベース２４に出力される。それぞれのフィンガープリントは、対応する時間値を決定するためにフィンガープリントデータベース２４でサーチされる鍵として使用される。サーチの結果は、クロック２６を調節するために利用される対応する時間値である。調節されたクロック２６は、その後、コンテンツのレンダリングとスクリプト出力発生手段３０を同期させるために利用される。このように、たとえば、ユーザによるシリアルアクセスによるか、ランダムアクセスにより（たとえば早送り、巻戻し等）、決定されたフィンガープリントＦ_T2をもつコンテンツ部分はレンダリングのためにアクセスされ、この時間で開始されるべきスクリプト部分（たとえば開始時間Ｔ２に対応して示されるスクリプト部分）は、スクリプト出力発生手段３０によりアクセスされ、コンテンツ部分のレンダリングに同期されるレンダリング効果のために効果コントローラ３４に供給される。

コマーシャル部分は、図２におけるコンテンツ６０に挿入されて図示されるように、コンテンツストリームの受信の間に受信される。フィンガープリントは、フィンガープリント計算手段２２によりコマーシャル部分から決定され、同じことがコンテンツストリームについて決定される。しかし、コマーシャル部分のフィンガープリントは、フィンガープリントデータベース２４において対応する時間値のペアを有さない。したがって、コマーシャル部分について、スクリプト出力発生手段３０は、コマーシャル部分についてスクリプトサーバ２８からスクリプト部分を検索しない。しかしながら、コマーシャル部分は、スクリプト部分がレンダリングされることなしに、レンダリングのため、テレビジョンのようなコンテンツプレイバック装置１８に供給される。このように、（コマーシャル部分で以下に示される）決定されたフィンガープリントＦ_T3を有するコンテンツ部分Ｔ３がアクセスされたとき、この時間で始動されるべきスクリプト部分（たとえば開始時間Ｔ３に対応して示されるスクリプト部分）は、スクリプト出力発生手段２８により検索され、コンテンツ部分Ｔ３のレンダリングに同期されるレンダリング効果のために効果コントローラ３４に供給される。

コンテンツストリーム１２は、デジタルバーサティルディスク（ＤＶＤ）等のような光メディアを介して、ブロードキャストチャネル、インターネットを含む配信／送信チャネルにより配信される。スクリプトストリーム、及び、フィンガープリントと時間値のペアは、１実施の形態では、スクリプトストリーム及びフィンガープリントと時間値のペアを、インターネットのようなコンテンツストリームと同じ配信システムを通して配信するスクリプトサーバ２８により供給される。スクリプトストリーム及びフィンガープリントと時間値のペアは、コンテンツストリームと共に配信されるか、コンテンツストリームとは別に配信され、たとえば指定されたコンテンツのスクリプトを提供する別のソースにより提供される。たとえば、コンテンツは、スクリプトストリーム及びフィンガープリントと時間値のペアの配信のために利用されるテレビジョンチャネルのようなブロードキャストチャネルにより提供される。代替的に、コンテンツは、ブロードキャストチャネルにより供給される間、スクリプトストリーム及びフィンガープリントと時間値のペアはインターネットを通してサーバ２８により供給される。更に別の実施の形態では、サーバ２８は、スクリプトストリーム及びフィンガープリントと時間値のペアを含む単なるＤＶＤである場合がある。ＤＶＤは、ローカルのＤＶＤプレーヤ又はユーザにとってローカルであるメディアイネーブルパーソナルコンピュータによりアクセスされる場合がある。本発明によれば、コンテンツストリーム、スクリプトストリーム、及びフィンガープリントと時間値のペアがどのように受信されるかに関わらず、本発明のシステムは、スクリプトストリームと同期してコンテンツストリームを再生するためにイネーブルにされる。

例示的な実施の形態では、予め定義されたスクリプト及びフィンガープリントと時間値のペアは、スクリプトサーバ２８により供給される。フィンガープリントと時間値のペアは、フィンガープリントデータベース２４に記憶される。スクリプトストリームは、効果コントローラ３４を駆動するために利用される。本発明のシステムに係るスクリプトストリームは、リアルタイムコンテンツ分析よりも進展された効果を可能にするという利点を有する。これは、スクリプトストリームがコンテンツマテリアルのみに基づく必要がなく、むしろ、専門的なスクリプトデザイナーの芸術的な創造力に基づくことによる。

なお、スクリプトストリームにより制御される効果は音、風、振動等に関連し、デザイナーの想像力及びユーザにとって利用可能な効果的な機器によってのみ制限される。本発明によれば、スクリプトストリームの制御下で、適切な効果は、効果のコントローラ３４によりコンテンツストリームと同期してレンダリングされる。効果のコントローラ３４は、適切な効果を生成する装置に制御信号を供給し、更に図示されない。

適切なコンテンツバッファ装置１６は、コンテンツストリーム１２のソースとコンテンツレンダリング装置１８との間で利用される場合がある。バッファ装置１６は、コンテンツ又はスクリプトのレンダリング時間を調節して、フィンガープリントの決定、フィンガープリントデータベースへのアクセス、及びスクリプト処理に関連する処理の遅延のために遅延されるスクリプトレンダリング時間と一致するために利用される。スクリプト出力発生手段３０は、必要に応じて、コンテンツバッファ１６の遅延を調節するために調節信号３８を出力する。

決定されたフィンガープリントに対応するフィンガープリントデータベースにフィンガープリントが存在しない場合、システムは、コマーシャル部分が検出されたときのような、明るさの効果のような知覚による効果が発生されないモード、又は知覚による効果がコンテンツ部分のローカルなリアルタイムコンテンツ分析に基づくモードに入る場合がある。

対応する時間値を識別するためにフィンガープリントデータベースにアクセスするために決定されたフィンガープリントを使用することは、１つのスクリプトストリームが複数の部分的に異なるバージョンのコンテンツのために利用される場合があるという点で利点を有する。たとえば、１つのコンテンツのバージョンは完全なバージョンであり、別の編集されたコンテンツのバージョンは、削除された部分を有する。完全なバージョンについて作成されたスクリプトストリームは、編集されたバージョンについて適切に利用されるが、削除されたコンテンツに対応するスクリプト部分は、本発明のシステムによりアクセスされない。

また、本発明のシステムは、コンテンツと同期して伝達される潜在的に複数のスクリプトのうちの１つのレンダリングを可能にする。たとえば、伝達されたコンテンツは、コンテンツの伝達に含まれるベーシックスクリプトを有する場合がある。このスクリプトは、本実施の形態で記載されるように動作する場合がある。しかし、エンハンスされたスクリプト（たとえば更なる及び／又はエンハンスされた効果をもつスクリプト）は、個別のチャネルを通して利用可能であるか、及び／又は料金のために利用可能である。本発明によれば、この更なるスクリプトがどのように及び何処で利用可能及び／又は伝達されるかに関わらず、更なるスクリプトは、ベーシックスクリプトの代わりに、コンテンツに同期してレンダリングされる場合がある。

さらに、コンテンツとの対応のためのスクリプトの選択は、自由な裁量であって、ユーザにより選択される。１実施の形態では、コンテンツ部分から決定されたフィンガープリントは、フィンガープリントはハッシュ関数を利用して形成されるように固有であるように決定されるので、コンテンツ（コンテンツＩＤ）を識別するためにスクリプト出力発生手段により利用される。このように、スクリプト出力発生手段は、コンテンツＩＤにより、潜在的な複数のスクリプトから、スクリプトサーバ２０で利用可能な対応するスクリプトを識別する。複数のスクリプトのうちの幾つかは、他のコンテンツに対応する場合がある。コンテンツＩＤに応答して、本発明のシステムは、複数のスクリプトのうちから潜在的に、コンテンツに対応するスクリプトサーバから利用可能なスクリプト（たとえばベーシックスクリプト、プレミアムスクリプト等）を選択及び／又は購入するためのオプションをユーザに提供する場合がある。さらに、コンテンツＩＤは、フィンガープリントデータベースのアクセス及びサーチを容易にするために利用される。別の実施の形態では、コンテンツＩＤは、たとえばコンテンツのブロードキャスタ又は他の発生者により、コンテンツに埋め込まれる場合がある。たとえば、コンテンツＩＤは、検出可能なウォータマークを利用するコンテンツストリームに埋め込まれる場合があるが、一般に、コンテンツストリームの消費の間にユーザにより見分けることができない。次いで、コンテンツＩＤは、上述のように利用される場合がある。

さらに、コマーシャル部分は、他のコンテンツ部分と同様に扱われる。このように、効果は、コマーシャル部分のレンダリングをエンハンスするために、コマーシャル部分と同期してレンダリングされる場合がある。

フィンガープリントデータベース２４のサーチを促進するため、１実施の形態では、同じコンテンツの一部である、一組の続いて起こるフィンガープリントが発見された場合、システムは、この情報を使用して、続いて起こる時間値についてデータベースにおけるサーチを狭くする／制限する。更なる実施の形態では、続いて起こるフィンガープリントは、フィンガープリントデータベースのアクセスの特徴により決定されるように順次アクセスを急がせるやり方でフィンガープリントデータベースに記憶される場合がある。

別の実施の形態では、次の時間値（たとえば前に識別されたフィンガープリントの時間値に続く時間値）は、コンテンツストリームにおけるアーチファクトにより生じる場合があるように、フィンガープリントがコンテンツストリームから誤って計算される場合にスクリプト出力発生手段に挿入される場合がある。また、次の時間値は、フィンガープリントがコンテンツストリームのキーフレームから決定され、キーフレームがフィンガープリント計算手段２２により失われる場合のような、フィンガープリントが失われた場合にスクリプト出力発生手段に挿入される場合がある。これらの実施の形態では、時間値は、次の時間値の識別及びアクセスを容易にするやり方でフィンガープリントデータベース２４に記憶される。

フィンガープリントデータベース２４は、フィンガープリントと時間値のペアを記憶するように例示的に記載されたが、フィンガープリントに関連する時間値にアクセスする他の構成が適切に利用される場合もある。たとえば、１実施の形態では、フィンガープリントは、アドレスに対応するやり方で決定される場合がある。これは、たとえばフィンガープリントデータベースのアドレスビットとして、フィンガープリントデータベースに直接にアクセスするために利用される予め決定されたビット数により表現される固有のアドレスを決定するため、たとえばハッシュ関数を利用してフィンガープリントを決定することで達成される。この実施の形態では、対応する時間値は、固有のアドレスによりアクセスされるメモリ位置に記憶される。

別の実施の形態では、フィンガープリントは、スクリプトストリームの一部を識別するために直接に利用される場合がある。このように、データベースが必要とされず、フィンガープリント自身は、効果コントローラに送出されるべきスクリプト部分を決定するために使用される。たとえば、フィンガープリントに対応するスクリプト部分は、フィンガープリントによりアクセスされるメモリ位置に記憶される。他の実施の形態では、スクリプト部分は、さもなければ、フィンガープリントに直接に関連される場合がある。

本発明のシステムは、ユーザの体験をエンハンスするために、コンテンツストリーム（たとえばオーディオ、ビデオ）とスクリプトストリーム、オーディオストリームの同期のために使用される場合がある。本発明のシステムは、光又は他のエンハンスメントが他の知覚情報のストリームに結合される、オーディオ、ビデオ、オーディオ／ビデオ、及びテキストのレンダリング装置を含む、全ての種類のレンダリング装置で使用される。例示的な説明が用語「スクリプトストリーム」を使用する一方で、当業者が容易に理解されるように、一般にスクリプトファイル及びデータのような他のスクリプト部分又はタイプも適切に利用される場合がある。

幾つかの実施の形態では、時間値は、たまにのみ計算され、時間値は、クロックを調節するために使用される。この実施の形態では、クロックは、そのクロックにより、スクリプトストリームのエンドトリガ部分で時を刻む。このように、暫くの間に時間値が検索されない場合でさえ（これは、システムのプロセッサロードのため、又はたとえば失われた／誤って計算されたフィンガープリントのためである）、システムは効果を生成し続ける。

また、これらの実施の形態は、特許請求の範囲であると理解されるべきである。特許請求の範囲の解釈において、以下が理解されるべきである。ａ）単語「有する“comprising”」は、所与の請求項で列挙された以外のエレメント又はステップの存在を排除しない。ｂ）エレメントに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメントの存在を排除するものではない。ｃ）請求項における参照符号は、請求項の範囲を制限しない。ｄ）幾つかの「手段」は、同一アイテム又はハードウェア又はソフトウェアで実現される構造又は機能により表される。ｅ）開示されるエレメントの何れかは、ハードウェア部分（たとえばディスクリート及び集積された電子回路を含む）、ソフトウェア部分（たとえばコンピュータプログラミング）、及びその組み合わせから構成される。ｆ）ハードウェア部分は、アナログ及びデジタル部分の一方又は両者から構成される。ｇ）その開示された装置又は部分の何れかは、特に断りがない限り、互いに結合されるか、又は更なる部分に分離される場合がある。ｈ）動作又はステップの特定の系列は、特に示されない限り、必要とされることが意図されない。

フィンガープリント情報による、本発明の実施の形態に係る、コンテンツストリームをスクリプトストロリームと同期させる手段を例示する図である。本発明のシステムの実施の形態に係る、コンテンツストリーム及び対応するスクリプトストリームを例示する図である。

Claims

マルチメディアシステムにおいて１以上の知覚による効果を出力するため、コンテンツストリームとスクリプトを同期させる方法であって、
前記コンテンツストリームの一部からフィンガープリントを計算するステップと、
前記フィンガープリントに対応する時間値を決定するステップと、
前記時間値と前記コンテンツストリームの一部とに対応するスクリプトを同期させるステップとを含み、
前記スクリプトは、効果コントローラに効果信号で出力される１以上の知覚による効果を表す、
ことを特徴とする方法。
前記スクリプトに同期してレンダリングするため、コンテンツレンダリング装置に前記コンテンツストリームの一部を伝達するステップを含む、
請求項１記載の方法。
前記スクリプトがレンダリングされる準備ができるまで前記コンテンツストリームの伝達を遅延させるステップを含む、
請求項２記載の方法。
前記コンテンツストリームがレンダリングされる準備ができるまで前記スクリプトを遅延又は転送するステップを含む、
請求項２記載の方法。
前記フィンガープリントに関連する時間値がない場合に前記コンテンツストリームの一部を分析するステップと、
前記コンテンツストリームの分析された部分に基づいて１以上の知覚による効果を提供するステップと、
を含む請求項２記載の方法。
前記フィンガープリントに関連するスクリプト識別子を決定するステップと、
スクリプトサーバから前記スクリプトを検索するステップと、
を含む請求項１記載の方法。
それぞれのコンテンツストリームについて、利用可能な複数のスクリプトが存在し、
当該方法は、検索のために利用可能な複数のスクリプトのうちの１つを選択するステップを含む、
請求項１記載の方法。
検索のために利用可能な複数のスクリプトのうちの１つを選択するオプションをユーザに提供するステップを含む、
請求項１記載の方法。
マルチメディアシステムにおいて１以上の知覚による効果を出力するため、受信されたコンテンツストリームとスクリプトを同期する受信機であって、
前記コンテンツストリームの一部からフィンガープリントを計算する手段と、
前記フィンガープリントに対応する時間値を決定する手段と、
前記時間値と前記コンテンツストリームの一部に対応するスクリプトを同期する手段とを有し、
前記スクリプトは、効果コントローラに効果信号で出力される１以上の知覚による効果を表す、
ことを特徴とする受信機。
前記フィンガープリントに対応する時間値がない場合、前記スクリプトを同期する手段は、スクリプトを提供しない、
請求項９記載の受信機。
前記フィンガープリントに対応する時間値がない場合、前記スクリプトを同期する手段は、前記コンテンツストリームの一部を分析し、前記コンテンツストリームの分析された部分に基づいてスクリプトを提供するために構成される、
請求項９記載の受信機。
前記フィンガープリントに対応するスクリプト識別子を決定する手段と、
前記スクリプト識別子に対応するスクリプトを検索する手段と、
を有する請求項９記載の受信機。
前記それぞれのコンテンツストリームについて、利用可能な複数のスクリプトが存在し、
前記スクリプトを同期する手段は、検索のために利用可能な複数のスクリプトのうちの１つを選択するために構成される、
請求項９記載の受信機。
前記それぞれのコンテンツストリームについて、利用可能な複数のスクリプトが存在し、
前記スクリプトを同期する手段は、検索のために利用可能な複数のスクリプトのうちの１つを選択するオプションをユーザに提供するために構成される、
請求項９記載の受信機。
前記スクリプトを同期する手段は、光、音、振動、温度、風及び匂いからなるグループから選択された１以上の知覚による効果を制御するために出力される出力を供給するために構成される、
請求項９記載の受信機。
前記スクリプト同期手段は、スクリプトサーバからスクリプトを検索するために構成される、
請求項９記載の受信機。
前記時間値を記憶するために構成されるフィンガープリントデータベースを有し、前記時間値を決定する手段は、前記フィンガープリントデータベースから前記時間値を検索するために構成される、
請求項９記載の受信機。