JP2010532943A - マルチメディア・システムにおいてコンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトを同期させる方法 - Google Patents

Abstract

コンテンツ・ストリーム（１０）とスクリプト（７０）を同期させる方法が、コンテンツ・ストリームの一部分（２０）からある整数ビット数を含むフィンガープリント（３０）を計算する段階（８０）と；計算されたフィンガープリント（３０）に対応する時間値（４０）を決定する段階と；時間値（４０）に対応するスクリプトの部分（９０）と、コンテンツ・ストリーム（１０）の前記部分（２０）とを同期させる段階とを含む。本方法は、前記ビット数が、計算されたフィンガープリント（３０）、前記計算されたフィンガープリントに対応する期待されるフィンガープリント（１３０）、前記コンテンツ・ストリームの別の部分（１００）から計算された別の計算されたフィンガープリント（１１０）および前記別の計算されたフィンガープリント（１１０）に対応する別の期待されるフィンガープリント（１２０）からなる群から選択されるフィンガープリントの少なくとも一つに依存して決定される、段階を有することを特徴とする。スクリプト（７０）は、効果コントローラに効果信号として出力されるべき一つまたは複数の感覚効果を表す。

Description

本発明は、請求項１の前提部のような、マルチメディア・システムにおいてコンテンツ・ストリームと一つまたは複数の感覚効果（sensory effects）を出力するためのスクリプトとを同期させる方法に関する。本発明はさらに、請求項１９の前提部のような、マルチメディア・システムにおいてコンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトとを同期させる受信機に関する。

コンピュータ技術の加速度的な進化に基づく家庭エンターテインメント・システムの数の爆発的増大とともに、たとえば光、振動、温度、風、音、臭いを変えることを含めユーザーの感覚的知覚に影響する効果を発現させることによって、実際の出力における、より大きなユーザー関与を作り出すことが望まれている。この望みは、多くのテーマパークが集客のために使っている大規模な乗物ならびにそのような劇的な効果を大画面テレビ、高精細度テレビ、オーディオ経験およびビデオ・ゲームなどの関係で家庭で発現させる可能性から発達してきたものである。

コーニンクレッカ・フィリップス・エレクトロニクス社の「現実世界表現システムおよび言語」と題する世界知的所有権機関による国際公開WO02/092183およびイヴズ（Eves）らの「動的マークアップ言語」と題する国際公開WO03/100548は、現実世界の経験をユーザーに対してレンダリングするためにマークアップ言語における記述に従ってデバイスを駆動および操作し、それによってより大きなユーザー関与（user involvement）を作り出す手段を開示している。

WO出願IB2006/054809「コンテンツ・ストリームから決定されたフィンガープリントを使ったスクリプト同期」、代理人整理番号PH002256は、コンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトとを同期させる方法を開示している。同期を可能にするために、コンテンツ・ストリームの一部分からフィンガープリントが計算され、そのフィンガープリントに対応する時間値がフィンガープリント・データベースから取得される。コンテンツ・ストリームの前記部分が、前記時間値を利用して前記スクリプトと同期してレンダリングされる。前記スクリプトは、効果コントローラのための効果信号として出力される一つまたは複数の感覚効果を生成するために利用される。

信頼できる同期を得るためには、正確かつ一意的なフィンガープリントがコンテンツ・ストリームの前記部分から計算されるべきである。しかしながら、計算されるフィンガープリントの精度に影響する諸条件がある。フィンガープリントの値が、コンテンツの同じ部分から前もって計算されているフィンガープリント・データベース中の期待されるフィンガープリントの値に一致するとき、そのフィンガープリントは正確である。コンテンツ・ストリームは、アナログ領域において転送されたビデオ素材、たとえばコンポジット・ビデオ、SビデオまたはRGBビデオであってもよい。ビデオ素材に対してアナログ領域において導入されるノイズは、コンテンツ・ストリームがアナログ領域で転送された後にコンテンツ・ストリームの前記部分から計算されるフィンガープリントを変更し、それにより計算されたフィンガープリントの精度を低下させてしまうことがありうる。コンテンツ・ストリームがアナログ領域を通じて転送される前にコンテンツ・ストリームの同じ部分から計算されたフィンガープリント・データベース中の対応するフィンガープリントがみつからないほど、フィンガープリントが変わっていることもありうるのである。さらに、計算されたフィンガープリントは正確だが一意的でないこともありうる。複数の単色の（たとえば暗黒の）または静的なシーンを含む複数の部分を含むコンテンツ・ストリームは、複数の同じフィンガープリントを提供することがありうる。これらのフィンガープリントは一意的ではないので、スクリプトのコンテンツとの同期は信頼できるものではなくなる。

コンテンツ・ストリームとスクリプトを同期させる方法であって、前記同期が改善された信頼性をもつものを提供することが本発明の目的である。

この目的は、請求項１記載の方法によって達成される。計算されるフィンガープリントのビット数を固定ではなく可変にすることにより、計算されるフィンガープリントを、コンテンツ・ストリームを一意的に同定するよう実際のコンテンツに適応させることが可能になる。アナログ領域で転送されたコンテンツの正確な計算されたフィンガープリントは、増加した数のビットを要求することがありうる。複数の暗黒のまたは静的なシーンをもつコンテンツの一意的なフィンガープリントのためにも、信頼できる同期を可能にするために増加した数のビットが要求されることがありうる。請求項１記載の方法では、計算されるフィンガープリントのビット数は、計算されるフィンガープリント自身に依存して、あるいはコンテンツ・ストリームの別の部分から計算される別のフィンガープリントに依存して決定される。計算されるフィンガープリントのビット数はまた、計算されるフィンガープリントに対応する期待されるフィンガープリントまたは前記別の計算されたフィンガープリントに対応する前記別の期待されるフィンガープリントにも依存しうる。こうして、請求項１に記載される方法では、計算されるフィンガープリントは、増加した精度または一意性をもつことができ、コンテンツ・ストリームのスクリプトとの同期の信頼性が増し、それにより本発明の目的が達成される。

請求項５ないし８のうちいずれか一項記載の本方法のさらなる実施形態では、ビット数は、計算されたフィンガープリントと対応する期待されるフィンガープリントとの比較から、あるいは前記別の計算されたフィンガープリントと前記対応する別の期待されるフィンガープリントとの比較から、実装するのが簡単な単純な仕方で得ることができる。

請求項９記載の方法のさらなる実施形態では、ビット数は、前記期待されるフィンガープリントまたは前記別の期待されるフィンガープリントの単純なビット計数によって得ることができる。前記期待されるフィンガープリントおよび前記別の期待されるフィンガープリントは、フィンガープリント・データベースから入手可能である。これは、コンテンツの前記部分からのフィンガープリントの実際の計算を行う前に、計算されるフィンガープリントが何ビットもつべきかを知ることができるという利点がある。

請求項１０に記載の本方法の実施形態は、K個のサブフィンガープリントを有するフィンガープリントを提供し、各サブフィンガープリントに含まれるビット数Lは、マトリクス〔行列〕中の要素のサイズおよび数を調節することによって簡単に調節可能であるという利点がある。要素は、フレームの特定の部分におけるピクセルのグループを表しうる。要素のサイズを小さくすることによって、関連付けられる平均輝度が変わりうる。個々のピクセルが前記平均輝度により大きな寄与をもつようになり、それにより潜在的により弁別的な力を前記要素に与えるからである。このように、要素のサイズを小さくすることによって、サブフィンガープリントに含まれるビット数Lは増加し、より一意的なフィンガープリントが提供される。

請求項１１に記載の本方法の実施形態は、サブフィンガープリントの計算の間に、前記サブフィンガープリントの精度の指標を得ることができ、それに応答してサブフィンガープリントに含まれるビット数を増加させてもよいという利点がある。サブフィンガープリント中の各ビットは、二つの連続するフレームに関連付けられた二つの第一の配列からの二つの対応する第一の要素どうしの減算から帰結する。二つの対応する第一の要素が低い値をもつとき、これらの第一の要素の減算の結果の符号に依存するサブフィンガープリント中のビットは、正しくない可能性がより高くなりうる。このように、第一の配列中の第一の要素を調べることによって、フィンガープリントの精度についての指標が得られ、結果として、各サブフィンガープリント中のビット数が変更されうる。

請求項１３に記載の本方法のさらなる実施形態では、サブフィンガープリントについての品質数（quality number）が決定されうる。前記品質数は、前記品質数が計算される、第二の配列に対応する、二つの連続するフレームの平均輝度の差に関係しうる。前記品質数は、第二の配列の要素の絶対値の単純な合計によって得られる。サブフィンガープリントに含まれるビット数は、前記品質数に応じて変えられてもよい。

請求項１４ないし１６のいずれか一項記載の本方法のさらなる実施形態は、請求項１記載の方法の決定ステップにおいてビット数が、期待されるフィンガープリントに、または前記別の計算されたフィンガープリントに、または前記計算されたフィンガープリントに含まれる諸サブフィンガープリントの簡単に得られる品質数に依存して決定されるという利点がある。

請求項１８に記載の本方法のさらなる実施形態は、早送りのようなジャンプ後のスクリプトのコンテンツへの同期の信頼性がさらに改善されるという利点がある。ジャンプ後には、フィンガープリントの計算は、いまだ、そのジャンプの直前のフィンガープリントの計算と同じビット数を使うことがありうる。しかしながら、ジャンプ後のコンテンツに関係する対応する期待されるフィンガープリントは、異なるビット数を要求することがありうる。ジャンプ後の同期を容易にするために、異なるビット数をもつ二つ以上の対応する期待されるフィンガープリントが、タイムテーブルまたはフィンガープリント・データベースに含まれてもよい。

請求項１９に記載の受信機の実施形態では、受信されたコンテンツ・ストリームとマルチメディア・システムにおいて一つまたは複数の感覚効果を出力するためのスクリプトとが同期されうる。前記受信機は、前記スクリプトに基づいて効果コントローラを駆動および操作するために使用されうる。前記スクリプトは、マークアップ言語での記述を含む。こうして、前記受信機および前記効果コントローラにより、現実世界の経験がレンダリングされうる。それによって、より大きなユーザー関与が作り出される。

図面は例示の目的のために含められており、本システムの範囲を表すものでないことははっきり理解しておくべきである。付属の図面において、異なる図面における同様の参照符号は類似の要素を示す。

フィンガープリントによってコンテンツ・ストリームを対応するスクリプト・ストリームと同期させる方法を示す図である。 複数のサブフィンガープリントを含むフィンガープリントを計算する方法を示す図である。 受信したコンテンツ・ストリームとスクリプトを同期させるための受信機の実施形態を示す図である。

受信したコンテンツ・ストリームおよびスクリプトを同期させるための本願の方法および受信機は図１、図２および図３に示されており、本稿で記述される。図１を参照するに、コンテンツ・ストリーム１０（放送局、DVDプロデューサー／プレーヤーなどによって与えられる）は複数の部分２０、１００を含む。コンテンツ・ストリーム１０の部分２０から、フィンガープリント３０が決定または計算される（８０）。このようにして、各フィンガープリントは、コンテンツ・ストリームの諸部分の特定の開始時間（たとえば時刻T0,T1,T2,T3,……,TN）に対応する。

フィンガープリントは、コンテンツ・ストリーム１０から、該コンテンツ・ストリームに含まれる情報に対して操作することによって決定または計算（８０）される。フィンガープリントは、コンテンツ・ストリーム・データの選択された諸部分に対してハッシュ関数を実行してハッシュ値に到達することを含め、いかなる仕方で決定されてもよい。

図のように、コンテンツ・ストリーム１０はコンテンツ部分２０、１００に分けられる。コンテンツ部分２０、１００は、コンテンツ部分２０、１００と同期して実行されるよう意図されているスクリプト部分８５、９０に対応する。換言すれば、開始時刻T2に対応するコンテンツ・ストリーム１０の部分２０がレンダリングされる際に、そのコンテンツ部分開始時刻に対応するスクリプト部分９０が開始され、同期して実行される。同じことが、コンテンツ・ストリーム１０およびスクリプト７０の各部分について実行される。

本願の方法に基づく動作を容易にするために、フィンガープリント・データベースまたはタイムテーブル６０が、コンテンツ・ストリーム１０とスクリプト７０の上記の同期したレンダリングに先立って生成される。フィンガープリント・データベースまたはタイムテーブル６０はフィンガープリントと時間値の対１３０、４０を複数含みうる。フィンガープリント・データベース６０に記憶されているフィンガープリントと時間値の対は、本方法の実行または本受信機の動作中と同じ仕方で（たとえば同じアルゴリズムを使って）かつ同じ部分で、コンテンツ・ストリームから決定または計算される。時間値４０は、フィンガープリント３０を導出するもとになったコンテンツ部分２０について、コンテンツ・ストリーム１０の先頭に対する相対時間を与える。たとえば、コンテンツ・ストリーム１０の先頭から時刻T2 ４０のところでシリアル的にレンダリング（たとえば再生）されはじめるコンテンツ・ストリーム１０の部分２０から導出されるフィンガープリント３０について、時間値はT2であろう。この時間値４０は次いで、のちにさらに論じるように、コンテンツ・ストリーム１０内でこの時間４０に対応するスクリプト９０の部分の開始時間を同定するために、本方法または受信機によって利用されうる。タイムテーブルまたはフィンガープリント・データベース６０は、前記複数のフィンガープリントと時間値の対１３０、４０を、スクリプト・サーバー、コンテンツ・ストリームの源などを含むいかなる源から受け取ってもよい。フィンガープリントと時間値の対１３０、４０は、コンテンツ・ストリームまたはスクリプトのプロバイダーによって決定され、提供されてもよい。源によらず、フィンガープリント・データベース６０は、典型的にはコンテンツ・ストリーム１０を受領するのに先立って、受領されるフィンガープリントおよび時間値の対１３０、４０を記憶する。

コンテンツ・ストリーム１０は、放送チャネル、インターネット、デジタル多用途ディスク（DVD）のような光学式媒体などを含む配信（distribution）／伝送（transmission）チャネルによって配信されてもよい。スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０は、スクリプト・サーバーによって提供されてもよい。ある実施形態では、スクリプト・サーバーはスクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０を、インターネットなどのようなコンテンツ・ストリーム１０と同じ配信システムを通じて配信する。スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０は、コンテンツ・ストリーム１０と一緒に配信されてもよいし、あるいはコンテンツ・ストリームとは別個に配信されてもよく、たとえば前記コンテンツ・ストリームについての設計されたスクリプトを提供する別の源によって提供されてもよい。

こうして、上で説明したように、マルチメディア・システムにおいてコンテンツ・ストリーム１０および一つまたは複数の感覚効果を出力するためのスクリプト７０を同期させる方法は：
・前記コンテンツ・ストリームの一部分２０からある整数ビット数を含むフィンガープリント３０を計算する段階８０と；
・計算されたフィンガープリント３０に対応する時間値４０を、前記計算されたフィンガープリント３０を前記コンテンツ・ストリームに関連付けられた複数の期待されるフィンガープリント１２０、１３０と比較することによって決定する段階と；
・時間値４０に対応するスクリプト７０の部分９０と、コンテンツ・ストリーム１０の前記部分２０とを同期させる段階であって、前記スクリプト７０は、効果コントローラに効果信号として出力されるべき一つまたは複数の感覚効果を表すものである、段階とを有する。

ある例示的な実施形態では、スクリプト・サーバーは単に、コンテンツ・ストリーム１０、スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０を含むDVDであってもよい。ユーザーは、DVDにローカルなDVDプレーヤーをもってアクセスしうる。コンテンツ・ストリーム１０、スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０を受信したのち、受信機は、スクリプト７０と同期してコンテンツ・ストリーム１０を再生できるようにされる。ローカルなDVDプレーヤーは、コンテンツ・ストリーム１０、スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０をアナログ経路を介して転送したのであってもよい。それにより、コンテンツ・ストリーム１０から取られるフィンガープリント１１０、３０にエラーが引き起こされる。これらのエラーは、コンテンツ・ストリーム１０とスクリプト７０の同期の信頼性を破壊しうる。

本発明は、可変長のフィンガープリント１１０、３０および期待されるフィンガープリント１２０、１３０を使うことによって同期の信頼性を改善する。前記フィンガープリント１１０、３０は、同期するのがどのくらい難しいかに依存してより長くもより短くもされうる。これは、計算されたフィンガープリント１１０、３０とタイムテーブル６０に含まれる期待されるフィンガープリント１２０、１３０との間の一致を見出す可能性を増大させ、それによりコンテンツ・ストリーム１０とスクリプト７０の同期の信頼性を改善する。

フィンガープリント１１０、３０を計算するために要求される処理能力は、前記フィンガープリントに含まれるビット数に依存する。可変長のフィンガープリントをもつことは、フィンガープリントに含まれるビット数を、必要なとき（たとえば暗いシーンのような）にのみより長くすることができ、それにより平均的な必要処理能力を軽減するという利点を提供する。さらなる利点は、計算されたフィンガープリント１１０、３０と期待されるフィンガープリント１２０、１３０との間の一致を見出すために必要とされる平均的な処理能力も軽減される。さらなる利点は、タイムテーブル６０を記憶するための必要とされる記憶容量も軽減されるというものである。

本発明に基づくコンテンツ・ストリーム１０とスクリプト７０とを同期させる方法は、フィンガープリント１１０、３０に含まれるビット数が：
・計算されたフィンガープリント３０、
・前記計算されたフィンガープリント３０に対応する期待されるフィンガープリント１３０、
・前記コンテンツ・ストリーム１０の別の部分１００から計算された、別の計算されたフィンガープリント１１０、
・前記別の計算されたフィンガープリント１１０に対応する別の期待されるフィンガープリント１２０
からなる群から選択される少なくとも一つのフィンガープリントに依存することを特徴とする。

図２を参照するに、コンテンツ・ストリーム１０（たとえばムービー）の各部分２０、１００は複数のフレーム２２０を含みうる。コンテンツ・ストリーム１０の部分１００、２０の開始は、一つまたは複数のサブフィンガープリント２１０の計算を使って決定されうる。各サブフィンガープリントは、所定数のフレーム２２０から計算または決定される。その際、フィンガープリント３０、１００は、Kを1より大きい整数としてK個のサブフィンガープリント２１０を含みうる。コンテンツ・ストリームとスクリプトを同期させる本方法のある実施形態では、計算されたフィンガープリント、期待されるフィンガープリント、別のフィンガープリントおよび期待される別のフィンガープリントからなる群から選ばれた各フィンガープリント２８５に含まれるビット数は、より多いまたはより少ないサブフィンガープリント２１０を含むことによって増大または減少されてもよい。

本方法のもう一つの実施形態では、各フィンガープリント２８５は二つ以上のサブフィンガープリント２１０を含んでいてもよく、Lを1より大きな整数として各サブフィンガープリント２１０はLビットを含む。各フィンガープリント２８５（計算されたフィンガープリント３０、期待されるフィンガープリント１３０、別のフィンガープリント１１０および期待される別のフィンガープリント１２０からなる群から選ばれる）に含まれるビット数は、前記フィンガープリント２８５に含まれる一つまたは複数のサブフィンガープリント２１０により多くのまたはより少ないビットを含めることによって、増大または減少されうる。

図１に戻ると、計算されたフィンガープリント３０に含まれるビット数は、フィンガープリント・データベース６０に含まれる期待されるフィンガープリント１３０または別の期待されるフィンガープリント１２０に関係していてもよい。

ある実施形態では、前記データベース６０を参照することによって、期待されるフィンガープリント１３０または別の期待されるフィンガープリント１２０のビット数が決定されうる。前記決定されたビット数は、計算されるフィンガープリント３０についてのビット数を決定するために使用されうる。

期待されるフィンガープリント１３０または別の期待されるフィンガープリント１２０のビットを数える代わりに、計算されたフィンガープリントに含まれるビット数は他の仕方で決定されてもよい。

本方法のさらなる実施形態では、計算されたフィンガープリント３０に含まれるビット数は、計算されたフィンガープリント３０に含まれるうちで、期待されるフィンガープリント１３０内の一致したサブフィンガープリントをもたないサブフィンガープリントの数に依存して決定されてもよい。あるいは同様に、ビット数は、別の計算されたフィンガープリント１１０に含まれるうちで、別の期待されるフィンガープリント１２０内の一致したサブフィンガープリントをもたないサブフィンガープリントの数に依存して決定されてもよい。

本方法のあるさらなる実施形態では、計算されたフィンガープリントに含まれるビット数は、計算されたフィンガープリント３０と期待されるフィンガープリント１３０との比較から、あるいは別の計算されたフィンガープリント１１０と別の期待されるフィンガープリント１２０との比較から帰結するビット・エラー比に依存して決定される。

上で論じた実施形態において、別の計算されたフィンガープリント１１０およびその対応する別の期待されるフィンガープリント１２０は、コンテンツ・ストリーム１０の別の部分１００に関係する。前記別の部分１００は、コンテンツ・ストリームの、計算されたフィンガープリント３０およびその対応する期待されるフィンガープリント１３０が決定されうるもとになる部分２０に先行していてもよい。前記別の計算されたフィンガープリント１１０およびその対応する期待されるフィンガープリント１２０を用いて、同期がどのくらい難しいか、あるいは簡単かを確立しうる。

前記別の部分１００はさらに、前記部分２０に重なってもよいし、あるいは前記部分２０に先行して重なってもよい。

図２に戻ると、別の実施形態では、サブフィンガープリント２１０は、１フレーム２２０内のビデオ素材の二つのブロック２３５の間の輝度差を使って決定されうる。各フレーム２２０は複数のブロック２３５に分割される。N行M列でN×M個の要素をもち各要素がブロック２３５を表すマトリクス２３０がフレーム２２０を表しうる。NおよびMは1より大きな整数である。各ブロック２３５は複数のピクセルを有していてもよく、前記ブロック２３５に含まれるピクセルの平均輝度が決定されてもよい。前記平均輝度は、黒に対応する0から白に対応する255の範囲の値をもちうる。ある行内の要素は、その要素がマトリクス２３０内でどこに位置しているかに依存して、その行内に一つまたは二つの隣接要素をもちうる。二つの隣接要素をもつ要素は、該隣接要素のそれぞれと対を形成しうる。マトリクス２３０は要素の対を(N×(M−1))個含むことができ、各対について、それらの関連する輝度の第一の差２４０が決定され、結果として、Lを(N×(M−1))に等しいとしてL個の第一の要素を含む第一の配列２５０を与える。前記L個の第一の要素のそれぞれの値は、所定数のビットによって表されうる。

図２に示されていないが、輝度の差が正か負かに依存して、第一の配列内の第一の要素が1または0に設定されてもよい。あるさらなる実施形態では、第一の配列２５０はLビットを含み、サブフィンガープリントとして使用されうる。

図２に戻ると、別の実施形態では、コンテンツ・ストリームの各部分における二つのフレーム２２０についてそれらの対応する第一の配列２５０が決定される。これらの第一の配列２５０の対応する第一の要素の第二の差２６０が決定され、L個の第二の要素を与える。第二の要素は第二の配列２７０に含まれる。これら第二の要素のそれぞれは、−510から＋510の範囲の「平均輝度差の差」についての値をもちうる。0より小さい値は、サブフィンガープリント２１０に含まれる対応するサブフィンガープリント・ビット２００を0に等しくし、0より大きい値は対応するサブフィンガープリント・ビットが1に等しい結果につながる。こうして、「平均輝度差の差」の値の極性符号に依存するビット値をそれぞれがもつL個のサブフィンガープリント・ビット２００が得られる。

さらなる実施形態では、前記二つのフレーム２２０は連続するフレームである。さらなる実施形態では、前記要素の対をなす要素は相続く行番号または相続く列番号をもつ。

暗いシーンでは、ブロック２３５の平均輝度は低いことがありえ、第一の要素の対応する値は0に近いことがありうる。コンテンツ・ストリーム内に暗いシーンがあるとき、それらの暗いシーンに含まれる複数の連続するフレーム２２０であって類似した第一の配列２５０をもつものがあることがありうる。結果として、これらの第一の配列２５０から取得、計算または決定されたサブフィンガープリントまたはこれらの第一の配列に含まれる第一の要素からの差は、コンテンツ部分２０および対応するスクリプト部分の信頼できる同期を提供しないことがありうる。こうして、0に近い値をもつ第一の要素の数または0に近い値をもつ連続するフレームの対応する第一の要素の数に依存して、フレーム２２０内のブロック２３５のサイズを変えることが決定されてもよい。より少数のピクセルを使って平均輝度が計算される場合、平均より高い輝度をもつピクセルのグループの寄与が増すことになる。こうして、それ以外は暗いシーンにおけるより明るいスポットまたはオブジェクトが、第一の要素の値により大きな寄与を得ることになる。こうして、サブフィンガープリント中のビット数が、0に近い値をもつ第一の要素の数に依存して、あるいは0に近い値をもつ連続するフレームの対応する第一の要素の数に依存して変更されうる。本方法のあるさらなる実施形態では、NとMの少なくとも一方が、第一の配列２５０に含まれる第一の要素のうち少なくとも一つの要素の値に依存して適応される。

サブフィンガープリント２１０のそれぞれについての本方法のあるさらなる実施形態では、品質数（quality number）が決定される。前記品質数は、第二の配列２７０に含まれるL個の第二の要素の絶対値の和に依存する。前記品質数は、空間的および時間的なブロック輝度の差についての尺度を与える。より大きな差は、フレームどうしを区別するのがより簡単であり、より一意的でありうるサブフィンガープリントが提供されることを意味する。結果として、より大きな品質数をもつサブフィンガープリントを使うと、コンテンツ・ストリームとスクリプトの同期はより信頼できるものとなる。

フィンガープリント２８５に含まれるサブフィンガープリント２１０の品質数を足すことによって、前記フィンガープリントの品質数が得られる。前記品質数は、タイムテーブルまたはフィンガープリント・データベース中に加えられてもよい。このように、前記データベースは、それぞれの期待されるフィンガープリントについて、前記期待されるフィンガープリントに対応する品質数をも含みうる。本方法のあるさらなる実施形態では、計算されるフィンガープリントに含まれるビット数は、少なくとも、期待されるフィンガープリント１３０または別の期待されるフィンガープリントに含まれる各サブフィンガープリント２１０の品質数に依存する。計算されたフィンガープリントおよび別の計算されたフィンガープリントについても品質数が決定されてもよい。前記計算されるフィンガープリントに含まれるべきビット数は前記品質数に依存してもよい。したがって、本方法のあるさらなる実施形態では、ビット数は、計算されるフィンガープリント３０に含まれるサブフィンガープリント２１０の品質数に少なくとも依存しうる。ビット数はさらに、別の計算されるフィンガープリントの品質数に依存してもよく、計算されるフィンガープリントに含まれるサブフィンガープリントの数を変えることによって、あるいはサブフィンガープリントに含まれるビット数を変えることによって、計算されるフィンガープリントに含まれるビット数を増加または減少させることが決定されてもよい。

「早送り」または「次トラック」によって引き起こされるようなコンテンツ・ストリーム中での「ジャンプ」後には、スクリプトはコンテンツ・ストリームに改めて同期される必要がある。ジャンプ直後のコンテンツ・ストリームの部分から計算されたフィンガープリントFxは、コンテンツ・ストリームの前記部分に対応する時間Txを決定するために、データベース中の対応する期待されるフィンガープリントFTXと照合される必要がある。前記部分のための計算されるフィンガープリントに含まれるビット数は、ジャンプがなく、スクリプトと同期されたコンテンツ・ストリープが最後まで再生されたとした場合に得られるであろう別のビット数とは異なることがありうる。本方法のさらなる実施形態では、タイムテーブルまたはデータベース６０は、前記時間Txに対応する少なくとも二つの期待されるフィンガープリントを含みうる。その少なくとも二つの期待されるフィンガープリントは異なるビット数を含む。ジャンプ直後のコンテンツ・ストリームの部分から計算される、計算されるフィンガープリントは、前記少なくとも二つの期待されるフィンガープリントの一つと一致させられることができ、それにより、コンテンツ・ストリームにおけるジャンプの条件下でコンテンツ・ストリームとスクリプトを同期させる本方法の信頼性を高める。前記異なるビット数は、前記少なくとも二つの期待されるフィンガープリントのサブフィンガープリント内に異なるビット数を含めることによって、あるいは前記二つの期待されるフィンガープリント中に異なる数のサブフィンガープリントを含めることによって、得られる。

図１および図３を参照すると、コンテンツ・ストリーム１０は受信機３００によって受信される。コンテンツ・ストリームの各部分１００、２０は、フィンガープリント計算器３１０によってサンプリングされ、対応するフィンガープリント（たとえばFT0、FT1、FT2、FT3、……FTN）が決定され、それがフィンガープリント・データベース６０に出力される。各フィンガープリントは、対応する時間値（たとえばT0、T1、T2、……TN）を決定するためにフィンガープリント・データベース６０において検索される鍵として使われる。検索結果は対応する時間値であり、それが次いでクロック３２０を調節するために利用されうる。調節されたクロック３２０はその後、スクリプト出力生成器３３０をコンテンツ・ストリーム１０のレンダリングと同期させるために利用される。このようにして、たとえば、シリアル・アクセスだろうとユーザーによるランダム・アクセス（たとえば早送り、巻き戻しなど）だろうと決定されたフィンガープリントFT2をもつコンテンツ部分２０がレンダリングのためにアクセスされる際、この時間に開始されるべきであるスクリプト９０がスクリプト出力生成器３３０によってアクセスされ、効果コントローラ３４０に与えられることができる。それにより、コンテンツ部分２０のレンダリングに同期された効果がレンダリングされる。ある実施形態では、スクリプト・サーバー３５０がスクリプトを提供してもよい。コンテンツ・ストリームはさらに再生装置３６０に提供される。

コンテンツ・ストリーム１０は、放送チャネル、インターネット、デジタル多用途ディスク（DVD）３７０のような光学式媒体などを含む配信／伝送チャネルによって配信されてもよい。スクリプト７０ならびにフィンガープリントおよび時間値の対１３０、４０は、スクリプト・サーバー３５０によって提供されてもよい。スクリプト・サーバーは、ある実施形態では、スクリプトならびにフィンガープリントおよび時間値の対を、インターネットなどのようなコンテンツ・ストリームと同じ配信システムを通じて配信する。スクリプト７０ならびに前記複数のフィンガープリントおよび時間値の対１３０、４０は、コンテンツ・ストリーム１０と一緒に配信されてもよいし、あるいはコンテンツ・ストリームとは別個に配信されてもよく、たとえば前記コンテンツについての設計されたスクリプトを提供する別の源によって提供されてもよい。別の実施形態では、スクリプト・サーバー３５０は、スクリプトならびに前記複数のフィンガープリントおよび時間値の対を含むDVDであってもよい。ローカルなDVDプレーヤーが前記DVDにアクセスしてもよい。

本受信機３００によれば、コンテンツ・ストリーム１０、スクリプト７０ならびに複数のフィンガープリントおよび時間値の対１３０、４０がどのように受領されるかに関わりなく、受信機はコンテンツ・ストリーム１０とスクリプト７０との同期を与える。受領したコンテンツ・ストリームおよびスクリプト７０の同期を与える受信機３００は：
・前記コンテンツ・ストリーム１０の一部分２０から、Pを1より大きな整数としてPビットを含むフィンガープリント３０を計算する手段３１０と；
・前記フィンガープリント３０に対応する時間値４０を決定する手段３２０と；
・時間値４０に対応するスクリプト部分９０と、前記コンテンツ・ストリームの前記部分２０とを同期させる手段とを有する。

前記スクリプト７０は、効果コントローラ３４０に効果信号として出力されるべき一つまたは複数の感覚効果を表すものである。同期の信頼性を改善するために、本受信機３００は、計算されたフィンガープリント３０、前記計算されたフィンガープリントに対応する期待されるフィンガープリント１３０、前記コンテンツ・ストリームの別の部分１００から計算された別の計算されたフィンガープリント１１０ならびに前記別の計算されたフィンガープリント１１０に対応する別の期待されるフィンガープリント１２０からなる群から選ばれるフィンガープリントのうちの少なくとも一つに依存して、Pの値を適応させるよう構成された手段をさらに有することを特徴とする。

先に論じたように、計算されるフィンガープリント３０のビット数Pを固定ではなく可変にすることによって、計算されるフィンガープリント３０を、コンテンツ・ストリーム１０の実際のコンテンツ位置に適応させることが可能になる。信頼できる同期を可能にするために、複数の暗いまたは静的なシーンをもつコンテンツの一意的な計算されたフィンガープリントは増加したビット数を必要とすることがありうる。計算されるフィンガープリントのビット数Pは、計算されたフィンガープリント３０自身にまたはコンテンツ・ストリーム１０の別の部分１００から計算された別のフィンガープリント１１０に依存して適応される。ビット数Pは、計算されたフィンガープリント３０に対応する期待されるフィンガープリント１３０または別の計算されたフィンガープリント１１０に対応する別の期待されるフィンガープリント１２０に依存して適応されてもよい。こうして、本受信機３００を用いて、計算されたフィンガープリント３０の一意性が高められ、それにより、コンテンツ・ストリーム１０とスクリプト７０との同期の信頼性が増す。

受信機３００のある実施形態では、Pの値を適応させる前記手段は、計算されるフィンガープリント３０に含まれるサブフィンガープリントのうち、期待されるフィンガープリント１３０内に一致するサブフィンガープリントをもたないものの数を決定するよう構成される。

受信機３００のあるさらなる実施形態では、Pの値を適応させる前記手段は、別の計算されたフィンガープリント１１０に含まれるサブフィンガープリントのうち、別の期待されるフィンガープリント１２０内に一致するサブフィンガープリントをもたないものの数を決定するよう構成される。

受信機３００のあるさらなる実施形態では、Pの値を適応させる前記手段は、計算されたフィンガープリント３０と期待されるフィンガープリント１３０との比較から帰結するビット・エラー比を決定するよう構成される。

受信機３００のあるさらなる実施形態では、Pの値を適応させる前記手段は、別の計算されたフィンガープリント１１０と別の期待されるフィンガープリント１２０との比較から帰結するビット・エラー比を決定するよう構成される。

受信機３００のあるさらなる実施形態では、Pの値を適応させる前記手段は、別の期待されるフィンガープリント１２０または期待されるフィンガープリント１３０のビット数を決定するよう構成される。

受信機３００のあるさらなる実施形態では、Pの値を適応させる前記手段は、期待されるフィンガープリント１３０に含まれるサブフィンガープリント２１０の品質数に少なくとも依存する。前記品質数は、先に論じたように、第二の配列２７０に含まれるL個の第二の要素の絶対値の和に依存していてもよい。

スクリプト７０によって制御される効果は、音、温度、風、振動、臭いなどに関係していてもよく、スクリプト・デザイナーの想像力およびユーザーに利用可能な効果設備によってのみ制限される。本受信機３００によれば、適切な効果がスクリプト７０の制御のもとでコンテンツ・ストリーム１０と同期して、効果コントローラ３４０によってレンダリングされる。効果コントローラ３４０は、適切な効果生成装置のための制御信号を提供しうるものであり、これ以上示すことはしない。

請求項１９ないし２５のうちいずれか一項に記載の受信機３００のさらなる実施形態では、スクリプト７０を同期させる手段は、光、音、振動、風および臭いの群から選択される一つまたは複数の感覚効果を制御するための出力を与えるよう構成される。

Claims (26)

1. マルチメディア・システムにおいてコンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトとを同期させる方法であって：
   ・前記コンテンツ・ストリームの一部分からあるビット数を含むフィンガープリントを計算する段階と；
   ・計算されたフィンガープリントに対応する時間値を、前記計算されたフィンガープリントを前記コンテンツ・ストリームに関連付けられた複数の期待されるフィンガープリントと比較することによって決定する段階と；
   ・前記スクリプトの前記時間値に対応する部分と、前記コンテンツ・ストリームの前記部分とを同期させる段階とを有し、前記スクリプトは、効果コントローラに効果信号として出力されるべき一つまたは複数の感覚効果を表すものであり、
   当該方法は、前記ビット数が、計算されたフィンガープリント、前記計算されたフィンガープリントに対応する期待されるフィンガープリント、前記コンテンツ・ストリームの別の部分から計算された別の計算されたフィンガープリントおよび前記別の計算されたフィンガープリントに対応する別の期待されるフィンガープリントからなる群から選択されるフィンガープリントの少なくとも一つに依存して決定される、段階を有することを特徴とする、
   方法。
2. 前記計算されたフィンガープリント、前記別の計算されたフィンガープリントおよび前記複数の期待されるフィンガープリントが複数のサブフィンガープリントを含み、各サブフィンガープリントは前記コンテンツ・ストリームに含まれる所定数のフレームから計算され、前記計算されるフィンガープリントはKを1より大きな整数としてK個のサブフィンガープリントを含む、請求項１に記載の方法。
3. 前記計算されたフィンガープリント、前記別の計算されたフィンガープリントおよび前記複数の期待されるフィンガープリントが複数のサブフィンガープリントを含み、各サブフィンガープリントは前記コンテンツ・ストリームに含まれる所定数のフレームから計算され、前記計算されるフィンガープリントに含まれるサブフィンガープリントはLを1より大きな整数としてLビットを含む、請求項１に記載の方法。
4. 前記別の部分が前記部分に先行するまたは前記部分に先行して重なる、請求項１ないし３のうちいずれか一項に記載の方法。
5. ビット数を決定する前記段階が、前記計算されたフィンガープリントに含まれるサブフィンガープリントのうち前記期待されるフィンガープリント中に一致するサブフィンガープリントをもたないものの数を決定するさらなる段階を含む、請求項１ないし４のうちいずれか一項に記載の方法。
6. ビット数を決定する前記段階が、前記別の計算されたフィンガープリントに含まれるサブフィンガープリントのうち前記別の期待されるフィンガープリント中に一致するサブフィンガープリントをもたないものの数を決定するさらなる段階を含む、請求項１ないし４のうちいずれか一項に記載の方法。
7. ビット数を決定する前記段階が、前記計算されたフィンガープリントと前記期待されるフィンガープリントとの比較から帰結するビット・エラー比率を決定するさらなる段階を含む、請求項１ないし４のうちいずれか一項に記載の方法。
8. ビット数を決定する前記段階が、前記別の計算されたフィンガープリントと前記別の期待されるフィンガープリントとの比較から帰結するビット・エラー比率を決定するさらなる段階を含む、請求項１ないし４のうちいずれか一項に記載の方法。
9. ビット数を決定する前記段階が、前記別の期待されるフィンガープリントまたは前記期待されるフィンガープリントのビット数を決定するさらなる段階を含む、請求項１ないし４のうちいずれか一項に記載の方法。
10. 請求項１に記載の方法であって、各フィンガープリントがK個のサブフィンガープリントを含み、各サブフィンガープリントはLビットを含み、各フレームはN行M列のマトリクスからなり、前記マトリクスは要素の(N×(M−1))個の対を含み、各要素は関連付けられた平均輝度をもち、K、L、N、Mは1より大きい整数であり、各マトリクス中の要素の各対について、前記対の要素の関連付けられた輝度の第一の差が決定されてL個の第一の要素を含む第一の配列に帰結し、LはN×(M−1)に等しく、さらに、二つの連続するフレームについて、該二つの連続するフレームに対応する第一の配列の対応する第一の要素どうしの第二の差が決定されてL個の第二の要素を含む第二の配列に帰結し、各フィンガープリントに含まれるL個のビットのそれぞれは、前記第二の配列中のL個の第二の要素の対応するものの極性符号に依存する、方法。
11. NおよびMの少なくとも一方が、前記第一の配列に含まれる第一の要素のうち少なくとも一つの要素の値に依存して適応される、請求項１０に記載の方法。
12. 前記要素の対の要素が相続く行番号または相続く列番号をもつ、請求項１０または１１に記載の方法。
13. 前記サブフィンガープリントのそれぞれについて、前記第二の配列に含まれるL個の第二の要素の絶対値の和に依存する品質数が決定される、請求項１０ないし１２のうちいずれか一項に記載の方法。
14. ビット数を決定する前記段階が、前記期待されるフィンガープリントに含まれるサブフィンガープリントの品質数を少なくとも決定するさらなる段階を含む、請求項１３に記載の方法。
15. ビット数を決定する前記段階が、前記別の計算されたフィンガープリントに含まれるサブフィンガープリントの品質数を少なくとも決定するさらなる段階を含む、請求項１３に記載の方法。
16. ビット数を決定する前記段階が、前記計算されたフィンガープリントに含まれるサブフィンガープリントの品質数を少なくとも決定するさらなる段階を含む、請求項１３に記載の方法。
17. 請求項１４ないし１６のうちいずれか一項に記載の方法であって、前記さらなる段階がさらに、前記計算されたフィンガープリントに含まれるサブフィンガープリントのビット数Lを決定する段階を含む、方法。
18. 請求項１７記載の方法であって、タイムテーブルが、前記計算されたフィンガープリントについて、少なくとも二つの対応する期待されるフィンガープリントを含んでおり、前記二つの対応する期待されるフィンガープリントが異なるビット数を含む、方法。
19. マルチメディア・システムにおいて受領したコンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトとを同期させる受信機であって：
    ・前記コンテンツ・ストリームの一部分から、Pを1より大きな整数としてPビットを含むフィンガープリントを計算する手段と；
    ・前記フィンガープリントに対応する時間値を決定する手段と；
    ・前記時間値に対応する前記スクリプトの部分と前記コンテンツ・ストリームの前記部分とを同期させる手段とを有し；
    前記スクリプトは、効果コントローラに効果信号として出力されるべき一つまたは複数の感覚効果を表し、当該受信機は、計算されたフィンガープリント、前記計算されたフィンガープリントに対応する期待されるフィンガープリント、前記コンテンツ・ストリームの別の部分から計算された別の計算されたフィンガープリントならびに前記別の計算されたフィンガープリントに対応する別の期待されるフィンガープリントからなる群から選ばれるフィンガープリントのうちの少なくとも一つに依存してPの値を適応させるよう構成された手段をさらに有することを特徴とする、
    受信機。
20. Pの値を適応させる前記手段は、前記計算されたフィンガープリントに含まれるサブフィンガープリントのうち、期待されるフィンガープリント内に一致するサブフィンガープリントをもたないものの数を決定するよう構成される、請求項１９に記載の受信機。
21. Pの値を適応させる前記手段は、前記別の計算されたフィンガープリントに含まれるサブフィンガープリントのうち、前記別の期待されるフィンガープリント内に一致するサブフィンガープリントをもたないものの数を決定するよう構成される、請求項１９に記載の受信機。
22. Pの値を適応させる前記手段は、前記計算されたフィンガープリントと前記期待されるフィンガープリントとの比較から帰結するビット・エラー比率を決定するよう構成される、請求項１９に記載の受信機。
23. Pの値を適応させる前記手段は、前記別の計算されたフィンガープリントと前記別の期待されるフィンガープリントとの比較から帰結するビット・エラー比率を決定するよう構成される、請求項１９に記載の受信機。
24. Pの値を適応させる前記手段は、前記別の期待されるフィンガープリントまたは前記期待されるフィンガープリントのビット数を決定するよう構成される、請求項１９に記載の受信機。
25. Pの値を適応させる前記手段は、前記期待されるフィンガープリントに含まれるサブフィンガープリントの品質数に少なくとも依存してPの値を適応させるよう構成されており、前記品質数は請求項１３に従って決定される、請求項１９に記載の受信機。
26. 請求項１９ないし２５のうちいずれか一項に記載の受信機であって、スクリプトを同期させる前記手段は、光、音、振動、風および臭いの群から選択される一つまたは複数の感覚効果を制御するための出力を与えるよう構成されている、受信機。

Images