JP2015515818A - マルチメディア・ストリームの同期 - Google Patents

Abstract

第１の端末上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末（６）上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させるこの同期方法は、第１のストリームのオリジナルのオーディオ・シーケンスから、オリジナルのオーディオ・フィンガープリントを生成するステップを含み、さらに、ａ）第１のストリームの第１のシーケンス（５２）から第１のオーディオ・フィンガープリントを生成するステップ（５６）と、ｂ）１つ以上の第１の同期位置（Ｐ１）を取得するために、第１のフィンガープリントとオリジナルのフィンガープリントとを比較するステップ（５８）と、ｃ）第２の同期位置（Ｐ２）を取得するために、第１の同期位置（Ｐ１）の周りに位置するオリジナルのシーケンスの１つ以上の部分を第１のシーケンス（５２）と相関させるステップ（６０）と、ｄ）第２の同期位置（Ｐ２）を使用して第２の端末上で第２のストリームをレンダリングするステップと、を含む。【選択図】図３

Description

本発明は、一般的には、複数の異なるマルチメディア・ソースから発せられ、さらに／または、複数の異なるトランスポート・プロトコルを用いて伝送され、少なくとも１つのレンダリング装置上で復元されるマルチメディア・ストリームの処理に関する。

より具体的は、本発明は、このようなマルチメディア・ストリームの同期を取り扱う。その用途は、特に、例えば、個人用端末やＴＶセット上で複数の関連するコンテンツが同時にレンダリングされる、セカンド・スクリーンＴＶの状況にある。

したがって、本発明は、複数のマルチメディア・データ・ストリームを同期させる方法、装置、およびシステムに関する。さらに、本発明は、本発明の方法を実施するコンピュータ・プログラムに関する。

本項に記載されている手法が遂行される場合があるが、その手法は、必ずしも既に考案済のものであったり、遂行済のものであったりするものではない。したがって、本明細書において特記しない限り、本項に記載されている手法は、本出願の請求項に対する先行技術となるものではなく、本項にその記載を含めることによって先行技術として自認するものではない。

ブロードキャストのＩＰネットワークおよびブロードバンドのＩＰネットワークが相補的な性質を有する結果として、各ネットワークの強みによって個人向けのＴＶサービスの提供がてこ入れされ、ハイブリッド配信モデルへの門戸が開かれている。このような配信モデルは、既に、ＴＶランドスケープ内の多数の関係者によって利用されている。消費者機器の製造者は、キャッチアップＴＶ、高機能番組ガイド、さらに、インターネット映像（ビデオ）に対するブロードバンド・アクセス機能を盛り込んだ「接続されたＴＶ（Ｃｏｎｎｅｃｔｅｄ ＴＶｓ）」を提供している。

ＨｂｂＴＶ（ハイブリッド・ブロードキャスト・ブロードバンドＴＶ）やＹｏｕＶｉｅｗなどの先駆けとなる手法により、放送事業者、コンテンツ・プロバイダ、およびインターネット・サービス・プロバイダがまとまって、ハイブリッド・ブロードバンドのサービスに対する標準化された手法を規定することを求めるようになった。ＨｂｂＴＶサービスは、かなり以前、２００９年１２月に発足したものであるが、現在のハイブリッドＴＶのサービス展開は、メディア・コンテンツの配信にインターネットのポテンシャルをまだ完全に利用したものではなく、更なる革新の余地としての大きなポテンシャルが残されている。

人気のある番組の大規模配信のためのブロードキャスト配信、さらに、ロングテールおよびオンデマンドのコンテンツのためのブロードバンド配信を使用することにより、複合した配信モデルが、多数の加入者に対して個人向けの付加価値が付けられたＴＶサービスを提供するのによく適応している。

タブレットやスマートフォンなど、コンパニオン端末は、ＴＶブロードキャストにリンクされた個人向けのコンテンツ消費のための、「ＴＶ ｂｕｄｄｉｅｓ（ＴＶのお供）」として定着してきている。

Ｃ．Ｈｏｗｓｏｎ ｅｔ ａｌ．による文献「Ｓｅｃｏｎｄ Ｓｃｒｅｅｎ ＴＶ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ（セカンド・スクリーンＴＶの同期）」２０１１年、ＩＥＥＥコンシューマ・エレクトロニクス国際会議ＩＣＣＥ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）において、セカンド・スクリーンを使用するケースが想定され、このケースでは、ブロードキャスト番組にリンクされた代替的なオーディオまたはビデオのコンテンツがブロードバンドで搬送され、個人化、さらに、ブロードバンドのネットワーク帯域に対する負荷の軽減が可能となっている。

このようなサービス・オファーの一例は、ＴＶセット上で表示される、ブロードキャスト映像を伴って、ユーザが携帯用デバイス上で自己が所望するオーディオ・サウンド・トラックを選択できるようにするものである。メインのオーディオ・コンテンツおよびビデオ・コンテンツは、ブロードキャスト・ネットワークを介して配信される。その一方で、インターネットを介して、オンデマンドで、幾つかの他の言語を利用可能である。

このようなサービスの別の例は、ユーザがブロードバンドで配信される、スポーツまたは音楽のイベントの代替的なビューを選択し、これを自己のタブレット上で、ＴＶセット上に表示されるブロードキャスト・コンテンツと連動して、レンダリングできるようにするものであろう。

このようなセカンド・スクリーンのサービスのユーザ体験が許容されるものであれば、ブロードバンド・ネットワークおよびブロードキャスト・ネットワークを介して別個に配信されるメディアのコンポーネントは、正確に同期してレンダリングされる必要がある。

既存のハイブリッドＴＶサービスは、インタラクティブなアプリケーションのためのトリガー・メカニズムを確かに採用するものであるが、例えば、インターネットを介して配信される代替的なサウンドトラックがブロードキャスト映像のコンポーネントと自動的に、正確に同期されるようにする技術を組み込んだものではない。

上に挙げた文献は、セカンド・スクリーンの個人向けＴＶのサービス展開のためのシステムを提案している。このシステムは、ブロードバンド・ネットワークおよびブロードキャスト・ネットワークを介して独立して配信される、コンテンツのコンポーネントのレンダリングがユーザのデバイスで同期されるようにするものである。この文献に開示された解決法は、ブロードキャスト・ネットワークを介して配信され、さらに、場合によっては、ブロードバンド・ネットワークを介して配信されることもある、メディアのコンポーネントの各グループに関連付けられた補助的なコンポーネントのタイムラインを追加することに基づいている。このタイムラインのコンポーネントは、各イベントに関連する同期情報を搬送し、複数のメディアのコンポーネントの出力再生を一致させるために使用される。

しかしながら、上述した文献に開示された解決法は、署名、すなわち、タイムラインのコンポーネントがオリジナルのメディア・コンテンツに埋め込まれることを必要とするため、直接的な解決法ではない。

本発明は、状況を改善する解決法を提案する。

したがって、本発明は、第１の端末上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期方法を提供し、この方法は、
第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンスから、オリジナルのオーディオ・フィンガープリントを生成する予備的なステップを含み、さらに、
ａ）第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンスを受信するステップと、
ｂ）第１のシーケンスから第１のオーディオ・フィンガープリントを生成するステップと、
ｃ）オリジナルのシーケンス内の１つ以上の第１の同期位置を取得するために、第１のオーディオ・フィンガープリントとオリジナルのオーディオ・フィンガープリントのブロックとを比較するステップと、
ｄ）オリジナルのシーケンス内の１つの第２の同期位置のみを取得するために、第１の同期位置の周りに位置するオリジナルのシーケンスの１つ以上の部分を第１のシーケンスと相関させるステップと、
ｅ）第２の同期位置を使用して第１のマルチメディア・ストリームと第２のマルチメディア・ストリームとを同期させるステップと、を含む。

フィンガープリンティング技術と相互相関技術を組み合わせて使用することで、本発明の方法は、マルチメディア・ストリームを変更することなく、極めて短時間に複数のメディア・ストリームを正確に同期させることができる。より具体的には、本発明の方法は、第１のマルチメディア・ストリーム内で、レンダリング位置、すなわち、レンダリングの最初からの経過時間を正確に識別できるようにするため、第２の端末は、コンテンツ・サーバから、適切な時点で、第１のストリームと同期した第２のストリームをリクエストすることができる。

フィンガープリントの比較によって良好な一致が得られた場合であっても、フィンガープリンティングは、考慮されているシーケンスの各オーディオ・フレームに対してフィンガープリントが計算されるため、フレーム・オーダーの精度を有する第１の同期位置、すなわち、粗同期位置を提供し、その一方で、相関は、サンプル・オーダーの精度を改善させる、すなわち、第２の同期位置は、第１の同期位置よりも精度が高い。

有益には、相関させるステップは、位相変換技術を用いた一般化相互相関を使用する。

この技術は、ＧＣＣ−ＰＨＡＴとも呼ばれ、例えば、Ｍ．Ｓ．ＢｒａｎｄｓｔｅｉｎおよびＨ．Ｆ．Ｓｉｌｖｅｒｍａｎによる文献「Ａ ｒｏｂｕｓｔ ｍｅｔｈｏｄ ｆｏｒ ｓｐｅｅｃｈ ｓｉｇｎａｌ ｔｉｍｅ−ｄｅｌａｙ ｅｓｔｉｍａｔｉｏｎ ｉｎ ｒｅｖｅｒｂｅｒａｎｔ ｒｏｏｏｍｓ（反響する部屋におけるスピーチ信号時間遅延推定のためのロバストな方法）」１９９７年、ＩＥＥＥ音響音声信号処理国際会議（ＩＣＡＳＳＰ：Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）議事録、３７５〜３７８頁に記載されている。

周波数領域内で一般化相互相関が実行されるこの技術の使用により、ノイズの存在下における同期性能が改善する一方で、演算コストが抑えられる。

有益には、この方法は、第１の期間に、第２の端末によって、第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンスを、上記第１の端末上で上記第１のシーケンスがレンダリングされている間に取り込むステップを含む。

有益には、第１の期間は、５秒未満であり、好ましくは、０．５秒〜３秒の間である。

このような短時間での記録を使用することによって、まず、同期は、極めて短時間に行われる。したがって、大抵の場合、ユーザは、第２の端末上でレンダリング・サービスを受けるために、長時間待機する必要はない。

好ましくは、第１のフィンガープリントとオリジナルのオーディオ・フィンガープリントは、第１のシーケンスのフィンガープリントのペアとオリジナルのシーケンスのフィンガープリントのペアとの間の距離を計算することによって比較される。

例えば、計算される距離は、ユークリッド距離またはハミング距離である。

有益には、この方法は、第２の同期位置がステップｄ）で取得されていない場合に、第１のマルチメディア・ストリームのオーディオ・データの第２のシーケンスを受信するステップをさらに含み、第１のシーケンスの代わりに、第２のシーケンスのみを使用して、または、第１のシーケンスおよび第２のシーケンスを組み合わせたものを使用して、ステップｂ）〜ｄ）が繰り返される。

好ましくは、第２のシーケンスは、第２の期間に第２の端末によって取り込まれる。

第１の実施形態によれば、第２の端末と第１の端末とが同じ端末である。

この場合、例えば、「ピクチャインピクチャ」サービスの場合のように、第１のマルチメディア・ストリームおよび第２のマルチメディア・ストリームの双方が同一の端末上でレンダリングされる。

第２の実施形態によれば、第２の端末と第１の端末とが異なる端末である。

この場合、第１のマルチメディア・ストリームおよび第２のマルチメディア・ストリームが２つの別個の表示装置上でレンダリングされ、音声が第１の端末から第２の端末によって取り込まれ、第１の端末は、レンダリング時間にマスター装置とみなされる。

有益には、この方法は、第２の同期位置を使用して、第２の端末上で第２のマルチメディア・ストリームのレンダリングを行うステップをさらに含む。

本発明は、さらに、第１の端末上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期システムを提供し、この同期システムは、上記第１の端末および上記第２の端末を含み、さらに、
第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンスから、オリジナルのオーディオ・フィンガープリントを生成する第１のプロセッサと、
第１の期間に、第２の端末によって、第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンスを、上記第１の端末上で上記第１のシーケンスがレンダリングされている間に取り込むマイクロフォンと、
第１のオーディオ・シーケンスから第１のオーディオ・フィンガープリントを生成する第２のプロセッサと、
オリジナルのシーケンス内の１つ以上の第１の同期位置を取得するために、第１のオーディオ・フィンガープリントとオリジナルのオーディオ・フィンガープリントのブロックとを比較する比較器と、
オリジナルのシーケンス内の１つの第２の同期位置のみを取得するために、第１の同期位置の周りに位置するオリジナルのシーケンスの１つ以上の部分を第１のシーケンスと相関させる相関器と、
第２の同期位置を使用して第１のマルチメディア・ストリームと第２のマルチメディア・ストリームとを同期させるシンクロナイザと、を含む。

本発明は、さらに、第１の端末上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期装置を提供し、この同期装置は、
第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンスから、オリジナルのオーディオ・フィンガープリントを生成する第１のプロセッサと、
第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンスから第１のオーディオ・フィンガープリントを生成する第２のプロセッサと、
オリジナルのシーケンス内の１つ以上の第１の同期位置を取得するために、第１のオーディオ・フィンガープリントとオリジナルのオーディオ・フィンガープリントのブロックとを比較する比較器と、
オリジナルのシーケンス内の１つの第２の同期位置のみを取得するために、第１の同期位置の周りに位置するオリジナルのシーケンスの１つ以上の部分を第１のシーケンスと相関させる相関器と、
第２の同期位置を使用して第１のマルチメディア・ストリームと第２のマルチメディア・ストリームとを同期させるシンクロナイザと、を含む。

有益には、同期装置は、第２の端末内に含まれる。

例えば、第２の端末を、スマートフォンまたはタブレットとすることができる。

代替的には、同期装置を、ユーザの住居内に位置させ、例えば、セットトップ・ボックス内またはゲートウェイ内に含めてもよい。同期装置を、第１の端末に含めることさえできる。

同期装置を、ユーザの住居から離れた、例えば、ウェブサーバ内に含めてもよい。

したがって、同期装置のコンポーネントは、同一の住居内に組み込まれたものであってもよく、ユーザの住居から離れて位置するものでも、ユーザの住居内に位置するものであってもよい。

代替的に、同期装置のコンポーネントの或る部分がユーザの住居内に位置し、別の部分がユーザの住居から離れて位置していてもよい。

同期処理の或る部分がユーザの住居内に位置する場合には、この部分は、オリジナルのオーディオ・シーケンスに直接アクセス可能であるか、例えば、インターネット接続を介してオリジナルのオーディオ・フィンガープリントにアクセス可能である。

本発明に係る方法は、プログラム可能な装置上で、ソフトウエアで実施されてもよい。本発明に係る方法は、ハードウエアのみで実施されてもよく、ソフトウエアのみで実施されてもよく、ハードウエアとソフトウエアを組み合わせて実施されてもよい。

本発明は、ソフトウエアで実施可能であるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるためのコンピュータ読み取り可能なコードとして実施することができる。担持媒体は、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などのような、記憶媒体を含んでいてもよい。

したがって、本発明は、本発明の方法をコンピュータに実行できるようにさせるコンピュータ実行可能なインストラクションを含む、コンピュータ読み取り可能プログラムを提供する。図３の図表は、このようなコンピュータ・プログラムのための一般的なアルゴリズムの例を示している。

添付図面において、本発明は、限定を意図しない例として示されており、同様の構成要素には、同様の参照符号が付与されている。

本発明に係る同期システムの実施形態の模式図である。 本発明に係る同期装置の実施形態の模式図である。 本発明の実施形態に係る同期方法のステップを示すフローチャートである。 図３の方法のフィンガープリンティングのステップの詳細を示すフローチャートである。 図３の方法のＧＣＣ−ＰＨＡＴ計算のステップの詳細を示す図である。 本発明に係るフィンガープリンティングおよびＧＣＣ−ＰＨＡＴを組み合わせた処理の例を示す図である。 本発明の方法によって取得される正確な同期位置の例を示す図である。

図１を参照すると、本発明の好ましい実施形態に係る同期システム２の模式図が示されている。

同期システム２は、ユーザの住居８に位置する第１の端末４と第２の端末６を含む。第１の端末４は、例えば、ユーザのメイン・ディスプレイを構成するＴＶセットであり、第２の端末６は、例えば、ユーザによるセカンド・スクリーンとして使用されるスマートフォンまたはタブレットである。

第１の端末４に表示されるコンテンツは、ブロードキャスト・ネットワーク１１を介してオリジナルのコンテンツ・サーバ１０から伝送される。このような放送コンテンツ、例えば、ＤＶＢ−ＴまたはＤＶＢ−Ｃのマルチメディア・ストリームを受信するために、第１の端末４は、セットトップ・ボックス１２にリンクされ、セットトップ・ボックス１２は、アンテナ１４にリンクされている。さらに、好ましくは、セットトップ・ボックス１２は、インターネット１６から、または、ユーザの住居８内のホーム・ネットワーク内から、マルチメディア・ストリームを受信可能である。

第１の端末４上で表示されるコンテンツは、リモートまたはローカルのオーディオおよび／またはビデオ・サーバからのストリーミングのような、ローカル・ソースまたはリモート・ソース、ビデオ・ファイル、ＤＶＤ、ブルーレイ・ディスクなどによって提供することもできる。このため、第１の端末４は、さらに、ローカルのコンテンツ・ソース１７、例えば、ＤＶＤおよび／またはブルーレイ・リーダに結合される。

第２の端末６は、オリジナルのコンテンツ・サーバ１０のコンテンツに関連するコンテンツを保存した相補的なコンテンツ・サーバ１８にインターネット・ネットワーク１６を介して接続されている。相補的なサービスに対するアクセスは、例えば、ブロードキャスト・ネットワーク１１から受信されるブロードキャスト・ストリームに埋め込まれた情報により、セットトップ・ボックス１２によって、第２の端末６に対して提供される。

別の実施形態においては、相補的なコンテンツ・サーバ１８の相補的なコンテンツは、第１の端末４上で受信されるブロードキャスト・コンテンツに密接に結びついているため、この相補的なコンテンツ・サーバ１８の相補的なコンテンツには、第２の端末６がユーザによって容易に識別されるウェブサイトからアクセスすることができる。このウェブサイトは、ブロードキャスト・プロバイダのウェブサイトとなることもあれば、オリジナルのコンテンツ・サーバ１０から提供されるメイン・コンテンツを制作したスタジオのウェブサイトとなることもある。

ユーザの住居８のこれらの設備を用いて、ユーザは、オリジナルのコンテンツ・サーバ１０から発せられ、第１の端末４によってレンダリングされることとなる、第１のマルチメディア・ストリームと、例えば、相補的なサーバ１８から発せられ、第２の端末６によってレンダリングされることとなる、第２のマルチメディア・ストリームと、を受信することが可能である。

ユーザは、双方の端末４および６において関連するコンテンツを同時に受信したいと望むであろう。例えば、ユーザは、第１の端末４に表示されるメイン・コンテンツと連動して、スポーツのイベントまたは音楽のイベントの代替的なビューを受信し、これを第２の端末６上でレンダリングしたいと望むであろう。

本発明の同期システム２は、端末４および６上で双方のコンテンツを同時にレンダリングするために、これらのコンテンツの完全な同期を可能にする。

したがって、同期システム２は、第２の端末６に結合されたマイクロフォン２０を含む。このマイクロフォン２０は、第１の端末４上でレンダリングされるオーディオ・コンテンツを記録する機能を有する。

さらに、同期システム２は、ユーザの住居８と、オリジナルのコンテンツ・サーバ１０および相補的なコンテンツ・サーバ１８の双方とに結合された同期装置２２を含む。例示されている実施形態においては、同期装置２２は、ユーザの住居８から離れた位置にある。

代替的には、同期装置２２を、ユーザの住居８内に位置させ、例えば、セットトップ・ボックス１２内または第２の端末６内で実施してもよい。

別の代替的な実施形態においては、同期装置２２の或る部分を、ユーザの住居で実施し、他の部分を、離れた位置で実施してもよい。

さらに、同期システム２は、メモリ２４を含む。

図２に示されているように、同期装置２２は、第１のプロセッサ３０および第２のプロセッサ３２を含む。双方のプロセッサ３０、３２は、従来の適切なフィンガープリンティングのアルゴリズムに従って、オーディオ・シーケンスからオーディオ・フィンガープリントを生成する。プロセッサ３０、３２は、２つの別個のプロセッサでもよいし、１つのユニークなプロセッサであってもよい。

同期装置２２は、さらに、比較器３４を含み、この比較器３４は、オーディオ・フィンガープリントの２つのセットの比較を、双方のセットのフィンガープリントのペア間の距離、例えば、ユークリッド距離またはハミング距離を計算することによって行うことができる。

同期装置２２は、さらに、位相変換を用いた一般化相互相関、ＧＣＣ−ＰＨＡＴとも呼ばれる技術を使用して２つのオーディオ・シーケンスを相互相関することが可能な相関器３６を含む。

同期装置２２は、さらに、同期位置を使用して、相補的なコンテンツ・サーバ１８に対し、同期位置から開始するメディア・コンテンツを第２の端末６に送信することをリクエストすることによって、２つのマルチメディア番組を同期させることが可能なシンクロナイザ３８を含む。

図３および図４のフローチャートは、好ましい実施形態に係る、本発明の同期方法のステップを詳細に示している。

オリジナルのコンテンツ・サーバ１０から伝送される第１のマルチメディア・ストリームが第１の端末４上でレンダリングされている間にこの方法は実施される。

図４に示されている予備的なステップ４０において、同期装置２２の第１のプロセッサ３０は、オリジナルのコンテンツ・サーバ１０から、第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンス４２を復元し、このオリジナルのシーケンス４２から、オリジナルのオーディオ・フィンガープリントのセットを生成する。図６に示されているように、各々の生成されたオリジナルのフィンガープリントＦ_ｉ−１、Ｆ_ｉ、Ｆ_ｉ＋１、Ｆ_＋２は、それぞれ、オリジナルのシーケンス４２のオーディオ・フレームｉ−１、ｉ、ｉ＋１、ｉ＋２に対応している。

この生成のため、第１のプロセッサ３０は、任意の適切な従来のフィンガープリンティングのアルゴリズムを使用する。例えば、Ｊ．Ｈａｉｔｓｍａ ｅｔ Ａｌ．による「高度に堅牢なオーディオ・フィンガープリンティング・システム（Ａ ｈｉｇｈｌｙ ｒｏｂｕｓｔ ａｕｄｉｏ ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ ｓｙｓｔｅｍ）」２００２年、音楽情報検索会議（Ｉｎｔ．Ｓｙｍ． ｏｎ Ｍｕｓｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ （ＩＳＭＩＲ））議事録に記載されたアルゴリズムやＡ．Ｌ−Ｃ．Ｗａｎｇによる「実務に役立つオーディオ検索アルゴリズム（Ａｎ ｉｎｄｕｓｔｒｉａｌ−ｓｔｒｅｎｇｔｈ ａｕｄｉｏ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍ）」２００３年、音楽情報検索会議（Ｉｎｔ．Ｓｙｍ． ｏｎ Ｍｕｓｉｃ Ｉｎｔｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ （ＩＳＭＩＲ））議事録、第１〜４頁に記載されたアルゴリズムなどが挙げられる。

好ましくは、生成されたオリジナルのオーディオ・フィンガープリントは、ステップ４４において、メモリ２４に保存される。

図３に示されているステップ５０において、第２の端末６は、第１の期間に、マイクロフォン２０を使用して第１の端末４でレンダリングされた第１のマルチメディア・ストリームの第１のオーディオ・シーケンス５２を記録する。第２の端末６は、同期サービスがユーザによって明示的にアクティベートされるか、または、この第２の端末６において提供されるアプリケーションによって自動的にアクティベートされるときに、このような記録を開始する。そこで、第２の端末６は、インターネット１６を介して第１のオーディオ・シーケンス５２を同期装置２２に送信する。

ユーザの住居８と同期装置２２との間のインターネット・リンクの帯域幅が十分である場合には、第１のオーディオ・シーケンス５２は、好ましくは、未加工（ｒａｗ）のフォーマットで送信される。しかしながら、配信時間を最適化するために、有益には、後続するフィンガープリンティングの処理の信頼性を保証する品質が維持される限り、第１のオーディオ・シーケンス５２を或る程度圧縮することができる。

第１のオーディオ・シーケンス５２を含むファイルは、例えば、ＨＴＴＰ ＰＯＳＴプロトコルを使用することによって、例えば、同期装置２２にアップロードされる。

第１の期間は、５秒よりも短くなるように選定され、好ましくは、０．５秒と３秒との間である。例えば、第１の期間は、１秒である。

したがって、第１のオーディオ・シーケンス５２は、主に、第１の端末４の周囲の音響環境５４（図４）によって破損したオリジナルのオーディオ・シーケンス４２の部分に対応する。

ステップ５６において、第２のプロセッサ３２は、オリジナルのオーディオ・フィンガープリントを生成するために、第１のプロセッサ３０によって実施されるものと同一のフィンガープリンティングのアルゴリズムを使用して、第１のシーケンス５２から第１のオーディオ・フィンガープリントのブロックを生成する。各々の生成された第１のフィンガープリントＦ’_１、Ｆ’_２、Ｆ’_３（図６）は、第１のシーケンス５２のオーディオ・フレームに対応する。

好ましい実施形態においては、第２の端末６は、この処理の間、同期装置２２からの想定される追加データのリクエストを考慮するために、マイクロフォン２０を使用して第１の端末４からの記録を続ける。

ステップ５８において、比較器３４は、第１のオーディオ・フィンガープリントのブロックとオリジナルのオーディオ・フィンガープリントのセットの各同一のサイズのブロックとを比較する。この比較の間、双方のオーディオ・フィンガープリントのブロック間のマッチング信頼度が評価され、第１の所定の閾値と比較される。

このため、比較器３４は、各ブロックからのフィンガープリントの各ペア間の距離を計算し、２つのブロック内の全てのペアの比較結果を累積することによって類似度の比較を行う。例として、第１のフィンガープリント（Ｆ’_１，Ｆ’_２，Ｆ’_３）のブロックをオリジナルのフィンガープリント（Ｆ_１、Ｆ_２、Ｆ_３）の同一のサイズのブロックと比較するときに、合計距離ｄ（Ｆ’_１，Ｆ_１）＋ｄ（Ｆ’_２，Ｆ_２）＋ｄ（Ｆ’_３，Ｆ_３）が計算される。ここで、ｄ（Ｆ’_１，Ｆ_１）１≦ｉ≦３は、２つのフィンガープリント間のユークリッド・ノルムまたはハミング距離である。

第１のフィンガープリントとオリジナルのフィンガープリントのブロックとの間の最大類似度の尺度である最低限の計算された合計距離が第１の閾値未満である場合には、フィンガープリント・マッチングに信頼性があると宣言され、ユニークな粗同期位置Ｐ１が見つけられる。このケースは、図７の下段の図面によって示されている。

場合によっては、本質的には、記録の第１の期間が極めて短いため、または、オリジナルのストリーム内で類似したコンテンツが繰り返されるため、計算された距離の複数のローカルな最小ポイントが見つけられることがある。この最小ポイントは、第１の閾値未満であるか、第１の閾値を超えるが第２の所定の閾値未満である。このような場合には、低信頼度の複数の粗同期位置Ａ、Ｂ、およびＣが見つけられる（図７の中段の図面）。

初期に検出された粗同期位置Ａ、Ｂ、およびＣのうちのいずれかが正しい同期位置であるかどうかを確認するために、ステップ６０において、相関器３６は、第１のオーディオ・シーケンスと、ステップ５８のフィンガープリンティングによって見つけられた粗同期位置の周りに位置するオリジナルのオーディオ・シーケンスの複数の部分６１（図６および図７）とのＧＣＣ−ＰＨＡＴ相互相関を計算する。これらの相互相関の計算は、周波数領域で行われる。

図５は、ＧＣＣ−ＰＨＡＴ計算の例を例示している。オリジナルのオーディオのシーケンスの部分に対応する時間領域の信号Ｘ（ｔ）、さらに、第１のオーディオ・シーケンスに対応する、距離ｄによって遅延された、歪んだバージョンＹ（ｔ）が与えられると、これらの周波数表現Ｘ（ｆ）およびＹ（ｆ）がそれぞれ、離散フーリエ変換（ＤＦＴ）を使用して計算される。Ｒ_ｘｙ（ｆ）で示したＸ（ｆ）とＹ（ｆ）との相互相関が以下の式によって計算される。

この式において、位相情報のみを保持するために、相互相関がＸ（ｆ）とＹ（ｆ）との積の振幅によって正規化される。

タイムラグｄは、好ましくは、信号Ｘ（ｔ）と信号Ｙ（ｔ）との間のサンプルの数で測定され、そして、Ｒ_ｘｙ（ｆ）の逆離散フーリエ変換（ＩＤＦＴ）である、Ｒ_ｘｙ（ｔ）のピークＰの位置によって規定される。

ステップ６２において、比較器３４は、取得されたピークＰの値と第３の閾値とを比較する。この第３の閾値は、予め規定しておいてもよく、Ｒ_ｘｙ（ｔ）から適応的に計算することができる（すなわち、Ｒ_ｘｙ（ｔ）の分散を考慮する）。

１つのピーク値のみが第３の閾値よりも大きい場合には、オリジナルのオーディオ・シーケンスの第１の部分および対応する部分のマッチング信頼度は、高（ｈｉｇｈ）であるとみなされ、ユニークな正確な同期位置Ｐ２が見つけられる。この位置の精度は、サンプルの精度である。

図７を参照すると、ＧＣＣ−ＰＨＡＴ相互相関（上段の図面）を使用して見つけられる正確な同期位置Ｐ２は、粗同期位置Ａに対応する一方で、粗同期位置Ｂ、Ｃ（中段の図面）は、採用されない。

フィンガープリントは、オーディオ・フレームに基づいて計算されるため、粗同期位置は、フレーム精度を有するが、このフレーム精度は、双方の端末４、６上でのマルチメディア・ストリームのレンダリングの完全な同期には十分でないことがある。

したがって、本発明は、オリジナルのオーディオ・シーケンスと第１のオーディオ・シーケンスとの間の一般化相互相関を行う追加的なステップを実施することによって、大幅に同期精度を改善させるものである。サンプル精度の同期を取得するために、ＧＣＣ−ＰＨＡＴを使用して相関を行うステップは、高い信頼度を有するユニークな粗同期位置Ｐ１がフィンガープリンティングにおいて見つかった場合でも、実施することができる。

比較器３４は、この位置を同期装置３８に提供し、シンクロナイザ３８は、第２の端末６に対する第２のマルチメディア・ストリームの伝送を同期させる。

この同期の処理は、相補的なコンテンツ・サーバ１８に対し、第２の端末６に対する第２のマルチメディア・ストリームの伝送を開始可能な時点を示すことからなる。

同期の処理は、さらに、第２の端末６が既に受信した第２のマルチメディア・ストリームのレンダリングをこの第２の端末６が開始可能な時点に関する情報を第２の端末６に伝送することからなる。

フィンガープリント比較における全てのピーク値が第２の閾値よりも大きい場合（すなわち、フィンガープリンティングが粗同期位置を提供できない場合）、または、相互相関比較における全てのピーク値が第３の閾値よりも小さい場合（すなわち、ＧＣＣ−ＰＨＡＴが信頼性のある同期ポイントを保証するものではない場合）、または、恐らくは、類似のコンテンツがオリジナルのストリーム・データで繰り返されるため、相互相関比較における複数のピーク値が第３の閾値よりも大きい場合、オリジナルのオーディオ・シーケンスの第１の部分と対応する部分との間のマッチング信頼度は、低（ｌｏｗ）とみなされる。この場合、同期装置２２は、ステップ６４において、第２の端末６から、記録されたデータの第２のオーディオ・シーケンスをリクエストする。第２のシーケンスを受信した後、同期装置２２は、第２のシーケンスのみを使用して、または、第１のシーケンスの代わりに第１のシーケンスおよび第２のシーケンスを組み合わせたものを使用して、ステップ５２〜６２を繰り返す。

本発明の好ましい実施形態であると現在考えられるものについて例示、説明したが、当業者であれば、様々な他の改変を行うことが可能であり、本発明の真の範囲を逸脱することなく、均等物によって置き換えることが可能であることが理解できよう。さらに、本明細書中に記載された本発明の中心となる概念を逸脱することなく、本発明の開示内容に対し、特定の状況に適応させるために、多くの改変が施されることがある。さらに、本発明の実施形態は、必ずしも上述した特徴事項の全てを含むものではない。したがって、本発明は、開示した特定の実施形態に限定されることなく、本発明は、付随する請求項の範囲内にある全ての実施形態を包含するように意図されている。

「からなる」、「含む」、「盛り込む」、「包含する」、「である」、および「有する」などの表現は、明細書および関連する請求項を解釈する際に、非排他的に解釈されるべきであり、すなわち、明示的に規定していない他の項目や構成要素もまた、存在するものと解釈されるべきである。単数として言及しているものは複数としても解釈され、複数として言及しているものは、単数としても解釈されるものとする。

当業者であれば、明細書中で開示した様々なパラメータが変更されることがあり、開示した、さらに／または、請求項に記載した様々な実施形態を本発明の範囲を逸脱することなく、組み合わせ可能であることを容易に理解できるであろう。

したがって、上述した説明が別個の端末を使用したセカンド・スクリーンの用途に焦点をおいたものであっても、例えば、１つのスクリーン（画面）のみが存在し、そのスクリーンの一部分がメインのコンテンツを表示し、残りの部分（ピクチャインピクチャ）が第２のコンテンツを表示する場合のような、１つの端末のみを使用するシナリオにも有益に適用させることができる。この場合、同期のために使用される第１のオーディオ・シーケンスは、端末によって受信されるブロードキャスト・コンテンツを復号することによって、または、これを直接端末内のマイクロフォンによって記録することによって取り込まれる。

さらに、同期装置は、ホーム・ゲートウェイ、または、セットトップ・ボックス、または、セカンド・スクリーン端末に組み込むことができる。この場合は、オリジナルのオーディオ・シーケンス、さらに、オプションとして、このオリジナルのオーディオ・シーケンスに関連するフィンガープリントを記憶しておくか、前もって、セットトップ・ボックス、ゲートウェイ、または、セカンド・スクリーン端末に送信しておく必要がある。

さらに、本発明の使用について、ユーザの住居での用途に関して説明したが、本発明は、例えば、空港、鉄道駅、病院などの、公共の建築物でのセカンド・スクリーンの用途に有益に使用することができる。

Claims (15)

1. 第１の端末（４）上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末（６）上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期方法であって、
   第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンス（４２）から、オリジナルのオーディオ・フィンガープリントを生成する（４０）予備的なステップを含み、さらに、
   ａ）前記第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンス（５２）を受信するステップと、
   ｂ）前記第１のシーケンス（５２）から第１のオーディオ・フィンガープリントを生成するステップ（５６）と、
   ｃ）前記オリジナルのシーケンス（４２）内の１つ以上の第１の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）を取得するために、前記第１のオーディオ・フィンガープリントと前記オリジナルのオーディオ・フィンガープリントのブロックとを比較するステップ（５８）と、
   ｄ）前記オリジナルのシーケンス（４２）内の１つの第２の同期位置（Ｐ２）のみを取得するために、前記第１の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）の周りに位置する前記オリジナルのシーケンス（４２）の１つ以上の部分（６１）を前記第１のシーケンス（５２）と相関させるステップ（６０）と、
   ｅ）前記第２の同期位置（Ｐ２）を使用して前記第１のマルチメディア・ストリームと前記第２のマルチメディア・ストリームとを同期させるステップと、
   を含む、前記同期方法。
2. 前記相関させるステップ（６０）は、位相変換技術を用いた一般化相互相関を使用する、請求項１に記載の方法。
3. 前記一般化相互相関は、前記周波数領域内で行われる、請求項２に記載の方法。
4. 第１の期間に、前記第２の端末（６）によって、前記第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンス（５２）を、前記第１の端末（４）上で前記第１のシーケンス（５２）がレンダリングされている間に取り込むステップ（５０）を含む、請求項１〜３のいずれか１項に記載の方法。
5. 前記第１の期間は、５秒未満であり、好ましくは、０．５秒〜３秒の間である、請求項４に記載の方法。
6. 前記第１のフィンガープリントと前記オリジナルのオーディオ・フィンガープリントは、前記第１のシーケンス（５２）のフィンガープリントのペアと前記オリジナルのシーケンス（４２）のフィンガープリントのペアとの間の距離を計算することによって比較される、請求項１〜５のいずれか１項に記載の方法。
7. 第２の同期位置がステップｄ）で取得されていない場合に、前記第１のマルチメディア・ストリームのオーディオ・データの第２のシーケンスを受信するステップをさらに含み、前記第１のシーケンス（５２）の代わりに、前記第２のシーケンスのみを使用して、または、前記第１のシーケンスおよび前記第２のシーケンスを組み合わせたものを使用して、前記ステップｂ）〜ｄ）が繰り返される、請求項１〜６のいずれか１項に記載の方法。
8. 前記第２の端末と前記第１の端末とが同じ端末である、請求項１〜７のいずれか１項に記載の方法。
9. 前記第２の端末（６）と前記第１の端末（４）とが異なる端末である、請求項１〜７のいずれか１項に記載の方法。
10. 前記第２の同期位置（Ｐ２）を使用して、前記第２の端末（６）上で前記第２のマルチメディア・ストリームのレンダリングを行うステップをさらに含む、請求項１〜９のいずれか１項に記載の方法。
11. 第１の端末（４）上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末（６）上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期システム（２）であって、
    前記第１の端末（４）および前記第２の端末（６）を含み、さらに、
    第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンス（４２）から、オリジナルのオーディオ・フィンガープリントを生成する第１のプロセッサ（３０）と、
    前記第１の期間に、前記第２の端末（６）によって、前記第１のマルチメディア・ストリームのオーディオ・データの前記第１のシーケンス（５２）を、前記第１の端末（４）上で前記第１のシーケンス（５２）がレンダリングされている間に取り込むマイクロフォン（２０）と、
    前記第１のオーディオ・シーケンス（５２）から第１のオーディオ・フィンガープリントを生成する第２のプロセッサ（３２）と、
    前記オリジナルのシーケンス（４２）内の１つ以上の第１の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）を取得するために、前記第１のオーディオ・フィンガープリントと前記オリジナルのオーディオ・フィンガープリントのブロックとを比較する比較器（３４）と、
    前記オリジナルのシーケンス（４２）内の１つの第２の同期位置（Ｐ２）のみを取得するために、前記第１の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）の周りに位置する前記オリジナルのシーケンス（４２）の１つ以上の部分（６１）を第１のシーケンス（５２）と相関させる相関器（３６）と、
    前記第２の同期位置（Ｐ２）を使用して前記第１のマルチメディア・ストリームと前記第２のマルチメディア・ストリームとを同期させるシンクロナイザ（３８）と、を含む、前記同期システム（２）。
12. 第１の端末（４）上でレンダリングするように意図された第１のマルチメディア・ストリームと第２の端末（６）上でレンダリングするように意図された第２のマルチメディア・ストリームとを同期させる同期装置（２２）であって、
    第１のマルチメディア・ストリームのオリジナルのオーディオ・シーケンス（４２）から、オリジナルのオーディオ・フィンガープリントを生成する第１のプロセッサ（３０）と、
    前記第１のマルチメディア・ストリームのオーディオ・データの第１のシーケンス（５２）から第１のオーディオ・フィンガープリントを生成する第２のプロセッサ（３２）と、
    前記オリジナルのシーケンス（４２）内の１つ以上の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）を取得するために、前記第１のオーディオ・フィンガープリントと前記オリジナルのオーディオ・フィンガープリントのブロックとを比較する比較器（３４）と、
    前記オリジナルのシーケンス（４２）内の１つの第２の同期位置（Ｐ２）のみを取得するために、前記第１の同期位置（Ｐ１；Ａ、Ｂ、Ｃ）の周りに位置する前記オリジナルのシーケンス（４２）の１つ以上の部分（６１）を第１のシーケンス（５２）と相関させる相関器（３６）と、
    前記第２の同期位置（Ｐ２）を使用して前記第１のマルチメディア・ストリームと前記第２のマルチメディア・ストリームとを同期させるシンクロナイザ（３８）と、を含む、前記同期装置（２２）。
13. 前記同期装置（２２）が前記第２の端末（６）内に含まれる、請求項１２に記載の同期装置（２２）。
14. 前記同期装置（２２）がセットトップ・ボックス（１２）内またはゲートウェイ内に含まれる、請求項１２または１３に記載の同期装置（２２）。
15. 請求項１〜１０のいずれか１項に記載の方法をコンピュータに実行できるようにさせるコンピュータ実行可能なインストラクションを含むコンピュータ読み取り可能なプログラム。

Images