JP2007502579A - 異種コンピューティングプラットフォームにおける分散音声・ビデオキャプチャのための汎用適応同期方式 - Google Patents

Abstract

本発明の一実施形態によれば、新規な装置が開示される。本装置は、事前定義された同期信号と受信側クロックとを受け取るアナログ・デジタル変換器（４０６）と、アナログ・デジタル変換器に結合され、アナログ・デジタル変換器の出力を受け取り、連続的に現遅延推定値及びスキュー推定値を推定し信号を同期させるように適応させる補間モジュール（４０８）と、を有する。

Description

本発明は、包括的には、分散マルチメディア同期化の分野に関する。詳細には、本発明の一実施形態は、異種コンピューティングプラットフォームにおける分散音声・ビデオキャプチャのための汎用適応同期方式に関する。

本明細書には、著作権保護を受ける内容が含まれている。著作権所有者は、米国特許商標庁の特許ファイル又は記録にある通りの特許開示内容の何人によるファクシミリ複製にも異存はないが、それ以外の場合は著作権のいかなる権利もそのすべてを保有するものである。

計算能力を追加する一手法は、分散コンピュータ環境を利用することであった。この手法により、いくつかのコンピュータが、短縮された時間内に計算タスクを協働して実行することができる。一般に、かかる並列コンピューティング手法によって提供される分割統治法により、計算集約的なタスクを実行するために高性能のサーバベースのコンピュータシステムを購入するのではなく、使用可能なパーソナルコンピュータを利用することができる。

しかしながら、分散コンピューティングは、一般に、純粋な計算タスクを実行することに適用され、信号、特に音声／ビデオ信号（及びデータストリーム）の同期したキャプチャ及び／又は処理には適用されなかった。音声／ビデオ信号（及びデータストリーム）の信号処理は、一般に、サンプリングレートの非常にわずかな差（たとえばクロックスキュー）、ジッタの非常にわずかな差及び遅延の非常にわずかな差に対してさえも非常に影響を受けやすい。したがって、正確な同期化は、高品質入出力処理にとって、且つリアルタイム性能及び一般には頑強性及び信頼性問題にとって非常に重大である。しかしながら、現行のプラットフォームでは、正確なキャプチャ及び同期した入力は保証されていない。

たとえば、同じパーソナルコンピュータ（ＰＣ）プラットフォームにおいて、ビデオカメラ（複数可）及びマイクロフォン（複数可）から音声情報及び映像情報をキャプチャするためにいくつかの入出力（Ｉ／Ｏ）デバイスが使用される場合に、問題が起こる可能性がある。異なるＩ／Ｏデバイスが別々の発振器によってトリガされることになるという事実のために、結果として得られる音声サンプル及びビデオフレームが絶対時間軸上に位置合せされない（そのため幾分かの相対的なオフセットがもたらされる）ことになる。さらに、発振器の周波数の差により、音声データ及び／又は映像データが、時間の経過により複数のチャネル／ストリームにわたってドリフトする。発振器の周波数が不安定であることはまた、互いの間で完全には相関しない。

同様に、複数のＰＣプラットフォームの場合、音声及び映像Ｉ／Ｏデバイスは時間尺度において同期しなくなり、幾分かの相対的なオフセットがもたらされ、データサンプルが互いに対してドリフトする。既存のプラットフォームにおける相対的なオフセット、ドリフト及びジッタの大きさは、多くのハードウェアパラメータ及びソフトウェアパラメータによって決まり、非常に著しい場合があり、処理信号が（非同期入力ストリームから）全体的に劣化する場合がある。かかるドリフト、遅延及びジッタにより、たとえばアレイ信号処理アルゴリズムの性能が大幅に劣化する可能性がある。

たとえば、マイクロフォンの間に１０ｃｍの間隔がある音響ビームフォーマでは、わずか０．０１％の時間の誤差により、ビーム方向において２０度の誤差がもたらされる可能性がある。この事実により、音声アレイプロセスアルゴリズムの現行の実施態様は、複数のＩ／Ｏチャネルを同期させる専用回路に依存することがある。不都合なことに、既存のＰＣプラットフォームを用いてかかる手法を実施するには、ＰＣプラットフォームが利用する現行のハードウェアの大規模なオーバーホールが必要である。したがって、上述した既存の技術における限界の１つ又は複数を克服する必要がある。

本発明を、同様の参照記号が同様の又は同一の要素を示す添付図面の図において、限定としてではなく例として示す。

本発明の以下の詳細な説明において、本発明が完全に理解されるために多数の特定の詳細を示す。しかしながら、当業者には、本発明をこれらの特定の詳細なしに実施してもよい、ということが理解されよう。場合によっては、本発明が不明確にならないために、既知の構造及びデバイスについては、詳細にではなくブロック図形態で示す。

明細書において「１つの実施形態」又は「一実施形態」と言及する場合、その実施形態に関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書中のさまざまな箇所で「一実施形態において」という句が現れるが、それは必ずしも全て同じ実施形態を指しているとは限らない。

本明細書では、以下のクロック関連の定義を使用する。
・「安定性」は、クロックがいかに一定の周波数を維持することができるかを示す。
・「正確度」は、クロックの時間がいかに国家標準に合うかを示す。
・「精度」は、クロックの内部分解能を指定する。
・「オフセット」は、２つのクロック間の時間差を指定する。
・「スキュー」は、２つのクロック間の周波数の差を特徴付け、周波数の比として定義される。
・「２つのクロックを同期させる」とは、周波数及び時間に関して２つのクロックを調和させる（すなわち、オフセットをゼロに修正しスキューを１に等しくする）プロセスを示す。

また、本明細書において「汎用コンピュータ」（ＧＰＣ）という用語を使用する時、それは、分散音声／映像システムの一部であり得るラップトップ、ＰＤＡ、タブレットＰＣ、携帯電話及び同様のデバイスを示すことが意図されている。

図１は、本発明の一実施形態を実施してもよいコンピュータシステム１００の例示的なブロック図を示す。コンピュータシステム１００は、バス１０５に結合された中央処理装置（ＣＰＵ）１０２を含む。一実施形態では、ＣＰＵ１０２は、カリフォルニア州サンタクララのインテル・コーポレーション（Intel Corporation）が販売しているＰｅｎｔｉｕｍ（登録商標）ＩＩプロセッサファミリ、Ｐｅｎｔｉｕｍ（登録商標）ＩＩＩプロセッサ、Ｐｅｎｔｉｕｍ（登録商標）ＩＶプロセッサを含むＰｅｎｔｉｕｍ（登録商標）プロセッサファミリのプロセッサである。別法として、インテルのＸＳｃａｌｅプロセッサ、インテルのＰｅｎｔｉｕｍ Ｍプロセッサ、英国ケンブリッジのARM Ltd.から販売されているＡＲＭプロセッサ、又はテキサス州ダラスのTexas Ins（登録商標）truments, Inc.から販売されているＯＭＡＰプロセッサ（拡張ＡＲＭベースプロセッサ）等、他のＣＰＵを使用してもよい。

バス１０５にはチップセット１０７も結合されている。チップセット１０７は、メモリ制御ハブ（ＭＣＨ）１１０を含む。ＭＣＨ１１０は、メインシステムメモリ１１５に結合されたメモリコントローラ１１２を含んでもよい。メインシステムメモリ１１５は、ＣＰＵ１０２又はシステム１００に含まれる他の任意のデバイスが実行するデータ及び命令シーケンスを格納する。一実施形態では、メインシステムメモリ１１５は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含むが、メインシステムメモリ１１５を他のメモリタイプを使用して実施してもよい。複数のＣＰＵ及び／又は複数のシステムメモリ等、追加のデバイスをバス１０５に結合してもよい。

ＭＣＨ１１０はまた、グラフィックスアクセラレータ１３０に結合されたグラフィックスインタフェース１１３を含んでもよい。一実施形態では、グラフィックスインタフェース１１３は、カリフォルニア州サンタクララのインテル・コーポレーションによって開発されたアクセラレーテッドグラフィックスポート（accelerated graphics port）（ＡＧＰ）仕様改訂２．０インタフェースに従って動作するＡＧＰを介してグラフィックスアクセラレータ１３０に結合される。本発明の一実施形態では、グラフィックスインタフェース１１３には、たとえば信号変換器を介してフラットパネルディスプレイを結合してもよく、信号変換器は、ビデオメモリ又はシステムメモリ等の記憶デバイスに格納された画像のデジタル表現を、フラットパネルスクリーンによって解釈され表示される表示信号に変換する。表示デバイスによって生成される表示信号が、フラットパネルディスプレイモニタによって解釈され後に表示される前にさまざまな制御デバイスを通過してもよい、ということが考えられる。表示デバイスは、液晶ディスプレイ（ＬＣＤ）、フラットパネルディスプレイ、プラズマスクリーン、薄膜トランジスタ（ＴＦＴ）ディスプレイ等であってもよい。

さらに、ハブインタフェースは、ＭＣＨ１１０を、ハブインタフェースを介して入出力制御ハブ（ＩＣＨ）１４０に結合する。ＩＣＨ１４０は、コンピュータシステム１００内の入出力（Ｉ／Ｏ）デバイスに対するインタフェースを提供する。本発明の一実施形態では、ＩＣＨ１４０を、オレゴン州ポートランドの周辺コンポーネント相互接続（Peripheral Component Interconnect）（ＰＣＩ）特別利益団体（ＳＩＧ）によって開発された仕様改訂２．１バスに従うＰＣＩバスに結合してもよい。このように、ＩＣＨ１４０は、バス１４２に対するインタフェースを提供するバスブリッジ１４６を含む。本発明の一実施形態では、バス１４２はＰＣＩバスである。さらに、バスブリッジ１４６は、ＣＰＵ１０２と周辺デバイスとの間のデータパスを提供する。

バス１４２は、Ｉ／Ｏデバイス２００（図２を参照してさらに論考する）と、ディスクドライブ１５５とを含む。しかしながら、当業者は、ＰＣＩバス１４２に他のデバイスを結合してもよい、ということを理解するであろう。さらに、当業者は、ＣＰＵ１０２及びＭＣＨ１１０を結合して単一チップを形成してもよい、ということを認識するであろう。さらに、他の実施形態では、ＭＣＨ１１０内にグラフィックスアクセラレータ１３０を含めてもよい。

さらに、本発明のさまざまな実施形態では、ＩＣＨ１４０に他の周辺デバイスを結合してもよい。たとえば、かかる周辺デバイスには、統合ドライブエレクトロニクス（ＩＤＥ）又は小型コンピュータシステムインタフェース（ＳＣＳＩ）ハードドライブ（複数可）、ユニバーサルシリアルバル（ＵＳＢ）ポート（複数可）、キーボード、マウス、パラレルポート（複数可）、シリアルポート（複数可）、フロッピー（登録商標）ディスクドライブ（複数可）、デジタル出力サポート（たとえば、デジタルビデオインタフェース（ＤＶＩ））等が含まれてもよい。さらに、コンピュータシステム１００は、動作するために以下のソースのうちの１つ又は複数から電力を受け取ることが考えられる。すなわち、電源（バッテリ、燃料電池等）、交流（ＡＣ）コンセント（たとえば変圧器及び／又はアダプタを介する）、自動車電源、航空機電源等である。

図２は、図１に示すようなコンピュータシステム１００のＩ／Ｏデバイス２００をさらに示す。図示するように、コンピュータシステム１００は、モニタ等の表示デバイス２１２を含んでもよい。表示デバイス２１２は、フレームバッファ等の中間デバイスを含んでもよい。コンピュータデバイス１００はまた、キーボード等の入力デバイス２１０と、マウス、トラックボール又はトラックパッド等のカーソル制御部２０８とを含む。表示デバイス２１２、入力デバイス２１０及びカーソル制御部２０８は、バス１４２に結合される。コンピュータシステム１００は、ローカルエリアネットワーク（ＬＡＮ）又はたとえばインターネット等の広域ネットワーク（ＷＡＮ）の一部として接続され得るようにネットワークコネクタ２０６を含んでもよい。

さらに、コンピュータシステム１００を、発話認識のために音声入力を記録するか又は音全般を記録するマイクロフォンに結合された音声デジタル化デバイス等の録音及び再生のためのデバイス２３０に結合することも可能である。コンピュータシステム１００のＩ／Ｏデバイス２００はまた、ビデオ画像のみをキャプチャするため又は録音デバイス２３０と協働してビデオ画像に関連する音声情報をキャプチャするために使用することができるビデオデジタル化デバイス２２０を含んでもよい。さらに、入力デバイス２００はまた、ハードコピーデバイス２０４（プリンタ等）及びＣＤ−ＲＯＭデバイス２０２を含んでもよい。入力デバイス２００（２０２〜２１２）もまた、バス１４２に結合される。

したがって、図１に示すようなコンピュータシステム１００を利用して、たとえば選択されたシーン、環境等からの音声データ及び／又はビデオデータを含むマルチメディアデータをキャプチャすることができる。現在、多くの人は、たとえば、コンピュータシステム１００のポート（図示せず）、たとえばＵＳＢポート又はファイヤワイヤポート（ＩＥＥＥ１３９４）等に結合されたカメラを通して、ライブ音声／ビデオデータ（マルチメディアシーンデータ）をキャプチャするために、図１に示すようなパーソナルコンピュータ（ＰＣ）を利用する。そして、このデータは、限定されないがＭｉｃｒｏｓｏｆｔ（登録商標）アドバンスドストリーミングフォーマット（ＡＳＦ）ファイル、モーションピクチャエキスパートグループ（ＭＰＥＧ）−１／２／４等のＭＰＥＧ規格、並びにオーディオレイヤ３（ＭＰ３）ファイル、リアルオーディオ（Real Audio）Ｇ２ファイル、ＱＤｅｓｉｇｎ２ファイル等を含むストリーミングメディアフォーマット（マルチメディアストリームデータ）として提供される。

本発明の一実施形態では、コンピュータシステム１００は、マイクロフォン等の音声キャプチャ装置を利用して、キャプチャされたマルチメディアシーンデータに関連する音声情報をキャプチャしてもよい。したがって、個人がたとえばライブ音声／ビデオデータをキャプチャするために自身のパーソナルコンピュータを利用しようとする際、一般に、音声／ビデオデータは、１つ又は複数のデータキャプチャ装置を利用して最も有効にキャプチャされるということが認識される。

図１及び図２を参照すると、Ｉ／Ｏデバイス（ＡＧＰディスプレイアダプタを除く）は、一般に、専用バス又は共有バスを介してＩＣＨ（Ｉ／Ｏハブ）に接続される。ＰＣＩバスは、さまざまな音声、ビデオ及びネットワーキングデバイスをＩＣＨに接続する方法であり得る。これらのデバイスは、通常、自身の水晶発振器と、互いに且つＣＰＵクロックと同期しないクロックとを有する。これは、たとえば、音声サンプル及びビデオサンプルが別々のＩ／Ｏカードを使用してキャプチャされる場合、時間が経過するに従いそれらが同期しなくなる可能性があることを意味する。

不都合なことに、データのブロックがＩ／Ｏデバイス、メインメモリ及びＣＰＵ間で移動するのにかかる時間は可変であり、ＣＰＵ負荷、キャッシュ状態、バスを共有する他のＩ／Ｏデバイスの使用率及びオペレーティングシステム挙動のような多くの要因によって決まる。したがって、データを処理するアプリケーションは、データがＩ／Ｏデバイスに入るか又はＩ／Ｏデバイスから出る時を正確に知ることができない。伝播遅延は、上述した条件に応じてナノ秒からミリ秒までに及ぶ可能性がある。

既存のアプリケーションでは、複数のビデオストリーム及び音声ストリームは、通常、マルチチャネルアナログ・デジタル（Ａ／Ｄ）又は音声／ビデオ（Ａ／Ｖ）キャプチャカード等の単一Ｉ／Ｏデバイスを使用してキャプチャされる。単一ＰＣプラットフォームにおいてさえも複数のＩ／Ｏデバイスを同時に使用するためには特別な方法が必要である。

別々のプラットフォームにおけるＩ／Ｏデバイスの同期化が望まれる場合、状況はより複雑になる。その場合、Ｉ／Ｏ・ＣＰＵレイテンシに加えて、ネットワーク接続によりさらなる遅延がもたらされ、この遅延は、既存の有線及び無線イーサネット（登録商標）で使用されるメディアアクセスプロトコルがベストエフォート（したがって可変伝送遅延）タイプであるために可変である。

図３は、本発明の一実施形態を実施するために利用してもよい例示的な同期分散マルチメディアデータキャプチャシステム３００を示す。図３に示すように、データキャプチャシステム３００は、複数のマルチメディアプラットフォーム（３０２及び３０４）を含んでもよい。しかしながら、図３は、限定的な意味で解釈されるべきではなく、本発明の一実施形態を例示するために提供される。

マルチメディアプラットフォーム３０２及びマルチメディアプラットフォーム３０４を、図１に示すようなコンピュータシステム１００を利用して提供してもよい。図示するように、マルチメディアプラットフォーム３０２は、マイクロフォン３１０と共にビデオキャプチャ装置３０８を含んでもよい複数のＩ／Ｏカード３０６を含む。各音声／ビデオカードは、同期信号発生器３１６によって生成されるマルチメディア同期信号３１４を受け取るために使用される有線リンク入力３１２を含んでもよい。

本発明の一実施形態では、同期信号発生器３１６は、図１に示すようなコンピュータシステム１００等のコンピュータシステムを利用して構成される。同期信号発生器３１６は、同期信号３１４を生成してもよい。本発明の一実施形態では、同期信号３１４を、音声同期信号を形成するように、一般に白色雑音から構成されるＭ系列（maximum length sequence）（ＭＬＳ）信号として選択する。系列数をＭＬＳ信号上に変調してもよい。しかしながら、代替実施形態では、望ましい場合は特定の実施態様に基づいて異なるマルチメディア同期信号を選択してもよい。

同期信号３１４を、たとえば有線リンクを介してマルチメディアプラットフォーム３０２に提供してもよく、且つ／又は送信器３１８及び受信器３２０を介して無線によりマルチメディアプラットフォーム３０４に送信してもよい。無線送信器３１８及び受信器３２０の一例は、無線周波数（ＲＦ）ベースの送信器及び受信器である。本発明の一実施形態では、単一のマルチメディア同期信号が生成され、それが、有線リンク又は無線リンクを介してマルチメディアプラットフォームの各々に送信される。したがって、マルチメディアプラットフォーム３０４は、ビデオキャプチャ装置３２６及び音声キャプチャ装置３２４とのＩ／Ｏカード３２２を含む。

さらに、マルチメディアプラットフォーム３０４は、マルチメディアプラットフォーム３０２とは対照的に、受信マルチメディア同期信号をキャプチャするために使用してもよい無線受信器（Ｒｘ）３２０を含んでもよい。本発明の一実施形態では、送信器３１８は、マルチメディア信号（たとえば音声信号）上に同期信号３１４を変調し、その後そのマルチメディア信号は何らかの無線搬送波信号上に変調され、受信器３２０は、プラットフォーム３０４が使用するマルチメディア変調同期信号を生成するために受信信号を復調する。その後、マルチメディア変調同期信号（すなわち、マルチメディア信号上に変調された同期信号）は、キャプチャされた音声／映像シーンデータ３２８の同期化を可能にするためにビデオキャプチャ装置（複数可）及び／又は音声キャプチャ装置（複数可）に提供される。本発明の一実施形態では、たとえばU.S. Robotics社のＳｏｕｎｄ Ｌｉｎｋ Ｓｏｌｕｔｉｏｎを介した無線音声伝送を使用することにより、同期信号の無線伝送を提供してもよい。

本発明の一実施形態によれば、音声同期信号をマルチメディア同期信号として生成する。本発明の一実施形態では、同期信号発生器３１６は、特殊な同期信号を生成し、自身のクロック情報を使用してそれらを変調する。同期信号は、専用同期音声チャネルに対する有線メカニズム（３０２の場合）又は無線メカニズム（３０４の場合）を使用して音声入力デバイスに配信される。その結果、同期情報は、音声／ビデオストリームに別個の音声トラックとして埋め込まれることになり、アプリケーション層が処理するために使用することができる。

本発明の一実施形態によれば、生成されたマルチメディアストリームデータ内に誤りが確定されると、各マルチメディアプラットフォーム（たとえば３０２又は３０４）は、たとえば、各マルチメディアプラットフォームの各Ｉ／Ｏカードによって生成されたマルチメディアストリームデータを同期させるために、生成されたマルチメディアストリームデータを再サンプリングすることに関与する。したがって、生成されたマルチメディアストリームデータがすべて同期すると、キャプチャされたストリームデータを、アレイ信号処理コンピュータ（図示せず）に提供することができる。そして、アレイ信号処理コンピュータは、同期したマルチメディアストリームデータを利用して、たとえば、ビーム形成、ブラインド信号分離（ＢＳＳ）、マルチモーダル認識等を実行してもよい。同様に、本発明の実施形態を、複数の入力チャネルを含んでもよい、たとえばカムコーダ、ビデオキャプチャ装置等を使用して、マルチメディアデータキャプチャシステム３００内で実行してもよい。

図４Ａは、本発明の一実施形態による例示的な適応フィルタリングシステム４００を示す。本発明の一実施形態では、システム４００は、帯域制限信号補間を利用して、連続的に現遅延推定値及びスキュー推定値を推定し且つ複数のデバイスから収集された音声／映像信号を同期させるように適応させることによって動作する。本発明の一実施形態では、図４Ａのシステム４００を、コンピュータシステム（図１のコンピュータシステム１００）、デジタル信号プロセッサ（ＤＳＰ）、コーダ・デコーダ（コーデック）モジュール、ＣＰＵ等に組み込んでもよい。

システム４００は、送信側（クロックマスタ）からのソース同期信号ｘ（ｎ）とソースクロックＴ_ｓとを受け取るデジタル・アナログ（Ｄ／Ａ）変換器４０２を含む。デジタル・アナログ変換器４０２を送信側に設けてもよい。ソース同期信号は、音声信号又はビデオ信号等のマルチメディア信号であってもよい。そして、Ｄ／Ａ変換器４０２は、その出力をチャネルフィルタ４０４に提供する。チャネルフィルタ４０４は、送信側と受信側とを結合する信号伝送環境又は媒体（たとえば銅線、ＲＦ媒体、周波数変調（ＦＭ）媒体、他の無線媒体等）の特徴を例示するということが考えられる。

システム４００は、チャネルフィルタ４０４を通して伝送された信号をデジタル形式に変換するアナログ・デジタル（Ａ／Ｄ）変換器４０６（たとえば受信側）をさらに含む。Ａ／Ｄ変換器４０６はさらに、チャネルフィルタ４０４を通して伝送された信号をサンプリングするために受信側クロックＴ’_ｓを受け取る。本発明の一実施形態では、ソースクロックは、Ｄ／Ａ変換器４０２の実際のサンプルレートに使用してもよく、同期信号ｘ（ｎ）は、マスタＤ／Ａ変換器４０２とクライアントＡ／Ｄ変換器（複数可）４０６との間のサンプルレートの差を確定するために使用される信号である。本発明の一実施形態では、ソースクロックＴ_ｓ及び受信側クロックＴ’_ｓを、ＤＳＰ、コーデックモジュール、ＣＰＵ等のデバイスによって提供する。

図４Ａに示すように、Ａ／Ｄ変換器４０６は、帯域制限補間モジュール４０８に結合され、帯域制限補間モジュール４０８は、ソース同期信号ｘ（ｎ）とＡ／Ｄ変換器４０６の再サンプリングされた出力との間の何らかのコスト関数を最大化することによって駆動され、システム４００の出力信号（y＾(t)）を生成し且つスキュー（デルタ＿ｆ）値及びオフセット（デルタ＿ｔ）値を確定する。本発明の一実施形態では、４０６と同じクロックで駆動される何からのＡ／Ｄ変換器によってキャプチャされたすべてのマルチメディア信号は、それに従って再サンプリングされる。

同期信号の正確な形式は、領域知識であってもよく、そのため送信側とともにすべての受信側において既知である。サンプリングレートがＦ’_ｓ＝１／Ｔ’_ｓである受信側の実際に記録された信号ｙ（ｎＴ’_ｓ）と、サンプリングレートがＦ_ｓ＝１／Ｔ_ｓで動作しているソース信号ｘ（ｎＴ_ｓ）との間の時間遅延及びサンプリングスキューの推定は、図４Ａに示す適応フィルタリング手法に基づく。送信側において、同期信号ｘ（ｎＴ_ｓ）が、サンプリングレートＦ_ｓのＤ／Ａ変換器４０２を通して送出される。この信号は、Ｄ／Ａ変換器、送信チャネル（たとえば無線チャネル）及び最後に受信側におけるサンプルレートＦ’_ｓのＡ／Ｄ変換器によって形成されるフィルタを通過するものと想定される。

そして、離散時間信号の帯域制限補間に基づく適応フィルタ（４０８）を使用して、オフセットΔｔ及びスキューΔＦ＝Ｔ’_ｓ／Ｔ’’_ｓを推定する。推定されたオフセットΔｔ及びサンプリング周期Ｔ’’_ｓである帯域制限補間信号y＾(t)は、以下によって与えられる。

ここで、

である。

本発明の一実施形態では、簡潔にするために、この公式化において実施態様で使用される窓関数（たとえばカイザー（Kaiser）窓）を省略する。サイズｗの時間窓にわたる性能基準としての内積が与えられると、最適化基準は

となる。ここで、ｔはｔ＝ｎＴ’’_ｓ＋Δｔで評価される。本発明の一実施形態によれば最適化のために勾配降下法を適用してもよい。

図４Ａの適応時間遅延及びサンプリングスキュー推定器は、わずかな時間遅延及びわずかなサンプリングスキューを追跡することができるが、本発明の一実施形態では、それを、時間遅延Δｔ及びサンプリングスキューファクタΔＦ＝Ｔ’_ｓ／Ｔ’’_ｓに対する概算によって初期化してもよい。

本発明の一実施形態では、ＭＬＳ時間オフセット推定の精度を向上させるために、ＭＬＳシンボル毎に２つ以上の音声サンプルを利用してもよい。したがって、ＭＬＳ自己相関関数のメインローブ毎に３つ以上のサンプルがあることになり、自己相関ピークの位置を見つける精度が向上する。この位置を、自己相関メインローブに対応する曲線（又はその近似値）を、最高値を有するサンプルに当てはめることによって見つけてもよい。

本発明の一実施形態では、「スキューの自律的推定（Autonomous Estimation of Skew）」（自己監視／自己検知）に基づいて適応フィルタ手法のスキュー推定値を初期化する新規な方法について開示する。ＭＬＳベースのスキュー推定の代りとして（又はそれに加えて）、測定期間毎に観測されるサンプルの数を計数するダミー音声キャプチャプロセスを実行することにより個々の音声クロックを較正するために、ネットワーキングサービスを利用してもよい。本発明の一実施形態では、現行のプラットフォームが妥当な長期サンプリングクロック安定性を有し、ネットワークタイムプロトコル（ＮＴＰ）が、１日当りのクロック誤差（ＣＥＰＤ）が数百ミリ秒であるシステムクロックを提供しているものと推定する。ここで、
Ｔ：観測期間（秒）
ΔＴ：観測間隔における不確実性（秒）
ｆ^{ｔａｒｇｅｔ}：目標サンプリングレート（ヘルツ）
ｆ^{ａｃｔｕａｌ}：実際のサンプリングレート（ヘルツ）
Ｓ^{ｔａｒｇｅｔ}：サンプルレートｆ^{ｔａｒｇｅｔ}で観測期間Ｔに生成されたサンプルの数
Ｓ^{ａｃｔｕａｌ}：サンプルレートｆ^{ａｃｔｕａｌ}で観測期間Ｔに生成されたサンプルの数
Ｓ^{ｍｅａｓｕｒｅｄ}：サンプルレートｆ^{ａｃｔｕａｌ}で観測期間Ｔ±ΔＴに生成されたサンプルの数とする。

各分散プラットフォームにおけるシステムクロックが正確であるとすと、プラットフォームの目標サンプリングレートと実際のサンプリングレートとの間のスキューを、以下のように確定することができる。

しかしながら、現実の世界では、システムクロックは十分に完全又は正確ではない場合がある。観測期間Ｔに対して不確実性がΔＴであるとすると、測定されるスキューを以下のように確定することができる。

言い換えれば、推定されたスキューファクタの誤差は、１±ΔＴ／Ｔである。ＮＴＰのクロックの正確度が約２５０ｍｓであり観測期間が１日であるとすると、推定誤差は３・１０^−６未満である。このように、約４４．１ｋＨｚのサンプルレートを、０．１３サンプル／秒まで正確に確定することができる。

図４Ｂは、本発明の一実施形態による例示的な適応フィルタリングシステム４５０を示す。本発明の一実施形態では、システム４５０は、チャネルフィルタ４０４と、Ａ／Ｄ変換器４０６と、帯域制限補間モジュール４０８と、スカラー積４１０とを含む。図４Ｂに示すように、アナログ領域においてアナログ同期信号ｘ（ｔ）（ｘ（ｎ）はデジタル同期信号を示し、ｘ（ｔ）は連続アナログ信号を示す）を生成してもよい。また、本発明の一実施形態ではｘ（ｔ）のデジタル参照形式ｘ（ｎ）は既知であり得るということが考えられる。

図５は、本発明の一実施形態による例示的な適応フィルタリングシステム５００を示す。本発明の一実施形態では、システム５００は図４Ａのシステム４００を含む。システム５００はまた、追加のチャネルに対し同期マルチメディア信号を提供する部分５０２を含む。たとえば、本発明の一実施形態では、追加の音声／映像シーン信号を、図３を参照して論考したような音声／映像シーン３２８から（たとえば図３のマルチメディアプラットフォーム３０２及び３０４により）収集してもよい。

図５に示すように、キャプチャされた信号を次に１つ又は複数のＡ／Ｄ変換器５５６（たとえば各チャネルに対して１つ）に提供してもよく、Ａ／Ｄ変換器５５６はまた、受信側クロック（Ｔ’_ｓ）を受信してもよい。Ａ／Ｄ変換器５５６をそれぞれの帯域制限補間モジュール（５５８）に結合してもよい。帯域制限補間モジュール５５８は、たとえば帯域制限補間モジュール４０８から推定されたデルタ＿ｔ値及びデルタ＿ｆ値を受け取ることにより、これらの値を再計算する必要をなくしてもよい。したがって、本発明の一実施形態では、単一クロックが複数のチャネルを駆動することができる。

本発明の一実施形態では、（図５を参照して論考したような）同期化を実行するためにデバイス毎に１つの追加のチャネルを割り当ててもよいが、信号の大きさが知覚される歪みをもたらさないほど十分に小さく維持される場合、受信側におけるアナログ同期信号を、受信側においてＡ／Ｄ変換の前にアナログデータチャネルに混合することができる、ということが考えられる。かかる本発明の一実施形態を図６に示す。

図６は、本発明の一実施形態による例示的な適応フィルタリングシステム６００を示す。本発明の一実施形態では、システム６００は図４Ａのシステム４００を含む。システム６００はまた、追加のチャネルに対し同期マルチメディア信号を提供する部分６０２も含む。たとえば、アナログ同期信号を、（たとえばＡ／Ｄ変換器４０６において）音声／映像シーン３２８からの追加のキャプチャされた音声／映像シーン信号に混合してもよい。そして、帯域制限補間モジュール４０８の出力が、追加のマルチメディアチャネルに対する同期化を行ってもよい。

本発明の一実施形態によれば、ＭＬＳベースの同期化は、ＭＬＳ信号の大きさが、長さ１０２３の系列の場合に音声信号の大きさより最大２桁下回る場合であっても（より長いＭＬＳ系列の場合、この大きさはさらに小さくなる可能性がある）、自己相関ピークが確実に検出されることを示す、ということが考えられる。

当業者には、上述した説明を読めば本発明の多くの改変及び変更が恐らく明らかとなるであろうが、例示の目的で示し説明したいかなる特定の実施形態も限定するものとみなされることは全く意図されていないということが理解されるべきである。たとえば、本発明の実施形態を帯域制限補間モジュールに関して論考したが、他の補間技法を利用してもよいということが考えられる。したがって、さまざまな実施形態の詳細を言及することは、本発明に対して本質的であるとみなされる特徴のみを列挙する特許請求の範囲を限定するようには意図されていない。

本発明の一実施形態を実施してもよいコンピュータシステム１００の例示的なブロック図である。 図１に示すようなコンピュータシステム１００のＩ／Ｏデバイス２００をさらに示す図である。 本発明の一実施形態を実施するために利用してもよい例示的な同期分散マルチメディアデータキャプチャシステム３００を示す図である。 本発明の一実施形態による例示的な適応フィルタリングシステム４００を示す図である。 本発明の別の実施形態による例示的な適応フィルタリングシステム４５０を示す図である。 本発明の一実施形態による例示的な適応フィルタリングシステム５００を示す図である。 本発明の一実施形態による例示的な適応フィルタリングシステム６００を示す図である。

Claims (30)

1. 事前定義された同期信号と受信側クロックとを受け取るアナログ・デジタル変換器と、
   該アナログ・デジタル変換器に結合され、該アナログ・デジタル変換器の出力を受け取り、連続的に現遅延推定値及びスキュー推定値を推定し信号を同期させるように適応させる補間モジュールと、
   を具備する装置。
2. 前記アナログ・デジタル変換器に結合され、前記同期信号とソースクロックとを受け取り、前記アナログ・デジタル変換器に出力を提供するデジタル・アナログ変換器をさらに含む、請求項１に記載の装置。
3. 複数のデバイスによってキャプチャされる複数のマルチメディア信号を同期させるために利用される、請求項１に記載の装置。
4. 前記同期信号は別の信号に埋め込まれる、請求項１に記載の装置。
5. 前記信号は、音声信号及びビデオ信号を含む１つ又は複数の項目から選択されるデータを含む、請求項１に記載の装置。
6. デジタル信号プロセッサ（ＤＳＰ）、コーダ・デコーダ（コーデック）モジュール及びＣＰＵを含むグループから選択されるデバイスに組み込まれる、請求項１に記載の装置。
7. 前記ソースクロックは、ＤＳＰ、コーデックモジュール及びＣＰＵを含むグループから選択されるデバイスによって提供される、請求項２に記載の装置。
8. 前記アナログ・デジタル変換器に結合されたチャネルフィルタであって、送信側と受信側とを結合する信号伝送環境を特徴付けるチャネルフィルタをさらに含む、請求項１に記載の装置。
9. 前記伝送環境は、有線媒体及び無線媒体を含むグループから選択される、請求項８に記載の装置。
10. 時間遅延及びサンプリングスキューファクタに対する概算によって初期化される、請求項１に記載の装置。
11. 前記初期化は、スキューの自律的推定に基づく、請求項１０に記載の装置。
12. 前記信号を同期させるためにＭＬＳを利用する、請求項１に記載の装置。
13. 自己相関ピークの位置を見つける精度を向上させるように、ＭＬＳシンボル毎に少なくとも２つ以上の音声サンプルが利用される、請求項１２に記載の装置。
14. 前記位置を見つけるべく、自己相関メインローブに対応する曲線が、最高値を有する前記音声サンプルに当てはめられる、請求項１２に記載の装置。
15. 前記受信側クロックを較正するためにネットワーキングサービスが利用される、請求項１に記載の装置。
16. 前記較正は、測定期間毎に観測されるサンプルの数を計数する音声キャプチャプロセスを実行することによって実行される、請求項１５に記載の装置。
17. 前記ネットワーキングサービスはネットワークタイムプロトコル（ＮＴＰ）である、請求項１５に記載の装置。
18. 前記ＮＴＰは、１日当りのクロック誤差（ＣＥＰＤ）が約数百ミリ秒である、請求項１７に記載の装置。
19. 前記補間モジュールは帯域制限型である、請求項１に記載の装置。
20. 事前定義された同期信号を提供すること、
    前記同期信号と受信側クロックとを受け取るアナログ・デジタル変換器を提供すること、及び
    前記アナログ・デジタル変換器に結合され、該アナログ・デジタル変換器の出力を受け取り、連続的に現遅延推定値及びスキュー推定値を推定し信号を同期させるように適応させる補間モジュールを提供すること
    を含む方法。
21. 前記アナログ・デジタル変換器に結合され、前記同期信号とソースクロックとを受け取り、前記アナログ・デジタル変換器に出力を提供するデジタル・アナログ変換器を提供することをさらに含む、請求項２０に記載の方法。
22. 複数のソースから収集される複数のマルチメディア信号を同期させることをさらに含む、請求項２０に記載の方法。
23. 前記信号は、音声信号及びビデオ信号を含む１つ又は複数の項目から選択されるデータを含む、請求項２０に記載の方法。
24. 前記アナログ・デジタル変換器に結合されたチャネルフィルタであって、送信側と受信側とを結合する信号伝送環境を特徴付けるチャネルフィルタを提供することをさらに含む、請求項２０に記載の方法。
25. 前記伝送環境は、有線媒体及び無線媒体を含むグループから選択される、請求項２０に記載の方法。
26. 前記補間モジュールは帯域制限型である、請求項２０に記載の方法。
27. 命令を提供する機械可読媒体を具備する製品であって、該命令は、機械によって実行される場合、該機械に対し、
    事前定義された同期信号を提供すること、
    前記同期信号と受信側クロックとを受け取るアナログ・デジタル変換器を提供すること、及び
    前記アナログ・デジタル変換器に結合され、該アナログ・デジタル変換器の出力を受け取り、連続的に現遅延推定値及びスキュー推定値を推定し信号を同期させるように適応させる補間モジュールを提供すること
    を含む動作を実行させる、製品。
28. 前記動作は、複数のソースから収集される複数のマルチメディア信号を同期させることをさらに含む、請求項２７に記載の製品。
29. 中央処理装置（ＣＰＵ）と、
    該ＣＰＵに結合され画像を表示する表示デバイスと、
    該表示デバイスに結合され前記画像を格納するメモリと、
    事前定義された同期信号と受信側クロックとを受け取るアナログ・デジタル変換器と、
    該アナログ・デジタル変換器に結合され、該アナログ・デジタル変換器の出力を受け取り、連続的に現遅延推定値及びスキュー推定値を推定し信号を同期させるように適応させる補間モジュールと、
    を具備するコンピュータシステム。
30. 前記表示デバイスは、ＬＣＤ、フラットパネルディスプレイ、プラズマスクリーン及びＴＦＴディスプレイを含むグループから選択される、請求項２９に記載のコンピュータシステム。

Images