JP2007097185A - マルチメディアストリームにおける同期化ウォーターマーキング - Google Patents

Abstract

【課題】マルチメディアストリームにおいて、分離されていても関連するデータストリームの同期を提供する。
【解決手段】関連するパケットデータネットワークストリームの同期化が提供される。同期化は、互いに対して配列されるべきデータストリームに、それらのデータストリームのネットワークを介した送信の後に、同期化パケットを挿入することによってなされる。より詳細には、対応する同期化パケットが対応するデータストリームに同時に挿入され、受信端でのデータの同期化を実行するためのマーカーとして機能する。対応するデータストリームはオーディオデータストリームおよび対応するビデオデータストリームからなる。
【選択図】図４

Description

分離されていても関連するデータストリームの同期化が提供される。より詳細には、関連するストリームが互いに時間整合されることを可能とするために同期化データパケットがデータパケットに挿入される。

例えば、オーディオ及びビデオコンポーネントからなるマルチメディアはエンターテイメントやより高度な通信のコンテンツを遠隔利用者に配信するのに有用である。例えば、ビデオ電話システムは遠隔位置にいる者同士でのミーティングを行うのに盛んに利用されるようになってきている。高速インターネットプロトコルネットワークがより広範に利用可能となってきたのにつれて、安価なビデオ会議設備が利用できるようになり、そのような設備にもアクセスしやすくなってきている。しかし、パケットデータネットワークがオーディオ及びビデオ情報を個別に送信するので、そして、種々のネットワーク効果のために、オーディオストリームおよび関連するビデオストリームが互いに顕著に非同期になることは稀なことではない。この問題は、ＩＰネットワークを介して長い距離を経て伝送されるオーディオ／ビデオ情報に関して特に顕著なものとなっている。

現在では、ほとんどのメディアゲートウェイは、関係するオーディオ及びビデオストリームの同期化（即ち、画像・音声合わせ）に対応できていない。さらに、ほとんどのメディアゲートウェイは何らかの遅延圧縮または画像・音声合わせバッファリングを用いてはいない。リアルタイム制御プロトコル（ＲＴＣＰ）、リアルタイムプロトコル（ＲＴＰ）タイムスタンプからネットワークタイムプロトコル（ＮＴＰ）タイムスタンプ／ウォールクロックへのマッピングは可能ではある。しかし、オーディオ及びビデオストリーム間のドリフトを補償するために情報を適切な時間で利用することはできない。

特に、ＲＴＰヘッダにおいて利用できるＲＴＰタイムスタンプはウォールクロックタイムスタンプではなく、そして、オーディオ及びビデオに対するタイムスタンプは必ずしも同じカウントから開始する必要はなく、または特定のスキームに従う必要もない。例えば、オーディオタイムスタンプはサンプリングに従ってパケットごとに１６０ずつ増分し、同じフレームに属するビデオのパケットはタイムスタンプ値を全く増分させないこともある。ＲＴＰタイムスタンプをＮＴＰタイムスタンプにマッピングするのは適切ではない。なぜなら、ＲＴＣＰの送信元報告は、遅延を補償するのに十分に頻繁ではなく、そして必要な時間に利用できるわけではないからである。さらに、複数の同期ソースが存在する場合、ＲＴＣＰを用いた同期化は現実的ではない。従って、インターネットプロトコル（ＩＰ）ネットワークにおいて、画像・音声合わせの問題を解決する明解な解決策はない。

画像・音声合わせバッファリングによって画像・音声合わせの機能を提供できることを謳った種々の製品が利用可能となっている。これらはＲＴＰ／ＲＴＣＰヘッダにおいて利用できるＲＴＰ／ＲＴＣＰタイムスタンプに依存している場合もあるし、そうでない場合もある。場合によっては、特に業務用の放送用ビデオ製品においては、音声学およびパターン認識に基づく画像・音声合わせが用いられている。より詳細には、メディアプログラム信号のオーディオ部分におけるオーディオイベントを検出し、そのオーディオイベントからそのメディアプログラム信号のオーディオ部分における後続のビデオ同期パルスまでのタイミング間隔を測定するシステムが提案されてきた。タイミング間隔はメディアプログラム信号の第３の部分に記憶される。受信端ではタイミング間隔情報が受信され、それが使用されてオーディオイベントをビデオ同期パルスに対して配列する。しかし、そのようなシステムは実装するには比較的複雑なものとなってしまう。

ＭＰＥＧ４（Motion Picture Expert Group Standard 4）は同期化および多重化レイヤーを提供する。しかし、同期化および多重化レイヤーは実際にはほとんどのシステムには搭載されていない。特に、ＭＰＥＧ４ビデオをサポートするそれらのシステムは通常、その標準の圧縮レイヤー部分のみを搭載し、同期化レイヤーまたは配信レイヤーを搭載していない。結果として、全てのＭＰＥＧ４レイヤーが共通のフレームワークに搭載されていなければ、ＭＰＥＧ４圧縮ビデオＲＴＰストリームはオーディオＲＴＰストリームとともに用いられる場合には共通の基準カウントまたはタイムスタンプを有することはない。組み込まれた終端において全てのレイヤーを搭載することは費用の面で効率的でなく、いずれにしても、多くの標準がＨ.２６１、Ｈ.２６３などの他のビデオコーデックを必要とする。従って、ＩＰネットワークを介して発信されたマルチメディア呼に関連した同期化のためにＭＰＥＧ４標準を用いるのは非現実的である。

本発明の実施例はこれら又は他の問題および従来技術の短所を解決するためのものである。本発明の実施例によると、同期化パケットを関係するオーディオ及びビデオデータストリームに挿入することによって同期化がなされる。同期化パケットは、パケットデータヘッダ情報が対応するデータストリームの部分として各同期化パケットが送られることを可能とするようなパケットデータヘッダ情報を特徴とする。データパケットとは異なり、同期化パケットのペイロードは、データストリーム内の同期化パケットの検出をし易くするために同期化フラグを含む。さらに、同期化パケットのペイロードもまたタイミングおよび／または識別子情報を含んでいてもよい。

本発明の実施例によると、送信側終端またはゲートウェイにおいて、同期化パケットが対応するオーディオ及びビデオデータストリームに挿入され、受信側終端またはゲートウェイにおいてそれが用いられて、関係するオーディオ及びビデオデータストリームの同期化を実行する。オーディオ及びビデオデータストリームへの同期化パケットの挿入が送信側終端または送信側終端に最も近いゲートウェイにおいて実行される必要はない。即ち、改善された同期化の形式による利点の少なくともいくつかは、同期化パケットを、例えば、ゲートウェイまたは他のネットワークノードにおいて通信パターンに従って挿入することによって得られる。同様に、同期化パケットの検出および同期化パケットの検出に基づくオーディオ及びビデオストリームの配列は、受信終端またはデータストリームが伝搬・通過する最終段のゲートウェイにおいて実行される必要もない。しかし、通信終端自身において、その通信終端に直近のゲートウェイにおいて、または、例えば、長距離ネットワークに対するサブネットワークを接続するゲートウェイにおいて、といったように、データストリームを構成する実質的に全てのパケットを扱うネットワークノードにおいて、同期化パケットを挿入し、そのようなパケットに基づいて同期化を実行することは全般として利点が多い。

本発明の実施例の追加的な特徴および効果が以下の説明から、特に付随する記載とともに、より明確なものとなる。

図１に本発明の実施例による通信システム１００の構成要素を示す。概略として、通信システム１００は多数のオーディオ／ビデオ通信終端１０４を含む。オーディオ／ビデオ通信終端１０４の各々は１以上のユーザ１０８に関連付けられることになる。オーディオ／ビデオ通信終端１０４は概略として通信ネットワーク１１２および／または１以上のゲートウェイまたはスイッチ１１６によって互いに通信できるように配置されている。

一般に、オーディオ／ビデオ通信終端１０４は、ビデオ電話、ソフトビデオ電話、またはその他装置であって一般用途コンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、テレビ、もしくはオーディオ及びビデオデータを入力として受信しもしくは出力として提供することができる他の装置のような装置からなる。ここに提供される開示内容を踏まえた上で、当業者であれば分かるように、ＩＰパケットデータストリームを扱うとともにオーディオ／ビデオ通信終端１０４に適した出力を提供する能力を持つゲートウェイまたはスイッチ１１６（中間的装置はあってもなくてもよい）のような他の装置とオーディオ／ビデオ通信終端１０４が対になっているという前提の下、オーディオ／ビデオ通信終端１０４にパケットデータメディアストリームを扱う能力がある必要はない。

通信ネットワーク１１２は種々のタイプの１以上のネットワークからなっていればよい。例えば、通信ネットワーク１１２はローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）からなっていてもよい。より一般的には、通信ネットワーク１１２は任意のタイプのインターネットプロトコルネットワークまたは他のパケットデータネットワークからなっていてもよい。さらに、通信ネットワーク１１２の一部が、公衆交換電話網（ＰＳＴＮ）のような非パケットデータネットワークからなっていてもよい。さらに、通信ネットワーク１１２は、オーディオ／ビデオ通信終端１０４およびゲートウェイ／スイッチ１１６のような種々のネットワークノードを、直接にまたはサブネットワークを他のサブネットワークもしくはネットワークノードに相互接続することによって、相互接続するように機能してもよい。

ゲートウェイ／スイッチ１１６は通常、通信ネットワーク１１２に相互接続され、サブネットワークまたはシステムを規定してもよい。例えば、第１のゲートウェイ／スイッチ１１６が、第１のオーディオ／ビデオ通信終端１０４を含む、構内交換機のようなローカルエリアネットワークまたはローカル電話ネットワークを規定するようにしてもよい。図示するように、オーディオ及びビデオ通信終端はまた、通信ネットワーク１１２に直接に相互接続されている。さらなる例として、第２のゲートウェイ／スイッチ１１６が、第２のオーディオ／ビデオ通信終端１０４に対する通信ネットワーク１１２および第３のオーディオ／ビデオ通信終端１０４との相互接続を提供するようにしてもよい。従って、ゲートウェイ／スイッチ１１６の例として、インターネットプロトコルネットワーク・ゲートウェイもしくはルーター、構内交換機もしくは他の通信管理サーバまたはインターネットプロトコルスイッチなどがある。

図２に、関係するデータストリームの同期化を実行することができるオーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６の一部が含まれる構成要素をブロック図で示す。構成要素には、プログラム命令を実行できるプロセッサ２０４が含まれる。従って、プロセッサ２０４はあらゆる一般用途プログラマブルプロセッサ、アプリケーションプログラミングを実行するコントローラも含む。また、プロセッサ２０４は特別に構成された特定用途向け集積回路（ＡＳＩＣ）またはデジタル信号プロセッサ（ＤＳＰ）からなっていてもよい。概略として、プロセッサ２０４は、ここに記載されるメディアストリーム同期化機能など、オーディオ／ビデオ通信終端１０４および／またはゲートウェイ／スイッチ１１６によって実行される種々の機能を動作させるプログラムコードを実行するよう機能する。

オーディオ／ビデオ通信終端１０４および／またはゲートウェイ／スイッチ１１６は、プロセッサ２０４によるプログラムの実行と関連する使用において、およびデータもしくはプログラム命令の一時的または長期蓄積のために追加的にメモリ２０８を含んでいてもよい。メモリ２０８は、ＤＲＡＭおよびＳＤＲＡＭのような固体メモリで常駐的なもの、取り外し可能なもの、または遠隔的なものであってもよい。プロセッサ２０４がコントローラからなる場合、メモリ２０８はプロセッサ２０４に統合・集積されてもよい。

さらに、種々のユーザ入力装置２１２およびユーザ出力装置２１６が提供されてもよい。ユーザ入力装置２１２の例として、キーボード、数字キーパッド、マイクロフォン、スチルまたはビデオカメラ、およびスクリーンまたは他の位置エンコーダに組合されたポインティング装置などがある。ユーザ出力装置２１６の例として、ビデオディスプレイ、英数字ディスプレイ、呼び出しベル、プリンタポート、スピーカまたは表示ライトなどがある。

オーディオ／ビデオ通信終端１０４および／またはゲートウェイ／スイッチ１１６はまた、アプリケーションプログラムおよび／またはデータの記憶のためのデータ記憶装置２２０を含んでいてもよい。例えば、オペレーティングシステムソフトウエア２２４がデータ記憶装置２２０に格納されてもよい。特に、オーディオ／ビデオ通信終端１０４との関係において、データ記憶装置２２０に格納されるアプリケーションの例として、ビデオ電話または通信アプリケーション２２８などがある。当業者には分かるように、例えば、オーディオ／ビデオ通信終端１０４が一般用途コンピュータからなっている場合、ビデオ電話アプリケーション２２８はソフトビデオ電話を実施するための命令からなっていてもよい。さらなる例として、ビデオ電話アプリケーション２２８は、専用ビデオ電話端末または装置からなるオーディオ／ビデオ通信終端１０４によって実行される動作命令からなっていてもよい。オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６の一部として提供されるデータ記憶装置２２０に格納される他のアプリケーションの例として、同期化アプリケーション２３２、パケットデータ通信アプリケーション２３６などがある。

同期化アプリケーション２３２は、ここに記載されるように同期化パケットを出側マルチメディアデータストリームに挿入し、同期化パケットを検出し、入着マルチメディアデータストリームに関して同期化を実行するための命令からなっていてもよい。パケットデータ通信アプリケーション２３６は、パケットデータストリームをインターネットプロトコル通信ネットワーク１１２のようなパケットデータネットワークを介して送受信するための命令からなっていてもよい。例えば、パケットデータ通信アプリケーション２３６は、オーディオ／ビデオ通信終端１０４のユーザ１０８と通信ネットワーク１１２との間のマルチメディアデータストリームを送受信するようにビデオ電話アプリケーション２２８と協働してオーディオ／ビデオ通信終端１０４を動作させてもよい。データ記憶装置２２０は、磁気記憶装置、固体記憶装置、光学式記憶装置、論理回路またはそのような装置の任意の組み合せからなっていてもよい。さらに、データ記憶装置２２０に保持されたプログラムおよびデータは、データ記憶装置２２０の実施態様によって、ソフトウエア、ファームウエアまたはハードウエアロジックからなっていてもよいことが分かる。

オーディオ／ビデオ通信終端１０４および／またはゲートウェイ／スイッチ１１６はまた、１以上の通信ネットワークインターフェイス２４０を含んでいてもよい。例えば、オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６は、ネットワーク・インターフェイス・カード（ＮＩＣ）、モデム、電話ポート、直列もしくは並列データポート、または他の有線もしくは無線通信ネットワークインターフェイスからなる通信ネットワークインターフェイス２４０を含んでいてもよい。

さらに、オーディオ／ビデオ通信終端１０４は一般に１以上の画像カメラ２４４を含んでいる。カメラ２４４はオーディオ／ビデオ通信終端１０４を用いてビデオ電話セッションに参加する人の画像を取得するよう機能する。画像カメラ２４４は、ズームおよび／またはフォーカス能力を選択できるレンズシステムのような、光学要素を有するデジタルカメラ、および光学要素によって収集されたビデオ情報をデジタル画像データに変換する電荷結合素子（ＣＣＤ）のような電子要素からなっていてもよい。従って、画像カメラ２４４は特定のタイプのユーザ入力部２１２を構成することになる。

また、代表的なオーディオ／ビデオ通信終端１０４は一般的にビデオ出力部または表示装置２４８を含んでいる。ビデオ出力部２４８は１以上のオーディオ／ビデオ通信終端１０４からの画像情報を表示するために用いられてもよい。さらに、制御およびステータス情報がビデオ出力部２４８によって提示されるようにしてもよい。従って、ビデオ出力部２４８はユーザ出力部２１６の一種とみなされる。ビデオ出力部２４８の例として、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、または送信されるビデオ画像を再生することができる他の装置がある。

オーディオ通信のサポートに関連して、オーディオ／ビデオ通信終端１０４はオーディオ入力部２５２およびオーディオ出力部２５６を含んでいてもよい。オーディオ入力部２５２はオーディオ／ビデオ通信終端１０４の場所からの、その場所にいる人の音声などのオーディオ情報を受信するマイクロフォンからなっていてもよい。従って、オーディオ入力部２５２はユーザ入力部２１２の一種である。オーディオ出力部２５６は１以上のスピーカまたはヘッドフォンを含んでいてもよい。従って、オーディオ出力部２５６はユーザ出力部２１６の一種である。

当業者であればここに記載される事項から分かるように、オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６の一部として含まれる特定の構成要素は、含まれた特定のオーディオ／ビデオ通信終端１０４の機能またはゲートウェイ／スイッチをサポートするのに必要な部材および機能によって決まる。従って、オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６によっては、図２に示す構成要素およびアプリケーションの各々を含んでいる必要はない。さらに、含まれる構成要素およびアプリケーションは単一の物理装置として実装されることもできるし、あるいは物理的にまたは論理的に独立した構成要素間で分散されていてもよい。

図３にパケットデータストリームの同期化プロセスの側面を示す。まず、送信側オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６のような他のネットワークノードにおいて、オーディオデータストリームおよび対応するビデオデータストリームが生成され、または受信される（ステップ３０４）。オーディオ及びビデオデータストリームの生成処理は、マイクロフォンのようなオーディオ入力部２５２および画像カメラ２４４からのオーディオ及びビデオ情報を受信すること、およびパケット化されたストリームデータを生成することからなる。例えば、データストリームはリアルタイムプロトコル（ＲＴＰ）によってフォーマットされるようにしてもよい。

オーディオデータストリームおよび対応するビデオデータストリームの受信は、例えば、オーディオ／ビデオ通信終端１０４または他のネットワークノードからのオーディオ及びビデオデータストリームからなるパケットデータストリームを受信するゲートウェイ／スイッチ１１６からなっていてもよい。ステップ３０８において、同期化パケットがオーディオデータストリームに挿入され、対応する同期化パケットがビデオデータストリームに挿入される。対応する同期化パケットの対がそれぞれのオーディオ及びビデオデータストリームに同時に挿入されるようにしてもよい。本発明のさらなる実施例によると、第１および第２の同期化パケットが、例えば他方から２００ｍｓ以内程度の、わずかな時間差でオーディオ及びビデオデータストリームに挿入されてもよい。本発明のさらに他の実施例によると、第１の同期化パケットがオーディオデータストリームに第１の時間に挿入され、第１の時間と正確に同一の第２の時間に第２の同期化パケットがビデオデータストリームに挿入される。同期化パケットの挿入が受信装置または検出器でのエラーの原因とならないように、オーディオデータストリームにおける無音が検出されたときに、または適当なビデオフレーム境界部の後に、同期化パケットがデータストリームに挿入されるようにしてもよい。

オーディオ及びビデオデータストリームに挿入される同期化パケットは概略としてオーディオまたはビデオデータを含むデータパケットと同様にフォーマットされる。従って、オーディオ及びビデオデータストリームがＲＴＰパケットからなる場合、それらのストリームに挿入される同期化パケットは一般にＲＴＰヘッダからなる。ペイロードとして、同期パケットは同期化フラグを含む。同期化フラグは適切な相関化プロパティのために選択されてもよい。適切な相関化プロパティを持つ同期化フラグを提供することによって、フラグを検出するのに必要な処理電力が、各データパケットが同期化パケットかどうか判断するために各々が読まれなければならない場合に比べて、大幅に小さくて済む。さらに、同期化フラグは、フラグがオーディオまたはビデオデータによってエミュレートされる（同一・類似のものとなってしまう）確率が低くなるように選択されることができる。

同期化パケットは追加的に、ウォールクロック値、カウント値または共通リファレンス値のようなリファレンス値を含んでいてもよい。リファレンス値はさらに、同期化パケットが第１のデータストリームに挿入される時間と、対応する同期化パケットが第２のデータストリームに挿入される時間との差、即ち、デルタからなっていてもよい。ステップ３１２において、オーディオ及びビデオストリームは挿入された同期化パケットとともに通信ネットワーク１１２を介して送信される。当業者には分かるように、パケットデータストリームは、個々のパケットがシーケンスを外れて受信端に到着してしまう原因となるような種々のネットワーク効果にさらされる。

オーディオ及びビデオデータストリームが同期化パケットとともに受信終端または同期化を実行できるノードで受信される（ステップ３１６）。特に、受信側オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６のようなノードがオーディオストリーム内の同期化パケットおよびビデオストリーム内の対応する同期化パケットを検出する（ステップ３２０）。本発明の実施例によると、特定のパケットが同期化パケットであるかを判断するために、高速相関化が全ての入着パケットについて実行される。従って、本発明の実施例による同期化パケットは、各パケットを読むのとは対照的に、相関化のための入着パケットをスキャニングすることによって検出できる。

本発明の実施例によると、連続する同期化パケット間の時間をあるしきい値よりも小さくして、時間毎に同期化パケットをオーディオ及びビデオデータストリームに挿入する。本発明の実施例によると、同期化パケットはオーディオ及びビデオデータストリームに短くとも１００ｍｓ毎に挿入される。そのような同期化パケット間の間隔があれば、同期化パケットがリファレンス値を含んでいることが必要条件とはならない。即ち、一方のデータストリーム内のある同期化パケットおよび他方のデータストリーム内の他の同期化パケットがほぼ同時（例えば、互いに他方から約１００ｍｓ以内）に受信端で受信される場合、一方のデータストリーム内のある同期化パケットは他方のデータストリーム内の他の同期化パケットに対応するものとして識別される。即ち、２〜３秒よりも大きいネットワーク遅延は極めて起こりにくいものと考えられる。

オーディオ及びビデオデータストリーム内の対応する同期化パケットを検出し、識別した後、オーディオ及びビデオデータストリームが配列される（ステップ３２４）。より具体的には、オーディオデータストリーム内で検出された同期化パケット付近のオーディオパケットが、ビデオデータストリーム内の対応する同期化パケット付近のビデオデータパケットに対して配列されることができる。データパケットの配列処理は、データパケットを受信端またはノードでバッファリングすること、およびデータパケットを再配列することからなる。

本発明の実施例によると、配列処理は、データパケットが配列に対してあるしきい値よりも大きく外れていると判断された場合のみ実行される。例えば、一般に数ミリ秒よりも小さい誤配列は小さすぎてユーザ１０８には感じ取れない。しかし、誤配列の量が１００ｍｓを超えるとそれは非常にはっきりしたものとなる。従って、配列処理は、誤配列が１００ｍｓを超えていると判断される場合に実行されるようにしてもよい。即ち、オーディオ及びビデオデータストリーム内のデータパケット間またはそれらのデータストリーム内の情報同士（もしくはそれらのデータストリームの再生）の正確な配列は必要とされない。データストリームからのそれぞれの出力が、例えば、完全な配列に対して約１００ｍｓかそれ以下に収まっているようなデータストリームパケットの配列が適当である。配列に対する他のしきい値が、例えば、特定のアプリケーションの同期化の要件を満たすように、本発明の実施例に従って適用されてもよい。例えば、任意の量の誤配列が修正されるようにしてもよい。

同期化パケットが時間の値を含まない場合、配列処理は、同期化パケットがオーディオ及びビデオデータストリームに同じ時間に、または大体同じ時間（例えば他方から約１００ｍｓ以内）に挿入されたという前提に基づいて実行されることができる。また、同期化パケットに含まれるリファレンス値が用いられて、対応する同期化パケット間の挿入における相対時間差を提供することもできる。そして、例えば、ゲートウェイ／スイッチ１１６における配列が完全である場合、配列されたオーディオ及びビデオデータストリームは最終ユーザへ出力され、即ち、出力としてオーディオ／ビデオ通信終端１０４へ送信される。

図４に本発明の実施例の追加的な側面を示す。特に、同期化されたデータストリームを送信するプロセスは、オーディオ及びビデオ情報からなる入力を、オーディオ情報の場合にはマイクロフォンからなるオーディオ入力部２５２のような入力装置に、ビデオ情報の場合には画像カメラ２４４のような入力装置に提供することで始まる。そして、その結果生成されるオーディオ情報信号４０４およびビデオ情報信号４０８がデータパケタイザ４１２へ送信される。データパケタイザ４１２は、オーディオ／ビデオ通信終端１０４の一部として設けられたメモリ２０８およびデータ記憶装置２２０と協働してパケットデータ通信アプリケーション２３６を実行するプロセッサ２０４からなっていてもよい。さらに、データパケタイザは１以上のアナログ／デジタルコンバータ（ＡＤＣ）からなっていてもよいし、それに関連していてもよい。あるいは、オーディオ情報信号４０４およびビデオ情報信号４０８はパケット化のためにゲートウェイ／スイッチ１１６に提供されてもよい。

同期化パケット生成器４１６はデータパケタイザ４１２と連携して動作し、オーディオ情報４０４およびビデオ情報４０８からデータパケタイザ４１２によって創出されたパケットデータストリームに同期化パケットを挿入する。従って、同期化パケット生成器４１６とデータパケタイザ４１２との相互作用の結果、オーディオパケットデータストリーム４２０および対応するビデオデータパケットストリーム４２４が創出される。オーディオパケットデータストリーム４２０およびビデオパケットデータストリーム４２４の各々はオーディオデータパケット４２８またはビデオデータパケット４３２をそれぞれ含む。さらに、オーディオパケットデータストリーム４２０はビデオパケットデータストリーム４２４に挿入された同期化パケット４４０に対応する同期化パケット４３６を含む。

オーディオパケットデータストリーム４２０およびビデオパケットストリーム４２４は通信ネットワークを介して受信側ノードまたは終端１０４または１１６へ送信される。まず、オーディオパケットデータストリーム４２０ａおよびビデオパケットデータストリーム４２４ａが配列される。しかし、通信ネットワーク１１２を通過した後、オーディオパケットデータストリーム４２０およびビデオパケットデータストリーム４２４は、もはや互いに対して配列されていないデータ４２８、４３２および同期化パケット４３６、４４０を含むことになる。オーディオ及びビデオデータパケットストリーム４２０、４２４は、例えば、受信側オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６のメモリ２０８の一部として提供されるバッファ４４４において受信される。

データ配列器４４８はデータストリーム４２０、４２４内の同期化パケット４３６、４４０を検出し、同期化パケット４３６、４４０をそれぞれデータパケット４２８、４３２の近くに配列させるためのマーカーとして用いる。さらに、データ配列器４４８は同期化パケット４３６、４４０を除去すべきである。そして、配列されたオーディオデータストリーム４５２および配列されたビデオデータストリーム４５６は再生装置、即ち、デコーダ４６０へ送られる。データ配列器４４８は、本発明の実施例による同期化アプリケーション２３２からなっていてもよく、パケットデータ通信アプリケーション２３６と協働して動作し、受信側オーディオ／ビデオ通信終端１０４またはゲートウェイ／スイッチ１１６上で動作するプロセッサ２０４によって実行される命令を備えていてもよい。

そして、再生装置、即ち、デコーダ４６０は同期化されたオーディオ／ビデオ出力４６４を受信側ユーザ１０８に提供する。再生装置４６０は、オーディオ／ビデオ通信終端１０４によって、ビデオ電話アプリケーション２２８または他のマルチメディアアプリケーションの動作または実行によって実施されるようにしてもよいし、オーディオ出力部２５６およびビデオ出力部２４８を含んでもよい。さらに、この同期化されたオーディオ／ビデオ出力４６４はオーディオ出力部２５６を構成するスピーカおよびビデオ出力部２４８を構成するディスプレイによって提供されてもよい。再生装置、即ち、デコーダ４６０上のデータ配列器２４８は１以上のデジタル／アナログコンバータ（ＤＡＣ）を含むか、それらに関連付けられていてもよい。

図５に本発明の実施例による同期化パケット４３６、４４０の一例を示す。同期化パケット４３６、４４０はヘッダ５０４を含む。当業者には分かるように、ヘッダ５０４はアドレッシング情報を提供し、受信端でパケットが正しく並べられることを可能とするために、同期化パケット４３６、４４０を、同期化パケット４３６、４４０が挿入されるデータストリーム４２０、４２４のデータパケット４２８、４３２に関連付ける。本発明の実施例によると、ヘッダはＲＴＰヘッダ、または伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）パケットデータ伝送と関連して用いられる他のヘッダからなっていてもよい。さらに、同期化パケット４３６、４４０は同期化フラグ５０８を含む。本発明の実施例によると、同期化フラグは、それが適切な相関化プロパティを有するとともにデータパケット４２８、４３２によってエミュレートされる（同一・類似のものとなってしまう）確率が低くなるように選択される。その結果、同期化パケット４３６、４４０の検出は、受信される各パケットが同期化パケット４３６、４４０かどうかを判断するためにその各パケットが読まれることを必要とせずに、相関化手順を用いて実行される。一例として、同期化フラグ５０８は２バイトからなるようにしてもよい。本発明のさらなる実施例によると、バイトは値0xE14D、即ち、２進値で1110000101001101を有していてもよい。

また、図示した同期化パケット４３６、４４０のペイロードにリファレンス値５１２を挿入することも示されている。リファレンス値５１２の挿入は、対応するオーディオ及びビデオデータストリーム４２０、４２４における対応する同期化パケットの積極的識別を可能とするために行われてもよい。リファレンス値５１２は、それぞれのデータストリームへの挿入直後に同期化パケット４３６、４４０に付加されたタイムスタンプからなるウォールクロック値、カウント値、または他の何らかの共通リファレンス値の形式であればよい。しかし、本発明の実施例は、同期化パケット４３６、４４０がリファレンス値５１２を含むことを必要としない。

本発明の実施例は、例としてインターネットプロトコルネットワークを介したビデオ電話信号の伝送が関与するようなケースを用いてきたが、本発明の実施例はそのように限定されるものではない。例えば、ここに記載される同期化はオーディオデータストリームおよび関係するビデオデータストリームの同報通信（即ち、ウェブ同報送信）に関連して実行することもできる。さらに、本発明の実施例はあらゆる関連データストリームの同期化に対するアプリケーションを有し、あらゆるパケットデータ伝送プロトコルに関連して適用することもできる。さらに、本発明の実施例は複数の地点でのビデオ会議への展開に関連して適用できることは明らかである。

本発明の上記の内容は例示と説明の目的で提示されたものである。さらに、説明は本発明をここに開示された形式に限定することを意図するものではない。結果として、上記の教示に従うバリエーションや変更例は、関連する技術分野の技術または知識の範囲内において本発明の範囲内のものである。さらに、上述した実施例は、本発明を実施する際の最も好適なものを説明し、そのような又は他の実施例において、および発明の特定のアプリケーションとしての使用に際して必要な種々の変更例とともに当業者が本発明を利用できるようにすることを意図したものである。特許請求の範囲は従来技術によって可能な範囲で代替の実施例を含むように解釈されることを意図している。

図１は本発明の実施例による通信システムの構成要素を示すブロック図である。 図２は本発明の実施例による通信終端またはゲートウェイの構成要素を示す機能ブロック図である。 図３は本発明の実施例によるシステムの動作の側面を示すフローチャートである。 図４は本発明の実施例によるオーディオ及びビデオデータストリームの同期化の側面を示すプロセスの流れ図である。 図５は本発明の実施例による同期化パケットのコンテンツを示す図である。

符号の説明

１００．通信システム
１０４．オーディオ／ビデオ通信終端
１０８．ユーザ
１１２．通信ネットワーク
１１６．ゲートウェイ／スイッチ
２０４．プロセッサ
２０８．メモリ
２１２．ユーザ入力装置
２１６．ユーザ出力装置
２２０．データ記憶装置
２２４．オペレーティングシステムソフトウエア
２２８．ビデオ電話アプリケーション
２３２．同期化アプリケーション
２３６．パケットデータ通信アプリケーション
２４０．通信ネットワークインターフェイス
２４４．画像カメラ
２４８．ビデオ出力部
２５２．オーディオ入力部
２５６．オーディオ出力部
４０４．オーディオ情報信号
４０８．ビデオ情報信号
４１２．データパケタイザ
４１６．同期化パケット生成器
４２０．オーディオパケットデータストリーム
４２４．ビデオパケットデータストリーム
４２８．オーディオデータパケット
４３２．ビデオデータパケット
４３６．同期化パケット
４４０．同期化パケット
４４４．バッファ
４４８．データ配列器
４５２．オーディオデータストリーム
４５６．ビデオデータストリーム
４６０．再生装置（デコーダ）
４６４．同期化されたオーディオ／ビデオ出力
５０４．ヘッダ
５０８．同期化フラグ
５１２．リファレンス値

Claims (10)

1. パケットデータストリームを同期化する方法であって、
   第１の同期化パケットを生成するステップであって、該第１の同期化パケットが同期化フラグを含むペイロードを有している、ステップ、
   該第１の同期化パケットを第１のデータストリームに挿入するステップ、
   第２の同期化パケットを生成するステップであって、該第２の同期化パケットが同期化フラグを含むペイロードを有し、該第２の同期化パケットが該第１の同期化パケットに対応している、ステップ、および
   該第２の同期化パケットを第２のデータストリームに挿入するステップであって、該第１および第２のデータストリームが互いに関連している、ステップ
   からなる方法。
2. 請求項１記載の方法において、前記第１および第２の同期化パケットを生成するステップ並びに前記第１および第２の同期化パケットを第１および第２のデータストリームにそれぞれ挿入するステップが第１のネットワークエンティティにおいて実行され、該方法がさらに、
   前記第１および第２のデータストリームを第２のネットワークエンティティにおいて受信するステップ、
   該第１のデータストリーム内の該第１の同期化パケットを検出するステップ、
   該第２のデータストリーム内の該第２の同期化パケットを検出するステップ、
   該第１および第２の同期化パケットが互いに対応していることを判定するステップ、および
   該第１の同期化パケット付近にある該第１のデータストリームに含まれるパケットを、該第２の同期化パケット付近にある該第２のデータストリームに含まれるパケットに対して配列するステップ
   からなる方法。
3. 請求項１記載の方法において、前記第１のデータストリームがオーディオ情報を内包する多数のデータパケットを含み、前記第２のデータストリームがビデオ情報を内包する多数のデータパケットからなる方法。
4. 請求項１記載の方法において、同期化パケットが前記第１のデータストリームに周期的に挿入されるとともに、同期化パケットが前記第２のデータストリームに周期的に挿入される方法。
5. 請求項１記載の方法において、前記第１および第２の同期化パケットの前記ペイロードがリファレンス値を含む方法。
6. 請求項１記載の方法において、前記同期化フラグが適切な相関化プロパティを有している方法。
7. 請求項１記載の方法において、前記第１および第２の同期化パケットを生成するステップ並びに前記第１および第２の同期化パケットを第１および第２のデータストリームにそれぞれ挿入するステップが第１のネットワークエンティティにおいて実行され、前記方法がさらに、
   第２のネットワークエンティティにおいて：
   第３の同期化パケットを生成するステップであって、該第３の同期化パケットが同期化フラグを含むペイロードを有している、ステップ、
   該第３の同期化パケットを第３のデータストリームに挿入するステップ、
   第４の同期化パケットを生成するステップであって、該第４の同期化パケットが同期化フラグを含むペイロードを有し、該第４の同期化パケットが該第３の同期化パケットに対応している、ステップ、および
   該第４の同期化パケットを第４のデータストリームに挿入するステップ、
   第３のネットワークエンティティにおいて：
   該第１、第２、第３および第４のデータストリームを受信するステップ、
   該第１のデータストリーム内の該第１の同期化パケットを検出するステップ、
   該第２のデータストリーム内の該第２の同期化パケットを検出するステップ、
   該第１および第２の同期化パケットが互いに対応していることを判定するステップ、
   該第１の同期化パケット付近にある該第１のデータストリームに含まれるパケットを、該第２の同期化パケット付近にある該第２のデータストリームに含まれるパケットに対して配列するステップ、
   該第３のデータストリーム内の該第３の同期化パケットを検出するステップ、
   該第４のデータストリーム内の該第４の同期化パケットを検出するステップ、
   該第３および第４の同期化パケットが互いに対応していることを判定するステップ、および
   該第３の同期化パケット付近にある該第３のデータストリームに含まれるパケットを、該第４の同期化パケット付近にある該第４のデータストリームに含まれるパケットに対して配列するステップ
   からなる方法。
8. 請求項２記載の方法において、データストリーム内のデータパケットが、（１）前記同期化パケットと直前の同期化パケットとの間；（２）前記同期化パケットと次の同期化パケットとの間；および（３）前記同期化パケットの所定パケット数の範囲内；のうちの１つにある場合、該データストリーム内の該データパケットが該データストリーム内の同期化パケット付近にある方法。
9. 関連するオーディオ及びビデオデータストリームを同期化するシステムであって、
   同期化フラグを生成する手段、
   データパケットの第１のストリーム内のオーディオストリームデータをコード化する手段、
   データパケットの第２のストリーム内のビデオストリームデータをコード化する手段、および
   第１の同期化パケットをデータパケットの該第１のストリームに付加するとともに第２の同期化パケットをデータパケットの該第２のストリームに付加する手段であって、該第１および第２の同期化パケットは互いに対応し、該第１の同期化パケットがデータパケットの該第１のストリームに付加され、該第２の同期化パケットがデータパケットの該第２のストリームにミリ秒内の所定のしきい値の範囲内で付加される、手段
   からなるシステム。
10. 請求項９記載のシステムであって、さらに、
    データパケットの前記第１のストリームおよびデータパケットの前記第２のストリームをバッファリングする手段、
    データパケットの該第１のストリーム内の前記第１の同期化パケットを検出するとともにデータパケットの該第２のストリーム内の前記第２の同期化パケットを検出する手段、
    該第１および第２の同期化パケットの検出に応じて、データパケットの該第１のストリームをデータパケットの該第２のストリームに対して配列する手段、および
    配列されたオーディオストリームデータおよびビデオストリームデータとして、データパケットの前記配列された第１および第２のストリームに含まれるデータから出力を提供する手段
    からなるシステム。
    

Images