JP2011521570A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2011521570A5 JP2011521570A5 JP2011509845A JP2011509845A JP2011521570A5 JP 2011521570 A5 JP2011521570 A5 JP 2011521570A5 JP 2011509845 A JP2011509845 A JP 2011509845A JP 2011509845 A JP2011509845 A JP 2011509845A JP 2011521570 A5 JP2011521570 A5 JP 2011521570A5
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- terminal
- code stream
- base layer
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims description 41
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 10
- 239000002775 capsule Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004301 light adaptation Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000000750 progressive Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Description
本発明は、電気通信技術に関し、特に、マルチポイント会議を制御する方法及び装置に関する。
現在、通信技術は、イメージ伝送の分野において広く適用されている。イメージ伝送の分野における重要な適用例は、複数の端末を同時に関与させる通常のビデオ会議通信と、複数の端末のビデオ情報を1つの端末の画面内に同時に表示するコンティニュアスプレゼンス(continuous presence)ビデオ会議とを含むビデオ会議である。
通常のビデオ会議適用例においては、ビデオ会議システムは、例えば、高精細度の端末(一般に、1280×720ピクセル、順次走査を示す、720P、又はより高い精細度)、標準精細度の端末(一般に、704×576ピクセルを示す、4CIF)、及び一般的な端末(一般に、352×288ピクセルを示す、CIF)などの様々な処理能力を有する端末を含む可能性がある。様々な処理能力の端末が同時に会議に参加する場合、どの端末の画面もピクチャを適切に表示できるように、端末のイメージ伝送能力が調整される必要がある。
全ての端末のイメージ伝送能力を調整する方法は、ビデオ会議システム内の端末を制御するためのマルチポイント制御ユニット(MCU)が、各端末の解像度能力情報を受信し、全ての端末の共通の最も高い能力を会議に適用し、ビデオ会議内の端末がネゴシエートされた共通の最も高い能力に従ってイメージを符号化及び復号することを含む。しかし、会議を開催するために、ビデオ会議システム内の全ての端末がネゴシエートされた共通の最も高い能力を採用する場合、1つの低解像度端末が存在する場合に、高解像度の端末間でイメージが伝送される際に低解像度のイメージのみが提示される。
全ての端末のイメージ伝送能力を調整する別の方法は、MCUが符号ストリームに対するアダプテーション及びトランスコードを次のようにして実行することを含む。MCUは、受信した高空間解像度符号ストリームを復号し、復号されたイメージを低解像度イメージにダウンスケールし、低解像度イメージを符号化して低解像度イメージの符号ストリームを取得し、低解像度イメージの符号ストリームを低解像度でイメージを表示する必要がある端末に送信する。しかし、この方法は、符号ストリームの復号、全ての高解像度イメージのダウンスケール、及び低解像度イメージの符号化を含み、従って、複雑な計算と低い効率とをもたらす。
図1に示すように、従来技術におけるビデオ会議システムは、端末1〜端末Nと、端末を接続するためのMCUとを含む。MCUは、独立型であってもよく、又は端末内に組み込まれていてもよい。
図1に示すビデオ会議システムを使用して会議を開催するプロセスは、以下のステップを含む。
ステップ1:システム内のMCUは、システム内の全ての端末の共通の最も高い会議能力を決定し、決定された共通の最も高い会議能力をシステム内の全ての端末に送信する。
ステップ2:共通の最も高い会議能力を認識した後で、システム内の各端末は、共通の最も高い会議能力に従ってイメージを符号化し、符号ストリームを送信する。
ステップ3:システム内のMCUは、端末によって送信された符号ストリームを受信し、符号ストリームを受信する必要がある端末に符号ストリームを送信する。
この方法は、次の欠点を有する。1つの低解像度端末が存在する限り、高解像度端末の間でイメージが伝送される場合でも、低解像度イメージのみが提示される。
図1に示すビデオ会議システムを使用して会議を開催する別のプロセスは、以下のステップを含む。
ステップ1:システム内のMCUは、システム内の全ての端末の会議能力を記録する。
ステップ2:符号ストリームを受信する端末の能力が符号ストリームを送信する端末の能力と一致しないことをMCUが見出した場合、MCUは、符号ストリームを送信する端末によって送信された符号ストリームを復号し、符号ストリームを受信する端末の能力に従ってイメージを符号化し、符号ストリームを受信する端末に符号ストリームを送信する。
ステップ1:システム内のMCUは、システム内の全ての端末の会議能力を記録する。
ステップ2:符号ストリームを受信する端末の能力が符号ストリームを送信する端末の能力と一致しないことをMCUが見出した場合、MCUは、符号ストリームを送信する端末によって送信された符号ストリームを復号し、符号ストリームを受信する端末の能力に従ってイメージを符号化し、符号ストリームを受信する端末に符号ストリームを送信する。
この方法は、次の欠点を有する。復号及び符号化が必要とされる。従って、計算が複雑であり、効率が低い。
図1に示すビデオ会議システムを使用して会議を開催する第3のプロセスは、以下のステップを含む。
システム内のMCUは、大きなピクチャの符号ストリームを受信し、大きなピクチャの符号ストリームを大きなピクチャのみを表示する端末に転送する。このピクチャを含む複数のピクチャを表示する必要がある端末については、すなわち、複数の小さなピクチャを表示する必要がある端末については、MCUは、符号ストリームを復号し、復号に由来するイメージをサブピクチャのサイズにダウンスケールし、ダウンスケールされたイメージを他のサブピクチャと組み合わせて大きなピクチャを形成し、組み合わされた大きなピクチャを符号化し、組み合わされた大きなピクチャの符号ストリームを、イメージを表示する必要がある端末に送信する。
この方法は、次の欠点を有する。各サブピクチャが復号及びダウンスケールされる必要があり、組み合わされた大きなピクチャが符号化される必要がある。従って、計算が複雑であり、効率が低い。
本発明の実施形態は、システム内の様々な表示能力の端末の表示要求(display
requirements)をサポートするためのマルチポイント会議を制御する方法及び装置を提供する。
requirements)をサポートするためのマルチポイント会議を制御する方法及び装置を提供する。
本発明による技術的解決法は、以下の通りである。
本発明の一実施形態では、マルチポイント会議を制御する方法が提供される。方法は、
各端末の解像度レイヤード符号化パラメータ(resolution−layered
coding parameters)を決定し、対応する端末に送信し、
各端末によって送信された符号ストリームを受信し、受信した符号ストリームの中から各端末のための符号ストリームを各端末の表示要求に従って選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、符号ストリームを対応する端末に送信する
ことを含む。
各端末の解像度レイヤード符号化パラメータ(resolution−layered
coding parameters)を決定し、対応する端末に送信し、
各端末によって送信された符号ストリームを受信し、受信した符号ストリームの中から各端末のための符号ストリームを各端末の表示要求に従って選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、符号ストリームを対応する端末に送信する
ことを含む。
本発明の一実施形態で提供されるMCUは、
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信するように構成された第1の処理ユニットと、
受信した符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、符号ストリームを対応する端末に送信するように構成された第2の処理ユニットと、
を含む。
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信するように構成された第1の処理ユニットと、
受信した符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、符号ストリームを対応する端末に送信するように構成された第2の処理ユニットと、
を含む。
本発明の一実施形態で提供されるマルチポイントビデオ会議ステムは、
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信し、受信した符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、復号可能な符号ストリームを対応する端末に送信するように構成されたMCUと、
送信されるイメージに対して受信した解像度レイヤード符号化パラメータに従って解像度レイヤード符号化を実行し、符号化されたストリームを送信し、受信した符号ストリームを復号するように構成された端末と、
を含む。
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信し、受信した符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、復号可能な符号ストリームを対応する端末に送信するように構成されたMCUと、
送信されるイメージに対して受信した解像度レイヤード符号化パラメータに従って解像度レイヤード符号化を実行し、符号化されたストリームを送信し、受信した符号ストリームを復号するように構成された端末と、
を含む。
本発明による技術的解決法では、解像度レイヤード符号化を制御するためにMCUを使用する。従って、レイヤリングプロトコル(layering protocol)をサポートする端末とレイヤリングプロトコルをサポートしない端末とがシステム内で共存することが可能である。加えて、計算が減少し、システム効率が向上する。
本発明の第1の実施形態は、コーデック方法である。図2に示すように、方法は、以下のステップを含む。
ステップ1:各端末の解像度レイヤード符号化パラメータが決定され、対応する端末に送信される。このステップを実行するエンティティは、システム内の全ての端末を制御するためのMCUであってもよい。
ステップ2:端末は、受信した解像度レイヤード符号化パラメータに従って、送信されるイメージに対して解像度レイヤード符号化を実行し、符号ストリームを送信する。符号ストリームは、MCUに送信されてもよい。
ステップ3:エンティティは、各端末によって送信された符号ストリームを受信し、受信された符号ストリームの中から、各端末によって復号される符号ストリームを、各端末のイメージ表示要求に従って選択し、選択された符号ストリームを、端末によって復号可能な符号ストリームにトランスコード又はマッピングし、復号可能な符号ストリームを、対応する端末に送信する。このステップを実行するエンティティは、MCUであってもよい。
ステップ4:端末は、受信された符号ストリームを復号して、表示可能なイメージを取得する。
解像度レイヤード符号化パラメータは、スケーラブルビデオコーディング(SVC)プロトコルによって決定された解像度レイヤード符号化パラメータ、又はH263プロトコルによって決定された解像度レイヤード符号化パラメータを含んでもよい。
この実施形態は、全ての端末が同時に通信する通常のビデオ適用例に適用可能であり、また、複数の端末のビデオ情報が1つの端末の画面内に同時に表示されるコンティニュアスプレゼンスビデオ適用例に適用可能である。以下の詳細な説明において、第2の実施形態は、通常のビデオ適用例に関するものであり、第3の実施形態は、コンティニュアスプレゼンスビデオ適用例に関するものである。
本発明の第2の実施形態は、以下のステップを含む。
ステップ1:各端末の基本レイヤ解像度(elementary layer resolution)が決定される。このステップを実行するエンティティは、システム内の全ての端末を制御するためのMCUであってもよい。基本レイヤ解像度が事前設定されている場合、事前設定された基本レイヤ解像度がどの端末の最も高い復号解像度よりも高くないことを確認する必要がある。基本レイヤ解像度が事前設定されていない場合、MCUによって決定される基本レイヤ解像度は、システム内の全ての端末の受信した復号解像度の間での共通の最も高い解像度であってもよい。
ステップ2:決定された基本レイヤ解像度、各端末の表示要求、及び事前設定された解像度レイヤード符号化標準に従って、各端末の基本レイヤ符号化標準、拡張符号化レイヤ(enhanced coding layers)の数、拡張レイヤ解像度、及び拡張レイヤ符号化標準が決定され、それらの対応する端末に送信される。
解像度が基本レイヤ解像度に等しい端末については、端末の符号化プロトコル(符号化標準)は基本レイヤ符号化プトロコルであり、符号化解像度は基本レイヤ解像度であることが決定される。この場合、事前設定された基本レイヤ符号化標準と、基本レイヤ解像度とが、この端末のみに送信される。
解像度が基本レイヤ解像度より高く、レイヤード符号化の能力がない端末については、端末の符号化プロトコルは基本レイヤ符号化プロトコルであり、符号化解像度は基本レイヤ解像度であることが決定される。この場合、事前設定された基本レイヤ符号化標準と、基本レイヤ解像度とが、この端末のみに送信される。
解像度が基本レイヤ解像度より高く、レイヤード符号化の能力がある端末については、端末の符号化プロトコルはレイヤード符号化プロトコルであり、基本レイヤ符号化解像度は基本レイヤ解像度であることが決定され、そして、拡張レイヤパラメータが以下の方法で決定されてもよい。解像度が、共通の最も高い能力より高く、少なくとも2つの端末によってサポートされる解像度が存在する場合、各解像度が拡張レイヤに対応し、かつ/又は、解像度がクラスタ化され、それぞれのクラスタ化された解像度が拡張レイヤに対応する。
基本レイヤ符号化標準は、アドバンストビデオコーディング(AVC)及びH263を含み、拡張レイヤ符号化標準は、SVC及びH263を含む。
ステップ3:端末は、受信した基本レイヤ解像度、基本レイヤ符号化標準、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準に従って、解像度レイヤード符号化を実行し、符号化されたストリームを送信する。端末が、基本レイヤ符号化標準及び基本レイヤ解像度のみを受信した場合、イメージは、基本レイヤ符号化標準に従って符号化される。端末が、基本レイヤ符号化標準、基本レイヤ解像度、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準を受信した場合、イメージは、基本レイヤ符号化標準、基本レイヤ解像度、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準に従って符号化される。
ステップ4:各端末によって送信された符号ストリームが受信され、端末の事前設定された復号要求に従って、各端末によって復号される符号ストリームが決定され、各端末の符号ストリーム復号能力に従って、各端末によって復号される符号ストリームが、各端末によって復号可能な符号ストリームにトランスコードされる。
すなわち、解像度が基本レイヤ解像度に等しい端末については、復号される基本レイヤ符号ストリームが選択され、解像度が共通の最も高い能力より高く、レイヤード復号の能力がある端末については、復号されるレイヤード符号ストリーム(基本レイヤ符号ストリーム及び拡張レイヤ符号ストリーム)が選択されるか、または、基本レイヤ及び拡張レイヤを含むレイヤード符号ストリームが基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングされ、解像度が共通の最も高い能力より高く、レイヤード復号の能力がない端末については、復号される基本レイヤ符号ストリームが選択されるか、または、基本レイヤ及び拡張レイヤを含むレイヤード符号ストリームが基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングされる。
トランスコード又はマッピングは、完全な復号の後の符号化であってもよく、また、複雑な変換計算を含まずドリフトエラーを発生させることもない、予測係数の直接的な調節とシンタクス及びセマンティクスの対応する調節とであってもよい。最後に、取得された符号ストリームが、それぞれの対応する端末に送信される。
例えば、システム内に存在する端末は、端末1、端末2、端末3、及び端末4であり、MCUは、各端末によって送信された符号ストリームを受信する。端末の事前設定されたイメージ表示要求が、端末1によって送信されたイメージを端末4が表示することである場合、MCUは、端末1によって送信された符号ストリームを、端末4によって復号される符号ストリームとして設定する。端末4が、AVC標準に従って符号化された符号ストリーム(すなわち、AVC符号ストリーム)のみを復号可能である場合、MCUは、端末1がSVC符号ストリームを送信する場合、復号される基本レイヤAVC符号ストリームを選択するか、または、MCUは、SVC符号ストリームをAVC符号ストリームにトランスコード又はマッピングし、符号ストリームを送信する。端末4が、SVC符号ストリームを復号可能である場合、端末1がSVC符号ストリームを送信する場合、MCUは、SVC符号ストリームを直接送信してもよく、または、MCUは、SVC符号ストリームをAVC符号ストリームにトランスコード又はマッピングし、符号ストリームを送信する。
この実施形態において提供されるマルチポイント会議制御を制御する方法を使用することにより、システムは、レイヤリングプロトコルをサポートする端末とレイヤリングプロトコルをサポートしない端末との両方を含むことができ、計算が減少し、システム効率が向上する。
この実施形態におけるMCUは、ビデオ会議システム内の端末上に設けられたMCU、又はシステム内の独立型のMCUであってもよい。
以下では、ビデオ会議システムが端末1、端末2、端末3、及び端末4を含み、端末1がMCUを含み、事前設定された解像度レイヤード符号化標準がSVC標準であると仮定して、本発明の第2の実施形態について説明する。端末1は、CIF、4CIF、及び720Pを復号する能力があり、端末2によって送信されたイメージを表示する必要があり、SVC符号ストリームを復号する。端末2の復号解像度が最も低い。端末2は、CIFを復号する能力があり、端末3によって送信されたイメージを表示する必要があり、AVC符号ストリームのみを復号する。端末3は、CIF及び4CIFを復号する能力があり、端末4によって送信されたイメージを表示する必要があり、SVC符号ストリームを復号する。端末4は、CIF、4CIF、及び720Pを復号する能力があり、端末1によって送信されたイメージを表示する必要があり、SVC符号ストリームを復号する。拡張レイヤ方法が適用される場合、すなわち、解像度が基本レイヤ解像度より大きく、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度が拡張レイヤに対応する場合、システムの実施プロセスは以下のステップを含む。
ステップ1:MCUは、ビデオ会議システム内の各端末によって送信された復号解像度能力を受信し、基本レイヤ解像度が端末2の復号解像度であることを決定する。
ステップ2:MCUは、決定された基本レイヤ解像度と、各端末の表示要求と、事前設定されたSVC解像度レイヤード符号化標準とに従って、ビデオ会議システム内の各端末の符号化モードを決定し、各端末の符号化モードを、対応する端末に送信する。端末1、3、及び4については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度である。拡張レイヤはSVC標準を符号化のために使用し、拡張符号化レイヤの数は以下の基準に従って決定される。解像度は基本レイヤ解像度より大きく、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度は拡張レイヤに対応する。従って、拡張符号化レイヤの数は2であり、拡張レイヤ1の解像度は4CIFであり、拡張レイヤ2の解像度は720Pである。端末2については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度(すなわち、CIF)であり、拡張レイヤは存在しない。端末3については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度(すなわち、CIF)であり、1つの拡張レイヤが存在し、拡張レイヤ1の解像度は4CIFである。端末1については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度(すなわち、CIF)であり、2つの拡張レイヤが存在し、拡張レイヤ1の解像度は4CIFであり、拡張レイヤ2の解像度は720Pである。
ステップ3:各端末は、受信した符号化モードに従ってイメージを符号化し、符号化されたストリームをMCUに送信する。すなわち、端末1、端末3、及び端末4は、SVC符号ストリームを送信し、端末2は、AVC符号ストリームを送信する。
ステップ4:各端末によって送信された符号ストリームを受信した後で、MCUは、端末の復号能力に従って符号ストリームを選択し、選択された符号ストリームをトランスコードして、送信する。すなわち、端末2によって送信された符号ストリーム(AVC符号ストリーム)は端末1に直接送信され、端末3によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤAVC符号ストリームが選択されて端末2に送信され、端末4によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤの符号ストリームと拡張レイヤ1の符号ストリームとが選択されて端末3に送信され、端末1によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤの符号ストリームと拡張レイヤ1の符号ストリームと拡張レイヤ2の符号ストリームとが選択されて端末4に送信される。
ステップ5:各端末は、受信した符号ストリームを復号する。
クラスタ化された解像度を使用した拡張レイヤ方法が適用される場合、システムの実施プロセスは以下のステップを含む。
ステップ1:MCUは、ビデオ会議システム内の各端末によって送信された復号解像度能力を受信し、基本レイヤ解像度が端末2の復号解像度であることを決定する。
ステップ2:MCUは、決定された基本レイヤ解像度と、各端末の表示要求と、事前設定されたSVC解像度レイヤード符号化標準とに従って、ビデオ会議システム内の各端末の符号化モードを決定し、各端末の符号化モードを、対応する端末に送信する。端末1、端末3、及び端末4については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度である。拡張レイヤはSVC標準を符号化のために使用し、拡張符号化レイヤの数は以下の基準に従って決定される。解像度は基本レイヤ解像度より大きく、少なくとも2つの端末によってサポートされる解像度のクラスタが存在する。従って、拡張符号化レイヤの数は1であり、拡張レイヤ1の解像度は4CIFである。端末2については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度は基本レイヤ解像度(すなわち、CIF)であり、拡張レイヤは存在しない。
ステップ3:各端末は、受信した符号化モードに従ってイメージを符号化し、符号化されたストリームをMCUに送信する。すなわち、端末1、端末3、及び端末4は、SVC符号ストリームを送信し、端末2は、AVC符号ストリームを送信する。
ステップ4:各端末によって送信された符号ストリームを受信した後で、MCUは、端末の復号能力に従って符号ストリームを選択し、選択された符号ストリームをトランスコードして、送信する。すなわち、端末2によって送信された符号ストリーム(AVC符号ストリーム)は端末1に直接送信され、端末3によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤAVC符号ストリームが選択されて端末2に送信され、端末4によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤの符号ストリームと拡張レイヤ1の符号ストリームとが選択されて端末3に送信される。
ステップ5:各端末は、受信された符号ストリームを復号する。
本発明の第3の実施形態は、以下のステップを含む。
ステップ1:各端末によって送信された解像度能力情報が受信される。各端末の解像度能力情報及び表示要求に従って、サブピクチャ解像度(subpicture resolution)と、コンボピクチャ解像度(combo picture resolution)とが決定される。解像度を決定するエンティティは、システム内のMCUであってもよい。
ステップ2:決定されたサブピクチャ解像度、コンボピクチャ解像度、及び事前設定された解像度レイヤード符号化標準に従って、各端末の基本レイヤ符号化標準、拡張符号化レイヤの数、及び拡張レイヤ符号化標準が決定され、対応する端末に送信される。
解像度がサブピクチャ解像度に等しい端末については、端末の符号化プロトコルは基本レイヤ符号化プロトコルであり、符号化解像度はサブピクチャ解像度であることが決定される。
解像度がサブピクチャ解像度より高く、レイヤード符号化の能力がない端末については、端末の符号化プロトコルは基本レイヤ符号化プロトコルであり、符号化解像度はサブピクチャ解像度であることが決定される。
解像度がサブピクチャ解像度より高く、レイヤード符号化の能力がある端末については、端末の符号化プロトコルはレイヤード符号化プロトコルであり、基本レイヤ符号化解像度はサブピクチャ解像度であり、拡張レイヤ符号化解像度はコンボピクチャ解像度であることが決定される。
ステップ3:端末は、受信された基本レイヤ解像度、基本レイヤ符号化標準、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準に従って、解像度レイヤード符号化を実行し、符号化されたストリームを送信する。端末が、基本レイヤ符号化標準及び基本レイヤ解像度のみを受信した場合、イメージは、基本レイヤ符号化標準に従って符号化される。端末が、基本レイヤ符号化標準、基本レイヤ解像度、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準を受信した場合、イメージは、基本レイヤ符号化標準、基本レイヤ解像度、拡張符号化レイヤの数、拡張レイヤ解像度、及び拡張レイヤ符号化標準に従って符号化される。
ステップ4:各端末によって送信された符号ストリームが受信される。複数の小さなピクチャを表示する必要がある端末については、復号及び表示のために選択された符号ストリーム(1つ又は複数)が組み合わされて基本レイヤ符号ストリームが直接形成され、かつ/又は、復号のために選択された符号ストリーム(1つ又は複数)が復号され、復号されたピクチャが組み合わされて大きなピクチャが形成される。その後、大きなピクチャが符号化されて、基本レイヤ符号ストリームが取得される。
復号能力に応じて、大きなピクチャを表示する必要がある端末は2つのモードで動作する。レイヤード復号の能力がある端末については、復号されるサブピクチャ符号ストリームと復号される拡張レイヤ符号ストリームとが選択されるか、または、サブピクチャ符号ストリームと拡張レイヤ符号ストリームとを含むレイヤード符号ストリームが基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングされる。
レイヤード復号の能力がない端末については、サブピクチャ符号ストリームと拡張レイヤ符号ストリームとを含むレイヤード符号ストリームが、基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングされる。
例えば、本発明の第3の実施形態において、マルチピクチャビデオ会議は、端末1と、端末2と、端末3と、端末4と、MCUとを含み、事前設定された符号化標準はSVCである。端末1は、CIF、4CIF、及び720Pを復号する能力があり、端末2によって送信されたイメージを表示する必要があり、SVC符号ストリームを復号する。端末2の復号解像度が最も低い。端末2は、CIFを復号する能力があり、端末3によって送信されたイメージを表示する必要があり、AVC符号ストリームのみを復号する。端末3は、CIF及び4CIFを復号する能力があり、端末1、端末2、及び端末4によって送信されたイメージを表示する必要があり、SVC符号ストリームを復号する。端末4は、CIF、4CIF、及び720Pを復号する能力がある。拡張レイヤ方法が適用される場合、すなわち、解像度が基本レイヤ解像度より大きく、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度が拡張レイヤに対応する場合、システムの実施プロセスは以下のステップを含む。
ステップ1:MCUは、ビデオ会議システム内の各端末によって送信された復号解像度能力を受信し、サブピクチャ解像度がCIFであり、コンボピクチャ解像度が4CIFであることを決定する。
ステップ2:各端末のレイヤリングパラメータが決定され、各端末の符号化モードが、対応する端末に送信される。端末1、端末3、及び端末4については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度はサブピクチャ解像度「CIF」である。拡張レイヤはSVC標準を符号化のために使用し、拡張符号化レイヤの数は以下の基準に従って決定される。解像度は基本レイヤ解像度より大きく、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度は拡張レイヤに対応する。従って、拡張符号化レイヤの数は2であり、拡張レイヤ1の解像度は4CIFであり、拡張レイヤ2の解像度は720Pである。端末2については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度はサブピクチャ解像度(すなわち、CIF)であり、拡張レイヤは存在しない。
ステップ3:各端末は、受信された符号化モードに従ってイメージを符号化し、符号化されたストリームをMCUに送信する。すなわち、端末1、端末3、及び端末4は、SVC符号ストリームを送信し、端末2は、AVC符号ストリームを送信する。
ステップ4:各端末によって送信された符号ストリームを受信した後で、MCUは、端末の復号能力及び表示要求に従って符号ストリームをトランスコードし、送信する。すなわち、端末1及び2は小さなピクチャを表示する必要がないため、端末1及び2に向けられた符号ストリームの処理は第2の実施形態における処理と同じであり、すなわち、端末2によって送信された符号ストリーム(AVC符号ストリーム)は端末1に直接送信され、端末3によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤAVC符号ストリームが選択されて端末2に送信される。
端末3はコンボピクチャを表示する必要があるため、MCUは、端末1によって送信された基本レイヤAVC符号ストリームと、端末2によって送信されたAVC符号ストリームと、端末4によって送信された基本レイヤAVC符号ストリームとを直接選択して、大きなピクチャの基本レイヤAVC符号ストリームを構成してもよく、そして、端末3に送信する。
ステップ5:マルチピクチャビデオ会議システム内の各端末は、受信した符号ストリームを復号する。コンボピクチャを表示する必要がある端末3については、受信したコンボピクチャの基本レイヤ符号ストリームが復号される。
クラスタ化された解像度を使用した拡張レイヤ方法が適用される場合、システムの実施プロセスは以下のステップを含む。
ステップ1:MCUは、ビデオ会議システム内の各端末によって送信された復号解像度能力を受信し、サブピクチャ解像度がCIFであり、コンボピクチャ解像度が4CIFであることを決定する。
ステップ2:各端末のレイヤリングパラメータが決定され、各端末の符号化モードが、対応する端末に送信される。端末1、端末3、及び端末4については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度はサブピクチャ解像度「CIF」である。拡張レイヤはSVC標準を符号化のために使用し、拡張符号化レイヤの数は以下の基準に従って決定される。解像度は共通の最も高い能力より大きく、少なくとも2つの端末によってサポートされる解像度のクラスタが存在する。従って、拡張符号化レイヤの数は1であり、拡張レイヤ1の解像度は4CIFである。端末2については、基本レイヤはAVC標準を符号化のために使用し、符号化解像度はサブピクチャ解像度(すなわち、CIF)であり、拡張レイヤは存在しない。
ステップ3:各端末は、受信された符号化モードに従ってイメージを符号化し、符号化されたストリームをMCUに送信する。すなわち、端末1、端末3、及び端末4は、SVC符号ストリームを送信し、端末2は、AVC符号ストリームを送信する。
ステップ4:各端末によって送信された符号ストリームを受信した後で、MCUは、端末の復号能力及び表示要求に従って符号ストリームをトランスコードし、送信する。すなわち、端末1及び2は小さなピクチャを表示する必要がないため、端末1及び2に向けられた符号ストリームの処理は第2の実施形態における処理と同じであり、すなわち、端末2によって送信された符号ストリーム(AVC符号ストリーム)は端末1に直接送信され、端末3によって送信された符号ストリーム(SVC符号ストリーム)のうち基本レイヤAVC符号ストリームが選択されて端末2に送信される。
端末3はコンボピクチャを表示する必要があるため、MCUは、選択された端末1によって送信された基本レイヤAVC符号ストリームと、端末2によって送信されたAVC符号ストリームと、端末4によって送信された基本レイヤAVC符号ストリームとを復号してもよい。MCUは、復号されたストリームを組み合わせて大きなピクチャを形成し、大きなピクチャを符号化して、基本レイヤAVC符号ストリームを取得し、端末3に送信する。
ステップ5:マルチピクチャビデオ会議システム内の各端末は、受信した符号ストリームを復号する。コンボピクチャを表示する必要がある端末3については、受信したコンボピクチャの基本レイヤ符号ストリームが復号される。
この実施形態において提供されるマルチポイント会議制御を制御する方法を使用することにより、システムは、レイヤリングプロトコルをサポートする端末とレイヤリングプロトコルをサポートしない端末との両方を含むことができ、計算が減少し、システム効率が向上する。
本発明の第4の実施形態は、マルチポイント会議システムである。図3に示すように、システムは、MCUと、端末内に設けられたコーデック装置と、を含む。MCUは、
各端末の解像度レイヤード符号化パラメータを決定し、各端末の第1の処理ユニットにそれぞれ送信し、
受信された符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、
各端末によって復号可能な符号ストリームを各端末の第2の処理ユニットにそれぞれ送信するように構成される。
各端末の解像度レイヤード符号化パラメータを決定し、各端末の第1の処理ユニットにそれぞれ送信し、
受信された符号ストリームの中から各端末によって表示される符号ストリームを選択し、選択された符号ストリームを端末によって復号可能な符号ストリームにトランスコード又はマッピングし、
各端末によって復号可能な符号ストリームを各端末の第2の処理ユニットにそれぞれ送信するように構成される。
第1の処理ユニットは、情報受信ユニットと、パラメータ決定ユニットと、パラメータ送信ユニットと、を含む。
情報受信ユニットは、各端末の表示要求と解像度能力情報とを受信するように構成される。
パラメータ決定ユニットは、第1のパラメータ決定ユニット、及び/又は、第2のパラメータ決定ユニットを含む。
第1のパラメータ決定ユニットは、通常のビデオ会議適用例において適用され、そして、情報受信ユニットによって受信した各端末の表示要求と解像度能力情報とに従って、全ての端末の復号解像度の共通の最も高い解像度を、基本レイヤ解像度として決定し、各端末の解像度レイヤード符号化パラメータを決定するように構成される。解像度レイヤード符号化パラメータは次のようにして決定されてもよい。解像度が共通の最も高い能力に等しい端末については、端末の符号化プロトコルは基本レイヤ符号化プトロコルであり、符号化解像度は基本レイヤ解像度であることが決定される。解像度が共通の最も高い能力より高く、レイヤード符号化の能力がない端末については、端末の符号化プロトコルは基本レイヤ符号化プロトコルであり、符号化解像度は基本レイヤ解像度であることが決定される。解像度が共通の最も高い能力より高く、レイヤード符号化の能力がある端末については、端末の符号化プロトコルはレイヤード符号化プロトコルであり、基本レイヤ符号化解像度は基本レイヤ解像度であることが決定され、拡張レイヤパラメータが決定される。拡張レイヤパラメータは以下の基準に従って決定されてもよい。解像度が基本レイヤ解像度より高く、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度が拡張レイヤに対応し、かつ/又は、解像度がクラスタ化され、それぞれのクラスタ化された解像度が拡張レイヤに対応する。
第2のパラメータ決定ユニットは、マルチピクチャビデオ会議システムにおいて適用され、各端末の解像度能力情報と表示要求とに従ってサブピクチャ解像度及びコンボピクチャ解像度を決定し、各端末の解像度レイヤード符号化パラメータを決定するように構成される。解像度レイヤード符号化パラメータは、次のようにして決定されてもよい。マルチピクチャビデオ会議システムにおいて、解像度がサブピクチャ解像度に等しい端末については、端末の符号化プロトコルは基本レイヤ符号化プトロコルであり、符号化解像度はサブピクチャ解像度であることが決定され、解像度がサブピクチャ解像度より高くレイヤード符号化の能力がない端末については、端末の符号化プロトコルは基本レイヤ符号化プロトコルであり、符号化解像度はサブピクチャ解像度であることが決定され、解像度がサブピクチャ解像度より高くレイヤード符号化の能力がある端末については、端末の符号化プロトコルはレイヤード符号化プロトコルであり、基本レイヤ符号化解像度はサブピクチャ解像度であることが決定され、拡張レイヤパラメータが決定される。拡張レイヤパラメータは以下の基準に従って決定されてもよい。解像度が基本レイヤ解像度より高く、少なくとも2つの端末によってサポートされる解像度が存在し、各解像度が拡張レイヤに対応し、かつ/又は、解像度がクラスタ化され、それぞれのクラスタ化された解像度が拡張レイヤに対応する。
パラメータ送信ユニットは、パラメータ決定ユニットによって決定された、各端末の解像度レイヤード符号化パラメータを、パラメータの対応する端末に送信するように構成される。
第2の処理ユニットは、符号ストリーム受信ユニットと、符号ストリーム選択ユニットと、符号ストリームトランスコード又はマッピングユニットと、符号ストリーム送信ユニットと、を含む。
符号ストリーム受信ユニットは、各端末によって送信された符号ストリームを受信するように構成される。
符号ストリーム選択ユニットは、受信された符号ストリームの中から、各端末によって表示される符号ストリームを選択するように構成される。
符号ストリームトランスコード又はマッピングユニットは、符号ストリーム選択ユニットによって選択された符号ストリームを、端末によって復号可能な符号ストリームにトランスコード又はマッピングするように構成される。符号ストリームトランスコード又はマッピングユニットは、第1のトランスコード又はマッピングユニット、及び/又は、第2のトランスコード又はマッピングユニット、及び/又は、第3のトランスコード又はマッピングユニットを含む。
第1のトランスコード又はマッピングユニットは、通常のビデオ会議のシナリオにおいて適用され、
解像度が基本レイヤ解像度に等しい端末については、復号される基本レイヤ符号ストリームを選択し、
解像度が基本レイヤ解像度より高くレイヤード復号の能力がある端末については、復号される基本レイヤ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、または、基本レイヤと拡張レイヤとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングし、
解像度が基本レイヤ解像度より高くレイヤード復号の能力がない端末については、復号される基本レイヤ符号ストリームを選択するか、または、基本レイヤと拡張レイヤとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングするように構成される。
解像度が基本レイヤ解像度に等しい端末については、復号される基本レイヤ符号ストリームを選択し、
解像度が基本レイヤ解像度より高くレイヤード復号の能力がある端末については、復号される基本レイヤ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、または、基本レイヤと拡張レイヤとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングし、
解像度が基本レイヤ解像度より高くレイヤード復号の能力がない端末については、復号される基本レイヤ符号ストリームを選択するか、または、基本レイヤと拡張レイヤとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングするように構成される。
第2のトランスコード又はマッピングユニットは、マルチピクチャビデオのシナリオにおいて適用され、復号のために選択された符号ストリーム(1つ又は複数)を組み合わせて基本レイヤ符号ストリームを直接形成し、かつ/又は、選択された符号ストリーム(1つ又は複数)を復号し、復号されたピクチャを組み合わせて大きなピクチャを形成し、大きなピクチャを符号化して基本レイヤ符号ストリームを取得するように構成される。
第3のトランスコード又はマッピングユニットは、マルチピクチャビデオ会議のシナリオにおいて適用され、レイヤード復号の能力がある端末については、復号されるサブピクチャ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、または、サブピクチャ符号ストリームと拡張レイヤ符号ストリームとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングし、レイヤード復号の能力がない端末については、サブピクチャ符号ストリームと拡張レイヤ符号ストリームとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングするように構成される。
符号ストリーム送信ユニットは、トランスコード又はマッピングされた符号ストリームを、それらの対応する端末に送信するように構成される。
コーデック装置は、
解像度レイヤード符号化パラメータを受信するように構成されたパラメータ受信ユニットと、
パラメータ受信ユニットによって受信された解像度レイヤード符号化パラメータに従って、送信されるイメージに対して解像度レイヤード符号化を実行し、符号化されたストリームを送信するように構成された符号化ユニットと、
受信された符号ストリームを復号するように構成された復号ユニットと、
を含む。
解像度レイヤード符号化パラメータを受信するように構成されたパラメータ受信ユニットと、
パラメータ受信ユニットによって受信された解像度レイヤード符号化パラメータに従って、送信されるイメージに対して解像度レイヤード符号化を実行し、符号化されたストリームを送信するように構成された符号化ユニットと、
受信された符号ストリームを復号するように構成された復号ユニットと、
を含む。
この実施形態において提供されるマルチポイント会議システムは、レイヤリングプロトコルをサポートする端末とレイヤリングプロトコルをサポートしない端末との両方を含むことができ、従って、計算を減少させ、システム効率を向上させる。
前述の実施形態の説明を介して、当業者は、本発明が、ハードウェアのみを使用することによって、又は、ソフトウェアと必要な汎用ハードウェアプラットフォームとを使用することによって実施されることが可能であるということを理解するであろう。そのような理解に基づいて、本発明の技術的解決法は、ソフトウェア製品の形態で実施されてもよい。ソフトウェア製品は、コンパクトディスク読み取り専用メモリ(CD−ROM)、ユニバーサルシリアルバス(USB)フラッシュドライブ、又はリムーバブルハードドライブであってもよい不揮発性記憶媒体に記憶されてもよい。ソフトウェア製品は、本発明の実施形態において提供された方法をコンピュータ装置(パーソナルコンピュータ、サーバ、又はネットワーク装置)が実行することを可能にする複数の命令を含む。
結論として、上記は本発明の好ましい実施形態にすぎない。しかし、本発明の範囲はそれに限定されない。本発明の技術的範囲内の当業者に容易に明白となる変更又は置換は本発明の範囲に入る。従って、本発明の保護範囲は添付の特許請求の範囲によって決まる。
本出願は、2008年5月23日に中国専利局に出願された、「Method and
Apparatus for Controlling Multipoint Conference(マルチポイント会議を制御する方法及び装置)」と題された中国特許出願第200810112398.2号の優先権を主張するものであり、当該出願はその全体が参照によって本明細書中に援用される。
本出願は、2008年5月23日に中国専利局に出願された、「Method and
Apparatus for Controlling Multipoint Conference(マルチポイント会議を制御する方法及び装置)」と題された中国特許出願第200810112398.2号の優先権を主張するものであり、当該出願はその全体が参照によって本明細書中に援用される。
Claims (13)
- マルチポイント制御ユニット(MCU)が、各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信することと、
前記MCUが、各端末から送信された符号ストリームを受信し、前記符号ストリームは、前記解像度レイヤ符号化パラメータに従って画像に解像度レイヤ符号化を実行する端末により生成され、前記受信した符号ストリームの中から各端末によって表示される符号ストリームを各端末の表示要求に従って選択し、前記選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、前記復号可能な符号ストリームを前記対応する端末に送信することと、
を含み、
前記MCUが、各端末の解像度レイヤード符号化パラメータを決定することは、
各端末によって送信された端末の解像度能力情報を受信することと、
受信した各端末の解像度能力情報に従って、全ての端末の復号解像度の共通の最も高い解像度を基本レイヤ解像度であることを決定することと、
前記決定された基本レイヤ解像度に従って各端末の前記解像度レイヤード符号化パラメータを決定することと、
を含む、
マルチポイント会議を制御する方法。 - 前記決定された基本レイヤ解像度に従って各端末の前記解像度レイヤード符号化パラメータを決定することは、
解像度が前記基本レイヤ解像度に等しい端末について、前記端末の符号化プロトコルが基本レイヤ符号化プロトコルであり、符号化解像度が前記基本レイヤ解像度であることを決定すること、又は、
解像度が前記基本レイヤ解像度より高くレイヤード符号化の能力がない端末について、前記端末の符号化プロトコルが前記基本レイヤ符号化プロトコルであり、前記符号化解像度が前記基本レイヤ解像度であることを決定すること、又は、
解像度が前記基本レイヤ解像度より高くレイヤード符号化の能力がある端末について、前記端末の符号化プロトコルがレイヤード符号化プロトコルであり、基本レイヤ符号化解像度が前記基本レイヤ解像度であることを決定し、拡張レイヤパラメータを決定すること、
を含む、請求項1に記載の方法。 - 前記拡張レイヤパラメータを決定することは、
解像度が前記基本レイヤ解像度よりも高く、解像度が少なくとも2つの端末によりサポートされ、各解像度が拡張レイヤに対応するという基準に従って前記拡張レイヤパラメータを決定することを含むか、及び/又は、
前記解像度をクラスタ化することを含み、それぞれの前記クラスタ化される解像度が拡張レイヤに相当する、
請求項2に記載の方法。 - 前記選択された符号ストリームを前記対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングすることは、
解像度が前記基本レイヤ解像度に等しい端末について、復号される基本レイヤ符号ストリームを選択すること、または、
解像度が前記基本レイヤ解像度より高くレイヤード復号の能力がある端末について、復号される前記基本レイヤ符号ストリーム及び復号される拡張レイヤ符号ストリームを選択するか、又は、基本レイヤ及び拡張レイヤを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングすること、または、
解像度が前記基本レイヤ解像度より高くレイヤード復号の能力がない端末について、復号される前記基本レイヤ符号ストリームを選択するか、又は、前記基本レイヤ及び前記拡張レイヤを含む前記レイヤード符号ストリームを前記基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングすること、
を含む、請求項2に記載の方法。 - マルチポイント会議を制御する方法であって、
マルチポイント制御ユニット(MCU)が、各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信することと、
前記MCUが、各端末から送信された符号ストリームを受信し、前記符号ストリームは、前記解像度レイヤ符号化パラメータに従って画像に解像度レイヤー符号化を実行する端末により生成され、前記受信した符号ストリームの中から各端末によって表示される符号ストリームを各端末の表示要求に従って選択し、前記選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、前記復号可能な符号ストリームを前記対応する端末に送信することと、
を含み、
前記MCUが、前記各端末の前記解像度レイヤード符号化パラメータを決定することは、
各端末によって送信された解像度能力情報を受信し、前記解像度能力情報と表示要求とに従ってサブピクチャ解像度とコンボピクチャ解像度とを決定することと、
前記サブピクチャ解像度と前記コンボピクチャ解像度とに従って各端末の前記解像度レイヤード符号化パラメータを決定することと、
を含む、
マルチポイント会議を制御する方法。 - 前記サブピクチャ解像度と前記コンボピクチャ解像度とに従って各端末の前記解像度レイヤード符号化パラメータを決定することは、
解像度が前記サブピクチャ解像度に等しい端末について、前記端末の符号化プロトコルが基本レイヤ符号化プロトコルであり、符号化解像度が前記サブピクチャ解像度であることを決定すること、又は、
解像度が前記サブピクチャ解像度より高くレイヤード符号化の能力がない端末について、前記端末の符号化プロトコルが前記基本レイヤ符号化プロトコルであり、前記符号化解像度が前記サブピクチャ解像度であることを決定すること、又は、
解像度が前記サブピクチャ解像度より高くレイヤード符号化の能力がある端末について、前記端末の符号化プロトコルがレイヤード符号化プロトコルであり、基本レイヤ符号化解像度が前記サブピクチャ解像度であり、拡張レイヤ符号化解像度が前記コンボピクチャ解像度であることを決定し、拡張レイヤパラメータを決定すること、
を含む、請求項5に記載の方法。 - 前記拡張レイヤパラメータを決定することは、
前記解像度が前記基本レイヤ解像度より大きく、解像度が少なくとも2つの端末によってサポートされ、各解像度が拡張レイヤに対応するという基準に従って、前記拡張レイヤパラメータを決定することを含み、及び/又は、
前記解像度をクラスタ化することを含み、それぞれのクラスタ化された解像度が拡張レイヤに対応する、
請求項5に記載の方法。 - 前記選択された符号ストリームを前記対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングすることは、
復号される1つ以上の選択された符号ストリームを組み合わせて基本レイヤ符号ストリームを形成すること、及び/又は、
復号される前記1つ以上の選択された符号ストリームを復号し、復号されたピクチャを組み合わせて大きなピクチャを形成し、前記大きなピクチャを符号化して基本レイヤ符号ストリームを取得すること、
を含む、請求項5に記載の方法。 - 前記選択された符号ストリームを前記対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングすることは、
レイヤード復号の能力がある端末について、復号されるサブピクチャ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、又は、前記サブピクチャ符号ストリームと前記拡張レイヤ符号ストリームとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングすること、または、
レイヤード復号の能力がない端末について、前記サブピクチャ符号ストリームと前記拡張レイヤ符号ストリームとを含む前記レイヤード符号ストリームを前記基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングすること、
を含む、請求項5に記載の方法。 - マルチポイント制御ユニット(MCU)であって、
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信するように構成された第1の処理ユニットと、
各端末から送信された受信符号ストリームの中から各端末によって表示される符号ストリームを選択し、前記符号ストリームは、前記解像度レイヤ符号化パラメータに従って画像に解像度レイヤ符号化を実行する端末により生成され、前記選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、前記復号可能な符号ストリームを前記対応する端末に送信するように構成された第2の処理ユニットと、
を備え、
前記第1の処理ユニットは、
各端末の表示要求と解像度能力情報とを受信するように構成された情報受信ユニットと、
前記情報受信ユニットによって受信された各端末の表示要求と解像度能力情報とに従って、全ての端末の復号解像度の共通の最も高い解像度を基本レイヤ解像度として決定し、各端末の解像度レイヤ符号化パラメータを決定し、又は、各端末の前記解像度能力情報と表示要求とに従って、サブピクチャ解像度及びコンボピクチャ解像度を決定し、各端末の解像度レイヤード符号化パラメータを決定するように構成されたパラメータ決定ユニットと、
前記パラメータ決定ユニットによって決定された各端末の解像度レイヤード符号化パラメータを前記パラメータの前記対応する端末に送信するように構成されたパラメータ送信ユニットと、
を備える、MCU。 - 前記第2の処理ユニットは、符号ストリーム選択ユニットと、符号ストリームトランスコード又はマッピングユニットと、符号ストリーム送信ユニットと、を備え、
前記符号ストリーム選択ユニットは、前記受信した符号ストリームの中から各端末によって表示される前記符号ストリームを選択するように構成され、
前記符号ストリームトランスコード又はマッピングユニットは、前記符号ストリーム選択ユニットによって選択された前記符号ストリームを前記対応する端末によって復号可能な前記符号ストリームにトランスコード又はマッピングするように構成され、前記符号ストリームトランスコード又はマッピングユニットは、第1のトランスコード又はマッピングユニット、及び/又は、第2のトランスコード又はマッピングユニット、及び/又は、第3のトランスコード又はマッピングユニットを含み、
前記第1のトランスコード又はマッピングユニットは、解像度が基本レイヤ解像度に等しい端末について、復号される基本レイヤ符号ストリームを選択し、解像度が前記基本レイヤ解像度より高くレイヤード復号の能力がある端末について、復号される前記基本レイヤ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、または、基本レイヤと拡張レイヤとを含むレイヤード符号ストリームを基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングし、解像度が前記基本レイヤ解像度より高くレイヤード復号の能力がない端末について、復号される前記基本レイヤ符号ストリームを選択するか、または、前記基本レイヤと前記拡張レイヤとを含む前記レイヤード符号ストリームを前記基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングするように構成され、
前記第2のトランスコード又はマッピングユニットは、復号のための1つ以上の選択された符号ストリームを組み合わせて基本レイヤ符号ストリームを直接形成し、かつ/又は、前記1つ以上の選択された符号ストリームを復号し、復号されたピクチャを組み合わせて大きなピクチャを形成し、前記大きなピクチャを符号化して基本レイヤ符号ストリームを取得するように構成され、
前記第3のトランスコード又はマッピングユニットは、レイヤード復号の能力がある端末について、復号されるサブピクチャ符号ストリームと復号される拡張レイヤ符号ストリームとを選択するか、または、前記サブピクチャ符号ストリームと前記拡張レイヤ符号ストリームとを含むレイヤード符号ストリームを前記基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングし、レイヤード復号の能力がない端末について、前記サブピクチャ符号ストリームと前記拡張レイヤ符号ストリームとを含む前記レイヤード符号ストリームを前記基本レイヤ符号化標準の符号ストリームにトランスコード又はマッピングするように構成され、
前記符号ストリーム送信ユニットは、前記トランスコード又はマッピングされた符号ストリームを対応する端末に送信するように構成される、
請求項10に記載のMCU。 - マルチポイント会議システムであって、
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信し、受信した符号ストリームの中から各端末によって表示される符号ストリームを選択し、前記選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、前記復号可能な符号ストリームを前記対応する端末に送信するように構成されたマルチポイント制御ユニット(MCU)と、
受信した解像度レイヤード符号化パラメータに従って送信されるイメージに対して解像度レイヤード符号化を実行し、符号化されたストリームを送信し、受信した符号ストリームを復号するように構成された端末と、
を備え、
前記MCUは、
各端末の解像度レイヤード符号化パラメータを決定し、対応する端末に送信するように構成された第1の処理ユニットと、
各端末から送信された受信符号ストリームの中から各端末によって表示される符号ストリームを選択し、前記符号ストリームは、前記解像度レイヤ符号化パラメータに従って画像に解像度レイヤ符号化を実行する端末により生成され、前記選択された符号ストリームを対応する端末によって復号可能な符号ストリームにトランスコード又はマッピングし、前記復号可能な符号ストリームを前記対応する端末に送信するように構成された第2の処理ユニットと、
を備え、
前記第1の処理ユニットは、
各端末の表示要求と解像度能力情報とを受信するように構成された情報受信ユニットと、
前記情報受信ユニットによって受信された各端末の表示要求と解像度能力情報とに従って、全ての端末の復号解像度の共通の最も高い解像度を基本レイヤ解像度として決定し、各端末の解像度レイヤ符号化パラメータを決定し、又は、各端末の前記解像度能力情報と表示要求とに従って、サブピクチャ解像度及びコンボピクチャ解像度を決定し、各端末の解像度レイヤード符号化パラメータを決定するように構成されたパラメータ決定ユニットと、
前記パラメータ決定ユニットによって決定された各端末の解像度レイヤード符号化パラメータを前記パラメータの前記対応する端末に送信するように構成されたパラメータ送信ユニットと、
を備える、
マルチポイント会議システム。 - 前記端末は、
前記解像度レイヤード符号化パラメータを受信するように構成されたパラメータ受信ユニットと、
前記パラメータ受信ユニットによって受信された前記解像度レイヤード符号化パラメータに従って、送信される前記イメージに対して解像度レイヤード符号化を実行し、前記符号化されたストリームを送信するように構成された符号化ユニットと、
前記受信された符号ストリームを復号するように構成された復号ユニットと、
を備える、請求項12に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810112398.2 | 2008-05-23 | ||
CN200810112398.2A CN101588252B (zh) | 2008-05-23 | 2008-05-23 | 一种多点会议的控制方法及装置 |
PCT/CN2009/071860 WO2009140913A1 (zh) | 2008-05-23 | 2009-05-20 | 一种多点会议的控制方法及装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011521570A JP2011521570A (ja) | 2011-07-21 |
JP2011521570A5 true JP2011521570A5 (ja) | 2013-02-28 |
JP5337237B2 JP5337237B2 (ja) | 2013-11-06 |
Family
ID=41339783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011509845A Active JP5337237B2 (ja) | 2008-05-23 | 2009-05-20 | マルチポイント会議の制御方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8339440B2 (ja) |
EP (1) | EP2288152A4 (ja) |
JP (1) | JP5337237B2 (ja) |
KR (1) | KR101224097B1 (ja) |
CN (1) | CN101588252B (ja) |
WO (1) | WO2009140913A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588252B (zh) | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | 一种多点会议的控制方法及装置 |
CN101888395A (zh) * | 2009-05-13 | 2010-11-17 | 华为技术有限公司 | 一种数据的同步方法、widget终端及服务器 |
US9516272B2 (en) * | 2010-03-31 | 2016-12-06 | Polycom, Inc. | Adapting a continuous presence layout to a discussion situation |
JPWO2011148887A1 (ja) * | 2010-05-24 | 2013-07-25 | 日本電気株式会社 | 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム |
JP5767456B2 (ja) * | 2010-10-18 | 2015-08-19 | キヤノン株式会社 | 映像処理装置及びその制御方法、及びプログラム |
CN102480613B (zh) * | 2010-11-25 | 2014-01-01 | 中兴通讯股份有限公司 | 会议电视系统的终端的视频监控方法、装置及系统 |
CN102572368A (zh) * | 2010-12-16 | 2012-07-11 | 中兴通讯股份有限公司 | 分布式视频的处理方法、系统及多点控制单元 |
US20120169835A1 (en) * | 2011-01-05 | 2012-07-05 | Thomas Woo | Multi-party audio/video conference systems and methods supporting heterogeneous endpoints and progressive personalization |
CN102761731B (zh) * | 2011-04-29 | 2015-09-09 | 华为终端有限公司 | 数据内容的显示方法、装置和系统 |
CN102833519A (zh) * | 2011-06-14 | 2012-12-19 | 华为终端有限公司 | 视频图像的适配处理方法、设备及系统 |
US10045089B2 (en) * | 2011-08-02 | 2018-08-07 | Apple Inc. | Selection of encoder and decoder for a video communications session |
CN102638705A (zh) * | 2011-12-09 | 2012-08-15 | 中兴通讯股份有限公司 | 一种cms中转码参数模板化方法及转码系统 |
CN103248882A (zh) * | 2012-02-02 | 2013-08-14 | 腾讯科技(深圳)有限公司 | 多媒体数据传输的方法、多媒体数据传输装置及系统 |
CN102547214B (zh) | 2012-02-22 | 2013-05-29 | 腾讯科技(深圳)有限公司 | 一种多人视频通信中的视频编码方法以及终端 |
JP6260101B2 (ja) | 2012-05-01 | 2018-01-17 | 株式会社リコー | 通信端末、起動方法及びプログラム |
WO2014046916A1 (en) | 2012-09-21 | 2014-03-27 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
KR20160048199A (ko) | 2013-08-29 | 2016-05-03 | 브이아이디 스케일, 인크. | 사용자 적응 영상 통화 |
EP2884743A1 (en) * | 2013-12-12 | 2015-06-17 | Alcatel Lucent | Process for managing the exchanges of video streams between users of a video conference service |
US9369668B2 (en) * | 2014-03-14 | 2016-06-14 | Cisco Technology, Inc. | Elementary video bitstream analysis |
JP6150134B2 (ja) * | 2014-03-24 | 2017-06-21 | ソニー株式会社 | 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体 |
JP6269835B2 (ja) | 2014-07-22 | 2018-01-31 | 株式会社リコー | 制御システム、通信端末、通信システム、制御方法、及びプログラム |
US9350772B2 (en) * | 2014-10-24 | 2016-05-24 | Ringcentral, Inc. | Systems and methods for making common services available across network endpoints |
US9398085B2 (en) | 2014-11-07 | 2016-07-19 | Ringcentral, Inc. | Systems and methods for initiating a peer-to-peer communication session |
CN104410861A (zh) * | 2014-11-24 | 2015-03-11 | 华为技术有限公司 | 视频编码方法及装置 |
WO2016114270A1 (ja) | 2015-01-15 | 2016-07-21 | 株式会社リコー | 制御システム、通信端末、通信システム、制御方法、及びプログラム |
CN104580993A (zh) * | 2015-01-15 | 2015-04-29 | 深圳市捷视飞通科技有限公司 | 一种无线数字视频多点通讯方法 |
JP6536068B2 (ja) | 2015-02-19 | 2019-07-03 | 株式会社リコー | 制御システム、通信システム、制御方法、及びプログラム |
US9609275B2 (en) * | 2015-07-08 | 2017-03-28 | Google Inc. | Single-stream transmission method for multi-user video conferencing |
CN108390816B (zh) * | 2015-09-23 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 网络通话方法和装置 |
CN105681826B (zh) * | 2016-01-08 | 2019-08-23 | 全时云商务服务股份有限公司 | 视频数据传输系统和方法以及视频数据解码方法 |
KR101770070B1 (ko) * | 2016-08-16 | 2017-08-21 | 라인 가부시키가이샤 | 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템 |
CN108206923B (zh) * | 2016-12-16 | 2020-10-27 | 展讯通信(上海)有限公司 | 多路视频通话的实现方法、装置及多通终端 |
CN109217980B (zh) | 2017-07-03 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 一种编解码能力配置方法、设备和计算机存储介质 |
US11575922B2 (en) * | 2017-12-06 | 2023-02-07 | V-Nova International Limited | Methods and apparatuses for hierarchically encoding and decoding a bytestream |
CN109936750B (zh) * | 2017-12-15 | 2022-04-19 | 华平信息技术股份有限公司 | 通信系统、微控制器及其应用的视频转码方法及系统 |
CN113132640B (zh) * | 2018-08-27 | 2024-01-09 | 深圳市大疆创新科技有限公司 | 图像呈现方法、图像获取设备及终端装置 |
CN109327728B (zh) * | 2018-11-23 | 2021-10-15 | 深圳市鹰硕技术有限公司 | 一种一对多同屏方法、装置和系统、同屏设备及存储介质 |
CN112738565B (zh) * | 2020-12-22 | 2023-08-18 | 广州开得联智能科技有限公司 | 互动带宽优化方法、装置、计算机设备和存储介质 |
CN112822517A (zh) * | 2021-01-08 | 2021-05-18 | 西安万像电子科技有限公司 | 分辨率适配方法、装置及非易失性存储介质 |
KR102461169B1 (ko) * | 2021-03-02 | 2022-10-31 | 주식회사 가디언즈스타 | WebRTC통신을 지원하는 웹 브라우저가 탑재된 컴퓨팅 장치에서 실행되는 실시간 전자문서 공유 시스템 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5978514A (en) * | 1994-11-10 | 1999-11-02 | Kabushiki Kaisha Toshiba | Image data coding and decoding system for efficiently compressing information using the shape and position of the image content |
US5838664A (en) * | 1997-07-17 | 1998-11-17 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
CN1332575A (zh) * | 2000-07-10 | 2002-01-23 | 刘伟 | 数字动态图像的传输方法及装置 |
FR2831377B1 (fr) * | 2001-10-22 | 2004-01-16 | France Telecom | Systeme de conference du type qui comprend un pont de conference audio et/ou video et/ou des donnees auquel une pluralite de terminaux peuvent se connecter pour participer a une conference |
EP1320216A1 (en) * | 2001-12-11 | 2003-06-18 | BRITISH TELECOMMUNICATIONS public limited company | Method and device for multicast transmission |
EP1485810A4 (en) * | 2002-03-20 | 2010-01-13 | Thomson Licensing | ARCHITECTURE OF VIDEOCONFERENCE SYSTEM |
JP4053869B2 (ja) * | 2002-12-05 | 2008-02-27 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | ビデオ会議システム |
JP4329358B2 (ja) * | 2003-02-24 | 2009-09-09 | 富士通株式会社 | ストリーム配信方法、及びストリーム配信システム |
JP4351084B2 (ja) * | 2004-02-03 | 2009-10-28 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 画像通信システム、画像配信サーバ、画像通信方法、およびプログラム |
JP2005333358A (ja) * | 2004-05-19 | 2005-12-02 | Ntt Communications Kk | 画像通信装置、その処理方法及びクライアント装置並びにプログラム |
JP3936707B2 (ja) * | 2004-05-26 | 2007-06-27 | 日本電信電話株式会社 | スケーラブル通信会議システム,サーバ装置,スケーラブル通信会議方法,スケーラブル通信会議制御方法,スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体 |
JP4361430B2 (ja) * | 2004-06-29 | 2009-11-11 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム |
KR20070074546A (ko) | 2004-08-31 | 2007-07-12 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 트랜스코딩을 위한 방법 및 디바이스 |
US7692683B2 (en) * | 2004-10-15 | 2010-04-06 | Lifesize Communications, Inc. | Video conferencing system transcoder |
US7830409B2 (en) * | 2005-03-25 | 2010-11-09 | Cherng-Daw Hwang | Split screen video in a multimedia communication system |
CA2615459C (en) * | 2005-07-20 | 2012-09-18 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
JP4741325B2 (ja) * | 2005-09-06 | 2011-08-03 | 日本電信電話株式会社 | 多地点会議方法及び多地点会議システム |
JP2009508454A (ja) | 2005-09-07 | 2009-02-26 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
EP1985116A4 (en) * | 2005-12-22 | 2013-06-05 | Vidyo Inc | SYSTEM AND METHOD FOR VIDEO CONFERENCES USING SCALABLE VIDEO CODING AND COMPOSITION OF SCALABLE VIDEO CONFERENCE SERVER |
KR100919885B1 (ko) | 2006-10-25 | 2009-09-30 | 한국전자통신연구원 | 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 |
CN100496129C (zh) * | 2007-06-05 | 2009-06-03 | 南京大学 | 基于h.264多路视频转码复用的方法 |
CN101257607B (zh) * | 2008-03-12 | 2010-06-09 | 中兴通讯股份有限公司 | 一种应用于视频会议的多画面处理系统和方法 |
CN101588252B (zh) | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | 一种多点会议的控制方法及装置 |
-
2008
- 2008-05-23 CN CN200810112398.2A patent/CN101588252B/zh active Active
-
2009
- 2009-05-20 KR KR1020107027513A patent/KR101224097B1/ko active IP Right Grant
- 2009-05-20 WO PCT/CN2009/071860 patent/WO2009140913A1/zh active Application Filing
- 2009-05-20 JP JP2011509845A patent/JP5337237B2/ja active Active
- 2009-05-20 EP EP09749456A patent/EP2288152A4/en not_active Withdrawn
-
2010
- 2010-11-22 US US12/951,909 patent/US8339440B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5337237B2 (ja) | マルチポイント会議の制御方法及び装置 | |
JP2011521570A5 (ja) | ||
JP6610705B2 (ja) | インタラクティビティのための動き制約タイルセットseiメッセージの拡張 | |
US11843759B2 (en) | Systems and method for virtual reality video conversion and streaming | |
US7864849B2 (en) | Method for scalably encoding and decoding video signal | |
US9288486B2 (en) | Method and apparatus for scalably encoding and decoding video signal | |
US8958474B2 (en) | System and method for effectively encoding and decoding a wide-area network based remote presentation session | |
US8755434B2 (en) | Method and apparatus for scalably encoding and decoding video signal | |
US8660180B2 (en) | Method and apparatus for scalably encoding and decoding video signal | |
US20180332305A1 (en) | Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus | |
US10313728B2 (en) | Information processing apparatus and information processing method | |
WO2023030070A1 (zh) | 编码、封装及显示方法、装置及电子设备 | |
KR101981868B1 (ko) | 가상 현실 비디오 품질 제어 |