JP2000041250A - ビデオ・フレ―ムの多重ストリ―ムを処理する方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 ビデオ・データの多重ストリームを並列に動
的に符号化し、一定ビット・レート・チャネル上に多重
化する制御技術を提供すること。 【解決手段】 各ビデオ・データ・ストリームの個々の
符号化ビット・レートを、多重ストリームの相対複雑
度、並びに圧縮ビデオ・データ・バッファ、及び符号器
と一定ビット・レート・チャネル間に接続されるチャネ
ル・バッファの充填度に部分的にもとづき、動的に調整
することを可能にする制御技術が提供される。この制御
技術は、ビデオ・フレームの多重ストリームを分析し、
その相対複雑度を決定するステップと、多重ストリーム
を並列に符号化するステップと、ビデオ・フレームの相
対複雑度にもとづき、ビデオ・フレームの少なくとも１
つのストリームの符号化を動的に適応化するステップと
を含む。ビデオ・フレームの各ストリームのビット・レ
ートが、ＧＯＰ境界においてだけ、またはシーン変化が
発生する場合に変更される。計算されたビット・レート
は好適には、更にバッファ充填度にもとづき変更され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般にデジタル・ビ
ジュアル・イメージの圧縮に関して、特に、ビデオ・デ
ータの多重ストリームを並列に動的に符号化し、一定ビ
ット・レート・チャネル上に多重化する制御技術に関す
る。本制御技術は、各ビデオ・データ・ストリームに対
する個々の符号化ビット・レートが、ビデオ・データの
多重ストリームの相対複雑度に部分的にもとづき、動的
に調整されることを可能にする。相対複雑度は部分的
に、先読みアプローチを用いて評価され、そこではピク
チャ統計が各ビデオ・データ・ストリームに対して、そ
の符号化以前に決定される。

【０００２】

【従来の技術】放送テレビジョン、通信ネットワーク、
家電製品及びマルチメディア・コンピュータなどの業界
における、様々なデジタル・ビデオ技術の出現は、急速
に増えつつある。デジタル・ビデオ・アプリケーション
のこの広範な利用は、デジタル情報の信号処理、編集及
びデータ転送が、アナログ表現の処理に比較して、大変
容易である事実により促進される。しかしながら、重要
な点は、デジタル・ビデオはその普及を、近年デジタル
・ビデオ圧縮のための作成された幾つかの規格に負って
いることである。

【０００３】デジタル・ビデオ圧縮ソルーションは、恐
らく任意のデジタル・ビデオ・プラットフォームの最も
重要な要素である。デジタル・ビデオは非圧縮形式では
大量の情報を含むことがわかっているので、その操作、
記憶及び伝送は、非常に時間を要し、高価となる。その
結果、その内容の知覚品質を保存する一方、圧倒的なデ
ータ量を低減するデジタル・ビデオ圧縮技術が考案され
た。互換のビデオ伸張方式が、データを再生のために圧
縮解除するために使用される。

【０００４】Moving Pictures and Expert Groupにより
形成され、ＩＳＯ／ＩＥＣ１３８１８−２、"Informati
on Technology - Generic Coding of Moving Pictures
andAssociated Audio Information： Video 1996"で述
べられるＭＰＥＧ−２国際標準規格は、前述の業界のた
めに、圧縮を標準化することを目的とする。ＩＳＯＭＰ
ＥＧ−２規格は、符号化ビットストリームの構文及び復
号プロセスのセマンティクス（意味）を指定する。しか
しながら、符号化パラメータの選択、及び性能対複雑度
のトレードオフが、符号器開発者には残される。

【０００５】ＭＰＥＧ−２符号化システムの効率は、固
定通信帯域幅上で伝送される、またはデジタル媒体に記
憶される知覚ビデオの精度により評価される。デジタル
衛星システムなどの一部のアプリケーションでは、複数
の番組が単一の大規模ストリームに多重化されて同報さ
れ、ＭＰＥＧ−２符号器のバンクが、全ての番組をモニ
タ及び符号化するために使用される一方で、受信チャネ
ルの品質を維持しようとする。ＭＰＥＧ−２ストリーム
は非同期転送モード（ＡＴＭ）・ネットワークにおい
て、固定通信帯域幅または動的帯域幅のいずれかにより
送信される。

【０００６】直接放送衛星（ＤＢＳ）アプリケーション
などの典型的な統計的多重化システムでは、幾つかのビ
デオ・ビットストリーム（すなわち番組）が、単一一定
ビット・レート・チャネル上に多重化される。残念なが
ら、所定の一定ビット・レートでの各番組の符号化は、
時間の経過に伴う番組のシーン内容の変化により、ピク
チャ品質の劣化を生じ得る。ビデオ・ソースが異なる符
号化を施されたり、異なるピクチャ・グループ（ＧＯ
Ｐ）構造を有する場合など、符号器の作用が時間的に整
列されない場合、問題は一層複雑になる。

【０００７】

【発明が解決しようとする課題】使用可能な帯域幅を番
組間で動的に分配することにより、システムの全体的な
ビデオ品質を最適化する多重番組圧縮技術が待望され
る。本発明は、符号化プロセスの間に、個々の符号器を
動的に制御する結合レート制御技術を使用することによ
り、こうした技術を提供する。

【０００８】

【課題を解決するための手段】要するに、１態様では、
本発明の原理に従い、ビデオ・フレームの多重ストリー
ムを処理する方法が提供される。この方法は、ビデオ・
フレームの多重ストリームを分析し、多重ストリームを
構成するビデオ・フレームの相対複雑度を決定するにお
いて、多重ストリームの符号化以前に、ビデオ・フレー
ムの相対複雑度に関するピクチャ統計を獲得するステッ
プと、ビデオ・フレームの相対複雑度を用いて、ビデオ
・フレームの多重ストリームを並列に符号化するにおい
て、ビデオ・フレームの相対複雑度の変化により、多重
ストリームを適応的に符号化するステップと、符号化の
間に、ビデオ・フレームの各ストリームを分析し、その
イントラフレーム特性またはインタフレーム特性のいず
れかを含む、少なくとも１つの特性に関する符号化統計
を導出するステップとを含み、適応的に符号化するステ
ップが、ピクチャ統計及び符号化統計の両方を使用し、
ビデオ・フレームの多重ストリームを適応的に符号化す
るステップを含む。

【０００９】別の態様では、ビデオ・フレームの多重ス
トリームを処理する方法が、多重ストリームを分析し、
イントラフレーム特性またはインタフレーム特性のいず
れかを含む、少なくとも１つの特性に関するピクチャ統
計を導出するステップと、ビデオ・フレームの各ストリ
ームに対して、少なくとも１つの制御可能な符号化パラ
メータを使用し、多重ストリームを並列に符号化するス
テップと、多重ストリームから獲得されるピクチャ統計
からの相対情報を使用し、少なくとも１つのストリーム
の符号化に使用される少なくとも１つの制御可能な符号
化パラメータを調整することにより、多重ストリームの
符号化を少なくとも１つの特性の相対変化に適応化する
ステップと、符号化の間に、ビデオ・フレームの各スト
リームを分析し、イントラフレーム符号化特性またはイ
ンタフレーム符号化特性のいずれかを含む、少なくとも
１つの符号化特性に関する符号化統計を導出するステッ
プとを含み、適応化するステップが、符号化統計をピク
チャ統計と共に使用し、ビデオ・フレームの少なくとも
１つのストリームの符号化を適応化するステップを含
む。

【００１０】更に別の態様では、ビデオ・フレームの多
重ストリームを処理するシステムが提供される。このシ
ステムは、ビデオ・フレームの多重ストリームを分析
し、多重ストリームを構成するビデオ・フレームの相対
複雑度を表すピクチャ統計を決定する分析手段と、ビデ
オ・フレームの多重ストリームを並列に符号化する複数
の符号器とを含む。各符号器は、ビデオ・フレームの多
重ストリームの１ストリームを受信する。複数の符号器
の各々は、符号化されるビデオ・フレームのストリーム
のイントラフレーム特性またはインタフレーム特性のい
ずれかを含む、少なくとも１つの符号化特性に関する符
号化統計を生成する手段を含む。システムは更に、各符
号器及び分析手段に接続され、多重ストリームを構成す
るビデオ・フレームから導出されるピクチャ統計及び符
号化統計にもとづき、少なくとも１つのストリームの符
号化を動的に適応化する結合制御装置を含む。

【００１１】更に別の態様では、本発明はビデオ・フレ
ームの多重ストリームを処理するシステムを含む。この
システムは、ビデオ・フレームの多重ストリームを分析
し、イントラフレーム特性またはインタフレーム特性の
いずれかを含む、少なくとも１つの特性に関するピクチ
ャ統計を導出する分析手段を含む。複数の符号器が多重
ストリームを並列に符号化するために提供され、各符号
器が少なくとも１つの制御可能な符号化パラメータを使
用し、ビデオ・フレームのストリームを符号化する。複
数の符号器は、符号化の間にビデオ・フレームの各スト
リームを分析し、イントラフレーム符号化特性またはイ
ンタフレーム符号化特性のいずれかを含む、少なくとも
１つの符号化特性に関する符号化統計を導出する符号化
手段を含む。システムは更に、各符号器及び分析手段に
接続され、ピクチャ統計及び符号化統計から導出される
相対情報にもとづき、少なくとも１つのストリームの符
号化を動的に適応化する結合制御装置を含む。符号化の
動的な適応化には、少なくとも１つのストリームの符号
化に使用される、少なくとも１つの制御可能な符号化パ
ラメータの調整が含まれ、多重ストリームの符号化が、
相対情報の変化に適応する。

【００１２】更に別の態様では、ビデオ・フレームの多
重ストリームの処理を指示するコンピュータ読出し可能
プログラム・コード手段を有する、少なくとも１つのコ
ンピュータ使用可能媒体を含む製造物が提供される。製
造物内のコンピュータ読出し可能プログラム・コード手
段が、ビデオ・フレームの多重ストリームを分析し、多
重ストリームを構成するビデオ・フレームの相対複雑度
を決定するようにコンピュータに指示し、多重ストリー
ムの符号化以前に、ビデオ・フレームの相対複雑度に関
するピクチャ統計を獲得する手段と、ビデオ・フレーム
の相対複雑度を用い、ビデオ・フレームの多重ストリー
ムを並列に符号化するようにコンピュータに指示し、ビ
デオ・フレームの相対複雑度の変化により、多重ストリ
ームを適応的に符号化する手段と、符号化の間に、ビデ
オ・フレームの各ストリームを分析し、そのイントラフ
レーム特性またはインタフレーム特性のいずれかを含
む、少なくとも１つの特性に関する符号化統計を導出す
るようにコンピュータに指示する手段とを含み、適応的
に符号化する手段が、ピクチャ統計及び符号化統計の両
方を使用し、ビデオ・フレームの多重ストリームを適応
的に符号化するように、コンピュータに指示する手段を
含む。

【００１３】更に別の態様では、ビデオ・フレームの多
重ストリームの処理を指示するコンピュータ読出し可能
プログラム・コード手段を有する、少なくとも１つのコ
ンピュータ使用可能媒体を含む製造物が提供される。製
造物内のコンピュータ読出し可能プログラム・コード手
段が、ビデオ・フレームの多重ストリームを分析し、イ
ントラフレーム特性またはインタフレーム特性のいずれ
かを含む、少なくとも１つの特性に関するピクチャ統計
を導出するように、コンピュータに指示する手段と、ビ
デオ・フレームの各ストリームに対して、少なくとも１
つの制御可能な符号化パラメータを使用し、多重ストリ
ームを並列に符号化するようにコンピュータに指示する
手段と、多重ストリームから獲得されるピクチャ統計か
らの相対情報を使用し、少なくとも１つのストリームの
符号化に使用される少なくとも１つの制御可能な符号化
パラメータを調整することにより、多重ストリームの符
号化を相対情報の変化に適応化するように、コンピュー
タに指示する手段と、符号化の間に、ビデオ・フレーム
の各ストリームを分析し、イントラフレーム符号化特性
またはインタフレーム符号化特性のいずれかを含む、少
なくとも１つの符号化特性に関する符号化統計を導出す
るように、コンピュータに指示する手段とを含み、適応
化するようにコンピュータに指示する手段が、符号化統
計をピクチャ統計と共に使用し、ビデオ・フレームの少
なくとも１つのストリームの符号化を適応化するように
コンピュータに指示する手段を含む。

【００１４】再度述べると、本発明は、例えばＭＰＥＧ
−２互換ビデオ符号器などを使用し、幾つかのビデオ番
組を並列に符号化する、統計的多重化のためのシステム
・ソルーションを提供する。符号器間でビット・レート
を動的に割当てる結合レート制御技術が提供される。各
符号器のビット・レートは、例えば番組の相対複雑度、
及び符号化される番組内で発生するシーン変化にもとづ
き決定される。相対複雑度は、特定のピクチャの符号化
以前に獲得される"イメージ統計"、または特定のピクチ
ャの符号化の結果獲得される"符号化統計"のいずれか一
方、または両方を用いて評価される。従って、イメージ
統計が、まだ符号化されていない現ピクチャを特徴付け
る一方、符号化統計が、符号化された先行ピクチャに関
する情報を提供する。

【００１５】２つのタイプの統計から、多重ビデオ・ス
トリーム間のビット・レートの改善された割当てが達成
される。更に、始動時及びシーン変化時の先読み処理
が、新たなシーンの履歴の欠如にも関わらず、正確なビ
ット・レート分配を可能にする。例えば、純粋なフィー
ドバック・アプローチにおいて必要な所定の固定ビット
・レートを使用する代わりに、符号化の開始時に、ビデ
オ・ソースのシーン内容にもとづき、チャネル・ビット
・レートが符号器間で適応的に分配され得る。また、純
粋なフィードバック・アプローチは不可避の遅延を要求
するのに対して、先読み処理は、シーン変化に対する迅
速な反応を可能にする。

【００１６】ビデオ・ソースの符号化が、各符号器内に
おいて、同一のＧＯＰ構造及びＧＯＰ長を要求するよう
に制限されない。有利な点として、各符号器はそのビッ
ト・レートをＧＯＰ境界において変更できる一方、ＧＯ
Ｐ内では一定ビット・レートで作用する。全体として、
この技術は区分的に一定であるが可変ビット・レートの
圧縮をもたらす。符号器が異なるＧＯＰ長及び構造で作
用でき、異なる時刻に符号化できる。従って、個々のビ
ット・レートの総和が所定チャネル・ビット・レートよ
りも大きいかまたは小さい場合、時間間隔が存在し得
る。更に、この技術は、シーン変化に対して提案され、
システムのシーン変化に対する迅速な反応を保証するこ
とにより、ピクチャ品質を改善する。

【００１７】

【発明の実施の形態】

【数１】 は、本明細書ではバーＸと記載する。

【００１８】簡単に前述したように、本発明は複数のビ
デオ符号器を用い、ビデオ番組の多重ストリーム（例え
ばチャンネル）を並列に符号化するための統計的多重化
制御技術に関する。符号器（ＭＰＥＧ準拠の符号器、及
び前述のＭＰＥＧ−２国際標準規格で述べられるような
符号化プロセスを含み得る）の間で、ビット・レートを
動的に割当てる外部結合レート制御技術が使用される。
各符号器のビット・レートは、番組の相対複雑度にもと
づき決定され、番組内のシーン変化及びＧＯＰ境界にお
いて調整が行われる。提案される技術は、ピクチャ統計
及び符号化統計のいずれか一方または両方を使用し、相
対複雑度を決定する。ここで使用される"ピクチャ統計"
または"イメージ統計"は、まだ符号化されていないピク
チャを先取り及び評価することにより、ピクチャの少な
くとも１つの特性に関して収集される情報を指し示す。
従って、本技術のこの態様は、先読みアプローチと呼ば
れる。"符号化統計"は、ピクチャの符号化に応じて生成
され、次のピクチャの符号化のためにフィードバックさ
れる、前述の特許出願で述べられる統計を含む。従っ
て、符号化統計はピクチャ複雑度の履歴指示を提供す
る。更にここで述べられるように、本発明は選択的に、
例えば符号化の開始時に、またはあるビデオ・データ・
ストリーム内でシーン変化が生じる都度、ピクチャ統計
だけを使用するか、或いはピクチャ統計と符号化統計の
組み合わせを所与の関係において使用する。図１及び図
２は、本発明に従うシステム内で使用される１つのビデ
オ符号器の動作を示す。

【００１９】説明のために、ＭＰＥＧ準拠符号化の一般
的なフロー図を図１に示す。フロー図において、ｉ番目
のピクチャ及びｉ＋１番目のピクチャのイメージが処理
され、動きベクトルを生成する。動きベクトルは、前の
及び（または）後のピクチャ内で画素のマクロブロック
が存在する場所を予測する。動きベクトルの使用は、Ｍ
ＰＥＧ規格における時間圧縮の主要な面である。図１に
示されるように、一旦生成されると、動きベクトルは、
ｉ番目のピクチャからｉ＋１番目のピクチャへの、画素
のマクロブロック（ＭＢ）の変換のために使用される。

【００２０】図１の符号化プロセスでは、ｉ番目のピク
チャ及びｉ＋１番目のピクチャのイメージが符号器１１
内で処理され、動きベクトルが生成される。続くピクチ
ャの入力イメージ１１１が、符号器１１の動き推定ユニ
ット４３に入力する。動きベクトル１１３が動き推定ユ
ニット４３の出力として形成される。これらのベクトル
は動き補償ユニット４１により、先行及び（または）将
来のピクチャから、"基準"データと呼ばれるマクロブロ
ック・データを、このユニットの出力として取り出すた
めに使用される。動き補償ユニット４１の１出力が、動
き推定ユニット４３からの出力から減算され、離散コサ
イン変換器（ＤＣＴ）２１に入力される。離散コサイン
変換器２１の出力は、量子化器２３内で量子化される。
量子化器２３の出力は２つの出力１２１及び１３１に分
割され、一方の出力１２１はラン・レングス符号器など
の下流の要素２５に送られ、圧縮及び処理された後に伝
送される。他の出力１３１は、画素の符号化マクロブロ
ックの復元を通じて、フレーム・メモリ４２に記憶され
る。図示の符号器では、この第２の出力１３１は逆量子
化２９及び逆離散コサイン変換３１を通じて、差分マク
ロブロックの有損失バージョンを再構成する。このデー
タは動き補償ユニット４１の出力と加算され、原ピクチ
ャの有損失バージョンをフレーム・メモリ４２に返却す
る。

【００２１】図２に示されるように、３つのタイプのピ
クチャが存在する。"イントラ・ピクチャ"または"Ｉ"ピ
クチャは、独立に符号化されて伝送され、動きベクトル
の定義を必要としない。これらの"Ｉ"ピクチャは動き推
定のための基準イメージとして作用する。"予測ピクチ
ャ"または"Ｐ"ピクチャは、先行ピクチャからの動きベ
クトルにより形成され、将来のピクチャの動き推定のた
めの基準イメージとして作用する。最後に、"双方向ピ
クチャ"または"Ｂ"ピクチャは、２つの他のピクチャ、
すなわち過去と将来のピクチャからの動きベクトルを用
いて形成され、動き推定のための基準イメージとしては
作用しない。

【００２２】様々なピクチャ・タイプが符号器１１によ
り、幾つかのステップにおいて量子化される。第１に、
ピクチャ・タイプに固有の量子化マトリックスが、８×
８ＤＣＴブロックに適用される。低周波数係数が重要視
されるように、マトリックスの要素（重み）が選択され
る。これらの係数はより多くの情報を含み、ピクチャの
知覚品質により大きく寄与する。次に、イメージの局所
的なアクティビティ、ピクチャ・タイプの複雑度、及び
バッファ充填度にもとづき、量子化スケーリング・ファ
クタが計算される。この指標は、ピクチャに割当てられ
るビット数及びその知覚品質に直接関連付けられる。実
際のビット数は、ＭＰＥＧ−２規格において定義される
プロシージャに従い、最初に各ＤＣＴブロックを走査
し、次に量子化済み係数を一緒にグループ化することに
より獲得される。各グループは、ハフマン・ルックアッ
プ・テーブルを用いることにより、固有の可変長コード
（ＶＬＣ）によりエントロピ符号化される。差分パルス
符号変調（ＤＰＣＭ）（動きベクトルの符号化に類似）
及び一様量子化を用いて、ＤＣ係数が符号化される。

【００２３】エントロピ符号器の出力は、エントロピ復
号器に入力される。復号器の出力は、逆走査、逆量子
化、及び逆離散コサイン変換を通じて、損失のある差分
マクロブロックを再構成する。次に、復号されたピクチ
ャが既知のように、遅延を通じて動き推定及び（また
は）動き補償に渡される。

【００２４】ＭＰＥＧ−２符号器の動作機能について
は、１９９７年４月１日付けの米国特許出願第０８／８
３１１５７号で詳述されている。一定ビット・レート
（ＣＢＲ）符号化方式及び可変ビット・レート（ＶＢ
Ｒ）符号化方式の基本が、１９９８年３月１９日付けの
米国特許出願第０９／０４４６４２号で、ピクチャ・グ
ループ（ＧＯＰ）またはフレームに関連して詳述されて
いる。更に、後述のようなイメージ統計を使用するフレ
ーム・シーケンスの適応符号化が、１９９８年３月２０
日付けの米国特許出願第０９／０４６１１８号で詳述さ
れている。

【００２５】前記の情報を背景として、本発明の原理に
従う統計的多重化及びレート制御技術について、図３乃
至図５を参照しながら説明することにする。

【００２６】典型的な統計的多重化システムでは、幾つ
かのビデオ・ビットストリームが単一一定ビット・レー
ト・チャネル上に多重化される。あいにく、所定の一定
ビット・レートでの各番組の符号化は、時間に伴うシー
ン内容の変化により、ピクチャ品質の劣化を招き得る。
従って、本発明に従う多重番組圧縮の根底の目的は、使
用可能な帯域幅を番組間で動的に分配し、システムの全
体的なビデオ品質を最大化することである。これは個々
の符号器を制御する結合レート制御アルゴリズムを用
い、全ての番組のピクチャ品質を等しくすることに対応
する。本発明はビデオ・ソースの相対シーン内容に従
い、符号器の間でビット・レートを割当てる一方、固定
チャネル・ビット・レートの要求を満足するものであ
る。

【００２７】より詳細には、ＭＰＥＧ−２互換のビデオ
符号器を使用し、幾つかのビデオ番組を並列に符号化す
る、統計的多重化のためのシステム・ソルーションが提
供される。符号器間で動的にビット・レートを割当てる
外部結合レート制御アルゴリズムが述べられる。各符号
器のビット・レートは、番組の相対複雑度及び番組内の
シーン変化にもとづき決定される。本発明に従うシステ
ム及び方法は、各符号器内で同一のＧＯＰ構造またはＧ
ＯＰ長を要求しない。各符号器は結合レート制御に従
い、ＧＯＰ境界においてそのビット・レートを変更する
一方、ＧＯＰ内では一定ビット・レートで作用する。全
体として、この技術は区分的に一定な可変ビット・レー
ト圧縮をもたらす。実験結果によれば、本発明に従う多
重番組ビデオ圧縮システムは、シーン変化に高速に応答
して、良好なピクチャ品質をもたらす。更に、市販のＭ
ＰＥＧ−２符号器チップがこのシステムにおいて、成功
裡に使用され得る。

【００２８】基本的に、結合レート制御のために２つの
異なるアプローチが使用され、それらはフィードバック
・アプローチと先読みアプローチである。フィードバッ
ク・アプローチでは、統計が符号器により符号化プロセ
スの副産物として生成される。これらの符号化統計が次
に、続くピクチャに対するビット割当てを部分的に制御
するために使用される。先読みアプローチでは、符号化
の前に、統計がプリプロセッサにより計算され、次にこ
れらのイメージ統計がピクチャの符号化の前に、ビット
・レートを調整するために使用される。いずれのアプロ
ーチでも、番組の複雑度を示す最適な統計を見い出すこ
とが、課題となり得る。フィードバック・アプローチで
は、統計は主として、符号化に関係する量に限られる。
先読みアプローチはより大きな自由度を有するが、計算
が複雑になったり、追加の装置が必要になったりする。

【００２９】いずれか一方のまたは両方のアプローチを
使用することにより、結合レート制御アルゴリズムが各
ピクチャのビット・レートを計算し、個々の符号器の各
々に対する全体レート制御を実行する。これは可変ビッ
ト・レート符号化をもたらす。通常、こうしたレート制
御アルゴリズムは大抵、各符号器内で同一のＧＯＰ構造
を要求するが、これは現実とかけ離れている。符号器は
異なるＧＯＰ長及び構造において動作することができ、
また動作する。

【００３０】本発明によれば、先読みアプローチ及びフ
ィードバック・アプローチの両方を使用し、符号器のビ
ット・レートを動的に割当てる、統計的多重化のための
ソルーションが開示される。レート制御技術が番組の相
対複雑度にもとづき、符号器間でチャネル・ビット・レ
ートを分配する。番組の複雑度が、圧縮ビットストリー
ムと共に、プリプロセッサにより生成されるピクチャ統
計、及び符号器により生成される符号化統計を用いて決
定される。或いは、当業者であればここでの議論から明
らかになるように、事前処理機能を組み込むことによ
り、符号器がピクチャ統計及び符号化統計の両方を生成
するように変更され得る。

【００３１】結合レート制御アルゴリズムにより、各ピ
クチャのターゲット・ビット・レートを計算する代わり
に、ＧＯＰ境界において、またはシーン変化が発生する
場合、ビット・レートが変更される。この技術は、符号
器がＧＯＰ内において一定ビット・レートで動作するこ
とを可能にし、区分的に一定の可変ビット・レート圧縮
をもたらす。符号器は同一のＧＯＰ構造を有する必要が
なく、すなわち、ＧＯＰ境界が各符号器内で異なる時刻
に発生し得る。符号器の異なるＧＯＰ構造のため、チャ
ネル・バッファ及び対応するバッファ制御フィードバッ
ク・ループが、本発明に従いシステム内に組み込まれ
る。シーン変化に際して、ＧＯＰ構造を動的に変更し、
十分なビット・レート変化を可能にすることにより、迅
速な反応が保証される。本システム及び方法は、例えば
ＩＢＭの単一チップＭＰＥＧ−２ビデオ符号器（部品番
号：ＩＢＭ３９ ＭＰＥＧＳ４２２ ＰＢＡ １７Ｃ）
を用いて実現され得る。

【００３２】下記のセクション１は、本発明に従う多重
番組ビデオ圧縮システムについて述べる。セクション２
では、本発明の結合レート制御技術について、またセク
ション３では、シーン変化の場合の結合レート制御技術
について述べる。セクション４では、チャネル・バッフ
ァの最小サイズの決定、及び対応するチャネル・バッフ
ァ制御について述べる。セクション５では、市販の単一
チップＭＰＥＧ−２符号器の、本システムにおける可能
な使用について述べる。また、プロセスの概要がセクシ
ョン６で述べられる。

【００３３】１．多重番組ビデオ圧縮システム：図３
は、本発明のアプローチを使用し、幾つかの番組（ソー
ス１、ソース２、．．．、ソースｎ）を並列に符号化す
る多重番組ビデオ圧縮システム２００を示す。システム
２００は、幾つかのプリプロセッサ２０５（プリプロセ
ッサ１、プリプロセッサ２、プリプロセッサ
３、．．．、プリプロセッサｎ）を含み、各々は幾つか
の番組の対応する１つを受信し、ビデオ・フレームのそ
れぞれのストリームを並列に分析し、そこから例えば平
均ピクチャ・アクティビティを表すピクチャ統計を導出
する。

【００３４】システム２００はまた、幾つかのＭＰＥＧ
−２ビデオ符号器２１０と、符号器２１０に接続される
個々のバッファ２２０と、結合レート制御装置２３０
と、マルチプレクサ２４０と、チャネル・バッファ２５
０とを含む。符号器の各々は、それぞれの遅延番組（遅
延ソース１、遅延ソース２、遅延ソース３、．．．、遅
延ソースｎ）を受信し、符号化する。遅延はプリプロセ
ッサ２０５が後述の分析を実行できるように、十分に確
保される。別の実施例では、要求に応じて、ピクチャ統
計生成機能がＭＰＥＧ−２符号器２１０内に組み込まれ
る。各符号器２１０はまた、丁度符号化されたばかりの
ピクチャに関する符号化統計を生成する。これらの符号
化統計は、ピクチャ統計と共に、結合レート制御アルゴ
リズム２３０への入力パラメータとなり、アルゴリズム
２３０が後述のように、各個々の符号器のビット・レー
トを動的に計算する。

【００３５】提案されるシステム２００では、各符号器
２１０のビット・レートが、番組（ソース１、ソース
２、．．．、ソースｎ）の相対複雑度と、対応する番組
内のシーン変化の発生とにもとづき決定される。符号器
は好適には、ＭＰＥＧ−２規格に互換のビットストリー
ムを生成する。シーン変化検出は通常、符号器２１０の
内部または外部のいずれかにおいて実行され得る。各符
号器はそのビット・レートを結合レート制御装置２３０
に従い、ＧＯＰ境界またはシーン変化において変更す
る。このことは符号器がＧＯＰ内では、ＭＰＥＧ−２規
格に従うＣＢＲビデオ・バッファ検証器モデルを使用
し、一定ビット・レート（ＣＢＲ）で動作することを可
能にする。全体として、この技術は区分的に一定の可変
ビット・レート圧縮をもたらす。

【００３６】ビデオ・ソースの符号化が各符号器内で、
同一のＧＯＰ構造またはＧＯＰ長を有するように制限さ
れない。ＧＯＰ境界は各符号器内で異なる時刻に発生し
得、ビット・レート変化はＧＯＰ境界においてのみ有効
となるので、チャネル・バッファ２５０は、チャネル・
レートの可能なオーバーフローまたはアンダーフローを
補償するために使用される。チャネル・バッファ制御フ
ィードバック２５５もまた、結合レート制御アルゴリズ
ム２３０に組み込まれ、チャネル・バッファ２５０のオ
ーバーフローまたはアンダーフローを阻止する。

【００３７】本発明の以下の説明では、結合レート制御
技術、チャネル・バッファの最小サイズの決定、及び対
応するチャネル・バッファ制御について詳述する。

【００３８】２．結合レート制御：ここで述べる結合レ
ート制御技術は先読みとフィードバックの結合概念にも
とづき、そこでは統計が符号化以前（ここでは"ピクチ
ャ統計"）、並びに符号化の間（"符号化統計"）に生成
される。これらの統計が、チャネル・バッファ２５０の
充填度に関する情報と共に、結合レート制御装置２３０
に供給される。レート制御技術は、符号化プロセスの間
に個々の符号器を制御し、番組の相対複雑度に従い、番
組間で使用可能な帯域幅を動的に分配する。番組の相対
複雑度は、ピクチャ統計及び符号化統計にもとづき決定
される。

【００３９】フレームのピクチャ・シーン内容に関連す
る情報が、例えばフレームの平均アクティビティとして
推定される。それはフレーム全体に渡り、平均マクロブ
ロック・アクティビティとして計算される。ピクチャの
符号化以前に、幾つかのフレームの平均アクティビティ
を計算することは、結合レート制御アルゴリズムにおい
てルックアヘッドすなわち先読みを生成する。前述のよ
うに、平均アクティビティが符号器の内部で、または事
前処理ユニット（例えば図３のプリプロセッサ）により
計算され得る。番組の符号化複雑度が、各符号器により
符号化プロセスの副産物として生成される符号化統計を
用いて推定される。例えば、符号化複雑度は、ピクチャ
を符号化するために使用されるビットと、ピクチャに対
して使用される平均量子化パラメータとにもとづき決定
される。

【００４０】ピクチャ及び符号化複雑度を使用すること
により、符号器のビット・レートが２つの比率の加重合
計に比例すると仮定される。一方の比率は、その番組の
符号化複雑度と、全ての番組の符号化複雑度の合計との
比率であり、他方の比率は、幾つかのフレーム先読みを
使用するその番組の平均アクティビティと、全ての番組
の平均アクティビティの合計との間で計算される。シー
ン変化が発生する場合、または符号化の開始時には、番
組の複雑度は好適には、平均フレーム・アクティビティ
（すなわちピクチャ統計）だけにもとづき決定される。
シーン変化が発生しない場合には、ピクチャ統計比率及
び符号化統計比率が所定の関係において、例えば等しい
重み付けで使用される。本発明に従う結合レート制御技
術の１実施例について、次に述べることにする。

【００４１】フレームのピクチャ・シーン内容に関連す
る情報が、フレームの平均アクティビティとして決定さ
れる。最初に、フレーム内の各マクロブロックのアクテ
ィビティが、次のように推定される。

【数２】

【００４２】ここでｌｕｍ（ｉ、ｊ）は画素（ｉ、ｊ）
の輝度値であり、バーｌｕｍはマクロブロックの平均輝
度値である。フレームの平均アクティビティは、マクロ
ブロック・アクティビティをフレーム全体に渡り平均す
ることにより、次のように決定される。

【数３】

【００４３】ここでＮＭＢはフレーム内のマクロブロッ
クの数である。

【００４４】幾つかのフレームの先読みは、式１）及び
式２）を使用することにより、結合レート制御アルゴリ
ズムに組み込まれる。例えば、我々の実験では、ピクチ
ャの符号化以前に、４つのフレームの平均アクティビテ
ィを計算した。

【００４５】番組の符号化複雑度は、Boroczkyらによる
米国特許出願第０９／０８７６０３号、"Control Strat
egy For Dynamically Encoding Multiple Streams Of V
ideoData In Parallel For Multiplexing Onto A Const
ant Bit Rate Channel"で提案されるように推定され
る。ピクチャ複雑度の決定は、ＭＰＥＧ−２テスト・モ
デル５で提案されるものと類似の使用ビット生成モデル
にもとづく（１９９３年４月付けのISO/IEC JTCI/SC29/
WG11 N0400、"Test Model 5"を参照のこと）。番組ｉの
符号化複雑度は次のように決定される。

【数４】

【００４６】ここでｆ_iは番組ｉのフレーム・レートで
あり、Ｎ_iは番組ｉのＧＯＰ内のピクチャの数であり、
ｂ_ijはピクチャｊを符号化するために使用されるビット
であり、Ｑ_ijはピクチャｊの平均量子化パラメータであ
る。

【００４７】ピクチャ及び符号化複雑度を使用すること
により、符号器ｉのビットレートＲ _iが、次のように決
定される。

【数５】

【００４８】ここでＲ_cはチャネル・ビットレート、Ｘ_i
は符号化複雑度、バーａｃｔｉｖ_iは番組ｉの平均アク
ティビティであり、後者は我々の実験では、４つのフレ
ーム・アクティビティの平均として計算される。パラメ
ータαは、符号化の開始時またはシーン変化発生時に
は、０として選択される。それ以外では、その値は０．
５であり、これは実験的に決定されたものである。従っ
て、シーン変化時または開始時には、番組の複雑度は平
均フレーム・アクティビティだけにもとづき決定され
る。シーン変化が発生しない場合、ピクチャ統計及び符
号化統計が等しい重み付けで使用される。

【００４９】シーン変化が発生する場合、現ＧＯＰが早
まって終了され、新たなＧＯＰが新たなシーン開始とし
て即時開始する。旧シーンの最後のピクチャがＢピクチ
ャの場合、新旧のシーン・ピクチャ間の参照を阻止する
ために、後方予測が禁止される。また、前述の米国特許
出願で提案されるバッファ充填度誤差技術が、このアプ
ローチにおいて使用される。

【００５０】番組複雑度の関係により、たとえシーン変
化が番組内において発生しなかった場合にも、ビット・
レート変化がその番組内の任意のＧＯＰ境界において発
生し得る。ビット・レート変化がシーン・カットの無い
番組内で余りに突然発生する場合、たとえシステムの総
品質が改善されても、ピクチャ品質はＧＯＰ間で多大に
変化し得る。この状況を阻止するために、ビット・レー
ト変化がＧＯＰ境界上で制限されるが、シーン変化で
は、好適には制限は課せられない。例えば、シーン変化
が発生しない場合、ＧＯＰ境界における先行ビット・レ
ートに対する１０％の変化が許容され得る。シーン・カ
ットが発生する場合、ビット・レート変化に対する制限
は存在しない。

【００５１】３．シーン変化における結合レート制御：
既に、符号器がＧＯＰ内ではＣＢＲモードで動作し、各
符号器がＣＢＲビデオ・バッファ検証器モデルを使用す
ることについて述べた。バッファ・アンダーフローまた
はオーバーフローは許可されない。例えば、ＣＢＲレー
ト制御アルゴリズムの目標は、ＧＯＰの終りにおけるバ
ッファ充填度が、初期バッファ充填度（例えばバッファ
・サイズの８０％）と同一であることを保証することで
ある。しかしながら、これはターゲット・ビット・バジ
ェットと１ピクチャにつき使用される実際のビットとの
不一致により、常に当てはまる訳ではない。ＧＯＰ内の
ビットの過剰生成または過小生成により、バッファ充填
度はそれぞれ初期レベルを下回ったり、上回ったりす
る。かなり大きなバッファ充填度誤差が累積し得る。こ
の誤差は持ち越され、次のＧＯＰ内で補償されるように
試行される。このレート制御は、ＧＯＰ境界においてビ
ット・レート変化がほとんど発生しないか、全く発生し
ない場合、良好に作用する。しかしながら、ビット・レ
ート変化がシーン変化などにおいて突然発生する場合、
本発明に従うバッファ充填度誤差（ＢＦＥ）技術が、ピ
クチャ品質を改善するために適用される。

【００５２】シーン変化が発生する場合、バッファ充填
度誤差がシーン変化後の新たなＧＯＰの開始において、
０と見なされる。各符号器に接続されるバッファのアン
ダーフローまたはオーバーフローを阻止するために、式
４）により計算されたビット・レートが次のように変更
される。

【数６】 Ｒ_imod＝Ｒ_i＋Ｅ・ｆ_i／Ｎ_i ５）

【００５３】ここでＲ_iは式４）に従い、番組ｉに対し
て計算されたビット・レート、Ｅはバッファ充填度誤差
ビット、Ｎ_iはＧＯＰ内のピクチャの数、及びｆ_iは番組
ｉのフレーム・レートである。バッファ充填度誤差Ｅが
正の場合（ＧＯＰの開始におけるバッファ充填度が初期
値よりも小さい）、番組のビット・レートは増加され、
Ｅが負の場合、番組のビット・レートは減少される。Ｇ
ＯＰ内のレート制御のために、初期バッファ充填度は、
例えばバッファ・サイズの８０％を使用する代わりに、
先行ＧＯＰの終りにおけるバッファ充填度と見なされ
る。ＢＦＥ技術は、シーン変化後のピクチャ品質を改善
する。

【００５４】４．チャネル・バッファ・サイズ及びフィ
ードバック制御：符号器が異なるＧＯＰ長及び構造にて
動作可能であること、または異なる時刻に符号化を開始
し得る事実により、個々のビット・レートの総和が所定
チャネル・ビット・レートよりも大きかったり、小さか
ったりする場合、時間間隔が存在し得る。これを改善す
るため、チャネル・バッファが要求され、正確にチャネ
ル・ビット・レートでビットストリームを出力する。こ
のバッファに関連して、２つの問題が考慮されなければ
ならない。それらはバッファの最小サイズの決定と、チ
ャネル・バッファ・アンダーフロー及びオーバーフロー
を阻止するための制御技術である。

【００５５】チャネル・ビット・レートからの最大合計
偏差がΔＲ_maxであり、最悪の場合として、この偏差の
最大期間が、符号器間の最長ＧＯＰ時間と同じであると
仮定する。この場合、チャネル・バッファの要求最小サ
イズは次のように決定される。

【数７】 Ｂ_s＝２・ΔＲ_max・ｔｇｏｐ_max ６）

【００５６】ここでΔＲ_maxはΣＲ_i−Ｒ_c、ｔｇｏｐ_max
は最大ＧＯＰ時間である。

【００５７】式６）では、係数２が使用されている。な
ぜなら、チャネル・ビット・レートの過小生成及び過剰
生成が仮定され、バッファが最初にこのサイズＢ_sの半
分まで充填され、その後、Ｒ_cのレートでビットを連続
的に出力するからである。この場合、初期遅延は、バッ
ファをそのサイズの半分まで充填するために要求される
時間に対応する。例えば、チャネル・バッファ・レート
が１６Ｍビット／秒、ΔＲ_maxが８Ｍビット／秒、及び
ｔｇｏｐ_max＝０．５秒の場合、３０フレーム／秒のフ
レーム・レートでの最小バッファ・サイズは８Ｍビット
で、対応する初期遅延は０．２５秒である。統計的多重
化システムにおいて、式６）により決定されるよりも小
さなチャネル・バッファが所望される場合、チャネル・
ビット・レートからの最大合計偏差は、それに従い制限
されなければならない。

【００５８】チャネル・バッファ・アンダーフローまた
はオーバーフローを阻止するために、バッファ・モデル
（図４参照）が好適には使用される。チャネル・バッフ
ァ・モデルは、バッファの頂部及び底部に所定の保護帯
域を含む。これらの保護帯域はビット・レートの分配を
調整するために使用される。アンダーフロー及びオーバ
ーフローを阻止するために、任意の時刻におけるバッフ
ァ充填度Ｂ_fが次の条件を満足しなければならない。

【数８】 ０＜Ｂ_f（ｔ）＜Ｂ_s ７）

【００５９】パラメータ'ａ'が保護帯域のサイズを決定
し、例えば０．２５として選択される。

【００６０】実際のバッファ充填度Ｂ_fに応じて、区別
可能な３つのケースが存在する。これらのケースについ
て、対応するビット・レートの変更と共に、次に示すこ
とにする。

【００６１】ケース１：これはバッファ充填度が保護帯
域間にある場合である。すなわち、

【数９】 ａ・Ｂ_s≦Ｂ_f≦（１−ａ）・Ｂ_s ８）

【００６２】この場合では、番組のために計算されたビ
ット・レートが、極端な状況を除き、一般に変更されな
い。

【数１０】 ΣＲ_i＞Ｒ_c且つΣＲ_i−Ｒ_c＞（Ｂ_s−Ｂ_f）／ｔｇｏｐ_maxの場合、 Ｒ_i＝Ｒ_i・［Ｒ_c＋（（１−ａ）Ｂ_s−Ｂ_f）／ｔｇｏｐ_max］／（ΣＲ_i） （オーバーフロー無し） ９）

【数１１】 ΣＲ_i＜Ｒ_c且つＲ_c−ΣＲ_i＞Ｂ_f／ｔｇｏｐ_maxの場合、 Ｒ_i＝Ｒ_i・［Ｒ_c−（Ｂ_f−ａＢ_s）／ｔｇｏｐ_max］／（ΣＲ_i） （アンダーフロー無し） １０）

【００６３】前記以外では、何もアクションは実行され
ない。

【００６４】ケース２：これはバッファ充填度が上側の
保護帯域内にある場合である。すなわち、

【数１２】 Ｂ_f＞（１−ａ）・Ｂ_s １１）

【００６５】この場合では、バッファ充填度を減少させ
るか、またはＢ_fに留まるビット・レート変化だけが許
可される。

【数１３】 ΣＲ_i＞Ｒ_cの場合、 Ｒ_i＝Ｒ_i・（Ｒ_c／（ΣＲ_i）） １２） （スケーリング・ダウン）

【数１４】 ΣＲ_i＜Ｒ_c且つＲ_c−ΣＲ_i＞Ｂ_f／ｔｇｏｐ_maxの場合、 Ｒ_i＝Ｒ_i・［Ｒ_c−（Ｂ_f−ａＢ_s）／ｔｇｏｐ_max］／（ΣＲ_i） （アンダーフロー無し） １３）

【００６６】前記以外では、何もアクションは実行され
ない。

【００６７】ケース３：これはバッファ充填度が下側の
保護帯域内にある場合である。すなわち、

【数１５】 Ｂ_f＜ａ・Ｂ_s １４）

【００６８】この場合では、バッファ充填度を増加させ
るか、またはＢ_fに留まるビット・レート変化だけが許
可される。

【数１６】 ΣＲ_i＜Ｒ_cの場合、 Ｒ_i＝Ｒ_i・（Ｒ_c／（ΣＲ_i）） １５） （スケーリング・アップ）

【数１７】 ΣＲ_i＞Ｒ_c且つΣＲ_i−Ｒ_c＞（Ｂ_s−Ｂ_f）／ｔｇｏｐ_maxの場合、 Ｒ_i＝Ｒ_i・［Ｒ_c＋（（１−ａ）Ｂ_s−Ｂ_f）／ｔｇｏｐ_max］／（ΣＲ_i） （オーバーフロー無し） １６）

【００６９】前記以外では、何もアクションは実行され
ない。

【００７０】５．統計的多重化システム内でのＭＰＥＧ
−２符号器の使用：本発明の原理に従う多重番組ビデオ
圧縮システム内で使用される全てのＭＰＥＧ−２符号器
は、少なくとも、前述の結合レート制御アルゴリズムに
より要求される必要な符号化統計を提供できなければな
らない。符号器はまた、ＧＯＰ境界においてビット・レ
ートを変更する能力を有さねばならない。本発明の利点
を更に利用するために、シーン変化に際して、符号器は
ＧＯＰ構造を動的に変更し、バッファ充填度誤差を計算
するための量を提供し、シーン変化検出及び反応を内部
的または外部的に実行できなければならない。

【００７１】６．プロセス概要：図５は、本発明に従う
符号化処理の概要を示す。統計が個々のプリプロセッサ
及び符号器から、レート制御装置に供給される。これら
の統計は、プリプロセッサからのピクチャ統計（平均フ
レーム・アクティビティ）、及び符号化統計を含む。後
者には、使用されるビット、平均ＭＱＵＡＮＴ、及びバ
ッファ充填度が含まれる（ステップ３００）。更に、ビ
デオ・フレームの各ストリームにおいて発生するシーン
変化、チャネル・バッファ充填度、及び前述のようにシ
ステム内において発生する最大ＧＯＰ長に関する情報が
提供される。チャネル・バッファ充填度は、チャネル・
バッファ自身からフィードバック信号として受信され
る。ビット・レート制御装置は初期に、符号化の開始が
存在するか否か、またはシーン変化を示すシーン変化フ
ラグがセットされたか否か判断する（ステップ３１
０）。肯定の場合、新たなシーンの最初のフレームが、
新たなＧＯＰの最初のピクチャとして符号化される（ス
テップ３２０）。次に、前記の式４）内の変数"α"が、
０にセットされる（ステップ３３０）。αを０にセット
することにより、プリプロセッサにより提供されるピク
チャ統計だけが、前述のように、この新たなＧＯＰの開
始時に、符号器間でビットレートを割当てるために使用
される。シーン変化フラグがセットされておらず、これ
が符号化の開始でないと仮定すると、変数αが０．５に
セットされる（ステップ３４０）。変数αを０．５にセ
ットすることにより、ビットレートの決定において、式
４）内のピクチャ統計情報及び符号化統計情報が、本質
的に等しく重み付けされる。当業者であれば、統計の重
要度は本発明から逸れることなく、異なって割当てられ
得ることが理解できよう。

【００７２】ビット・レートＲ_iが各符号器に対して、
式４）を用いて計算される（ステップ３５０）。次に、
シーン変化フラグがセットされたか否かを判断し（ステ
ップ３６０）、セットされた場合、バッファ充填度誤差
技術により、符号器のビット・レートＲ_iを変更する
（ステップ３７０）。次に、チャネル・バッファ制御技
術が前述のように実行され（ステップ３８０）、現フレ
ームが、符号器ｉにて符号化されるビデオ・フレームの
ストリームのＧＯＰ境界にあるか否かを判断する（ステ
ップ３９０）。否定の場合、処理はステップ３００に戻
り、入力パラメータの次のセットを収集する。現フレー
ムがＧＯＰ境界にある場合、新たなビット・レートＲ_i
が符号器ｉに伝達される（ステップ４００）。

【００７３】再度要約すると、本発明によれば、複数の
符号器間でビット・レートを動的に割当て、ビデオ・ス
トリームを並列に符号化し、共通のチャネル上に多重化
する結合レート制御技術が提供される。番組の相対複雑
度及び番組内で発生するシーン変化にもとづき、チャネ
ル・ビット・レートが符号器間で分配される。番組の複
雑度が先読みピクチャ統計、フィードバック符号化統
計、及びシーン変化検出にもとづき決定される。ピクチ
ャ統計は、例えばプリプロセッサにより生成され、符号
化統計及びシーン変化検出信号は、圧縮ビットストリー
ムと共に、符号器により生成される。各ピクチャのター
ゲット・ビット・レートを計算する代わりに、ビット・
レートがＧＯＰ境界において、またはシーン変化の発生
時に変更される。このことが符号器がＧＯＰ内におい
て、一定ビット・レート（ＣＢＲ）で動作することを可
能にする。

【００７４】ＧＯＰ境界においてのみビット・レートを
変更することは、番組の複雑度の変化に対する、結合レ
ート制御装置の反応時間を制限する。この問題を解決す
るために、ビデオ・フレームのストリーム内の各連続ピ
クチャ間で、シーン変化検出が実行され、それが新たな
シーン内の最初のフレームを符号化する前に知れている
と仮定する。更に、市販の符号器において使用可能なよ
うに、符号器がＧＯＰ構造を動的に変更可能であると仮
定する。シーン変化が発生する場合、現ＧＯＰが早まっ
て終了され、新たなシーンの最初のピクチャが符号化さ
れ、新たなＧＯＰを開始する。次に、新たなシーンのこ
の最初のＧＯＰからの符号化統計が、ピクチャ統計と一
緒に、続くＧＯＰのビット・レートを計算するために使
用される。

【００７５】シーン変化の場合にピクチャ品質を改善す
るために、更に追加の変更が開発された。特に、ＧＯＰ
内のビットの過剰生成または過小生成に起因するバッフ
ァ充填度誤差が、シーン変化後の新たなＧＯＰの開始に
おいて、０と見なされる。各符号器に接続されるバッフ
ァ内のアンダーフローまたはオーバーフローを阻止する
ために、結合レート制御装置により計算されるビット・
レートが変更される。バッファ充填度誤差が正の場合
（ＧＯＰの開始におけるバッファ充填度が、初期バッフ
ァ充填度（例えばバッファ・サイズの８０％）よりも小
さい）、番組のビット・レートが増加される。反対に、
バッファ充填度誤差が負の場合、番組のビット・レート
が減少される。この技術はシーン変化の後、より優れた
ピクチャ品質をもたらす。この概念は更に、動的ＧＯＰ
構造機能を有さない符号器、及びシーン変化検出が外部
的に実行される符号器に対して拡張され得る。

【００７６】符号器は好適には同一のフレーム・レート
で動作するが、異なるＧＯＰ長及び構造を有し得、異な
る時刻に符号化を開始し得る。従って、個々のビット・
レートの総和が、所定のチャネル・ビット・レートより
も大きかったり、小さかったりする場合、時間間隔が存
在し得る。チャネル・バッファがシステム内に組み込ま
れ、正確にチャネル・ビット・レートで多重化ビット・
ストリームを出力する。また、チャネルの最小サイズを
決定する方法も開発された。これはチャネル・ビット・
レートからの許容合計偏差、及びシステム内で発生する
最大ＧＯＰ時間にもとづく。チャネル・バッファ・アン
ダーフローまたはオーバーフローを阻止するために、バ
ッファ・フィードバックが結合レート制御装置内に組み
込まれる。

【００７７】本発明は例えば、コンピュータ使用可能媒
体を有する製造物（例えば１つ以上のコンピュータ・プ
ログラム製品）内に含まれ得る。この媒体は、例えば本
発明の機能を提供し、容易にするコンピュータ読出し可
能プログラム・コード手段を実現する。製造物はコンピ
ュータ・システムの一部として含まれるか、或いは別々
に販売され得る。

【００７８】更に、本発明の機能を実行するために、マ
シンにより実行可能な命令の少なくとも１つのプログラ
ムを実現する、マシンにより読出し可能な少なくとも１
つのプログラム記憶装置が提供され得る。

【００７９】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００８０】（１）ビデオ・フレームの多重ストリーム
を処理する方法であって、前記多重ストリームを分析
し、前記多重ストリームを構成する前記ビデオ・フレー
ムの相対複雑度を決定するにおいて、前記多重ストリー
ムの符号化以前に、前記ビデオ・フレームの前記相対複
雑度に関するピクチャ統計を獲得するステップと、前記
ビデオ・フレームの相対複雑度を用いて、前記多重スト
リームを並列に符号化するにおいて、前記相対複雑度の
変化により、前記多重ストリームを適応的に符号化する
ステップと、前記符号化の間に、前記ビデオ・フレーム
の各ストリームを分析し、そのイントラフレーム特性ま
たはインタフレーム特性のいずれかを含む、少なくとも
１つの特性に関する符号化統計を導出するステップとを
含み、前記適応的に符号化するステップが、前記ピクチ
ャ統計及び前記符号化統計の両方を使用し、前記多重ス
トリームを適応的に符号化するステップを含む、方法。 （２）前記適応的に符号化するステップが、前記多重ス
トリームの前記分析にもとづき、前記多重ストリームを
符号化するために、前記符号化するステップにより使用
される制御可能な符号化パラメータを調整するステップ
を含む、前記（１）記載の方法。 （３）前記多重ストリームの符号化の開始時、及び前記
多重ストリームの１ストリーム内のシーン変化の検出時
に、前記ピクチャ統計だけを使用するステップを含む、
前記（１）記載の方法。 （４）前記ピクチャ統計及び前記符号化統計の両方を使
用し、前記適応的に符号化するステップが、前記ピクチ
ャ統計及び前記符号化統計を所定量により重み付けする
ことにより、前記多重ストリームを符号化するために前
記符号化するステップにより使用される制御可能な符号
化パラメータを調整するステップを含む、前記（１）記
載の方法。 （５）前記重み付けするステップが、前記ピクチャ統計
を５０％に、及び前記符号化統計を５０％に重み付けす
ることにより、前記多重ストリームの前記相対複雑度に
もとづき、前記制御可能な符号化パラメータを調整する
ステップを含む、前記（４）記載の方法。 （６）前記多重ストリームの１ストリーム内のシーン変
化の検出時に、前記多重ストリームを適応的に符号化す
るステップを実行するステップを含む、前記（１）記載
の方法。 （７）前記分析するステップが、前記多重ストリームを
事前処理し、前記多重ストリームを構成する前記ビデオ
・フレームの各々の平均フレーム・アクティビティを生
成するステップを含み、前記符号化が前記ビデオ・フレ
ームの前記相対複雑度を表すものとして、前記平均フレ
ーム・アクティビティを使用する、前記（１）記載の方
法。 （８）前記適応的に符号化するステップが、前記多重ス
トリームの前記ピクチャ統計及び前記符号化統計にもと
づき、前記多重ストリームを符号化するために前記符号
化するステップにより使用される符号化パラメータを調
整するステップを含み、前記ビデオ・フレームの各スト
リームの前記制御可能な符号化パラメータが、符号化ビ
ット・レートを含み、前記符号化するステップが多重圧
縮ビデオ・ストリームを生成するものにおいて、前記方
法が各圧縮ビデオ・ストリームをバッファ内にバッファ
リングするステップを含み、前記適応的に符号化するス
テップが、各ストリームに対して、前記圧縮ビデオ・ス
トリームを受信する前記バッファの充填度にもとづき、
前記符号化ビット・レートを変更するステップを含む、
前記（１）記載の方法。 （９）前記多重圧縮ビデオ・ストリームを一定ビット・
レート・チャネル上に多重化するステップを含む、前記
（８）記載の方法。 （１０）前記バッファの上限及び下限の保護帯域を事前
に定義するステップを含み、前記バッファ充填度が前記
バッファの上限または下限のいずれかの前記保護帯域内
にある場合、前記符号化ビット・レートを変更するステ
ップを含む、前記（９）記載の方法。 （１１）前記適応的に符号化するステップがレート制御
アルゴリズムを使用し、前記多重ストリームの各ストリ
ームの符号化ビット・レートを制御するステップを含
み、前記方法が、前記多重ストリームを構成する前記ビ
デオ・フレームの前記相対複雑度を表す前記ピクチャ統
計及び前記符号化統計を、前記レート制御アルゴリズム
に提供するステップを含む、前記（１）記載の方法。 （１２）ビデオ・フレームの多重ストリームを処理する
方法であって、前記多重ストリームを分析し、イントラ
フレーム特性またはインタフレーム特性のいずれかを含
む、少なくとも１つの特性に関するピクチャ統計を導出
するステップと、前記ビデオ・フレームの各ストリーム
に対して、少なくとも１つの制御可能な符号化パラメー
タを使用し、前記多重ストリームを並列に符号化するス
テップと、前記多重ストリームから獲得される前記ピク
チャ統計からの相対情報を使用し、少なくとも１つのス
トリームの符号化に使用される少なくとも１つの制御可
能な符号化パラメータを調整することにより、前記多重
ストリームの符号化を前記少なくとも１つの特性の相対
変化に適応化するステップと、前記符号化の間に、前記
ビデオ・フレームの各ストリームを分析し、イントラフ
レーム符号化特性またはインタフレーム符号化特性のい
ずれかを含む、少なくとも１つの符号化特性に関する符
号化統計を導出するステップとを含み、前記符号化を適
応化するステップが、前記符号化統計を前記ピクチャ統
計と共に使用し、前記少なくとも１つのストリームの符
号化を適応化するステップを含む、方法。 （１３）前記ピクチャ統計が平均フレーム・アクティビ
ティを表し、前記符号化統計が前記ビデオ・フレームの
符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、ま
たはバッファ充填度の少なくとも１つを含む、前記（１
２）記載の方法。 （１４）前記符号化を適応化するステップが、前記ピク
チャ統計及び前記符号化統計の両方を使用することによ
り、前記少なくとも１つのストリームの符号化に使用さ
れる、前記少なくとも１つの制御可能な符号化パラメー
タを調整するステップを含む、前記（１２）記載の方
法。 （１５）前記ピクチャ統計及び前記符号化統計を所定の
関係で使用することにより、前記少なくとも１つのスト
リームの前記符号化に使用される、前記少なくとも１つ
の制御可能な符号化パラメータを調整するステップを含
む、前記（１４）記載の方法。 （１６）前記少なくとも１つの制御可能な符号化パラメ
ータが、各ストリームの符号化ビット・レートを含む、
前記（１４）記載の方法。 （１７）前記符号化するステップが多重圧縮ビデオ・ス
トリームを生成し、前記方法が前記各圧縮ビデオ・スト
リームを一定ビット・レート・チャネル上に多重化する
ステップを含む、前記（１２）記載の方法。 （１８）前記方法が、前記各圧縮ビデオ・ストリームを
前記多重化以前にバッファリングするステップを含み、
前記ビデオ・フレームの各ストリームを分析し、前記符
号化統計を導出するステップが、使用されるビット、平
均ＭＱＵＡＮＴ、バッファ充填度またはシーン変化に関
する統計の少なくとも１つを導出するステップを含む、
前記（１７）記載の方法。 （１９）前記適応化するステップが、前記多重ストリー
ムの符号化の開始時、及び前記多重ストリームの１スト
リーム内のシーン変化の検出時に、前記ピクチャ統計だ
けを使用するステップを含む、前記（１２）記載の方
法。 （２０）ビデオ・フレームの多重ストリームを処理する
システムであって、前記多重ストリームを分析し、前記
多重ストリームを構成する前記ビデオ・フレームの相対
複雑度を表すピクチャ統計を決定する分析手段と、各々
が前記多重ストリームの１ストリームを受信し、符号化
される前記ストリームのイントラフレーム特性またはイ
ンタフレーム特性のいずれかを含む、少なくとも１つの
特性に関する符号化統計を生成する手段を含む、前記多
重ストリームを並列に符号化する複数の符号器と、前記
各符号器及び前記分析手段に接続され、前記多重ストリ
ームを構成する前記ビデオ・フレームから導出される前
記ピクチャ統計及び前記符号化統計にもとづき、少なく
とも１つのストリームの符号化を動的に適応化する結合
制御装置とを含む、システム。 （２１）前記分析手段が、前記多重ストリームを受信す
るように接続され、各々が異なるストリームを受信する
複数のプリプロセッサを含み、前記複数のプリプロセッ
サが、前記多重ストリームを構成する前記ビデオ・フレ
ームの前記相対複雑度に関する情報を提供する前記ピク
チャ統計を出力し、前記ピクチャ統計が前記結合制御装
置に提供されて、前記少なくとも１つのストリームの前
記符号化を動的に適応化する、前記（２０）記載のシス
テム。 （２２）前記結合制御装置が、前記少なくとも１つのス
トリームを符号化するために前記符号器により使用され
る、少なくとも１つの制御可能な符号化パラメータを調
整する手段を含む、前記（２１）記載のシステム。 （２３）前記結合制御装置が、前記少なくとも１つのス
トリーム内のシーン変化の検出時、または前記少なくと
も１つのストリーム内の新たなフレーム・グループ（Ｇ
ＯＰ）の開始時に、前記制御可能な符号化パラメータを
調整する手段を含む、前記（２２）記載のシステム。 （２４）前記結合制御装置が、前記多重ストリームの符
号化の開始時、及び前記少なくとも１つのストリーム内
のシーン変化の検出時に、前記ピクチャ統計だけを使用
する手段を含む、前記（２０）記載のシステム。 （２５）前記結合制御装置が、前記ピクチャ統計及び前
記符号化統計を所定量により重み付けし、前記多重スト
リームを符号化するために前記複数の符号器により使用
される、少なくとも１つの制御可能な符号化パラメータ
を調整する手段を含む、前記（２０）記載のシステム。 （２６）前記ピクチャ統計が、符号化される前記多重ス
トリームを構成する前記ビデオ・フレームの平均フレー
ム・アクティビティを含み、前記符号化統計が前記ビデ
オ・フレームの符号化の間に使用されるビット、平均Ｍ
ＱＵＡＮＴ、またはバッファ充填度の少なくとも１つを
含む、前記（２０）記載のシステム。 （２７）ビデオ・フレームの多重ストリームを処理する
システムであって、ビデオ・フレームの多重ストリーム
を分析し、イントラフレーム特性またはインタフレーム
特性のいずれかを含む、少なくとも１つの特性に関する
ピクチャ統計を導出する分析手段と、各々が前記多重ス
トリームの１ストリームを受信し、少なくとも１つの制
御可能な符号化パラメータを用いて前記ストリームを符
号化し、前記符号化の間に前記ストリームを分析し、イ
ントラフレーム符号化特性またはインタフレーム符号化
特性のいずれかを含む、少なくとも１つの符号化特性に
関する符号化統計を導出する符号化手段を含む、前記多
重ストリームを並列に符号化する複数の符号器と、前記
各符号器及び前記分析手段に接続され、前記ピクチャ統
計及び前記符号化統計から導出される相対情報にもとづ
き、少なくとも１つのストリームの符号化を動的に適応
化する結合制御装置とを含み、前記符号化を適応化する
ステップが、前記少なくとも１つのストリームの前記符
号化に使用される、前記少なくとも１つの制御可能な符
号化パラメータを調整するステップを含み、前記多重ス
トリームの前記符号化が、前記相対情報の変化に適応す
る、システム。 （２８）前記ピクチャ統計が平均フレーム・アクティビ
ティを表し、前記符号化統計が前記ビデオ・フレームの
符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、ま
たはバッファ充填度の少なくとも１つを含む、前記（２
７）記載のシステム。 （２９）前記結合制御装置が、前記ピクチャ統計及び前
記符号化統計の両方を使用し、前記少なくとも１つのス
トリームの符号化に使用される、前記少なくとも１つの
制御可能な符号化パラメータを調整する手段を含み、前
記少なくとも１つの制御可能な符号化パラメータが、符
号化ビット・レートを含む、前記（２７）記載のシステ
ム。 （３０）前記結合制御装置が、前記ピクチャ統計及び前
記符号化統計を所定の関係で使用することにより、前記
少なくとも１つのストリームの前記符号化に使用され
る、前記少なくとも１つの制御可能な符号化パラメータ
を調整する手段を含む、前記（２７）記載のシステム。 （３１）前記複数の符号器が多重圧縮ビデオ・ストリー
ムを生成し、前記システムが前記圧縮ビデオ・ストリー
ムを一定ビット・レート・チャネル上に多重化するマル
チプレクサを含む、前記（２７）記載のシステム。 （３２）前記システムが、前記各圧縮ビデオ・ストリー
ムを前記多重化以前にバッファリングする手段を含み、
前記符号化統計を導出する符号化手段が、使用されるビ
ット、平均ＭＱＵＡＮＴ、バッファ充填度またはシーン
変化に関する統計の少なくとも１つを導出する手段を含
む、前記（３１）記載のシステム。 （３３）ビデオ・フレームの多重ストリームの処理をコ
ンピュータに指示するコンピュータ読出し可能プログラ
ム・コード手段を有する、少なくとも１つのコンピュー
タ使用可能媒体を含む装置であって、前記コンピュータ
読出し可能プログラム・コード手段が、 ｉ）前記ビデオ・フレームの多重ストリームを分析し、
前記多重ストリームを構成する前記ビデオ・フレームの
相対複雑度を決定するように前記コンピュータに指示
し、前記多重ストリームの符号化以前に、前記ビデオ・
フレームの前記相対複雑度に関するピクチャ統計を獲得
する手段と、 ｉｉ）前記ビデオ・フレームの相対複雑度を用い、前記
多重ストリームを並列に符号化するように前記コンピュ
ータに指示し、前記ビデオ・フレームの前記相対複雑度
の変化により、前記多重ストリームを適応的に符号化す
る手段と、 ｉｉｉ）前記符号化の間に、前記ビデオ・フレームの各
ストリームを分析し、そのイントラフレーム特性または
インタフレーム特性のいずれかを含む、少なくとも１つ
の特性に関する符号化統計を導出するように前記コンピ
ュータに指示する手段とを含み、前記適応的に符号化す
るように前記コンピュータに指示する手段が、前記ピク
チャ統計及び前記符号化統計の両方を使用し、前記多重
ストリームを適応的に符号化するように前記コンピュー
タに指示する手段を含む、装置。 （３４）前記多重ストリームの符号化の開始時、及び前
記多重ストリームの１ストリーム内のシーン変化の検出
時に、前記ピクチャ統計だけを使用するように前記コン
ピュータに指示する手段を含む、前記（３３）記載の装
置。 （３５）前記ピクチャ統計及び前記符号化統計の両方を
使用し、適応的に符号化するように前記コンピュータに
指示する手段が、前記ピクチャ統計及び前記符号化統計
を所定量により重み付けするように前記コンピュータに
指示し、前記多重ストリームを符号化するために、前記
符号化手段により使用される制御可能な符号化パラメー
タを調整する手段を含む、前記（３３）記載の装置。 （３６）ビデオ・フレームの多重ストリームの処理を指
示するコンピュータ読出し可能プログラム・コード手段
を有する、少なくとも１つのコンピュータ使用可能媒体
を含む装置であって、前記コンピュータ読出し可能プロ
グラム・コード手段が、 ｉ）前記ビデオ・フレームの多重ストリームを分析し、
イントラフレーム特性またはインタフレーム特性のいず
れかを含む、少なくとも１つの特性に関するピクチャ統
計を導出するように、前記コンピュータに指示する手段
と、 ｉｉ）前記ビデオ・フレームの各ストリームに対して、
少なくとも１つの制御可能な符号化パラメータを使用
し、前記多重ストリームを並列に符号化するように前記
コンピュータに指示する手段と、 ｉｉｉ）前記多重ストリームから獲得される前記ピクチ
ャ統計からの相対情報を使用し、少なくとも１つのスト
リームの符号化に使用される少なくとも１つの制御可能
な符号化パラメータを調整することにより、前記多重ス
トリームの符号化を前記相対情報の変化に適応化するよ
うに、前記コンピュータに指示する手段と、 ｉｖ）前記符号化の間に、前記ビデオ・フレームの各ス
トリームを分析し、イントラフレーム符号化特性または
インタフレーム符号化特性のいずれかを含む、少なくと
も１つの符号化特性に関する符号化統計を導出するよう
に、前記コンピュータに指示する手段とを含み、前記符
号化を適応化するように前記コンピュータに指示する手
段が、前記符号化統計を前記ピクチャ統計と共に使用
し、前記ビデオ・フレームの少なくとも１つのストリー
ムの前記符号化を適応化するように前記コンピュータに
指示する手段を含む、装置。 （３７）前記ピクチャ統計が平均フレーム・アクティビ
ティを表し、前記符号化統計が前記ビデオ・フレームの
符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、ま
たはバッファ充填度の少なくとも１つを含む、前記（３
６）記載の装置。

【図面の簡単な説明】

【図１】本発明の原理に従う統計的多重化システムで使
用される一般的なＭＰＥＧ−２準拠の符号器１１のフロ
ー図である。

【図２】Ｉピクチャ、Ｐピクチャ及びＢピクチャの表示
順序及び伝送順序、及び前方動き予測及び後方動き予測
の例を示す図である。

【図３】本発明に従い実現される多重ストリーム・ビデ
オ圧縮統計的多重化システムの例を示す図である。

【図４】本発明に従う統計的多重化システムのチャネル
・バッファ充填度対時間の関係を示す図である。

【図５】本発明の原理に従う統計的多重化レート制御処
理の１実施例のフロー図である。

【符号の説明】

１１ 符号器 ２１ 離散コサイン変換器 ２３ 量子化器 ２９ 逆量子化 ３１ 逆離散コサイン変換 ４１ 動き補償ユニット ４２ フレーム・メモリ ４３ 動き推定ユニット １１３ 動きベクトル ２００ 多重番組ビデオ圧縮システム ２０５ プリプロセッサ ２１０ ＭＰＥＧ−２ビデオ符号器 ２２０ バッファ ２３０ 結合レート制御装置 ２４０ マルチプレクサ ２５０ チャネル・バッファ ２５５ チャネル・バッファ制御フィードバック

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/081 Ｈ０４Ｎ 7/137 Ｚ 7/32 (72)発明者 リラ・ボロクスキ アメリカ合衆国13760、ニューヨーク州エ ンディコット、シエリ・ドライブ 603 ハーフ (72)発明者 アグネス・ワイ・ナイ アメリカ合衆国13760、ニューヨーク州エ ンドウェル、パートリッジ・プレイス 725 (72)発明者 エドワード・エフ・ウエスターマン アメリカ合衆国13760、ニューヨーク州エ ンディコット、ドロシー・ストリート 189

Claims (37)

【特許請求の範囲】
1. 【請求項１】ビデオ・フレームの多重ストリームを処理
   する方法であって、 前記多重ストリームを分析し、前記多重ストリームを構
   成する前記ビデオ・フレームの相対複雑度を決定するに
   おいて、前記多重ストリームの符号化以前に、前記ビデ
   オ・フレームの前記相対複雑度に関するピクチャ統計を
   獲得するステップと、 前記ビデオ・フレームの相対複雑度を用いて、前記多重
   ストリームを並列に符号化するにおいて、前記相対複雑
   度の変化により、前記多重ストリームを適応的に符号化
   するステップと、 前記符号化の間に、前記ビデオ・フレームの各ストリー
   ムを分析し、そのイントラフレーム特性またはインタフ
   レーム特性のいずれかを含む、少なくとも１つの特性に
   関する符号化統計を導出するステップとを含み、前記適
   応的に符号化するステップが、前記ピクチャ統計及び前
   記符号化統計の両方を使用し、前記多重ストリームを適
   応的に符号化するステップを含む、方法。
2. 【請求項２】前記適応的に符号化するステップが、前記
   多重ストリームの前記分析にもとづき、前記多重ストリ
   ームを符号化するために、前記符号化するステップによ
   り使用される制御可能な符号化パラメータを調整するス
   テップを含む、請求項１記載の方法。
3. 【請求項３】前記多重ストリームの符号化の開始時、及
   び前記多重ストリームの１ストリーム内のシーン変化の
   検出時に、前記ピクチャ統計だけを使用するステップを
   含む、請求項１記載の方法。
4. 【請求項４】前記ピクチャ統計及び前記符号化統計の両
   方を使用し、前記適応的に符号化するステップが、前記
   ピクチャ統計及び前記符号化統計を所定量により重み付
   けすることにより、前記多重ストリームを符号化するた
   めに前記符号化するステップにより使用される制御可能
   な符号化パラメータを調整するステップを含む、請求項
   １記載の方法。
5. 【請求項５】前記重み付けするステップが、前記ピクチ
   ャ統計を５０％に、及び前記符号化統計を５０％に重み
   付けすることにより、前記多重ストリームの前記相対複
   雑度にもとづき、前記制御可能な符号化パラメータを調
   整するステップを含む、請求項４記載の方法。
6. 【請求項６】前記多重ストリームの１ストリーム内のシ
   ーン変化の検出時に、前記多重ストリームを適応的に符
   号化するステップを実行するステップを含む、請求項１
   記載の方法。
7. 【請求項７】前記分析するステップが、前記多重ストリ
   ームを事前処理し、前記多重ストリームを構成する前記
   ビデオ・フレームの各々の平均フレーム・アクティビテ
   ィを生成するステップを含み、前記符号化が前記ビデオ
   ・フレームの前記相対複雑度を表すものとして、前記平
   均フレーム・アクティビティを使用する、請求項１記載
   の方法。
8. 【請求項８】前記適応的に符号化するステップが、前記
   多重ストリームの前記ピクチャ統計及び前記符号化統計
   にもとづき、前記多重ストリームを符号化するために前
   記符号化するステップにより使用される符号化パラメー
   タを調整するステップを含み、前記ビデオ・フレームの
   各ストリームの前記制御可能な符号化パラメータが、符
   号化ビット・レートを含み、前記符号化するステップが
   多重圧縮ビデオ・ストリームを生成するものにおいて、
   前記方法が各圧縮ビデオ・ストリームをバッファ内にバ
   ッファリングするステップを含み、前記適応的に符号化
   するステップが、各ストリームに対して、前記圧縮ビデ
   オ・ストリームを受信する前記バッファの充填度にもと
   づき、前記符号化ビット・レートを変更するステップを
   含む、請求項１記載の方法。
9. 【請求項９】前記多重圧縮ビデオ・ストリームを一定ビ
   ット・レート・チャネル上に多重化するステップを含
   む、請求項８記載の方法。
10. 【請求項１０】前記バッファの上限及び下限の保護帯域
    を事前に定義するステップを含み、前記バッファ充填度
    が前記バッファの上限または下限のいずれかの前記保護
    帯域内にある場合、前記符号化ビット・レートを変更す
    るステップを含む、請求項９記載の方法。
11. 【請求項１１】前記適応的に符号化するステップがレー
    ト制御アルゴリズムを使用し、前記多重ストリームの各
    ストリームの符号化ビット・レートを制御するステップ
    を含み、前記方法が、前記多重ストリームを構成する前
    記ビデオ・フレームの前記相対複雑度を表す前記ピクチ
    ャ統計及び前記符号化統計を、前記レート制御アルゴリ
    ズムに提供するステップを含む、請求項１記載の方法。
12. 【請求項１２】ビデオ・フレームの多重ストリームを処
    理する方法であって、 前記多重ストリームを分析し、イントラフレーム特性ま
    たはインタフレーム特性のいずれかを含む、少なくとも
    １つの特性に関するピクチャ統計を導出するステップ
    と、 前記ビデオ・フレームの各ストリームに対して、少なく
    とも１つの制御可能な符号化パラメータを使用し、前記
    多重ストリームを並列に符号化するステップと、 前記多重ストリームから獲得される前記ピクチャ統計か
    らの相対情報を使用し、少なくとも１つのストリームの
    符号化に使用される少なくとも１つの制御可能な符号化
    パラメータを調整することにより、前記多重ストリーム
    の符号化を前記少なくとも１つの特性の相対変化に適応
    化するステップと、 前記符号化の間に、前記ビデオ・フレームの各ストリー
    ムを分析し、イントラフレーム符号化特性またはインタ
    フレーム符号化特性のいずれかを含む、少なくとも１つ
    の符号化特性に関する符号化統計を導出するステップと
    を含み、前記符号化を適応化するステップが、前記符号
    化統計を前記ピクチャ統計と共に使用し、前記少なくと
    も１つのストリームの符号化を適応化するステップを含
    む、方法。
13. 【請求項１３】前記ピクチャ統計が平均フレーム・アク
    ティビティを表し、前記符号化統計が前記ビデオ・フレ
    ームの符号化の間に使用されるビット、平均ＭＱＵＡＮ
    Ｔ、またはバッファ充填度の少なくとも１つを含む、請
    求項１２記載の方法。
14. 【請求項１４】前記符号化を適応化するステップが、前
    記ピクチャ統計及び前記符号化統計の両方を使用するこ
    とにより、前記少なくとも１つのストリームの符号化に
    使用される、前記少なくとも１つの制御可能な符号化パ
    ラメータを調整するステップを含む、請求項１２記載の
    方法。
15. 【請求項１５】前記ピクチャ統計及び前記符号化統計を
    所定の関係で使用することにより、前記少なくとも１つ
    のストリームの前記符号化に使用される、前記少なくと
    も１つの制御可能な符号化パラメータを調整するステッ
    プを含む、請求項１４記載の方法。
16. 【請求項１６】前記少なくとも１つの制御可能な符号化
    パラメータが、各ストリームの符号化ビット・レートを
    含む、請求項１４記載の方法。
17. 【請求項１７】前記符号化するステップが多重圧縮ビデ
    オ・ストリームを生成し、前記方法が前記各圧縮ビデオ
    ・ストリームを一定ビット・レート・チャネル上に多重
    化するステップを含む、請求項１２記載の方法。
18. 【請求項１８】前記方法が、前記各圧縮ビデオ・ストリ
    ームを前記多重化以前にバッファリングするステップを
    含み、前記ビデオ・フレームの各ストリームを分析し、
    前記符号化統計を導出するステップが、使用されるビッ
    ト、平均ＭＱＵＡＮＴ、バッファ充填度またはシーン変
    化に関する統計の少なくとも１つを導出するステップを
    含む、請求項１７記載の方法。
19. 【請求項１９】前記適応化するステップが、前記多重ス
    トリームの符号化の開始時、及び前記多重ストリームの
    １ストリーム内のシーン変化の検出時に、前記ピクチャ
    統計だけを使用するステップを含む、請求項１２記載の
    方法。
20. 【請求項２０】ビデオ・フレームの多重ストリームを処
    理するシステムであって、 前記多重ストリームを分析し、前記多重ストリームを構
    成する前記ビデオ・フレームの相対複雑度を表すピクチ
    ャ統計を決定する分析手段と、 各々が前記多重ストリームの１ストリームを受信し、符
    号化される前記ストリームのイントラフレーム特性また
    はインタフレーム特性のいずれかを含む、少なくとも１
    つの特性に関する符号化統計を生成する手段を含む、前
    記多重ストリームを並列に符号化する複数の符号器と、 前記各符号器及び前記分析手段に接続され、前記多重ス
    トリームを構成する前記ビデオ・フレームから導出され
    る前記ピクチャ統計及び前記符号化統計にもとづき、少
    なくとも１つのストリームの符号化を動的に適応化する
    結合制御装置とを含む、システム。
21. 【請求項２１】前記分析手段が、前記多重ストリームを
    受信するように接続され、各々が異なるストリームを受
    信する複数のプリプロセッサを含み、前記複数のプリプ
    ロセッサが、前記多重ストリームを構成する前記ビデオ
    ・フレームの前記相対複雑度に関する情報を提供する前
    記ピクチャ統計を出力し、前記ピクチャ統計が前記結合
    制御装置に提供されて、前記少なくとも１つのストリー
    ムの前記符号化を動的に適応化する、請求項２０記載の
    システム。
22. 【請求項２２】前記結合制御装置が、前記少なくとも１
    つのストリームを符号化するために前記符号器により使
    用される、少なくとも１つの制御可能な符号化パラメー
    タを調整する手段を含む、請求項２１記載のシステム。
23. 【請求項２３】前記結合制御装置が、前記少なくとも１
    つのストリーム内のシーン変化の検出時、または前記少
    なくとも１つのストリーム内の新たなフレーム・グルー
    プ（ＧＯＰ）の開始時に、前記制御可能な符号化パラメ
    ータを調整する手段を含む、請求項２２記載のシステ
    ム。
24. 【請求項２４】前記結合制御装置が、前記多重ストリー
    ムの符号化の開始時、及び前記少なくとも１つのストリ
    ーム内のシーン変化の検出時に、前記ピクチャ統計だけ
    を使用する手段を含む、請求項２０記載のシステム。
25. 【請求項２５】前記結合制御装置が、前記ピクチャ統計
    及び前記符号化統計を所定量により重み付けし、前記多
    重ストリームを符号化するために前記複数の符号器によ
    り使用される、少なくとも１つの制御可能な符号化パラ
    メータを調整する手段を含む、請求項２０記載のシステ
    ム。
26. 【請求項２６】前記ピクチャ統計が、符号化される前記
    多重ストリームを構成する前記ビデオ・フレームの平均
    フレーム・アクティビティを含み、前記符号化統計が前
    記ビデオ・フレームの符号化の間に使用されるビット、
    平均ＭＱＵＡＮＴ、またはバッファ充填度の少なくとも
    １つを含む、請求項２０記載のシステム。
27. 【請求項２７】ビデオ・フレームの多重ストリームを処
    理するシステムであって、 ビデオ・フレームの多重ストリームを分析し、イントラ
    フレーム特性またはインタフレーム特性のいずれかを含
    む、少なくとも１つの特性に関するピクチャ統計を導出
    する分析手段と、 各々が前記多重ストリームの１ストリームを受信し、少
    なくとも１つの制御可能な符号化パラメータを用いて前
    記ストリームを符号化し、前記符号化の間に前記ストリ
    ームを分析し、イントラフレーム符号化特性またはイン
    タフレーム符号化特性のいずれかを含む、少なくとも１
    つの符号化特性に関する符号化統計を導出する符号化手
    段を含む、前記多重ストリームを並列に符号化する複数
    の符号器と、 前記各符号器及び前記分析手段に接続され、前記ピクチ
    ャ統計及び前記符号化統計から導出される相対情報にも
    とづき、少なくとも１つのストリームの符号化を動的に
    適応化する結合制御装置とを含み、前記符号化を適応化
    するステップが、前記少なくとも１つのストリームの前
    記符号化に使用される、前記少なくとも１つの制御可能
    な符号化パラメータを調整するステップを含み、前記多
    重ストリームの前記符号化が、前記相対情報の変化に適
    応する、システム。
28. 【請求項２８】前記ピクチャ統計が平均フレーム・アク
    ティビティを表し、前記符号化統計が前記ビデオ・フレ
    ームの符号化の間に使用されるビット、平均ＭＱＵＡＮ
    Ｔ、またはバッファ充填度の少なくとも１つを含む、請
    求項２７記載のシステム。
29. 【請求項２９】前記結合制御装置が、前記ピクチャ統計
    及び前記符号化統計の両方を使用し、前記少なくとも１
    つのストリームの符号化に使用される、前記少なくとも
    １つの制御可能な符号化パラメータを調整する手段を含
    み、前記少なくとも１つの制御可能な符号化パラメータ
    が、符号化ビット・レートを含む、請求項２７記載のシ
    ステム。
30. 【請求項３０】前記結合制御装置が、前記ピクチャ統計
    及び前記符号化統計を所定の関係で使用することによ
    り、前記少なくとも１つのストリームの前記符号化に使
    用される、前記少なくとも１つの制御可能な符号化パラ
    メータを調整する手段を含む、請求項２７記載のシステ
    ム。
31. 【請求項３１】前記複数の符号器が多重圧縮ビデオ・ス
    トリームを生成し、前記システムが前記圧縮ビデオ・ス
    トリームを一定ビット・レート・チャネル上に多重化す
    るマルチプレクサを含む、請求項２７記載のシステム。
32. 【請求項３２】前記システムが、前記各圧縮ビデオ・ス
    トリームを前記多重化以前にバッファリングする手段を
    含み、前記符号化統計を導出する符号化手段が、使用さ
    れるビット、平均ＭＱＵＡＮＴ、バッファ充填度または
    シーン変化に関する統計の少なくとも１つを導出する手
    段を含む、請求項３１記載のシステム。
33. 【請求項３３】ビデオ・フレームの多重ストリームの処
    理をコンピュータに指示するコンピュータ読出し可能プ
    ログラム・コード手段を有する、少なくとも１つのコン
    ピュータ使用可能媒体を含む装置であって、前記コンピ
    ュータ読出し可能プログラム・コード手段が、 ｉ）前記ビデオ・フレームの多重ストリームを分析し、
    前記多重ストリームを構成する前記ビデオ・フレームの
    相対複雑度を決定するように前記コンピュータに指示
    し、前記多重ストリームの符号化以前に、前記ビデオ・
    フレームの前記相対複雑度に関するピクチャ統計を獲得
    する手段と、 ｉｉ）前記ビデオ・フレームの相対複雑度を用い、前記
    多重ストリームを並列に符号化するように前記コンピュ
    ータに指示し、前記ビデオ・フレームの前記相対複雑度
    の変化により、前記多重ストリームを適応的に符号化す
    る手段と、 ｉｉｉ）前記符号化の間に、前記ビデオ・フレームの各
    ストリームを分析し、そのイントラフレーム特性または
    インタフレーム特性のいずれかを含む、少なくとも１つ
    の特性に関する符号化統計を導出するように前記コンピ
    ュータに指示する手段とを含み、前記適応的に符号化す
    るように前記コンピュータに指示する手段が、前記ピク
    チャ統計及び前記符号化統計の両方を使用し、前記多重
    ストリームを適応的に符号化するように前記コンピュー
    タに指示する手段を含む、装置。
34. 【請求項３４】前記多重ストリームの符号化の開始時、
    及び前記多重ストリームの１ストリーム内のシーン変化
    の検出時に、前記ピクチャ統計だけを使用するように前
    記コンピュータに指示する手段を含む、請求項３３記載
    の装置。
35. 【請求項３５】前記ピクチャ統計及び前記符号化統計の
    両方を使用し、適応的に符号化するように前記コンピュ
    ータに指示する手段が、前記ピクチャ統計及び前記符号
    化統計を所定量により重み付けするように前記コンピュ
    ータに指示し、前記多重ストリームを符号化するため
    に、前記符号化手段により使用される制御可能な符号化
    パラメータを調整する手段を含む、請求項３３記載の装
    置。
36. 【請求項３６】ビデオ・フレームの多重ストリームの処
    理を指示するコンピュータ読出し可能プログラム・コー
    ド手段を有する、少なくとも１つのコンピュータ使用可
    能媒体を含む装置であって、前記コンピュータ読出し可
    能プログラム・コード手段が、 ｉ）前記ビデオ・フレームの多重ストリームを分析し、
    イントラフレーム特性またはインタフレーム特性のいず
    れかを含む、少なくとも１つの特性に関するピクチャ統
    計を導出するように、前記コンピュータに指示する手段
    と、 ｉｉ）前記ビデオ・フレームの各ストリームに対して、
    少なくとも１つの制御可能な符号化パラメータを使用
    し、前記多重ストリームを並列に符号化するように前記
    コンピュータに指示する手段と、 ｉｉｉ）前記多重ストリームから獲得される前記ピクチ
    ャ統計からの相対情報を使用し、少なくとも１つのスト
    リームの符号化に使用される少なくとも１つの制御可能
    な符号化パラメータを調整することにより、前記多重ス
    トリームの符号化を前記相対情報の変化に適応化するよ
    うに、前記コンピュータに指示する手段と、 ｉｖ）前記符号化の間に、前記ビデオ・フレームの各ス
    トリームを分析し、イントラフレーム符号化特性または
    インタフレーム符号化特性のいずれかを含む、少なくと
    も１つの符号化特性に関する符号化統計を導出するよう
    に、前記コンピュータに指示する手段とを含み、前記符
    号化を適応化するように前記コンピュータに指示する手
    段が、前記符号化統計を前記ピクチャ統計と共に使用
    し、前記ビデオ・フレームの少なくとも１つのストリー
    ムの前記符号化を適応化するように前記コンピュータに
    指示する手段を含む、装置。
37. 【請求項３７】前記ピクチャ統計が平均フレーム・アク
    ティビティを表し、前記符号化統計が前記ビデオ・フレ
    ームの符号化の間に使用されるビット、平均ＭＱＵＡＮ
    Ｔ、またはバッファ充填度の少なくとも１つを含む、請
    求項３６記載の装置。