JP2000050254A - 改良された適応性のあるビデオ符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 MPEG-4エンコーダと他の符号化計画のために
特に適した適応性のあるビデオ符号化の方法を提供する 【解決手段】 符号化ステップは、ビデオオブジェクト
の各々のテクスチャ、動き及び形状情報を生成し、バッ
ファに画像表示符号ビットを格納し、所定のリミット値
に関してバッファの内容を制限し、各連続フレーム中の
各ビデオオブジェクトを符号化するためのビットのター
ゲット数を評価し、少なくともより高いレートとより低
いレートの内の一方で符号化するための可変レートを設
定するステップを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、二次レートディス
トーションモデルに基づき複数のビデオオブジェクトに
対してジョイントレート制御を用いてディジタル記録お
よび／またはそのような信号の伝送を行うための、ビデ
オ信号を符号化する方法に関する。

【０００２】特に、本発明は、ジョイントレート制御ア
ルゴリズムを用いて複数のビデオオブジェクトの符号化
を行うための、ビデオ符号化の方法に関するものであ
る。このアルゴリズムは、MPEG-4ビデオ検証モデルV7.0
ISO/ICC JTCI/SC29/WG11、動画及び関連音声の符号化M
PEG97/N1642.1997年4月、Bristol、U.K.に解説されてい
るVM7レート制御計画に基づくものである。

【０００３】この方法は、ターゲット値の配分方法とレ
ート制御プロセスにおいてオブジェクトの形状を考慮に
入れるツールを導入する方法が変更されている。これら
の改変は、ビデオオブジェクト間の均質的品質を増すこ
と及びより良いバッファの調整に貢献している。全体と
して、この方法は、バッファがよく調整され、ビットが
適切に配分されるように複数のビデオオブジェクトを符
号化する有効な手段を提供するものでありながら、それ
でいて空間品質と時間品質との間の必要な折衷を決定す
るための柔軟な方法である。

【０００４】

【従来の技術】動画専門家グループ(MPEG)によって採用
されたデジタルカラービデオ信号の帯域幅を圧縮する基
本的方法は離散余弦変換(DCT)技術を利用するものであ
る。さらに、MPEGのアプローチでは動き補償技術が用い
られる。

【０００５】画像の全フレームについての情報をほんの
時々展開することによりMPEG規格では高いデータ圧縮率
が達成される。この画像フレーム、すなわちイントラ符
号化像は"I-フレーム"と呼ばれ、他のどんなフレームに
も依存しない全フレーム情報を含んでいる。I-フレーム
の間に、いわゆるB-フレームとP-フレームがあり、これ
らのフレームには参照アンカーフレームに関連して発生
する画像差のみが格納されている。

【０００６】具体的には、ビデオシーケンスの各フレー
ムは画素データのより小さなブロックに仕切られ、統計
的に依存している空間領域ピクチャ成分(画素)を独立周
波数領域DCT係数に変換するために各ブロックに離散余
弦変換関数が施される。

【０００７】すなわち、フレーム内符号化(I-フレーム)
に従って符号化されたデータブロックは離散余弦係数の
マトリックスから成る。それぞれの8 × 8乃至16 × 16
の画素ブロックに離散余弦変換(DCT)が施され、符号化
信号が生成される。これらの係数に適応量子化が行わ
れ、次いでランレングス符号化と可変長符号化が施され
る。従って、送信データのそれぞれのブロックには8 ×
8マトリックスの符号語より少ない符号語が含まれるこ
とがある。イントラフレーム符号化データのマクロブロ
ックには、DCT係数に加えて、用いられている量子化の
レベル、マクロブロックアドレスすなわち位置標識、及
びマクロブロックタイプのような情報が含まれることに
なる。そして、この後者の情報は"ヘッダ"すなわち"オ
ーバーヘッド"情報として参照される。

【０００８】P又はBインターフレーム符号化に従って符
号化されたデータブロックはまた離散余弦係数のマトリ
ックスから成る。しかしこの場合、その係数は、予測さ
れた8 × 8画素マトリックスと実際の8 × 8画素マトリ
ックスとの間の残余すなわち差を表す。これらの係数は
量子化され、ランレングス符号化及び可変長符号化が施
される。フレームシーケンスにおいて、I及びPフレーム
はアンカーフレームと呼ばれる。各Pフレームは、一番
最後に発生するアンカーフレームから予測される。各B
フレームは、アンカーフレームの一方若しくはBフレー
ムが間に配置されている2つのアンカーフレームから予
測される。この予測符号化プロセスには、アンカーフレ
ームのどのブロックが現在符号化されている予測フレー
ムのブロックにもっとも近似してマッチしているかを示
す変位ベクトルの生成が伴う。アンカーフレームのマッ
チしたブロックの画素データは１画素ずつのベースで符
号化されているフレームのブロックから減じられ、その
残余が展開される。変換された残余とベクトルには予測
フレームのための符号化データが含まれる。イントラフ
レーム符号化フレームと共に、このマクロブロックには
量子化、アドレス及びタイプ情報が含まれる。

【０００９】これらの結果は通常エネルギーが集中され
ているため、ブロック中の係数のいくつかはピクチャ情
報の主要部分に含まれる。これらの係数は周知の方法で
量子化され、係数のダイナミックレンジを有効に限定す
る。この結果は次いでランレングス及び可変長レングス
で符号化され、伝送媒体に適用される。

【００１０】ISO/IEC JTCl/SC29/WG11 MPEG96/N1469と
いう名称で、1996年11月にMPEG-4ビデオVM編集に関する
専門家班によってそのメンバーに配布された"MPEG-4ビ
デオ検証モデルバージョン5.0"に解説されている、最新
の符号化検証モデル(VM)を実現するための最近の提案
で、その内容は本明細書に参考として取り入れられてい
るが、デービッドサーノフ(David Sarnoff)研究センタ
ーの代表者達は、"二次レートディストーションモデル
を用いる新しいレート制御計画"を提案した。このMPEG-
4ビデオ符号化フォーマットは(先行の計画の場合と同
様)フレーム毎にエンコーダで可変ビットレートストリ
ームを生成する。この可変ビットレートストリームは固
定レートチャネルによって伝送されなければならないの
で、チャネルバッファを用いてビットストリームを円滑
に出力する。バッファがオーバーフローまたはアンダー
フローするのを回避するために、符号化プロセスのレー
ト制御が必要とされる。

【００１１】この最近の提案では、所定のセットのフレ
ーム(ピクチャ)のために符号化プロセスが始まる前に、
各フレームのためのターゲットビットレートが計算さ
れ、エンコーダの出力からの出力ビットレートが固定ビ
ットレートに抑えられる一方、ピクチャ符号化の結果か
ら生じるビットレートが画像フレームの内容によって
(修正されないままになっている場合)比較的広い範囲に
わたって変動可能であるという事実を助ける。この提案
に従って、各フレームに関連する歪み測度はフレームの
平均量子化スケールになるものと仮定されており、歪み
測度の逆関数の二次関数としてそのレートディストーシ
ョン関数がモデル化されている。実際の符号化プロセス
が始まる前に、画像のターゲットビットレートは、符号
化すべきフレーム数のみならず画像グループを符号化す
るために残されているビット数によっても評価される。
この提案の提唱者達はピクチャレベルでの彼らの計画の
実現について触れ、その計画をマクロブロックレベルに
まで拡張する可能性についても述べている。

【００１２】ブロック(マクロブロック)があるオブジェ
クトのエッジの境界を含むとき、DCT係数によって表さ
れるように、変換後のそのブロックのエネルギーには比
較的大きなDC係数(マトリックスの左上端コーナー)が含
まれ、マトリックスの至る所にランダムにAC係数を配分
したということも知られている。これに反して、非エッ
ジブロックは、同様の大きなDC係数(左上端コーナー)及
びそのブロックに関連する他の係数より実質的に大きい
いくつかの(たとえば２つの)隣接AC係数によって通常特
徴づけられる。この情報は空間領域の画像変化に関する
ものであり、連続フレーム(すなわち時間的差)の比較か
ら得られる画像差情報と組み合わされて１つのビデオオ
ブジェクト(VO)を別のものと区別するために因数を利用
できる。

【００１３】図1(見本ビデオ場面)に示すように、2つ以
上のビデオオブジェクト(VO₁、VO₂、VO_i)が１つの画像
フレームすなわちプレーン(VOP)に含まれることがあ
る。そして各連続フレームでは、ビデオオブジェクトの
相対的位置が動きを表示しながら変化すると予想され
る。同時に、この動きがオブジェクトの画定を助ける。

【００１４】MPEG-4VMに基づいて、システムのデコーダ
端で付加的機能性を提供するためにコンテントベースの
操作と独立ビットストリーム符号化という追加目的が課
された。このMPEG-4の目的は、MPEG-4エンコーダ内での
形状情報の符号化のような付加オーバーヘッド情報の結
果として各フレームに対する予測ターゲットビットレー
トのプロセスに関する付加的処理要件を複雑にし、押し
付けるものである。個々のVOの同定に関する情報と同様
MPEG-4VMの上述の特徴は、上述の参照マニュアルにより
詳しい説明がある。

【００１５】

【発明が解決しようとする課題】MPEG-4エンコーダと他
の符号化計画のために特に適した適応性のあるビデオ符
号化の方法を提供することが本発明の目的である。

【００１６】各VOの相対的動き、サイズ、平方偏差及び
形状を利用する改良されたビットレート制御システムを
提供する際に個々のビデオオブジェクト(VO)を考慮に入
れるMPEG-4VMに従って適応性のあるビデオ符号化を行う
ための利用可能な方法を提供することが本発明の更なる
目的である。

【００１７】

【課題を解決するための手段】本発明に従って、複数の
ビデオオブジェクトを符号化する際に一定のビットレー
ト出力を行う方法を説明する。この実現には二次レート
ディストーションモデルが利用される。各オブジェクト
はそれ自身のパラメータセットによって記述される。こ
れらのパラメータを用いて、最初のフレームが符号化さ
れた後各オブジェクトに対する初期ターゲットビット評
価が行われる。出力バッファの込み具合に基づいて、全
ターゲット値が調整され、次いでフレームのオブジェク
トの活動を表すパラメータセットに比例して配分され
る。各オブジェクトに関連する動き、サイズ及び平方偏
差パラメータから導出されるウェイトレシオを参照して
活動が決定される。形状レート制御パラメータも呼び出
される。新しい個々のターゲット値と二次モデルパラメ
ータに基づいて、各ビデオオブジェクトに対する適切な
量子化パラメータを計算することができる。この方法に
よって、待ち時間の短いビデオ符号化のためのターゲッ
トビットレートの達成が保証される。

【００１８】二次レートディストーションモデルに基づ
いて適切なビットレート制御システムを提供するため
に、フレーム全体に関してではなくビデオオブジェクト
(VO)に関して制御情報を一緒に適用できることがわかっ
ている。

【００１９】

【発明の実施の形態】実施の形態１．ジョイントビット
レート制御を行うための方法はプレ符号化段階とポスト
符号化段階に分けることができる。図2に示すように、
プレ符号化段階20には、(i)ターゲットビット評価21、
(ii)ジョイントバッファー制御22、(iii)プレフレーム
スキップ制御24、及び(iv)量子化レベル演算25が含まれ
る。ポスト符号化段階27には、(i)レートディストーシ
ョンモデルの更新28と(ii)ポストフレームスキップ制御
29が含まれる。この計画の重要な側面は、そのブロック
構造からは明らかではないが、ほとんどのブロックによ
って、全てのビデオオブジェクト(VO)について前オペレ
ーションが完全であるように要求されるという点であ
る。たとえば、符号化される次のVOのインター符号化31
は、先行するVOに対するすべての量子化レベルが計算さ
れてしまってから初めて計算される。この実施の形態で
は、すべてのVOが同一のフレームレートで符号化され
る。しかし、現在の実施の形態の多くは、各VOに対する
異なるフレームレートへの移動を予測するものである。
しかし、より完全なバッファー制御が要求される。

【００２０】適応性のあるビデオエンコーダは、図2に
例示する方法に従うようになっている。デジタル画像ソ
ース10は、フレームベース又はビデオオブジェクト(VO)
ベースの画像情報をビデオ信号エンコーダ12にデジタル
化された形で提供する。この画像は区画され、空間的に
重複しない画素データブロックになる。8 × 8画素若し
くは16 × 16画素のブロックサイズを用いてもよい。そ
れから各区画ブロックは処理される。

【００２１】動き評価部14は、フレームメモリ(以前に
再構成されたVOP16)に格納された時間的に近い参照フレ
ームを参考にして入力ブロック動きベクトルを評価する
ために用いられる。この参照フレームは、元々ある未処
理フレーム若しくは以前に符号化されたフレームであっ
てもよい。MPEG規格に記載されているような両方向の動
き評価を適用してもよい。

【００２２】動き補償ブロック11、テクスチャ符号化ブ
ロック13、形状コーディングブロック15、一定出力ビッ
トレートバッファ17及び多重送信MSDL19、これらすべて
はMPEG-4の参考文献に記載されているように構成され、
提供される。これに加えて、機能を果たすために(図2に
関連して説明したような)レート制御システム18が提供
される。

【００２３】再び図2を参照するが、プレ符号化段階20
にはさらに初期化セクション26(以下に示す表１を参照)
が含まれる。

【００２４】A. 初期化セクション26 このセクションでは、各VOがそれ自身の個別情報を担う
ことができるように、ほとんどのレート制御変数(たと
えば、一次及び二次の複雑さとMADすなわち平均絶対差
情報)はベクトルにまで拡張される。セグメントに対す
る残りビット数とバッファドレインのレートは変更され
ない。表1はこの方法の説明のために用いられる表記法
を要約するものである。

【００２５】

【表１】

【００２６】B. ポスト符号化段階27 符号化段階30の後に、レートディストーションモデルの
ためのパラメータを探さなければならない。多くのVOに
対して、エンコーダレートディストーション関数は次の
ようにモデル化される。 上記の式から、全てのVOに対して別個にモデルパラメー
タ X1_iと X2_iを計算できる。上記の式において、ターゲ
ット値、T_textureは複数のT_texture_iに分解される
が、これはi番目のVOのみから成るテクスチャ成分を符
号化するために使われるビット総数に対応するものであ
る。

【００２７】図2では、ポスト符号化段階27の次のステ
ップはポストフレームスキップ制御関数29である。この
時点でバッファ17は更新される。スキップマージンγに
対して現在のバッファレベルをチェックすることによっ
てオーバーフローが回避される。もし現在のバッファレ
ベルが指示されたマージンより上にあれば、フレームは
継続的にスキップされる。すなわち、特定の基準が満た
されるまでN_skip_postは1つずつ増える。

【００２８】このポストフレームスキップ制御は基準 Buff_level-N_skip_post・Buff_drain < (1-γ)・Buff_si
ze が満たされるまで1つずつ増える。

【００２９】γは、推奨構成では0.2に等しくなるよう
に選ばれる。上記の式の条件が満たされ、N_skip_post
が見いだされた後、N_skip_preの値がN_skip_postに加
えられる。N_skip_preの確定については後程説明する。
この最終値、N_skip=N_skip_pre+N_skip_postは、スキ
ップされる全フレームに等しい。新しい時刻を確定する
のはこの値である。ポストフレームスキップ制御関数が
発生した後でしかこの時刻は更新できないことに留意さ
れたい。

【００３０】最初の構成の次のプレ符号化段階を続行し
ながら、セグメントの利用可能なビット数と前回の対応
するVOで使われたビット数とに基づいて初期ターゲット
ビットレートを計算する。最低限の品質が保証されるよ
うに、フレームベースのシミュレーションに対する同様
の下限を用いる。 T[i]=Max(B_left/(30・numVOs),B_left/(numV0left[i]・n
umVOs)) T[i]=T[i]・(1-α)+B_past[i]・α

【００３１】重み付けαは過去のフレームからの寄与を
表し、この実施の形態では0.2にセットされている。

【００３２】いったん初期ターゲット値がセットされる
と、T=T・(2a+b)/(b+2a)（但しa=Buff_level、b=Buff_si
ze-Buff_level）に従って、バッファ18の込み具合に基
づく調整が行われる。このターゲットレートは個々のタ
ーゲットレート全ての総和を表すことに留意されたい。
さらに現在及び将来のバッファ18レベルに関してはター
ゲット値の予想される影響に基づいて変更が行われる。
δで安全マージンを示し、以下の式によりこのターゲッ
ト値を増大させる。 T_inc=Buff_drain-T-Buff_level+δ・Buff_size 但し、 Buff_level-Buff_drain+T < δ・Buff_size これに反して、以下の式によりターゲット値を減少させ
る。 Tdec=Buff_level+T-(1-δ)・Buff_size 但し、 Buff_level+T > (1-δ)・Buff_size

【００３３】上記のオペレーションはジョイントバッフ
ァー制御の一部である。この例示の実施の形態では、δ
は0.1にセットされている。

【００３４】次のステップは、一貫性のある品質を異な
るオブジェクトにわたって維持するようにビットを再配
分することである。これを達成するために、オブジェク
トサイズとオブジェクトが経験する活動量を先に符号化
したオブジェクトのヘッダー情報から取得する。しか
し、このターゲット値を配分する前に、以前のフレーム
のヘッダに使用されたビット総数がこのビットカウント
を超過するかどうかを判定するチェックが行われる。そ
の差、s=T-Hが全てのVOのテクスチャを符号化するため
に利用可能なビット数の近似値を表す。s<0ならば、各V
0を均等に符号化するのに十分なビットがないかもしれ
ない。この場合、全てのターゲット値は負になる。後程
説明するが、このことは下限制約条件を量子化パラメー
タに強いることになり、それによってテクスチャに費や
されるビット総数を制限することになる。それに加え
て、s<Oの場合、プレフレームスキップ制御24が呼び出
される。ポスト符号化段階27の後時刻が更新されるだけ
なのでこのフレームスキップ制御ブロックは次の時刻更
新に向けての補正として機能する。プレフレームスキッ
プ制御24が呼び出されると、N_skip_preのノンゼロ値が
決定される。この値は以下の式に従って決定される。

【００３５】ターゲット値を負にし余分のフレームをス
キップするこの組合せによりレート制御アルゴリズムが
次のターゲット値をより良く評価することが可能にな
り、一定のオブジェクト品質が供給される。

【００３６】s>Oの場合には、先に符号化したフレーム
のヘッダー情報に比例して以下のように全ターゲット値
Tが配分される。

【００３７】各VOのターゲット値を決めると、次のタス
クは所望のレートに対応する個々の歪み測度を決定する
ことである。このプロセスを各VOについて別個に処理し
MADに関して標準化すると古典的二次方程式を解くこと
になる。 ax²+bx+c=0、 但し a=X2_i b=X1_i c=T_texture_i/MAD_i

【００３８】T_texture_iがヘッダビットを総ビット数か
ら差し引いた結果であることに留意すれば、低ビットレ
ートの符号化を行うとき小さなターゲット値を取得する
ことが可能である。この困難を克服するために、以下の
式に従ってターゲット値の下限を設定する。 T_texture_i=Max{Buff_drain } -------------,T_texture_i {3・MAD_i・numVOs }

【００３９】ターゲット値が負の場合、導出された量子
化パラメータはLB_QUANTによって下限が設けられ、負で
ない場合には1〜31の通常のクリップ値が用いられる。
このパラメータを使用することによって比較的少量のビ
ットがテクスチャの符号化に行くことが保証される。LB
_QUANTの値は25より大きくなるように選ばなければなら
ない。代わりの方法として、アルファプレーンの解像度
を符号化の前に減少させることによって形状コーディン
グに費やすビット総数を減らしてもよい。

【００４０】

【実施例】以下の表には上記セクションで説明したアル
ゴリズムの実験グループが要約されている。15という初
期量子化パラメータをI-フレームに対して選んだが、そ
の後この量子化パラメータは自動的に決定された。

【００４１】

【表２】

【００４２】複数のVOの符号化の際、3つのパラメー
タ、すなわち、形状、動き及びテクスチャが符号化され
る。エンコーダソフトウェアによって、ユーザーは組合
せモード若しくは分離モードでパラメータを符号化する
ことができる。本明細書に示すシミュレーション結果は
分離パラメータ符号化を用いたものである。表3に各VO
に対するPSNRの詳細(Y-成分のみ)を示すとともに達成さ
れた実際のビットレートを報告する。

【００４３】

【表３】

【００４４】これらの結果から、満足すべき画質をもつ
ターゲットビットレートを達成することが可能であるこ
とは明らかである。しかし、待ち時間の短い利用のため
にはバッファのオーバーフローを回避しなければならな
い。複数のビデオオブジェクトを符号化するためには、
指定しなければならない多量のオーバーヘッド情報が必
要である。このために、各オブジェクトのテクスチャを
符号化するためのビットがエンコーダにほとんど残され
ていないということがよく起こる。その結果、エンコー
ダは、適切なバッファレベルを維持するためにフレーム
のスキップおよび／または量子化レベルの増加を余儀な
くされる。これに加えて、符号化フレームの数が指定さ
れる。各シーケンスについて、300フレーム(10秒)が符
号化された。

【００４５】二次レートディストーションモデルに基づ
く1つの場面の複数のビデオオブジェクトの符号化手段
を提示した。この計画は、フレームベースの符号化シミ
ュレーションを行うためにすでに証明された方法を強化
したものである。フレームスキップ制御が呼び出され、
バッファを助けてそれが混みすぎないようにする。バッ
ファがオーバーフローした事例は、非常に大量のビット
がオーバーヘッドに費やされたことを示すものである。
これを回避するために、オーバーヘッド情報(たとえ
ば、形状に費やされるビット)量を減少してもよい。

【００４６】本発明に従って、図3に示すような、ター
ゲット値配分32に関する改変を伴う基本的アプローチ、
オペレーションモード33、形状に関連するレート制御2
5'及びポストフレームスキップ29'が用いられる。2つの
オペレーションモードが用いられる。ターゲット値の配
分は各オブジェクトのサイズ、動き及び平方偏差(すな
わちMAD)に基づく。各配分に対する重みはオペレーショ
ンモードに依存する。最初のモードは低いビットレート
(LowMode)に関するもので、次のモードは高いビットレ
ート(HighMode)に関するものである。この新しいターゲ
ット値の配分によって主観的品質に重要な改良点が生み
出される。フレームスキップ制御の改変によってレジス
タのオーバーフローが回避される。

【００４７】ジョイントレート制御を行うための方法は
プレ符号化段階とポスト符号化段階に分けることができ
る。上述のように、プレ符号化段階20には、(i)ターゲ
ットビット評価21、(ii)ジョイントバッファー制御22、
(iii)プレフレームスキップ制御24、及び(iv)量子化レ
ベル演算25'が含まれる。ターゲットビット評価21は以
下に説明する修正ターゲット値配分関数32にも関連す
る。量子化レベル演算25'は以下に説明する形状レート
制御関数にも関連する。ポスト符号化段階27には、(i)
レートディストーションモデルの更新28、(ii)ポストフ
レームスキップ制御29'とオペレーションモード関数33
が含まれる。図3は本発明のレート制御プロセスを例示
し、加算ターゲット値配分32、オペレーションモード3
3、形状関連レート制御25'及び修正ポストフレームスキ
ップ制御29'を含む本発明に関連する付加的特徴が含ま
れる。

【００４８】場面の全てのオブジェクトについてターゲ
ット値が求められ、同一のフレームレートで全てのビデ
オオブジェクトが符号化された。そして、1つのフレー
ムの総ビット数は前回の対応するオブジェクトのヘッダ
ビット量に比例して配分された。本発明の場合には、各
オブジェクトの相対的動き、サイズ及び平方偏差すなわ
ち"MAD"を考慮に入れる関数に比例してビットが配分さ
れる。各VOPの各々の特別なビデオオブジェクト(これは
補償された動きであるが)に関連するMAD(平均絶対差)
は、レート制御を行う目的で平方偏差の適切な指標とな
るように決定される。推奨構成では、MAD[i]因数はMAD²
[i]となるように選択される。総ターゲット値Tとして、
全てのVOのビット総数は次のように表すことができる。 T[i]=W_m×MOT[i]+W_s×SIZE[i]+W_v×MAD²[i]、 但しMOT[i]、SIZE[i]及びMAD²[i]はそれぞれ、動き、サ
イズ、及び平均絶対差パラメータの相対比率を示し、
W_m、W_s及びW_vは次式を満たす重みである。 W_m+W_s+W_v=1

【００４９】オペレーションモード ポスト符号化関数27にはオペレーションモード関数33が
含まれる。具体的には、2つの異なるオペレーションモ
ード(低いビットレートでの符号化モードと高いビット
レートでの符号化モード)が提供される。

【００５０】高いビットレートで符号化するとき、ビッ
トが自由に利用できると各VOへのターゲット値割り当て
の際プロセスを柔軟にすることが可能になる。これらの
環境の下では、均質的品質を各VOに課すことが合理的で
ある。従って、MADパラメータを含むことがターゲット
値配分にとって重要であり、もっとも高いウエートを占
める事項となる。これに反して、ビットが自由に利用で
きることが制限されていると様々なVOの間で均質的品質
を達成することが非常に困難になる。また、低いビット
レートという制約条件の下では、背景に費やすビットを
少なくし前景により多くのビットを費やすことが望まし
い。その場合、MADパラメータの重要性は小さくなり、
動きパラメータの重要性が大きくなる。上記の論拠及び
実験的試行錯誤に基づいて、推奨の重みはLowModeにつ
いてはW_m=0.6、W_s=0.4、W_v=0.0、HighModeについてはW_m
=0.25、W_s=0.25、W_v=0.5となる。

【００５１】各フレーム内で品質を調整するほかにも、
時間的品質の調整すなわち、フレームスキップを最小限
にすることも重要である。HighModeでは、ビットをたっ
ぷり自由に使用できるのでこれを行うことは非常に簡単
である。しかし、LowModeでは、フレームスキップがず
っと頻繁に発生する。実際、スキップされるフレーム数
はそのプロセスを作動させるべきモードをよく示すもの
である。これは次のように表現される。 この実施例では、スキップ閾値(SKIP_TH)は、２に設定
された。

【００５２】オペレーションモードを獲得する決定プロ
セスは、時間的問題の解決に対する制約と見ることもで
きる。システムがLowModeの場合、エンコーダはいくつ
かの指定された数のフレームをスキップした。空間的品
質と時間的品質との間の妥当な折衷的解決を得るため
に、LowModeでは量子化パラメータの計算値の下限が課
せられる。

【００５３】ポストフレームスキップ制御29'の修正関
数は現在のバッファ17占有率を決定し、将来のビデオオ
ブジェクトの符号化がバッファ17をオーバーフローさせ
ないことを保証するものである。N_skip_postの正の値
は次の条件を満たすように定められた。 Buff_level-N_skip_post・Buff_drain < (1-γ)・Buff_si
ze

【００５４】本発明の実施例では、伝送する必要があり
そうなビット総数をよりよく予想するために前回のフレ
ームからの情報が利用される。その新しい条件とは以下
の通りである。 Buff_level+B_last-(N_skip_post+1)・Buff_drain < (1-
γ)・Buff_size 但し、B_lastは、前回のフレーム又はビデオオブジェク
トのセットを符号化するのに費やされた総ビット数を示
す。この方法で、バッファ17は前回の符号化時に費やさ
れた同量のビットをすぐに受け入れる。超過ビットは安
全マージン中へ吸収され、その後、オーバーフローの発
生を回避する。前回と同様、ガンマパラメータ、すなわ
ちスキップマージンは0.2となるように選ばれる。

【００５５】形状関連レート制御 特定のオブジェクトを画定するバイナリ形状情報(すな
わちバイナリアルファプレーン)は、それがオブジェク
トの一部である場合画素値を"255"まで設定したり、そ
れがオブジェクトの外側にある場合画素値を"0"に設定
するマスクにすぎない。MPEG-4ビデオ検証モデルのバー
ジョン7.0によれば、形状情報のレート制御とレート低
下はアルファプレーンのサイズ変換を通じて達成するこ
とができる。可能な変換率(CR)は1、1/2、または1/4で
ある。換言すれば、16 × 16のマクロブロック(MB)はダ
ウンコンバートして8 × 8 若しくは4 × 4のブロック
にすることができる。オブジェクトの相対的形状情報を
含む各マクロブロックは、符号化するためにダウンコン
バートし、次いで元のサイズで再構成することができ
る。全ての4 × 4画素ブロック(PB)について変換誤差が
計算される。この変換誤差は、元のPBの一つの画素値と
その再構成されたPBとの間の絶対差の和として定義され
る。この変換誤差が、"アルファ閾値"の16倍(すなわ
ち、16 × AlphaTH)より大きい場合には、このPBは"エ
ラーPB"と呼ばれる。1つの"エラーPB"がマクロブロック
中にあれば、マクロブロックの変換率(CR)は最大値が1
になるまで増加される。

【００５６】形状コーディングについての上記の説明か
ら、AlphaTHの値が各V0の形状情報に費やされるビット
数に対してかなりの影響力を持っていることが明らかで
ある。AlphaTHの値の選択及び2つのオペレーションモー
ド(LowModeとHighMode)に基づいて形状情報を制御する
ための本発明の方法を説明する。

【００５７】AlphaTHは初期値としてAlphaINIという値
に設定されるものとする。I-フレームと第1P-フレーム
の処理中、この初期値はそのフレーム中の全てのオブジ
ェクトの形状を符号化するために利用される。この符号
化段階後、レート制御アルゴリズムによってオペレーシ
ョンモードが決定される。オペレーションモードがLowM
odeに決定された場合、システムは現在のAlphaTHをAlph
aINCに増大させる。オペレーションモードがHighModeに
決定された場合、システムは現在のAlphaTHをAlphaDEC
に減少させる。AlphaTHの最大値及び最小値はそれぞれA
lphaMAX及び0である。この形状レート制御アルゴリズム
は図4に要約されている。横軸は時間を示す。この軸に
沿ってオペレーションモードを見分けるマーク(H - Hig
hMode、L- LowMode)がある。縦軸は各符号化時刻におけ
る対応するAlphaTHを示す。この例では、AlphaMAXは16
に設定されており、初期値AlphaINI=8(最大値の2分の1)
である。また、この例ではAlphaDEC=5、AlphaINC=3であ
る。もっとも一般的な場合、AlphaINCとAlphaDECは定数
である必要はなく、むしろ現在のAlphaTHの関数(たとえ
ば、ゼロに近いときにはより大きなステップ幅で、MAX
に近いときにはより小さなステップ幅で)であればよ
い。推奨の構成では、AlphaMAX=12、AlphaINC=AlphaDEC
=4そしてAlphaINI=0である。

【００５８】図4では各符号化時刻に行われたアクショ
ンが強調されているということに留意されたい。各符号
化時刻は均等な間隔で配置されている。実際のシミュレ
ーションでは、前回のポスト符号化段階でスキップされ
たフレーム総数がskip_THの選択値より大きくなった後
にLowModeが作動するだけなので、時間符号化時刻が非
均一なものになっている。

【００５９】オペレーションモードに基づくAlphaTHの
この適応性のある選択は、非常に低いビットレートで十
分な品質を維持しながら、形状に要求されるビット数を
減少させる際極めて有効である。高いビットレートで、
あるいはLowModeが頻繁には起こらないシミュレーショ
ンでは、低いAlphaTH値を使って形状情報を符号化する
ことができ、予想されるように非常に高い品質のオブジ
ェクト境界が結果として生じる。この方法は追加的機能
性をオペレーションモードに与え、追加的テクスチャビ
ットを解放しおよび／または適切なバッファ占有率を維
持することによって時間的、空間的符号化の解決を調整
するその努力を補完するものである。

【００６０】

【実施例】上記の表2には、低いビットレートシミュレ
ーションのテスト条件が示されている。表4には、高い
ビットレートシミュレーションのテスト条件が示されて
いる。それぞれの表で、15という初期量子化パラメータ
をI-フレームに対して選んだが、その後この量子化パラ
メータは自動的に決定された。

【００６１】

【表４】

【００６２】表5に、低-ビットレート条件下での各VOに
対する平均PSNR(ピーク信号対雑音比)値を示す。符号化
フレーム数、各ビデオオブジェクトの範囲内の平均量子
化スケール及び達成された実際のビットレートも示され
ている。高いビットレートシミュレーションについての
同じ情報を表6に示す。図6〜16の各テストシーケンスの
バッファ占有率の線グラフに、低いビットレートと高い
ビットレートの条件下でこの方法によって示される例外
的制御を例示する。

【００６３】

【表５】

【００６４】

【表６】

【００６５】上述の発明に従ってターゲット値配分に関
する改良が行われた。また、形状レート制御のメカニズ
ムが実現された。各実験グループのシミュレーションで
優れた改良点が示されている。提案されたジョイントレ
ート制御計画のハイライトとしては、良好な主観的品
質、優れたバッファ調整、VO間の均質な品質、形状とテ
クスチャの符号化のジョイント制御及び空間品質と時間
品質を折衷させるための柔軟な構成が挙げられる。

【００６６】値配分に対する改変は1つのオブジェクト
の範囲内で平方偏差をよりよくモデル化する機能を果た
している。この平方偏差は符号化に必要なビット総数を
示すために伝統的に用いられてきたものなので、オブジ
ェクト間の歪みはより一貫性のあるものになる。

【００６７】オペレーションモードに基づくAlphaTHの
適応性のある選択は、非常に低いビットレートで十分な
品質を維持しながら同時に形状を表すためのビット数を
減少させるのに極めて有効である。高いビットレート
で、あるいはLowModeが頻繁には起こらないシミュレー
ションでは、低いAlphaTH値を使って形状情報を符号化
することができ、非常に高い品質のオブジェクト境界が
結果として生じる。この方法は追加的機能性をオペレー
ションモードに与え、追加的テクスチャビットを解放し
および／または適切なバッファ占有率を維持することに
よって時間的、空間的符号化の解決を調整するその努力
を補完するものである。

【００６８】

【発明の効果】全体として、この方法によって、待ち時
間の短い低いビットレートを適用して複数のビデオオブ
ジェクトを符号化するという観点からMPEG-4規格の機能
性を調整することが可能となる。より高いビットレート
へこれを適用して測定できることも実証されている。

【００６９】本発明を推奨実施例について説明してきた
が、以下の請求の範囲に記載されている本発明の範囲か
ら逸脱せずにこの実施例の詳細について様々な改変を行
うことができる。

【図面の簡単な説明】

【図１】 VOの各々が左から右へと場面の中で時間につ
れて動く2つのビデオオブジェクト(VO₁とVO₂)と背景画
像を持つ3つの連続画像フレームの図式的絵による表示
を示す図である。

【図２】 ステップ間の相互関係におけるステップを例
示するブロック図である。

【図３】 ステップ間の相互関係と共に本発明の方法に
おけるステップを例示するブロック図である。

【図４】 本発明を実現するために改変されたMPEG-4エ
ンコーダのブロック図である。

【図５】 本発明のオペレーションモード("H"又は"L")
に基づく形状レート制御決定の時間的シーケンスを例示
する、時間関数としてのパラメータ"AlphaTH"を示す図
である。

【図６】 表2で確認できるような本発明に従うロー及
びハイビットレートで符号化されたＩＤ１アキヨの画像
を表す一連のビデオ信号シーケンスに対するフレームの
バッファ占有(ビット)率を示す線グラフである。

【図７】 表2のＩＤ１コンテナの画像のバッファ占有
率を示すの線グラフである。

【図８】 表2のＩＤ２アキヨの画像のバッファ占有率
を示すの線グラフである。

【図９】 表2のＩＤ２コンテナの画像のバッファ占有
率を示すの線グラフである。

【図１０】 表2のＩＤ３ニュースの画像のバッファ占
有率を示すの線グラフである。

【図１１】 表2のＩＤ４沿岸警備隊員の画像のバッフ
ァ占有率を示すの線グラフである。

【図１２】 表2のＩＤ５沿岸警備隊員の画像のバッフ
ァ占有率を示すの線グラフである。

【図１３】 表4のＩＤ６アキヨの画像のバッファ占有
率を示すの線グラフである。

【図１４】 表4のＩＤ６コンテナの画像のバッファ占
有率を示すの線グラフである。

【図１５】 表4のＩＤ７ニュースの画像のバッファ占
有率を示すの線グラフである。

【図１６】 表4のＩＤ８沿岸警備隊員の画像のバッフ
ァ占有率を示すの線グラフである。

【符号の説明】

ＶＯ ビデオオブジェクト、２５ 量子化レベル演算
(量子化装置)、２０ プレ符号化段階（符号化手段）、
２７ ポスト符号化段階（符号化手段）。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年１０月６日（１９９９．１０．
６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】ISO/IEC JTCl/SC29/WG11 MPEG96/N1469と
いう名称で、1996年11月にMPEG-4ビデオVM編集に関する
専門家班によってそのメンバーに配布された"MPEG-4ビ
デオ検証モデルバージョン5.0"に解説されている、最新
の符号化検証モデル(VM)を実現するための最近の提案
で、その内容は本明細書に参考として取り入れられてい
るが、デービッドサーノフ(David Sarnoff)研究センタ
ーの代表者達は、“二次レートディストーションモデル
（ＱＲＤ：quadratic rate distortion model ）を用い
る新しいレート制御計画”を提案した。「二次レートデ
ィストーションモデル（ＱＲＤ：quadratic rate disto
rtionmodel ）」に関しては、ISO/IEC JTCl/SC29/WG11
MPEG96/N1469という名称で、1996年11月にMPEG-4ビデオ
VM編集に関する専門家班によってそのメンバーに配布さ
れた"MPEG-4ビデオ検証モデルバージョン5.0"に解説さ
れていると共に、資料として同時に提出する Chiang,
T.H.及び Zhang, Y.Q.による「 A New Rate Control Sc
heme Using Quadratic Rate Distortion Model, IEEE T
ransactions onCircuits and Systems for Video Techn
ology, Vol. 7, No. 1, February 1997,pp.246-250.」
に詳しく述べられている。このMPEG-4ビデオ符号化フォ
ーマットは(先行の計画の場合と同様)フレーム毎にエン
コーダで可変ビットレートストリームを生成する。この
可変ビットレートストリームは固定レートチャネルによ
って伝送されなければならないので、チャネルバッファ
を用いてビットストリームを円滑に出力する。バッファ
がオーバーフローまたはアンダーフローするのを回避す
るために、符号化プロセスのレート制御が必要とされ
る。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】この最近の提案では、所定のセットのフレ
ーム(ピクチャ)のために符号化プロセスが始まる前に、
各フレームのためのターゲットビットレートが計算さ
れ、エンコーダの出力からの出力ビットレートが固定ビ
ットレートに抑えられる一方、ピクチャ符号化の結果か
ら生じるビットレートが画像フレームの内容によって
(修正されないままになっている場合)比較的広い範囲に
わたって変動可能であるという事実を助ける。この提案
に従って、各フレームに関連する歪み測度はフレームの
平均量子化スケールになるものと仮定されており、歪み
測度の逆関数の二次関数としてそのレートディストーシ
ョン関数がモデル化されている。実際の符号化プロセス
が始まる前に、画像のターゲットビットレートは、符号
化すべきフレーム数のみならず画像グループを符号化す
るために残されているビット数によっても評価される。
この提案の提唱者達はピクチャレベルでの彼らの計画の
実現について触れ、その計画をマクロブロックレベルに
まで拡張する可能性についても述べている。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 フイファン・スン アメリカ合衆国、マサチューセッツ州、ケ ンブリッジ、ブロードウエイ201 ミツビ シ・エレクトリック・インフォメイショ ン・テクノロジー・センター・アメリカ・ インコーポレイテッド内 (72)発明者 アンソニー・ヴェトロ アメリカ合衆国、マサチューセッツ州、ケ ンブリッジ、ブロードウエイ201 ミツビ シ・エレクトリック・インフォメイショ ン・テクノロジー・センター・アメリカ・ インコーポレイテッド内 Ｆターム(参考） 5C059 KK21 KK35 MA00 MA04 MA05 MA14 MA23 MB04 MB10 MB14 MB16 MC11 ME01 ME05 NN08 NN27 PP05 PP06 TA17 TA41 TA60 TB07 TB18 TC00 TC06 TC10 TC25 TD03 TD06 TD12 UA02 UA33

Claims (24)

【特許請求の範囲】
1. 【請求項１】 画像情報のフレームのシーケンスを適応
   性をもって符号化する方法において、可変入力ビットレ
   ートと実質的に一定の出力ビットレートとを有するバッ
   ファによって圧縮されたビデオ信号を伝送チャネルへ供
   給するための、前記フレームの中の少なくともいくつか
   が複数のビデオオブジェクトを含み、変換係数を生成す
   るために離散余弦変換を行うためのプロセッサと、可変
   レートで画像表示符号ビットを生成するために前記変換
   係数を量子化するための量子化装置とを含む符号化手段
   を用いて、一組のフレームの各々の前記ビデオオブジェ
   クトの各々を符号化するステップであって、 前記符号化ステップは前記ビデオオブジェクトの各々の
   テクスチャ、動き及び形状情報を生成し、 前記バッファに前記画像表示符号ビットを格納し、 前記フレームの連続フレーム中の前記ビデオオブジェク
   トのための前記符号化手段によって生成される符号ビッ
   トの量を増減するために、二次レートディストーション
   モデルに従って参照値について前記量子化装置によって
   利用される量子化パラメータを調整することによって所
   定のリミット値に関して前記バッファの内容を制限し、 対応するオブジェクトプレーン中の対応するオブジェク
   トに関連する相対的動き、サイズ及び平方偏差パラメー
   タの関数に従って、前記オブジェクトの間のビデオオブ
   ジェクトプレーン中の全てのオブジェクトについてビッ
   トのターゲット数を配分することにより、第1フレーム
   に続いて所定の時間間隔にわたって発生するシーケンス
   の中で、各連続フレーム中の各ビデオオブジェクトを符
   号化するためのビットのターゲット数を評価し、 画質を保ちながら前記バッファのオーバーフローを回避
   するために少なくともより高いレートとより低いレート
   の内の一方で符号化するための前記可変レートを符号化
   レートとして設定するステップを有することを特徴とす
   る改良された適応性のあるビデオ符号化方法。
2. 【請求項２】 前記関数がさらに、前記動き、サイズ及
   び平方偏差パラメータの各々に対する別個の重み係数を
   有することを特徴とする請求項１に記載の改良された適
   応性のあるビデオ符号化方法。
3. 【請求項３】 前記平方偏差パラメータが、先行するオ
   ブジェクトプレーン中の対応する画素と比較して所定の
   オブジェクトプレーン中のビデオオブジェクトの各画素
   に対する平均絶対差値の演算から導出されることを特徴
   とする請求項１に記載の改良された適応性のあるビデオ
   符号化方法。
4. 【請求項４】 前記方法がさらに、1つのフレーム中の
   すべてのビデオオブジェクトの符号化の最後にバッファ
   ビット容量と現在のバッファレベルとの間の差が所定の
   マージンより小さいときはいつでも、フレーム周期の間
   フレームの符号化をスキップするステップを有すること
   を特徴とする請求項１に記載の改良された適応性のある
   ビデオ符号化方法。
5. 【請求項５】 相対的動き、サイズ及び平方偏差パラメ
   ータの前記関数が前記平均絶対差値の2乗に比例する変
   数を含むことを特徴とする請求項３に記載の改良された
   適応性のあるビデオ符号化方法。
6. 【請求項６】 前記関数が、 T[i]=W_m×MOT[i]+W_s×SIZE[i]+W_v×MAD²[i] であって、MOT[i]、SIZE[i]及びMAD[i]は、動き、サイ
   ズ及び平均絶対差パラメータの相対比率を示し、W_m、W_s
   及びW_vは式 W_m+W_s+W_v=1 を満たす重み係数であることを特徴とする請求項３に記
   載の改良された適応性のあるビデオ符号化方法。
7. 【請求項７】 前記符号化レートが、前記より低いレー
   トと前記より高いレートであるとき、W_vがそれぞれより
   低い値とより高い値で選択されることを特徴とする請求
   項６に記載の改良された適応性のあるビデオ符号化方
   法。
8. 【請求項８】 前記より低い符号化レートとして W_m=0.6、W_s=0.4及びW_v=0 前記より高い符号化レートとして W_m=0.25、W_s=0.25及びW_v=0.5 として前記重み係数が選択されることを特徴とする請求
   項７に記載の改良された適応性のあるビデオ符号化方
   法。
9. 【請求項９】 前記より低い符号化レートとしての前記
   重み係数がW_v=0であって、前記より高い符号化レートと
   してW_vがW_m又はW_sより大きいことを特徴とする請求項７
   に記載の改良された適応性のあるビデオ符号化方法。
10. 【請求項１０】 前記設定ステップの直前に先行するあ
    る時間間隔で、連続するスキップされたフレームの数を
    カウントすることによって前記可変レートの前記設定が
    決定されることを特徴とする請求項１に記載の改良され
    た適応性のあるビデオ符号化方法。
11. 【請求項１１】 前記スキップされたフレーム数が所定
    の数より小さいとき、前記可変レートが前記より高いレ
    ートで設定されることを特徴とする請求項１０に記載の
    改良された適応性のあるビデオ符号化方法。
12. 【請求項１２】 前記所定の数が２であることを特徴と
    する請求項１１に記載の改良された適応性のあるビデオ
    符号化方法。
13. 【請求項１３】 前記スキップされたフレーム数が所定
    の数より小さいとき、前記可変レートが前記より高いレ
    ートで設定されることを特徴とする請求項４に記載の改
    良された適応性のあるビデオ符号化方法。
14. 【請求項１４】 画像情報のフレームのシーケンスを適
    応性をもって符号化する方法において、可変入力ビット
    レートと実質的に一定の出力ビットレートとを有するバ
    ッファによって圧縮されたビデオ信号を伝送チャネルへ
    供給するための、前記フレームの中の少なくともいくつ
    かが複数のビデオオブジェクトを含み、 変換係数を生成するために離散余弦変換を行うためのプ
    ロセッサと、可変レートで画像表示符号ビットを生成す
    るために前記変換係数を量子化するための量子化装置と
    を含む符号化手段を用いて、一組のフレームの各々の前
    記ビデオオブジェクトの各々を符号化するステップであ
    って、前記符号化ステップは前記ビデオオブジェクトの
    各々のテクスチャ、動き及び形状情報を生成し、 前記バッファに前記画像表示符号ビットを格納し、 前記フレームの連続フレーム中の前記ビデオオブジェク
    トのための前記符号化回路によって生成される符号ビッ
    トの量を増減するために、二次レートディストーション
    モデルに従って参照値に関して前記量子化装置によって
    利用される量子化パラメータを調整することによって所
    定のリミット値に関して前記バッファの内容を制限し、 対応するオブジェクトプレーン中の対応するオブジェク
    トに関連する相対的動き、サイズ及び平方偏差パラメー
    タの関数に従って、前記オブジェクトの間のビデオオブ
    ジェクトプレーン中の全てのオブジェクトについてビッ
    トのターゲット数を配分することにより、第1フレーム
    に続いて所定の時間間隔にわたって発生するシーケンス
    の中で、各連続フレーム中の各ビデオオブジェクトを符
    号化し、 マスクに従って各オブジェクトについての前記形状情報
    を符号化し、 所定の変換率に従って、符号化するための各前記オブジ
    ェクトの各マクロブロックのサイズ変換を行い、 各前記マクロブロックの元のサイズを再構成し、 前記マクロブロックの範囲内の各画素ブロックの変換誤
    差を決定し、 エラー画素ブロックを識別するために前記変換誤差を所
    定の閾値と比較し、 前記閾値を超過しないか最大変換率に到達するまで前記
    変換率を増やし、変換誤差と前記閾値との比較を再決定
    することを特徴とする改良された適応性のあるビデオ符
    号化方法。
15. 【請求項１５】 画質を保ちながら前記バッファのオー
    バーフローを回避するために少なくともより高いレート
    とより低いレートの内の一方で符号化するための前記可
    変レートを設定することを特徴とする請求項１４に記載
    の改良された適応性のあるビデオ符号化方法。
16. 【請求項１６】 前記設定ステップの直前に先行するあ
    る時間間隔で、連続するスキップされたフレームの数を
    カウントすることによって前記可変レートの前記設定が
    決定されることを特徴とする請求項１５に記載の改良さ
    れた適応性のあるビデオ符号化方法。
17. 【請求項１７】 相対的動き、サイズ及び平方偏差パラ
    メータの前記関数が前記平均絶対差値の2乗に比例する
    変数を含むことを特徴とする請求項１６に記載の改良さ
    れた適応性のあるビデオ符号化方法。
18. 【請求項１８】 前記関数が、 T[i]=W_m×MOT[i]+W_s×SIZE[i]+W_v×MAD²[i] であって、MOT[i]、SIZE[i]及びMAD[i]は動き、サイズ
    及び平均絶対差パラメータの相対比率を示し、W_m、W_s及
    びW_vは式 W_m+W_s+W_v=1 を満たす重み係数であることを特徴とする請求項１７に
    記載の改良された適応性のあるビデオ符号化方法。
19. 【請求項１９】 前記符号化レートが、前記より低いレ
    ートと前記より高いレートであるとき、W_vがそれぞれよ
    り低い値とより高い値で選択されることを特徴とする請
    求項１８に記載の改良された適応性のあるビデオ符号化
    方法。
20. 【請求項２０】 画像情報のフレームのシーケンスを適
    応性をもって符号化する方法において、可変入力ビット
    レートと実質的に一定の出力ビットレートとを有するバ
    ッファによって圧縮されたビデオ信号を伝送チャネルへ
    供給するための、前記フレームの中の少なくともいくつ
    かが複数のビデオオブジェクトを含み、 変換係数を生成するために離散余弦変換を行うためのプ
    ロセッサと、可変レートで画像表示符号ビットを生成す
    るために前記変換係数を量子化するための量子化装置と
    を含む符号化手段を用いて、一組のフレームの各々の前
    記ビデオオブジェクトの各々を符号化するステップであ
    って、前記符号化ステップは前記ビデオオブジェクトの
    各々のテクスチャ、動き及び形状情報を生成し、 前記バッファに前記画像表示符号ビットを格納し、 前記フレームの連続フレーム中の前記ビデオオブジェク
    トのための前記符号化回路によって生成される符号ビッ
    トの量を増減するために、二次レートディストーション
    モデルに従って参照値に関して前記量子化装置によって
    利用される量子化パラメータを調整することによって所
    定のリミット値に関して前記バッファの内容を制限し、 画質を保ちながら前記バッファのオーバーフローを回避
    するために少なくともより高いレートとより低いレート
    の内の一方で符号化するための前記可変レートを設定す
    る所定の変換率に従って前記各オブジェクトの各マクロ
    ブロックの前記形状情報のサイズ変換を行い、 前記マクロブロックの範囲内の各画素ブロックの変換誤
    差を決定し、 エラー画素ブロックを識別するために前記変換誤差を所
    定のAlpha閾値と比較し、 前記Alpha閾値を超過しないか最大変換率に到達するま
    で前記変換率を増やし、変換誤差と前記Alpha閾値との
    比較を再決定し、 1つのフレーム中のすべてのビデオオブジェクトの符号
    化の最後にバッファビット容量と現在のバッファレベル
    との間の差が所定のマージンより小さいときはいつで
    も、フレーム周期の間フレームの符号化をスキップし、 前記設定ステップの直前に先行するある時間間隔で、連
    続するスキップされたフレームの数をカウントすること
    によって前記可変レートの前記設定が決定され前記スキ
    ップされたフレーム数が所定の数より小さいとき、前記
    可変レートが前記より高いレートで設定され、 符号化後に、前記より高いレート若しくは前記より低い
    レートの何れが有効であるかを判定し前記より低いレー
    トが有効であれば前記Alpha閾値を増やし、前記より高
    いレートが後続の符号化間隔にとって有効であれば前記
    Alpha閾値を減らすステップを有することを特徴とする
    改良された適応性のあるビデオ符号化方法。
21. 【請求項２１】 前記Alpha閾値が初期値として実質的
    にゼロと最大値との中間の値に設定されることを特徴と
    する請求項20に記載の改良された適応性のあるビデオ符
    号化方法。
22. 【請求項２２】 前記Alpha閾値が最初の所定のレベル
    の増分の値で増加し、別の所定のレベルの減分の値で減
    少することを特徴とする請求項20に記載の改良された適
    応性のあるビデオ符号化方法。
23. 【請求項２３】 前記増分レベルが前記減分レベルより
    少ないことを特徴とする請求項21に記載の改良された適
    応性のあるビデオ符号化方法。
24. 【請求項２４】 対応するオブジェクトプレーン中の対
    応するオブジェクトに関連する相対的動き、サイズ及び
    平方偏差パラメータの関数に従って、前記オブジェクト
    の間のビデオオブジェクトプレーン中の全てのオブジェ
    クトについてビットのターゲット数を配分することによ
    り、第1フレームに続いて所定の時間間隔にわたって発
    生するシーケンスの中で、各連続フレーム中の各ビデオ
    オブジェクトを符号化することを含むことを特徴とする
    請求項21に記載の改良された適応性のあるビデオ符号化
    方法。