JP2001519991A - 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置 - Google Patents

Abstract

(57)【要約】 本発明は、第２符号化ビデオシーケンスのビットレートが第１符号化ビデオシーケンスのビットレートよりも高い場合に、第１符号化ビデオシーケンスから第２ビデオシーケンスに切り替える方法及びこれに対応する装置に関するものである。第１シーケンスの最終伝送ピクチャ(02)及び第２シーケンスの第１伝送ピクチャ(N1)にそれぞれ関連するビットの加算値が、ピクチャ(02)の復号時にデコーダのバッファのサイズよりも大きい値を呈する場合に、第２シーケンスのビットレートを高い方のビットレートに対して増大させるようにする。

Description

【発明の詳細な説明】 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置 本発明は復号する前にビットレートがR_oldの第１符号化ビデオシーケンスから ビットレートそれよりも高いＲ_newの第２符号化ビデオシーケンスに切り替える 方法及びこの切り替え方法を実施するための対応する装置に関するものである。 例えば文献“MPEG video coding：a basic tutorial introduction”， ＢＢＣ report RD 1996／3に記載されているように、MPEGタイプの圧縮ビデ オシーケンスはピクチャのグループ(又はＧＯＰ)に細分割され、これらのグルー プそのものは次のような種々のタイプの符号化ピクチャ(GOPの例を図１で説明す る)を包含する。即ち、 −他の画面を参照することなく符号化されるイントラ符号化ピクチャ(Ｉ−ピ クチャ)； −過去の画面を参照する予測を用いて符号化される予測符号化ピクチャ(Ｐ− ピクチャ)； −過去及び/又は未来の画面を参照する予測を用いて符号化される両方向予測 符号化ピクチャ(Ｂ-ピクチャ)。 種々のタイプの予測により、それぞれのピクチャは多少有効に符号化され、こ れにより得られるビット数は一定ではない。さらに、ＭＰＥＧ仕様によると、ピ クチャは各ピクチャの周期Ｔ_v毎に瞬時的に復号すべきものとするので、符号化 ピクチャの第１ビットはデコーダのバッファにて同じ時間を費やすことはない。 MPEGシンタクスにて規定されるこの可変時間はvbv遅延(vbv=ビデオ バッファリ ング ベリファイヤ)と称される。一定のビットレートで符号化され、しかもピ クチャをフレーム周期T_v毎に瞬時的に復号する或るストリームに対するデコーダ のバッファの充満度の例を、それぞれのvbv遅延がvbv(Ｉ₀)，vbv(Ｉ₁),...，vbv (Ｉ₄),...の連続ピクチャＩ₀〜I₄に対して図２に示してある(時間tに対するデコ ーダのバッファの充満度S(t))。或るピクチャに対するビットレートは傾斜によ って与えられ、充満度(又はデコーダのバッファ状態)は各周期Tvに対する最 高点によって与えられる。図３によると、時刻t_d(Ij)に復号されるピクチャIjの サイズd(Ij)は： d(Ij)＝S^-(Ij)-S⁺(Ij) （１） に等しく、ここにＳ^-(Ij)及びＳ⁺(Ij)は、時間t_d ^-(Ij)(＝ピクチャIjをデコーダ のバッファから移す直前の時間)及び時間t_d ⁺(Ij)(＝ピクチャIjをデコーダのバ ッファから移した直後の時間)におけるデコーダのバッファ状態をそれぞれ示す 。このピクチャIjに対し、そのvbv遅延vbv(Ij)と、ビデオストリームのビットレ ートＲと、デコーダのバッファ状態Ｓ^-(Ij)との関係は次式によって与えられる 。即ち、 S^-(Ij)=vbv(Ij).R （２） また、次式も成立する。即ち、 S⁺(Ij)＝S^-(Ij＋１)-R.Tv （３） 上記式(２)、(１)、（３）の関係から、復号されるピクチャIJのサイズd(Ij)を 提供する(ビットで)もっと正確な関係を推論することができる。即ち、 d(Ij)=R.(vbv(Ij)-vbv(Ij+1)+Tv) （４） この加減モデルによると、２つの圧縮(符号化)ビデオシーケンス間の簡単な切 り替えは常に行えることではない。一般に、旧と新規のビデオシーケンスのビッ トレートＲ_oldとＲ_newは実際には相違する。そこで、切り替え点がデコーダのバ ッファを横切る際に、このバッファに入る入力ビットレートは、切り替えなしで バッファに入る入力ビットレートとは異なる。図４及び図５につき説明するよう に、バッファの問題は、旧のシーケンスのピクチャが復号され、同時に新規シー ケンスのピクチャがデコーダのバッファに入るトランジションの期間中に生じ、 即ち、入力のビットレートが前のものよりも大きい場合に、オーバフローの恐れ がある。 図４は、旧のビデオシーケンスの幾つかのピクチャ（最後に伝送されたピクチ ャ01,02及び前記シーケンスの最初に置き換えられるピクチャ０３）と、新規の ビデオシーケンスの２つの最初に伝送されるピクチャＮ１，Ｎ２を同時に示して いる。既に述べたように、各ピクチャは周期Tv毎に復号され、新規シーケンスの 第１伝送ピクチャＮ１のvbv遅延vbv（Ｎ１）は切り替え時刻tswを提供する(図４ では、前記vbv遅延は最初に置換したピクチャ03のvbv遅延vbv(03)にせいぜ い等しく、即ち、これらの遅延が等しくない場合には、これらのvbv遅延vbv(N1) 及びvbv(03)がコンパチブルでなくなるから、切り替えが全くできなくなる。こ の場合には、デコーダのバッファに得られるストリームを示す図５に示すように 、Ｎ１の最初のビットは、ピクチャ02のビットが前記バッファにまだ入っている 最中で、このピクチャ０２が復号される前に前記バッファに入る。ビットレート Ｒ_newが旧のビットレートＲ_oldよりも大きいので、図５のこの場合にはオーバフ ローとなる。Ｓ_maxは式（２）で規定したような、デコーダのバッファ状態の最 大サイズを示す(なお、この場合には、デコーダのバッファに旧のシーケンス又 は新規のシーケンスのピクチャのビットが常にあるから、、アンダーフローの問 題は有り得ない)。 本発明の目的は、バッファのオーバフローの問題をなくす独創的な方法を提供 することにある。 このために、本発明は冒頭にて述べたような方法において、当該方法が： -デコーダのバッファ状態の最大サイズを、第１シーケンスの最終伝送ピクチ ャ(02)及び第２シーケンスの第１伝送ピクチャ（N1）に関連すると共に、前記シ ーケンスの切り替え時刻tswと、前記最終伝送ピクチャ(02)を復号する時刻との 間にデコーダのバッファに入るそれぞれのビットを加算することによって与えら れるビットの総数と比較するステップと； -前記ビット総数が前記最大サイズよりも大きい場合に、前記第２シーケンス のビットレートを、少なくともその第１伝送ピクチャに対するビットレートR_new に対して、前記ビット総数がせいぜい前記最大サイズに等しい値にまでそれ相当 に低減される値R_intにまで増やすステップと； 具えることを特徴とする。 MPEG-2標準にて、ビデオシーケンスの切り替えが、“スプライシング ポイ ント”と称される特別なアクセス点を用いることにより促進されることは既知で ある。この切り替えは、新と旧の双方のビデオシーケンスに同じスプライシング ポイントがある場合にのみ行うことができる。本発明によれば、新規のシーケ ンスのビットレートが旧のシーケンスのビットレートよりも既に大きくても、こ の新規のビットレートを、新規シーケンスの最初に伝送されるピクチャＮ１の ビットがデコーダのバッファに入るのにほとんど時間を要しないようにして、さ らに(一時的ではあるが)増大させるようにする。従って、前記ピクチャの第１ビ ットは前記バッファに遅れて入り、且つ同じ期間Tv中に少なくとも部分的にバッ ファに入る最後に伝送される旧のピクチャ02のビットど最初に伝送される新規の ピクチャN1のビットとの加算値は、ビットレートが十分に増大した場合に、オー バフローをなくすのに十分な低い値になる。この際の切り替え操作はオーバフロ ーの問題なく、しかも切り替え促進のためのスプライシング ポイントを用いる ことなく行うことができる。 本発明の特徴及び利点を以下添付図面を参照して明らかにするに、ここに： 図１は異なるタイプの符号化ピクチャを含むGOPの例を示し； 図２は、一定のビットレートで符号化し、且つピクチャを規則的な時刻に瞬時 的に復号するストリームに対するデコーダバッファの充満度の例を示し； 図３は図２のデコーダバッファの充満度の表現を用いるとピクチャIjの主要な 有効パラメータを識別できることを示し； 図４及び図５は旧のシーケンスと新のシーケンスとの切り替えがオーバフロー をまねき、従って切り替えをを行うことができない状態を示し； 図６は本発明による方法の原理を示し； 図７は本発明による原理に従って切り替えを行う場合に得られるストリーム( 即ち、デコーダのバッファのグローバルな展開)を示し； 図８は本発明による方法を実施するための切替え装置を示す。 本発明による原理を(図４と比較する)図６につき詳細に説明する。この図から 明らかなように、中間ビットレートＲ_intは第１伝送ピクチャN1に対応するスト リームに与えられる。図４につき前述した状態に対応する点線LAは、この際、新 規のビットレートＲ_newと比較するビットレートの増分値に対応する第２の位置 ＬＢになる。 図７にて判るように、切り替えが要求される場合、即ち、時刻tswには、旧の ビットレートＲ_oldでの旧のシーケンスの最初に置換されるピクチャ０３に関連 するvbv遅延vbv（３）と、第１挿入ピクチャＮ１に対する増大ビットレートＲ_{in t} 関連する低減vbv遅延vbv'(N1)との差に対応する短い期間中に、ピクチャN1 のビットはデコーダのバッファには入らない。実際上、ピクチャの復号動作は、 本発明の原理を実施する際に、最初に伝送される新規のピクチャの第１ビットを デコーダのバッファになぜ遅れて入れることができるのかの説明になる、参照時 間を制定する規則的に離間した時間(デコーダのバッファはこれらに時間に空に なる)に瞬時的に行われる(復号期間はＴ_vである)ものと考えざるを得ない。 従って、時間tsw後にはデコーダのバッファにはビットがほとんど入らず、こ の状態の期間は、デコーダのバッファ状態をこのバッファ状態の最大サイズより も低い値にまで低減させ、従って、オーバフローをなくすのに十分であることは 明らかである。さらに図７を考察するに、その後の状態が次のようになることが 判る。即ち、 （ａ）旧のシーケンス（０１，０２）のビットは、切り替えが要求される時間 tswまではビットレートＲ_oldでデコーダのバッファに入る； （ｂ）tswから次の復号時間(この復号時間には、符号化画像０１が復号される )及び０１の前記復号時間から、Ｎ１の第１ビットがデコーダのバッファに入る までの時間には、旧のシーケンスのビットは最早バッファには入らなくなる(ビ ットレートは０に等しくなる)； （ｃ）新規のピクチャＮ１の最初のビットは中間ビットレートＲ_intでデコー ダのバッファに入る； （ｄ）現行の復号期間Tvの終わりに、02のピクチャが復号される； （ｅ）次の期間Tv中には、N1の残留ビットの全てがデコーダのバッファに常に ビットレートＲ_intで入る； （ｆ）前記期間Tvの終わりに、ピクチャＮ１が復号され、時間tswに開いた中 間期間が終了する； （ｇ）この際、次の新規のピクチャN2のビットが、中間ビットレートＲ_intよ りも低い新規のビットレートR_newでデコーダのバッファに入る。 本発明は上述した実施のみに限定されるものでなく、本発明の範疇を逸脱する ことなく、幾多の変更を加え得ること明らかである。例えば、オーバーフローを 起こさない計算した最小のビットレートRmが、利用できる最大の帯域幅による最 高可能なビットレートよりも大きい場合でも、ビットレートをこの最高のビッ トレートにまで高めることができ、この場合に本発明による方法を他の方法と組 み合わせて、残留オーバーフローをなくすことができる。 斯様な他の方法は、例えば1997年５月27日に出願された欧州特許出願第９７４ ０１１６０．３（ＰＨＦ９７５５７）に記載されているような所謂最小ピクチャ の挿入法とすることができる。この特許出願は第１シーケンスから第２シーケン スへの切り替え方法に関するものであるが、この方法によるビットレートはこの 際一定に保たれる。その代わり、新規のビデオシーケンス(第２シーケンス)はｋ 個のフレーム期間Tv遅延され、この遅延がデコーダのピクチャを不足させ、これ らのピクチャはｋ個のピクチャから成る追加シーケンスを挿入するのに用いられ るのであって、これらのピクチャはデコーダのバッファをできるだけ速やかに空 にするために最小にする。 これらのピクチャは、これらをできるだけ低いビット数で符号化すると共に、 復号処理に見合うようにするから、最小ピクチャと称される。ｋ個の最小ピクチ ャから成るシーケンスを構成するやり方は、全てのピクセル(画素)が同じである 均一のカラー画像のシーケンスを考慮するものである。このタイプのシーケンス は、例えば、同じ色のマクロブロックを包含する第１のイントラ‐符号化ピクチ ャ(I-ピクチャ)と、各スライスの最初と最後のマクロブロックをゼロのフォワー ドベクトルで符号化し、したがって誤差予測のない(他のものは前記スキップし たマクロブロックである)(k-1)個の予測符号化ピクチャ（Ｐ-ピクチャ）とで符 号化することができる。 さらに本発明は図６につき述べた切り替え方法を実施するための装置にも関す るものであり、図８は、局所ビットレートの変更を上記方法に従って切り替える 斯かる実施の主要なステップを線図的に示したものである。

Claims (1)

1. 【特許請求の範囲】 １．復号する前の時間tswにて、ビットレートがＲ_oldの第１符号化ビデオシーケ ンスから、ビットレートがそれよりも高いＲ_newの第２シーケンスに切り替える 方法において、当該方法が： -デコーダのバッファ状態の最大サイズを、第１シーケンスの最終伝送ピクチ ャ(01)及び第２シーケンスの第１伝送ピクチャ（N1）に関連すると共に、前記シ ーケンスの切り替え時刻tswと、前記最終伝送ピクチャ(02)を復号する時刻との 間にデコーダのバッファに入るそれぞれのビットを加算することによって与えら れるビットの総数と比較するステップと； -前記ビット総数が前記最大サイズよりも大きい場合に、前記第２シーケンス のビットレートを、少なくともその第１伝送ピクチャに対するビットレートR_new に対して、前記ビット総数がせいぜい前記最大サイズに等しい値にまでそれ相当 に低減される値R_intにまで増やすステップと； 具えることを特徴とする符号化ビデオシーケンスの切り替え方法。 ２．Ｒ_intの最小可能値が、ピクチャ(02)が前記バッファから移る直前と、直後 のそれぞれの時間t^- _d(02)及びt⁺ _d(02)におけるデコーダのバッファ状態の和が前 記最大サイズに等しくなる状態に相当することを特徴とする請求項１に記載の方 法。 ３．請求項１及び２のいずれかに記載の方法による切り替え装置。