JP2007312411A - ビデオ伝送におけるビットストリーム間の切換 - Google Patents

Abstract

【課題】正確なビデオフレームの復号を実施する。
【解決手段】第１のビデオストリームから第２のビデオストリームへ切換えられたビットストリームを復号する復号器であって、以前に復号化された参照情報を記憶するメモリと該メモリに記憶された参照情報を使用して予測ブロックを形成する予測器とを具備し、該復号器がさらに、予測ブロックを変換して変換された予測ブロックを形成する変換器と、変換された予測ブロックに現ブロックを表わす情報を加算して現ブロックの復号化において用いるための加算された情報を得る加算器とを具備する。
【選択図】図９

Description

本発明は、ビデオ情報の伝送方法に関し、該方法では、少なくとも第１のビットストリームと第２のビットストリームとがビデオ情報から形成され、第１のビットストリームは、少なくとも１つのビデオフレームを含む第１のセットのフレームを有し、第２のビットストリームは、少なくとも１つの予測ビデオフレームを含む第２のセットのフレームを有する。前記第１のビットストリームと前記第２のビットストリームのフレームの符号化時に、少なくとも部分的に異なる符号化用パラメータが用いられる。前記第１のビットストリームのうちの少なくとも１つのフレームが伝送され、この伝送は前記第１のビットストリームから前記第２のビットストリームへ切り替えられる。また本発明は、少なくとも第１のビットストリームと、第２のビットストリームとをビデオ情報から形成する手段を備えた符号器にも関し、第１のビットストリームは、少なくとも１つのビデオフレームを含む第１のセットのフレームを有し、第２のビットストリームは、少なくとも１つの予測ビデオフレームを含む第２のセットのフレームを有し、さらに、前記第１のビットストリームと前記第２のビットストリームのフレームの符号化時に、少なくとも部分的に異なる符号化用パラメータを用いる手段と、前記第１のビットストリームの少なくとも１つのフレームを伝送する手段と、前記第１のビットストリームから前記第２のビットストリームへの切り替えを行う手段とを備えた符号器にも関する。本発明はさらに、信号からビデオ情報を復号化する復号器に関し、信号は、ビデオ情報から形成される少なくとも第１のビットストリームと第２のビットストリームとからのフレームを含み、第１のビットストリームは、少なくとも１つのビデオフレームを含む第１のセットのフレームを含み、第２のビットストリームは、少なくとも１つの予測ビデオフレームを含む第２のセットのフレームを含み、さらに、前記第１のビットストリームと前記第２のビットストリームのフレームの符号化時に少なくとも部分的に異なる符号化用パラメータが用いられる。本発明は、さらに、符号化されたビデオ情報を表わす信号であって、少なくとも第１のビットストリームと、第２のビットストリームとからのフレームを含む信号に関する。第１及び第２のビットストリームはビデオ情報から形成され、第１のビットストリームは、少なくとも１つのビデオフレームを含む第１のセットのフレームを有し、第２のビットストリームは、少なくとも１つの予測ビデオフレームを含む第２のセットのフレームを有し、さらに、前記第１のビットストリームと前記第２のビットストリームのフレームの符号化時に、少なくとも部分的に異なる符号化用パラメータが使用される。

最近、ストリーミングオーディオ及びビデオ情報を含むマルチメディア・アプリケーションが多用されるようになってきた。いくつかの国際標準化機構により、オーディオ及びビデオ情報の圧縮／符号化及び解凍／復号化規格が確立され、提案されている。ＭＰＥＧ規格は、動画専門家グループにより確立されたものであるが、マルチメディア・アプリケーションの分野で最も広く受け入れられている国際規格である。ＶＣＥＧは、ＩＴＵ電気通信標準化セクタ（ＩＴＵ−Ｔ）の指揮の下で作業している“ビデオ符号化専門家グループ”である。このグループは動画の符号化規格Ｈ.２６Ｌに取り組んでいる。

一般的なビデオストリームには、一続きのしばしばフレームと呼ばれる画像が含まれる。これらのフレームには矩形に配置された画素が含まれる。Ｈ.２６１、Ｈ.２６２、Ｈ.２６３、Ｈ.２６Ｌ及びＭＰＥＧ-４のような現行のビデオ符号化規格では、イントラフレーム（Ｉ−フレーム）、予測フレーム（Ｐ−フレーム）、双方向フレーム（Ｂ−フレーム）の３つの主要なタイプの画像が定義されている。各画像タイプにより１つの画像シーケンス内で異なるタイプの冗長性が利用されるため、結果として、異なるレベルの圧縮効率がもたらされ、以下に説明するように、符号化されたビデオシーケンスの範囲内で異なる機能が提供される。イントラフレームとは、過去のフレームまたは将来のフレームからのいずれの情報も利用することなく、専らフレーム自身内の画素の空間的相関のみを利用することにより符号化が行われるビデオデータ・フレームである。イントラフレームは、他のフレームの復号化／解凍の基礎として使用され、復号化を開始できるアクセス・ポイントを与える。

予測フレームとは、いわゆる参照フレーム、すなわち、符号器または復号器で利用可能な１以上の前回のイントラフレーム／次回のイントラフレームまたは予測フレームからの動き補償予測値を用いて符号化／圧縮化が行われるフレームである。双方向フレームとは、前回のイントラフレームまたは予測フレームおよび／または次回のイントラフレームまたは予測フレームからの予測により符号化／圧縮が行われるフレームである。

一般的ビデオシーケンスにおける隣接フレームは非常に高い相関があるため、イントラフレームの代わりに双方向フレームまたは予測フレームを用いれば高度に圧縮することができる。一方、符号化ビデオストリーム内で時間的予測符号化を採用した場合、Ｂ−フレームおよび／またはＰ−フレームは、双方向フレームと予測フレームの符号化時に使用した前回までの他のすべての参照フレームおよび／または次回の参照フレームの正しい復号化を行わなければ復号化を行うことはできない。符号器で用いる参照フレームと、復号器内の対応する参照フレームとが、伝送中のエラー、あるいは、伝送側での何らかの意図的アクションのいずれかに起因して同一でない状況では、このような参照フレームからの予測を利用して次回のフレームを復号化側で再構成して符号化側で符号化されたフレームと同一の復号化フレームを生成することができない。動き補償符号化を利用するため、この不整合は、１つのフレームにとどまらずに、時間的に拡散する。

図１Ａ−１Ｃは、代表的ビデオ符号化／復号化システムで用いられるタイプの符号化／圧縮化ビデオフレームを例示する図である。好ましくは、ビデオシーケンスの画像は、符号化に先行して、マルチビット数からなる行列であって、その１つの行列が画像画素の輝度（明るさ）を表し、その他の２つの行列の各々が２つの色差（カラー）成分のうちのそれぞれ一方の成分を表わすもので表現されることが望ましい。図１Ａは、フレーム自体の中に存在する画像情報のみを用いてイントラフレーム２００を符号化する方法を描く図である。図１Ｂは予測フレーム２１０の構成を示す。矢印２０５ａは、Ｐ−フレーム２１０を形成するための動き補償予測の利用を表す。図１Ｃは双方向フレーム２２０の構成を描く。Ｂ−フレームは通常Ｉ−フレームまたはＰ−フレームの間に挿入される。図２は、１グループの画像を表示の順に表し、Ｉ−フレームとＰ−フレームとの間にＢ−フレームがいかにして挿入されるかを示すとともに、動き補償情報が流れる方向を示す図である。図１Ｂ、図１Ｃ、図２には、矢印２０５ａにより、Ｐ−フレーム２１０の再構成に必要な順方向の動き補償予測情報が描かれている。これに対して、矢印２１５ａと２１５ｂにより、順方向（２１５ａ）及び逆方向（２１５ｂ）でのＢ−フレーム２２０の再構成時に用いられる動き補償情報が描かれている。言い換えれば、矢印２０５ａと２１５ａとは、再構成されるフレームよりも前の表示順序のフレームから予測フレームを予測する場合の情報の流れを示し、矢印２１５ｂは、再構成されるフレームよりも後の表示順序のフレームから予測フレームを予測する場合の情報の流れを示している。

動き補償予測において、ビデオシーケンス内の連続フレーム間の類似性を利用して、符号化効率の向上が図られる。より詳細に述べれば、シーケンスの連続フレーム間で画素または画素領域が移動する態様を記述するために、いわゆる動きベクトルが用いられる。この動きベクトルは、ビデオデータの所定のフレームの圧縮／符号化または解凍／復号化を行うためにエラーデータと共に利用できる復号化された画素値を有する過去または将来のビデオデータフレームに関するオフセット値とエラーデータを提供する。

Ｐ−フレームの復号化／解凍が可能であるためには、前回のＩ参照フレームまたはＰ参照フレームが利用可能であることが求められ、さらに、Ｂ−フレームの復号化を図るために、次回のＩ参照フレームまたはＰ参照フレームが利用可能であることも求められる。例えば、符号化／圧縮化データストリームが以下のフレームシーケンスまたは表示順序を有する場合：
I₁ B₂ B₃ P₄ B₅ P₆ B₇ P₈ B₉ B₁₀ P_{11 . . .} P_n-3 B_n-2 P_n-1 I_n
これに対応する復号化の順序は以下のようになる：
I₁ P₄ B₂ B₃ P₆ B₅ P₈ B₇ P₁₁ B₉ B₁₀ . . . P_n-1 B_n-2 I_n

復号化の順序は表示順序とは異なる。なぜなら、Ｂ−フレームの復号化を行うためにＩ−フレームまたはＰ−フレームを必要とするからである。図２は上記フレームシーケンスの始まり部分を表わしているが、この図２を参照するとフレームの依存状態を理解することができる。Ｐ−フレームは、前回のＩ参照フレームまたはＰ参照フレームが利用可能であることを必要とする。例えば、Ｐ₄はＩ₁が復号化されることを必要とする。同様に、フレームＰ₆の復号化／解凍を行うためにはＰ₄が利用可能であることを必要とする。フレームＢ₃のようなＢ−フレームは、復号化を行うために、Ｐ₄とＩ₁のような過去のおよび／または将来のＩ参照フレームまたはＰ参照フレームを必要とする。Ｂ−フレームは、符号化中のＩ参照フレームまたはＰ−フレーム間のフレームである。

従来技術による符号化及び復号化システムが図３と図４に示されている。図３の符号器３００を見ると、現フレームと呼ばれる符号化されるフレーム３０１Ｉ（ｘ，ｙ）がＫ×Ｌ個の画素の矩形領域に分割されている。座標（ｘ，ｙ）はフレーム内での画素位置を示す。イントラ符号化（すなわちブロックの範囲内で専ら画像データの空間的相関のみを用いる）か、インター符号化（すなわち空間的予測と時間的予測の双方を利用する）かのいずれかの符号化を用いて各ブロックの符号化が行われる。以下の記載は、符号化されたブロックが形成されるプロセスについて考察するものである。参照フレームと呼ばれ、フレームメモリ３５０内の、前回符号化された（または次回符号化される）フレームおよび伝送されるフレームのうちのいずれかのフレームＲ（ｘ，ｙ）から各インター符号化されたブロックが予測される３６０。予測を行うための動き情報は、参照フレームと現フレーム３０５とを用いることにより動き予測／符号化ブロック３７０において得られる。上記動き情報は２次元動きベクトル（Δｘ，Δｙ）により表される。但し、Δｘは水平方向の変位であり、Δｙは垂直方向の変位である。動き補償（ＭＣ）予測ブロックでは、動きベクトルが参照フレームと共に用いられ、予測フレーム値Ｐ（ｘ，ｙ）が構成される：
P(x,y) = R(x+Δx, y+Δy)

次に、予測誤差Ｅ（ｘ，ｙ）、すなわち現フレームと予測フレーム値Ｐ（ｘ，ｙ）との間の差分が下式に基づいて計算される３０７：
E(x,y)= I(x,y)-P(x,y)

変換ブロック３１０では、各Ｋ×Ｌ個のブロックの予測誤差が変換基底関数ｆ_ij（ｘ，ｙ）の加重和として下式で表される：

基底関数の重みｃ_err（ｉ，ｊ）は変換係数と呼ばれる。これらの係数は次に量子化ブロック３２０において量子化され、下式を生む：
I_err(i,j)=Q(c_err(i,j),QP)
但し、Ｉ_err（ｉ，ｊ）は量子化変換係数である。量子化演算Ｑ（）により情報の損失が生じるが、より少ないビット数で量子化係数を表わすことが可能となる。圧縮（情報の損失）レベルは量子化パラメータ値ＱＰの調整により制御される。

動きベクトルと量子化された変換係数とがマルチプレクサ３８０へ供給される前に、動きベクトルと量子化された変換係数は可変長コード（ＶＬＣ）を用いてさらに符号化される。この符号化により、動きベクトルと量子化された変換係数とを表わすのに必要とされるビット数が減少する。符号化された動きベクトルと、量子化された変換係数、並びに、各符号化フレームを表わすのに必要な他の追加情報がマルチプレクサ３８０で各々多重化され、この結果生じるビットストリームが復号器へ伝送される４１５。量子化された変換係数は、逆量子化された変換係数を得るために逆量子化ブロック３３０へも転送され、さらに、現フレームの予測誤差情報Ｅ_c（ｘ，ｙ）を得るために逆変換ブロック３４０へも転送される。予測誤差情報Ｅ_c（ｘ，ｙ）が、加算エレメントの中で予測フレーム値Ｐ（ｘ，ｙ）に追加され、次回にフレームメモリ３５０に記憶できるビデオフレームが得られる。

以下、図４を参照しながら復号化用ビデオフレームについて説明する。復号器４００は符号器から多重化されたビデオビットストリーム４１５を受け取り、デマルチプレクサ４１０がビットストリームを多重分離して、復号化の対象となるビデオフレームの構成部分が得られる。これらの構成部分は、少なくとも符号化された量子化予測誤差変換係数と、符号化された動きベクトルとを含み、これらは次に復号化され（図示せず）、量子化予測誤差変換係数と動きベクトルとが得られる。量子化された変換係数は逆量子化ブロック４２０で逆量子化され、下記の関係式に基づいて逆量子化された変換係数ｄ_err（ｉ，ｊ）が得られる：
d_err(i,j)=Q^-1(I_err(i,j), QP)

逆変換ブロック４３０では、逆量子化された変換係数が逆変換にかけられ，予測誤差Ｅ_c（ｘ，ｙ）が得られる：

現在の符号化フレームの画素は、フレームメモリ４４０から得られる参照フレーム値Ｒ（ｘ，ｙ）の中で予測画素を見い出し、動き補償予測ブロック４５０において参照フレームと共に受信した動きベクトルを利用して予測フレーム値Ｐ（ｘ，ｙ）を得ることによって再構成される。予測フレーム値Ｐ（ｘ，ｙ）と予測誤差情報Ｅ_c（ｘ，ｙ）とが下記の関係式に基づいて加算要素４３５の中でまとめて加算される：
I_c(x,y)= R(x+Δx, y+Δy)+E_c(x,y)

これらの値Ｉ_c（ｘ，ｙ）をさらにフィルタして、復号化されたビデオフレーム４４５を得ることが可能となる。上記値Ｉ_c（ｘ，ｙ）はフレーム・バッファ４４０にも記憶される。これら再構成された値Ｉ_c（ｘ，ｙ）は、加算ブロック４３５の後のフィルタ用ブロック（図４には図示せず）でフィルタ処理することが可能である。

ビデオストリーミングは固定インターネットにおいて重要なアプリケーションとなっている。さらに３Ｇ無線ネットワークにおいて、将来及び近い将来、ビデオストリーミングが重要なものとなることも予想されている。ストリーミング・アプリケーションでは、伝送用サーバは、受け手から要求があると、予め符号化されたビデオビットストリームを伝送ネットワークを介して受け手へ伝送し始める。受け手は、ビデオストリームを受信しながらビデオストリームの再生を行う。現在のネットワークのベストエフォートという性質により、ネットワーク状態の変化によりユーザに利用可能な有効帯域に変動が生じる。これらの変動に対処するために、伝送用サーバは圧縮したビデオのビットレートのスケーリングを行うことができる。リアルタイムの符号化と地点間通信という特徴通話サービスの場合、ソースの符号化用パラメータの調整をリアルタイムで行うことにより上記スケーリングの達成が可能となる。例えば、このような調整可能なパラメータとして、量子化パラメータやフレーム速度を挙げることができる。上記調整は、好ましくは伝送ネットワークからのフィードバック情報に基づくものであることが望ましい。予め符号化されたビデオビットストリームが受け手へ伝送される一般的なストリーミングシナリオでは、上記解決方法を適用することはできない。

予め符号化されたシーケンスの場合に帯域のスケーラビリティを達成する１つの解決方法として、異なるビットレートと品質とを持つ複数で、かつ、独立したストリームを形成する方法がある。そして、伝送用サーバはストリーム間での切り替えを動的に行って、利用可能な帯域幅の変動の調整を行う。以下の例はこの原理を示す。同一のビデオシーケンスに対応する量子化パラメータのような異なる符号化用パラメータを持つマルチビットストリームが独立に生成されると仮定する。｛Ｐ_1,n-1，Ｐ_1,n，Ｐ_1,n+1｝と｛Ｐ_2,n-1，Ｐ_2,n，Ｐ_2,n+1｝とは、ビットストリーム１と２からそれぞれ復号化されたフレームのシーケンスを示すものとする。２つのビットストリームの符号化用パラメータが異なるため、これらのビットストリームから同じ時点に再構成されたフレーム（フレームＰ_1,n-1及びＰ_2,n-1など）は同一ではない。サーバが当初、ビットストリーム１から符号化フレームを時刻ｎまで伝送し、時刻ｎ以後上記サーバがビットストリーム２から符号化フレームの伝送を開始したと仮定すると、復号器はフレーム｛Ｐ_1,n-2，Ｐ_1,n-1，Ｐ_2,n，Ｐ_2,n+1，Ｐ_2,n+2｝を受け取ることになる。このケースでは、Ｐ_2,nの参照フレームＰ_2,n-1が受信されていないため、Ｐ_2,nの正確な復号化は不可能である。一方、Ｐ_2,n-1の代わりに受信されたフレームＰ_1,n-1はＰ_2,n-1と同一ではない。したがって、任意の位置におけるビットストリーム間の切り替えは、異なるシーケンスでの動き補償予測に用いられる参照フレーム間の不整合に起因する視覚的アーティファクトの発生を来すことになる。これらの視覚的アーティファクトは、ビットストリーム間の切り替えポイントにおけるフレームに限られるだけでなく、ビデオシーケンスの残り部分で継続される動き補償符号化に起因して時間的に拡散する。

現在のビデオ符号化規格では、現在及び将来のフレームまたはこれらのフレーム領域が、現在の切り替え位置より以前にいずれの情報も利用しない位置（すなわちＩ−フレームの位置）でしか、ビットストリーム間の完全な（不整合のない）切り替えは可能ではない。さらに、一定（１秒などの）間隔でＩ−フレームを配置することにより、ストリーミングビデオのコンテンツに対するランダムアクセスや“高速順方向”及び“高速逆方向”（高速再生速度）などのＶＣＲ機能が達成される。ユーザはビデオシーケンスの一部をスキップして、任意のＩ−フレーム位置で再生の再開が可能である。同様に、Ｉ−フレームのみにより高速の再生速度が達成可能である。これらのアプリケーションでＩ−フレームを利用する欠点として、Ｉ−フレームは、いずれの時間的冗長性も利用しないため、同じ品質でＰ−フレームよりも多くのビット数を必要とするという点が挙げられる。

変動する伝送環境でビデオ画像を伝送する新しい方法とシステムとを提供することが本発明の目的である。

本発明は、新しいタイプの圧縮ビデオフレームを形成して、１つのビットストリームから別のビットストリームへの切り替えが許される位置で上記新しいタイプのフレームをビデオ・ビットレートの中へ挿入することによりビデオストリーム間の正しい（不整合のない）切り替えを可能にするという着想に基づくものである。本説明では、上記新しいタイプの圧縮ビデオフレームをＳフレームと呼ぶことにする。さらに詳細には、Ｓフレームは、動きベクトル情報を用いて前回復号化されたフレームからの動き補償予測値を用いて復号器で形成されるＳＰフレーム、及び、復号化されたフレームの範囲内で前回復号化された隣接画素から空間的（イントラ）予測を用いて復号器で形成されるＳＩフレームとに分類することができる。一般に、本発明に基づくＳフレームはブロック毎に形成され、インター符号化された（ＳＰ）ブロック並びにイントラ符号化された（ＳＩ）ブロックの双方を含むものであってもよい。本発明に基づく方法は、前記第１のビットストリームから前記第２のビットストリームへの伝送の切り替え時に、第２のビットストリームは少なくとも１つの１次切り替えフレームを具備し、２次切り替えフレームが伝送され、２次切り替えフレームは、第２のビットストリームの符号化用パラメータと第１のビットストリームからの少なくとも１つの参照フレームを用いて符号化されたものであり、第２のセットのビデオフレームの前記少なくとも１つの予測ビデオフレームの再構成において１次切り替えフレームの代わりに、前記２次切り替え用フレームを参照フレームとして用いることを主たる特徴とするものである。本発明に基づく符号器は、前記第１のビットストリームから前記第２のビットストリームへ伝送を切り替える前記手段が、前記第２のビットストリームの符号化用パラメータと、上記第１のビットストリームから得られる参照フレームとを用いて２次切り替えフレームを符号化し、前記第１のビットストリームから前記第２のビットストリームへの伝送の切り替えを可能にする手段を含むことを主たる特徴とするものである。本発明に基づく復号器は、２次切り替えフレームを復号化する手段を有し、第２のビットストリームの符号化用パラメータと、第１のビットストリームから得られる少なくとも１つの参照フレームとを用いて、前記２次切り替えフレームを符号化し、さらに、第２のセットのビデオフレームの前記少なくとも１つの予測ビデオフレームの再構成時に用いる参照フレームとして、１次切り替えフレームの代わりに、前記２次切り替えフレームを前記信号に追加し、さらに、２次切り替えフレームを復号化する前記手段が、上記第２のビットストリームの復号化用パラメータと、上記第１のビットストリームから得られる参照フレームとを利用する手段を有することを主たる特徴とするものである。本発明に基づく信号は、前記第１のビットストリームから前記第２のビットストリームへの伝送の切り替え時に、上記２次ビットストリームが少なくとも１つの１次切り替えフレームを有し、前記信号が、上記第２のビットストリームの符号化用パラメータと、上記第１のビットストリームから得られる少なくとも１つの参照フレームとを用いて符号化された２次切り替えフレームを有し、さらに、上記第２のセットのビデオフレームの前記少なくとも１つの予測ビデオフレームの再構成時に用いる参照フレームとして、１次切り替えフレームの代わりに前記２次切り替えフレームを用いることを主たる特徴とするものである。

従来技術の方法及びシステムと比較して、本発明により著しい利点が達成される。本発明により、ビットストリーム間の切り替えが可能となり、Ｉ−フレームの位置においてのみならず、ＳＰフレームの位置においても切り替えが行われる。上記ＳＰフレームの符号化効率は、従来技術に従う場合Ｉ−フレームが用いられる位置にＳＰフレームを含むビットストリームを伝送するために狭い帯域しか必要とせず一般的なＩ−フレームの符号化効率よりもずっと良好なものになり、同時に、変化する伝送状態に対する十分な適合性も上記狭い帯域により提供される。本発明に基づくＳＰフレームが符号化されたビットストリームの形で配置される位置で、１ビットストリームの、別のビットストリームへの切り替えが可能となる。１つのビットストリームから別のビットストリームへの変更が行われる結果、ビットストリームから再構成された画像が復号器により劣化することはない。本発明には、ビットストリームに対するランダムアクセス、高速早送り及び高速巻き戻し操作が可能であるという利点もある。本発明に基づくシステムにより、上述の従来技術による解決方法と比較して向上したエラー回復特性と復元特性とが提供される。

本発明の実施形態の上記特徴とその他の特徴、態様及び利点は、添付図面と関連して行う以下の記載を参照することにより明らかになる。しかし、以下の図面は単に例示の目的のために設計されたものであること、及び、本発明の限界の定義として設計されたものではないことを理解されたい。上記定義については添付の請求項を参照すべきである。

以下、添付図面を参照しながら本発明についてより詳細な説明を行う。

以下、ビデオ信号からマルチビットストリームを形成する本発明に基づくシステムについて説明する。ビデオ信号は、複数の画像すなわち画像シーケンスを含む任意のデジタルビデオ信号であってもよい。符号器においてデジタルビデオ信号が符号化され、マルチビットストリームが形成される。各ビットストリームは、少なくとも部分的に異なる符号化用パラメータを用いて同一のビデオ信号から符号化される。例えば、符号化用パラメータの別様の選択によりビットレートの変更が可能であり、このようにして異なるビットレートを持つビットストリームの形成が可能となる。例えば、符号化用パラメータは、当業者に公知の、フレーム速度、量子化パラメータ、空間分解能あるいは画像サイズに影響を与えるその他の係数であってもよい。上記符号器により、少なくとも１つのイントラフレームを各ビットストリームへ挿入することも行われる。一般に、各ビットストリームの少なくとも第１のフレームはイントラフレームであることが望ましい。これによって復号器によるビデオ信号の再構成の開始が可能となる。Ｉ−フレーム、Ｐ−フレーム、Ｂ−フレームの符号化時に使用される符号器は、ビデオ信号の符号化を行う従来技術による任意の符号器であってもよい。あるいは、２以上の符号器が存在し、各符号器が各種符号化用パラメータを用いてマルチビットストリームを形成するものであってもよい。しかし、本発明に基づくＳＰフレームおよび／またはＳＩフレームを含むビデオ信号の符号化を行うためには、符号器に新しい機能を必要する。これについては後程さらに詳細に説明する。

動き補償予測符号化（Ｐ−フレーム及びオプションとしてＢ−フレーム）を用いて符号化されたフレームの、ビットストリーム内への挿入も符号器により行われる。本明細書でＳフレームと呼ばれる新しいタイプのフレームの挿入も上記符号器により行われる。本発明に基づき異なるビットストリーム間での切り替えが許される位置で各ビットストリームの中へ上記挿入が行われる。従来技術の方法によるイントラ符号化フレームの挿入位置でＳフレームを使用してもよい。あるいは、ビデオシーケンス内でのイントラ符号化フレームの使用と併用してＳフレームを用いてもよい。好ましくは、記憶手段の中へ異なるビットストリームを記憶して後の処理で利用することが望ましい。しかし、符号化のほぼ直後に伝送を行うことも可能であり、その場合、ビデオシーケンス全体の記憶を行う必要はなく、必要な参照フレームの記憶で充分である。伝送用に記憶されたビットストリームの検索手段および／または符号器から直接ビットストリームを受けとる手段を持つ伝送用サーバなどにより、符号化されたビデオストリームの伝送を行うようにしてもよい。伝送用サーバは、伝送ネットワーク（図示せず）へビットストリームを伝送する手段も備えている。

以下本発明の好適な実施形態に基づく方法について説明する。図５は、第１のビットストリーム５１０の一部と、第２のビットストリーム５２０の一部とを描く図であり、これらのビットストリームは符号器で形成される。それぞれのビットストリームのうち数個のＰ−フレームしか図示されていない。詳細には、第１のビットストリーム５１０がＰ−フレーム５１１、５１２、５１４、５１５を含むように示され、一方、第２のビットストリーム５２０には、対応するＰ−フレーム５２１、５２２、５２４、５２５が含まれる。第１のビットストリーム５１０と第２のビットストリーム５２０の双方には、対応する位置にＳフレーム５１３（ラベルＳ₁）、５２３（ラベルＳ₂）も含まれる。上記２つのビットストリーム５１０と５２０とは、例えば、フレーム速度、異なる空間分解能または異なる量子化パラメータを用いることにより、異なるビットレートで同じシーケンスに対応することが想定されている。伝送用サーバから復号器６００、１２００、１３００（それぞれ図６、１２、１３）へ伝送ネットワークを介して第１のビットストリーム５１０を伝送すること、及び、伝送対象ビデオストリームのビットレートを変更する旨の伝送ネットワークからの要求を伝送用サーバが受信することがさらに想定されている。

上述のように、Ｓフレームは、１つのビットストリームから別のビットストリームへの切り替えが可能なビットストリームのビデオシーケンス内の当該位置に符号化処理中配置される。図５からわかるように、本発明の好適な実施形態では、別のＳフレーム５５０（ラベルＳ₁₂）がＳフレームＳ₁とＳ₂とに関連づけられる。このＳフレームはＳフレームの２次表現（または略して２次Ｓフレーム）と呼ばれ、ビットストリームの切り替え中にのみ伝送される。この２次ＳフレームＳ₁₂はｎ番目のフレームの特別の符号化によりビデオシーケンス内に生成され、符号化の際、第２のビットストリーム５２０内の対応するＳフレーム５２３（Ｓ₂）の符号化用パラメータと、第１のビットストリーム５１０内のｎ番目のフレームの参照フレームからの動き補償予測値とが用いられる。図５に図示の状況では、ＳフレームＳ₂は、第２のビットストリーム５２０から前回再構成されたフレームを参照フレームとして使用し、２次ＳフレームＳ₁₂は第１のビットストリーム５１０から前回再構成されたフレームを参照フレームとして使用していることを付記しておく。しかし、Ｓ₂とＳ₁₂の双方の再構成された画素値は同一である。ＳフレームＳ₁₂は、第１のビットストリーム５１０から第２のビットストリーム５２０への切り替えを実際に行うときにしか伝送されない。したがって、切り替えを行うときのみを除けば符号化処理の間２次Ｓフレームの形成は不要となる。一方、異なるビットストリームが形成される時点よりも早めに少なくとも若干の２次Ｓフレームを形成して、伝送中計算上の負荷の低減を図ることが有用となる場合もある。

伝送用サーバは、第１のビットストリーム５１０でＳフレーム５１３（Ｓ₁）として符号化されるビデオシーケンスのフレームに達すると、第２のビットストリーム５２０の符号化フレームを用いてビデオストリームの伝送を続けるのに必要な処理の開始が可能となる。その時点で、伝送用サーバは、第１のビットストリーム５１０からＰ−フレーム５１１と５１２とをすでに伝送しており、さらに、復号器６００、１２００、１３００は、それぞれのＰ−フレーム５１１、５１２を受け取り、復号化している。したがって、当該フレームは、復号器６００、１２００、１３００のフレームメモリ６４０、１２５０、１３６０内にすでに記憶されている。フレームメモリ６４０、１２５０、１３６０には、Ｐ−フレームまたはＢ−フレームの再構成に必要なすべての当該フレーム、すなわち再構成すべき現フレームが必要とするすべての参照フレームに関する必要情報の記憶に十分なメモリが含まれている。

伝送用サーバは、第２のビットストリーム５２０の符号化フレームを用いて、ビデオストリームの伝送を続けるために以下の処理を行う。伝送用サーバは、例えば、フレームの種別情報を調べることにより、伝送対象の現フレームがＳフレームであることを知り、それによってビットストリーム間での切り替えを行うことが可能となる。言うまでもなく、切り替え要求を受け取った場合や、何らかの別の理由で切り替えを行う必要がある場合にしか切り替えは行われない。伝送用サーバにより第２のビットストリームの対応するＳフレーム５２３が入力され、このＳフレームを用いて２次Ｓフレーム５５０（Ｓ₁₂）が形成され、２次Ｓフレーム（Ｓ₁₂）が復号器６００、１２００、１３００へ伝送される。伝送用サーバは、第２のビットストリームのＳフレームＳ₂を伝送しないが、その代りに２次ＳフレームＳ₁₂の伝送を行う。２次Ｓフレームは、２次ＳフレームＳ₁₂を復号化することにより復号器６００がそれぞれのフレーム５２１、５２２並びに第２のビットストリーム５２０のＳフレーム５２３を用いた場合に作成されるような画像と同一の画像を再構成できるように形成される。２次Ｓフレームの伝送後、第２のビットストリーム５２０、すなわち、５２４、５２５等々で伝送用サーバは符号化フレームの伝送を続行する。

Ｓフレーム５１３、５２３、５５０は、画素間の空間的相関のみを用いて符号化されたブロック（イントラブロック）と、空間的相関と時間的相関の双方の相関を用いて符号化されたブロック（インターブロック）とを含むものであってもよい。各インターブロックについて、受信した動きベクトルと参照フレームとを用いて、このブロックの予測値Ｐ（ｘ，ｙ）が復号器６００、１２００、１３００で形成される。基底関数ｆ_ij（ｘ，ｙ）に対する値Ｐ（ｘ，ｙ）の変換係数ｃ_predが計算され、量子化される。変換係数ｃ_predの量子化された値はＩ_predとして示され、量子化された変換係数Ｉ_predの逆量子化値はｄ_predとして示される。予測誤差の量子化係数Ｉ_errが符号器から受信される。これらの係数の逆量子化値はｄ_errとして示される。インターブロック内の各画素の値Ｓ（ｘ，ｙ）は基底関数ｆ_ij（ｘ，ｙ）の加重和として復号化される。その場合加重値ｄ_recは逆量子化再構成画像係数と呼ばれる。ｄ_recの値は、量子化と逆量子化とによりｄ_recを得るための係数ｃ_recが存在するような値にする必要がある。さらに、値ｄ_recは以下の条件のいずれか一方の条件を満たす値でなければならない。
d_rec = d_pred + d_err
または
c_rec = c_pred + d_err
値Ｓ（ｘ，ｙ）をさらに正規化し、フィルタにかけることができる。

次に、ビットストリーム内に置かれる（Ｓフレーム５１３（Ｓ₁）と５２３（Ｓ₂）などの）Ｓフレームの符号化について説明する。

一般に、図５のフレーム５１３、５２３のような本発明に基づくＳフレームはブロック毎に構成される。前述したように、上記ブロックの各々を符号化して、符号化した画像の画素間での空間的相関（イントラブロックまたはＳＩブロック）を利用するようにするか、ビデオシーケンスの連続フレーム内の画素のブロック間での時間的相関（インターブロックまたはＳＰブロック）を利用するようにするかのいずれかの利用が可能である。

本発明の第１の実施形態に基づくＳフレーム符号器１１００のブロック図である図１１を参照しながら、本発明に基づくＳフレームの符号化について説明する。

Ｓフレームフォーマットで符号化されるビデオフレームはまずブロックに分割され、次いで、各ブロックは、ＳＰブロック、ＳＩブロックまたはイントラブロックのいずれかとして符号化される。イントラブロックは従来技術で公知のものである。スイッチ１１９０が適切に作動して、ＳＩとＳＰ符号化モード間での切り替えを行う。すなわち、スイッチ１１９０は本発明の説明で用いる構成であって、必ずしも物理的デバイスであるとはかぎらない。ＳＰ符号化モードでは、スイッチ１１９０が作動して、現在のブロック１１７０の動き補償予測値が得られる。動き補償予測ブロック１１７０では、従来技術で公知の動き補償予測で用いる方法と類似の方法で符号化されるフレームの現在のブロックの予測値Ｐ（ｘ，ｙ）が形成される。さらに詳しくは、動き補償予測ブロック１１７０によりフレームの現在のブロックの予測値Ｐ（ｘ，ｙ）が形成され、予測値Ｐ（ｘ，ｙ）は、現在のブロック内の画素と、フレームメモリ１１４６内に保持されている再構成された参照フレームの画素値との間の関係を記述する動きベクトルの計算により符号化される。

ＳＩ符号化用モードでは、スイッチ１１９０が作動して、イントラ予測ブロック１１８０から符号化されたフレームの現在のブロックの予測値が得られる。イントラ予測ブロック１１８０は、従来技術で公知のイントラ予測で用いられる方法と類似の方法で符号化されたフレームの現在のブロックの予測値Ｐ（ｘ，ｙ）を形成する。さらに詳しくは、イントラ予測ブロック１１８０は、符号化されたフレーム内のすでに符号化された隣接画素から得られる空間予測値を用いて符号化対象フレームの現在のブロックの予測値Ｐ（ｘ，ｙ）を形成する。

ＳＰ符号化モードとＳＩ符号化用モードの双方のモードで、予測値Ｐ（ｘ，ｙ）は画素値のブロックの形をとる。例えば離散コサイン変換（ＤＣＴ）などの順方向変換が、ブロック１１６０内で画素値Ｐ（ｘ，ｙ）の予測されたブロックに適用され、次いで、ｃ_predと呼ばれる、上記の結果得られた変換係数が量子化ブロック１１５０で次に量子化され、量子化された変換係数Ｉ_predが形成される。対応する処理が原画像データに対しても行われる。さらに詳しくは、符号化対象原画像の画素値の現在のブロックが変換ブロック１１１０に印加される。ここで、順方向変換（ＤＣＴなど）が原画像ブロックの画素値に適用されて、変換係数ｃ_origが形成される。これらの変換係数は量子化ブロック１１２０へ渡され、そこで上記変換係数が量子化されて、変換係数Ｉ_origが形成される。加算要素１１３０は、それぞれの量子化ブロック１１５０と１１２０とから２組の量子化変換係数Ｉ_predとＩ_origとを受信し、下記の関係式に基づいて１組の量子化予測誤差係数Ｉ_errを形成する：
I_err = I_orig - I_pred

量子化予測誤差係数Ｉ_errはマルチプレクサ１１３５へ渡される。ＳＰフォーマット／モードで現在のブロックを符号化する場合、マルチプレクサ１１３５はＳＰ符号化ブロックに関連する動きベクトルも受信する。ＳＩフォーマット／モードで現在のブロックを符号化する場合、イントラ予測ブロック１１８０内のＳＩ符号化ブロックの予測値の形成に用いられるイントラ予測モードに関する情報がマルチプレクサへ渡される。好ましくは、マルチプレクサ１１３５において、量子化予測誤差係数Ｉ_errと、動きベクトル情報またはイントラ予測モード情報とに可変長符号化を適用し、上記様々な形の情報をまとめて多重化することによりビットストリームを形成し、このようにして形成したビットストリームを対応する復号器１２００、１３００へ伝送することが望ましい（図１２と図１３を参照のこと）。

本発明に基づくＳフレーム符号器１１００はローカルな復号化機能も備える。量子化ブロック１１５０で形成された量子化予測変換係数Ｉ_predは加算エレメント１１４０へ提供される。上記加算エレメントは量子化誤差係数Ｉ_errも受信する。加算エレメント１１４０は、量子化予測変換係数Ｉ_predと量子化予測誤差係数Ｉ_errとを再結合して、下記の関係式に基づいて１セットの再構成量子化変換係数Ｉ_recを形成する：
I_rec = I_pred + I_err

上記再構成量子化変換係数は、逆量子化ブロック１１４２へ渡され、ここで上記再構成量子化変換係数が逆量子化再構成変換係数へ逆量子化される。この逆量子化された再構成変換係数はさらに逆変換ブロック１１４４へ渡され、そこで、上記逆量子化再構成変換係数は、逆離散コサイン変換（ＩＤＣＴ）やブロック１１６０で行われる変換に対応する他の任意の逆変換などにかけられる。その結果、再構成された画素値のブロックが当該画像ブロック用として形成され、フレームメモリ１１４６に記憶される。Ｓフレームフォーマットで符号化されたフレームの次回のブロックが前述した符号化処理とローカルな復号化処理とにかけられるとき、現フレームの復号化バージョンがフレームメモリの中で漸次組み立てられる。同フレームの次回のブロックのイントラ予測時に、あるいは、ビデオシーケンス内の次回のフレームのインター（動き補償）予測時に、上記フレームメモリから、上記復号化バージョンにアクセスし、この復号化バージョンの利用が可能となる。

本発明の第１の実施形態に基づく一般的Ｓフレーム復号器の動作について図１２を参照しながら以下説明する。

図１１と関連して前述したＳフレーム符号器により生成されるビットストリームは復号器１２００により受信され、デマルチプレクサ１２１０によりその構成部分に多重分離される。復号器はブロック毎にＳフレームの復号化バージョンを再構成する。前述したように、Ｓフレームは、イントラブロック、ＳＰ符号化画像ブロック及びＳＩ符号化画像ブロックを含むものであってもよい。ＳＰフォーマットの画像ブロックの場合、受信ビットストリーム内の情報には、ＶＬＣ符号化動き係数情報とＶＬＣ符号化された量子化予測誤差係数Ｉ_errとが含まれる。ＳＩフォーマットで符号化された画像ブロックの場合、受信ビットストリーム内の情報にはＳＩ符号化ブロックのイントラ予測値の形成に用いられるイントラ予測モードに関するＶＬＣ符号化された情報がＶＬＣ符号化された量子化予測誤差係数Ｉ_errと共に含まれる。

ＳＰ符号化ブロックを復号化するとき、デマルチプレクサ１２１０はまず適当な可変長復号化（ＶＬＤ）を受信ビットストリームに適用して、動きベクトル情報と量子化予測誤差係数Ｉ_errとを復元する。次いで、デマルチプレクサ１２１０は量子化予測誤差係数Ｉ_errから動きベクトル情報を切り離す。この動きベクトル情報は動き補償予測ブロック１２６０へ供給され、次いで、ビットストリームから復元された量子化予測誤差係数が加算エレメント１２２０の１つの入力部に印加される。上記動きベクトル情報は、フレームメモリ１２５０に保持される前回再構成されたフレームの画素値と共に動き補償予測ブロック１２６０の中で利用され、符号器１１００で用いられる方法と類似の方法で予測値Ｐ（ｘ，ｙ）が形成される。

ＳＩ符号化ブロックを復号化するとき、デマルチプレクサ１２１０は、受信したイントラ予測モード情報と量子化予測誤差係数Ｉ_errとに対して適当な可変長復号化を適用する。次いで、イントラ予測モード情報は量子化予測誤差係数から切り離され、イントラ予測ブロック１２７０へ供給される。量子化予測誤差係数Ｉ_errは加算エレメント１２２０の１つの入力部に供給される。イントラ予測モード情報は、フレームメモリ１２５０に保持される現フレームの前回復号化された画素値とともにイントラ予測ブロック１２７０において利用され、現在のブロックの復号化に用いる予測値Ｐ（ｘ，ｙ）が形成される。再言するが、復号器１２００で行われるイントラ予測処理は符号器１１００で行われた前述の処理に類似の処理である。

復号化されるフレームの現在のブロックの予測値が形成されると、スイッチ１２８０が作動して、予測ピクセル値を含む予測値Ｐ（ｘ，ｙ）が変換ブロック１２９０へ供給されるように図られる。再言するが、スイッチ１２８０は、本発明の説明で利用される抽象的な構成であって、必ずしも物理的デバイスであるとはかぎらない。ＳＰ符号化ブロックの場合、スイッチ１２８０が作動して動き補償予測ブロック１２６０が変換ブロック１２９０と接続され、一方、ＳＩ符号化ブロックの場合、スイッチ１２８０が作動してイントラ予測ブロック１２７０が変換ブロック１２９０と接続される。

ブロック１２９０で、離散コサイン変換（ＤＣＴ）などの順方向変換が画素値Ｐ（ｘ，ｙ）の予測されたブロックに適用され、この結果得られる変換係数ｃ_predが量子化ブロック１２９５へ供給され、そこで、上記変換係数は量子化されて、量子化された変換係数Ｉ_predが形成される。次いで、量子化された変換係数Ｉ_predが加算要素１２２０の第２の入力部へ供給され、そこで上記変換係数は予測誤差係数Ｉ_errに加算されて、再構成量子化変換係数Ｉ_recが下記の関係式に基づいて形成される：
I_rec = I_pred + I_err

この再構成量子化変換係数Ｉ_recはさらに逆量子化ブロック１２３０へ供給され、そこで上記係数は逆量子化され、逆量子化再構成変換係数ｄ_recが形成される。次いで、この逆量子化された変換係数ｄ_recは逆変換ブロック１２４０へ渡され、そこで上記変換係数は逆離散コサイン変換（ＩＤＣＴなど）や、ブロック１２９０で行われる変換に対応する他の任意の逆変換などにかけられる。このようにして、再構成されたピクセル値のブロックが当該画像ブロックに対して形成される。これらの再構成されたピクセル値はビデオ出力部とフレームメモリ１２５０へ供給される。復号化されたＳフレームの次回のブロックが前述した復号化処理にかけられるとき、現フレームの復号化バージョンは、フレームメモリ１２５０で漸次組み立てられる。このフレームメモリから、上記フレームにアクセスし、同フレームの次回のブロックのイントラ予測時に、あるいは、ビデオシーケンス内の次回のフレームのインター（動き補償）予測時にこのフレームの利用が可能となる。

本発明の第１の実施形態に基づくＳフレーム符号器と復号器の構造と機能について記述したので、従来のビデオ符号化／復号化システムで遭遇するような不整合エラーを生じることなく、本発明に基づくＳフレームがどのようにビットストリーム間で切り替えを行うかを理解することができよう。図５に描かれているビットストリームの切り替え例をもう一度参照すると、第１のビットストリーム５１０から第２のビットストリーム５２０への切り替えはそれぞれのビットストリーム内のＳフレームＳ₁（５１３）とＳ₂（５２３）の位置で行われる。前述したように、切り替えが行われると、Ｓ₁₂（５５０）で示される２次Ｓフレームが符号化され、伝送される。上記２次フレームＳ₁₂が復号化されるとき、この２次フレームの再構成されたピクセル値が、第２のビットストリーム内のフレームＳ₂の伝送の結果得られたであろう画素値と同一の値になるように、上記２次ＳフレームＳ₁₂は、第２のビットストリーム５２０の符号化用パラメータと、第１のビットストリーム５１０から得られる参照フレームとを用いて符号化される。

上記記載の処理手順を用いてＳＰフレームＳ₂の符号化から得られる予測誤差と予測フレームの量子化係数をそれぞれＩ² _errとＩ² _predで表わす。また、ＳフレームＳ₂の再構成画像の量子化係数をＩ² _recで表わす。２次Ｓフレーム５５０（Ｓ₁₂）の符号化は、以下の（１）と（２）の例外を除き、Ｓフレーム５２３（Ｓ₂）の符号化時の場合と同じ処理手順に従う：
（１）２次ＳフレームＳ₁₂の各ブロックの予測時に用いる参照フレームは、ビデオシーケンスにおいて現在のｎ番目のフレームまでの第１のビットストリーム５１０を復号化することにより得られる再構成フレームである。
（２）量子化予測誤差係数は以下のように計算される：Ｉ¹² _err＝Ｉ² _rec−Ｉ¹² _pred ただし、Ｉ¹² _predは量子化予測変換係数である。
量子化予測誤差係数Ｉ¹² _errと動きベクトルとは復号器１２００へ伝送される。

切り替えを行う前に、第１のビットストリーム５１０から再構成したフレームを参照フレームとして用いて復号器１２００内で２次ＳフレームＳ₁₂を復号化するとき、２次Ｓフレームの係数Ｉ¹² _predが構成され、上述のような受信された量子化予測誤差係数Ｉ¹² _errに加算される。すなわち、Ｉ¹² _rec＝Ｉ¹² _err＋Ｉ¹² _pred＝Ｉ² _rec−Ｉ¹² _pred＋Ｉ¹² _pred＝Ｉ² _rec
上式から、Ｉ¹² _recとＩ² _recとが同一であることは明らかである。したがって、第２のビットストリームの２次ＳフレームＳ₁₂とＳフレームＳ₂とは異なる参照フレームを含むものではあるが、Ｓ₁₂が復号化された場合、ＳフレームＳ₂の復号化の結果生じるであろう画素値と同一の再構成された画素値を持つ画像がＳ₁₂により生成される。

本発明に基づくＳフレームの符号化と復号化についての上述の説明から、従来技術に基づくＰ−フレームとＩ−フレームの符号化と復号化と比べてかなりの相違が存在することが明らかである。詳細には、ＳＰフォーマットまたはＳＩフォーマットで画像ブロックの符号化または復号化を行う場合、当該ブロックの予測値Ｐ（ｘ，ｙ）が、離散コサイン変換のような変換を適用することにより変換係数ドメインに変換されることがわかる。このようにして生成された変換係数は次に量子化され、予測誤差が量子化係数ドメインで決定される。これは、空間（画素値）ドメインで予測誤差を計算する従来技術による予測符号化とは対照的である。

以下、ビットストリーム５１０と５２０との間での切り替え中の復号器１２００の処理について詳細に説明する。第１のビットストリームから第２のビットストリーム５２０への切り替えが行われるビデオシーケンス内の位置で、復号器１２００は、第１のビットストリーム５１０の前回のＰ−フレーム５１１と５１２とをすでに受信し、復号化している。これらの復号化されたフレームは、フレームメモリ１２５０に記憶され、参照フレームとして使用するために利用可能である。第１のビットストリーム５１０から第２のビットストリーム５２０への切り替えが行われると、符号器１１００（図１１）は、２次ＳフレームＳ₁₂（５５０）を構成し、このフレームを符号化し、Ｓ₁₂を表す符号化されたビデオ情報を復号器１２００へ伝送する。

前述したように、符号化はブロック毎に行われる。詳細には、２次ＳフレームＳ₁₂が画像ブロックの集合体として符号化され、一般に各画像ブロックはＳＰ符号化ブロックまたはＳＩ符号化ブロックまたはイントラブロックのいずれかとして符号される。２次ＳフレームＳ₁₂のＳＰ符号化ブロックの場合、符号器から復号器へ伝送される圧縮ビデオ情報は量子化予測誤差変換係数Ｉ¹² _errと動きベクトル情報の形をとる。２次ＳフレームＳ₁₂のＳＩ符号化ブロックの場合、圧縮ビデオ情報には、量子化予測誤差変換係数Ｉ¹² _errと、符号器内でのＳＩ符号化ブロックの予測値の形成時に利用するイントラ予測モードに関連する情報とが含まれる。前述したように、圧縮ビデオ情報は、符号器からの伝送に先行して適当な可変長符号化（ＶＬＣ）にかけられ、上記圧縮ビデオ情報の表現に必要なビット数のさらなる低減が意図される。

所定の画像ブロックに関連する圧縮ビデオ情報は、復号器１２００で受信され、まず適当な可変長復号化（ＶＬＤ）にかけられ、次いで、デマルチプレクサ１２１０によりその構成部分に分離される。受信ビットストリームから取り出された量子化予測誤差係数Ｉ¹² _errがアナログ加算器１２２０の第１の入力部に印加され、予測画素値Ｐ（ｘ，ｙ）のブロックが、その符号化モード（ＳＰまたはＳＩ）に基づいて各画像ブロック用として形成される。ＳＰ符号化ブロックの場合、フレームメモリ１２５０内で利用可能な第１のビットストリームから得られる参照フレーム（Ｐ−フレーム５１１や５１２など）と、デマルチプレクサ１２１０により２次ＳフレームＳ₁₂の符号化されたビデオ情報から取り出される動きベクトル情報とを用いて動き補償予測ブロック１２６０内で予測ピクセル値Ｐ（ｘ，ｙ）のブロックが形成される。ＳＩ符号化ブロックの場合、フレームメモリ１２５０にやはり記憶された２次ＳフレームＳ₁₂の前回復号化された画素を用いて、イントラ予測ブロック１２７０内で予測ピクセル値Ｐ（ｘ，ｙ）のブロックが形成される。イントラ予測は、２次ＳフレームＳ₁₂の受信ビデオ情報からデマルチプレクサ１２１０により抽出されたイントラ予測モード情報に基づいて行われる。

一旦２次Ｓフレームの現在のブロックの予測値が形成されると、予測ピクセル値Ｐ（ｘ，ｙ）が変換ブロック１２９０へ渡される。ここで、順方向変換（離散コサイン変換（ＤＣＴなど））が予測ピクセル値Ｐ（ｘ，ｙ）に適用され、１組の変換係数ｃ_predが形成される。次いで、これらの変換係数は量子化ブロック１２９５へ渡され、そこで、上記変換係数は量子化されて、変換係数Ｉ¹² _predが形成される。次いで、量子化された変換係数Ｉ¹² _predは、アナログ加算器１２２０の第２の入力部に印加される。アナログ加算器１２２０により、量子化された変換係数Ｉ¹² _predが量子化予測誤差変換係数Ｉ¹² _errと組み合わされ、再構成量子化変換係数Ｉ¹² _recが下記の関係式に基づいて形成される：
I¹² _rec = I¹² _pred + I¹² _err

次いで、再構成量子化変換係数Ｉ¹² _recが逆量子化ブロック１２３０へ供給され、そこで、上記量子化変換係数は逆量子化されて、逆量子化再構成変換係数ｄ¹² _recが形成される。次いで、逆量子化再構成変換係数ｄ¹² _recは逆変換ブロック１２４０へ渡され、そこで上記係数は逆変換処理（逆離散コサイン変換（ＩＤＣＴ）など）にかけられる。この結果、再構成されたピクセル値のブロックが２次ＳフレームＳ₁₂の現在のブロック用として形成される。再構成されたピクセル値Ｉ_c（ｘ，ｙ）はビデオ出力部とフレームメモリ１２５０とへ供給される。２次ＳフレームＳ₁₂の次回のブロックが符号化され、符号器１１００から復号器１２００へ伝送され、その後復号化されるにつれて、２次Ｓフレームの復号化バージョンがフレームメモリ１２５０内に漸次組み立てられる。上記フレームメモリから、２次Ｓフレームのすでに復号化されたブロックを検索し、イントラ予測ブロック１２７０によりこれらのブロックを用いて、２次ＳフレームＳ₁₂の次回のブロックの予測ピクセル値Ｐ（ｘ，ｙ）を形成することができる。ここで、２次ＳフレームＳ₁₂の各画像ブロックの量子化予測誤差変換係数が下記の関係式に基づいて符号器１１００で生成されることを思い起すべきである。
I¹² _err = I² _rec - I¹² _pred
但し、Ｉ² _recは、量子化された再構成変換係数値であり、この係数値は、第２のビットストリーム内のＳフレームＳ₂を符号化し、次いで、このＳフレームＳ₂を後程復号化することにより生成される値である。これは、２次ＳフレームＳ₁₂の圧縮ビデオ情報の復号化により生成される再構成変換係数Ｉ¹² _recが、第２のビットストリームから得られるＳフレームＳ₂が伝送され、復号化された場合に生成されたであろう再構成変換係数と同一であることを意味する。前述したように、上記のことは下記の式の結果として生じる：
I¹² _rec = I¹² _pred + I¹² _err
= I¹² _pred + I² _rec - I¹² _pred = I² _rec
したがって、Ｉ¹² _rec＝Ｉ² _recとなる。

したがって、本発明の方法に基づいて、２次ＳフレームＳ₁₂を構成し、符号器から復号器へ２次ＳフレームＳ₁₂を伝送し、次にこの２次ＳフレームＳ₁₂の復号化により、不整合のない第１のビットストリームと第２のビットストリームとの間での切り替えの達成が可能となることが明らかである。

２次ＳフレームがＳＩフレームであり、ビットストリーム内のＳフレームがＳＰフレームであるケースについて考えることにする。このケースでは、動き補償予測を用いるフレームが専ら空間予測のみを用いるフレームにより表される。この特別のケースはランダムアクセスとエラー復元力に特徴を有するケースであり、これらの特徴については後程説明する。

本発明の上述の第１の実施形態に基づく符号器１１００と復号器１２００で、量子化された変換係数Ｉ_predを産みだすために、変換ブロック１１６０（符号器）と１２９０（復号器）で生成される変換係数ｃ_predに適用される量子化は、量子化予測誤差変換係数Ｉ_errの生成に用いられる量子化と同じものであることを付記しておく。さらに詳しくは、本発明の第１の実施形態では、符号化／復号化の対象であるＳフレームの画像ブロックに対する予測ピクセル値Ｐ（ｘ，ｙ）のブロックを生成するとき、画素値Ｐ（ｘ，ｙ）の予測されたブロックに対応する変換係数ｃ_predの量子化に用いられる量子化パラメータＱＰは、量子化予測誤差変換係数Ｉ_errの生成時に用いられる量子化パラメータと同じでなければならない。このことは好都合である。なぜなら、再構成変換係数Ｉ_recの生成を意図して行われる加算が、量子化された変換係数ドメインで行われるからである。すなわち、
I_rec = I_pred + I_err
であるから、Ｉ_predとＩ_errとの構成時に同一の量子化パラメータを使用しなければ、再構成量子化変換係数Ｉ_recのエラーにつながることになる。

図１５は、量子化された変換係数Ｉ_predとＩ_errとを生成するための量子化パラメータの選択時にさらに大きな柔軟性が与えられる本発明の第２の実施形態に基づくＳフレーム符号器１５００のブロック図を示す。図１５を図１１と比較してわかるように、本発明の第２の実施形態に基づくＳフレーム符号器１５００と、本発明の第１の実施形態に基づくＳフレーム符号器１１００との間の主要な相違点は量子化ブロック１５２５と１５５０の位置に関する相違である。図１５を参照しながら、本発明の第２の実施形態に基づくＳフレーム符号器１５００の動作について以下詳細に説明する。

本発明の第２の実施形態によれば、Ｓフレームフォーマットで符号化されるビデオフレームはまずブロックに分割され、次いで、各ブロックはＳＰブロックまたはＳＩブロックのいずれかのブロックとして符号化される。スイッチ１５８５が適切に作動して、ＳＰ符号化モードとＳＩ符号化用モードとの間で切り替えが行われる。ＳＰ符号化モードでは、スイッチ１５８５が作動して、動き補償予測ブロック１５７５から符号化されるフレームの現在のブロックの動き補償予測値が得られる。動き補償予測ブロック１５７５は、現在のブロックの画素と、フレームメモリ１５７０に保持される再構成された参照フレームの画素値との間の関係を記述する符号化された動きベクトルの計算によりフレームの現在のブロックの予測ピクセル値Ｐ（ｘ，ｙ）のブロックを形成する。

ＳＩ符号化時に、モードスイッチ１５８５が作動し、イントラ予測ブロック１５８０から符号化されたフレームの現在のブロックの予測値が得られる。イントラ予測ブロック１５８０は、本発明の第１の実施形態と関連して説明した方法と類似の方法で動作して、符号化対象フレーム内のすでに符号化された隣接画素から空間予測を用いて符号化されるフレームの現在のブロックの予測ピクセル値Ｐ（ｘ，ｙ）のブロックを形成する。

ＳＰ−符号化モードとＳＩ−符号化モードの双方のモードで、例えば離散コサイン変換（ＤＣＴ）の順方向変換が、変換ブロック１５９０内で画素値Ｐ（ｘ，ｙ）の予測されたブロックに適用される。この結果得られる変換係数ｃ_predはアナログ加算器１５２０と１５４０へ供給される。符号化された画像ブロックの実際の画素値を含む原画像データは、変換ブロック１５１０へ渡され、そこでこれらの原画像データも順方向変換（ＤＣＴなど）にかけられる。次いで、この結果得られる変換係数ｃ_origは、ｃ_origとｃ_pred間の差分を形成するアナログ加算器１５２０へ渡され、下記の関係式に基づいて予測誤差変換係数ｃ_errが生成される。
c_err = c_orig - c_pred

上記予測誤差変換係数は量子化ブロック１５２５へ供給され、そこで上記係数は量子化パラメータＰＱＰを用いて量子化され、量子化予測誤差変換係数Ｉ_errが形成され、次いで、この量子化予測誤差変換係数はマルチプレクサ１５４０へ渡される。

ＳＰフォーマットで現在のブロックを符号化する場合、マルチプレクサ１５４０は、ＳＰ符号化ブロックの動き補償予測値Ｐ（ｘ，ｙ）の形成時に用いる動きベクトルに関連する情報も受信する。ＳＩフォーマットの形で現在のブロックを符号化する場合、ＳＩ符号化ブロックの予測値Ｐ（ｘ，ｙ）の形成に用いられるイントラ予測モードに関する情報も上記マルチプレクサへ渡される。好ましくは、マルチプレクサ１５４０は、量子化予測誤差変換係数Ｉ_errに対して、及び、動きベクトルあるいはイントラ予測モードに対して適切な可変長符号化（ＶＬＣ）情報を適用し、様々な形の情報をまとめて多重化することにより、対応する復号器へ伝送するためのビットストリームを形成する。

量子化予測誤差変換係数Ｉ_errは量子化ブロック１５２５から逆量子化ブロック１５３０へ渡され、そこで上記係数は量子化パラメータＰＱＰを用いて逆量子化され、逆量子化予測誤差変換係数ｄ_errが形成される。逆量子化予測誤差変換係数ｄ_errは次にアナログ加算器１５４０へ渡され、そこで上記係数は、現在のブロックの予測ピクセル値Ｐ（ｘ，ｙ）から生成された変換係数ｃ_predと合成される。さらに詳しくは、アナログ加算器１５４０は、変換係数ｃ_predと逆量子化予測誤差変換係数ｄ_errとを加算して、再構成変換係数ｃ_recを下記の関係式に基づいて形成する：
c_rec = c_pred + d_err

次いで、上記再構成変換係数ｃ_recは量子化ブロック１５５０へ渡され、そこで上記係数は量子化パラメータＳＰＱＰを用いて量子化され、量子化された再構成変換係数Ｉ_recが生成される。再構成変換係数の量子化に用いられる量子化パラメータＳＰＱＰは、量子化ブロック１５２５で予測誤差変換係数ｃ_errの量子化に用いられる量子化パラメータＰＱＰと必ずしも同じものであるとは限らないことを付記しておく。特に、再構成変換係数ｃ_recに対するさらにきめ細かな量子化の適用が可能であり、また、予測誤差係数ｃ_errに対するきめの粗い量子化の適用が可能である。上記により、復号器で復号化画像を形成するとき、再構成エラー（歪み）が少なくなるという結果が最終的に得られる。

量子化された再構成変換係数Ｉ_recは次に逆量子化ブロック１５６０へ供給され、そこで上記係数は量子化パラメータＳＰＱＰを用いて逆量子化され、逆量子化再構成変換係数ｄ_recが形成される。次いで、この逆量子化再構成変換係数ｄ_recは逆変換ブロック１５６５へ渡され、そこで上記係数は逆離散コサイン変換（ＩＤＣＴ）などの逆変換処理にかけられる。この処理の結果、当該画像ブロックの再構成されたピクセル値Ｉ_c（ｘ，ｙ）のブロックが形成される。再構成されたピクセル値Ｉ_c（ｘ，ｙ）のブロックはその後フレームメモリ１５７０に記憶される。Ｓフレームフォーマットで符号化されるフレームの次回のブロックが、前述した符号化処理とローカルな復号化処理とにかけられると、現フレームの復号化バージョンがフレームメモリ１５７０で漸次組み立てられ、上記フレームメモリから、同一フレームの次回のブロックのイントラ予測時に、または、ビデオシーケンス内の次回のフレームのインター（動き補償）予測時に、上記復号化バージョンにアクセスし、このバージョンの利用が可能となる。

図１３を参照しながら、本発明の第２の実施形態に基づくＳフレーム復号器１３００の動作について以下説明する。図１５と関連して上述した、本発明の第２の実施形態に基づいてＳフレーム符号器１５００により生成されたビットストリームが、復号器１３００により受信され、上記ビットストリームの構成部の中へ入れられる。上記復号器により、Ｓフレームの復号化バージョンがブロック毎に再構成される。前述したように、Ｓフレームには、ＳＰ符号化画像ブロックとＳＩ符号化画像ブロックの双方の画像ブロックが含まれる。ＳＰ符号化画像ブロックの場合、受信ビットストリーム内の情報には、ＶＬＣ符号化された動きベクトル情報と、ＶＬＣ符号化された量子化予測誤差変換係数Ｉ_errとが含まれる。ＳＩフォーマット内で符号化された画像ブロックの場合、受信ビットストリーム内の情報には、ＳＩ符号化ブロックのイントラ予測値の形成に使用されるイントラ予測モードに関連するＶＬＣ符号化情報並びにＶＬＣ符号化された量子化予測誤差変換係数Ｉ_errが含まれる。

ＳＰ符号化画像ブロックの復号化時に、デマルチプレクサ１３１０は、受信ビットストリームに適当な可変長復号化（ＶＬＤ）をまず適用し、動きベクトル情報と量子化予測誤差係数Ｉ_errとを復元する。次いで、デマルチプレクサ１３１０が、量子化予測誤差係数Ｉ_errから動きベクトル情報を切り離す。この動きベクトル情報は動き補償予測ブロック１３７０へ供給され、受信ビットストリームから復元された量子化予測誤差係数Ｉ_errが逆量子化ブロック１３２０に印加される。受信ビットストリームから復元された動きベクトル情報は、フレームメモリ１３６０内に保持された前回再構成されたフレームの画素値と共に動き補償予測ブロック１３７０で用いられ、符号器１５００で用いた方法と類似の方法で復号化対象の現在のブロックの予測値Ｐ（ｘ，ｙ）が形成される。

ＳＩ符号化画像ブロックの復号化時に、デマルチプレクサ１３１０は、受信されたイントラ予測モード情報と量子化予測誤差変換係数Ｉ_errとへ適当な可変長復号化を適用する。次いで、このイントラ予測モード情報は量子化予測誤差変換係数Ｉ_errから切り離され、イントラ予測ブロック１３８０へ供給される。量子化予測誤差変換係数Ｉ_errは逆量子化ブロック１３２０へ供給される。受信ビットストリームから復元されたイントラ予測モード情報は、フレームメモリ１３６０内に保持された現フレームの前回復号化された画素値と共にイントラ予測ブロック１３８０で用いられ、復号化対象の現在のブロックの予測値Ｐ（ｘ，ｙ）が形成される。ここでもまた、復号器１２００におけるイントラ予測処理は、前述した対応する符号器１５００で行われた処理と類似の処理である。

ＳＰ符号化画像ブロックとＳＩ符号化画像ブロックの双方の場合、受信ビットストリームから復元された量子化予測誤差変換係数Ｉ_errは、量子化パラメータＰＱＰを用いて逆量子化ブロック１３２０で逆量子化され、逆量子化予測誤差変換係数ｄ_errが形成される。逆量子化予測誤差変換係数ｄ_errはアナログ加算器１３２５の１つの入力部に印加される。

一旦、動き補償予測ブロック１３７０での動き補償予測またはイントラ予測ブロック１３８０でのイントラ予測のいずれかにより、復号化されたフレームの現在のブロックの予測値Ｐ（ｘ，ｙ）が形成されると、スイッチ１３８５が適切に作動して、予測ピクセル値Ｐ（ｘ，ｙ）が変換ブロック１３９０へ供給される。ここで、順方向変換、例えば、離散コサイン変換（ＤＣＴ）が画素値Ｐ（ｘ，ｙ）の予測されたブロックに適用され、変換係数ｃ_predが形成される。次いで、変換係数ｃ_predがアナログ加算器１３２５の第２の入力部へ供給され、そこで上記係数は逆量子化ブロック１３２０から受信した逆量子化予測誤差変換係数と合成され、再構成変換係数ｃ_recが形成される。さらに詳しくは、下記の関係式に基づいて、変換係数ｃ_predと逆量子化予測誤差変換係数ｄ_errを一緒に加算することにより再構成変換係数が決定される：
c_rec = c_pred + d_err

次いで、再構成変換係数ｃ_recが量子化ブロック１３３０へ渡され、そこで上記係数が量子化され、量子化パラメータＳＰＱＰを用いて量子化された再構成変換係数Ｉ_recが生成される。次いで、量子化された再構成変換係数Ｉ_recが逆量子化ブロック１３４０へ供給され、このブロックで上記係数は量子化パラメータＳＰＱＰを用いて逆量子化され、逆量子化再構成変換係数ｄ_recが形成される。次いで、逆量子化再構成変換係数ｄ_recが逆変換ブロック１３５０へ渡され、このブロックで上記係数は例えば逆離散コサイン変換（ＩＤＣＴ）などの逆変換処理にかけられる。逆変換ブロック１３５０で適用される逆変換の結果、１ブロックの再構成された画像画素Ｉ_c（ｘ，ｙ）が当該画像ブロック用として形成される。再構成された画素Ｉ_c（ｘ，ｙ）のブロックが復号器のビデオ出力部と、フレームメモリ１３６０とへ供給され、上記画素が記憶される。Ｓフレームの次回のブロックが上述の復号化処理を受けるとき、現フレームの復号化バージョンがフレームメモリ１３６０に漸次組み立てられる。上記フレームメモリ１３６０からこの復号化バージョンにアクセスし、同一フレームの次回のブロックのイントラ予測時に、あるいは、次回のフレームのインター（動き補償）予測時にビデオシーケンス内の上記バージョンの利用が可能となる。

図１６に、本発明の第３の実施形態に基づく符号器が図示されている。本実施形態では、変換係数ｃ_predは、符号器セクション（ブロック１６２５と１６３０）と復号器セクション（ブロック１６９２と１６９４）の双方セクションで、同じ量子化パラメータＳＰＱＰを用いて量子化と逆量子化にかけられる。したがって、上記符号器は予測ループに対して追加の量子化エラーが全く生じないため、予測ループでのエラーの発生が効果的に防止される。ブロック１６１０、１６２０、１６２５、１６３０、１６４０、１６５０、１６６０、１６６５、１６７０、１６７５、１６８０、１６８５、１６９０は、図１５に記載のブロック１５１０、１５２０、１５２５、１５３０、１５４０、１５５０、１５６０、１５６５、１５７０、１５７５、１５８０、１５８５、１５９０とそれぞれ類似の機能を有する。

図６に、本発明の好適な実施形態に基づく復号器６００が記載されている。復号器６００の要素の大部分は、図１２に記載の復号器１２００の要素と同じである。復号器６００の処理ブロックはフレームの予測ブロックを復号化するように構成される。この場合、スイッチ手段は図６には示されていない。他のブロック６１０、６１５、６２０、６３０、６４０、６５０、６６０、６７０は、図１２に記載のブロック１２１０、１２２０、１２３０、１２４０、１２５０、１２６０、１２９０、１２９５とそれぞれ類似の機能を有する。

図９に、本発明の別の好適な実施形態に基づく復号器６００が記載されている。図９に示す復号器６００は図６に図示の復号器６００からの改引である。図９に示す復号器と、図１２に示す復号器との間の相違点として、デマルチプレクサ６１０と加算要素６１５の１つの入力部との間に正規化ブロック６８０が挿入されるという点が挙げられる。その他のブロック６１０、６１５、６２０、６３０、６４０、６５０、６６０、６７０は、図１２に記載のブロック１２１０、１２２０、１２３０、１２４０、１２５０、１２６０、１２９０、１２９５とそれぞれ類似の機能を有する。

図１０に、本発明のさらに別の好適な実施形態に基づく復号器６００が記載されている。復号器６００の要素のほとんどは図１３に記載の復号器１３００の要素と同じである。復号器６００の処理ブロックはフレームの予測ブロックを復号化するように構成される。この場合、スイッチ手段は図１０には示されていない。図１３に示す復号器と図１０に示す復号器間の別の相違点として、逆量子化ブロック１２３０の代わりに正規化ブロック６８０が用いられるという点が挙げられる。その他のブロック６１０、６１５、６２０、６３０、６４０、６５０、６６０、６７０は、図１３に記載ブロック１３１０、１３２５、１３３０、１３４０、１３５０、１３６０、１３７０、１３９０とそれぞれ類似の機能を有する。

符号化された同じビデオフレーム内に異なる符号化領域が存在できるように、ブロック毎にビデオフレームの符号化を行うことが可能である。例えば、フレームのいくつかの部分のインター符号化が可能であり、そのフレームの他のいくつかの部分のイントラ符号化が可能である。上記処理手順は、当該部分の符号化処理手順に基づいて上記フレームの各部に適切に適用される。

伝送ネットワークに加えて、伝送システムの別の部分により、ビットストリーム伝送特性の変更要求の起動も可能である。例えば、何らかの理由で受け手がパラメータの変更を伝送用サーバに要求する場合がある。この要求は伝送ネットワークなどを介して伝送用サーバへ転送される。

規格の一例としてＨ.２６Ｌが用いられてはいるが、本発明の実施形態及びいずれの変更例と改変例も本発明の範囲内に属するものと考えられる。

ビットストリームの切り替えは、本発明を適用できる唯一のアプリケーションというわけではない。ビットストリームのうちの１つが、１フレーム／秒などの低い時間分解能を持っている場合、このビットストリームを用いて、高速の順方向機能を与えることが可能となる。詳細には、低い時間分解能を用いるビットストリームからの復号化と、通常のフレーム速度を用いるビットストリームへの切り替えとにより、上記のような機能が与えられることになる。図８は２つのビットストリームを描くものであり、これら２つのビットストリームのうちの第２のビットストリームには、第１のビットストリームのフレーム繰り返し間隔より大きい間隔をおいてお互いから予測されるＳフレームのみが含まれる。さらに、“高速順方向”はビットストリーム内の任意の位置での起動と停止が可能である。以下、本発明の別のいくつかのアプリケーションについて説明する。

スプライシング（splicing）とランダムアクセス
前述したビットストリーム切り替え例では同じ画像シーケンスに属するビットストリームについて考えた。しかし、上記ビットストリームの切り替え例は、必ずしもビットストリームの切り替えが必要とされるすべての状況での事例となるとはかぎらない。その他の例として以下の例が含まれる：同じイベントを但し異なる視点からキャプチャする各種カメラや、監視用としてビルの周りに配置されているカメラから到来するビットストリーム間での切り替え、地方的プログラミング／国家的プログラミングまたはテレビ放送でのコマーシャルの挿入への切り替え、ビデオブリッジングなど。符号化されたビットストリームの連結処理を表す一般的な用語がスプライシングである。

異なる画像シーケンスに属するビットストリーム間で切り替えを行うとき、この切り替えは、ビットストリーム間での切り替えに用いるＳフレーム（すなわち図５の２次ＳフレームＳ₁₂）の符号化に影響を与えるにすぎない。詳細には、異なる画像シーケンスから得られる参照フレームを用いる１シーケンスの画像でのフレームの動き補償予測の利用は、同じ画像シーケンスに属する２つのビットストリームの場合ほど効果的ではない。この場合、２次Ｓフレームの空間予測の方が効果的になることが最も予想される。これは図７に例示されており、この図では切り替え用フレームは空間予測のみを用いるＳＩフレームである。この空間予測により対応するＳＰフレームＳ₂が等価的に再構成される。ビットストリームに変えるランダムアクセス・メカニズムとしてこの方法の利用が可能であり、さらに、この方法には以下に記載のようにエラー回復と復元力という特徴がある。

エラー回復
直前に再構成されたフレームや時間的にずっと以前に再構成されたフレームから予測されるような様々な参照フレームから予測されるＳフレームの形で単一フレームの複数の表現を用いて符号化されたビデオシーケンスのエラー復元力を高めおよび／またはビットストリームにおけるエラーからの回復の向上を図ることが可能である。これは図１４に図示されている。前回符号化されたビットストリームのストリーミング中パケット紛失が生じた状況では、フレームまたはスライスが紛失し、受け手はこの紛失フレーム／スライスについて送り手に知らせ、送り手は次のＳフレームの別の表現の１つを伝送することにより応答する。図１４のフレームＳ₁₂などの上記別の表現では、受け手によりすでに正しく受信された参照フレームが用いられる。スライスに基づくパケット化と配信の場合、送り手は、このようなスライス／フレーム紛失により影響を受けるスライスの推定を行い、これらスライスの別の表現を用いて次のＳフレーム内の当該スライスのみを更新することも可能である。

同様に、スプライシングの解説で前述したように、図１４に図示の参照フレームのようなＳＩ₂フレームなどの参照フレームを何も使用せずにＳフレームの２次表現の生成を行うことが可能である。この場合、送り手はＳ₂の代わりに２次ＳＩフレームすなわちＳＩ₂を伝送してエラーの拡散を停止させる。このアプローチは、スライスベースの符号化／パケット化に簡単に拡張することも可能である。さらに詳しくは、パケット紛失により影響を受ける次のＳフレーム内のスライスがサーバによりＳＩフレームから伝送される。

エラー復元力
同じ符号化されたビデオフレーム内に別様に符号化された領域が存在できるようにブロック毎にビデオフレームの符号化を行うことができる。例えば、上記フレームのいくつかの部分のインター符号化を行うことが可能であり、上記フレームの別のいくつかの部分のイントラ符号化を行うことが可能である。さらに、既述したように、いずれの時間的相関も用いられないため、上記イントラブロック符号化により、トランスポート上の欠陥に起因して始まる可能性があるいずれのエラーの拡散も止められる。

損失の多いトランスポートネットワークでは、イントラマクロブロック・リフレッシュ戦略により著しいエラー復元／回復性能を与えることが可能である。双方向型クライアント／サーバシナリオでは、紛失／破損フレーム／スライス／マクロブロックの正確な位置などのクライアントから受信した固有のフィードバック情報に基づくか、あるいは、ネゴシエーションまたは測定されたネットワーク状態により計算された予想されるネットワーク状態に基づくかのいずれかの状態に基づいて、サーバ側の符号器によりフレーム／マクロブロックの符号化が決定される。この種のイントラマクロブロック更新戦略により、エラー復元力とエラー回復を与えることによる受信ビデオの品質の向上が図られる。最適のイントラマクロブロック更新リフレッシュ速度、すなわち、マクロブロックがイントラ符号化される周波数は、パケット紛失および／またはビットエラー比などのトランスポートチャネル状態に依存する。しかし、すでに符号化されたビットストリームを伝送する一般的なストリーミング・アプリケーションの場合、上記戦略を直接適用することはできない。最悪のケースが予想されるネットワーク状態での符号化がシーケンスに必要となるか、あるいは、追加のエラー復元力／回復メカニズムがシーケンスに要求されるかのいずれかとなる。

エラー回復とスプライシング・アプリケーションにおけるＳフレームの利用に関する前述の解説から、Ｓフレームの同一の再構成が結果として生じるが、参照フレームを全く利用しないＳＩフレーム／スライスとして、ＳフレームまたはＳフレーム内のスライスを容易に表現することが可能であることは明らかである。上述の適応型イントラリフレッシュ・メカニズムにおいて上記特性を利用することができる。まず、１つの画像シーケンスがＳ−マクロブロックの或る予め定義した比率で符号化される。次いで、伝送中、Ｓ−マクロブロックが、ＳＩマクロブロックとしてＳ−マクロブロックの２次表現で伝送される。ＳＩ表現で伝送されるＳマクロブロックの数の計算は、前述したリアルタイムの符号化／配信アプローチで用いた方法と類似の方法で行うことができる。

ビデオ冗長符号化
Ｓフレームには、Ｉ−フレームの代替機能ではないアプリケーションでの別の用途がある。ビデオ冗長符号化（ＶＲＣ）をその一例として挙げることができる。ＶＲＣ法の原理は、一続きの映像を２以上のスレッドに分割してシーケンス内のすべての映像をラウンドロビン方式でスレッドのうちの１つに割り当てるようにすることである。各スレッドは独立に符号化される。規則的な間隔で、すべてのスレッドがいわゆる同期フレームの中へ収束する。この同期フレームから新しいスレッドの連続が開始される。パケット紛失などに起因して、これらのスレッドの１つが損傷を受けた場合、残りのスレッドは一般に損傷を受けないまま残り、次の同期フレームの予測に用いることができる。映像品質のわずかな減損につながる損傷を受けたスレッドの復号化を続けたり、フレーム速度の低下につながる損傷を受けたスレッドの復号化を停止したりすることが可能である。同期フレームは損傷を受けていないスレッドのうちの１つから常に予測される。これは、完全な再同期化を行う必要性が存在しないために、伝送されたＩ−フレームの数を小さな数に保つことが可能であることを意味する。同期フレーム用として、２以上の表現（Ｐ−フレーム）が伝送され、各表現では異なるスレッドからの参照フレームが利用される。Ｐ−フレームの利用に起因してこれらの表現は同一の表現とはならない。したがって、表現の若干を復号化できない場合、不整合が生じ、次のスレッドの復号化の際に上記表現の類いが用いられる。同期フレームとしてのＳフレームの利用はこの問題を取り除くものである。

本発明が上記実施形態に限定されるものではなく、添付の請求項の範囲内で改変が可能であることは言うまでもない。

ビデオフレームの従来技術による符号化／圧縮を示す図である。 ビデオフレームの従来技術による符号化／圧縮を示す図である。 ビデオフレームの従来技術による符号化／圧縮を示す図である。 ビデオフレームの従来技術による符号化／圧縮を示す図である。 一般的動き補償予測ビデオ符号化システム（符号器）のブロック図である。 一般的動き補償予測ビデオ符号化システム（復号器）のブロック図である。 本発明に基づくＳフレームを利用する、２つの異なるビットストリーム間での切り替えを示す例示である。 本発明の好適な実施形態に基づく復号器のブロック図である。 Ｓフレームを用いるランダムアクセスの例図である。 Ｓフレームを用いる高速の順方向処理の例図である。 本発明の別の好適な実施形態に基づく復号器のブロック図である。 本発明のさらに別の好適な実施形態に基づく復号器のブロック図である。 本発明の好適な実施形態に基づく符号器のブロック図である。 本発明の別の好適な実施形態に基づく復号器のブロック図である。 本発明の第２の実施形態に基づく符号器のブロック図である。 ＳＰフレームを用いるエラー復元／回復処理の例図である。 本発明の第３の好適な実施形態に基づく符号器のブロック図である。 本発明の別の好適な実施形態に基づく復号器のブロック図である。

Claims (8)

1. 少なくとも１つのビデオブロックと該少なくとも１つのビデオブロックから予測される少なくとも１つの予測ビデオブロックとを含むビデオ情報を復号化する復号器であって、以前に復号化されたブロックに関する参照情報を記憶するメモリ（６４０，１２５０，１３６０）とメモリ（６４０，１２５０，１３６０）に記憶された参照情報を使用して予測ブロックを形成する予測器（６５０，１２６０，１２７０，１３７０，１３８０）とを具備する復号器において、該復号器がさらに、
   予測ブロックを変換して変換された予測ブロックを形成する変換器（６６０，１２９０，１３９０）と、変換された予測ブロックに現ブロックを表わす情報を加算して現ブロックの復号化において用いるための加算された情報を得る加算器（６１５，１２２０，１３２５）とを具備することを特徴とする復号器。
2. 前記加算の後の現ブロックを逆量子化し逆変換する逆量子器（６２０，１２３０，１３３０）と逆変換器（６３０，１２４０，１３４０）を含むことを特徴とする請求項１記載の復号器。
3. 前記加算の前の前記変換された予測ブロックを量子化する量子化器を含むことを特徴とする請求項１または２記載の復号器。
4. 現ブロックを表わす前記情報はビデオブロックを少なくとも変換し量子化して得られたものであり、該変換および量子化は前記予測ブロックの前記変換および量子化と同一である請求項３記載の復号器。
5. 現ブロックを表わす前記情報はビデオブロックを少なくとも変換し量子化して得られたものであり、復号器は前記加算の前に現ブロックを表わす前記情報を逆量子化する逆量子化器（１３２０）を含むことを特徴とする請求項１または２記載の復号器。
6. 現ブロックを表わす前記情報はビデオブロックを少なくとも変換し量子化して得られたものであり、復号器は前記加算の前に現ブロックを表わす前記情報をスケーリングする正規化ブロック（６８０）を含むことを特徴とする請求項１または２記載の復号器。
7. 前記加算の後に現ブロックを量子化し逆量子化し逆変換する量子化器（１３３０）、逆量子化器（１３４０）および逆変換器（１３５０）を含むことを特徴とする請求項１または２記載の復号器。
8. 変換基底関数が変換において使用するために配置される請求項１〜７のいずれか１項記載の復号器。

Images