JP2006121701A - 多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法及び装置 - Google Patents

Abstract

【課題】 多階層構造を使用するビデオコーディング方法において、基礎階層のモーションベクトルを用いて向上階層のモーションベクトルを効果的に予測して、モーションベクトルの圧縮効率を高める方法及び装置を提供する。
【解決手段】 入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階、入力フレームから第１フレーム率より大きな第２フレーム率を有する第１向上階層フレームのモーションベクトルを求める段階、第１向上階層フレームに対する予測モーションベクトルを生成する段階、及び第１向上階層フレームのモーションベクトルと生成された予測モーションベクトルとの差分、及び求めた基礎階層のモーションベクトルを符号化する段階を含む多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
【選択図】 図５

Description

本発明は、ビデオ圧縮方法に係り、より詳細には、多階層構造を使用するビデオコーディング方法において、基礎階層（ｂａｓｅ ｌａｙｅｒ）のモーションベクトルを用いて向上階層（ｅｎｈａｎｃｅｄ ｌａｙｅｒ）のモーションベクトルを効率よく予測して、モーションベクトルの圧縮効率を高める方法及び装置に関する。

インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りなく、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大で大容量の記録媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するには、圧縮コーディング技法を使用することが必須である。

データを圧縮する基本的な原理はデータの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。一般的なビデオコーディング方法において、時間的重畳はモーション補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）により除去して、空間的重畳は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）により除去する。

データの重畳を除去した後、生成されるマルチメディアを伝送するためには、伝送媒体が必要であるが、その速度は伝送媒体別に異なる。現在使われている伝送媒体は、秒当り数十ｍｂｉｔのデータを伝送しうる超高速通信網から秒当り３８４ｋｂｉｔの伝送速度を有する移動通信網のように多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体を支援するために、または伝送環境によってこれに適した伝送率でマルチメディアを伝送可能にする、すなわち、スケーラビリティを有するデータコーディング方法がマルチメディア環境にさらに適していると言える。

このようなスケーラビリティとは、１つの圧縮されたビットストリームに対してビット率、エラー率、システム資源などの条件によってデコーダ端またはプリデコーダ端で部分的なデコーディングを可能にする符号化方式を意味する。デコーダまたはプリデコーダは、このようなスケーラビリティを有するコーディング方式で符号化されたビットストリームの一部だけを取って異なる画質、解像度、またはフレームレートを有するマルチメディアシーケンスを復元しうる。

図１は、一般的なスケーラブルビデオコーディングシステムの全体構成を示す図面である。まず、エンコーダ５０は入力ビデオ１０を符号化して１つのビットストリーム５２を生成する。そして、プリデコーダ６０は、デコーダ７０との通信環境またはデコーダ７０端での機器性能などを考慮した条件、例えば、ビット率、解像度またはフレームレートを抽出条件として、エンコーダ５０から受信したビットストリーム５２を切り取って多様なビットストリーム５３を抽出しうる。通常、このようなプリデコーダ６０は、可変ネットワーク環境で可変ビデオストリームをエンドユーザに提供するビデオストリームサーバに含まれる形として具現される。

デコーダ３００は、抽出したビットストリーム５３から出力ビデオ５４を復元する。もちろん、前記抽出条件によるビットストリームの抽出は必ずしもプリデコーダ１５０で実行されるものではなく、デコーダ３００で実行されうる。また、プリデコーダ１５０及びデコーダ３００の両方で実行されうる。

このようなスケーラブルビデオコーディングに関わって、既にＭＰＥＧ−２１のＰＡＲＴ−１３でその標準化作業を進行している。この中でも、多階層基盤のビデオコーディング方法によってスケーラビリティを具現しようとする多くの試みらがあった。例えば、基礎階層、第１向上階層、第２向上階層の多階層をおいて、それぞれの階層は相異なる解像度ＱＣＩＦ、ＣＩＦ、２ＣＩＦ、または相異なるフレーム率を有するように構成されうる。

１つの階層にコーディングする場合と同様に、多階層にコーディングする場合に当って、各階層別に時間的重畳性を除去するためのモーションベクトル（ＭＶ）を求める必要がある。このようなモーションベクトルは、各階層ごとに別途に検索して使用する場合（前者）があり、１つの階層でモーションベクトル検索を行った後、それを他の階層でも使用（そのまままたはアップ／ダウンサンプリングして）する場合（後者）もある。前者の場合は、後者の場合に比べて正確なモーションベクトルを探すことによって得る利点と、階層別に生成されたモーションベクトルがオーバーヘッドとして作用する短所が同時に存在する。したがって、前者の場合には、各階層別モーションベクトルの間の重畳性をさらに効率よく除去することが非常に重要な課題となる。

図２は、多階層構造を用いたスケーラブルビデオコデックの一例を示す図面である。まず、基礎階層をＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、１５Ｈｚ（フレームレート）と定義し、第１向上階層をＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、３０ｈｚと、第２向上階層をＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、６０ｈｚと定義する。もし、ＣＩＦ０．５Ｍストリームを所望するならば、第１向上階層のＣＩＦ＿３０Ｈｚ＿０．７ＭでＳＮＲが０．５Ｍになるようにビットストリームを切り取って送ればよい。このような方式で空間的、時間的、ＳＮＲスケーラビリティを具現できる。図２のように、モーションベクトルは、その数が増加して既存の１階層より構成されたものより約２倍程度のオーバーヘッドが発生するために、基礎階層を通じたモーション予測が重要である。もちろん、このようなモーションベクトルは、周辺のフレームを参照してエンコーディングされるインターフレームでのみ使われるので、周辺のフレームとは関係なくエンコーディングされるインターフレームでは使われない。

図２から分かるように、同じ時間的位置を有する各階層でのフレーム（例えば、１０、２０、及び３０）はそのイメージが類似していると推定でき、それにより、モーションベクトルも類似していると推定できる。したがって、下位階層のモーションベクトルから現在階層のモーションベクトルを予測し、予測された値と実際に求めたモーションベクトルとの差をエンコーディングすることによって、効率よくモーションベクトルを表現する方法が既に使われている。

図３は、このようにモーション予測を通じてモーションベクトルを効率よく表現する方法を説明する図である。従来の技術によれば、現在階層のモーションベクトルの予測モーションベクトルとしては、同じ時間的位置を有する下位階層のモーションベクトルをそのまま利用する。

エンコーダは、それぞれの階層で所定の精度で各階層のモーションベクトルＭＶ_０、ＭＶ_１、ＭＶ_２を求めた後、それを用いて各階層で時間的重畳を除去する時間的変換過程を行う。しかし、ビットストリームの提供時、エンコーダは基礎階層のモーションベクトルと、第１向上階層の成分Ｄ_１及び第２向上階層の差分Ｄ_２だけをプリデコーダ（ないしビデオストリームサーバ）端に提供する。プリデコーダは、ネットワーク状況に合わせて基礎階層のモーションベクトルだけをデコーダ端に伝送するか、基礎階層のモーションベクトル及び第１向上階層のモーションベクトル成分Ｄ_１をデコーダ端に伝送するか、または基礎階層のモーションベクトルと第１向上階層のモーションベクトル成分Ｄ_１、及び第２向上階層のモーションベクトル成分Ｄ_２をデコーダ端に伝送しうる。

これにより、デコーダは伝送されたデータによって、該当階層のモーションベクトルを復元しうる。例えば、デコーダが基礎階層のモーションベクトル及び第１向上階層のモーションベクトル成分Ｄ_１を受信した場合には、前記基礎階層のモーションベクトル及び第１向上階層のモーションベクトル成分Ｄ_１を加算することによって、第１向上階層のモーションベクトルＭＶ_１を復元でき、前記復元されたモーションベクトルＭＶ_１を用いて第１向上階層のテクスチャデータを復元しうる。

しかし、図２のように、下位階層と現在階層とのフレーム率が異なる場合には、現在フレームと同じ時間的位置を有する下位階層フレームが存在していないこともある。例えば、あるフレーム４０の下位階層は存在していないために、下位階層のモーションベクトルを通じたモーション予測は不可能である。したがって、フレーム４０のモーションベクトルは、モーション予測を利用できない。よって、第１向上階層のモーションベクトルは重畳が除去されていないまま表現されるために非効率的である。
韓国特許公開第２００３−００４９４６９号公報

本発明は、前記問題点を考慮して創案されたものであって、基礎階層のモーションベクトルから向上階層のモーションベクトルを予測するのにさらに効率的な方法を提供することを目的とする。

また、本発明は、現在階層のフレームと同じ時間的位置を有する下位階層のフレームが存在していない場合にも、モーションベクトルを予測できる効率的な方案を提示することを他の目的とする。

前記目的を達成するために本発明による多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法は、（ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、（ｂ）前記入力フレームから前記第１フレーム率より大きい第２フレーム率を有する第１向上階層フレームのモーションベクトルを求める段階と、（ｃ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在していないと、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから、少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、（ｄ）前記第１向上階層フレームのモーションベクトルと前記生成された予測モーションベクトルとの差分、及び前記求めた基礎階層のモーションベクトルを符号化する段階とを含む。

前記目的を達成するために本発明による多階層基盤のビデオエンコーディング方法は、（ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、（ｂ）前記入力フレームから前記第１フレーム率より大きい第２フレーム率を有する第１向上階層フレームのモーションベクトルを求める段階と、（ｃ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在しなければ、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、（ｄ）前記基礎階層フレームのモーションベクトルを用いて前記基礎階層フレームのテクスチャデータを損失符号化する段階と、（ｅ）前記第１向上階層フレームのモーションベクトルを用いて前記第１向上階層フレームのテクスチャデータを損失符号化する段階と、（ｆ）前記第１向上階層フレームのモーションベクトルと前記生成された予測モーションベクトルとの差分、前記基礎階層のモーションベクトル、前記（ｄ）段階で損失符号化された結果、及び前記（ｅ）段階で損失符号化された結果を無損失符号化する段階とを含む。

前記目的を達成するために本発明による多階層基盤のビデオエンコーディング方法は、（ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、（ｂ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在しなければ、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて前記第１向上階層フレームのモーションベクトルを生成する段階と、（ｃ）前記基礎階層フレームのモーションベクトルを用いて前記基礎階層フレームのテクスチャデータを損失符号化する段階と、（ｄ）前記第１向上階層フレームのモーションベクトルを用いて前記第１向上階層フレームのテクスチャデータを損失符号化する段階と、（ｅ）前記基礎階層フレームのモーションベクトル、前記（ｃ）段階で損失符号化された結果、及び前記（ｄ）段階で損失符号化された結果を無損失符号化する段階とを含む。

前記目的を達成するために本発明による多階層基盤のビデオデコーディング方法
は、（ａ）入力されたビットストリームから基礎階層のデータと向上階層のデータとを抽出する段階と、（ｂ）前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在しない場合には、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームを参照して前記向上階層でのモーションベクトルを復元する段階と、（ｃ）前記復元された向上階層のモーションベクトルを用いて前記向上階層のテクスチャデータからビデオシーケンスを復元する段階とを含む。

本発明によれば、多階層のモーションベクトルをさらに効率よく圧縮する効果がある。また本発明によれば、同じビットストリームを有する映像に対してさらに画質を高めることができる。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

モーション予測をさらに正確に行うほど、モーションベクトルによるオーバーヘッドは減少する。図４を参照すれば、下位階層のモーションベクトルＭＶ_０、ＭＶ_１をそのまま予測モーションベクトルＭＶ_１ｐ、ＭＶ_２ｐとして利用せず、さらに正確なモーション予測方法を利用すれば、ＭＶ_０及びＭＶ_１は、各々ベクトル１１及びベクトル１３ほど移動する効果を奏する。したがって、従来には現在階層のモーションベクトルとその下位階層のモーションベクトルとの差分値１２、第２向上階層でモーションベクトルの差分値１４を伝送せねばならないが、さらに正確にモーション予測を行って予測モーションベクトルＭＶ_１ｐ、ＭＶ_２ｐを利用するならば、さらに小さい値であるＤ_１及びＤ_２を保存すればよい。したがって、それほどモーションベクトルに必要なビット量を節約することになり、節約されたビット量をテクスチャに割り当てることによって画質の向上をもたらす。

このためには、予測モーションベクトルＭＶ_１ｐ及びＭＶ_２ｐを生成する過程が、第１に、別途の付加情報なしに下位階層のモーション情報を読込むことによって実行されねばならず、第２に、前記参照モーションベクトルが現在階層のモーションベクトルと相当近い値に設定されねばならない。

図５は、本発明の基本概念を説明する概略図である。本例で、現在階層Ｌ_ｎは、ＣＩＦ解像度に、３０Ｈｚのフレーム率を有し、下位階層Ｌ_ｎ−１はＱＣＩＦ解像度に１５Ｈｚのフレーム率を有すると仮定する。

本発明は、現在階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する。しかし、そうでない場合には、前記時間的位置に最も近い基礎階層フレームのうち、少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する。図５において、現在階層のフレームＡ_０及びフレームＡ_２のモーションベクトルは、同じ時間的位置を有する下位階層のフレームＢ_０及びＢ_２のモーションベクトルからモーション予測される。ここで、モーション予測とは、実質的には予測モーションベクトルを生成することを意味する。

一方、同じ時間的位置で下位階層フレームが存在しないフレームＡ_１に対する予測モーションベクトルは、前記時間的位置に最も近いフレームＢ_０、Ｂ_２でのモーションベクトルを用いて生成される。これは、まずＢ_０及びＢ_２でのモーションベクトルを補間してＡ_１と同じ時間的位置での仮想モーションベクトル（仮想フレームＢ_１のモーションベクトル）を生成し、前記生成された仮想モーションベクトルから予測モーションベクトルを生成する。

例えば、現在階層のフレームＡ_１がＡ_０及びＡ_２を参照フレームとして双方向予測を行うとする時、前記両方向予測で使われる順方向モーションベクトル（Ａ_０を参照フレームとする場合）と逆方向モーションベクトル（Ａ_２を参照フレームとする場合）は、下位階層のモーションベクトルを用いて効率よく予測されうる。

もし、下位階層のＢ_０が逆方向モーションベクトル（Ｂ_２を参照フレームとする）を有するならば、前記Ｂ_０の順方向モーションベクトルは現在階層のモーションベクトルに比べて参照距離が２倍である。したがって、参照距離と参照方向を考慮すれば、Ａ_１の順方向モーションベクトルに対する予測モーションベクトルは、Ｂ_０の逆方向モーションベクトルに−１／２を乗算することによって計算され、Ａ_１の逆方向モーションベクトルに対する予測モーションベクトルは、Ｂ_０の逆方向モーションベクトルに１／２を乗算することによって計算されうる。または、計算上の誤差を減らすために、Ａ_１の逆方向モーションベクトルに対する予測モーションベクトルとしては、Ｂ_０の逆方向モーションベクトルで前記計算されたＡ_１の順方向モーションベクトルを加算した値を使用しても良い。

一方、下位階層のＢ_２が順方向モーションベクトル（Ｂ_０を参照フレームとする）を有するならば、前記Ｂ_２の順方向モーションベクトルも現在階層のモーションベクトルに比べて参照距離が２倍である。したがって、参照距離と参照方向とを考慮すれば、Ａ_１の順方向モーションベクトルに対する予測モーションベクトルはＢ_２の順方向モーションベクトルに１／２を乗算することによって計算され、Ａ_１の逆方向モーションベクトルに対する予測モーションベクトルは、Ｂ_２の順方向モーションベクトルに−１／２を乗算することによって計算されうる。または、計算上の誤差を減らすために、Ａ_１の逆方向モーションベクトルに対する予測モーションベクトルとしては、前記計算されたＡ_１の順方向モーションベクトルからＢ_２の順方向モーションベクトルを差し引いた値を使用することもある。

図６は、本発明の一実施形態によるビデオエンコーダ１００の構成を示すブロック図である。本実施形態は１つの基礎階層と１つの向上階層とを使用する場合を例としたが、さらに多くの向上階層を利用することもある。ビデオエンコーダ１００は、ダウンサンプラ１１０と、モーション推定部１２１、１３１と、損失符号化部１２５、１２６と、モーションベクトル予測部１４０と、エントロピー符号化部１５０とを含んで構成されうる。

ダウンサンプラ１１０は、入力されたビデオを各階層に合う解像度とフレーム率にダウンサンプリングする。もし、図５のように、基礎階層をＱＣＩＦ＠１５Ｈｚに、向上階層をＣＩＦ＠３０Ｈｚに使用するならば、元の入力されたビデオをＣＩＦ、及びＱＣＩＦ解像度に各々ダウンサンプリングし、その結果を再びフレーム率面で再び１５Ｈｚ及び３０Ｈｚにダウンサンプリングする。解像度面でのダウンサンプリングは、ＭＰＥＧダウンサンプラやウェーブレットダウンサンプラを利用しうる。そして、フレーム率面でのダウンサンプリングはフレームスキップまたはフレーム補間などの方法を通じて実行しうる。

このように、基礎階層に比べて向上階層が常に高い解像度及び高いフレーム率を同時に有するものではなく、同じフレーム率に高い解像度を有するか、同じ解像度に高いフレーム率を有することができるということは当業者には周知の事実である。

モーション推定部１２１は、基礎階層フレームに対してモーション推定を行って基礎階層フレームのモーションベクトルを求める。このようなモーション推定は参照フレーム上で、現在フレームのブロックと最も類似した、すなわち最もエラーの少ないブロックを探す過程であって、固定サイズブロックマッチング方法、または階層的可変サイズブロックマッチング法（ＨＶＳＢＭ）など多様な方法を使用しうる。同様に、モーション推定部１３１は、向上階層フレームに対してモーション推定を行って向上階層フレームのモーションベクトルを求める。

モーションベクトル予測部１４０は、前記基礎階層のモーションベクトルを用いて向上階層に対する予測モーションベクトルを生成し、前記求めた向上階層フレームのモーションベクトルと前記予測モーションベクトルとの差分（以下、“モーションベクトル成分”と称する）を求める。

モーションベクトル予測部１４０で実行される動作をさらに詳細に説明するために、図７のフローチャートを参照する。まず、向上階層に属する現在フレームと同じ時間的位置に基礎階層フレームが存在するか否かを判断する（Ｓ１０）。前記判断の結果、存在する場合（Ｓ１０のはい）、前記現在フレームと空間的関連性を有する基礎階層フレームのモーションベクトルをフィルタリングする（Ｓ２０）。その結果、現在フレームの１つのモーションベクトルに対応する１つのフィルタリングされたモーションベクトルが生成される。Ｓ２０段階は、後述する図９及び図１０を参照して説明する。

次いで、前記向上階層と基礎階層との解像度が同一であるか否かを判断する（Ｓ３０）。その結果、同じ場合には（Ｓ３０のはい）現在フレームのモーションベクトルと前記フィルタリングの結果として生成されるモーションベクトルとを差分する（Ｓ４０）。なぜなら、解像度が同じ場合には、前記フィルタリングされた結果として生成されるモーションベクトルが直ちに予測モーションベクトルになるためである。もし、Ｓ３０の判断の結果、同一でない場合には（Ｓ３０のいいえ）、前記フィルタリング結果として生成されるモーションベクトルを前記向上階層の解像度にアップサンプリングする（Ｓ４５）。例えば、向上階層の解像度が基礎階層の２倍とすれば、前記アップサンプリングとは、前記フィルタリングの結果として生成されるモーションベクトルを２倍に拡大することを意味しうる。ここでは、アップサンプリングされたモーションベクトルが予測モーションベクトルになるので、現在フレームのモーションベクトルと前記アップサンプリングされたモーションベクトルとを差分する（Ｓ５０）。

一方、Ｓ１０段階の判断結果、現在フレームと同じ時間的位置に基礎階層フレームが存在していない場合（Ｓ１０のいいえ）には、前記時間的位置の直前または直後に存在する基礎階層フレーム（すなわち、前記時間的位置の前後で最も近接したフレーム）のモーションベクトルをフィルタリングする（Ｓ５５、Ｓ６０）。例えば、図５のような場合には、現在フレームＡ_１と同じ時間的位置の直前または直後に存在するフレームはＢ_０及びＢ_２である。すなわち、前記時間的位置の直前に存在するフレーム（例えば、Ｂ_０）のモーションベクトルのうち、前記現在フレームのモーションベクトルと空間的関連性を有するモーションベクトルをフィルタリングして１つのフィルタリングされたモーションベクトルを生成する（Ｓ５５）。そして、前記時間的位置の直後に存在するフレーム（例えば、Ｂ_２）のモーションベクトルのうち、前記現在フレームのモーションベクトルと空間的関連性を有するモーションベクトルとをフィルタリングして１つのフィルタリングされたモーションベクトルを生成する（Ｓ６０）。このようなフィルタリング過程は、Ｓ２０と同様な過程であって、図９及び図１０を参照して後述する。

その後、Ｓ５５段階のフィルタリング結果として生成されるフィルタリングされたモーションベクトルと、Ｓ６０段階のフィルタリング結果として生成されるフィルタリングされたモーションベクトルを用いて現在フレームと同じ時間的位置での“仮想モーションベクトル”を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する。このような補間過程で使われる補間アルゴリズムとして、単純に両者を平均する方法、バイリニア（ｂｉ−ｌｉｎｅａｒ）補間方法、バイキュービック（ｂｉ−ｃｕｂｉｃ）補間方法などを利用しうる。図５の例のように、直前及び直後のフレームの距離が同じ場合とは違って、前記距離が相異なるならば、距離に反比例して反映比重を高める方法で補間することが望ましい。但し、このように互いい距離が異なる場合には、近い位置にあるフレーム１つだけを利用することもできる。

一方、前述したような簡単な補間方法と違って、モーションベクトルフィールドの特徴を考慮して直前フレーム及び直後フレームの反映比重を決定する方法を考えられる。図８のように、直前フレーム及び直後フレームのモーションベクトルが表示されるとし（白いブロック部分はモーションベクトルが省略される）、現在フレームのあるモーションベクトルと同じ空間的位置を有するブロックを６１、６２とする。直前フレームの場合には、ブロック６１の周辺（より拡張するか、狭くしうる）のモーションベクトルは、ブロック６１のモーションベクトルとほぼ類似している。一方、直後フレームの場合には、ブロック６２周辺のモーションモーションベクトルはブロック６２のモーションベクトルとほとんど異なる。このような観点で、現在フレームのモーションベクトルに対する予測モーションベクトルを生成するに当って、直前フレームの反映比重をさらに高めるのが、さらに正確なモーション予測を行うのに役に立つ。これを定量化すれば、ブロック６１のモーションベクトルとその周辺モーションベクトルとの差の和を計算し、ブロック６２のモーションベクトルとその周辺モーションベクトルとの差の和を計算し、差の和に反比例して反映比率を決定しうる。デコーダ端でもエンコーダ端から求めたモーションベクトルを伝達されるので、エンコーダ端で決定された反映比率を伝達される必要なく、同様の計算過程を通じて反映比率を把握しうる。

次いで、向上階層と基礎階層との解像度が同一であれば（Ｓ７０のはい）、前記補間された仮想モーションベクトルが直ちに予測モーションベクトルとなる。したがって、モーションベクトルを効率よく圧縮するためには、現在フレームのモーションベクトルと仮想モーションベクトルとを差分する（Ｓ７５）。この差分結果が直ちに向上階層でのモーションベクトル成分となる。

一方、向上階層と基礎階層との解像度が同一でなければ（Ｓ７０のいいえ）、前記補間された仮想モーションベクトルは前記向上階層でのモーションベクトルの大きさになるようにアップサンプリングされる（Ｓ８０）。このようにアップサンプリングされたモーションベクトルが予測モーションベクトルとなるので、現在フレームのモーションベクトルと前記アップサンプリングされたモーションベクトルとを差分する（Ｓ８５）。

図９は、フィルタリング過程を説明するための図である。ここで、フィルタリングとは、向上階層フレームに対する１つのモーションベクトルと空間的連関性があるモーションベクトルとを用いて１つのフィルタリングされたモーションベクトルを求める過程を意味する。ここで、“空間的連関性”がある位置は、“直接対応する位置”を意味するか（第１実施形態）、前記直接対応する位置及びそれから拡張された周辺を含む領域を意味する（第２実施形態）。

まず、第１実施形態を説明する。図９で基礎階層の解像度と向上階層の解像度とが同じ場合に、例えば、モーションベクトル６５と空間的連関性がある（すなわち、直接対応する位置の）モーションベクトルは、モーションベクトル６３を意味する。この場合には、モーションベクトル６３が直接“フィルタリングされたモーションベクトル”を意味することとなる。

そして、基礎階層の解像度と向上階層の解像度とが異なる場合に、モーションベクトル６５と空間的連関性があるモーションベクトルは、モーションベクトル６４を意味する。この場合には、モーションベクトル６４が直接“フィルタリングされたモーションベクトル”を意味する。もちろん、モーションベクトル６４はモーションベクトル６５だけでなく、モーションベクトル６６、６７、６８とも空間的連関性を有する。

次いで、第２実施形態を説明する。第２実施形態は直接対応する位置のモーションベクトルだけでなく、その周辺のモーションベクトルを考慮してフィルタリングする場合である。この場合には、空間的連関性がある位置は、直接対応する位置及びその周辺の領域を含む意味として使われる。このように周辺まで拡張する理由は、モーションベクトルは空間的にも類似性を有するので、モーション予測のためには周辺のモーションベクトルまで考慮することがさらに良い結果をもたらすからである。

図９において、基礎階層の解像度と向上階層の解像度とが同じ場合に、モーションベクトル６５と直接対応することはモーションベクトル６３であるが、モーションベクトル６３だけでなく、その周辺のモーションベクトルを共に考慮してフィルタリングするようになる。例えば、“周辺”をモーションベクトル６３を取り囲んでいる８個のモーションベクトルを意味すると仮定すれば、モーションベクトル６３を含む９個のモーションベクトルの線形結合でフィルタリングされたモーションベクトルを求めることができる。この場合、モーションベクトル６３にはさらに大きな係数（すなわち、さらに大きな反映比率）を使用し、周辺のモーションベクトルには、さらに小さな係数を使用する。周辺のモーションベクトルの反映比率も辺の位置または角の位置によって相異なる反映比率を与えることもあるということは自明である。もちろん、複数のモーションベクトルから１つのフィルタリングされたモーションベクトルを求めるためには、それ以外にも中間値フィルター、バイキュービックフィルター、 クワドラティック （ｑｕａｄｒａｔｉｃ）フィルターなど多様なフィルターを利用することができる。

一方、基礎階層の解像度と向上階層の解像度とが同じ場合に、モーションベクトル６５と直接対応するのはモーションベクトル６４であるが、モーションベクトル６４及びその周辺のモーションベクトルを共に考慮してフィルタリングする。図１０を参照して基礎階層の解像度と向上階層の解像度とが異なる場合に、フィルタリングされたモーションベクトルを求める過程を説明する。

まず、基礎階層で１つのブロックは、第１向上階層で４個の固定ブロックと対応すると仮定する。例えば、ブロックｆは、ブロックｆ５、ｆ６、ｆ７、及びｆ８よりなる領域に対応する。参照モーションベクトルを求めるための所定の補間方法を使用するためには、まず、基礎階層で空間的連関性がある領域範囲を定め、その範囲内のモーションベクトル各々に対する反映比率を決定せねばならない。

例えば、ブロックｆ５のモーションベクトルは、ブロックｂ、ｅ、ｆと空間的連関性が大きいと見なしうる。ブロックｆ５は、地域的に見る時、ブロックｆに対応する領域で左上１／４部分を占めているので、基礎階層でブロックｂ、ブロックｅ、ブロックｆと相当な関連があると推測できるものである。

このように、空間的連関性がある領域範囲を定めた後には、その領域に存在するモーションベクトルをフィルタリングする。この場合、ブロックｂ、ｅに比べてブロックｆの反映比率を大きくすることが妥当である。その他にも、中間値フィルター、バイキュービックフィルター、 クワドラティックフィルターなど多様なフィルターを利用しても良い。

一方、参照ブロックの範囲にブロックｂ、ブロックｅ、ブロックｆだけでなく、ブロックａも含め、各ブロックの反映比率も異ならせる（例えば、ブロックｂは２５％、ブロックｅは２５％、ブロックａは１０％、ブロックｆは４０％）ことができる。また、参照ブロックの領域を直ちに隣接したブロックだけでなく、１ブロックおきのブロックまで含んで指定するなど、多様な方法で指定できるということを当業者ならば容易に分かる。基礎階層と向上階層との解像度が異なる場合は、フィルタリングされたモーションベクトルのスケールは向上階層のモーションベクトルスケールと異なる。前記フィルタリングされたモーションベクトルは、基礎階層のモーションベクトルを用いてフィルタリングを行うだけで、アップサンプリングまで行うものではないためである。もちろん、フィルタリング時にアップサンプリングを同時に行うこととすることもできるが、本発明においてアップサンプリングは以後に別途の過程で行うと説明する。

以上、第２実施形態は固定ブロックを利用するものと説明したが、可変ブロックを利用する場合にも、空間的連関性の程度によって各々適切な割合でフィルタリングすることも十分に可能である。

また図６を参照するに、損失符号化部１２５は、モーション推定部１２１で求めたモーションベクトルを用いて基礎階層フレームを損失符号化する。このような損失符号化部１２５は時間的変換部１２２と、空間的変換部１２３と、量子化部１２４とを備えて構成できる。

時間的変換部１２２は、モーション推定部１２１で求めた前記モーションベクトル、及び現在フレームと時間的に異なる位置にあるフレームを用いて予測フレームを構成して、現在フレームと予測フレームとを差分することによって、時間的重畳性を減少させる。その結果、残余フレームが生成される。もちろん、現在フレームが他のフレームを参照せずに、エンコーディングされるフレーム、すなわちインターフレームである場合には、モーションベクトルを必要せず、予測フレームを用いた時間的変換過程も省略される。このような時間的変換方法のうちから時間的スケーラビリティを支援する方法として、例えばＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）、またはＵＭＣＴＦ（Ｕｎｃｏｎｓｔｒａｉｎｅｄ ＭＣＴＦ）などを使用しうる。

空間的変換部１２３は、時間的変換モジュール１１０によって生成された残余フレームまたは原入力フレームに対して、空間的変換を行って変換係数を生成する。このような空間的変換方法としては、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換などの方法が使われる。ＤＣＴを使用する場合、前記変換係数はＤＣＴ係数で、ウェーブレット変換を使用する場合、前記変換係数はウェーブレット係数である。

量子化部１２４は、空間的変換部１２３によって生成される変換係数を量子化する。量子化とは、任意の実数値で表現される前記ＤＣＴ係数を一定区間に分けて不連続的な値（ｄｉｓｃｒｅｔｅ ｖａｌｕｅ）で表し、それを所定の量子化テーブルによるインデックスでマッチングさせる作業を意味する。

一方、損失符号化部１３５は、モーション推定部１３１で求めた向上階層フレームのモーションベクトルを用いて向上階層フレームを損失符号化する。このような損失符号化部１３５は時間的変換部１３２と、空間的変換部１３３と、量子化部１３４を含んで構成されうる。損失符号化部１３５は、向上階層フレームを損失符号化する他に、その動作は損失符号化部１２５と同様であるために、重畳的な説明は省略する。

エントロピー符号化部１５０は、基礎階層の量子化部１２４及び向上階層の量子化部１３４によって生成された量子化係数、基礎階層のモーション推定部１２１で生成された基礎階層のモーションベクトル、及びモーションベクトル予測部１４０で生成される向上階層のモーションベクトル成分を無損失符号化（ないしエントロピー符号化）して出力ビットストリームを生成する。このような無損失符号化方法としては、ハフマン符号化、算術符号化、可変長符号化などの多様な符号化方法を使用しうる。

図６では、基礎階層に対する損失符号化部１２５と、向上階層に対する損失符号化部１３５を概念的に区分して説明したが、これに限らず、１つの損失符号化部で基礎階層及び向上階層を何れも処理することと構成して説明できるということは当業者には自明である。

図１１は、本発明の一実施形態によるビデオデコーダ２００の構成を示すブロック図である。ビデオデコーダ２００は、エントロピー復号化部２１０と、損失復号化部２２５、２３５と、モーションベクトル復元部２４０を含んで構成されうる。

エントロピー復号化部２１０は、エントロピー符号化方式の逆であって、入力されたビットストリームから基礎階層フレームのモーションベクトル、向上階層のモーションベクトル成分、前記基礎階層フレームのテクスチャデータ、及び前記向上階層フレームのテクスチャデータを抽出する。

モーションベクトル復元部２４０は、前記基礎階層のモーションベクトル及び向上階層のモーションベクトル成分を用いて向上階層でのモーションベクトルを復元する。その過程をさらに詳細に説明すれば、前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する段階と、そうでない場合には、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、前記生成された予測モーションベクトルと前記向上階層のモーションベクトル成分とを加算して向上階層でのモーションベクトルを復元する段階とよりなることができる。

このようなモーションベクトル復元過程は、前述したエンコーダ端でのモーションベクトル予測過程（図７参照）と同じ過程を経る。但し、図７でＳ４０、Ｓ５０、Ｓ７５、及びＳ８５の過程は、何れも予測モーションベクトルと現在フレームのモーションベクトルとを差分する段階であるが、その代りにデコーダ２００端ではそれと違って前記予測モーションベクトルと、現在フレーム（向上階層フレーム）のモーションベクトル成分とを加算する段階を含むという点で差があるだけで、予測モーションベクトルを生成する方法においては同様であるために、重複される説明は省略する。

損失復号化部２３５は、損失符号化部１３５の逆であって、前記復元された向上階層でのモーションベクトルを用いて前記向上階層フレームのテクスチャデータからビデオシーケンスを復元する。このような、損失復号化部２３５は逆量子化部２３１と、逆空間的変換部２３２と、逆時間的変換部２３３とを備えて構成されうる。

逆量子化部２３１は、前記抽出された向上階層のテクスチャデータを逆量子化する。このような逆量子化過程は、量子化過程で使われた量子化テーブルをそのまま用いて量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。前記量子化テーブルは、エンコーダ端から伝達されたものでもあり、あらかじめエンコーダとデコーダとの間に約束されたものでもあり得る。

逆空間的変換部２３２は、前記逆量子化された結果に対して逆空間的変換を行う。このような逆空間的変換は、エンコーダ端の空間的変換部１３３に対応する方式として実行され、具体的に逆ＤＣＴ変換、逆ウェーブレット変換などが使われうる。

逆時間的変換部２３３は、前記逆空間的変換された結果からビデオシーケンスを復元する。この場合、モーションベクトル復元部２４０で復元されたモーションベクトルを用いて予測フレームを生成し、前記逆空間的変換された結果と前記生成された予測フレームとを加算することによって、ビデオシーケンスを復元する。もちろん、エンコーダで時間的変換されていないイントラフレームは、ここでも逆時間的変換過程を経る必要はない。

ところが、エンコーダによっては、エンコーディング時に基礎階層を用いて向上階層のテクスチャの重畳を除去することもある。この場合、デコーダ２００は基礎階層フレームを復元し、復元された基礎階層フレーム及びエントロピー復号化部２１０から伝えられる向上階層のテクスチャデータを用いて向上階層のフレームを復元するので、基礎階層に対する損失復号化部２２５を必要とする。

この場合に、逆時間的変換部２３２は、前記復元された向上階層のモーションベクトルを用いて、向上階層のテクスチャデータ（逆空間的変換結果）及び前記復元された基礎階層フレームからビデオシーケンスを復元する。

図１１では、基礎階層に対する損失復号化部２２５と、向上階層に対する損失符号化部２３５を概念的に区分して説明したが、これに限らず、１つの損失符号化部で基礎階層及び向上階層をいずれも処理することと構成して説明できるということは当業者には自明である。

以上、各階層でモーションベクトルを求めることを前提に、求められたモーションベクトルをさらに効率的に圧縮して伝送する方法について説明した。しかし、これと違って、多階層のうち、１つの階層でモーションベクトルを求めた後、これを必要時にアップ／ダウンサンプリングして他の階層でのモーションベクトルとしてそのまま使用する実施形態も考えることができる。このような実施形態は、モーションベクトルは節減するが、向上階層でのモーションベクトルが多少不正確である短所もある。

この場合、ビデオエンコーディング過程は、入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、前記基礎階層フレームのモーションベクトルを用いて前記第１フレーム率と異なる第２フレーム率を有する向上階層フレームのモーションベクトルを求める段階と、前記基礎階層フレームのモーションベクトルを用いて前記基礎階層フレームのテクスチャデータを損失符号化する段階と、前記第１向上階層フレームのモーションベクトルを用いて前記第１向上階層フレームのテクスチャデータを損失符号化する段階と、前記基礎階層フレームのモーションベクトル、前記損失符号化された結果を無損失符号化する段階とを含んで構成されうる。

ここで、前記向上階層フレームのモーションベクトルを求める段階は、前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームのモーションベクトルに基づいて前記向上階層フレームのモーションベクトルを生成する第１段階と、そうでない場合には、前記時間的位置の直前または直後に存在する基礎階層フレームらのうち、少なくとも１つのフレームに対するモーションベクトルに基づいて前記向上階層フレームのモーションベクトルを生成する第２段階よりなりうる。

前記第１段階は、前記向上階層フレームのモーションベクトルと空間的関連性を有する前記基礎階層フレームのモーションベクトルとを所定のフィルターを用いてフィルタリングする段階と、前記基礎階層フレームの解像度が前記向上階層の解像度と同一でない場合に、前記フィルタリングされた結果として生成されるモーションベクトルを前記向上階層のモーションベクトルの大きさになるようにアップサンプリングする段階と、を含む。その結果、生成されるモーションベクトルは、予測モーションベクトルでなく、直ちに向上階層のモーションベクトルとして使われる。

前記第２段階は、前記直前または直後に存在する基礎階層フレームのモーションベクトルに基づいて前記基礎階層フレームの仮想モーションベクトルを補間する段階と、前記基礎階層フレームの解像度が前記向上階層の解像度と同一でない場合に、前記補間された仮想モーションベクトルを前記向上階層のモーションベクトルの大きさになるようにアップサンプリングする段階を含む。その結果、生成されるモーションベクトルも予測モーションベクトルでなく、直ちに向上階層のモーションベクトルとして使われる。

前記フィルタリング、アップサンプリング、または補間などの過程が、前述した過程と同じであるために、重複される説明は省略する。

前述したように、多階層のうち１つの階層でモーションベクトルを求めた後、これを必要時にアップ／ダウンサンプリングして他の階層でのモーションベクトルとしてそのまま使用する実施形態によるビデオデコーディング方法は、次のような段階より構成される。前記ビデオデコーディング方法は、入力されたビットストリームから基礎階層フレームのモーションベクトル及び向上階層フレームのテクスチャデータを抽出する段階と、前記抽出された基礎階層フレームのモーションベクトルを用いて前記向上階層でのモーションベクトルを復元する段階と、前記復元された向上階層のモーションベクトルを用いて前記基礎階層フレームのテクスチャデータ及び前記第１向上階層フレームのテクスチャデータからビデオシーケンスを復元する段階と、を含む。

前記向上階層でのモーションベクトルを復元する段階は、前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームを参照して前記向上階層でのモーションベクトルを復元する段階と、そうでない場合には、前記時間的位置の直前または直後に存在する基礎階層フレームのうち、少なくとも１つのフレームを参照して前記向上階層でのモーションベクトルを復元する段階とを含む。

このように、基礎階層のモーションベクトルだけを用いて向上階層フレームのモーションベクトルを復元する過程は、前記ビデオエンコーディング過程で基礎階層のモーションベクトルを用いて向上階層フレームのモーションベクトルを生成する過程と同一である。

前述したあらゆる実施形態は、１つの基礎階層と１つの向上階層とを有する場合を例として説明したものである。しかし、当業者ならば以上の説明から、さらに多くの向上階層が追加される例も十分に実施できるであろう。もし、多階層が基礎階層と、第１向上階層、及び第２向上階層よりなるならば、基礎階層と第１向上階層との間に使われたアルゴリズムは、第１向上階層と第２向上階層との間にも同様に適用されうる。

前述した図６と図９において、‘モジュール’は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味し、モジュールは所定の役割を行う。しかし、モジュールはソフトウェアまたはハードウェアに限定されるものではない。モジュールは、アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。したがって、一例としてモジュールは、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素とモジュールから提供される機能は、より少数の構成要素及びモジュールで結合されるか、追加的な構成要素とモジュールにさらに分離されうる。のみならず、構成要素及びモジュールは通信システム内の１つまたはそれ以上のコンピュータを再生させるように具現されることもある。

以上、添付図を参照して本発明の実施例を説明したが、 本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法及び装置に関連した技術分野に好適に適用されうる。

一般的なスケーラブルビデオコーディングシステムの全体構成を示す図である。 多階層基盤のビデオコーディング構造を説明する図である。 従来のモーション予測を通じてモーションベクトルを効率よく表現する方法を説明する図である。 本発明によるモーション予測を通じてモーションベクトルを効率よく表現する方法を説明する図である。 本発明の基本概念を説明する概略図である。 本発明の一実施形態によるビデオのコーダ１００の構成ブロック図である。 モーションベクトル予測部１４０で実行される動作をさらに詳細に示すフローチャートである。 直前フレーム及び直後フレームのモーションフィールドの例を示す図である。 フィルタリング過程を説明するための図である。 基礎階層の解像度と向上階層の解像度とが異なる場合にフィルタリングされたモーションベクトルを求める方法を説明する図である。 本発明の一実施形態によるビデオデコーダ２００の構成ブロック図である。

符号の説明

１００ ビデオエンコーダ
１１０ ダウンサンプラ
１２１、１３１ モーション推定部
１２５、１３５ 損失符号化部
１４０ モーションベクトル予測部
１５０ エントロピー符号化部
２００ ビデオデコーダ
２１０ エントロピー復号化部
２２５、２３５ 損失復号化部
２４０ モーションベクトル復元部

Claims (21)

1. （ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、
   （ｂ）前記入力フレームから前記第１フレーム率より大きな第２フレーム率を有する第１向上階層フレームのモーションベクトルを求める段階と、
   （ｃ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在しなければ、前記時間的位置の直前または直後に存在する基礎階層フレームのうち、少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、
   （ｄ）前記第１向上階層フレームのモーションベクトルと前記生成された予測モーションベクトルとの差分、及び前記求めた基礎階層のモーションベクトルを符号化する段階とを含む多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
2. 前記（ｃ）段階は、
   （ｃ１）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在すれば、前記基礎階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する段階を含む請求項１に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
3. （ｅ）前記入力フレームから前記第２フレーム率より大きな第３フレーム率を有する第２向上階層フレームのモーションベクトルを求める段階と、
   （ｆ）前記第２向上階層フレームに対する予測モーションベクトルを生成する段階であって、
   前記第２向上階層フレームと同じ時間的位置に第１向上階層フレームが存在する場合には、前記同じ時間的位置の第１向上階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する（ｆ１）段階と、
   そうでない場合には、前記時間的位置の直前または直後に存在する第１向上階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて前記第２向上階層フレームに対する予測モーションベクトルを生成する（ｆ２）段階とを含む前記（ｆ）段階と、
   （ｇ）前記第２向上階層フレームのモーションベクトルと前記生成された第２向上階層フレームに対する予測モーションベクトルとの差分を符号化する段階と、をさらに含む請求項２に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
4. 前記（ｃ１）段階は、
   （ｃ１１）前記第１向上階層フレームのモーションベクトルと空間的関連性を有する前記基礎階層フレームのモーションベクトルとを所定のフィルターを用いてフィルタリングする段階と、
   （ｃ１２）前記基礎階層フレームの解像度が前記第１向上階層の解像度と同一でない場合には、前記フィルタリングされた結果として生成されるモーションベクトルを前記第１向上階層のモーションベクトルの大きさになるようにアップサンプリングする段階と、を含む請求項２に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
5. 前記フィルタリングは、前記空間的関連性の程度に比例して反映比率を異ならせて適用してなる請求項４に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
6. 前記（ｃ）段階は、
   （ｃ２１）前記直前または直後に存在する基礎階層フレームのモーションベクトルに基づいて前記基礎階層フレームの仮想モーションベクトルを補間する段階と、
   （ｃ２２）前記基礎階層フレームの解像度が前記第１向上階層の解像度と同一でない場合には、前記補間された仮想モーションベクトルを前記第１向上階層のモーションベクトルの大きさになるようにアップサンプリングして前記予測モーションベクトルを生成する段階と、を含む請求項１に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
7. 前記（ｃ２１）段階は、前記直前または直後に存在する基礎階層フレームのうちからモーションベクトルの均一性が相対的に大きい基礎階層フレームの参照比率を高めて前記基礎階層フレームの仮想モーションベクトルを補間する段階を含む請求項６に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
8. 前記（ｃ２１）段階は、
   （ｃ２１１）前記直前に存在する基礎階層フレームのモーションベクトルのうち、前記第１向上階層フレームのモーションベクトルと空間的関連性を有するモーションベクトルとを所定のフィルターを用いてフィルタリングする段階と、
   （ｃ２１２）前記直後に存在する基礎階層フレームのモーションベクトルのうち、前記第１向上階層フレームのモーションベクトルと空間的関連性を有するモーションベクトルを前記フィルターを用いてフィルタリングする段階と、
   （ｃ２１３）前記（ｃ２１１）段階でフィルタリングされた結果、及び前記（ｃ２１２）段階でフィルタリングされた結果に対して所定の補間アルゴリズムを適用して仮想モーションベクトルを補間する段階と、を含む請求項６に記載の多階層基盤のビデオコーダでモーションベクトルを効率よく圧縮する方法。
9. （ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、
   （ｂ）前記入力フレームから前記第１フレーム率より大きい第２フレーム率を有する第１向上階層フレームのモーションベクトルを求める段階と、
   （ｃ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在しなければ、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、
   （ｄ）前記基礎階層フレームのモーションベクトルを用いて前記基礎階層フレームのテクスチャデータを損失符号化する段階と、
   （ｅ）前記第１向上階層フレームのモーションベクトルを用いて前記第１向上階層フレームのテクスチャデータを損失符号化する段階と、
   （ｆ）前記第１向上階層フレームのモーションベクトルと前記生成された予測モーションベクトルとの差分、前記基礎階層のモーションベクトル、前記（ｄ）段階で損失符号化された結果、及び前記（ｅ）段階で損失符号化された結果を無損失符号化する段階とを含む多階層基盤のビデオエンコーディング方法。
10. 前記（ｃ）段階は、（ｃ１）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在すれば、前記基礎階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する段階を含む請求項６に記載の多階層基盤のビデオエンコーディング方法。
11. （ａ）入力フレームから第１フレーム率を有する基礎階層フレームのモーションベクトルを求める段階と、
    （ｂ）前記第１向上階層フレームと同じ時間的位置に基礎階層フレームが存在しなければ、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームに対するモーションベクトルに基づいて前記第１向上階層フレームのモーションベクトルを生成する段階と、
    （ｃ）前記基礎階層フレームのモーションベクトルを用いて前記基礎階層フレームのテクスチャデータを損失符号化する段階と、
    （ｄ）前記第１向上階層フレームのモーションベクトルを用いて前記第１向上階層フレームのテクスチャデータを損失符号化する段階と、
    （ｅ）前記基礎階層フレームのモーションベクトル、前記（ｃ）段階で損失符号化された結果、及び前記（ｄ）段階で損失符号化された結果を無損失符号化する段階とを含む多階層基盤のビデオエンコーディング方法。
12. （ａ）入力されたビットストリームから基礎階層のデータと向上階層のデータとを抽出する段階と、
    （ｂ）前記向上階層のあるフレームと同じ時間的位置に基礎階層のフレームが存在していない場合には、前記時間的位置の直前または直後に存在する基礎階層のフレームのうち、少なくとも１つのフレームに対するモーションベクトルに基づいて予測モーションベクトルを生成する段階と、
    （ｃ）前記生成された予測モーションベクトルを用いて前記向上階層のモーションベクトルを復元する段階と、
    （ｄ）前記復元された向上階層のモーションベクトルを用いて前記向上階層のテクスチャデータからビデオシーケンスを復元する段階とを含む多階層基盤のビデオデコーディング方法。
13. 前記（ｂ）段階は、
    （ｂ１）前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームのモーションベクトルに基づいて予測モーションベクトルを生成する段階を含む請求項１２に記載の多階層基盤のビデオデコーディング方法。
14. 前記（ｂ１）段階は、
    （ｂ１１）前記向上階層フレームのモーションベクトルと空間的関連性を有する前記基礎階層フレームのモーションベクトルとを所定のフィルターを用いてフィルタリングする段階と、
    （ｂ１２）前記基礎階層フレームの解像度が前記向上階層の解像度と同一でない場合には、前記フィルタリングされた結果として生成されるモーションベクトルを前記向上階層のモーションベクトルの大きさになるようにアップサンプリングして前記予測モーションベクトルを生成する段階とを含む請求項１３に記載の多階層基盤のビデオデコーディング方法。
15. 前記フィルタリングは、前記空間的関連性の程度に比例して反映比率を異ならせて適用してなる、請求項１２に記載の多階層基盤のビデオデコーディング方法。
16. 前記（ｂ）段階は、
    （ｂ２１）前記直前または直後に存在する基礎階層フレームのモーションベクトルに基づいて前記基礎階層フレームの仮想モーションベクトルを補間する段階と、
    （ｂ２２）前記基礎階層フレームの解像度が前記向上階層の解像度と同一でない場合には、前記補間された仮想モーションベクトルを前記向上階層のモーションベクトルの大きさになるようにアップサンプリングして前記予測モーションベクトルを生成する段階とを含む請求項１２に記載の多階層基盤のビデオデコーディング方法。
17. 前記（ｂ２１）段階は、
    前記直前または直後に存在する基礎階層フレームのうち、モーションベクトルの均一性が相対的に大きい基礎階層フレームの参照比率を高めて前記基礎階層フレームの仮想モーションベクトルを補間する段階を含む請求項１６に記載の多階層基盤のビデオデコーディング方法。
18. 前記（ｂ２１）段階は、
    （ｂ２１１）前記直前に存在する基礎階層フレームのモーションベクトルのうち、前記向上階層フレームのモーションベクトルと空間的関連性を有するモーションベクトルとを所定のフィルターを用いてフィルタリングする段階と、
    （ｂ２１２）前記直後に存在する基礎階層フレームのモーションベクトルのうち、前記向上階層フレームのモーションベクトルと空間的関連性を有するモーションベクトルとを前記フィルターを用いてフィルタリングする段階と、
    （ｂ２１３）前記（ｂ２１１）段階でフィルタリングされた結果及び前記（ｂ２１２）段階でフィルタリングされた結果に対して所定の補間アルゴリズムを適用して仮想モーションベクトルを補間する段階と、を含む請求項１６に記載の多階層基盤のビデオデコーディング方法。
19. （ａ）入力されたビットストリームから基礎階層のデータと向上階層のデータとを抽出する段階と、
    （ｂ）前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在しない場合には、前記時間的位置の直前または直後に存在する基礎階層フレームのうちから少なくとも１つのフレームを参照して前記向上階層でのモーションベクトルを復元する段階と、
    （ｃ）前記復元された向上階層のモーションベクトルを用いて前記向上階層のテクスチャデータからビデオシーケンスを復元する段階とを含む多階層基盤のビデオデコーディング方法。
20. 前記（ｂ）段階は、前記向上階層フレームと同じ時間的位置に基礎階層フレームが存在する場合には、前記基礎階層フレームを参照して前記向上階層でのモーションベクトルを復元する段階を含む請求項１９に記載の多階層基盤のビデオデコーディング方法。
21. 請求項１による方法を実行するためのコンピュータ可読プログラムを記録した記録媒体。

Images