JP2011501542A - フレーム間予測符号化の方法および装置 - Google Patents

Abstract

符号化端末が、符号化モードを決定し、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とを比較することによって符号化を行い、復号端末が、符号化端末から符号ストリームを受け取り、復号モードを決定し、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とを比較することによって復号を行うことを含むフレーム間予測符号化／復号方法が開示される。フレーム間予測符号化装置および復号装置が開示される。本発明の各実施形態の方法および装置を適用することにより、好ましくは、フレーム間予測時に符号率を抑えることができる。

Description

本発明は、映像符号化技術に関し、より詳細には、フレーム間予測符号化の方法および装置に関する。

ハイブリッド符号化技術に基づく映像符号化においては、フレーム間予測技術が広く適用される。フレーム間予測は、データの時間冗長性、すなわち、動画像シーケンスにおける隣接フレーム間の画素の相関を使用することによる、隣接フレームに基づく画像予測の技術である。統計的には、動画像の２つの後続フレームにおいて、輝度値が２％を上回って変化するのは画素のうちのわずか１０％未満にすぎず、彩度値の変化はさらに一層低い。

目下のところ、動き補償ベースのフレーム間予測技術の違いは、参照フレームの数、参照方向、画素精度およびブロックのサイズ区割りの違いによって反映されている。その技術的要点には以下が含まれる。

１．１６×１６マクロブロック、または１６×１６マクロブロックを、例えば、１６×８、８×１６、８×８、４×４などのサイズのより小さいブロックにさらに分割したものなどといった様々なサイズのブロックのマッチングを使用して、動きマッチング探索を行うこと。
２．動きベクトル精度および画素補間。動き推定は、整数画素動き推定および非整数画素動き推定を含み、非整数画素動き推定はさらに、半画素動き推定および１／４画素動き推定を含む。
３．前方向参照フレームおよび逆方向参照フレーム、または単一参照フレームおよび複数参照フレームを含む参照フレーム。
４．符号化動きベクトルを使用して現在の動きベクトルが予測され、続いて、現在のベクトルと予測ベクトルとの差が伝えられる動きベクトル（ＭＶ）予測。

このフレーム間予測技術に基づく、Ｈ．２６４、ディジタルオーディオ／ビデオ符号化技術規格作業部会（ＡＶＳ）、Ｈ．２６４スケーラブル映像符号化（ＳＶＣ）、Ｈ．２６４多視点映像符号化（ＭＶＣ）といった、現在利用可能な映像符号化規格および策定中の符号化規格は、動き補償ベースのフレーム間予測技術を提供する。この技術が符号化効率を大幅に改善することができる。

動き補償を用いたフレーム間予測では、動き推定技術が符号器において動き推定のための動きベクトル情報を獲得するのに用いられ、動きベクトル情報は、復号器に送るためのビットストリームに書き込まれる。符号器から送られるビットストリームはさらに、マクロブロックの種類および残差情報を含む。復号器は、ビットストリームから復号された動きベクトル情報を使用して、画像を復号するための動き補償を行う。動きベクトル情報は、フレーム間予測技術を使用することにより符号化される画像ビットストリームにおいては、ビットストリームの大きな部分を占める。

図１は、従来技術の動き補償ベースのフレーム間予測技術の実装を示す概略図である。図１に示すように、入力フレームは、変換計算、量子化、逆量子化、逆変換といったプロセスを経た後で、フレームメモリに記憶される。その後システムは、動きベクトルを獲得するために、フレームメモリに記憶された前のフレームに従って現在入力されているフレームの動き推定を行い、その場合、動き推定プロセスは、従来技術の任意の動き推定アルゴリズムを使用して行うことができる。動き推定の結果に従って動き補償が行われる。動き補償の後の結果は、変換計算、量子化、符号化といったプロセスを施され、復号器に出力される。

従来技術においては多くの動き補償ベースのフレーム間予測技術が定義されている。例えば、従来技術のＨ．２６４／ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ、高度映像符号化）のフレーム間予測では、復号器は、ビットストリームから復号された動きベクトル情報に従って参照フレーム内の対応する位置の予測信号を生成し、復号後に、獲得された予測信号と、ビットストリームで搬送された残差情報、すなわち変換係数情報とに従って対応する位置における画素の輝度値を獲得する。現在のブロックの動きベクトル情報が符号器において符号化される間に、現在のブロックの動きベクトル情報を送るのに必要なビットストリームを低減するために、現在のブロックに隣接するブロックの動きベクトルを使用して現在のブロックの動きベクトル予測が行われる。

図２は、従来技術の動きベクトル予測モードを示す概略図である。図２において、現在のブロックの動きベクトル予測（ＭＶＰ）値は、現在のブロックに隣接する各ブロックＡ、Ｂ、ＣおよびＤの動きベクトルから推論することができる。この状況における現在のブロックは、マクロブロック、ブロックまたは区割りとすることができる。現在のブロックの区割りに従って、ＭＶＰの予測を中間値予測と非中間値予測とに分類することができる。現在のブロックが図３に示すように分割されるときには、非中間値予測を用いることができる。具体的には、８×１６ブロックに分割される場合、左側ブロックが現在のブロックであるとき、これのＭＶＰはＭＶＡ（隣接するブロックＡの動きベクトル）に等しく、右側ブロックが現在のブロックであるとき、これのＭＶＰはＭＶＣに等しい。１６×８ブロックに分割される場合、上側ブロックのＭＶＰはＭＶＢに等しく、下側ブロックのＭＶＰはＭＶＡに等しい。中間値予測は、残りの状況、すなわち、現在のブロックのＭＶＰが、ＭＶＡ、ＭＶＢおよびＭＶＣの中間値に等しい状況において用いることができる。

現在のブロックのＭＶＰが獲得された後で、動きベクトル差分（ＭＶＤ）、すなわち、ＭＶＤ＝ＭＶ−ＭＶＰをさらに計算することができ、式中、ＭＶは、任意の従来技術の動き推定アルゴリズムを使用して推定される現在のブロックの動きベクトルである。次いで、ＭＶＤがエントロピ符号化され、ビットストリームに書き込まれ、復号器に送られる。

前述のプロセスは、動き補償ベースのフレーム間予測を達成することができるが、このプロセスは、動きベクトル情報が、後に続く復号器への送信のためのビットストリームに明示的に書き込まれていることを必要とし、これは追加される符号率（追加される符号化するデータの量）を増大させる。

従来技術の動き補償ベースのフレーム間予測技術では、符号化効率を高めるために、動きベクトル予測を使用することに加えてＳｋｉｐ（スキップ）モードも設けられる。このモードが対応するビットストリームは、これと一緒にマクロブロックの種類としてのマクロブロックモード情報を搬送するにすぎず、動きベクトル情報も残差情報も搬送しない。この場合、復号器は、受け取られたビットストリームから復号されたマクロブロックモード情報に従って現在のフレーム内のマクロブロックに隣接するブロックの動きベクトルを獲得し、隣接するブロック動きベクトル情報に従って現在のブロックの動きベクトルを推論することができる。現在のブロックの動きベクトル情報に従って参照フレームにおける現在のブロックの対応する位置を決定した後で、現在のブロックの復元値を、参照フレームの対応する位置における予測値で置き換えることができる。

また、従来技術においては、テンプレートマッチング技術に基づくフレーム間予測モードも提案されている。テンプレートマッチング技術は、Ｎ×Ｎ画素の目標領域、すなわち現在のブロックの予測信号を推論するためのものである。目標領域はまだ復元されていないため、目標領域に隣接する復元済み領域においてテンプレートを定義することが可能である。図４は、テンプレートを定義する従来技術のやり方を示す概略図である。一般には、目標領域の上側領域と左側領域から、Ｌ字形の領域がテンプレートとして選択される。テンプレートサイズＭは、このテンプレートでカバーされる目標領域の左境界の左側から始まる水平方向の画素数として定義され、また当然ながら、このテンプレートでカバーされる目標領域の上境界の上側から始まる垂直方向の画素数としても定義することができる。図４からわかるように、このテンプレートでカバーされる領域の画素数は２×Ｎ×Ｍ＋Ｍ×Ｍである。

実際の適用に際しては、Ｌ字型に加えて他の形状のテンプレートも使用することができる。また、後続の費用（cost）関数の計算における精度を高めるために、テンプレート内の異なる領域に異なる重みを設定することも可能である。

テンプレートマッチングを実行するプロセスは、従来の動き推定におけるマッチングモードと同様、すなわち、参照フレームの異なる領域における探索の間に異なる位置に対応するテンプレートの費用関数を計算することである。この状況での費用関数は、テンプレート領域内の画素と参照フレームにおけるマッチング探索時の各領域内の対応する画素との絶対値和とすることができる。また、当然ながらこの費用関数は、動きベクトル場への一様な制限（flat restriction）を含む分散またはその他の費用関数とすることもできる。テンプレートマッチングの探索プロセスは、実際の必要に応じて、異なる探索範囲において、または異なる探索モードを用いて行うこともできる。例えば、整数画素と半画素とを組み合わせる探索モードを用いて、テンプレート・マッチング・プロセスの計算量を低減させることができる。

テンプレート・マッチング・フレーム間予測モードにおいて、符号器から復号器に送られるビットストリームは、現在のブロックのマクロブロックの種類情報を含み、さらに残差情報を含むこともできる。ビットストリームを受け取ると、復号器は、そのテンプレート・マッチング・モードの現在のブロックに対応する動きベクトルを探し出し、次いで、参照フレームにおける現在のブロックの対応する位置を探し出し、対応する位置における画素値、または対応する位置における画素値に残差情報を加えたものを、復号後の現在のブロックの画素値とみなす。

テンプレート・マッチング・モードを用いて符号化が行われるときには、現在のブロックが現在利用可能な動き補償モードで符号化されるか、それともテンプレート・マッチング・モードで符号化されるか識別するためにマクロブロックの種類を加えることが必要とされる。しかしこの場合には、テンプレート・マッチング・モードの識別情報を送るために個々のマクロブロックの種類を取り入れることが必要とされるため、追加される符号率が増大する。

本発明の実施に際して、発明者らは、従来技術の符号化プロセスにおいて追加のビットストリーム情報を加える必要があり、符号率は様々な度合いで増大することを見出した。

本発明の一実施形態は、フレーム間予測のプロセスにおいて符号率を抑える（符号化するデータの量を減少させる）ことのできるフレーム間予測符号化方法を提供する。

本発明の一実施形態は、フレーム間予測のプロセスにおいて符号率を減少させることのできるフレーム間予測復号方法を提供する。

本発明の一実施形態は、フレーム間予測のプロセスにおいて符号率を抑えることのできるフレーム間予測符号化装置を提供する。

本発明の一実施形態は、フレーム間予測のプロセスにおいて符号率を抑えることのできるフレーム間予測復号装置を提供する。

本発明の各実施形態の技術的解決策は、以下のように実現される。

本発明の一実施形態はフレーム間予測符号化方法を提供する。この方法は、現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得し、テンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って符号化モードを決定して符号化を行う、ことを含む。

本発明の一実施形態はフレーム間予測復号方法を提供する。この方法は、符号器からビットストリームを受け取り、現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得し、テンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って復号モードを決定して復号を行う、ことを含む。

本発明の一実施形態はフレーム間予測符号化装置を提供する。この装置は、現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得するように構成された獲得ユニットと、テンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って符号化モードを決定し、符号化を行うように構成された決定ユニットと、を含む。

本発明の一実施形態はフレーム間予測復号装置を提供する。この装置は、符号器からビットストリームを受け取り、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って復号モードを決定するように構成された決定ユニットと、決定された復号モードに従って復号を行うように構成された復号ユニットと、を含む。

本発明の一実施形態はフレーム間予測復号方法を提供する。この方法は、符号器からビットストリームを受け取り、現在のブロックのテンプレートマッチング動きベクトルを予め設定するかまたは現在のブロックのテンプレートマッチング動きベクトルを獲得するためのテンプレート・マッチング・ブロック情報を決定し、現在のブロックのテンプレートマッチング動きベクトルを獲得し、ビットストリームで搬送される、テンプレートマッチング技術を使用すべきか否か指示するフラグに従ってテンプレート・マッチング・モードで復号を行う、ことを含む。

従来技術と比較すると、本発明の各実施形態は以下の利点を有する。

本発明の各実施形態で挙げられる技術的解決策は、獲得された現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値に従って、実際の状況に最も適する最適化された符号化／復号モードを柔軟に選択して、符号率を抑えるという目的を最大限に達成する。

従来技術の動き補償ベースのフレーム間予測技術の実装を示す概略図である。 従来技術の動きベクトル予測モードを示す概略図である。 従来技術の現在のブロックの区割りを示す概略図である。 従来技術のテンプレートを定義するやり方を示す概略図である。 本発明の方法実施形態を示す流れ図である。 本発明の方法実施形態における符号器での符号化を示す流れ図である。 本発明の方法実施形態における復号器での復号を示す流れ図である。 本発明による符号化装置実施形態の構造を示す概略図である。 本発明による復号装置実施形態の構造を示す概略図である。 本発明の実施形態の技術的解決策と従来技術の間の符号化性能比較を示す概略図である。

本発明の目的、技術的解決策および利点をより明らかにするために、添付の図面および実施形態を参照して、以下で本発明をさらに詳細に説明する。

本発明の各実施形態において、ビットストリームに含まれる文法要素情報は以下のように決定される。テンプレート・マッチング・モードで動きベクトル情報を生成するという特徴により、テンプレートマッチングで生成される動きベクトルおよび従来技術の動きベクトル予測値が、コンテキスト情報とみなされる。動きベクトルおよび動きベクトル予測値は、現在のブロックが符号化されるときに比較される。このようにして、文法要素情報が決定される。本発明の各実施形態は、従来技術のＳｋｉｐ技術におけるＰ−Ｓｋｉｐ技術に基づいて実施することができる。

本発明の各実施形態で挙げられる技術的解決策は、従来技術のＰ−Ｓｋｉｐ技術を、条件符号化フラグに基づくテンプレートマッチング予測方法を提供するように拡張する。本発明の各実施形態においては、マクロブロックが、動きベクトルの符号化に関する特殊な情報なしで動き特性を適応的に変更し、ごくわずかな追加符号化しか必要とされない。

図５は、本発明の方法実施形態を示す流れ図である。図５に示すように、この方法は以下の各ステップを含む。

ステップ５１：符号器は、獲得された現在のブロックのテンプレートマッチング動きベクトル（ＴＭ＿ＭＶ）と動きベクトル予測値とを比較し、比較結果に従って現在のブロックを符号化するための符号化モードを決定し、決定された符号化モードを使用して符号化を行う。

このステップにおいて、符号器が符号化モードを決定し、符号化を行うやり方は、以下のとおりとし得る。符号器は、現在のブロックを符号化するためのビットストリーム要素を決定し、決定されたビットストリーム要素に従って符号化を行い、ビットストリームを復号器に送る。この実施形態におけるビットストリーム要素は、マクロブロックの種類および／またはテンプレートマッチングを使用すべきか否か指示するフラグである。符号器が現在のブロックを符号化するためのビットストリーム要素を決定するやり方は、以下のとおりとし得る。符号器は、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か判定する。これら２つが相互に一致する場合には、マクロブロックの種類情報だけがビットストリームに符号化される。これら２つが一致しない場合には、復号器に、受け取られたビットストリームを、テンプレート・マッチング・モードまたは動き補償モードで復号するよう指図するために、マクロブロックの種類とテンプレートマッチングを使用すべきか否か指示するフラグとがビットストリームに符号化される。

この方法はさらに、符号器が、マクロブロックの種類とテンプレートマッチングを使用すべきか否か指示するフラグとをビットストリームに符号化する前に、復号器に、ビットストリームを、テンプレート・マッチング・モードで復号するよう指図するか、それとも動き補償モードで復号するよう指図するか判定することを含む。例えば符号器は、レート歪み最適化（ＲＤＯ）アルゴリズムを用いて、テンプレートマッチング動きベクトルを使用した場合と動きベクトル予測値を使用した場合との符号化のレート歪み性能を比較し、復号器に、より優れたレート歪み性能を有するモードで復号を行うよう指図する。

ステップ５２：復号器は、符号器からビットストリームを受け取り、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って復号モードを決定し、復号を行う。

このステップにおいて、復号器は、受け取られたビットストリームで搬送されたマクロブロックの種類情報に従って、現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであるか否か判定する。フレーム間予測モードがＰ＿Ｓｋｉｐモードである場合、復号器は、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か比較する。これら２つが相互に一致する場合には、ビットストリームは動き補償モードで復号される。これら２つが相互に一致しない場合には、復号は、ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従って、テンプレート・マッチング・モードまたは動き補償モードで行われる。現在のマクロブロックの境界情報をパースするとき、復号器は、現在の部分の参照フレームにおけるマッチングブロック情報を探し出すことによって現在のマクロブロックのテンプレートマッチング動きベクトルを獲得し、その場合マッチングブロック情報は、テンプレートの画素を復号し復元することによって探し出される。パースプロセスと復号プロセスは組み合わさって実施される。

別の実施形態におけるステップ５２：復号器は、符号器からビットストリームを受け取り、現在のブロックのテンプレートマッチング動きベクトルを予め設定するか、または現在のブロックのテンプレートマッチング動きベクトルを獲得するためのテンプレート・マッチング・ブロック情報を決定し、現在のブロックのテンプレートマッチング動きベクトルを獲得し、ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従ってテンプレート・マッチング・モードで復号を行う。

このステップにおいて、復号器は、受け取られたビットストリームで搬送されたマクロブロックの種類情報に従って、現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであるか否か判定する。現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであり、マクロブロック内の現在のブロックのテンプレートマッチング動きベクトルを獲得することができる場合、復号器は、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か判定する。これら２つが相互に一致する場合には、ビットストリームは動き補償モードで復号される。これら２つが相互に一致しない場合には、復号は、ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従って、テンプレート・マッチング・モードまたは動き補償モードで行われる。マクロブロック内の現在のブロックのテンプレートマッチング動きベクトルを獲得できない場合には、復号は、ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従って、テンプレート・マッチング・モードまたは動き補償モードで行われる。パースプロセスと復号プロセスは別々に実施される。

本発明の技術的解決策を、符号器および復号器について、それぞれ、具体的実施形態により以下でさらに詳細に説明する。

図６は、本発明の方法実施形態における符号器での符号化を示す流れ図である。図６に示すように、この方法は以下の各ステップを含む。

ステップ６１：符号器は、現在のブロックのテンプレートマッチング動きベクトルをテンプレート・マッチング・モードで計算する。

このステップにおいて、符号器は、現在のブロックを符号化する必要があるときには、まず、現在のブロックのテンプレートマッチング動きベクトルをテンプレート・マッチング・モードで計算する。具体的な計算のやり方は、従来技術のやり方と同じである。すなわち、参照フレームにおいて、最適なマッチング位置を探すために、Ｌ字型テンプレート領域といった予め選択されたテンプレート領域についてのマッチング探索が行われ、この位置に従って、現在のブロックの動きベクトル、すなわち現在のフレームと参照フレームとにおける現在のブロックの位置オフセットが計算される。

ステップ６２：符号器は、現在のブロックの動きベクトル予測値を予測する。

具体的な予測のやり方について図２および図３を参照すると、符号器は、現在のブロックの動きベクトル予測値を、現在のブロックに隣接するブロックＡ、Ｂ、ＣおよびＤの動きベクトルに従って予測する。現在のブロックの区割りに従って、ＭＶＰの予測を、中間値予測と非中間値予測とに分類することができる。現在のブロックが図３に示すように分割されるときには、非中間値予測を用いることができる。中間値予測は、別の状況、すなわち、現在のブロックのＭＶＰがＭＶＡ、ＭＶＢおよびＭＶＣの中間値に等しい状況において用いることができる。

ステップ６３：符号器は、テンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か判定する。これら２つが相互に一致する場合には、ステップ６４が行われる。これら２つが相互に一致しない場合には、プロセスはステップ６５に進む。

ステップ６４：符号器は、現在のブロックのための符号化を行い、符号化ビットストリームを復号器に送り、プロセスが終了する。

このステップでは、テンプレートマッチング技術の動きベクトルと動きベクトル予測値とが相互に一致するため、符号器は、符号化プロセスにおいてテンプレートマッチングを使用すべきか否か指示するフラグを符号化しない。よって、符号器から復号器に送られるビットストリームは、マクロブロックの種類情報だけを含む。

ステップ６５：符号器は、現在のブロックのための符号化を行い、テンプレートマッチングを使用すべきか否か指示するフラグを備えるビットストリームを復号器に送り、プロセスが終了する。

テンプレートマッチング技術の動きベクトルと動きベクトル予測値とが相互に一致しないため、符号器が符号化ビットストリームにテンプレートマッチングを使用すべきか否か指示するフラグを追加する必要がある。これに先立ち、符号器はまず、テンプレートマッチングを使用すべきか否か指示するフラグに従って、復号器に、テンプレート・マッチング・モードで復号を行うよう指示するべきか、それとも動き補償モードで復号を行うよう指示するべきか判定する必要がある。復号モードを判定するプロセスは、以下を含む。符号器は、テンプレートマッチング動きベクトルと動きベクトル予測値とを別々に符号化、復号し、２つの符号化と復号の過程のどちらがより優れた性能を有するかを、レート歪み最適化アルゴリズムにより、例えば、どちらの符号化の過程で生じる復元画像と原画像との間のずれが最小であるか比較するなどによって判定し、比較結果に従ってテンプレートマッチングを使用すべきか否か指示するフラグの具体的設定を決定する。

具体的な実装に際しては、テンプレートマッチングを使用すべきか否か指示するフラグビットとして、ビットストリーム内で１ビットを設定することが可能である。テンプレートマッチング動きベクトルに従って符号化するやり方の方がより優れた性能を有する場合には、テンプレートマッチングを使用すべきか否かを指示するフラグビットが１に設定される。動きベクトル予測値に従って符号化するやり方の方がより優れた性能を有する場合には、テンプレートマッチングを使用すべきか否か指示するフラグが０に設定される。

このステップでは、符号器から復号器に送られるビットストリームは、マクロブロックの種類とテンプレートマッチングを使用すべきか否か指示するフラグとを含む。

後続のプロセスにおいて、復号器は、受け取られたビットストリームに従って復号を行う。図７は、本発明の方法実施形態における復号器での復号を示す流れ図である。図７に示すように、この方法は以下の各ステップを含む。

ステップ７１：復号器は、受け取られた現在のブロックのビットストリームを復号し、そのビットストリームが対応するインター予測モードがＰ＿Ｓｋｉｐモードであるか否か判定する。そうである場合、ステップ７２が行われる。そうでない場合、プロセスはステップ７３に進む。

このステップにおいて、復号器は、ビットストリームで搬送されたマクロブロックの種類情報に従って、ビットストリームが対応するフレーム間予測モードがＰ＿Ｓｋｉｐモードであるか否か判定する。マクロブロックの種類情報は、意図的に定められたやり方で、ビットストリームが対応するフレーム間予測モードがＰ＿Ｓｋｉｐモードであることを指示する特定のフラグと共に提供することができる。

ステップ７２：復号器は、現在のブロックのテンプレートマッチング動きベクトルを計算し、動きベクトル予測値を推論し、プロセスはステップ７４に進む。

テンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得するやり方は、従来技術のやり方と同じであり、よって、ここでは説明しない。

テンプレートマッチング動きベクトルを計算するプロセスにおいては、探索プロセスを迅速化するために、獲得された動きベクトル予測値を、中心の周りの所定の領域内で探索を行うための中心とみなすことができる。

ステップ７３：復号器は、現在のブロックを、別の従来のモードで復号する。これは本発明とは無関係であるため、ここでは具体的な復号プロセスは説明しない。

ステップ７４：復号器は、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か判定する。これら２つが相互に一致する場合には、プロセスはステップ７５に進む。これら２つが相互に一致しない場合には、プロセスはステップ７６に進む。

ステップ７５：復号器は、動きベクトル予測値を直接使用して復号を行い、プロセスが終了する。

テンプレートマッチング動きベクトルと動きベクトル予測値が相互に一致する場合には、ビットストリームにテンプレートマッチングを使用すべきか否か指示するフラグが含まれず、そのため、復号器が現在のブロックの動きベクトル予測値を直接使用して復号を行うことが可能である。具体的な復号のやり方は従来技術のやり方と同じであり、よって、ここでは説明しない。

ステップ７６：復号器は、復号されたビットストリームで搬送されたテンプレートマッチングを使用すべきか否か指示するフラグによって指示されるモードで復号を行い、プロセスが終了する。

このステップにおいて、復号器は、復号されたビットストリームで搬送されたテンプレートマッチングを使用すべきか否か指示するフラグビットに従って動きベクトルを選択し、後続の復号を行い、プロセスが終了する。

例えば、テンプレートマッチングを使用すべきか否か指示するフラグビットが１に設定されている場合、復号器は、テンプレート・マッチング・モードで復号を行う。テンプレートマッチングを使用すべきか否か指示するフラグが０に設定されている場合、復号器は、動き補償モードで動きベクトル精度値を使用して復号を行う。復号するプロセスは従来技術に付随するものであり、よって、ここでは説明しない。

明らかなように、この実施形態では、符号器から送られるビットストリームは残差情報を含まないため、復号器による後続の復号プロセスにおいては、現在のブロックに対応する参照フレーム内の位置の画素値を、復号後の現在のブロックの画素値とみなしさえすればよい。

復号器の別の実施形態では、実施形態のステップ１は、前述のステップ７１と同じである。

このステップにおいて、復号器は、ビットストリームで搬送されたマクロブロックの種類情報に従って、ビットストリームが対応するフレーム間予測モードがＰ＿Ｓｋｉｐモードであるか否か判定する。マクロブロックの種類情報は、ビットストリームが対応するフレーム間予測モードがＰ＿Ｓｋｉｐモードであることを指示する意図的に定められたモードの特定のフラグと共に提供することができる。

ステップ２：復号器は、現在のブロックのテンプレートマッチング動きベクトルを計算し、動きベクトル予測値を推論する。マクロブロックの現在のブロックのテンプレートマッチング動きベクトルが利用できない場合、プロセスはステップ３に進む。テンプレートマッチング動きベクトルが利用できる場合、プロセスはステップ４に進む。

ステップ４〜６は、前述のステップ７４〜７６と同じである。

ステップ６で、復号器は、復号されたビットストリーム内のテンプレートマッチングを使用すべきか否か指示するフラグビットの指示に従って対応する動きベクトルを選択し、後続の復号を行い、プロセスが終了する。

例えば、テンプレートマッチングを使用すべきか否かを指示するフラグビットが１に設定されている場合、復号器は、テンプレート・マッチング・モードで復号を行う。この場合には、テンプレートマッチング動きベクトルが０に予め設定されるか、または最初に符号化のために必要とされるテンプレート情報が前の符号化テンプレート情報と等しいものとされて、現在のブロックのテンプレートマッチング動きベクトルを獲得するためのマッチングブロック情報を探し出すのに使用される。テンプレートマッチングを使用すべきか否か指示するフラグビットが０に設定されている場合、復号器は、動きベクトル精度値を使用して、動き補償モードで復号を行う。具体的な復号のやり方は従来技術に付随するものであり、よってここでは説明しない。

図６および図７に示すプロセスを行うには、現在のＰ＿Ｓｋｉｐモードの文法を変更する必要があり、変更されるＰ＿Ｓｋｉｐモードの文法は以下のとおりである。

関数ＵｓｅｒＴＭＶｅｃｔｏｒ（）は、テンプレートマッチング演算を行うのに使用される。現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが一致しない場合、この関数はｔｒｕｅを返し、そうでない場合には、ｆａｌｓｅを返す。

明らかなように、図６および図７に示す実施形態の説明は、単に、単一の色成分信号、すなわち輝度値を含むにすぎない。実際の適用に際しては、目標領域およびテンプレートの領域をすべての成分の同一位置の画素に拡張して適用することにより、本発明の実施形態の技術的解決策を多成分信号に適用することもできる。しかし、成分によって異なるサンプリングレートを使用する場合には、ある一定の制約条件が満たされる必要がある。例えば、Ｙが輝度成分を指示し、Ｃｂが青の彩度成分を指示し、Ｃｒが赤の彩度成分を指示する、４：２：０のＹ：Ｃｂ：Ｃｒの比率を有する色サブサンプルに関しては、テンプレート領域のサイズは、目標領域の２倍のサイズとする必要がある。さらに、本発明の実施形態の技術的解決策は、図６および図７に示す単視点映像符号化環境に適用できるのみならず、多視点映像符号化環境にも適用できる。

さらに、図６および図７に示す実施形態では、テンプレートマッチングによって生成される動きベクトルを、現在のブロックの動きベクトル予測値とみなすことができる。すなわち、テンプレートマッチング技術によって現在生成されている動きベクトルを、レート歪み最適化およびＭＶＤ計算および符号化のプロセスで機能するように、後続の現在のブロックの動きベクトル予測に使用し、それによって、現在のブロックに動きベクトル予測をより一層適用できるようにし、動きベクトル予測の精度を向上させることができる。

図６および図７に示す実施形態におけるテンプレートマッチング動きベクトルおよび動きベクトル予測値は、さらに、現在のブロックが符号化されるときのコンテキストモデルを選択するためのコンテキスト情報としても使用することができる。例えば、コンテキストベースの算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）に関しては、テンプレートマッチング動きベクトルと動きベクトル予測値との関係の比較を使用して、現在のブロック情報のＣＡＢＡＣ符号化を行うための確率モデルを決定することが可能である。具体的な符号化のプロセスは以下のとおりである。現在のブロックのテンプレートマッチング動きベクトルを計算し、動きベクトル予測値を獲得する。テンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、これら２つが相互に一致する場合には、現在のブロックを符号化するのに確率モデルＰ１が選択される。これら２つが相互に一致しない場合には、符号化を行うのに確率モデルＰ２が選択される。

具体的な復号のプロセスは以下のとおりである。現在のブロックのテンプレートマッチング動きベクトルを計算し、動きベクトル予測値を獲得する。テンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、これら２つが相互に一致する場合には、現在のブロックを復号するのに確率モデルＰ１が選択される。これら２つが相互に一致しない場合には、復号を行うのに確率モデルＰ２が選択される。

ＣＡＢＡＣ符号化は従来技術に属し、当業者がその実現プロセスを理解することは明らかなはずである。したがって、ここでは説明しない。

図８は、前述の方法に基づく、本発明による符号化装置実施形態の構造を示す概略図である。図８に示すように、この装置は、現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得するように構成された獲得ユニット８１と、テンプレートマッチング動きベクトル情報と動きベクトル予測値とが相互に一致するか否か比較し、比較結果に従って符号化モードを決定し、符号化を行うように構成された決定ユニット８２と、を含む。

決定ユニット８２は、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か判定し、比較結果を符号化サブユニット８２２に送るように構成された比較サブユニット８２１と、比較結果に従って符号化を行い、比較結果が、それら２つが相互に一致するというものである場合には、マクロブロックの種類情報だけをビットストリームに符号化し、比較結果が、それら２つが相互に一致しないというものである場合は、復号器に、ビットストリームを、テンプレート・マッチング・モードまたは動き補償モードで復号するよう指図するために、マクロブロックの種類とテンプレートマッチングを使用すべきか否か指示するフラグとをビットストリームに符号化するように構成された符号化サブユニット８２２と、を含む。符号化サブユニット８２２はさらに、テンプレートマッチング動きベクトルと動きベクトル予測値とを使用することによる異なる符号化性能を比較し、比較結果が、それら２つが相互に一致しないというものである場合に、復号器に、より優れた性能を有するモードで復号を行うよう指図するように構成されている。

決定ユニット８２はさらに、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値との比較結果に従って現在のブロックを符号化するためのモデルを選択し、符号化サブユニット８２２に通知するように構成された選択サブユニット８２３を含んでいてもよい。

図９は、本発明による復号装置実施形態の構造を示す概略図である。図９に示すように、この装置は、符号器からビットストリームを受け取り、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か比較し、比較結果に従って復号モードを決定するように構成された決定ユニット９１と、決定された復号モードに従って復号を行うように構成された復号ユニット９２と、を含む。

決定ユニット９１は、符号器からビットストリームを受け取り、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とが相互に一致するか否か比較し、これら２つが相互に一致する場合には、ビットストリームを動き補償モードで復号するよう復号ユニット９２に通知し、これら２つが相互に一致しない場合には、ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従って、テンプレート・マッチング・モードまたは動き補償モードで復号を行うよう復号ユニット９２に通知するように構成された比較サブユニット９１２を含んでいてもよい。

加えて、決定ユニット９１はさらに、比較サブユニット９１２に、受け取られたビットストリームで搬送されたマクロブロックの種類情報に従って、現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであると判定した後で、それ自体の機能を果たすよう通知するように構成されたモード判定サブユニット９１１と、現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値との比較結果に従ってビットストリームを復号するためのモデルを選択し、復号ユニット９２に通知するように構成された選択サブユニット９１３と、を含んでいてもよい。

図８および図９の実施形態の具体的動作プロセスについては、対応する方法の説明を参照されたい。よって、ここでは説明しない。

したがって、本発明による各実施形態の技術的解決策を用いれば、テンプレートマッチング動きベクトルと動きベクトル予測値とはコンテキスト情報とみなされ、現在のビットストリームに含まれる情報は、比較によって決定され、符号化される。本発明による各実施形態の技術的解決策はＰ＿Ｓｋｉｐモードに基づくものであるため、追加ビットストリームが増加せず、それによって、動きベクトルを転送するのに使用される転送コストを節約することが可能であり、動きベクトル予測のためのより多くの選択肢が提供される。同時に、エントロピ符号化といったコンテキスト判定情報を、現在の符号化のために符号器と復号器の両方が利用できる情報として提供することができ、それによって、この技術の適応性が向上し、符号化効率が改善される。

図１０は、本発明の実施形態の技術的解決策と従来技術との符号化性能についての比較を示す概略図である。図１０に示すように、シーケンス符号化の種類がＩＰＰＰである、すなわち、第１のフレームはイントラフレーム予測モードで符号化され、残りのフレームはフレーム間予測モードで符号化されるものと仮定すると、ＪＭ１２．３は、Ｈ．２６４／ＡＶＣプラットフォーム上で従来の動き補償モードを使用した場合の技術的効果であり、ＴＭ ＳｋｉｐはＨ．２６４／ＡＶＣプラットフォーム上で本発明の技術的解決策を使用した場合の技術的効果であり、ＴＭ １６×１６ ８×８は、従来のテンプレート・マッチング・モードを使用した場合の技術的効果であり、ＴＭ Ｓｋｉｐ １６×１６ ８×８は、従来のテンプレート・マッチング・モードを、本発明の技術的解決策と組み合わせて使用した場合の技術的効果である。図１０の水平座標は符号率を表し、垂直座標は信号対雑音比（ＰＳＮＲ）、すなわち、復元画像と原画像との差分を表す。図１０からわかるように、本発明による実施形態の技術的解決策では、符号率を抑える優れた効果を達成することができる。

前述の各実施形態の説明を読めば当業者には明らかように、本発明は、ハードウェアによっても、ソフトウェアと必要なハードウェアの一般的なプラットフォームによっても実施することができる。そのような理解に基づき、本発明の技術的解決策を、（ＣＤ−ＲＯＭ、Ｕディスク、可動式ハードディスクといった）不揮発性記憶媒体に記憶させることができ、（パーソナルコンピュータ、サーバ、ネットワーク機器といった）コンピュータ機器が、本発明の各実施形態で挙げられる方法を実行することを可能にする複数の命令を含むソフトウェア製品として実施することができる。

要約すると、以上の説明は、単に本発明の好ましい実施形態にすぎず、本発明の保護範囲を制約するものではない。本発明の精神および原則を逸脱することなくなされるあらゆる改変、等価の置換および改善は、本発明の保護範囲内に含まれるものである。
本出願は、参照によりその全文が本明細書に組み込まれる、どちらも「Ｉｎｔｅｒ−ｆｒａｍｅ ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ（フレーム間予測符号化の方法および装置）」という名称の、２００７年１０月１５日と２００８年１月８日とに中国特許庁に出願された、中国特許出願第２００７１０１８１８３１．３号および中国特許出願第２００８１０００２８７５．Ｘ号の優先権を主張するものである。

Claims (24)

1. 現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得し、
   前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較し、比較結果に従って符号化モードを決定し、
   前記決定された符号化モードを使用して符号化を行う、
   ことを含むフレーム間予測符号化方法。
2. 前記比較結果に従って符号化モードを決定し、符号化を行うことは、前記比較結果に従って前記現在のブロックを符号化するのに必要とされるビットストリーム要素を決定し、前記決定されたビットストリーム要素に従って異なる符号化モードで符号化を行うことを含む請求項１に記載の方法。
3. 前記ビットストリーム要素は、マクロブロックの種類および／またはテンプレートマッチングを使用すべきか否かを指示するフラグであり、
   前記比較結果に従って前記現在のブロックを符号化するのに必要とされるビットストリーム要素を決定することは、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とが相互に一致する場合には、マクロブロックの種類だけをビットストリームに符号化し、一致しない場合には、復号器に前記ビットストリームをテンプレート・マッチング・モードまたは動き補償モードで復号するよう指図するために、前記マクロブロックの種類とテンプレートマッチングを使用すべきか否かを指示する前記フラグとを前記ビットストリームに符号化することを含む
   請求項２に記載の方法。
4. 前記マクロブロックの種類と前記テンプレートマッチングを使用すべきか否かを指示するフラグとを前記ビットストリームに符号化する前に、前記復号器に前記ビットストリームを前記テンプレート・マッチング・モードで復号するよう指図するか又は前記動き補償モードで復号するよう指図するかを判定することをさらに含み、該判定することは、
   前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを使用することによる異なる符号化性能を比較し、より優れた性能を有する前記モードで復号を行うよう前記復号器に指図することを含む、
   請求項３に記載の方法。
5. 前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得するプロセスの間、前記現在のブロックの前記動きベクトル予測値が、中心の周りの所定の範囲内でマッチング探索を行うための中心とみなされる請求項１に記載の方法。
6. 前記比較結果に従って符号化モードを決定することは、前記比較結果に従って前記現在のブロックを符号化するためのモデルを選択し、前記選択された符号化モデルに従って符号化を行うことを含む請求項１に記載の方法。
7. 前記比較結果に従って符号化モードを決定し、符号化を行った後で、前記獲得されたテンプレートマッチング動きベクトルを、後続の現在のブロックの動きベクトル予測のために使用することをさらに含む請求項１に記載の方法。
8. 符号器からビットストリームを受け取り、
   現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得し、
   前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較し、前記比較結果に従って復号モードを決定し、
   前記決定された復号モードを使用して復号を行う、
   ことを含むフレーム間予測復号方法。
9. 前記比較結果に従って復号モードを決定し、復号を行うことは、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とが相互に一致する場合には、前記ビットストリームを動き補償モードで復号し、一致しない場合には、前記ビットストリームで搬送される、テンプレートマッチングを使用すべきか否かを指示するフラグに従って、テンプレート・マッチング・モードまたは動き補償モードで復号を行うことを含む請求項８に記載の方法。
10. 前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較する前に、前記ビットストリームで搬送されたマクロブロックの種類に従って、前記現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであると判定することをさらに含む請求項８に記載の方法。
11. 前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得するプロセスの間、前記現在のブロックの前記動きベクトル予測値が、中心の周りの所定の範囲内でマッチング探索を行うための中心とみなされる請求項８に記載の方法。
12. 前記比較結果に従って復号モードを決定することは、前記比較結果に従って前記現在のブロックを復号するためのモデルを選択し、前記選択された復号モデルに従って復号を行うことを含む請求項８に記載の方法。
13. 前記比較結果に従って復号モードを決定し、復号を行った後で、前記獲得されたテンプレートマッチング動きベクトルを、後続の現在のブロックの動きベクトル予測のために使用することをさらに含む請求項８に記載の方法。
14. 現在のブロックのテンプレートマッチング動きベクトルおよび動きベクトル予測値を獲得するように構成された獲得ユニットと、
    前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較し、比較結果に従って符号化モードを決定し、符号化を行うように構成された決定ユニットと、
    を備えるフレーム間予測符号化装置。
15. 前記決定ユニットは、
    前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較し、比較結果を符号化サブユニットに送るように構成された比較サブユニットと、
    前記比較結果に従って符号化を行い、前記比較結果が、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とが相互に一致するというものである場合には、マクロブロックの種類だけをビットストリームに符号化し、前記比較結果が、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とが相互に一致しないというものである場合には、復号器に前記ビットストリームをテンプレート・マッチング・モードまたは動き補償モードで復号するよう指図するために、前記マクロブロックの種類とテンプレートマッチングを使用すべきか否かを指示するフラグとを前記ビットストリームに符号化するように構成された前記符号化サブユニットと、
    を備える請求項１４に記載の装置。
16. 前記符号化サブユニットはさらに、前記比較結果が一致しないというものである場合には、前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを使用することによる異なる符号化性能を比較し、より優れた性能を有する前記モードで復号を行うよう前記復号器に指図するように構成されている請求項１５に記載の装置。
17. 前記決定ユニットは、前記比較サブユニットによって行われる、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値との前記比較結果に従って前記現在のブロックを符号化するためのモデルを選択し、前記符号化サブユニットに通知するように構成された選択サブユニットをさらに備える請求項１５に記載の装置。
18. 符号器からビットストリームを受け取り、獲得された現在のブロックのテンプレートマッチング動きベクトルと動きベクトル予測値とを比較し、比較結果に従って復号モードを決定するように構成された決定ユニットと、
    前記決定された復号モードに従って復号を行うように構成された復号ユニットと、
    を備えるフレーム間予測復号装置。
19. 前記決定ユニットは、前記符号器から前記ビットストリームを受け取り、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とを比較し、前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値とが相互に一致する場合には、前記ビットストリームを動き補償モードで復号するよう前記復号ユニットに通知し、一致しない場合には、前記ビットストリームで搬送される、テンプレートマッチングを使用すべきか否か指示するフラグに従ってテンプレート・マッチング・モードまたは動き補償モードで復号を行うよう前記復号ユニットに通知するように構成された比較サブユニットを備える請求項１８に記載の装置。
20. 前記決定ユニットは、前記ビットストリームで搬送されたマクロブロックの種類に従って前記現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであると判定した後でそれ自身の機能を果たすよう前記比較サブユニットに通知するように構成されたモード判定サブユニットをさらに備える請求項１９に記載の装置。
21. 前記決定ユニットは、前記比較サブユニットによる前記現在のブロックの前記テンプレートマッチング動きベクトルと前記動きベクトル予測値との前記比較結果に従って前記現在のブロックを復号するためのモデルを選択し、前記復号ユニットに通知するように構成された選択サブユニットをさらに備える請求項１９に記載の装置。
22. 符号器からビットストリームを受け取り、
    現在のブロックのテンプレートマッチング動きベクトルを予め設定するか、または前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得するためのテンプレート・マッチング・ブロック情報を決定し、
    前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得し、前記ビットストリームで搬送される、テンプレートマッチングを使用すべきか否かを指示するフラグに従ってテンプレート・マッチング・モードで復号を行う、
    ことを含むフレーム間予測復号方法。
23. 前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得する前に、前記ビットストリームで搬送されたマクロブロックの種類に従って前記現在のブロックのフレーム間予測モードがＰ＿Ｓｋｉｐモードであると判定することをさらに含む請求項２２に記載の方法。
24. 前記現在のブロックの前記テンプレートマッチング動きベクトルを獲得するためのマッチングブロック情報を探し出すために、前記現在のブロックの前記テンプレートマッチング動きベクトルを０に予め設定するか、または復号に必要とされるテンプレート情報を前の復号テンプレート情報と等しいものとする請求項２２に記載の方法。

Images