JP2007517438A - 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 - Google Patents

Abstract

本発明は、参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法を公開した。その方法には、目前のＢフレームのブロック毎に対して、動き推定を行って、後方向の参照フレームに対応するブロックの動きベクトルＭＶを獲得する；当該動きベクトルが、Ｂフレームの指し得る最大の前方向の参照フレームを超過したかを判定し、超過してない場合、正常方式により前方向と後方向の動きベクトルを計算し；超過している場合、後方向の参照フレームに対応するブロックの動きベクトルの代わりに、同方向のＢフレームの獲得できる前方向の参照フレームを指す動きベクトルを採用して、Ｂフレームの前方向と後方向の動きベクトルを計算し、最後に得られた前方向と後方向の動きベクトルが指している二つの画像ブロックが、当該マクロブロックと対応する画像ブロックであることを含んでいる。本発明は、参照フレームの数の固定した場合生じる可能性がある動きベクトルがマッチングしない問題を解決することができ、かつ、符号化の効率を最大程度に保証することができる。

Description

本発明は、デジタルビデオ圧縮分野の画像ＣＯＤＥＣにおいて参照ブロックを取得する方法に関し、特に、参照フレームの数を固定する符号化方式で、画像の参照ブロックを取得する方法に関し、画像圧縮技術分野に属する。

高効率のビデオＣＯＤＥＣ技術は、高い質量、低いコストのマルチメディアデータの記憶と伝送のキーポイントである。現在、比較的に流行っている画像符号化の国際標準は、何れもブロックマッチングによる動き補償、離散コサイン変換と量子化を結合した符号化方法を採用する。典型的なものとして、国際標準化組織／国際電気技術委員会の第一連合技術組（ＩＳＯ／ＩＥＣ ＪＴＣ１）から提出されたＭＰＥＧ−１、ＭＰＥＧ−２とＭＰＥＧ−４等の国際標準、及び国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）から提出されたＨ．２６ｘシリーズがある。それらのビデオ符号化標準は、工業的に広い範囲で応用されている。

それらのビデオ符号化標準は、何れもハイブリッドビデオコーディングを採用し、通常、予測、変換、量子化及び情報エントロピー等の四つの主要なモジュールを含む。予測モジュールの主な機能は、既に符号化され且つ再構成された画像を利用して、符号化しようとする画像に対して予測（フレーム間の予測）し、或は画像において既に符号化され且つ再構成された画像ブロック（或はマクロブロック）を利用して、目前の符号化しようとする画像ブロック（或はマクロブロック）に対して予測（フレーム間の予測）するものであり；変換モジュールの主な機能は、入力された画像ブロックを別の空間に変換して、入力信号のエネルギーを出来るだけ低周波数変換係数に集中させて、画像ブロック内の元素間の相関性を下げて、圧縮に有利になるものであり；量子化モジュールの主な機能は、変換された係数を符号化に有利である有限要素集合にマッピングするものであり；情報エントロピーモジュールの主な機能は、統計法則に基づいて、量子化された後の変換係数を可変長符号（ｖａｒｉａｂｌｅ − ｌｅｎｇｔｈ ｃｏｄｅ）にて示すものである。ビデオ復号化システムは、類似しているモジュールを含んで、主に、エントロピー復号化、反量子化、反変換等の過程により、入力されたコードストリームを復号化して、復号化画像を再構成する。

動き補償に基づいた予測の主な機能は、ビデオシーケンスが時間においての冗長度（リダンダンシ）を削除するものである。ビデオ符号化の大部分の符号化効率は、予測モジュールによって左右される。ビデオ符号化過程は、ビデオシーケンスのフレーム毎の画像に対して符号化する過程である。常用のビデオ符号化システムがフレーム毎の画像に対して行った符号化は、マクロブロックを基本的なユニットとして行ったものである。フレーム毎の画像を符号化する場合、フレーム内（Ｉフレーム）符号化、予測（Ｐフレーム）符号化と両方向予測（Ｂフレーム）符号化等の場合がある。一般的に、符号化する場合、Ｉフレーム、ＰフレームとＢフレーム符号化は、例えばＩＢＢＰＢＢＰ順序に従って、交替で行う。

Ｂフレームの符号化により、２００：１以上のビットレートに達する符号化の圧縮効率を実現することができる。Ｂフレーム中のマクロブロックに対して符号化するには、直接、前方向予測、後方向予測と両方向予測のような四種のモードがある。Ｂフレーム技術には、前方向と後方向の動き推定を同時に行う必要があるので、高い運算の複雑度が必要になると共に、前後方向の動きベクトルを区分するための標記情報が更に必要になる。

伝統的なビデオ符号化標準（例えばＭＰＥＧ−ｘシリーズとＨ．２６ｘシリーズ）において、Ｂフレームの参照フレームは、何れも一つの前方向参照フレームと一つの後方向参照フレームだけを備えているが、Ｐ フレームはただ一つの前方向参照フレームだけを備えている。ピクチャ間の時間領域の相関性を更に十分に利用するために、既にＰフレームとＢフレームに複数の前方向の参照フレームを備えることを許す。しかしながら、これにより、空間及び時間の支払いが非常に増加させたため、中間的なやり方としては、固定する参照フレーム数を採用して、更なる大きい空間と時間の支払いを制限するものである。実際に、時間領域においてのピクチャ間の相関性は、距離が遠くなるに従って、相関性も弱くなるので、そんな限定は合理的なものである。

直接符号化モードは、前方向と後方向の全てに対して予測する符号化モードであり、Ｂフレームの前後方向の動きベクトルは、後方向参照ピクチャの動きベクトルから推測し得り、動きベクトル情報に対して符号化しなくても良いので、動きベクトル情報を符号化するに係るビット数を減少することができ、符号化効率を有効的に高めることが出来るので、非常に広く応用されている。

Ｐ、Ｂフレームに対して、固定する参照フレーム数を採用して符号化する場合、Ｐフレームの前方向参照フレームの数がＢフレームの前方向参照フレームの数より多く（Ｂフレームには必ず一つの後方向参照フレームを含まなければならないが、Ｐフレームは無い）ことを考量したので、動きベクトルがマッチングしないと言う問題を引き起こすことができる。即ち、Ｂフレームに対して、動きベクトルの推測を行う場合、後方向参照フレーム中のブロック毎の動きベクトルを用いる必要があり、後方向参照フレームがＰフレームであるので、動きベクトルが指している参照フレームが、Ｂフレームの指し得る最大の前方向の参照フレームを超過することを引き起こす恐れがある。例えば、図１に示したように、参照フレームの数を２フレームと固定した場合、Ｂフレームが指し得る参照フレームは、隣接する二つのＰフレームであるが、Ｂフレームの後方向参照フレームであるＰフレームの参照フレームは、当該Ｐフレーム前の二つのＰフレームであるＰ＿ＲＥＦ＿１とＰ＿ＲＥＦ＿０である。当該Ｐフレームの動きベクトルが最前方向のＰフレームであるＰ＿ＲＥＦ＿１を指す場合、当該Ｐフレームは、Ｂフレームの指し得る最大の前方向の参照フレームを超過し、計算して得た動きベクトルはＢフレームの到達できないＰ＿ＲＥＦ＿１を指している。従って、Ｂフレームは、符号化しようとする本当の参照フレームを獲得することができなく、符号化に偏差が生じ、画像に重いひずみを引き起こす。

本発明は、参照フレームの数を固定する時、直接符号化モードにおいて、本当の画像の参照ブロックを獲得する方法を提供することにその技術課題がある。

本発明の技術案には、下記のステップが含まれる。

ステップ１：目前のＢフレームのブロック毎に対して、動き推定を行って、後方向参照フレームに対応するブロックの動きベクトルを獲得する；
ステップ２：当該動きベクトルが、Ｂフレームの指し得る最大の前方向参照フレームを超過したかを判定し、超過してない場合、ステップ３を実行し、超過している場合、ステップ４を実行する；
ステップ３：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算する：
ＭＶ_ＦとＭＶ_Ｂを目前ブロックの前、後方向の動きベクトルと設定し、

その中で、ｔｂ は、時間領域においての目前のピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；
ステップ４：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算する：
ＭＶ_ＦとＭＶ_Ｂを目前ブロックの前、後方向の動きベクトルと設定し、

ｔｂ は、時間領域においての目前ピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；ｔｂ′は、目前Ｂフレームとそれが指し得る前方向の参照フレーム間の時間領域の距離である；
ステップ５：ＭＶ_ＢとＭＶ_Ｆが指している二つの画像ブロックが、当該マクロブロックに対応する画像参照ブロックである。

本発明は、後方向参照フレームと対応するブロックの動きベクトルの代わりに、同方向のＢフレームの得られる前方向の参照フレームを指す動きベクトルを採用することにより、Ｂフレームの前方向と後方向の動きベクトルを計算して、参照フレーム数を固定した場合に生じる可能性のある動きベクトルがマッピングしない問題を解決することができ、且つ符号化効率を最大程度に保証することができる。

本発明を次に図面により詳細に説明する。

本発明は、先ずＢフレームの後方向参照フレームの動きベクトルに従って判定を行って、当該動きベクトルが指している前方向参照フレームがＢフレームの指し得る最大の前方向参照フレームを超過したかを判定し、超過してない場合、通常の方式を採用してＢフレームの前方向の動きベクトルを計算して、前方向の画像参照ブロックを得る；その範囲を超過している場合、動きベクトルを縮小する方法を採用することにより、計算して得た前方向の動きベクトルがＢフレームの指し得る最大の前方向の参照フレームの範囲を超過しないようにして、本当の前方向の画像参照ブロックを獲得することができる。

本発明に係る参照フレームの数を固定した直接符号化モードにおいて画像参照ブロックを獲得する方法は、符号化端において画像の符号化を行い、下記のステップが含まれる。

ステップ１：目前のＢフレームのブロック毎に対して、動き推定を行って、後方向の参照フレームに対応するブロックの動きベクトルＭＶを獲得する；
ステップ２：当該動きベクトルが、Ｂフレームの指し得る最大の前方向の参照フレームを超過したかを判定し、超過してない場合、ステップ３を実行し、超過している場合、ステップ４を実行する；
ステップ３：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算することができる： ＭＶ_ＦとＭＶ_Ｂを目前のブロックの前、後方向の動きベクトルと設定し、

その中で、ｔｂ は、時間領域においての目前のピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；
ステップ４：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算することができる：
ＭＶ_ＦとＭＶ_Ｂを目前のブロックの前、後方向の動きベクトルと設定し

その中で、ｔｂ は、時間領域においての目前のピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；ｔｂ′は、目前のＢフレームとそれが指し得る前方向の参照フレーム間の時間領域の距離である；
ステップ５：ＭＶ_ＢとＭＶ_Ｆが指している二つの画像ブロックが、当該マクロブロックに対応する画像参照ブロックである。

画像参照ブロックを獲得した後、二つの参照ブロックの画素の平均値を計算して、最終の両方向の予測参照ブロックを求め、符号化しようとするＢフレームのマクロブロックと両方向の予測参照ブロックの差を計算して、ブロックマッチ（ｂｌｏｃｋ ｍａｔｃｈ）を獲得し；ブロックマッチに対して符号化して、当該Ｂフレームに対する符号化を完成した。

本発明は、Ｂフレームの指し範囲を超過した前方向の参照フレームの代わりに、Ｂフレームが指し得る前方向の参照フレームを採用することにより、範囲を超過して、Ｂフレームが画像参照ブロックを獲得することができない問題点を解決した。ここで得られた画像参照ブロックが後方向のＰフレームが本当に指している画像参照ブロックではないけと、本当の画像参照ブロックを獲得することができなく、本発明の方法で得られた画像参照ブロックは、Ｐフレームが本当に指している画像参照ブロックと同じ方向の参照ブロックであり、時間領域の相関性のため両者が非常に接近するので、本方法を採用することにより、符号化効率が悪くならないように保証できる。固定する画像ブロック（例えばモノクロ・画像ブロックを採用する）を採用すると、符号化の効率を保証することができない；他の方法を採用して、画像ブロックを得ると、画像の時間領域の相関性を利用することが出来なくなり、符号化の効果も同じように予測できない。

画像間の時間領域の相関性を最大程度に利用することを保証するために、ステップ４中のｔｂ′が、Ｂフレームの指し得る、Ｐフレームの指す参照フレームと最も接近する前方向の参照フレームである場合、即ち、ＢフレームがＰフレームの指している参照フレームに達することができない場合、Ｂフレームが指し得且つそれと最も接近する前方向の参照フレームにより代えられる。

上記式から見つけるように、本発明は、同方向の動きベクトルを選択し、長さだけがＢフレームの指し得る範囲に縮小されたものであり、そんな方法は、時間領域の相関性を良く利用し、Ｂフレームが指し得且つそれと最も接近する前方向の参照フレームにより、Ｐフレームが指している参照フレームを代わる時、時間領域の相関性は最大に利用された。

本発明に係るステップ１において、後方向の参照フレームに対応するブロックの動きベクトルＭＶを獲得する方法には様々な方法あるが、後方向の参照フレームがＰフレームであるので、Ｐフレームのマクロブロック毎に一つの動きベクトルＭＶを備え、ステップ１のキーポイントはマクロブロック間の対応にある。即ち、Ｂフレームの一つのマクロブロックとＰフレーム中のあるマクロブロックと対応して、対応するマクロブロックを探し、Ｐフレームの当該マクロブロックの動きベクトルＭＶは、Ｂフレームが前方向と後方向の動きベクトルを計算する基準である。

一般的に、位置が相同である対応方法を採用して、Ｂフレームと後方向の参照フレームがＰフレームである対応するマクロブロックを確定し、即ち、後方向の参照ＰフレームにおいてＢフレームの位置と相同するマクロブロックを対応するマクロブロックとし、異なる算法により、対応方式も異なる可能性があるが、何れ一種の対応方式も、動きベクトルがＢフレームの指し得る範囲を超過する可能性がある。

本発明に係る方法は、Ｂフレームの何れ一種の予測モードの符号化に適応する。目前のＢフレームのマクロブロック毎には、前方向、後方向等の多種の予測モードがある。最も常用の直接符号化モードを一つの例として、参照フレーム数を２と固定して，本発明の技術案を説明する。

先ず、符号化しようとするＢフレームに対して、前方向の参照フレームに対する後方向の参照フレームのブロック毎の動きベクトルを得る。当該動きベクトルがＰフレームからのものであるので、参照フレームＰ＿ＲＥＦ＿０（図２を参照しなさい）或は参照フレームＰ＿ＲＥＦ＿１（図３を参照しなさい）を指す可能性がある。

既に得られた後方向の参照フレームのブロック毎の動きベクトルにより、Ｂフレームの目前ブロックの直接モードの動きベクトルを推測するに用いるベクトルＭＶ_(x,y)を得る。当該動きベクトルは、後方向のピクチャが目前ブロックの空間位置と一致するブロックからのものでも良い、図１に示したように、目前ブロックの直接モードの分割ブロックとコロケーテッド分割ブロックは、他の方法で推測できたものでも良い。図１は、目前の符号化ブロックを示し、図２は、Ｐフレームの位置が相同する対応ブロックを示し、他の図面中の標記は同じ意味である。

指している参照フレームがＰ＿ＲＥＦ＿０である場合、図２に示したように、当該参照フレームは、Ｂフレームが指し得る前方向の参照フレームの範囲を超過しなかった。目前ブロックの前後方向の動きベクトルは、後方向の対応ブロックの動きベクトルから推測して得る：

ＭＶ_Ｆ とＭＶ_Ｂは、目前ブロックと対応する前方向の動きベクトルと後方向の動きベクトルである。ここで、ｔｂは、時間領域においての目前ピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離であり、ＭＶは、前方向の参照フレームに対する後方向の参照ピクチャの対応部分の動きベクトルを示す。

指している参照フレームがＰ＿ＲＥＦ＿１である場合、図３に示したように、当該参照フレームは、Ｂフレームが指し得る前方向の参照フレームの範囲を超過した。当該参照フレームの画像マクロブロックであるＢフレームは取り得なくなるので、Ｐ＿ＲＥＦ＿１中の画像ブロックの代わりに、Ｐ＿ＲＥＦ＿０中の画像ブロックを採用する必要がある。従って、目前のブロックの前後方向の動きベクトルが後方向の対応ブロックである動きベクトルは下記の式で推測できる：

ｔｂ′は、目前のＢフレームと前方向の参照フレームＰ＿ＲＥＦ＿０間の時間領域の距離であり、ＭＶ_Ｆ とＭＶ_Ｂは、目前のブロックと対応する前方向の動きベクトルと後方向の動きベクトルである。ここで、ｔｂは、時間領域においての目前ピクチャと前方向の参照ピクチャの距離であり、ｔｄ は、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離であり、ＭＶは、前方向の参照フレームに対する後方向の参照ピクチャの対応部分の動きベクトルを示す。

ＭＶ_ＢとＭＶ_Ｆが指している二つの画像ブロックが、当該マクロブロックに対応する画像の参照ブロックであるので、画像の参照ブロックを得た後、二つの参照ブロックの画素の平均値を求めて、最終の両方向の予測参照ブロックを得ることができる。さらに、符号化しようとするＢフレームのマクロブロックと両方向の予測参照ブロックの差を求めて、ブロックマッチを獲得する；ブロックマッチに対して符号化してから、当該Ｂフレームに対する符号化を完成した。

復号化する過程は、符号化の逆過程であり、そのステップは下記の通りである。

先ず、目前のブロックの予測モードを判定し、直接モードである場合、以下のステップを行い、他の符号化モードである場合、対応するステップにより行う。

コードストリームから後方向参照フレーム中の推測に用いる動きベクトルＭＶを獲得し、動きベクトルＭＶに対応する参照フレームがＢフレームの指し得る最大の前方向の参照フレームを超過しない場合、下記の式で、前後方向の動きベクトルを獲得することができる。

ＭＶ_Ｆ とＭＶ_Ｂは、目前ブロックと対応する前方向の動きベクトルと後方向の動きベクトルである。ここで、ｔｂは、時間領域においての目前ピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離であり、ＭＶは、前方向の参照フレームに対する後方向の参照ピクチャの対応部分の動きベクトルを示す
動きベクトルＭＶと対応する参照フレームがＢフレームの指し得る最大の前方向の参照フレームを超過した場合、下記の式で、前後方向の動きベクトルを獲得することができる。

ｔｂ′は、目前のＢフレームと前方向の参照フレームＰ＿ＲＥＦ＿０間の時間領域の距離であり、ＭＶ_ＢとＭＶ_Ｆが指している二つの予測と対応する画素の平均値を求めてから、最終の両方向の予測参照ブロックを得ることができる。両方向予測参照ブロック及び対応するブロックマッチを加えて目前ブロックの画像ブロックを形成して、復号化過程の全てを完成する。

最後に説明すべきことは、以上の実施例は本発明を説明するためであり、限定する意味ではない。好ましい実施例を参照して、本発明に対して詳しく説明しましたが、本発明に対して修正或いは変更を行うことは、当業者対して理解できることであり、本発明の旨と範囲を超えなく、本発明の特許請求の範囲に含まれている。

従来技術に係るＰフレームが参照フレームＰ＿ＲＥＦ＿１を指した場合を示した図面である； 本発明の実施例に係るＰフレームが参照フレームＰ＿ＲＥＦ＿０を指した場合を示した図面である； 本発明の実施例に係るＰフレームが参照フレームＰ＿ＲＥＦ＿１を指した場合を示した図面である。

Claims (3)

1. 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法であって、
   ステップ１：目前のＢフレームのブロック毎に対して、動き推定を行って、後方向の参照フレームに対応するブロックの動きベクトルＭＶを獲得する；
   ステップ２：当該動きベクトルが、Ｂフレームの指し得る最大の前方向の参照フレームを超過したかを判定し、超過してない場合、ステップ３を実行し、超過している場合、ステップ４を実行する；
   ステップ３：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算する：
   ＭＶ_ＦとＭＶ_Ｂを目前のブロックの前、後方向の動きベクトルと設定し、
   

   

   
   ｔｂ は、時間領域においての目前のピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；
   ステップ４：下記の式により、当該マクロブロックの前後方向の動きベクトルを計算する：
   ＭＶ_ＦとＭＶ_Ｂを目前のブロックの前、後方向の動きベクトルと設定し、
   

   

   
   ｔｂ は、時間領域においての目前のピクチャと前方向の参照ピクチャの距離であり、ｔｄは、時間領域においての前方向の参照ピクチャと後方向の参照ピクチャの距離である；ｔｂ′、目前のＢフレームとそれが指し得る前方向の参照フレーム間の時間領域の距離である；
   ステップ５：ＭＶ_ＢとＭＶ_Ｆが指している二つの画像ブロックが、当該マクロブロックに対応する画像の参照ブロックである、ステップを含む参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法。
2. 前記ステップ１中の後方向の参照フレームに対応するブロックの動きベクトルを獲得するには、下記の過程を含む：
   Ｂフレーム中で符号化しようとするマクロブロックの位置と相同する後方向の参照Ｐフレームのマクロブロックを対応するマクロブロックとして、Ｐフレームの当該マクロブロックの動きベクトルを獲得することを特徴とする請求項１に記載の参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法。
3. 前記ステップ２中の、後方向の参照フレームに対応するブロックの動きベクトルが、Ｂフレームの指し得る最大の前方向の参照フレームを超過したかを判定するには、Ｂフレームの指し得る最大の前方向の参照フレームの時間領域が、後方向の参照フレームに対応するブロックの動きベクトルが指している前方向の参照フレームの時間領域より大きい或は相同であるかを比較判定し、それより大きい或は相同である場合、超過してないと判定し、そうでない場合、超過していると判定することを含むことを特徴とする請求項１に記載の参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法。

Images