JP2007510344A - 電力最適化された配列動き予測方法 - Google Patents

Abstract

本発明は一連のフレームを処理するように適合された装置に使用される動き予測方法に関する。動き予測方法は、現在フレームに含まれる現在ブロック及び参照フレームに含まれる参照ブロックに基づいて、動きベクトル候補に関する残差ブロックを計算するステップを有し、参照ブロックは現在ブロックが現在フレーム内で有する位置と同一の位置を参照フレーム内で有し、動きベクトル候補は参照ブロックの第１の参照部分を含む仮想ブロックの参照ブロックに対する相対位置を定義し、残差ブロックは、前記第１の参照部分のデータサンプルと前記現在ブロックの第１の現在部分の対応するデータサンプルとの間の第１の差、及び前記第１の参照部分の相補部分である仮想ブロックの第２の参照部分のデータサンプルの予測と、前記第１の現在部分の相補部分である前記現在ブロックの第２の現在部分のデータサンプルとの間の第２の差から計算される。

Description

本発明は、一連のフレームを処理するように適合され、該フレームがデータサンプルの複数ブロックに分割されている動き予測方法及び装置に関する。

本発明は、そのような動き予測方法を有する、予測的ブロックベース符号化方法に関し、また、それに対応する符号器に関する。

また、本発明は最終的には、前記動き予測方法を実行するためのコンピュータプログラムに関する。

本発明は特に、例えばホームサーバ、デジタルビデオ録画器、ビデオカメラのようなデジタルビデオ符号器を内蔵する製品、さらには、移動電話又は携帯情報端末（PDA）であって、ビデオデータを取得し、データを送信する前に符号化することが可能な内蔵カメラを有する機器に関する。

従来のビデオ符号器では、メモリー転送の大部分、その結果として、消費電力の大部分が、動き予測によって発生している。動き予測は、或る速度歪み判定基準に従って、現在ブロックと1セットの幾つかの候補参照ブロックとの間の最良の整合を探すことから成り、現在ブロックと候補参照ブロックとの間の差が残差（residual error）ブロックを生成し、それにより歪み値が導かれる。しかしながら、このような動き予測方法は、特に、電力が限られている携帯型機器に内蔵されたビデオ符号器の場合には最適でない。

図１は入力データブロックINを符号化する従来からのビデオ符号器を示す。この符号器は：
主残差ブロックを供給する減算器、
主残差ブロックを引き続き変換及び量子化する離散コサイン変換DCTユニット11及び量子化Qユニット12、
量子化データブロックから可変長符号データブロックを供給する可変長符号化VLCユニット13、
量子化データブロックから補助残差ブロックを供給する逆量子化IQユニット14及び逆離散コサイン変換IDCTユニット15、
動きベクトルを使用し動き補償したデータブロックを加算器及び減算器に供給する動き補償MCユニット16、動き補正したデータブロックを入力データブロックから減算するように適合された減算器、
動き補償したデータブロック及び補助残差ブロックを加算する加算器、
入力データブロックに関連する参照データブロックを、その対応する動きベクトルと同様に、参照フレーム内で見つけ出す動き予測MEユニット18、及び、
動き補償ユニット及び動き予測ユニットが結合される外部フレーム記憶装置モジュールMEM17、
を有する。

これら従来からの符号器はDCT変換、スカラー量子化、及び、動き予測／補償（ME/MC）に基づく。最後の１つが明らかに最も電力を消費する。ブロックが符号化されるとき、動き予測ユニットMEは、図2に示されるように、参照フレームRF1乃至RF3のサーチエリアSAに属するいくつかのブロックの中から、現在フレームCF内の現在ブロックcbについての最良の相手を探す。これは画素、そして記憶装置への多くのアクセスを表す。サーチエリアが大きいほど、記憶装置の大きさ及びそれに伴って電力消費も大きくなる。

これまでに、低電力化の方法について開発報告が為されてきた。幾つかは計算の簡略化を提案するが、そのような方法ではもはや十分ではない。その他は記憶装置のアクセス回数を最小化しようとする。

空間領域においては、利用可能なバンド幅及び要求されるビデオ品質に応じて、符号器がその電力消費量を変化させられるようにする、階層ベクトル量子化に基づく技術が提案されている（非特許文献1参照）。

時間領域においては、圧縮率を犠牲にして従来の動き予測を簡略化することが提案されている（非特許文献2参照）。

これらの従来技術の短所は、何れの動き予測方法もビデオ品質を著しく低下させる、又は、メモリー転送を十分に削減できないことである。
N.Chaddha、M.Vishwanath、「電力、メモリー及びバンド幅の拡張性を有する低電力ビデオ符号器(A Low Power Video Encoder with Power, Memory and Bandwidth Scalability)」、第9回国際VLSIデザイン会議、1996年1月、p358-263 C.De.Vleeschouwer、T.Nilsson、「低電力装置のための動き予測(Motion Estimation for Low-Power Devices)」、国際画像処理会議（Int. Conf. on Image Processing ; ICIP）2001、2001年9月、p953-959

本発明は、映像品質を満足しながら、メモリー転送を削減するための効果的な方法を提供することを目的とするものである。

このため、本発明に従った動き予測方法は、現在フレームに含まれる現在ブロック及び参照フレームに含まれる参照ブロックに基づいて、動きベクトル候補に関する残差ブロックを計算するステップを有し、前記参照ブロックは前記現在ブロックが前記現在フレーム内で有する位置と同一の位置を前記参照フレーム内で有し、前記動きベクトル候補は前記参照ブロックの第1の参照部分を含む仮想ブロックの前記参照ブロックに対する相対位置を定義し、前記残差ブロックは：
前記第1の参照部分のデータサンプルと前記現在ブロックの第1の現在部分の対応するデータサンプルとの間の第1の差、及び
前記第1の参照部分の相補部分である仮想ブロックの第２の参照部分のデータサンプルの予測と、前記第1の現在部分の相補部分である前記現在ブロックの第２の現在部分のデータサンプルとの間の第２の差、
から計算されることを特徴とする。

一方、本発明に従った動き予測方法は或る限られたデータサンプルセット、これは現在ブロックが現在フレーム内で有する位置と同一の位置を参照フレーム内で有する参照ブロックのことである、のみを用いる。参照ブロックはまた配列（collocated）ブロックとも呼ばれる。縮小されたデータサンプルセットを用いるため、本発明に従った動き予測方法は、符号器及び復号器でのメモリー転送を削減するのに有効な方法である。さらに、対応するビデオ符号化回路のエネルギー消散を低減することは、当該回路の信頼性を向上させ、並びに、冷却のための労力を有意に減らすことができる。故に、製品コストが大きく削減される。

他方、前記動き予測方法は、参照ブロックの第1の参照部分と現在ブロックの第1の現在部分との間の動きベクトルを決定できる、すなわち、現在ブロック及び参照ブロックのよく似た部分のみを考慮することによって動きベクトルを決定できるように適合される。参照ブロックがN×Nのデータサンプルから成るとすると、動きベクトルは（-N+1,-N+1）から（N-1,N-1）まで変化し得る。加えて、動き予測方法は欠損データサンプル、すなわち、仮想ブロックの第2の参照部分に属するデータサンプル、を予測するように適合される。後述のより詳細な説明からわかるように、この予測は異なるモードに従ってなされる。動きベクトルの決定、及び、対応する欠損データサンプルの予測のおかげで、本発明に従った動き予測方法は満足のいく映像品質を維持することができる。

本発明のこれら及び他の観点は後述の実施例を参照して明白となり解明される。

本発明は、一連のフレームを処理するように適合された装置に使用され、該フレームがデータサンプルの複数ブロックに分割されている動き予測方法に関する。前記装置は、例えば、一連のフレームを符号化するように適合された符号器である。

本発明は、特に、ビデオフレームを符号化するために供され、MPEG-4又はH.264規格のビデオ符号器並びに他の同等な歪みベースのビデオ符号器にて使用され得る。しかし、当業者にとって、本発明が一連の音声フレームの符号化又は他の如何なる同等の符号化にも応用できることは明白であろう。

本発明は符号化に限定されず、他のタイプの処理にも応用可能である。他のタイプの処理とは、例えば、ビデオフレームの種々のデータブロックの平均を計算してそのフレームの地球上での動きを求める画像安定化等である。このような画像安定化処理はビデオカメラ、テレビ受像器、又は画像を復号した後のビデオ復号器において実施され得る。

動き予測方法は、電力が限られそして一連のビデオフレームの符号化に適合された、移動電話又は内蔵カメラ等の手に持つ装置においても実施され得る。

本発明は従来の動き予測を、所謂‘配列（collocated）動き予測’で置換することを提案するものである。配列動き予測は、動き予測を行う限定的方法であり、縮小された画素セットから成るサーチエリアを持つ。また、より少ないデータを用いながら正しい符号化効率を維持するために、動き予測処理を修正すること、及びそれを空間的・時間的な欠損画素の予測と併用することが本発明にて提案される。

図３A及び図３Bは本発明に従った動き予測方法を例示する。前記動き予測方法はフレームを、例えばNを整数としてN×N画素といった等しい大きさの画素ブロックに分割するステップを有する。

そして、前記動き予測方法は、現在フレームCF内に含まれる現在ブロックcb及び参照フレームRF内に含まれる参照ブロックrbに基づいて、動きベクトル候補MVに関して残差ブロックを計算するステップを有する。本発明に従って、参照ブロックは参照フレーム内で現在ブロックの現在フレーム内での位置と同一の位置（i,j）を有する。言い換えれば、参照ブロックは現在ブロックに配列される。動きベクトル候補MVは、参照ブロックrbの第1の参照部分rbp1を含む仮想ブロックvbの、前記参照ブロックに対する相対位置を定める。

そして、残差ブロックは：
第1の参照部分rbp1のデータサンプルと現在ブロックの第1の現在部分cbp1の対応するデータサンプルとの間の第1の差、及び
第1の参照部分の相補部分（complementary）である仮想ブロックの第2の参照部分predのデータサンプルの予測と、第1の現在部分の相補部分である現在ブロックの第２の現在部分cbp2のデータサンプルとの間の第２の差、
から計算される。ここで、第1の現在部分cbp1は、第1の参照部分の現在フレームへの投影を動きベクトル候補MVに従って平行移動したものに対応する。

言い換えれば、符号化される位置(x,y)にある画素の残差ブロックの値をr(x,y)と書くことにすると、残差ブロックの値は以下のように計算される：
r(x,y)=if(x+v_x,y+v_y)∈rb
rb (x+v_x,y+v_y)−cb(x,y)
else
pred(rb,cb(x,y))
ここで、pred(rb,cb(x,y))は参照ブロック及び符号化される現在ブロックを用いた予測算定器（predictor）であり、(v_x,v_y)は動きベクトルの座標である。

一般に、第２の参照部分predの画素値は参照ブロックrbの画素値から予測されるが、後述のように、これは必須ではない。

このような動き予測方法は配列動き予測方法と呼ばれる。配列動き予測では、現在ブロックcbすなわち符号化されるブロックの最良の相手が参照ブロックrb内で探される。こうして、前記動き予測方法は、参照ブロックの第1の参照部分と現在ブロックの第1の現在部分との間の種々の動きベクトル候補MVをテストするように適合されている。ここで、所定の動きベクトル候補は所定の大きさの部分に対応している。参照ブロックがN×Nのデータサンプルを有するならば、前記動きベクトル候補は座標（-N+1,-N+1）の動きベクトルNvminから座標（N-1,N-1）の動きベクトルNvmaxまで変化し得る。

残差ブロックを計算するステップは動きベクトル候補セットについて繰り返される。本発明に従った動き予測方法はさらに、前記動きベクトル候補セットの歪み値を、それらの関連する残差ブロックに基づいて計算するステップを有する。動き予測方法は最終的に、最小の歪み値を有する動きベクトル候補を選択するステップを有する。

このプロセスはブロックマッチングと呼ばれ、例えば、当業者に公知な原理に従って差分絶対値和SADを計算することに基づくが、他の例のように、計算ステップは平均絶対誤差MAEを計算すること、平均二乗誤差MSEを計算することに基づいてもよい。また、当業者にとって、歪み値が他の同等の計算を用いて計算し得ることは明らかである。例えば、歪み値の計算は残差ブロックのエントロピーｈの和及び平均二乗誤差MSEに基づき得る。

残差ブロック及び選択された動きベクトルは従来の符号化機構に従って伝達される。

動きベクトル候補が（0,0）の場合を除き、歪み値の計算を損なっている画素が常に存在する。幾つかの欠損画素の予測方法が用いられ得る。

図４は配列予測と呼ばれる前記動き予測方法の第１実施例を例示する。このような実施例においては、第２の参照部分predの画素ｐ’の値は、動きベクトル候補MVを反対にしたベクトルに従って第２の参照部分の画素を平行移動したことに対応する画素の値から得られる。言い換えれば、欠損画素ｐ’は現在画素cb(x,y)に配置された画素rb(x,y)に基づいて以下のように予測される：
pred(rb,cb(x,y))=rb(x,y)−cb(x,y)
図４乃至６では、矢印diff1は第1の参照部分rbp1の画素と、対応する第1の現在ブロックcbp1の画素との間の第1の差の計算を表し、矢印diff2は第２の差の計算を表す。

図５はエッジ予測と呼ばれる前記動き予測方法の第２実施例を示す。このような実施例においては、第２の参照部分の画素値は、参照ブロックの画素値の第1の補間に基づいて予測される。前記予測は次のように定義される：
pred(rb,cb(x,y))=rb(proj(x),proj(y))−cb(x,y)
ここで、proj()関数は、図5に示されるように、参照ブロックの水平及び／又は垂直エッジに対する、第2の参照部分predの画素ｐ’の対称画素ｐ”を決定し、対称画素ｐ”の値を参照値rb(x”,y”)としてとるように適合されている。

図６は前記動き予測方法の第３実施例を示す。この実施例は空間補間予測と呼ばれている。この実施例においては、第2の参照部分predの画素値は、第1の参照部分の幾つかの画素値の補間から得られる。例えば、第2の参照部分の画素ｐ’の値は、参照ブロックrbに属する画素で画素ｐ’と同一行又は列にある幾つかの画素から補間される。

本発明の他の実施例に従って、単一の予測値pred_valueが参照ブロックrbから得られる。対応する残差ブロックの値は以下のように計算される：
r(x,y)=cb(x,y)−pred_value
ここで、pred_valueは参照ブロックrbの値の平均値又は中央値に置かれる。

さらに本発明の他の実施例に従って、厳密な空間予測が実行される。その場合、参照ブロックは用いられない。予測値pred_valueは、図３Aに示されるように、現在ブロックの先頭にある画素の行L又は現在ブロックの左側の画素の列Cの平均値又は中央値である。他の選択可能なものとして、予測値は定数、例えば画素値が0と255の間であるならば128とし得る。

予測値を決定するために他の方法が提案され得ることは当業者にとって明らかである。例えば、参照ブロックrbの最頻出値すなわち度数分布のピーク、または、行L、列C、参照ブロックrbに関連した或る値を、予測値とすることができる。

上述の図面及び記載は発明を例示したものであり、限定するものではない。当業者にとって添付した特許請求の範囲に含まれる代替策が非常に多く存在することは明らかであろう。

例えば、本発明に従った動き評価方法は唯一の予測関数とともに用いられてもよいし、動きベクトルそれ自体が共同して作用するのと同様に、それぞれの予測関数が共同で作用し歪み基準を介して選択されるように、上述したような幾つかの予測関数とともに用いられてもよい。

配列動き調査は３次元回帰調査３DRS又は階層ブロックマッチングアルゴリズムHBMAに基づき得る。サブ画素による改善が同様に採用され得る。動きは平行移動に限定されず、例えばアフィン変換モデルも支援することができる。

提案された発明は、限られたバンド幅又は高電力消費のいずれかの理由のために、外部記憶装置へのアクセスがボトルネックを示す如何なるビデオ符号化装置にも応用可能である。後者の理由は特に、拡張電池の寿命が主要機能である可搬式の装置において重大である。提案された発明はあらゆる種類の符号器において従来の動き予測を置換し得る。例えば、家庭内ネット又はトランス符号化（transcoding）応用において利用され得る。

本発明に従った動き予測方法はハードウェア若しくはソフトウェア又はその両方の種目によって実施され得る。前記ハードウェア又はソフトウェアの種目は、それぞれ、配線接続された電子回路又は好ましくプログラムされた集積回路などの幾つかの方法によって実施され得る。集積回路は符号器の中に含まれていてもよい。集積回路は命令セットを有する。このように、例えば符号器の記憶装置に含まれた前記命令セットが、符号器に動き予測方法の種々のステップを実行させてもよい。命令セットは、例えばディスク等のデータ媒体を読むことによりプログラム記憶装置に読み込ませてもよい。

サービス提供者はまた、前記命令セットを例えばインターネット等の通信網を介して利用可能にすることもできる。

特許請求の範囲における如何なる符号も特許請求の範囲を限定するものとして解釈されるべきではない。如何なる請求項においても、“有する”という動詞及びその語形変化を使用することは、定義されたステップ又は要素の他に他のステップ又は要素が存在することを排除するものでないことは明らかである。要素又はステップの前に置かれた単語“或る”はそのような要素又はステップが複数存在することを排除するものではない。

従来からのビデオ符号器のブロック図である。 従来の動き予測方法を例示した図である。 本発明に従った動き予測方法を例示した図である。 本発明に係る動き予測方法の第１実施例を示す図である。 本発明に係る動き予測方法の第２実施例を示す図である。 本発明に係る動き予測方法の第３実施例を示す図である。

Claims (11)

1. 一連のフレームを処理するように適合された装置に使用され、該フレームがデータサンプルの複数ブロックに分割されている動き予測方法であって、
   現在フレームに含まれる現在ブロック及び参照フレームに含まれる参照ブロックに基づいて、動きベクトル候補に関する残差ブロックを計算するステップを有し、
   前記参照ブロックは現在ブロックが前記現在フレーム内で有する位置と同一の位置を前記参照フレーム内で有し、
   前記動きベクトル候補は前記参照ブロックの第１の参照部分を含む仮想ブロックの前記参照ブロックに対する相対位置を定義し、
   前記残差ブロックが：
   前記第１の参照部分のデータサンプルと前記現在ブロックの第１の現在部分の対応するデータサンプルとの間の第１の差、及び
   前記第１の参照部分の相補部分である仮想ブロックの第２の参照部分のデータサンプルの予測と、前記第１の現在部分の相補部分である前記現在ブロックの第２の現在部分のデータサンプルとの間の第２の差、
   から計算される、ところの動き予測方法。
2. 請求項１に記載の動き予測方法であって、前記第２の参照部分のデータサンプル値が前記参照ブロックのデータサンプル値から予測されることを特徴とする動き予測方法。
3. 請求項２に記載の動き予測方法であって、前記第２の参照部分の或るデータサンプル値が前記現在ブロックの現在データサンプルに結びつけられた前記参照ブロックの或るデータサンプル値から得られることを特徴とする動き予測方法。
4. 請求項２に記載の動き予測方法であって、前記第２の参照部分の或るデータサンプル値が前記参照ブロックの少なくとも１つのデータサンプル値の補間から得られることを特徴とする動き予測方法。
5. 請求項１に記載の動き予測方法であって、残差ブロックを計算するステップが１セットの動きベクトル候補について繰り返され、前記動きベクトル候補セットの歪み値を、それらの関連する残差ブロック値に基づいて計算するステップをさらに有することを特徴とする動き予測方法。
6. 請求項５に記載の動き予測方法であって、最小の前記歪み値を有する動きベクトル候補を選択するステップをさらに有することを特徴とする動き予測方法。
7. 請求項６に記載の動き予測方法であって、第２の差が、最小の前記歪み値を有する前記動きベクトル候補の選択と同時に行われる異なる予測モードに従って計算されることを特徴とする動き予測方法。
8. 一連のフレームを符号化するための予測的ブロックベース符号化方法であって、動きベクトルを所定の正確性をもって計算するための請求項１記載の動き予測方法を有し、前記動きベクトル及びその関連する残差ブロックを符号化するステップをさらに有することを特徴とする符号化方法。
9. 一連のフレームを処理するように適合され、該フレームがデータサンプルの複数ブロックに分割されている動き予測装置であって、
   現在フレームに含まれる現在ブロック及び参照フレームに含まれる参照ブロックに基づいて、動きベクトル候補に関する残差ブロックを計算する手段を有し、
   前記参照ブロックは前記現在ブロックが前記現在フレーム内で有する位置と同一の位置を前記参照フレーム内で有し、
   前記動きベクトル候補は前記参照ブロックの第１の参照部分を含む仮想ブロックの前記参照ブロックに対する相対位置を定義し、
   前記計算する手段は、残差ブロックが：
   前記第１の参照部分のデータサンプルと前記現在ブロックの第１の現在部分の対応するデータサンプルとの間の第１の差、及び
   前記第１の参照部分の相補部分である仮想ブロックの第２の参照部分のデータサンプルの予測と、前記第１の現在部分の相補部分である前記現在ブロックの第２の現在部分のデータサンプルとの間の第２の差、
   から計算される、ように構成された動き予測装置。
10. 一連のフレームを符号化するための符号器であって、動きベクトルを所定の正確性をもって計算するための請求項９記載の動き予測装置と、前記動きベクトル及びその関連する残差ブロックを符号化する手段を有することを特徴とする符号器。
11. コンピュータプログラムであって、演算処理装置によって前記プログラムが実行されるとき、請求項１記載の動き予測方法を実行するためのプログラム命令を有することを特徴とするコンピュータプログラム。

Images