JP2012235278A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents
動画像符号化装置、動画像符号化方法及び動画像符号化プログラム Download PDFInfo
- Publication number
- JP2012235278A JP2012235278A JP2011101944A JP2011101944A JP2012235278A JP 2012235278 A JP2012235278 A JP 2012235278A JP 2011101944 A JP2011101944 A JP 2011101944A JP 2011101944 A JP2011101944 A JP 2011101944A JP 2012235278 A JP2012235278 A JP 2012235278A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- encoded
- candidate
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動きベクトル予測において符号化される差分ベクトルの符号量を削減する。
【解決手段】絶対値ベクトル生成部200は、符号化対象ブロックの第1の動きベクトルと予測動きベクトルとの差分ベクトルの水平成分および垂直成分を絶対値化した符号化ベクトルを生成する。候補差分ベクトル生成部203は、符号化ベクトルの水平成分および垂直成分に正負の符号を割り当てることにより、複数の候補差分ベクトルを生成する。候補動きベクトル算出部204は、各候補差分ベクトルと予測動きベクトルとを加算して候補動きベクトルを算出する。テンプレート評価部201は、符号化対象ブロックに対して復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出する。動きベクトル補正部202は、相関度が最も高い候補動きベクトルを第2の動きベクトルとする。
【選択図】図4
【解決手段】絶対値ベクトル生成部200は、符号化対象ブロックの第1の動きベクトルと予測動きベクトルとの差分ベクトルの水平成分および垂直成分を絶対値化した符号化ベクトルを生成する。候補差分ベクトル生成部203は、符号化ベクトルの水平成分および垂直成分に正負の符号を割り当てることにより、複数の候補差分ベクトルを生成する。候補動きベクトル算出部204は、各候補差分ベクトルと予測動きベクトルとを加算して候補動きベクトルを算出する。テンプレート評価部201は、符号化対象ブロックに対して復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出する。動きベクトル補正部202は、相関度が最も高い候補動きベクトルを第2の動きベクトルとする。
【選択図】図4
Description
本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測で利用する動きベクトルの符号化技術に関する。
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き方向に動き量だけ、対象画像の対象ブロックと同一の位置から移動した位置の参照画像を予測信号として生成する技術である。
また、動きベクトルについても、対象ブロックに隣接するブロックの動きベクトルを予測動きベクトルとし、符号化対象ブロックの動きベクトルと予測動きベクトルとの差分を求め、差分ベクトルを符号化することで圧縮効率を向上させている。
MPEG−4AVCでは、MPEG−2よりも動き補償予測のブロックサイズを細かくすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、動きベクトルの符号量が問題となった。そのため複数の隣接ブロックを用いて予測動きベクトルを求めることで予測動きベクトルの精度を向上させ、動きベクトルの符号量の増加を抑制している。
一方、差分ベクトルの符号量を削減する試みもなされている。特許文献1には、符号化時に差分ベクトルを量子化し、復号時に逆量子化する方法が開示されている。特許文献2には、復号対象ブロックの周辺領域を用いたテンプレートマッチングによって動きベクトルを復号時に検出し、差分ベクトルを伝送しない方法が開示されている。
特許文献1に記載された方法においては、量子化による動きベクトルの精度の劣化具合によっては動き補償予測の効率が低下するという場合があった。また、特許文献2に記載された方法では、復号対象ブロックと周辺領域の相関が低い場合に動きベクトルの精度が劣化して動き補償予測の効率が低下することがあり、さらには差分ベクトルが大きい場合には差分ベクトルを求めるための復号側の処理量が増えることがあった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、復号側の処理量の増加を抑制しつつ、動き補償予測の効率の低下を抑制し、差分ベクトルの圧縮効率を向上させることのできる動きベクトル符号化技術及び動きベクトル復号技術を提供することにある。
上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の符号化対象ブロックの第1の動きベクトルを検出する動きベクトル検出部(107)と、前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部(109)と、前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した符号化ベクトルを生成する絶対値ベクトル生成部(200)と、前記符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部(203)と、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部(204)と、前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部(201)と、前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとする動きベクトル補正部(202)と、前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部(105)と、画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部(102)と、前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部(106)と、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部(110)と、水平成分および垂直成分の少なくとも一方が絶対値化された前記符号化ベクトルを正負の符号のない符号列として生成する符号列生成部(103)とを含む。
本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像の符号化対象ブロックの第1の動きベクトルを検出する動きベクトル検出部(107)と、前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部(109)と、前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとする第1符号化ベクトル生成部(302)と、前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成する第2符号化ベクトル生成部(200)と、前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択する符号化ベクトル生成判定部(302)と、前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部(203)と、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部(204)と、前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部(201)と、前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとする動きベクトル補正部(202)と、前記第1の符号化ベクトルが選択された場合は前記第1の動きベクトルで動き補償予測し、前記第2の符号化ベクトルが選択された場合は前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部(105)と、画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部(102)と、前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部(106)と、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部(110)と、前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成する符号列生成部(300)とを含む。
本発明のさらに別の態様もまた、動画像符号化装置である。この装置は、動画像の符号化対象ブロックの動きベクトルを検出する動きベクトル検出部(107)と、前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部(109)と、前記動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとする第1符号化ベクトル生成部(302)と、前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成する第2符号化ベクトル生成部(200)と、前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択する符号化ベクトル生成判定部(302)と、前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部(203)と、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部(204)と、前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部(201)と、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一であれば前記第2の符号化ベクトルを選択し、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一でなければ前記第1の符号化ベクトルを選択する符号化ベクトル選択部(303)と、前記動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部(105)と、画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部(102)と、前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部(106)と、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部(110)と、前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成する符号列生成部(300)とを含む。
本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像の符号化対象ブロックの第1の動きベクトルを検出するステップと、前記符号化対象ブロックの予測動きベクトルを生成するステップと、前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとするステップと、前記第1の符号化ベクトルが選択された場合は前記第1の動きベクトルで動き補償予測し、前記第2の符号化ベクトルが選択された場合は前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するステップとを含む。
本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の符号化対象ブロックの動きベクトルを検出するステップと、前記符号化対象ブロックの予測動きベクトルを生成するステップと、前記動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一であれば前記第2の符号化ベクトルを選択し、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一でなければ前記第1の符号化ベクトルを選択するステップと、前記動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するとともに、符号化ベクトルが正負の符号のない符号列として符号化されているか否かを示す差分ベクトル導出フラグの符号化列を生成するステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、復号側の処理量の増加を抑制しつつ、動き補償予測の効率の低下を抑制し、差分ベクトルの圧縮効率を向上させることができる。
まず、本発明の実施の形態の前提となる技術を説明する。
現在、MPEG(Moving Picture Experts Group)などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
1995年にはMPEG−2ビデオ(ISO/IEC 13818−2)符号化方式が、汎用の映像圧縮符号化方式として制定され、DVD(Digital Versatile Disk)およびD−VHS(登録商標)規格のデジタルVTRによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
さらに、2003年に、国際標準化機構(ISO)と国際電気標準会議(IEC)のジョイント技術委員会(ISO/IEC)と、国際電気通信連合電気通信標準化部門(ITU−T)の共同作業によってMPEG−4 AVC/H.264と呼ばれる符号化方式(ISO/IECでは14496−10、ITU−TではH.264の規格番号がつけられている。以下、これをMPEG−4AVCと呼ぶ)が国際標準として制定された。
これらの符号化方式では、動き補償予測が利用される。動き補償予測では、動きベクトルで示される動きの方向と量を考慮して参照ピクチャから予測値を得る。動き補償予測で得られた予測値と符号化対象ピクチャの画素値との差分値を符号化することで冗長度を取り除き、圧縮効率を高めることができる。
なお、動きベクトルの予測符号化をする場合は、動きベクトルと予測動きベクトルとの差分ベクトルが符号化される。
以下、図面とともに本発明の実施の形態に係る動画像符号化装置および動画像復号装置について詳細に説明する。なお、図面において同一要素には同一符号を付与し、重複する説明を適宜省略する。
(第1の実施の形態)
図1は、第1の実施の形態の動画像符号化装置100の構成を示す図である。動画像符号化装置100は、減算部101、予測誤差符号化部102、符号列生成部103、予測誤差復号部104、動き補償部105、加算部106、動きベクトル検出部107、符号化ベクトル生成部108、予測動きベクトル生成部109、フレームメモリ110、および動きベクトルメモリ111を含む。
図1は、第1の実施の形態の動画像符号化装置100の構成を示す図である。動画像符号化装置100は、減算部101、予測誤差符号化部102、符号列生成部103、予測誤差復号部104、動き補償部105、加算部106、動きベクトル検出部107、符号化ベクトル生成部108、予測動きベクトル生成部109、フレームメモリ110、および動きベクトルメモリ111を含む。
動画像符号化装置100は、入力された動画像信号をブロック単位で符号化する。ブロックサイズは一例として、水平8画素×垂直8画素とする。なお、符号化対象ブロックの位置情報に関しては動画像符号化装置100内で共有していることとし、図示しない。
減算部101は、端子10より供給される画像信号と動き補償部105より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を予測誤差符号化部102に供給する。
予測誤差符号化部102は、減算部101より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成し、予測誤差符号化データを符号列生成部103及び予測誤差復号部104に供給する。
符号列生成部103は、予測誤差符号化部102より供給される予測誤差符号化データから予測誤差符号列を生成すると共に、符号化ベクトル生成部108より供給される符号化ベクトルから符号化ベクトル符号列を生成し、予測誤差符号列と符号化ベクトル符号列を端子11に出力する。
ここで、符号化ベクトル符号列について図2を用いて説明する。本実施の形態では、符号列生成部103は、符号化ベクトル符号列として符号のない整数の符号列を用いる。例えば、図2(A)で示されるMPEG−4AVCで定義されている符号なし指数ゴロム符号を利用する。
一般的に、動画像の動きベクトルは画像の下方向と右方向の移動量はプラスとして、上方向と左方向の移動量はマイナスとして表現される。そのため、一般的に符号化ベクトルは符号のある整数で表現される。例えば、MPEG−4AVCでは、符号化ベクトル符号列として図2(B)で示される符号あり指数ゴロム符号が利用される。
図2(A)と図2(B)を比較すると、絶対値が2、4、5、6などでは、符号なし指数ゴロム符号は符号あり指数ゴロム符号に比べて2ビット少なく符号化できる。
予測誤差復号部104は、予測誤差符号化部102より供給される予測誤差符号化データに対して逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部106に供給する。
動き補償部105は、動きベクトルメモリ111より供給される動きベクトルを考慮して、フレームメモリ110内の参照画像を動き補償して予測信号を生成し、予測信号を加算部106に供給する。
加算部106は、予測誤差復号部104より供給される予測誤差信号と動き補償部105より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ110に供給する。
動きベクトル検出部107は、端子10より供給される画像信号とフレームメモリ110より供給される参照画像信号から動きベクトルを検出し、動きベクトルを動きベクトルメモリ111に供給する。
一般的な動きベクトルの検出方法として、参照画像において対象画像の対象ブロックと同一の位置から所定の移動量だけ移動した位置の参照画像信号と、画像信号との間の誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すSAD(Sum of Absolute Difference)や自乗誤差平均を示すMSE(Mean Square Error)等を利用することが可能である。
符号化ベクトル生成部108は、動きベクトルメモリ111より供給される動きベクトル、予測動きベクトル生成部109より供給される予測動きベクトル、フレームメモリ110より供給される復号画像信号と参照画像信号から、動きベクトルと予測動きベクトルとの差分ベクトルの成分を絶対値化した符号化ベクトルを生成し、符号化ベクトルを符号列生成部103に供給する。また、符号化ベクトル生成部108は、動きベクトルを補正し、補正した動きベクトルを動きベクトルメモリ111に供給する。
符号化ベクトル生成部108の詳細な構成と、符号化ベクトル生成部108による差分ベクトルの絶対値化処理および動きベクトルの補正処理については後述する。
予測動きベクトル生成部109は、動きベクトルメモリ111より供給される隣接ブロックの動きベクトルから符号化対象ブロックの予測動きベクトルを生成し、予測動きベクトルを符号化ベクトル生成部108に供給する。
隣接ブロックについて図3を用いて説明する。隣接ブロックは符号化済みのブロックから選択される。符号化対象ブロックXに関して、左のブロックA、上のブロックB、右上のブロックC、左上のブロックDを隣接ブロックとする。
本実施の形態の予測動きベクトルの生成方法は、例えば、MPEG−4AVCに準じるものとし、隣接ブロックであるブロックA、ブロックB、及びブロックCの動きベクトルの中間値を符号化対象ブロックXの予測動きベクトルとする。なお、ブロックDの動きベクトルはブロックCが有効でない(無効である)場合にブロックCの代わりに用いられる。
ブロックが有効であるということはブロックの画素が存在していることであり、隣接ブロックが有効かどうかは、符号化対象ブロックの位置から判断することができる。例えば、画像の左端ではブロックAが無効となり、画像の上端ではブロックBが無効となる。なお、ブロックが有効かどうかは、そのブロックに動きベクトルが存在しているかどうかで判断することもできる。例えば、符号化対象ブロックが画面内相関だけを用いて符号化されるイントラブロックの場合は有効ではないとしてもよい。
フレームメモリ110は、加算部106より供給される復号画像信号を記憶すると共に、画像全体の復号が完了した復号画像については参照画像として記憶し、復号画像信号を符号化ベクトル生成部108に、参照画像信号を動き補償部105及び符号化ベクトル生成部108に供給する。
動きベクトルメモリ111は、符号化ベクトル生成部108より供給される動きベクトルを1画像分記憶し、動きベクトルを動き補償部105に供給すると共に、隣接ブロックの動きベクトルを予測動きベクトル生成部109に供給する。また、動きベクトルメモリ111は、動きベクトル検出部107より供給される動きベクトルを一時的に記憶し、符号化ベクトル生成部108に供給する。
続いて、符号化ベクトル生成部108の詳細な構成について図4を用いて説明する。
符号化ベクトル生成部108は、絶対値ベクトル生成部200、テンプレート評価部201、動きベクトル補正部202、候補差分ベクトル生成部203、および候補動きベクトル算出部204を含む。端子21は動きベクトルメモリ111に、端子22は予測動きベクトル生成部109に、端子23はフレームメモリ110に、端子24は符号列生成部103に、端子25は動きベクトルメモリ111に接続されている。端子20からは所定の形状のテンプレートが入力される。
絶対値ベクトル生成部200は、端子21より供給される動きベクトルMVから端子22より供給される予測動きベクトルPMVを減算して差分ベクトルDMVを算出し、差分ベクトルDMVの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルCDMVを生成し、符号化ベクトルCDMVを候補差分ベクトル生成部203に、予測動きベクトルPMVを候補動きベクトル算出部204に供給する。
候補差分ベクトル生成部203は、絶対値ベクトル生成部200より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部204に供給する。候補差分ベクトルの詳細な生成処理については後述する。
候補動きベクトル算出部204は、それぞれの候補差分ベクトルに絶対値ベクトル生成部200より供給される予測動きベクトルPMVを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部201に供給する。
テンプレート評価部201は、端子20より設定された所定の形状のテンプレートに基づいて端子23より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部204から供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子23より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を動きベクトル補正部202に供給する。
テンプレートについて図5を用いて説明する。テンプレートは、符号化対象ブロックと相関の高い符号化対象ブロックの周辺領域が選択されるような形状に設定される。本実施の形態では、テンプレートは図5の斜線部のような形状とし、T_height、T_widthはそれぞれ2画素とする。復号画像テンプレート信号(復号画像テンプレート領域)は図5においてブロックXを符号化対象ブロックとした時の領域Tの復号画像信号である。参照画像テンプレート信号(参照画像テンプレート領域)は領域Tを候補動きベクトルに基づいて動き補償した領域の参照画像信号である。
動きベクトル補正部202は、テンプレート評価部201より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択し、符号化対象ブロックの動きベクトルMVが最小誤差候補動きベクトルと等しくなるように補正し、補正した動きベクトルを端子25に供給する。なお、最小の誤差評価値を持つ候補動きベクトルが複数ある場合には、最初に評価した候補動きベクトルを最小誤差候補動きベクトルとして選択する。また、動きベクトル補正部202は、各成分が絶対値化された符号化ベクトルを端子24に供給する。
続いて、図6のフローチャートを用いて、本実施の形態の動画像符号化装置100における符号化処理を説明する。
動きベクトル検出部107は、端子10より供給される画像信号とフレームメモリ110より供給される参照画像信号から動きベクトルを検出する(ステップS100)。
予測動きベクトル生成部109は、動きベクトルメモリ111より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成する(ステップS101)。
符号化ベクトル生成部108は、動きベクトルメモリ111より供給される動きベクトル、予測動きベクトル生成部109より供給される予測動きベクトル、フレームメモリ110より供給される復号画像信号と参照画像信号から符号化ベクトルを決定する(ステップS102)。
動き補償部105は、動きベクトルメモリ111より供給される動きベクトルを考慮して、フレームメモリ110内の参照画像を動き補償して予測信号を生成する(ステップS103)。
減算部101は、端子10より供給される画像信号と動き補償部105より供給される予測信号を減算して予測誤差信号を算出する(ステップS104)。
予測誤差符号化部102は、減算部101より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成する(ステップS105)。
符号列生成部103は、予測誤差符号化部102より供給される予測誤差符号化データから予測誤差符号列を生成すると共に、符号化ベクトル生成部108より供給される符号化ベクトルから符号化ベクトル符号列を生成する(ステップS106)。
加算部106は、予測誤差復号部104より供給される予測誤差信号と動き補償部105より供給される予測信号を加算して復号画像信号を生成する(ステップS107)。
フレームメモリ110は、加算部106より供給される復号画像信号を記憶する(ステップS108)。動きベクトルメモリ111は、符号化ベクトル生成部108より供給される動きベクトルを記憶する(ステップS109)。
図7は、図6のステップS102の符号化ベクトルの決定処理を説明するフローチャートである。
符号化ベクトル生成部108のテンプレート評価部201は、候補動きベクトルの評価処理を実行し(ステップS200)、動きベクトル補正部202は、その評価結果にもとづいて符号化対象ブロックの動きベクトルが最小誤差候補動きベクトルと等しくなるように動きベクトルを補正する(ステップS201)。
図8は、図7のステップS200の候補動きベクトルの評価処理を説明するフローチャートである。
絶対値ベクトル生成部200は、端子21より供給される動きベクトルから端子22より供給される予測動きベクトルを減算して差分ベクトルを算出し、差分ベクトルの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルを生成する(ステップS300)。
テンプレート評価部201は、端子20より設定された所定の形状のテンプレートに基づいて端子23より復号画像テンプレート信号を取得する(ステップS301)。
候補差分ベクトル生成部203は、絶対値ベクトル生成部200より供給される符号化ベクトルに対して、符号化ベクトルの絶対値化された水平成分および垂直成分に正負の符号を割り当てることにより、複数個の候補差分ベクトルを生成する(ステップS302)。
候補差分ベクトル生成部203により生成された複数個の候補差分ベクトルについてステップS304〜ステップS306の処理を繰り返して行う。候補差分ベクトルがEN個生成され、i番目の候補差分ベクトルについて処理しているものとする。
候補動きベクトル算出部204は、絶対値ベクトル生成部200より供給される予測動きベクトルと候補差分ベクトルを加算して候補動きベクトルを算出する(ステップS304)。
テンプレート評価部201は、候補動きベクトル算出部204より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子23より取得する(ステップS305)。
テンプレート評価部201は、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出する(ステップS306)。誤差評価値としては、絶対差分和を示すSAD(Sum of Absolute Difference)や自乗誤差平均を示すMSE(Mean Square Error)等を利用することが可能である。
動きベクトル補正部202は、テンプレート評価部201より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択する(ステップS308)。
図9は、図8のステップS302の候補差分ベクトルの生成処理を説明するフローチャートである。符号化ベクトルの水平成分をCDMVX、垂直成分をCDMVYとして示す。
符号化ベクトルの水平成分が0でないことを判定する(ステップS400)。符号化ベクトルの水平成分が0でなければ、符号化ベクトルの垂直成分が0でないことを検査する(ステップS401)。
符号化ベクトルの水平成分と垂直成分が共に0でなければ、水平成分と垂直成分のそれぞれに(+)符号と(−)符号を付与した4つの候補差分ベクトル(CDMVX,CDMVY)、(−CDMVX,CDMVY)、(CDMVX,−CDMVY)、(−CDMVX,−CDMVY)を設定し、候補差分ベクトル数ENを4に設定する(ステップS402)。
符号化ベクトルの水平成分は0であるが、垂直成分が0でなければ、垂直成分に(+)符号と(−)符号を付与した2つの候補差分ベクトル(CDMVX,0)、(−CDMVX,0)を設定し、候補差分ベクトル数ENを2に設定する(ステップS403)。符号化ベクトルの水平成分は0でないが、垂直成分が0であれば、水平成分に(+)符号と(−)符号を付与した2つの候補差分ベクトル(0,CDMVX)、(0,−CDMVX)を設定し、候補差分ベクトル数ENを2に設定する(ステップS404)。
以上のように、本実施の形態による動画像符号化装置100によれば、差分ベクトルの正負の符号を符号化せず、復号画像テンプレート信号と参照画像テンプレート信号の相関度を利用して復号時に差分ベクトルの正負の符号を再生することで、差分ベクトルの正負の符号に必要な情報量を削減することができる。また、正負の符号を再生するだけなのでテンプレートのマッチング回数を最大でも4回に抑制することができる。
図10は、第1の実施の形態の動画像復号装置500の構成を示す図である。動画像復号装置500は、上述の動画像符号化装置100によって符号化された動画像の符号化ストリームからブロック単位で動画像データを復号する。ブロックサイズは水平8画素×垂直8画素とする。動画像復号装置500において、動画像符号化装置100と共通する前提事項や処理については適宜説明を省略する。
なお、復号対象ブロックの位置情報に関しては動画像復号装置500内で共有していることとし、図示しない。
本実施の形態の動画像復号装置500は、符号列解析部501、予測誤差復号部502、加算部503、差分ベクトル再生部504、動きベクトル算出部505、動き補償部506、予測動きベクトル生成部507、動きベクトルメモリ508、およびフレームメモリ509を含む、
符号列解析部501は、端子510より供給された復号対象ブロックの入力符号列を復号して予測誤差符号化データ、符号化ベクトルを取得し、予測誤差符号化データを予測誤差復号部502に、符号化ベクトルを差分ベクトル再生部504に供給する。
ここで、本実施の形態では、符号化ベクトルの符号列として符号のない整数の符号列が用いられている。例えば、図2(A)で示されるMPEG−4AVCで定義されている符号なし指数ゴロム符号が利用される。
予測誤差復号部502は、符号列解析部501より供給される予測誤差符号化データに対して逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部503に供給する。
加算部503は、予測誤差復号部502より供給される予測誤差信号と動き補償部506より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ509に供給する。
差分ベクトル再生部504は、符号列解析部501より供給される符号化ベクトル、予測動きベクトル生成部507より供給される予測動きベクトル、フレームメモリ509より供給される復号画像信号と参照画像信号から差分ベクトルを再生し、差分ベクトルを動きベクトル算出部505に供給する。差分ベクトル再生部504の詳細な構成は後述する。
動きベクトル算出部505は、差分ベクトル再生部504より供給される差分ベクトルと予測動きベクトル生成部507より供給される予測動きベクトルを加算して動きベクトルを算出し、動きベクトルを動き補償部506と動きベクトルメモリ508に供給する。
動き補償部506は、動きベクトル算出部505より供給される動きベクトルを考慮して、フレームメモリ509内の参照画像を動き補償して予測信号を生成し、予測信号を加算部503に供給する。
予測動きベクトル生成部507は、動きベクトルメモリ508より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成し、予測動きベクトルを差分ベクトル再生部504に供給する。
予測動きベクトル生成部507が行う予測動きベクトルの生成方法は、動画像符号化装置100の予測動きベクトル生成部109が行う予測動きベクトルの生成方法と同じである。
動きベクトルメモリ508は、動きベクトル算出部505より供給される動きベクトルを1画像分記憶し、隣接ブロックの動きベクトルを予測動きベクトル生成部507に供給する。
フレームメモリ509は、加算部503より供給される復号画像信号を記憶すると共に、画像全体の復号が完了した復号画像については参照画像として記憶し、復号画像信号を差分ベクトル再生部504に、参照画像信号を動き補償部506及び差分ベクトル再生部504に供給する。
続いて、差分ベクトル再生部504の詳細な構成について図11を用いて説明する。
差分ベクトル再生部504は、差分ベクトル決定部600、テンプレート評価部601、候補差分ベクトル生成部602、および候補動きベクトル算出部603を含む。端子621は符号列解析部501に、端子622は動きベクトルメモリ508に、端子623はフレームメモリ509に、端子624は動きベクトル算出部505に接続されている。
候補差分ベクトル生成部602は、端子621より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部603に供給する。候補差分ベクトル生成部602による候補差分ベクトルの生成処理は、動画像符号化装置の候補差分ベクトル生成部203による候補差分ベクトルの生成処理と同じである。
候補動きベクトル算出部603は、それぞれの候補差分ベクトルに端子622より供給される予測動きベクトルを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部601に供給する。
テンプレート評価部601は、端子620より設定された所定の形状のテンプレートに基づいて端子623より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部603より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子23より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を差分ベクトル決定部600に供給する。テンプレート評価部601による評価処理は、動画像符号化装置のテンプレート評価部201による評価処理と同じである。
差分ベクトル決定部600は、テンプレート評価部601より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルに対応する候補差分ベクトルを最小誤差候補差分ベクトルとして決定し、最小誤差候補差分ベクトルを差分ベクトルとして端子624に供給する。
続いて、図12のフローチャートを用いて、本実施の形態の動画像復号装置500における復号処理を説明する。
符号列解析部501は、端子10よりブロック単位で供給された入力符号列から符号化ベクトルを取得する(ステップS600)。
予測動きベクトル生成部507は、動きベクトルメモリ508より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成する(ステップS601)。
差分ベクトル再生部504は、符号列解析部501より供給される符号化ベクトル、予測動きベクトル生成部507より供給される予測動きベクトル、フレームメモリ509より供給される復号画像信号および参照画像信号から、差分ベクトルを再生する(ステップS602)。
動きベクトル算出部505は、差分ベクトル再生部504より供給される差分ベクトルと予測動きベクトル生成部507より供給される予測動きベクトルを加算して動きベクトルを算出する(ステップS603)。
動き補償部506は、動きベクトル算出部505より供給される動きベクトルを考慮して、フレームメモリ509内の参照画像を動き補償して予測信号を生成する(ステップS604)。
予測誤差復号部502は、符号列解析部501より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する(ステップS605)。
加算部503は、予測誤差復号部502より供給される予測誤差信号と動き補償部506より供給される予測信号を加算して復号画像信号を生成する(ステップS606)。
フレームメモリ509は、加算部503より供給される復号画像信号を記憶する(ステップS607)。動きベクトルメモリ508は、差分ベクトル再生部504より供給される動きベクトルを記憶する(ステップS608)。
図13は、図12のステップS602の差分ベクトルの再生処理を説明するフローチャートである。
テンプレート評価部601は、端子620より設定された所定の形状のテンプレートに基づいて端子623より復号画像テンプレート信号を取得する(ステップS700)。
候補差分ベクトル生成部602は、端子621より供給される符号化ベクトルに対して、符号化ベクトルの絶対値化された水平成分および垂直成分に正負の符号を割り当てることにより、複数個の候補差分ベクトルを生成する(ステップS701)。
候補差分ベクトル生成部602により生成された複数個の候補差分ベクトルについてステップS703〜ステップS705の処理を繰り返して行う。候補差分ベクトルがEN個生成され、i番目の候補差分ベクトルについて処理しているものとする。
候補動きベクトル算出部603は、予測動きベクトルと候補差分ベクトルを加算して候補動きベクトルを算出する(ステップS703)。
テンプレート評価部601は、候補動きベクトル算出部603より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子623より取得する(ステップS704)。テンプレート評価部601は、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出する(ステップS705)。
差分ベクトル決定部600は、テンプレート評価部601より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルに対応する候補差分ベクトルを最小誤差候補差分ベクトルとして決定する(ステップS707)
ステップS201の候補差分ベクトルの生成処理は、動画像符号化装置における図8のステップS302の候補差分ベクトルの生成処理と同じであるから、説明を省略する。
図14は、動画像復号装置500による差分ベクトルの再生処理の具体例を説明する図である。符号化ベクトルが(3,3)であるとすると、4つの候補差分ベクトルとして、CDMV1=(3,3)、CDMV2=(3,−3)、CDMV3=(−3,−3)、CDMV4=(−3,3)が定義される。予測動きベクトルPMVが(−8,1)であるとすると、4つの候補動きベクトルは、CMV1=(−5,4)、CMV2=(−5,−2)、CMV3=(−11,−2)、CMV4=(−11,4)となり、これら4つの候補動きベクトルについてテンプレート領域を用いた相関度の評価を行う。第4の候補動きベクトルCMV4の評価値が最小であったとすると、それに対応する第4の差分ベクトルCDMV4=(−3,3)を差分ベクトルに決定する。
以上のように、本実施の形態による動画像復号装置500によれば、差分ベクトルの符号を符号化せず、復号画像テンプレート信号と参照画像テンプレート信号の相関度を利用して復号時に差分ベクトルの符号を再生することで、差分ベクトルの符号に必要な情報量を削減することができる。また、符号を再生するだけなのでテンプレートのマッチング回数を最大でも4回に抑制することができる。
なお、本実施の形態の動画像符号化装置100および動画像復号装置500には以下の変形例を適用できる。
本実施の形態では符号化/復号対象ブロックサイズを水平8画素×垂直8画素としているが、本実施の形態は他のブロックサイズでも実施できるため、このサイズには限定されない。水平4画素×垂直4画素、水平16画素×垂直16画素、水平16画素×垂直8画素などでもよい。
本実施の形態では符号化ベクトル符号列を符号なし指数ゴロム符号としたが、本実施の形態は他の符号列でも実施できるため、この符号列には限定されない。ハフマン符号などでもよい。
本実施の形態では隣接ブロックの位置を図3で示した位置としているが、本実施の形態は他の隣接ブロックでも実施できるため、この位置には限定されない。例えば、図15のように左下のブロックEを追加してもよく、符号化/復号対象ブロックと隣接ブロックのブロックサイズの関係によっては、左や上の小さいブロック(A1、A2やB1、B2)を追加してもよい。さらに、隣接ブロックは空間的に符号化/復号対象ブロックと隣接している同じピクチャ内にあるブロックのみならず、時間的に符号化/復号対象ブロックと隣接している直前に符号化した参照ピクチャの符号化/復号対象ブロックと同一位置のブロックまたはそれに隣接するブロックでもよい。また、符号化/復号対象ブロックの位置によっては、隣接ブロックが存在しない場合がある。その場合には、存在する隣接ブロックのみを隣接ブロックにすることができる。
本実施の形態ではテンプレートの形状を図5のようにしているが、本実施の形態は他のテンプレートの形状でも実施できるため、この形状には限定されない。例えば、図16のように上方向と左方向の長さや幅が異なっていてもよいし、符号化/復号対象ブロックと隣接していなくてもよい。また、符号化/復号対象ブロックの位置によっては、テンプレートとして定義される領域内の画素が存在しない場合がある。その場合には、存在する画素のみでテンプレートを構成することもできる。また、本実施の形態ではテンプレートの形状を端子20より設定しているが、符号化ストリーム中に記述することもできる。
本実施の形態では、差分ベクトルの水平成分と垂直成分の両方を絶対値化した符号化ベクトルを生成し、符号化ベクトルの水平成分と垂直成分のそれぞれに(+)符号と(−)符号を付与した4つの候補差分ベクトルを設定するとしたが、本実施の形態は、差分ベクトルの水平成分と垂直成分のいずれか一方を絶対値化した符号化ベクトルを生成し、符号化ベクトルの水平成分と垂直成分のいずれかに(+)符号と(−)符号を付与しても実施できる。
本実施の形態では符号化/復号対象ブロックの動きベクトルが1つである場合について説明したが、本実施の形態は符号化/復号対象ブロックの動きベクトルが複数あっても実施できるため、これに制限されない。例えば、MPEG−4AVCで利用される双方向予測では符号化/復号対象ブロックの動きベクトルは2つであり、それぞれの動きベクトルで動き補償して得た参照信号を平均して予測信号としている。
本実施の形態では参照画像が1つである場合について説明したが、本実施の形態は参照画像が複数あっても実施できるため、これに制限されない。例えば、参照画像が複数ある場合には、全ての参照画像について各候補動きベクトルに基づいて動き補償した参照画像テンプレート信号の相関度の評価を行い、最も相関度の高い候補動きベクトルと参照画像の組み合わせを選択することができる。このようにすることで、例えば、MPEG−4AVCでは参照画像を指定するのに参照画像を示すフラグを符号化する必要があるが、本実施の形態によればこのような参照画像を示すフラグを符号化することなく、複数の参照画像の中から最適な参照画像を選択することが可能となる。
本実施の形態では動きベクトルメモリ111、508は、1画像分の動きベクトルを記憶するとしたが、隣接ブロックが取得可能であれば、これに限定されない。例えば、2ライン分の動きベクトルを記憶してもよい。
(第2の実施の形態)
本発明の第2の実施の形態の動画像符号化装置の構成は、第1の実施の形態における構成と、符号列生成部と符号化ベクトル生成部の詳細な構成を除いて同一である。以下、本実施の形態における符号列生成部300と符号化ベクトル生成部301について説明する。
本発明の第2の実施の形態の動画像符号化装置の構成は、第1の実施の形態における構成と、符号列生成部と符号化ベクトル生成部の詳細な構成を除いて同一である。以下、本実施の形態における符号列生成部300と符号化ベクトル生成部301について説明する。
符号列生成部300は、符号化ベクトル生成部301より差分ベクトル導出信号が供給された場合、差分ベクトル導出信号を0または1の1ビットの符号列として端子11に供給する。
ここで、「差分ベクトル導出信号」について説明する。差分ベクトル導出信号は0または1の信号である。差分ベクトル導出信号が1であれば、差分ベクトルの各成分を絶対値化して、正負の符号のない符号列として符号化ベクトルを符号化し、復号時に差分ベクトルの正負の符号を再生する。これにより符号化ベクトルの符号量を削減できる。一方、差分ベクトル導出信号が0であれば、差分ベクトルの各成分を絶対値化せずに、正負符号のある符号列として符号化ベクトルを符号化し、復号時に通常のように動きベクトルを再生する。この場合、予測誤差を最小とする動きベクトルを再生することで、予測誤差の符号量を削減できる。復号側でこの切り替えができるように、符号列生成部300は、差分ベクトル導出信号を符号化して符号化ストリームに含める。
また、符号列生成部300は、符号化ベクトル生成部301より供給される符号列指定信号に応じて、符号化ベクトル生成部301より供給される符号化ベクトル符号列を生成し、符号化ベクトル符号列を端子11に供給する。
ここで、符号化ベクトル符号列の生成について説明する。符号列指定信号が1の場合、正負の符号のない符号列である符号なし指数ゴロム符号を用いて符号化ベクトル符号列を生成し、符号列指定信号が0の場合、正負の符号のある符号列である符号あり指数ゴロム符号を用いて符号化ベクトル符号列を生成する。「符号列指定信号」は、符号化ベクトル符号列を生成する際、正負の符号のない指数ゴロム符号を用いるか、正負の符号のある指数ゴロム符号を用いるかを符号列生成部300に指示する信号として用いられるだけであり、符号化ストリームには含まれない。
続いて、符号化ベクトル生成部301の詳細な構成を図17に示す。本実施の形態における符号化ベクトル生成部301の構成は、第1の実施の形態の符号化ベクトル生成部108とは、生成判定部302を新たに設けた点と、第1の実施の形態の動きベクトル補正部202の代わりに符号化ベクトル選択部303を設けた点が異なる。また、絶対値ベクトル生成部200の入力が端子21、端子22の代わりに生成判定部302に接続されている点も異なる。以下、第1の実施の形態とは異なる点を中心に説明する。
生成判定部302は、端子21より供給される動きベクトルから端子22より供給される予測動きベクトルを減算して差分ベクトルを算出し、差分ベクトルを符号化ベクトル選択部303に供給する。
また、生成判定部302は、符号化ベクトル生成判定を行う。符号化ベクトル生成判定の詳細な処理については後述する。符号化ベクトル生成判定の結果が1の場合、生成判定部302は、動きベクトルと予測動きベクトルを絶対値ベクトル生成部200に供給する。一方、符号化ベクトル生成判定の結果が0の場合、生成判定部302は、符号列指定信号を0に設定し、差分ベクトルを符号化ベクトルに設定し(すなわち差分ベクトルの成分の絶対値化をしないでそのまま符号化ベクトルとする)、符号列指定信号と符号化ベクトルを端子24に供給する。
絶対値ベクトル生成部200は、動きベクトルMVから予測動きベクトルPMVを減算して差分ベクトルDMVを算出し、差分ベクトルDMVの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルCDMVを生成し、符号化ベクトルCDMVを候補差分ベクトル生成部203に、予測動きベクトルPMVを候補動きベクトル算出部204に供給する。
候補差分ベクトル生成部203は、絶対値ベクトル生成部200より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部204に供給する。候補差分ベクトルの生成処理については第1の実施の形態と同じである。
候補動きベクトル算出部204は、それぞれの候補差分ベクトルに絶対値ベクトル生成部200より供給される予測動きベクトルPMVを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部201に供給する。
テンプレート評価部201は、端子20より設定された所定の形状のテンプレートに基づいて端子23より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部204から供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子23より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を符号化ベクトル選択部303に供給する。
符号化ベクトル選択部303は、テンプレート評価部201より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択し、最小誤差候補動きベクトルが動きベクトルMVと一致するかどうかを判定し、判定結果に応じて、差分ベクトル導出信号、符号列指定信号、および符号化ベクトルを生成し、端子24に供給する。
符号化ベクトル選択部303は、最小誤差候補動きベクトルが動きベクトルMVと一致する場合は、差分ベクトル導出信号を1に、符号列指定信号を1に設定し、各成分が絶対値化された符号化ベクトルを出力するが、最小誤差候補動きベクトルが動きベクトルMVとが一致しない場合は、差分ベクトル導出信号を0に、符号列指定信号を0に設定し、差分ベクトルDMVを符号化ベクトルCDMVとして(すなわち差分ベクトルの成分の絶対値化をしないでそのまま符号化ベクトルとして)出力する。
本実施の形態における動画像符号化装置の符号化処理は、第1の実施の形態における符号化処理と、符号化ベクトルの決定と符号列の生成の処理を除いて同一であるから、第1の実施の形態とは異なる点を主に説明する。以下、図18のフローチャートを用いて、符号化ベクトルの決定処理を説明する。
生成判定部302は、端子21より供給される動きベクトルから端子22より供給される予測動きベクトルを減算して差分ベクトルを算出する(ステップS500)。
生成判定部302は、符号化ベクトル生成判定を行う(ステップS501)。
生成判定部302は、符号化ベクトル生成判定結果が1であるかどうかを判定する(ステップS502)。符号化ベクトル生成判定の結果が1の場合、候補動きベクトルの評価処理に進む(ステップS503)。ステップS503の候補動きベクトルの評価処理は、第1の実施の形態で説明したステップS200の候補動きベクトルの評価処理(図7、図8)と同じである。
一方、符号化ベクトル生成判定の結果が0の場合、生成判定部302は、符号列指定信号を0に設定し、差分ベクトルをそのまま(すなわち各成分を絶対値化しないで)符号化ベクトルに設定する(ステップS507)。このとき、符号化ストリームには差分ベクトル導出信号は挿入されない。
符号化ベクトル選択部303は、最小誤差候補動きベクトルと動きベクトルが同一であるかどうかを判定する(ステップS504)。
最小誤差候補動きベクトルと動きベクトルが同一である場合、符号化ベクトル選択部303は、差分ベクトル導出信号を1に設定し、符号列指定信号を1に設定する(ステップS505)。
一方、最小誤差候補動きベクトルと動きベクトルが同一でない場合、符号化ベクトル選択部303は、差分ベクトル導出信号を0に設定する(ステップS506)。さらに、符号列指定信号を0に設定し、差分ベクトルをそのまま(すなわち各成分を絶対値化しないで)符号化ベクトルに設定する(ステップS507)。このとき、0に設定された差分ベクトル導出信号も符号化されて符号化ストリームに挿入される。
図19は、図18のステップS501の符号化ベクトル生成判定処理を説明するフローチャートである。
生成判定部302は、差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された所定値より大きいかどうかを判定する(ステップS600)。所定値は0以上の値とし、本実施の形態では、所定値を3とする。
差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された閾値より大きければ(S600のYES)、復号画像テンプレート領域が有効であるかどうかを判定する(ステップS601)。復号画像テンプレート領域が有効であるということは復号画像テンプレート領域の画素が存在していることであり、例えば、復号対象ブロックの位置から判断できる。続いて、復号画像テンプレート領域が有効であれば(S601のYES)、符号化ベクトル生成判定を1に設定する(ステップS602)。
一方、差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された閾値より大きくない場合(S600のNO)、または、復号画像テンプレート領域が有効でない場合(S601のNO)、符号化ベクトル生成判定を0に設定する(ステップS603)。
ここで、差分ベクトルの各成分の絶対値を閾値と比較する意義について説明する。一般的に、差分ベクトルが小さいほど、各候補動きベクトルに対する参照画像テンプレート信号と復号画像テンプレート信号の相関度は似たものとなり、最小誤差候補動きベクトルが動きベクトルと同一にならない確率が高くなる。これにより、符号化ベクトルの符号量を削減しても予測誤差の符号量が増加し、トータルの符号量が増加する可能性がある。そこで、閾値を設定しておき、差分ベクトルの各成分の絶対値が閾値以下である場合は、符号化ベクトル生成判定を0に設定し、差分ベクトルの正負の符号を外した符号化を行わないようにすることで、このような符号量の不都合な増加を抑制することができる。
以上のように、本実施の形態による動画像符号化装置によれば、テンプレートの相関度の信頼性が低い場合には、符号化ベクトル生成判定を0として符号化ベクトルを正負の符号のある符号列として符号化することで予測誤差の圧縮効率の低下を抑制することができる。
第2の実施の形態の動画像復号装置の構成は、第1の実施形態における構成と、符号列解析部と差分ベクトル再生部の詳細な構成を除いて同一である。以下、本実施の形態における符号列解析部700と差分ベクトル再生部701について説明する。
符号列解析部700は、端子510より供給された復号対象ブロックの入力符号列を復号して予測誤差符号化データ、符号化ベクトル、差分ベクトル導出フラグを取得し、予測誤差符号化データを予測誤差復号部502に、符号化ベクトルと差分ベクトル導出フラグを差分ベクトル再生部504に供給する。差分ベクトル導出フラグの符号列は、0または1の1ビットのフラグであり、これは、第2の実施の形態の動画像符号化装置において符号化された「差分ベクトル導出信号」に対応する。
続いて、差分ベクトル再生部701の詳細な構成を図20に示す。本実施の形態における差分ベクトル再生部701の構成は、第1の実施の形態の差分ベクトル再生部504における構成とは、判定部702と差分ベクトル変換部703を新たに設けた点が異なる。また、候補差分ベクトル生成部602の入力が端子621、端子622の代わりに判定部702に接続されている点も異なる。以下、第1の実施の形態とは異なる点を中心に説明する。
判定部702は、端子621より供給される符号化ベクトルと端子620より供給される予め設定された所定の形状のテンプレートとに基づいて差分ベクトル導出判定を行い、差分ベクトル導出判定結果が1であれば、符号化ベクトルを候補差分ベクトル生成部602に、端子622より供給される予測動きベクトルを候補動きベクトル算出部603に供給する。一方、差分ベクトル導出判定結果が0であれば、符号化ベクトルを差分ベクトル変換部703に供給する。
差分ベクトル変換部703は、判定部702より供給される符号化ベクトルを正負の符号のある符号列、例えば、図2(B)の符号あり指数ゴロム符号として解釈することにより、正負の符号のある差分ベクトルに変換して、差分ベクトルを端子624に供給する。
候補差分ベクトル生成部602は、判定部702より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部603に供給する。候補動きベクトル算出部603は、それぞれの候補差分ベクトルに判定部702よりより供給される予測動きベクトルを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部601に供給する。
これ以降のテンプレート評価部601および差分ベクトル決定部600の処理は第1の実施の形態と同じであるから、説明を省略する。
本実施の形態の動画像復号装置の復号処理は、第1の実施の形態における復号処理と、差分ベクトルの再生の処理を除いて同一であるから、第1の実施の形態とは異なる点を主に説明する。以下、図21のフローチャートを用いて、差分ベクトル再生部701による差分ベクトルの再生処理を説明する。
判定部702は、差分ベクトル導出判定を行う(ステップS801)。判定部702は差分ベクトル導出判定結果が1であるかどうかを判定する(ステップS802)。差分ベクトル導出判定結果が1であれば、判定部702は、端子621より供給される差分ベクトル導出フラグを取得する(ステップS803)。続いて、判定部702は、差分ベクトル導出フラグが1であるかどうかを判定する(ステップS804)。差分ベクトル決定部600は、差分ベクトル導出フラグが1であれば、差分ベクトルの再生処理を行う(ステップS805)。ステップS805の差分ベクトルの再生処理は、第1の実施の形態のステップS602の差分ベクトル再生処理(図12、図13)と同じである。
一方、差分ベクトル導出判定結果が0であるか、差分ベクトル導出フラグが0であれば、差分ベクトル変換部703は、符号化ベクトルを正負の符号のある符号列として解釈することにより、差分ベクトルに変換する(ステップS806)。
図22は、図21のステップS801の差分ベクトル導出判定処理を説明するフローチャートである。
判定部702は、端子621より供給される符号化ベクトルが予め設定された閾値ベクトルより大きいかどうかを判定する(ステップS900)。ここで、閾値ベクトルは、0または正の値の成分を持つベクトルとし、具体的には、閾値ベクトルを(3、3)とする。符号化ベクトルが閾値ベクトルより大きければ、復号画像テンプレート領域が有効であるかどうかを判定する(ステップS901)。復号画像テンプレート領域が有効であるということは復号画像テンプレート領域の画素が存在していることであり、例えば、復号対象ブロックの位置から判断できる。続いて、復号画像テンプレート領域が有効であれば、差分ベクトル導出判定を1に設定する(ステップS902)。一方、符号化ベクトルが閾値ベクトルより大きくないか、復号画像テンプレート領域が有効でなければ、差分ベクトル導出判定を0に設定する(ステップS503)。
符号化ベクトルと閾値ベクトルの大きさの比較は、各成分の大小を比較することにより行う。実施の形態2の動画像符号化装置は、差分ベクトルの各成分が閾値以下である場合、符号化ベクトル生成判定を0として符号化ベクトルを正負の符号のある符号列として符号化しているため、動画像復号装置においても、符号化ベクトルの各成分が閾値以下である場合、差分ベクトル導出判定を0に設定し、符号化ベクトルを正負の符号のある符号列として解釈して差分ベクトルを求める。
なお、本実施の形態には以下の変形例を適用できる。
本実施の形態では、差分ベクトルの各成分の絶対値を比較する閾値を3としたが、この値には限定されない。また、差分ベクトルの水平成分と垂直成分とで比較する閾値を別の値、例えば、(1、1)、(0、3)、(3、5)などに設定してもよい。また、この閾値を、例えば、符号なし指数ゴロム符号として符号化ストリーム中に記述してもよい。
本実施の形態では、閾値を予め設定された値としたが、可変にしてもよい。一般に、量子化ステップが大きくなれば復号画像テンプレート信号や参照画像テンプレート信号は均一化され、テンプレートによる相関度の信頼度は低下する。そのため、例えば、復号画像信号テンプレート信号の量子化ステップや参照画像テンプレート信号の量子化ステップが大きくなるに従って閾値が大きくなるように設定しておくこともできる。
(第3の実施の形態)
第3の実施の形態の動画像符号化装置は、第1の実施の形態の動画像符号化装置の符号化ベクトル生成部において、第2の実施の形態の生成判定部302を設けたものであるが、第2の実施の形態とは違って、符号化ベクトル選択部303は設けず、第1の実施の形態の動きベクトル補正部202を用いる。本実施の形態の符号化ベクトル生成部は、第2の実施の形態と同様、差分ベクトルの各成分の絶対値が閾値以下である場合は、差分ベクトルをそのまま(絶対値化せずに)符号化ベクトルとし、符号のある符号列として符号化する。しかし、第2の実施の形態とは違って、本実施の形態の符号化ベクトル生成部は、最小誤差候補動きベクトルと動きベクトルが一致するかどうかに関係なく、差分ベクトルの各成分を絶対値化した符号化ベクトルを生成し、動きベクトル補正部が、動きベクトルを最小誤差候補動きベクトルに補正する。この点は第1の実施の形態と同じである。
第3の実施の形態の動画像符号化装置は、第1の実施の形態の動画像符号化装置の符号化ベクトル生成部において、第2の実施の形態の生成判定部302を設けたものであるが、第2の実施の形態とは違って、符号化ベクトル選択部303は設けず、第1の実施の形態の動きベクトル補正部202を用いる。本実施の形態の符号化ベクトル生成部は、第2の実施の形態と同様、差分ベクトルの各成分の絶対値が閾値以下である場合は、差分ベクトルをそのまま(絶対値化せずに)符号化ベクトルとし、符号のある符号列として符号化する。しかし、第2の実施の形態とは違って、本実施の形態の符号化ベクトル生成部は、最小誤差候補動きベクトルと動きベクトルが一致するかどうかに関係なく、差分ベクトルの各成分を絶対値化した符号化ベクトルを生成し、動きベクトル補正部が、動きベクトルを最小誤差候補動きベクトルに補正する。この点は第1の実施の形態と同じである。
第3の実施の形態の動画像符号化装置により符号化された動画像の符号ストリームを復号する動画像復号装置は、第2の実施の形態の動画像復号装置をそのまま用いることができる。復号側では、動きベクトルが真の動きベクトルであるか、補正された動きベクトルであるかに関係なく、符号化ベクトルを復号して得られる差分ベクトルと予測動きベクトルを加算して得られる動きベクトルを用いて動き補償を行うからである。
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 動画像符号化装置、 101 減算部、 102 予測誤差符号化部、 103 符号列生成部、 104 予測誤差復号部、 105 動き補償部、 106 加算部、 107 動きベクトル検出部、 108 符号化ベクトル生成部、 109 予測動きベクトル生成部、 110 フレームメモリ、 111 動きベクトルメモリ、 200 絶対値ベクトル生成部、 201 テンプレート評価部、 202 動きベクトル補正部、 203 候補差分ベクトル生成部、 204 候補動きベクトル算出部、 300 符号列生成部、 301 符号化ベクトル生成部、 302 生成判定部、 303 符号化ベクトル選択部、 500 動画像復号装置、 501 符号列解析部、 502 予測誤差復号部、 503 加算部、 504 差分ベクトル再生部、 505 動きベクトル算出部、 506 動き補償部、 507 予測動きベクトル生成部、 508 動きベクトルメモリ、 509 フレームメモリ、 600 差分ベクトル決定部、 601 テンプレート評価部、 602 候補差分ベクトル生成部、 603 候補動きベクトル算出部、 700 符号列解析部、 701 差分ベクトル再生部、 702 判定部、 703 差分ベクトル変換部。
Claims (8)
- 動画像の符号化対象ブロックの第1の動きベクトルを検出する動きベクトル検出部と、
前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部と、
前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した符号化ベクトルを生成する絶対値ベクトル生成部と、
前記符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部と、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部と、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部と、
前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとする動きベクトル補正部と、
前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部と、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部と、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部と、
前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部と、
水平成分および垂直成分の少なくとも一方が絶対値化された前記符号化ベクトルを正負の符号のない符号列として生成する符号列生成部とを含むことを特徴とする動画像符号化装置。 - 動画像の符号化対象ブロックの第1の動きベクトルを検出する動きベクトル検出部と、
前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部と、
前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとする第1符号化ベクトル生成部と、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成する第2符号化ベクトル生成部と、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択する符号化ベクトル生成判定部と、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部と、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部と、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部と、
前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとする動きベクトル補正部と、
前記第1の符号化ベクトルが選択された場合は前記第1の動きベクトルで動き補償予測し、前記第2の符号化ベクトルが選択された場合は前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部と、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部と、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部と、
前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部と、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成する符号列生成部とを含むことを特徴とする動画像符号化装置。 - 動画像の符号化対象ブロックの動きベクトルを検出する動きベクトル検出部と、
前記符号化対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部と、
前記動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとする第1符号化ベクトル生成部と、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成する第2符号化ベクトル生成部と、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択する符号化ベクトル生成判定部と、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成する候補差分ベクトル生成部と、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部と、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部と、
前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一であれば前記第2の符号化ベクトルを選択し、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一でなければ前記第1の符号化ベクトルを選択する符号化ベクトル選択部と、
前記動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成する動き補償部と、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化する予測誤差符号化部と、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成する加算部と、
前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部と、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するとともに、符号化ベクトルが正負の符号のない符号列として符号化されているか否かを示す差分ベクトル導出フラグの符号化列を生成する符号列生成部とを含むことを特徴とする動画像符号化装置。 - 前記テンプレート評価部は、前記候補動きベクトル毎に前記復号画像記憶部から複数の候補参照画像について参照画像テンプレート領域を取得し、前記復号画像テンプレート領域と前記参照画像テンプレート領域との間の相関度が最も高くなる前記候補参照画像を参照画像とすることを特徴とする請求項1から請求項3のいずれかに記載の動画像符号化装置。
- 動画像の符号化対象ブロックの第1の動きベクトルを検出するステップと、
前記符号化対象ブロックの予測動きベクトルを生成するステップと、
前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとするステップと、
前記第1の符号化ベクトルが選択された場合は前記第1の動きベクトルで動き補償予測し、前記第2の符号化ベクトルが選択された場合は前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するステップとを含むことを特徴とする動画像符号化方法。 - 動画像の符号化対象ブロックの動きベクトルを検出するステップと、
前記符号化対象ブロックの予測動きベクトルを生成するステップと、
前記動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一であれば前記第2の符号化ベクトルを選択し、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一でなければ前記第1の符号化ベクトルを選択するステップと、
前記動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するとともに、符号化ベクトルが正負の符号のない符号列として符号化されているか否かを示す差分ベクトル導出フラグの符号化列を生成するステップとを含むことを特徴とする動画像符号化方法。 - 動画像の符号化対象ブロックの第1の動きベクトルを検出するステップと、
前記符号化対象ブロックの予測動きベクトルを生成するステップと、
前記第1の動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
前記相関度が最も高くなる前記候補動きベクトルを第2の動きベクトルとするステップと、
前記第1の符号化ベクトルが選択された場合は前記第1の動きベクトルで動き補償予測し、前記第2の符号化ベクトルが選択された場合は前記第2の動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。 - 動画像の符号化対象ブロックの動きベクトルを検出するステップと、
前記符号化対象ブロックの予測動きベクトルを生成するステップと、
前記動きベクトルから前記予測動きベクトルを減算して得られる差分ベクトルを第1の符号化ベクトルとして生成するステップと、
前記差分ベクトルの水平成分および垂直成分の少なくとも一方を絶対値化した第2の符号化ベクトルを生成するステップと、
前記差分ベクトルの大きさが所定の値以下であれば、前記第1の符号化ベクトルを選択し、前記差分ベクトルの大きさが所定の値より大きければ、前記第2の符号化ベクトルを選択するステップと、
前記第2の符号化ベクトルの絶対値化された水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大4つの候補差分ベクトルを生成するステップと、
各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
前記符号化対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一であれば前記第2の符号化ベクトルを選択し、前記相関度が最も高くなる前記候補動きベクトルが前記動きベクトルと同一でなければ前記第1の符号化ベクトルを選択するステップと、
前記動きベクトルで動き補償予測して前記符号化対象ブロックの予測信号を生成するステップと、
画像信号から前記予測信号を減算することにより生成される前記符号化対象ブロックの予測誤差信号を符号化するステップと、
前記予測信号と復号された前記予測誤差信号とを加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップと、
前記第1の符号化ベクトルを正負の符号のある符号列として生成し、水平成分および垂直成分の少なくとも一方が絶対値化された前記第2の符号化ベクトルを正負の符号のない符号列として生成するとともに、符号化ベクトルが正負の符号のない符号列として符号化されているか否かを示す差分ベクトル導出フラグの符号化列を生成するステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011101944A JP2012235278A (ja) | 2011-04-28 | 2011-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011101944A JP2012235278A (ja) | 2011-04-28 | 2011-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012235278A true JP2012235278A (ja) | 2012-11-29 |
Family
ID=47435190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011101944A Withdrawn JP2012235278A (ja) | 2011-04-28 | 2011-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012235278A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019150411A1 (ja) * | 2018-01-30 | 2019-08-08 | 富士通株式会社 | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム |
-
2011
- 2011-04-28 JP JP2011101944A patent/JP2012235278A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019150411A1 (ja) * | 2018-01-30 | 2019-08-08 | 富士通株式会社 | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013099285A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
WO2013099283A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
JP5560009B2 (ja) | 動画像符号化装置 | |
JP5835522B1 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP5843032B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP5725009B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP2012235278A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
JP5843040B1 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP2012235277A (ja) | 動画像復号装置、動画像復号方法及び動画像復号プログラム | |
WO2012147344A1 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
JP2016076975A (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |