JP2015111774A - 映像符号化装置及び映像符号化プログラム - Google Patents

Abstract

【課題】全ての探索中心の参照画像の読み込みをすることなく、符号化効率を低下させずにより処理量を削減することができる映像符号化装置を提供する。
【解決手段】入力映像信号のピクチャの時間的相関を利用し、対象ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を縮小処理し、縮小した入力映像信号のピクチャの符号化ブロックと縮小した復号映像信号の参照画像の探索領域を用いて動き予測を実行することにより動きベクトルを決定する動きベクトル決定手段と、対象符号化ブロックの周辺ブロックから予測ベクトルを算出する予測ベクトル算出手段と、動きベクトルと予測ベクトルの中から動き予測処理に用いる探索中心点を決定する探索中心決定手段と、決定した探索中心点を用いて動き予測処理を行う動き予測手段とを備える。
【選択図】図１

Description

本発明は、動き予測を用いて映像符号化を行う映像符号化装置及び映像符号化プログラムに関する。

映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が規格化されつつある。映像符号化規格では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に連続した複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化には画面間の差分値を削減するために動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。ただ、映像の正しい動きを捉えて符号化すべき差分値を小さくするためには、動き予測処理に膨大な演算量を必要とする。

ＭＰＥＧ−４／ＡＶＣやＨＥＶＣでは、対象ブロックの周囲のブロックの動きベクトルから算出される予測ベクトルと対象ブロックの動きベクトルとの差分を符号化する方式を採用しているため、予測ベクトルに近くかつ予測残差の小さい位置を効率よく選択することで符号化効率を向上させることが可能となる。そのため、一般的な符号化器では予測ベクトルが示す点を探索中心としてその周辺を探索する方式がよく用いられている。ＨＥＶＣについては２つの予測ベクトルから効率の良い方を選択可能となっているため、２つの予測ベクトルそれぞれを探索中心としてその周辺を探索することになるため、Ｈ．２６４／ＡＶＣの場合よりも探索処理が増大する可能性がある。

なお、探索中心候補を絞り込む手法を用いた動きベクトル検出を行う先行技術として、探索中心候補それぞれの動きベクトル評価値を算出し、閾値以下のものを探索中心候補とする手法がある（例えば、特許文献１参照）。

特許第５２８６５７３号公報

しかしながら、特許文献１に記載の映像符号化装置は予測ベクトルが指し示す位置のブロック画素と対象ブロックの画素との差分を算出するため、画素値の読み出しが必要になり処理量が増大するという問題がある。

本発明は、このような事情に鑑みてなされたもので、全ての探索中心の参照画像の読み込みをすることなく、符号化効率を低下させずにより処理量を削減することができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明は、入力映像信号のピクチャの時間的相関を利用し、対象ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を縮小処理し、縮小した入力映像信号のピクチャの符号化ブロックと縮小した復号映像信号の参照画像の探索領域を用いて動き予測を実行することにより動きベクトルを決定する動きベクトル決定手段と、対象符号化ブロックの周辺ブロックから予測ベクトルを算出する予測ベクトル算出手段と、前記動きベクトルと前記予測ベクトルの中から動き予測処理に用いる探索中心点を決定する探索中心決定手段と、決定した前記探索中心点を用いて動き予測処理を行う動き予測手段とを備えることを特徴とする。

本発明は、前記探索中心決定手段は、前記動きベクトルのコスト値と閾値を比較して、前記動きベクトルのコスト値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、前記コスト値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値を算出し、算出した前記コスト値のうち、小さい値から順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とすることを特徴とする。

本発明は、前記探索中心決定手段は、前記動きベクトルのコスト値と閾値を比較して、前記動きベクトルのコスト値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、前記コスト値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、前記動きベクトルと各前記予測ベクトルとの距離を算出し、算出した前記距離が小さいものから順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とすることを特徴とする。

本発明は、前記探索中心決定手段は、前記動きベクトルのコスト値と動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値の最小値との差分を算出し閾値と比較して、前記閾値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、前記閾値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値を算出し、算出した前記コスト値のうち、小さい値から順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とすることを特徴とする。

本発明は、前記探索中心決定手段は、前記動きベクトルのコスト値と動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値の最小値との差分を算出し閾値と比較して、前記閾値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、前記閾値の方が小さいと判定されたベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、前記動きベクトルと各前記予測ベクトルとの距離を算出し、算出した前記距離が小さいものから順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とすることを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、動き探索中心候補が複数存在するような動き予測部を有する映像符号化方式において、画素値の読み込みをすることなく、動きベクトル情報と前段階の動き探索結果から探索中心候補を決定することで符号化効率を低下させずにより処理量を削減することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示すインター予測処理部１０２の構成を示すブロック図である。 ＨＥＶＣ符号化規格における予測ベクトルの位置を示す図である。 図２に示す探索中心決定部２０４の処理動作を示すフローチャートである。 図２に示す探索中心決定部２０４の処理動作を示すフローチャートである。 図２に示す探索中心決定部２０４の処理動作を示すフローチャートである。 図２に示す探索中心決定部２０４の処理動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。以下で用いる「符号化ブロック」についてはＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）のことを指し示す。図１は同実施形態の構成を示すブロック図である。映像符号化装置１００において、特にインター予測処理１０２が従来技術と異なる部分であり、他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。

映像符号化装置１００は、符号化対象の映像信号（原画像）を入力し、入力映像信号のピクチャをブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部１０４は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化処理部１０５は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。

一方、量子化された変換係数は、逆量子化・逆変換処理部１０６にも入力され、ここで逆量子化と逆直交変換され、予測残差復号信号を出力する。復号信号生成部１０７では、前記予測残差復号信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、インター予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０８に入力される。ループフィルタ処理部１０８では符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像としてインター予測処理部１０２及びに入力する。

次に、図２を参照して、図１に示すインター予測処理部１０２の構成を説明する。図２は、図１に示すインター予測処理部１０２の構成を示すブロック図である。入力映像信号（原画像）と復号信号は縮小画像生成部２０１に入力される。縮小画像生成部２０１は、入力画像及び参照画像を縮小処理を行う。縮小画像生成部２０１は、縮小した入力画像及び参照画像をプレ探索処理部２０２に出力する。プレ探索処理部２０２は、縮小画像上で動き探索処理を行う。プレ探索処理部２０２は、探索した結果の動きベクトルとその他のモード情報を、探索中心決定部２０４に対してそれぞれ出力する。

予測ベクトル生成部２０３は対象ブロックの周囲の動きベクトル情報からＨ．２６４／ＡＶＣ又はＨＥＶＣで規定された予測ベクトルを算出し、探索中心決定部２０４へ出力する。探索中心決定部２０４はプレ探索結果の動きベクトル情報と予測ベクトル生成部２０３から出力された予測ベクトル情報を用いて後述する方法によって探索中心を決定し、動き探索処理部２０５に対して出力する。動き探索処理部２０５は探索中心決定部２０４から指定された動きベクトルを探索中心とし、動き探索処理を行う。小数画素以下の探索については小数画像生成部２０６から出力された画像を元に動き探索処理を行う。最終的に決定された動きベクトル情報と予測差分画像は予測残差信号生成部１０３へと出力する。

本実施形態は図２に示す探索中心決定部２０４において、複数の探索中心候補から最適な探索中心を選択することで符号化効率を低下させずに動き探索処理に要する処理量を削減するものである。

以下は、ＨＥＶＣ規格に基づいた実施形態として説明する。ＨＥＶＣでは予測ベクトル生成部２０３で２つの予測ベクトルが生成され、符号化効率の良い方を選択して符号化を行うことが可能となっている。図３は、ＨＥＶＣ規格における予測ベクトルの位置を示す図である。まず対象ブロック３０１の左下（Ａ０）の画素を含む符号化済みのブロックを参照し、動きベクトルを持つ符号化モードであればその動きベクトルを予測ベクトルとする（以下、ＭＶＰ１とする）。

Ａ０の画素を含む符号化済みブロックが動きベクトルを持たない符号化モードであった場合は、Ａ１の画素を含む符号化済みブロックを参照し、動きベクトルを持つ符号化モードであればその動きベクトルを予測ベクトルＭＶＰ１とする。対象ブロック３０１の上側の画素についても同様の処理を行い、Ｂ０の画素を含む符号化済みブロックからＢ１、Ｂ２と順に参照し、動きベクトルを持つ符号化モードであった場合にその動きベクトルを予測ベクトルとする（以下、ＭＶＰ２とする）。予測ベクトル生成部２０３では前述したようにＡ０、Ａ１から１つの予測ベクトルＭＶＰ１を生成し、Ｂ０、Ｂ１、Ｂ２から１つの予測ベクトルＭＶＰ２を生成し、探索中心決定部２０４へ出力する。本実施形態での予測ベクトル決定においては、符号化途中の周辺ブロックの動きベクトルを用いて予測ベクトルとすることも可能である。また、本実施形態では予測ベクトルに加えて任意の動きベクトルを予測ベクトルに加えて探索中心決定部２０４へ出力することもできる。

探索中心決定部２０４ではプレ探索処理部２０２で探索された動きベクトル（以下、ＭＶｐｒｅとする）と予測ベクトル生成部２０３で生成された予測ベクトルＭＶＰ１、ＭＶＰ２の３つから２つのベクトルを選択する例について説明する。以下の説明において用いているコスト値とは、原画像と動きベクトルが指し示す参照画像との差分絶対値和（ＳＡＤ）もしくは差分値に２次元アダマール変換を行った値の差分絶対値和（ＳＡＴＤ）と、動きベクトルを符号化した際に生ずる符号量を簡易的に見積もった動きベクトルコスト値の和で表される値を表している。

図４は、複数の探索中心候補から最適な探索中心を選択する処理動作を示すフローチャートである。まず、探索中心決定部２０４は、プレ探索処理部２０２で決定した動きベクトルのコスト値Ｃｏｓｔ＿ＭＶｐｒｅを算出し、閾値ＴＨよりも大きい値であるか否かを判定する（ステップＳ１）。この判定の結果、閾値ＴＨよりも大きい値であった場合、探索中心決定部２０４は、プレ探索処理による動きベクトルは精度が悪いと判断し探索中心候補から除外する、すなわちＭＶＰ１とＭＶＰ２を探索中心として決定する（ステップＳ２）。ここで示すコスト値とは、対象ブロックの画素値と動きベクトルが指し示す位置の画素値とのＳＡＤ（差分絶対値和）又は差分値に２次元アダマール変換を行った値の差分絶対値和（ＳＡＴＤ）と動きベクトルの符号化に必要なビット数（ベクトルコスト）の和を表している。また、ベクトルコストを考慮せずＳＡＤのみ又はＳＡＴＤのみの値をコスト値とする場合もある。

一方、Ｃｏｓｔ＿ＭＶｐｒｅが閾値ＴＨ以下であった場合、探索中心決定部２０４は、プレ探索処理部２０２で評価した全ての動きベクトルの中でＭＶＰ１に最も近い動きベクトルが指し示す位置のコスト値Ｃｏｓｔ＿ＭＶＰ１と、ＭＶＰ２に最も近い動きベクトルが指し示す位置のコスト値Ｃｏｓｔ＿ＭＶＰ２とを比較する（ステップＳ３）。そして、Ｃｏｓｔ＿ＭＶＰ１が小さい場合はＭＶｐｒｅとＭＶＰ１を探索中心として決定し（ステップＳ４）、Ｃｏｓｔ＿ＭＶＰ２が小さい場合はＭＶｐｒｅとＭＶＰ２を探索中心として決定する（ステップＳ５）。

また、プレ探索処理部２０２で探索された動きベクトルが２本以上ある場合や、予測ベクトル生成部２０３から生成される予測ベクトルが３本以上ある場合でも可能である。以下にプレ探索処理部２０２で探索された動きベクトルが２本（以下ＭＶｐｒｅ１、ＭＶｐｒｅ２とする）かつ予測ベクトルが３本（以下ＭＶＰ１、ＭＶＰ２、ＭＶＰ３とする）の場合の処理動作を説明する。

まず、探索中心決定部２０４は、プレ探索処理部２０２で決定した動きベクトルのコスト値Ｃｏｓｔ＿ＭＶｐｒｅ１およびＣｏｓｔ＿ＭＶｐｒｅ２を算出し、閾値ＴＨよりも大きい値であるか否かを判定する。この判定の結果、閾値ＴＨよりも大きい値であった場合、探索中心決定部２０４は、プレ探索処理による動きベクトルは精度が悪いと判断し探索中心候補から除外する。この処理をＭＶｐｒｅ１、ＭＶｐｒｅ２それぞれについて行う。この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数以下の場合は、そのベクトルを探索中心として決定する。

この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数より多い場合、探索中心決定部２０４は、プレ探索処理部２０２で評価した全ての動きベクトルの中でＭＶＰ１に最も近い動きベクトルが指し示す位置のコスト値Ｃｏｓｔ＿ＭＶＰ１と、ＭＶＰ２に最も近い動きベクトルが指し示す位置のコスト値Ｃｏｓｔ＿ＭＶＰ２とＭＶＰ３に最も近い動きベクトルが指し示す位置のコスト値Ｃｏｓｔ＿ＭＶＰ３を比較する。そして、コスト値が小さい順にその動きベクトルを探索中心として決定していき、所望する動きベクトル候補の本数になったところで処理を終了する。

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。第２実施形態が第１実施形態と異なる点は、図２に示す探索中心決定部２０４の処理動作（図４）が異なる点である。図５は、第２実施形態による探索中心決定部２０４の処理動作を示すフローチャートである。図５を参照して、第２実施形態による探索中心決定部２０４の処理動作を説明する。

まず、探索中心決定部２０４は、第１実施形態と同様にプレ探索処理部２０２で決定した動きベクトルのコスト値Ｃｏｓｔ＿ＭＶｐｒｅを算出し、閾値ＴＨよりも大きい値であるか否かを判定する（ステップＳ１１）。この判定の結果、閾値ＴＨよりも大きい値であった場合探索中心候補から除外しＭＶＰ１とＭＶＰ２を探索中心として決定する（ステップＳ１２）。

一方、Ｃｏｓｔ＿ＭＶｐｒｅが閾値ＴＨ以下であった場合、探索中心決定部２０４は、ＭＶｐｒｅとＭＶＰ１の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ２の動きベクトル成分の差分絶対値和とを比較する（ステップＳ１３）。そして、小さい方を探索中心として決定する（ステップＳ１４、Ｓ１５）。ここでＭＶｐｒｅ、ＭＶＰ１、ＭＶＰ２の動きベクトル成分をそれぞれＭＶｐｒｅｘ、ＭＶｐｒｅｙ、ＭＶＰ１ｘ、ＭＶＰ１ｙ、ＭＶＰ２ｘ、ＭＶＰ２ｙとする。

これはＭＶｐｒｅの動きベクトルと近い箇所を指し示している動きベクトルを選択することを表している。プレ探索処理部２０２では縮小画像上ではあるが一度探索処理を行った結果なので、プレ探索処理部２０２の動きベクトルに近い方のＭＶＰを選択した方が符号化効率が良いと想定される。ただし、ＭＶｐｒｅと選択されたＭＶＰが全く同じかほぼ同じベクトルであった場合は、動き探索処理２０５では同じ位置を２回探索する場合が多くなることが考えられるため、第２実施形態とは逆にプレ探索処理部２０２の動きベクトルから遠い方のＭＶＰを選択するようにしてもよい。

次に、プレ探索処理部２０２で探索された動きベクトルが２本（以下ＭＶｐｒｅ１、ＭＶｐｒｅ２とする）かつ予測ベクトルが３本（以下ＭＶＰ１、ＭＶＰ２、ＭＶＰ３とする）の場合の処理動作を説明する。

まず、探索中心決定部２０４は、プレ探索処理部２０２で決定した動きベクトルのコスト値Ｃｏｓｔ＿ＭＶｐｒｅ１およびＣｏｓｔ＿ＭＶｐｒｅ２を算出し、閾値ＴＨよりも大きい値であるか否かを判定する。この判定の結果、閾値ＴＨよりも大きい値であった場合、探索中心決定部２０４は、プレ探索処理による動きベクトルは精度が悪いと判断し探索中心候補から除外する。この処理をＭＶｐｒｅ１、ＭＶｐｒｅ２それぞれについて行う。この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数以下の場合は、そのベクトルを探索中心として決定する。

この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数より多い場合、探索中心決定部２０４は、ＭＶｐｒｅとＭＶＰ１の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ２の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ３の動きベクトル成分の差分絶対値和を比較する。そして、小さいＭＶＰから順に探索中心として決定し、所望する動きベクトル候補の本数になったところで処理を終了する。

＜第３実施形態＞
次に、本発明の第３実施形態による映像符号化装置を説明する。第３実施形態が第１実施形態と異なる点は、図２に示す探索中心決定部２０４の処理動作（図４）が異なる点である。図６は、第３実施形態による探索中心決定部２０４の処理動作を示すフローチャートである。図６を参照して、第３実施形態による探索中心決定部２０４の処理動作を説明する。

まず、探索中心決定部２０４は、ＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２の小さい方の値とＣｏｓｔ＿ＭＶｐｒｅの差を算出し、閾値ＴＨと比較する（ステップＳ２１）。この差が閾値ＴＨより小さければＭＶｐｒｅはＭＶＰ１、ＭＶＰ２とよく似た結果が得られることが予測される。その場合は対象ブロックの周辺ブロックから得られる予測ベクトルの方が最終の探索結果が向上するため、探索中心決定部２０４は、ＭＶＰ１とＭＶＰ２を選択する（ステップＳ２２）。

ＣｏｓｔＭＶＰ１とＣｏｓｔＭＶＰ２の小さい方の値とＣｏｓｔＭＶｐｒｅの差が閾値ＴＨ以上であった場合、探索中心決定部２０４は、第１実施形態と同様にＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２とを比較する（ステップＳ２３）。この比較の結果、ＣｏｓｔＭＶＰ１が小さい場合、探索中心決定部２０４はＭＶｐｒｅとＭＶＰ１を探索中心として決定する（ステップＳ２４）。一方、ＣｏｓｔＭＶＰ２が小さい場合、探索中心決定部２０４はＭＶｐｒｅとＭＶＰ２を探索中心として決定する（ステップＳ２５）。

次に、プレ探索処理部２０２で探索された動きベクトルが２本（以下ＭＶｐｒｅ１、ＭＶｐｒｅ２とする）かつ予測ベクトルが３本（以下ＭＶＰ１、ＭＶＰ２、ＭＶＰ３とする）の場合の処理動作を説明する。

まず、探索中心決定部２０４は、ＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２とＭＶＰ３が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ３の最小値とＣｏｓｔ＿ＭＶｐｒｅ１、Ｃｏｓｔ＿ＭＶｐｒｅ２の差をそれぞれ算出し、閾値ＴＨと比較する。この差が閾値ＴＨより小さいＭＶｐｒｅはＭＶＰ１、ＭＶＰ２、ＭＶＰ３とよく似た結果が得られることが予測される。その場合は対象ブロックの周辺ブロックから得られる予測ベクトルの方が最終の探索結果が向上するため、そのＭＶｐｒｅを探索中心候補から除外する。

この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数以下の場合は、そのベクトルを探索中心として決定する。また、この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数より多い場合、探索中心決定部２０４は、第１実施形態と同様にＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２とＭＶＰ３が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ３とを比較する。この比較の結果、Ｃｏｓｔの小さい順に探索中心として決定し、所望する動きベクトル候補の本数になったところで処理を終了する。

＜第４実施形態＞
次に、本発明の第４実施形態による映像符号化装置を説明する。第４実施形態が第１実施形態と異なる点は、図２に示す探索中心決定部２０４の処理動作（図４）が異なる点である。図７は、第４実施形態による探索中心決定部２０４の処理動作を示すフローチャートである。第４実施形態は第４実施形態と第２実施形態を組み合わせた手法である。図６を参照して、第３実施形態による探索中心決定部２０４の処理動作を説明する。

まず、探索中心決定部２０４は、ＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２の小さい方の値とＣｏｓｔ＿ＭＶｐｒｅの差を算出し、閾値ＴＨより小さいか否かを判定する（ステップＳ３１）。この判定の結果、この差が閾値ＴＨより小さければ、探索中心決定部２０４は、ＭＶＰ１とＭＶＰ２を選択する（ステップＳ３２）。

Ｃｏｓｔ＿ＭＶＰ１とＣｏｓｔ＿ＭＶＰ２の小さい方の値とＣｏｓｔ＿ＭＶｐｒｅの差が閾値ＴＨ以上であった場合、探索中心決定部２０４は、ＭＶｐｒｅとＭＶＰ１の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ２の動きベクトル成分の差分絶対値和を比較する（ステップＳ３３）。そして、探索中心決定部２０４は、この比較の結果、小さい方を探索中心として決定する（ステップＳ３４、Ｓ３５）。

次に、プレ探索処理部２０２で探索された動きベクトルが２本（以下ＭＶｐｒｅ１、ＭＶｐｒｅ２とする）かつ予測ベクトルが３本（以下ＭＶＰ１、ＭＶＰ２、ＭＶＰ３とする）の場合の処理動作を説明する。

まず、探索中心決定部２０４は、ＭＶＰ１が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ１とＭＶＰ２が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ２とＭＶＰ３が指し示すプレ探索処理部２０２で算出したコスト値Ｃｏｓｔ＿ＭＶＰ３の最小値とＣｏｓｔ＿ＭＶｐｒｅ１、Ｃｏｓｔ＿ＭＶｐｒｅ２の差をそれぞれ算出し、閾値ＴＨと比較する。この差が閾値ＴＨより小さいＭＶｐｒｅはＭＶＰ１、ＭＶＰ２、ＭＶＰ３とよく似た結果が得られることが予測される。その場合は対象ブロックの周辺ブロックから得られる予測ベクトルの方が最終の探索結果が向上するため、そのＭＶｐｒｅを探索中心候補から除外する。

この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数以下の場合は、そのベクトルを探索中心として決定する。また、この処理で除外されなかった動きベクトルの本数と予測ベクトルとの合計本数が所望する動きベクトル候補の本数より多い場合、探索中心決定部２０４は、ＭＶｐｒｅとＭＶＰ１の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ２の動きベクトル成分の差分絶対値和とＭＶｐｒｅとＭＶＰ３の動きベクトル成分の差分絶対値和を比較する。そして、小さいＭＶＰから順に探索中心として決定し、所望する動きベクトル候補の本数になったところで処理を終了する。

以上のようにＭＶｐｒｅ、ＭＶＰ１、ＭＶＰ２の３つの探索中心候補点から２つの探索中心を事前に選択して動き探索を行うことで、動き探索に要する処理量を２／３の削減することが可能となる。

以上説明したように、入力画像の時間的相関を利用し、矩形の符号化ブロック単位に動き予測を行いその差分の符号化を処理を行う映像符号化器において、対象符号化ブロックと動き予測先の参照画像を縮小処理を行い動き予測を実行し、対象符号化ブロックの周辺ブロックから予測ベクトルを算出し、決定した動きベクトルと予測ベクトルの中から動き予測処理に用いる探索中心点を決定し、決定した探索中心点を用いて動き予測処理を行うことにより、符号化効率を低下させずにより処理量を削減する事を特徴とする映像符号化手法である。

この構成によれば、全ての探索中心の参照画像の読み込みをすることなく、動きベクトル情報と前段階の動き探索結果から探索中心候補を決定することで、符号化効率を低下させずにより処理量を削減することができる。

前述した実施形態における映像符号化装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

動き探索処理に要する演算量が限られている映像符号化装置及び映像符号化プログラムに適用できる。

１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測残差信号生成部、１０４・・・変換・量子化処理部、１０５・・・エントロピー符号化部、１０６・・・逆量子化・逆変換処理部、１０７・・・復号信号生成部、１０８・・・ループフィルタ処理部、２０１・・・縮小画像生成部、２０２・・・プレ探索処理部、２０３・・・予測ベクトル生成部、２０４・・・探索中心決定部、２０５・・・動き探索処理部、２０６・・・小数画像生成部

Claims (6)

1. 入力映像信号のピクチャの時間的相関を利用し、対象ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、
   前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を縮小処理し、縮小した入力映像信号のピクチャの符号化ブロックと縮小した復号映像信号の参照画像の探索領域を用いて動き予測を実行することにより動きベクトルを決定する動きベクトル決定手段と、
   対象符号化ブロックの周辺ブロックから予測ベクトルを算出する予測ベクトル算出手段と、
   前記動きベクトルと前記予測ベクトルの中から動き予測処理に用いる探索中心点を決定する探索中心決定手段と、
   決定した前記探索中心点を用いて動き予測処理を行う動き予測手段と
   を備えることを特徴とする映像符号化装置。
2. 前記探索中心決定手段は、
   前記動きベクトルのコスト値と閾値を比較して、前記動きベクトルのコスト値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、
   前記コスト値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値を算出し、算出した前記コスト値のうち、小さい値から順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とする
   ことを特徴とする請求項１に記載の映像符号化装置。
3. 前記探索中心決定手段は、
   前記動きベクトルのコスト値と閾値を比較して、前記動きベクトルのコスト値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、
   前記コスト値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、前記動きベクトルと各前記予測ベクトルとの距離を算出し、算出した前記距離が小さいものから順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とする
   ことを特徴とする請求項１に記載の映像符号化装置。
4. 前記探索中心決定手段は、
   前記動きベクトルのコスト値と動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値の最小値との差分を算出し閾値と比較して、前記閾値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、
   前記閾値の方が小さいと判定された動きベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値を算出し、算出した前記コスト値のうち、小さい値から順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とする
   ことを特徴とする請求項１に記載の映像符号化装置。
5. 前記探索中心決定手段は、
   前記動きベクトルのコスト値と動きベクトル決定手段で行った動き予測結果の中から予測ベクトル算出手段で算出した予測ベクトルが指し示す位置のコスト値の最小値との差分を算出し閾値と比較して、前記閾値の方が大きいと判定された場合、前記動きベクトルを探索中心点の候補から除外し、
   前記閾値の方が小さいと判定されたベクトルと、前記予測ベクトルの合計本数が所望の動きベクトル候補数よりも多い場合、前記動きベクトルと各前記予測ベクトルとの距離を算出し、算出した前記距離が小さいものから順に所望の動きベクトル候補の本数になるまで選択し、動き予測処理に用いる探索中心点とする
   ことを特徴とする請求項１に記載の映像符号化装置。
6. コンピュータを、請求項１から５のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。

Images