JP2005318106A - 動画像符号化装置及びプログラム - Google Patents

Abstract

【課題】 誤った動きベクトルが選択されて予測が当たらない場合、動きベクトルに多くのビットを割くことをやめて符号化効率の低下を抑制することができる動画像符号化装置を提供する。
【解決手段】 現ピクチャ中のブロックで予測誤差評価基準値が最小の動きベクトルと、当該現ピクチャのブロックに対応する前ピクチャ中のブロックで予測誤差評価基準が最小の動きベクトルとの間で算出したばらつきの度合いに基づいて画像の動きに合致した動きベクトルが選択されているか否かを判定し、画像の動きに合致した動きベクトルが選ばれていない場合、現ピクチャ中のブロックにおいて予測誤差評価基準値が小さい順に抽出したα個の動きベクトルのうち、動きベクトルの本数が最小のものを動く補償予測符号化に使用する動きベクトルとして選択する動きベクトル選択部１８を備える。
【選択図】 図１

Description

この発明は、動画像を高能率符号化してディジタル伝送するシステムに好適に利用される動画像符号化装置に係り、特に動画像をブロック毎に分割して動きベクトルを検出し動き補償予測符号化を実行する動画像符号化装置及びこれをコンピュータに実現させるプログラムに関するものである。

動き補償予測における動きベクトル探索方法としては、例えば動画像符号化の国際標準化方式であるＭＰＥＧ−２のＴＭ５（Test Model5)がある（非特許文献１参照）。ＴＭ５は、基本的にはブロックマッチング法と呼ばれる。この方法では、例えば１６画素×１６ラインや１６画素×８ラインなどのブロックごとに現画像を分割し、差分絶対値総和などの予測誤差評価基準を用いて上記ブロックに対して予測誤差評価基準値が最も小さくなるブロックを参照画像から求め、当該参照画像のブロックの空間的な相対位置を上記現画像ブロックの動きベクトルとして検出する。

ISO-IEC JTC1, MPEG 93/N225b, Test Model 5/draft, 1993.

従来の動画像符号化装置では、差分絶対値総和等の予測誤差評価基準値を用いて、現画像上のブロックに対してその予測残差が最も小さくなるブロックを参照画像から求めることで動きベクトルを検出している。このため、必ずしも画像の動きに合致した動きベクトルが選択されるとは限らず、誤った動きベクトルが検出される可能性があるという課題があった。

この不具合は画像にノイズが含まれる場合にさらに顕著となる。この場合、単に誤った動きベクトルが選択されるだけでなく、動きの大きな動きベクトルを誤って選択してしまうと、不必要な動きベクトル情報に大量のビットを割くことにもなる。これにより、符号化効率が低下してしまうという課題もある。

この発明は上記のような課題を解決するためになされたもので、誤った動きベクトルが選択されて予測が当たらない場合、動きベクトルに多くのビットを割くことをやめて符号化効率の低下を抑制することができる動画像符号化装置及びこれをコンピュータに実現させるプログラムを得ることを目的とする。

この発明に係る動画像符号化装置は、時間軸上に並んだ複数の画像からなる動画像を上記画像内で複数のブロックに分割し、当該ブロック単位で探索した動きベクトルに基づいて動画像の動き補償予測符号化を実行する動画像符号化装置において、動画像からブロック毎に動きベクトルを探索する動きベクトル探索部と、動きベクトル探索部によりブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルを当該ブロック分記憶する第１の動きベクトル記憶部と、動きベクトル探索部により上記画像で探索された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルを当該画像の全ブロック分記憶する第２の動きベクトル記憶部と、第１の動きベクトル記憶部から読み出した動画像の現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、第２の動きベクトル記憶部から読み出した当該現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準が最小の動きベクトルとの間でばらつきの度合いを算出し、算出したばらつきの度合いが許容値を超える場合、第１の動きベクトル記憶部に記憶した複数の動きベクトルのうち、符号量が最も少ない動きベクトルを現在画像のブロックの動き補償予測符号化に使用する動きベクトルとして選択する動きベクトル選択部とを備えるものである。

この発明によれば、動画像からブロック毎に動きベクトルを探索する動きベクトル探索部と、動きベクトル探索部によりブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルを当該ブロック分記憶する第１の動きベクトル記憶部と、動きベクトル探索部により上記画像で探索された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルを当該画像の全ブロック分記憶する第２の動きベクトル記憶部と、第１の動きベクトル記憶部から読み出した動画像の現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、第２の動きベクトル記憶部から読み出した当該現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準が最小の動きベクトルとの間でばらつきの度合いを算出し、算出したばらつきの度合いが許容値を超える場合、第１の動きベクトル記憶部に記憶した複数の動きベクトルのうち、符号量が最も少ない動きベクトルを現在画像のブロックの動き補償予測符号化に使用する動きベクトルとして選択する動きベクトル選択部とを備えるので、現在画像と直前画像との間で予測誤差評価基準値が最小の動きベクトルにばらつきがあり画像の動きに合致した動きベクトルが選ばれていない場合、当該ブロックにおいて予測誤差評価基準値が小さい順に抽出した動きベクトルの中からさらに符号量が最も少ない動きベクトルを動き補償予測符号化に使用する動きベクトルとして選択することから、画質を維持しつつ、予測が当たらなかった場合に動きベクトルに費やす情報量を削減することができ、ひいては符号化効率を向上させることができるという効果がある。

実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。本実施の形態１による動画像符号化装置は、並べ替え部２、減算器３、直交変換部４、量子化部５、可変長符号化部６、バッファ７、逆量子化部９、逆直交変換部１０、加算器１１、画像メモリ１２，１３、動き補償部１４、動きベクトル探索部１５、動きベクトルメモリ（第２の動きベクトル記憶部）１６、動きベクトルメモリ（第１の動きベクトル記憶部）１７及び動きベクトル選択部１８から構成される。

本実施の形態の動画像符号化装置は、例えば汎用コンピュータなどを用いて、本発明に従う動画像符号化プログラムを実行させることによって具現化することができる。つまり、動画像符号化プログラムをコンピュータに実行させて上記構成要素２〜７、９〜１８として機能させることにより、本実施の形態の動画像符号化装置における特徴的なデータ処理を実行することができる。

なお、以下の説明において、本実施の形態の動画像符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能は、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものではないので詳細な記載を省略することにする。

次に動作について説明する。
並べ替え部２は、例えば複数のフレーム画像から構成される入力画像信号１を入力すると、両方向符号化のためにそのフレーム順序を入れ替える。具体的には、動画像符号化の国際標準化方式であるＭＰＥＧ−２などで採用されている両方向予測に対応させるため、時間的に未来にあたるフレームの参照画像が符号化画像より先に符号化されるように入れ替えを行う。

次に、並べ替え部２からの出力画像信号は、減算器３によって動き補償予測部１４から出力される動き補償予測信号との間で差分がとられる。この差分信号は、直交変換部４によって直交変換された後、量子化部５により量子化される。可変長符号化部６は、動きベクトル選択部１８から入力した動きベクトルを含む動きベクトル等データに応じて、量子化部５により量子化された信号に符号を割り当てバッファメモリ７に出力する。

バッファメモリ７では、可変長符号化部６からの出力データを一時的に蓄え、符号化データ８として出力する。一方、イントラ符号化が選択された場合、減算器３には、動き補償予測部１４からの出力ではなくゼロ値が送られる。これにより、イントラ符号化が実行される。

また、量子化部５により量子化された信号は、可変長符号化部６の他、逆量子化部９にも出力される。逆量子化部９は、量子化部５からの信号を逆量子化し、逆直交変換部１０に出力する。逆量子化部９からの信号は、逆直交変換部１０により逆直交変換される。

逆直交変換された信号は、加算器１１により動き補償予測部１４からの動き補償予測画像信号と加算される。なお、イントラ符号化が選択された場合には、加算器１１には動き補償予測信号の代わりにゼロ値が送られてイントラ符号化が実行される。

加算器１１からの出力は、画像メモリ１２又は画像メモリ１３に蓄積される。ここで、画像メモリ１２，１３が２面存在するのは、両方向予測を行うためであり、いずれかに時間的に過去の画像を蓄積し、もう一方に時間的に未来の画像を蓄積することで、両方向予測を行うことができる。

次に、動きベクトル探索部１５は、画像メモリ１２又は画像メモリ１３から読み出した参照画像の画像信号と、現画像の画像信号とを用いて、動きベクトル探索を行う。この探索方法としては、上述したブロックマッチング法がある。但し、両方向予測を行う場合には、時間的に過去の画像からの予測と、時間的に未来の画像からの予測とをそれぞれブロックマッチング法を用いて実施した後、それぞれで選択された動きベクトルの位置で１対１の線形内挿を行って作成した参照画像を用いて予測誤差評価基準値を求め、併せて３つのうちより予測誤差評価基準値が最小のものを選択するのが一般的である。これは、上述した非特許文献１にも示されている。

このようにして探索された動きベクトルを含む動きベクトル等データを受けて、動き補償部１４では、対応する動きベクトルで示された参照画像のブロックを動き補償予測画像信号として減算器３に出力する。

また、上述のようにして動きベクトル探索部１５が探索結果として得た動きベクトルは、動きベクトルメモリ１６又は動きベクトルメモリ１７に蓄積される。このとき、動きベクトルメモリ１６には、現ピクチャ（現在画像）と時間軸上で隣接した直前の画像である前ピクチャ（直前画像）から探索された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルが全てのブロック分記憶される。

一方、動きベクトルメモリ１７には、現ピクチャから探索された動きベクトルのうち、予測誤差評価基準値が小さいものから順にα個（αは２以上の自然数）の動きベクトルを、これらに対応する各予測誤差評価基準値と共に、当該ブロック分についてのみ記憶される。

なお、上述したように、動きベクトル探索部１５は、符号化対象のブロック毎に動きベクトルを探索するが、ブロック毎に、フレーム予測、フィールド予測、前方向予測、両方向予測などの予測モードがあり、この予測モードの違いにより動きベクトルの本数が異なってくるので、α個の各動きベクトルの中には、動きベクトルが１本のものもあるが、動きベクトルが２本や４本のものも存在する。

つまり、動きベクトルメモリ１７には、各予測モードでの符号化時に現ピクチャの符号化対象ブロックに付加される動きベクトルのうち、予測誤差評価基準値が小さいものから順にα個の動きベクトルが当該ブロック分のみ記憶されることになる。

動きベクトル選択部１８では、動きベクトルメモリ１６や動きベクトルメモリ１７からの出力を受けて、可変長符号化部６による符号化処理や動き補償予測部１４による動き補償予測画像信号の生成処理に用いる動きベクトルを選択する。

次に、動きベクトル選択部１８による動きベクトル選択動作について説明する。
図２は、動きベクトルの記憶動作も含む動きベクトル選択処理を示すフローチャートであり、この図に沿って説明する。先ず、動きベクトル探索部１５が、上述したように動きベクトル探索を行い（ステップＳＴ１）、前ピクチャから探索した動きベクトルのうち予測誤差評価基準値（予測残差）が最小となる動きベクトルを、動きベクトルメモリ１６に全ブロック分記憶する（ステップＳＴ２）。

一方、動きベクトル探索部１５は、現ピクチャから探索した動きベクトルのうち、予測誤差評価基準値（予測残差）が小さいものから順にα個（αは自然数）の動きベクトルを、これらに対応する各予測誤差評価基準値と共に、当該ブロック分のみ動きベクトルメモリ１７に記憶する（ステップＳＴ３）。

続いて、動きベクトル選択部１８は、動きベクトルメモリ１７から読み出した現ピクチャの上記ブロック分の各動きベクトルの予測誤差評価基準値のうち、最小の基準値をとる動きベクトルを抽出し、さらに動きベクトルメモリ１６から当該現ピクチャのブロックに対応するブロックの前ピクチャの動きベクトルを読み出して、これら動きベクトル間のばらつきの度合いを示す差分絶対値和βを求める（ステップＳＴ４）。

図３は、前ピクチャの動きベクトルと現ピクチャの動きベクトルとの差分絶対値和を求める処理を説明するための図である。図において、第（ｎ−１）ピクチャが前ピクチャであり、第ｎピクチャが現ピクチャを表している。各ピクチャに示した斜線を付した領域は、上記α個の動きベクトルとその予測誤差評価基準値を求めた符号化対象のブロックを示している。

Ｖｘ［ｎ］は第ｎピクチャの動きベクトルの水平成分であり、Ｖｙ［ｎ］は第ｎピクチャの動きベクトルの垂直成分を表す。Ｖｘ［ｎ−１］は第（ｎ−１）ピクチャの動きベクトルの水平成分であり、Ｖｙ［ｎ−１］は第（ｎ−１）ピクチャの動きベクトルの垂直成分を表す。これにより、差分絶対値和βは、下記式（１）のように表すことができる。

β←ＳＱＲＴ｛（Ｖｘ［ｎ］−Ｖｘ［ｎ−１］）^２
＋（Ｖｙ［ｎ］−Ｖｙ［ｎ−１］）^２｝ ・・・（１）

動きベクトル選択部１８は、動きベクトルメモリ１６，１７から読み出した対応するブロックの前ピクチャと現ピクチャの予測誤差評価基準値が最小の各動きベクトルを用い、上記式（１）に従って、差分絶対値和βを求める。

なお、上述したように、動きベクトル探索部１５により探索された、符号化対象ブロックに付加される（Ｖｘ［ｎ−１］，Ｖｙ［ｎ−１］）や、（Ｖｘ［ｎ］，Ｖｙ［ｎ］）で表される動きベクトルは、予測モードによっては複数本の動きベクトルからなるベクトル群になる。このため、本実施の形態では、符号化対象ブロックに複数本の動きベクトルが付加されている場合、上記式（１）による演算前に各ベクトルの本数分の相加平均をとったものを以降の処理に使用するβ値とするか、若しくは、上記式（１）に従って各動きベクトルについてβ値を演算した後、それらベクトル本数中の最大値を以降の処理に使用するβ値とする。

続いて、動きベクトル選択部１８は、予め定めた閾値ＴＨ（許容値）と差分絶対値和βとを比較する（ステップＳＴ５）。閾値ＴＨは、前ピクチャの動きベクトルと現ピクチャの動きベクトルとの間で方向及び大きさが共に揃っており許容されるばらつきの範囲内にあるβ値の最上限値であり、両ピクチャ間の動きの連続性を評価する基準となる。この閾値ＴＨは、試験結果から統計的に決定される。例えば、閾値ＴＨを徐々に変化させて、動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って最適な値を決定する。なお、これらの値は、画像の解像度やフレームレートなどにも依存する。

ステップＳＴ５において、β値が閾値ＴＨ以下である場合、動きベクトル選択部１８は、当該ブロックで予測誤差評価基準値が最小の動きベクトルが、前ピクチャと現ピクチャで方向及び大きさ共に揃っており許容されるばらつきの範囲内であると判定する。この場合、動きベクトル選択部１８は、画像の動きに合致した動きベクトルが選ばれていると判断し、予測誤差評価基準値が最小となる動きベクトルを選択する（ステップＳＴ６）。この動きベクトルを含むデータは、動きベクトル選択部１８から可変長符号化部６及び動き補償部１４に出力される。

一方、β値が閾値ＴＨを超える場合、動きベクトル選択部１８は、当該ブロック（マクロブロック）で予測誤差評価基準値が最小の動きベクトルが、前ピクチャと現ピクチャで方向や大きさが大きく異なっており、許容されるばらつきの範囲外であると判定する。この場合、動きベクトル選択部１８は、画像の動きに合致した動きベクトルが選ばれていないと判断し、以下のようにしてα個の動きベクトルから符号量が最も少ない動きベクトルを選択する。

上述したように、動きベクトルメモリ１７に記憶してあるα個の動きベクトルは、予測モードによっては複数本の動きベクトルからなるベクトル群である。そこで、動きベクトル選択部１８は、画像の動きに合致した動きベクトルが選ばれていないと判断すると、α個の動きベクトル（ベクトル群）から、動きベクトルの本数が最小のものを選択する。また、本数が最小の動きベクトルが複数存在する場合、最小本数の動きベクトル（ベクトル群）のうち、動きベクトルの長さが最小のものを選択する（ステップＳＴ７）。

例えば、動画像符号化の国際標準化方式であるＭＰＥＧ−２であれば、時間的に過去の画像から予測を行なう前方向予測、時間的に未来の画像から予測を行なう後方向予測、時間的に過去の画像と未来の画像の両方から予測を行なう両方向予測といったバリエーションが存在し、その各々にフレーム予測やフィールド予測といった予測モードが存在し、これらの組み合わせによっては符号化時に１ブロックに付加される動きベクトルの本数が異なる。これより、上述した「動きベクトルの本数が最小のもの」とは、この符号化時に１ブロックに付加される動きベクトルの本数が最も少ないものを指している。

以上のように、この実施の形態１によれば、動きベクトル選択部１８が、現ピクチャ中のブロックで予測誤差評価基準値が最小の動きベクトルと、当該現ピクチャのブロックに対応する前ピクチャ中のブロックで予測誤差評価基準が最小の動きベクトルとの間でばらつきの度合いを算出し、算出したばらつきの度合いから画像の動きに合致した動きベクトルが選択されているか否かを判定し、画像の動きに合致した動きベクトルが選ばれていない場合、動きベクトルメモリ１７に記憶しておいた、予測誤差評価基準値が小さい順に抽出したα個の動きベクトルのうち、動きベクトルの本数が最小のものを選択し、最小本数のものが複数あれば動きベクトルの長さが最小のものを選択するので、画像の動きに合致した動きベクトルが選ばれていない場合では、動きベクトルに費やす情報量を抑制することができ、ひいては符号化効率を向上させることができる。また、ベクトルの本数及び長さが最小の動きベクトルを、予測誤差評価基準値が小さい順にα個の動きベクトルから選択するので、画質を維持しつつ上記効果を得ることができる。

なお、上記実施の形態１では、上記式（１）を用いて差分絶対値和βを算出する例を示したが、現フレームの予測誤差評価基準値が最小の動きベクトルと前フレームの予測誤差評価基準値が最小の動きベクトルとの間で、これらの方向や大きさのばらつきの度合いを表すパラメータであれば、どんな演算を用いるものでもよい。

例えば、上記式（１）のような自乗演算を用いるものと比較して装置化が容易な下記式（２）のような各成分毎の差分絶対値を用いてもよい。
β←（｜Ｖｘ［ｎ］−Ｖｘ［ｎ−１］｜＋｜Ｖｙ［ｎ］−Ｖｙ［ｎ−１］｜）
・・・（２）

また、上記実施の形態１で示した構成において、前ピクチャと現ピクチャの間にシーンチェンジが発生していた場合、上述した動きベクトル選択を行なわず、常に予測誤差が最小の動きベクトルを使用して符号化するように構成してもよい。これは、シーンチェンジを挟んだ場合、時間的に前後で画像が切り替わって動きが不連続になり、動きの連続性を評価する本発明の効果を得ることができないからである。

実施の形態２．
この実施の形態２は、上記実施の形態１と基本的な構成は同一であるが、動きベクトルメモリ１７に蓄積される情報や動きベクトル選択部１８による動きベクトル選択処理が異なる。そこで、この動きベクトルの選択処理について主に説明する。なお、本実施の形態の動画像符号化装置についても、上記実施の形態１と同様に、例えば汎用コンピュータなどを用いて、本発明に従う動画像符号化プログラムを実行させることによって具現化することができる。

図４は、実施の形態２の動画像符号化装置による動きベクトル選択処理を示すフローチャートである。図に示すように、動きベクトル探索部１５が、上記実施の形態１と同様に、動きベクトル探索を行い（ステップＳＴ１ａ）、前ピクチャから探索した動きベクトルのうち予測誤差評価基準値（予測残差）が最小となる動きベクトルを、動きベクトルメモリ１６に全ブロック分記憶する（ステップＳＴ２ａ）。

一方、動きベクトル探索部１５は、現ピクチャから探索した動きベクトルのうち、予測誤差評価基準値（予測残差）が小さいものから順にα個（αは自然数）の動きベクトルとこれらに対応する各予測誤差評価基準値とを当該ブロック分のみ動きベクトルメモリ１７に記憶する（ステップＳＴ３ａ）。

続いて、動きベクトル探索部１５は、これらα個の動きベクトルとは別に、予測タイプ毎に予測誤差評価基準値が最小となる動きベクトルとこれに対応する予測誤差評価基準値とを動きベクトルメモリ１７に記憶する（ステップＳＴ４ａ）。

ここで、予測タイプとは、例えば動画像符号化の国際標準化方式であるＭＰＥＧ−２であれば、時間的に過去の画像から予測を行なう前方向予測、時間的に未来の画像から予測を行なう後方向予測、時間的に過去の画像と未来の画像の両方から予測を行なう両方向予測といったバリエーションが存在し、その各々にフレーム予測やフィールド予測といった予測モードが存在しており、これらの組み合わせの全てを指すものとする。

つまり、動画像の１つのブロックに施されるべき、前方向予測や後方向予測、フレーム予測、フィールド予測などの各種予測モードの組み合わせを当該ブロックの予測タイプと呼び、各種予測モードの組み合わせによる各予測タイプで当該ブロックをそれぞれ符号化した際に付加された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルを動きベクトルメモリ１７に記憶することになる。

次に、動きベクトル選択部１８は、動きベクトルメモリ１７から読み出した現ピクチャの上記ブロック分の各動きベクトルの予測誤差評価基準値のうち、最小値をとる動きベクトルを抽出し、前ピクチャと現ピクチャの動きベクトルの差分絶対値βを求める（ステップＳＴ５ａ）。

上記実施の形態１で示した図３を用いて、ステップＳＴ５ａの処理について詳細に説明する。上述したように、第（ｎ−１）ピクチャが前ピクチャであり、第ｎピクチャが現ピクチャを表している。各ピクチャに示した斜線を付した領域は、上記α個の動きベクトルとその予測誤差評価基準値を求めた上記ブロックを示している。

Ｖｘ［ｎ］は第ｎピクチャの動きベクトルの水平成分であり、Ｖｙ［ｎ］は第ｎピクチャの動きベクトルの垂直成分を表す。Ｖｘ［ｎ−１］は第（ｎ−１）ピクチャの動きベクトルの水平成分であり、Ｖｙ［ｎ−１］は第（ｎ−１）ピクチャの動きベクトルの垂直成分を表す。これにより、差分絶対値和βは、上記式（１）のように表すことができる。

動きベクトル選択部１８は、動きベクトルメモリ１６，１７から読み出した対応するブロックの前ピクチャと現ピクチャの予測誤差評価基準値が最小の各動きベクトルを用い、上記式（１）に従って差分絶対値和βを求める。

なお、動きベクトル探索部１５により探索された、符号化対象ブロックに付加される（Ｖｘ［ｎ−１］，Ｖｙ［ｎ−１］）や、（Ｖｘ［ｎ］，Ｖｙ［ｎ］）で表される動きベクトルは、予測モードによっては複数本の動きベクトルからなるベクトル群になる。このため、本実施の形態では、符号化対象ブロックに複数本の動きベクトルが付加されている場合、上記式（１）による演算前に各ベクトルの本数分の相加平均をとったものを以降の処理に使用するβ値とするか、若しくは、上記式（１）に従って各動きベクトルについてβ値を演算した後、これらベクトル本数中の最大値を以降の処理に使用するβ値とする。

続いて、動きベクトル選択部１８は、予め定めた閾値ＴＨ（許容値）と差分絶対値和βとを比較する（ステップＳＴ６ａ）。閾値ＴＨは、前ピクチャの動きベクトルと現ピクチャの動きベクトルとの間で方向及び大きさが共に揃っていることを示す最上限値であり、試験結果から統計的に決定される。例えば、閾値ＴＨを徐々に変化させて、動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って最適なＴＨを決定する。なお、これらの値は、画像の解像度やフレームレートなどにも依存する。

ステップＳＴ６ａにおいて、β値が閾値ＴＨ以下である場合、動きベクトル選択部１８は、当該ブロックで予測誤差評価基準値が最小の動きベクトルが、前ピクチャと現ピクチャで方向及び大きさ共に揃っており許容されるばらつきの範囲内にあると判定する。この場合、動きベクトル選択部１８は、画像の動きに合致した動きベクトルが選ばれていると判断し、予測誤差評価基準値が最小となる動きベクトルを選択する（ステップＳＴ７ａ）。この動きベクトルを含むデータは、動きベクトル選択部１８から可変長符号化部６及び動き補償部１４に出力される。

一方、β値が閾値ＴＨを超える場合、動きベクトル選択部１８は、当該ブロック（マクロブロック）で予測誤差評価基準値が最小の動きベクトルが、前ピクチャと現ピクチャで方向や大きさが大きく異なっており、許容されるばらつきの範囲外であると判定する。この場合、動きベクトル選択部１８は、画像の動きに合致した動きベクトルが選ばれていないと判断し、以下のような動きベクトルを選択する。

先ず、動きベクトル選択部１８は、動きベクトルメモリ１７に記憶してあるα個の動きベクトルに対する予測誤差評価基準値のうちから最小のものを抽出し、その予測誤差評価基準値をＡとする（ステップＳＴ８ａ）。

続いて、動きベクトル選択部１８は、予測誤差評価基準値が小さい順にα個の動きベクトルに対する予測誤差評価基準値及び予測タイプ毎に記憶した動きベクトルに対する予測誤差評価基準値と上記Ａとの差分絶対値をそれぞれ求め、これら差分絶対値のうち、予め定めた一定値Ｄ（許容値）を超えるものを対象から除外する（ステップＳＴ９ａ）。

上述した値Ｄは、α個の動きベクトルに対する予測誤差評価基準値及び予測タイプ毎に記憶した動きベクトルに対する予測誤差評価基準値と上記Ａとの差分絶対値に関して、前ピクチャの動きベクトルと現ピクチャの動きベクトルとの間で方向及び大きさが共に揃っており許容されるばらつきの範囲内になる予測誤差評価基準値についての差分絶対値和の最上限値であり、両ピクチャ間の動きの連続性を評価する基準となる。このＤ値は、試験結果から統計的に決定される。例えば、Ｄ値を徐々に変化させて、動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って最適な値が決定される。

このあと、動きベクトル選択部１８は、ステップＳＴ９ａの処理で残った動きベクトルから、符号量が最も少ない動きベクトルを動く補償予測符号化に使用する動きベクトルとして選択する。例えば、動きベクトル選択部１８は、ステップＳＴ９ａの処理で残った動きベクトルから動きベクトルの本数が最小のものを選択する。また、本数が最小の動きベクトルが複数存在する場合、最小本数の動きベクトル（ベクトル群）のうち、動きベクトルの長さが最小のものを選択する（ステップＳＴ１０ａ）。

なお、上述した「動きベクトルの本数が最小のもの」は、上記実施の形態１と同様に、符号化時に１ブロックに付加される動きベクトルの本数が最も少ないものを選択することを指している。

以上のように、この実施の形態２によれば、動きベクトル選択部１８が、画像の動きに合致した動きベクトルが選択されているか否かを判定し、画像の動きに合致した動きベクトルが選ばれていない場合、α個の動きベクトル及び予測タイプ毎に記憶した動きベクトルに対する予測誤差評価基準値とα個の動きベクトルに対する予測誤差評価基準値のうち最小のものとの間で差分絶対値和を算出し、α個の動きベクトルのうちこの差分絶対値和が許容値を超えるものを除外して選別した動きベクトルのうち、動きベクトルの本数が最小のものを選択し、最小本数のものが複数あれば動きベクトルの長さが最小のものを選択する。

このように、全ての動きベクトル候補のうち、予測誤差評価基準値が小さい順にα個分だけ抽出した動きベクトルの他、予測タイプ毎の動きベクトルのうち最小の予測誤差評価基準値となる動きベクトルをそれぞれ抽出して、画像の動きに合致した動きベクトルが選ばれていない場合における選択候補とすることで、例えば予測誤差評価基準値が小さい順にα個分だけ抽出した動きベクトルを構成する全てのベクトルが特定の予測タイプに偏ってしまった場合であっても、これらとは別個に各予測タイプの最適ベクトルを候補に加えることができる。

また、予測タイプによっては、動きベクトルの本数が異なる場合もあることを考慮すると、上記実施の形態１よりも動きベクトルの候補を増やすことにより、画像の動きに合致した動きベクトルが選ばれていない場合における動きベクトルの情報量を減少させることができ、ひいては上記実施の形態１よりも符号化効率を向上させることができる。

なお、上記実施の形態２では、予測タイプ毎に予測誤差評価基準値が最小となる動きベクトルとそれに対応する予測誤差評価基準値を記憶しておく構成を示したが、これに加えて動きベクトル（０，０）と、それに対する予測誤差評価基準値も記憶しておき、これらを符号化に用いる動きベクトルの候補としてもよい。

また、上記実施の形態２では、上記式（１）を用いて差分絶対値和βを算出する例を示したが、現フレームの予測誤差評価基準値が最小の動きベクトルと、前フレームの予測誤差評価基準値が最小の動きベクトルとの間で、これらの方向や大きさのばらつき度合いを表すものであれば、どんな演算を用いてもよい。例えば、上記式（１）のような自乗演算より装置化が容易な各成分毎の差分絶対値を用いる上記式（２）であってもよい。

さらに、上記実施の形態２で示した構成において、前ピクチャと現ピクチャの間にシーンチェンジが発生していた場合、上述した動きベクトル選択を行なわず、常に予測誤差が最小の動きベクトルを使用して符号化するように構成してもよい。これは、シーンチェンジを挟んだ場合、時間的に前後で画像が切り替わって動きが不連続になり、動きの連続性を評価する本発明の効果を得ることができないからである。

この発明に係る動画像符号化装置は、動画像符号化にあたり、画像の動きに合致した動きベクトルが選択されず予測が当たらなかった場合であっても画質を維持しつつ動きベクトルに費やす情報量を削減することができるので、動画像を高能率符号化してディジタル伝送するシステムに適用可能である。

この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。 動きベクトル選択処理を示すフローチャートである。 前ピクチャの動きベクトルと現ピクチャの動きベクトルとの差分絶対値和を求める処理を説明するための図である。 実施の形態２の動画像符号化装置による動きベクトル選択処理を示すフローチャートである。

符号の説明

１ 入力画像信号、２ 並べ替え部、３ 減算器、４ 直交変換部、５ 量子化部、６ 可変長符号化部、７ バッファ、８ 符号化データ、９ 逆量子化部、１０ 逆直交変換部、１１ 加算器、１２，１３ 画像メモリ、１４ 動き補償部、１５ 動きベクトル探索部、１６，１７ 動きベクトルメモリ（第１の動きベクトル記憶部、第２の動きベクトル記憶部）、１８ 動きベクトル選択部。

Claims (7)

1. 時間軸上に並んだ複数の画像からなる動画像を上記画像内で複数のブロックに分割し、当該ブロック単位で探索した動きベクトルに基づいて上記動画像の動き補償予測符号化を実行する動画像符号化装置において、
   上記動画像から上記ブロック毎に動きベクトルを探索する動きベクトル探索部と、
   上記動きベクトル探索部により上記ブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルを当該ブロック分記憶する第１の動きベクトル記憶部と、
   上記動きベクトル探索部により上記画像で探索された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルを当該画像の全ブロック分記憶する第２の動きベクトル記憶部と、
   上記第１の動きベクトル記憶部から読み出した上記動画像の現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、上記第２の動きベクトル記憶部から読み出した当該現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準が最小の動きベクトルとの間でばらつきの度合いを算出し、算出したばらつきの度合いが許容値を超える場合、上記第１の動きベクトル記憶部に記憶した複数の動きベクトルのうち、符号量が最も少ない動きベクトルを上記現在画像のブロックの動き補償予測符号化に使用する動きベクトルとして選択する動きベクトル選択部と
   を備えたことを特徴とする動画像符号化装置。
2. 第１の動きベクトル記憶部は、
   動きベクトル探索部によりブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルとその予測誤差評価基準値とを当該ブロック分記憶すると共に、当該ブロックに対して施された予測符号化モードの組み合わせである予測タイプ毎に探索された動きベクトルのうち、予測誤差評価基準値が最小の動きベクトルとその予測誤差評価基準値とを当該ブロック分記憶し、
   動きベクトル選択部は、
   上記第１の動きベクトル記憶部から読み出した現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、第２の動きベクトル記憶部から読み出した上記現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準値が最小の動きベクトルとの間でばらつきの度合いを算出し、
   算出したばらつきの度合いが許容値を超える場合、上記第１の動きベクトル記憶部から読み出した上記現在画像中のブロックにおける複数の動きベクトルの各予測誤差評価基準値と、上記予測タイプ毎の動きベクトルの予測誤差評価基準値との間でばらつきの度合いを算出し、
   算出したばらつきの度合いが許容値を超える動きベクトルを除外した残りの動きベクトルのうち、符号量が最も少ない動きベクトルを上記現在画像中のブロックの動き補償予測符号化に使用する動きベクトルとして選択することを特徴とする請求項１記載の動画像符号化装置。
3. 動きベクトル選択部は、ばらつきの度合いとして差分絶対値和を求めることを特徴とする請求項１又は請求項２記載の動画像符号化装置。
4. 動きベクトル選択部は、動きベクトルの本数が最小の動きベクトルを符号量が最も少ない動きベクトルとして選択することを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画像符号化装置。
5. 動きベクトル選択部は、動きベクトルの本数が最小の動きベクトルが複数ある場合、これらのうち動きベクトルの長さが最小のものを符号量が最も少ない動きベクトルとして選択することを特徴とする請求項４記載の動画像符号化装置。
6. 時間軸上に並んだ複数の画像からなる動画像を上記画像内で複数のブロックに分割し、当該ブロック単位で探索した動きベクトルに基づいて上記動画像の動き補償予測符号化を実行するにあたり、上記動画像から上記ブロック毎に動きベクトルを探索する動きベクトル探索部、
   上記動きベクトル探索部により上記ブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルを当該ブロック分記憶する第１の動きベクトル記憶部、
   上記動きベクトル探索部により上記画像で探索された動きベクトルのうち、予測誤差評価基準値が最小となる動きベクトルを当該画像の全ブロック分記憶する第２の動きベクトル記憶部、
   上記第１の動きベクトル記憶部から読み出した上記動画像の現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、上記第２の動きベクトル記憶部から読み出した当該現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準が最小の動きベクトルとの間でばらつきの度合いを算出し、算出したばらつきの度合いが許容値を超える場合、上記第１の動きベクトル記憶部に記憶した複数の動きベクトルのうち、符号量が最も少ない動きベクトルを上記現在画像のブロックの動き補償予測符号化に使用する動きベクトルとして選択する動きベクトル選択部
   としてコンピュータを機能させるプログラム。
7. 第１の動きベクトル記憶部は、
   動きベクトル探索部によりブロック毎に探索された動きベクトルのうち、予測誤差評価基準値が小さい順に抽出した複数の動きベクトルとその予測誤差評価基準値とを当該ブロック分記憶すると共に、当該ブロックに対して施された予測符号化モードの組み合わせである予測タイプ毎に探索された動きベクトルのうち、予測誤差評価基準値が最小の動きベクトルとその予測誤差評価基準値とを当該ブロック分記憶し、
   動きベクトル選択部は、
   上記第１の動きベクトル記憶部から読み出した現在画像中のブロックで予測誤差評価基準値が最小の動きベクトルと、第２の動きベクトル記憶部から読み出した上記現在画像のブロックに対応する直前画像中のブロックで予測誤差評価基準値が最小の動きベクトルとの間でばらつきの度合いを算出し、
   算出したばらつきの度合いが許容値を超える場合、上記第１の動きベクトル記憶部から読み出した上記現在画像中のブロックにおける複数の動きベクトルの各予測誤差評価基準値と、上記予測タイプ毎の動きベクトルの予測誤差評価基準値との間でばらつきの度合いを算出し、
   算出したばらつきの度合いが許容値を超える動きベクトルを除外した残りの動きベクトルのうち、符号量が最も少ない動きベクトルを上記現在画像中のブロックの動き補償予測符号化に使用する動きベクトルとして選択することを特徴とする請求項６記載のプログラム。

Images