JP2004140794A - 画像符号化方法および画像符号化装置 - Google Patents

Abstract

【課題】　動画像の画像符号化において、処理量の増大を抑制しつつ、動きベクトル検出のマッチング精度を向上させて、画質を低下させることなく符号化効率を向上させる。
【解決手段】　動き検出ブロック２０は、現画像Ｉ１および参照画像Ｉ２をそれぞれ入力とするウェーブレット変換部２１，２２を備えている。動き検出部２３は、ウェーブレット変換部２１，２２における変換によって生成された縮小画像ＲＩ１，ＲＩ２を用いて動きベクトルＭＶを検出する。これにより、同一の処理量で、動きベクトルの探索範囲を、見かけ上拡大することができる。
【選択図】 図１

Description

　本発明は、空間的冗長性を利用したフレーム内予測符号化（イントラ符号化）と時間的冗長性を利用したフレーム間予測符号化（インター符号化）とを適宜に切り替えて符号化を行う動画像符号化に関するものであり、特に、動きの激しい映像に対しても符号化効率の向上と迅速な符号化処理（動き検出）を実現する技術に属する。

　図８は従来の画像符号化装置（エンコーダ）の構成例を示すブロック図、図９はフレーム間予測符号化（インター符号化）を概念的に示す図である。図８において、画像入力部５１から入力された画像信号はフレームメモリ５２に一旦蓄えられる。イントラ符号化の場合は、１フレーム分の画像データに対して、ＤＣＴ（ＤＣＴ部５３）、量子化（量子化部５４）およびハフマン符号化（ハフマン符号化部５５）を行い、同一フレーム内の空間的冗長性を利用した符号化を行う。このとき、量子化されたストリームデータについて逆量子化（逆量子化部５６）５６および逆ＤＣＴ（逆ＤＣＴ部５７）を施し、予測参照画像フレームとしてフレームメモリ５８に保存する。

　一方、インター符号化の場合は、フレームメモリ５８に保存された参照画像フレーム（図９（ａ））とフレームメモリ５２に保存された現画像フレーム（図９（ｂ））とを動き検出部５９で比較し、動きベクトルをマクロブロック毎またはフレーム毎に求める（図９（ｃ））。そして、参照画像フレームに対して、この動きベクトルを用いて動き補償部６０において動き補償を行って参照フレームを作成し（図９（ｄ））、現画像フレームとの差分（図９（ｅ））をＤＣＴ、量子化およびハフマン符号化して伝送する。また検出された動きベクトルについても、ハフマン符号化して伝送する。このとき、量子化された差分データについて逆量子化および逆ＤＣＴを施し、動き補償部６０から出力される動き補償予測データと加算してフレームメモリ５８に保存する。このデータは、次フレームの予測参照画像フレームとなる（図９（ｆ））。

　従来技術として、特許文献１には、動き検出の際、ウェーブレット変換を行って縮小画像を生成し、その縮小画像を用いて求めた動きベクトルを基にして、最終的な動きベクトルを補正して求める技術が開示されている。また、特許文献２には、動き検出の際、特許文献１と同様に、ウェーブレット変換を行って縮小画像を生成し、その縮小画像を用いて求めた動きベクトルを、探索対象マクロブロックの周辺マクロブロックの動きベクトルと比較して補正する技術が開示されている。
米国特許第５４７７２７２号明細書 米国特許第６２１９３８３号明細書

　ところで、図８および図９で説明した従来技術において、動きベクトルを求める際には、参照画像において、動きベクトルを求めるマクロブロック（例えば１６×１６画素）の周辺に探索範囲（例えば４８×４８画素）を設定し、マクロブロックを動かしながら、画素毎の差分の絶対値和が最小となる位置（相関度が最も高い位置）を検索し、これを動きベクトルの終端として検出する。

　そして、画像の動きが激しいために、探索範囲内で動きベクトルが検出できない場合（いずれの評価値も所定値を下回らない場合）には、「インター符号化を用いないで、一般的に符号量の多くなるイントラ符号化を行う」か、または「評価値が最小となる動きベクトルをとりあえず求め、その動きベクトルを用いてインター符号化を行う」ことになる。

　ところが、前者の場合には、イントラ符号化は独立したフレーム内における空間的冗長性のみを利用するために、一般的にインター符号化よりも符号化効率が悪いので、符号量が大幅に増大する。また、後者の場合でも、動きベクトルの精度が低いため、現フレームと予測フレームとの差が大きくなり、同様に符号量が増大してしまう。すなわち、いずれの方法を用いても符号量は増大し、符号化効率の低下を招く。このため、符号化効率を高めるためには、例えば量子化ステップを大きくして、画質に影響を及ぼす情報まで削除しなければならないことになり、画質の低下という問題を招いていた。

　また、動きが激しい映像についても動きベクトル検出を可能にするためには、探索範囲をより広く設定すればよいが、この場合には、探索範囲が大きくなるにつれて、相関度の評価値（画素差分の絶対値和）を求める計算量が大幅に増加してしまい、処理量の増大を招くことになる。

　このように、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の動画像圧縮にフレーム間予測符号化を用いる場合には、シーンチェンジ等で動きが激しくなったとき、一般的に符号量の増加を招くことになり、このため、低ビットレートでの符号化は困難であった。

　また、上述の特許文献１，２は、動きベクトル検出の精度向上を図ることを目的としている。すなわち、動き検出の際、ウェーブレット変換によって、ノイズ成分（高周波成分）が除去された低周波数領域（下位階層）の縮小画像を生成し、この縮小画像を用いて、ノイズの影響を受けていない動きベクトルを求めている。そして、この動きベクトルを基にして、現画像（上位階層）の最終的な動きベクトルを補正により求めている。したがって、このようにして動き検出の精度を高めることによって、低ビットレートでの符号化を可能にしている。

　しかしながら、特許文献１，２では、ウェーブレット変換を数回繰り返して縮小画像を階層的に生成し、これらの縮小画像から階層的に動きベクトルを求めているので、処理量が従来よりもはるかに増大し、このため動き検出の処理時間が従来よりもかかるようになった。

　動き検出の処理時間の増加は、直接、符号化処理時間の増大につながり、例えば、大きな画像サイズ（高画素数）の動画像符号化において、フレーム落ち等の不具合を引き起こす可能性がある。また、消費電力を大きくする等の方策によって処理速度を上げれば、処理時間の増加の抑えることができるものの、このような方策は、特に携帯電話カメラのようなモバイルカメラ用の動画像符号化には、不向きである。

　前記の問題に鑑み、本発明は、動画像の画像符号化において、動きベクトル検出のマッチング精度を向上させて、画質を低下させることなく符号化効率を保ちながら、処理量の増大を抑制して、迅速な処理を実現することを課題とする。

前記の課題を解決するために、本発明は、現画像と参照画像のマッチングにおいて動きベクトルが検出されなかったとき、周波数変換を行い、周波数変換後の縮小画像同士をマッチングして、動きベクトルを探索する。これにより、動きベクトル検出における周波数変換の実行を、必要最小限に抑えることができる。

　また、縮小画像同士のマッチングでも動きベクトルが検出されなかったときは、インター符号化をあきらめ、イントラ符号化するものと判断する。あるいは、動きベクトルが検出されるまで、周波数変換を繰り返し実行するようにし、繰り返し回数の上限値を設定しておいて、周波数変換をその上限値まで繰り返し実行しても動きベクトルが検出されなかったときは、インター符号化をあきらめ、イントラ符号化するものと判断する。これにより、符号化方法（インター符号化かイントラ符号化か）の判断が早期に行われるので、迅速な処理が実現できる。

　また、動き検出対象マクロブロックと、前フレームで同一位置にあったマクロブロック、または、同一フレームで隣接するマクロブロックについて、周波数変換を用いた動き検出がなされていたとき、現画像と参照画像のマッチングを省いて、周波数変換を行い、周波数変換後の縮小画像同士をマッチングして、動きベクトルを探索する。すなわち、処理の履歴を参照して、周波数変換の有無を判断するので、迅速な処理が実現できる。

　具体的には、本発明は、動画像を符号化する画像符号化方法として、符号化対象の現画像について、参照画像を用いて、動きベクトルを検出する第１のステップと、前記参照画像に対して、前記動きベクトルを用いて、動き補償を行う第２のステップと、前記現画像と、動き補償後の前記参照画像との差分を、直交変換、量子化および可変長符号化を用いて、符号化する第３のステップとを備え、前記第１のステップは、前記現画像と前記参照画像とをマッチングして、第１の探索を行うステップと、前記第１の探索において動きベクトルが検出されなかったとき、前記現画像と前記参照画像とに対して、実質的に同等の周波数変換を行い、この周波数変換によって生成した縮小画像同士を用いて、動きベクトルの検出を行うものである。

　本発明によると、現画像と参照画像とをマッチングする第１の探索において動きベクトルが検出されなかったとき、現画像と参照画像とに対して実質的に同等の周波数変換を行い、この周波数変換によって生成した縮小画像同士をマッチングして、第２の探索を行う。これにより、第２の探索では、動き検出を行う探索範囲が見かけ上広げられ、より広範囲での動きベクトル検出が可能となり、かつ、単に探索範囲を広げるのではないために処理量の増大を招くことはない。このため、シーンチェンジ等で画像の動きが大きい場合でも、動き検出のマッチング精度が向上し、画質が向上するとともに、動き検出を断念して符号量が大きいイントラ符号化を行う確率が大幅に低下する。したがって、画質を低下させることなく符号化効率を向上させることができ、高画質を保ちつつ低ビットレートでの符号化を実現することができる。

　しかも、周波数変換によって生成した縮小画像同士を用いた第２の探索は、現画像と参照画像とをマッチングする第１の探索において動きベクトルが検出されなかったときにのみ、実行されるので、動きベクトル検出における周波数変換の実行頻度を必要最小限に抑えることができ、したがって、符号化効率を向上させつつ、迅速な符号化処理も可能になる。

　そして、前記本発明に係る画像符号化方法の第１のステップにおいて、前記第２の探索において動きベクトルが検出されなかったとき、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断するのが好ましい。

　この発明によると、第２の探索、すなわち、より広範囲での動きベクトル探索でも動きベクトルが検出できなかったときは、動きが相当激しい画像であると考えられるため、インター符号化をやめて、イントラ符号化を行うと速やかに判断する。すなわち、符号化方法の判断が早期に行われるので、迅速な処理が実現できる。

　そして、前記本発明に係る画像符号化方法における直交変換は、ＤＣＴであるのが好ましい。

　また、前記本発明に係る画像符号化方法における可変長符号化は、ハフマン符号化であるのが好ましい。

　また、前記本発明に係る画像符号化方法における周波数変換は、ウェーブレット変換であるのが好ましい。

　また、前記本発明に係る画像符号化方法における第１のステップにおいて、前記第２の検索において検出された動きベクトルを暫定的に用い、元の前記現画像について、元の前記参照画像を参照して、最終的な動きベクトルを求めるのが好ましい。

　また、前記本発明に係る画像符号化方法における第１のステップにおいて、　前記第２の探索において動きベクトルが検出されなかったとき、前記周波数変換を、動きベクトルが検出されるまで繰り返し実行するのが好ましい。

　この発明によると、周波数変換を繰り返し実行することによって、探索範囲が広がり、動き検出の精度が向上するとともに、動きベクトルが検出されたときは、さらなる周波数変換は行わないので、動きベクトル検出における周波数変換の実行を、必要最小限に抑えることができる。

　さらに、前記第１のステップにおいて、前記周波数変換を所定の上限回数だけ繰り返し実行した後、動きベクトルが検出されなかったとき、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断するのが好ましい。

　この発明によると、周波数変換を繰り返し実行することによって、探索範囲が広がり、動き検出の精度が向上するものの、処理時間とのトレードオフになるため、周波数変換の上限回数を設定し、その上限回数の範囲で動きベクトルが検出されなかったときは、インター符号化をやめて、イントラ符号化を行うと速やかに判断する。すなわち、符号化方法の判断が早期に行われるので、迅速な処理が実現できる。

　さらに、符号化データの符号量を測定する第４のステップを備え、前記所定の上限回数を、前記第４のステップにおいて測定した符号量に応じて設定するのが好ましい。

　また、前記本発明に係る画像符号化方法における第１のステップにおいて、前記現画像および参照画像に対して周波数変換を行うか否かを判断し、周波数変換を行わないと判断した場合は、前記第１の探索において動きベクトルが検出されなかったとき、前記第２の探索を実行しないで、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断するのが好ましい。

　この発明によると、例えば、処理速度を優先するような場合は、周波数変換を行わないものと判断し、第１の探索において動きベクトルが検出されなかったときでも、第２の探索を実行しないで、イントラ符号化するものと判断する。これにより、迅速な符号化処理が可能になる。

　また、前記本発明に係る画像符号化方法の第１のステップにおいて、動き検出対象マクロブロックと、前フレームで同一位置にあったマクロブロック、または、同一フレームで隣接するマクロブロックについて、動きベクトル検出において周波数変換がなされたか否かを検知し、周波数変換が行われていたとき、前記第１の探索を行わないで、前記第２の探索を行うのが好ましい。

　この発明によると、前フレームで同一位置にあったマクロブロックについて周波数変換がなされていたとき、そのマクロブロックは動きが激しいものであったと考えられるので、時間的相関性から、動き検出対象マクロブロックも動きが激しいものである可能性が高い。また、同一フレームで隣接するマクロブロックについて周波数変換がなされていたとき、そのマクロブロックも動きが激しいものであったと考えられるので、空間的相関性から、動き検出対象マクロブロックも動きが激しいものである可能性が高い。このため、前フレームで同一位置にあったマクロブロック、または、同一フレームで隣接するマクロブロックについて周波数変換が行われていたとき、第１の探索を行わないで、周波数変換を用いた第２の探索を行うことによって、処理が簡略化でき、高速処理が可能になる。

　また、本発明が講じた解決手段は、動画像を符号化する画像符号化装置として、符号化対象の現画像について、参照画像を用いて、動きベクトルを検出する動き検出ブロックと、前記参照画像に対して、前記動き検出ブロックによって検出された動きベクトルを用いて、動き補償を行う動き補償部と、前記現画像と、動き補償後の前記参照画像との差分を、直交変換、量子化および可変長符号化を用いて、符号化する符号化ブロックとを備え、前記動き検出ブロックは、前記現画像に対して第１の周波数変換を行い、第１の縮小画像を生成する第１の周波数変換部と、前記参照画像に対して、前記第１の周波数変換と実質的に同等の第２の周波数変換を行い、第２の縮小画像を生成する第２の周波数変換部とを備え、前記第１の縮小画像について、前記第２の縮小画像を参照して、動きベクトルを検出可能に構成されているものである。

　本発明によると、動き検出ブロックにおいて、第１および第２の周波数変換部によって、現画像と参照画像とに対して実質的に同等の周波数変換が行われ、この周波数変換によって生成した第１の縮小画像について、第２の縮小画像を参照して、動きベクトルが検出可能である。これにより、動き検出を行う探索範囲が見かけ上広げられ、より広範囲での動きベクトル検出が可能となり、かつ、単に探索範囲を広げるのではないために処理量の増大を招くことはない。このため、シーンチェンジ等で画像の動きが大きい場合でも、動き検出のマッチング精度が向上し、画質が向上するとともに、動き検出を断念して符号量が大きいイントラ符号化を行う確率が大幅に低下する。したがって、画質を低下させることなく符号化効率を向上させることができ、高画質を保ちつつ低ビットレートでの符号化を実現することができる。

　そして、前記本発明に係る画像符号化装置における動き検出ブロックは、当該装置外部から、周波数変換の上限回数を設定可能なカウンタを備え、前記第１および第２の周波数変換部は、一の現画像または参照画像に対する第１または第２の周波数変換の繰り返し回数が、前記カウンタに設定された上限回数に制限されているのが好ましい。

　また、前記本発明に係る画像符号化装置における動き検出ブロックは、動きベクトル検出を、前記第１の縮小画像について行うか、または、元の前記現画像について行うかを、切り替え可能に構成されているのが好ましい。

　さらに、前記第１および第２の周波数変換部は、当該動き検出ブロックが、前記現画像について動きベクトル検出を行うとき、その動作を停止するのが好ましい。

　あるいは、前記符号化ブロックから出力された符号化データを一時的に蓄積するバッファメモリと、前記バッファメモリに蓄積された符号量を監視し、この符号量を基にして、前記動き検出ブロックに、動きベクトル検出を前記第１の縮小画像について行うか、または、元の前記現画像について行うかを、指示する制御部とを備えているのが好ましい。

　本発明によると、周波数変換によって、動き検出を行う探索範囲が見かけ上広げられるので、シーンチェンジ等で画像の動きが大きい場合でも、動き検出のマッチング精度が向上し、画質が向上するとともに、動き検出を断念して符号量が大きいイントラ符号化を行う確率が大幅に低下する。したがって、高画質を保ちつつ低ビットレートでの符号化を実現することができる。

　また、現画像と参照画像のマッチングにおいて動きベクトルが検出されなかったときにのみ、周波数変換を行うので、動きベクトル検出における周波数変換の実行を必要最小限に抑えることができ、高速な処理が可能になる。さらに、周波数変換を行っても、あるいは、周波数変換を所定回数繰り返しても、動きベクトルが検出されないときは、イントラ符号化すると判断したり、時間的または空間的相関性が高いマクロブロックの処理履歴から、周波数変換を行うものと判断したりすることによって、高速な処理が実現可能になる。

　以下、本発明の実施の形態について、図面を参照して説明する。

　なお、以下の説明では、説明を容易にするために、動きベクトルの検索対象となるマクロブロックを（１６×１６）画素、従来の検索範囲を（４８×４８）画素とするが、本発明において、マクロブロックの画素数および動きベクトルの探索範囲とも、これに限られるものではない。

　（第１の実施形態）
　図１は本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。図１において、画像入力部１１から入力された画像信号はフレームメモリ１２に一旦格納される。イントラ符号化の場合は、フレームメモリ１２に格納された画像信号は、ＤＣＴ部１３、量子化部１４およびハフマン符号化部１５によって符号化され、符号データとして伝送される。このとき、量子化部１４から出力されたフレームデータは、逆量子化部１６および逆ＤＣＴ部１７によって復号され、フレームメモリ１８に保存される。一方、インター符号化の場合は、フレームメモリ１２に格納された画像信号は、動き補償後の参照画像、すなわちフレームメモリ１８に保存された参照画像を動き補償部１９によって動き補償した画像との差分がとられ、その差分画像が、ＤＣＴ部１３、量子化部１４およびハフマン符号化部１５によって符号化され、符号データとして伝送される。ＤＣＴ部１３、量子化部１４およびハフマン符号化部１５によって、符号化ブロックが構成されている。なお、ＤＣＴの代わりに他の直交変換手法を用いてもよいし、ハフマン符号化の代わりに他の可変長符号化手法を用いてもよい。

　動き検出ブロック２０はフレームメモリ１２に格納された符号化対象の現画像Ｉ１について、フレームメモリ１８に格納された参照画像Ｉ２を用いて、動きベクトルＭＶを検出する。図１の構成では、動き検出ブロック２０は、第１の周波数変換部としての第１のウェーブレット変換部２１と、第２の周波数変換部としての第２のウェーブレット変換部２２と、動き検出部２３と、現画像Ｉ１または第１のウェーブレット変換部２１から出力される縮小画像ＲＩ１のいずれかを選択出力する第１のセレクタ２５と、参照画像Ｉ２または第２のウェーブレット変換部２２から出力される縮小画像ＲＩ２のいずれかを選択出力する第２のセレクタ２６とを備えている。動き検出部２３は第１および第２のセレクタ２５，２６の出力を用いて動きベクトルの検出を行う。

　バッファメモリ４１は、ハフマン符号化部１５から出力された符号化データを一時的に格納するものであり、マイコン４２は、このバッファメモリ４１に蓄えられた符号量をモニタする。そして、マイコン４２は、モニタした符号量に応じて、第１および第２のセレクタ２５，２６の動作を選択制御信号ＳＬによって制御する。すなわち、マイコン４２は、バッファメモリ４１に貯まっているビットストリーム量から、ウェーブレット変換が必要か否かを判断する。そして、ウェーブレット変換が必要と判断したときは、第１および第２のセレクタ２５，２６の選択出力を、第１および第２のウェーブレット変換部２１，２２から出力された縮小画像ＲＩ１，ＲＩ２に設定する。

　図２を用いて、動き検出にウェーブレット変換を用いることによる効果について説明する。図２（ａ）は現画像におけるマクロブロックＭＢと参照画像における探索範囲ＳＡとの関係を示す。マクロブロックＭＢは（１６×１６）画素であり、探索範囲ＳＡは（４８×４８）画素で９個のマクロブロックから構成されている。いま、動きベクトルＭＶ１は探索範囲ＳＡを超えており、探索範囲ＳＡ内では検出されなかったものとする。

　この場合、図２（ｂ）に示すように、現画像と参照画像とに対してそれぞれウェーブレット変換を行う。ウェーブレット変換によって、画像はマクロブロック単位で帯域分割され、水平および垂直成分について低域成分（ＬＬ）のみを抽出すると、各マクロブロックは（８×８）画素のブロックに縮小され、現画像のマクロブロックＭＢも縮小マクロブロックＭＢＲに変換される。これにより、従来の探索エリアＳＡにおける動き検出のために必要となる処理量（例えば画素差分の絶対値和の算出）は、事実上１／４に低減される。言いかえると、従来と同一の処理量によって、探索範囲は４倍大きくとれることになる。

　すなわち、図２（ｂ）に示すように、元の探索範囲ＳＡを水平方向に２倍、垂直方向に２倍した（９６×９６）画素の検索範囲ＮＳＡについて、動き検出が可能になる。新たな探索範囲ＮＳＡの大きさは、図２（ｃ）に示すように、実質的には元の探索範囲ＳＡと同一の（４８×４８）画素である。そして、処理量は全く同等である。

　このように、動き検出にウェーブレット変換を用いることによって、探索範囲を見かけ上拡げることができるので、処理量の増加を招くことなく、従来よりも広い範囲での探索が可能になり、これにより、動きベクトルのマッチング誤差が軽減される。このため、動き補償を精度良く行うことができるので、従来よりも予測フレームとの誤差を軽減でき、したがって、符号量の増加が抑制され、低ビットレートでの符号化が可能になる。

　また、ウェーブレット変換は、何回か繰り返して実行してもよい。これにより、動きベクトルの探索範囲を見かけ上さらに拡げることができ、動きの激しい画像に対しても、より確実に動きベクトルの検出が可能となり、符号化効率の悪いイントラ符号化を用いる頻度が低下するので、低ビットレートでの符号化を実現できる。

　ただし、ウェーブレット変換を何回か繰り返した場合、探索範囲が拡がる一方で、探索対象となるマクロブロックの画素数も小さくなるため、繰り返し回数を増やしすぎると、動きベクトルの検索精度が逆に劣化する。

　図３において、（ａ）に示すように、元々は（１６×１６）画素のマクロブロックＭＢと（４８×４８）画素の探索範囲ＳＡとで動き検出を行うものが、ウェーブレット変換を１回実行することによって、（ｂ）に示すように、（８×８）画素の縮小マクロブロックＭＢＲ１と見かけ上（９６×９６）画素の探索範囲ＮＳＡ１とで動き検出が行われる。さらに、ウェーブレット変換を行う（計２回）ことによって、（ｃ）に示すように、（４×４）画素の縮小マクロブロックＭＢＲ２と見かけ上（１９６×１９６）画素の探索範囲ＮＳＡ２とで動き検出が行われる。

　すなわち、ウェーブレット変換をｎ回行った場合、見かけ上の探索範囲は４ｎ倍に広がる一方で、マクロブロックの画素サイズが１／４ｎ倍に縮小される。このため、変換回数ｎを増やしすぎると、動きベクトルの検出精度がかえって低下し、ミスマッチングから画質も劣化する。そこで、ウェーブレット変換を繰り返し行う場合でも、その繰り返し回数に上限を定めておくのが好ましい。このために、後述の第２の実施形態では、ウェーブレット変換の上限回数ＵＬを設定可能なカウンタ２４を設けている。

　図１０は本実施形態に係る画像符号化方法、すなわち図１の装置の動作を示すフローチャートである。図１０に示すように、まず、符号化対象の現画像Ｉ１について、参照画像Ｉ２を用いて、動きベクトルを検出する（ステップＳ１）。そして、動きベクトルの検出が成功したときは（ステップＳ２でＹｅｓ）、参照画像に対して、検出した動きベクトルを用いて動き補償を行い（ステップＳ３）、インター符号化、すなわち、現画像Ｉ１と動き補償後の参照画像Ｉ２との差分を、直交変換、量子化および可変長符号化を用いて、符号化する（ステップＳ４）。一方、動きベクトルの検出に成功しなかったときは（ステップＳ２でＮｏ）、イントラ符号化、すなわち、現画像Ｉ１を、直交変換、量子化および可変長符号化を用いて、符号化する（ステップＳ５）。

　図４は図１０のステップＳ１の処理、すなわち、本実施形態における動き検出ブロック２０の動作を示すフローチャートである。図４に示すように、まず、動き検出部２３が現画像Ｉ１と参照画像Ｉ２とでマッチングを行い、動きベクトル検出のための第１の探索を行う（Ｓ１１）。このとき、第１および第２のセレクタ２５，２６は、現画像Ｉ１および参照画像Ｉ２をそれぞれ選択出力するように設定されている。そして、探索範囲内で動きベクトルが検出されたときは（Ｓ１２でＹｅｓ）、さらに、半画素単位の動きベクトル検出（ハ−フペル探索）を行い（Ｓ１７）、ここで検出された動きベクトルＭＶを動き補償部１９に与えて、処理を終了する。

　一方、ステップＳ１２で、探索範囲内で動きベクトルが検出されていないと判断されたときは、ステップＳ１３以降の処理に進む。なお、探索範囲内で動きベクトルが検出されたか否かの判断は、マッチングにおいて得られた相関度の評価値（例えば差分の絶対値和）と、所定の閾値との比較によって行う。すなわち、いずれの評価値も所定の閾値を超えている場合、動きベクトルが検出されていないと判断する。

　ステップＳ２２では、ウェーブレット変換による縮小画像を用いた動きベクトル検出を実行するか否かを判断する。マイコン４２は、バッファメモリ４１に貯まっているビットストリーム量から、縮小画像を用いた動きベクトル検出が必要か否かを判断し、その判断結果に応じて選択制御信号ＳＬを出力する。

　縮小画像を用いた動きベクトル検出が必要なときは、マイコン４２は、第１および第２のセレクタ２５，２６が第１および第２のウェーブレット変換部２１，２２から出力された縮小画像ＲＩ１，ＲＩ２をそれぞれ選択出力するように、選択制御信号ＳＬを出力する。このとき、現画像Ｉ１と参照画像Ｉ２について、ウェーブレット変換が行われる（ステップＳ１３）。すなわち、第１のウェーブレット変換部２１が現画像Ｉ１に対してウェーブレット変換を行い、第１の縮小画像ＲＩ１を生成するとともに、第２のウェーブレット変換部２２が参照画像Ｉ２に対してウェーブレット変換を行い、第２の縮小画像ＲＩ２を生成する。そして、動き検出部２３が第１の縮小画像ＲＩ１と第２の縮小画像ＲＩ２とでマッチングを行い、動きベクトル検出のための第２の探索を行う（ステップＳ１４）。

　一方、ステップＳ２２において、縮小画像を用いた動きベクトル検出が必要でないと判断したときや、迅速な符号化処理が必要なときは、マイコン４２は、第１および第２のセレクタ２５，２６が元の現画像Ｉ１および参照画像Ｉ２をそれぞれ選択出力するように、選択制御信号ＳＬを出力する。そしてステップＳ１９にすすみ、イントラ符号化するものと判断する。このとき、動き検出ブロック２０では、ウェーブレット変換を用いない動き検出が行われることになり、イントラ符号化の確率が高まり、符号量は多くなるが画質は高くなる。また、ウェーブレット変換を実施しないため、迅速な符号化処理を実施することができる。

　さらに、ウェーブレット変換が必要でない場合は、マイコン４２によって、第１および第２のウェーブレット変換部２１，２２の動作をメモリ２１ａ，２２ａも含めて停止させるのが好ましい。これにより、装置の消費電力を低減することができる。

　そしてステップＳ１５において、探索範囲内で動きベクトルが検出されているか否かを判断し、検出されているときは（Ｙｅｓ）、この動きベクトルを暫定的に用いて、最終的な動きベクトルの位置をある程度推定した上で、ウェーブレット変換していない元の画像を用いて、整数画素単位の動きベクトル検出（フルペル探索）Ｓ１６および半画素単位の動きベクトル検出（ハーフペル探索）Ｓ１７を動き検出部２３によって実行する。このとき、第１および第２のセレクタ２５，２６は、現画像Ｉ１および参照画像Ｉ２をそれぞれ選択出力するように設定されている。ここで、ウェーブレット変換後の縮小画像から得た動きベクトルを、最終的なものとして用いないで、あらためて元の画像を用いた動きベクトル検出を行うようにしたのは、ウェーブレット変換によって得られたＬＬ成分の画像は、水平垂直方向にサブサンプリングされた画像であるため、従来の画素探索手法と比較すると、精度が劣化している可能性があるからである。すなわち、元の画像を用いた動きベクトル検出をあらためて行うことによって、検出精度の高い動きベクトルを確実に求めることができる。すなわち、ｎ回（ｎ：整数）のウェーブレット変換で求めた動きベクトルは、２ⁿ 画素単位の動きベクトルでしかないために精度が悪い。そこで、求めた動きベクトルから現画像と参照画像とを読み出し、１画素あるいは半画素単位で、画素差分の和が小さい所を検出し、動きベクトルを求める。

　一方、ウェーブレット変換しても探索範囲内で動きベクトルが検出できなかったときは（ステップＳ１５でＮＯ）、動きが激しいと判断してインター符号化を断念し、イントラ符号化を実施するものと判断する（ステップＳ１９）。

　以上のように本実施形態によると、現画像と参照画像についてウェーブレット変換を行うことによって、処理量を増やすことなく、動きベクトルの探索範囲を見かけ上、拡げることができる。これにより、より広範囲での動きベクトル検出が可能となり、シーンチェンジ等で画像の動きが大きい場合でも、動き検出のマッチング精度が向上し、画質が向上するとともに、動き検出を断念して符号量が大きいイントラ符号化を行う確率が大幅に低下する。

　また、現画像で動きベクトルを検出できるか否かの判断（Ｓ１２）と、周波数変換を実施するか否かの判断（Ｓ２２）と、周波数変換後の縮小画像で動きベクトルを検出できるか否かの判断（Ｓ１５）とを実施しており、このように動き検出処理の判断を早期に実施することによって、高速な符号化処理への対応が可能になる。したがって、画質を低下させることなく符号化効率を向上させることができ、高画質を保ちつつ低ビットレートでの迅速な符号化処理を行うことができる。

　なお、本実施形態では、現画像での動きベクトル検出の結果、探索範囲内に動きベクトルが検出されなかったときにウェーブレット変換を行うものとしたが、このような判断をせずに、最初からウェーブレット変換を行うようにしてもよい。すなわち、ステップＳ１１，Ｓ１２を省いてもよい。

　また、ウェーブレット変換後に検出された動きベクトルを、そのまま最終的な動きベクトルＭＶとして用いてもかまわない。すなわち、ステップＳ１６，Ｓ１７を省いてもよい。

　＜セレクタ制御の他の例１＞
　動き検出ブロック２０におけるセレクタ２５，２６の選択制御は、装置外部から入力された選択制御信号によって行うように構成してもよい。この場合には、ユーザーが画像を見て、様々なシーンの状況に応じて、動き検出範囲を広くするか否かの判断をし、その判断に応じて、ウェーブレット変換の有無を設定することができる。

　例えばユーザーは、画像に変化が少ない場合（静止画に近い場合）は、広範囲な動きベクトル検索が不要なので、迅速な動き検出処理を行うべく、ウェーブレット変換が行われないように、セレクタ２５，２６が現画像Ｉ１および参照画像Ｉ２を選択するように制御する。逆に、画像の変化が大きい場合は広範囲な動きベクトル検索が必要なので、ウェーブレット変換が行われるように、セレクタ２５，２６が縮小画像ＲＩ１，ＲＩ２を選択するように制御する。これにより、画像の変化が大きい場合は、上述の実施形態と同様に探索範囲を見かけ上拡大することができる一方で、画像の変化が小さく、探索範囲の拡大が不要な場合は、ウェーブレット変換による処理量を軽減し、迅速な符号化処理を実施することができる。

　＜セレクタ制御の他の例２＞
　また、動き検出ブロック２０におけるセレクタ２５，２６の選択制御は、動き検出部２３によって行うように構成してもよい。すなわち、セレクタ２５，２６は初期状態では、現画像Ｉ１および参照画像Ｉ２を選択出力するように設定されており、これにより、動き検出部２３は、ウェーブレット変換されていない元の現画像Ｉ１と参照画像Ｉ２を用いて動きベクトル検出を行う（ステップＳ１１）。

　そして、探索範囲内で動きベクトルが検出されたとき（ステップＳ１２でＹｅｓ）は、現画像Ｉ１の動きは小さいと考えられるので、その動きベクトルが最終的な動きベクトルＭＶとして動き補償部１９に送られる。この場合、セレクタ２５，２６は特に制御はなされない。

　逆に、動きベクトルが探索範囲内で検出されなかったとき（ステップＳ１２でＮｏ）は、現画像Ｉ１の動きが大きいと考えられるので、この場合は、動き検出部２３がセレクタ２５，２６の選択出力を切換制御して、第１および第２のウェーブレット変換部２１，２２によって生成された第１および第２の縮小画像ＲＩ１，ＲＩ２が選択出力されるようにする（ステップＳ１３）。そして、この縮小画像ＲＩ１，ＲＩ２から新たに動きベクトルを求め（ステップＳ１４）、この動きベクトルを最終的な動きベクトルＭＶとして動き補償部１９に出力する。

　このような構成により、装置内部において、様々なシーンの状況に応じて、動き検出範囲を広くするか否かの判断が行われる。このため、外部やマイコンからの制御が不要であり、システム単独で完結しているので、ハードウェアでのシステム設計に適している。

　（第２の実施形態）
　図５は本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。図５では、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。図５の構成では、ハフマン符号化部１５の処理後の符号量（ビットストリーム量）をカウントするビットレートカウンタ３１が設けられており、動き検出ブロック２０Ａにおけるウェーブレット変換の繰り返し回数が、ビットレートカウンタ３１の出力によって制御され、これによって、符号量のレート制御を実現している。

　通常、ビットレートを下げる場合は、量子化係数を大きくするが、この場合には画質が劣化する可能性がある。これに対して本実施形態では、動きベクトルの検出確率を上げることによってイントラ符号化の割合を下げ、これによってビットレートを下げる。ビットレートカウンタ３１は、外部から、ユーザーが所望する符号量の上限値および下限値を設定するための制御信号ＢＲが入力可能に構成されている。

　すなわち、画像の動きが激しいために、ハフマン符号化後のビットストリームが上限値を超えているときは、ビットストリームカウンタ３１はウェーブレット変換部２１，２２に対し、ウェーブレット変換の繰り返し回数を大きくするように制御する。

　ユーザーは、符号化効率を上げたい場合（低ビットレートでの符号化を行う場合）は、制御信号ＢＲによって、符号量の上限値をより小さい値に設定すればよいし、符号化効率を下げて画質を少しでも良くしようとする場合（イントラ符号化のマクロブロック数を増やす）や、高速な動き検出処理を実施したい場合（ウェーブレット変換繰り返し回数を減らす）場合は、制御信号ＢＲによって、符号量の下限値をより大きい値に設定すればよい。

　本実施形態に係る画像符号化方法、すなわち図５の装置の動作は、基本的には図１０に示すとおりである。図６は本実施形態における図１０のステップＳ１の処理、すなわち、動き検出ブロック２０Ａの動作を示すフローチャートである。ここでは、第１の実施形態と同様の処理については説明を省略する。ステップＳ１３，Ｓ１４においてウェーブレット変換しても探索範囲内で動きベクトルが検出できなかったときは（Ｓ１５でＮｏ）、再度、ウェーブレット変換を行い、動きベクトル検出を行う（Ｓ１３，Ｓ１４）。第１および第２のウェーブレット変換部２１，２２は、ウェーブレット変換を複数回繰り返し実行できるように、変換結果を一時的に記憶するためのメモリ２１ａ，２２ａをそれぞれ備えている。動き検出部２３はウェーブレット変換の再実行を制御信号ＳＣ１，ＳＣ２によって第１および第２のウェーブレット変換部２１，２２に指示する。すなわち、ウェーブレット変換を繰り返し実行することによって、動きの激しい画像に対しても、より確実に動きベクトルの検出が可能となる。このため、符号化効率の悪いイントラ符号化を用いる頻度が低下するので、低ビットレートでの符号化が実現できる。

　ウェーブレット変換を繰り返しても探索範囲内で動きベクトルが検出できず、繰り返し回数が上限値ＵＬに達したときは（Ｓ１８でＹｅｓ）、現画像の動きはきわめて大きいと判断し、イントラ符号化するものと判断する（Ｓ１９）。上限値ＵＬはカウンタ２４に設定されており、第１および第２のウェーブレット変換部２１，２２は繰り返し回数が上限値ＵＬに達したとき、エラー信号ＥＲ１，ＥＲ２を動き検出部２３に送る。動き検出部２３はその後、制御信号ＳＣ３によってスイッチＳＷをＯＦＦにし、これによりイントラ符号化が実行される。

　なお、カウンタ２４は、装置外部から、ウェーブレット変換の上限回数ＵＬが設定可能に構成されている。このため、ユーザーは例えば画質を見ながら、ウェーブレット変換回数の上限値を調整することも可能である。また、ウェーブレット変換の回数を指定することによって、高速処理にも対応可能である。

　このように本実施形態によると、ユーザーが外部から符号量の制限値を入力することによって、ビットストリームのレート制御を行うことができる。また、通常は量子化ステップ値の調整によって行われるレート制御を、動き検出におけるウェーブレット変換の繰り返し回数の制御によって、行うことができる。さらに、その回数を調整することによって、符号化処理時間の調整が容易になる。

　なお、ウェーブレット変換を繰り返し実行する場合に、その都度、フレームメモリ１２，１８をアクセスして、複数回のウェーブレット変換を一気に行うようにしてもよい。この場合には、変換結果を一時格納するためのメモリ２１ａ，２２ａを第１および第２のウェーブレット変換部２１，２２に設ける必要はない。

　（第３の実施形態）
　本発明の第３の実施形態では、動きベクトル検出において周波数変換を行うか否かを判断する際に、動き検出対象マクロブロックよりも時間的に前に処理されたマクロブロックについての周波数変換の有無を検知し、これを加味するものである。本実施形態に係る画像符号化装置の構成例は、基本的には図５と同様であるが、動き検出ブロック２０Ａの動作が異なる。

　本実施形態に係る画像符号化方法も、基本的には図１０に示すとおりである。図７は本実施形態における図１０のステップＳ１の処理、すなわち、動き検出ブロック２０Ａの動作を示すフローチャートである。図７では、図６のフローチャートにステップＳ２１が追加されている。すなわち、動き検出の前処理として、現画像よりも時間的に前のフレームのマクロブロック、または隣接する符号化済みのマクロブロックにおいて、動きベクトル検出の際にウェーブレット変換が行われたか否かを、動き検出部２３が検知する（ステップＳ２１）。動き検出部２３はステップＳ２１での判断のために、各フレームについて、ウェーブレット変換を指示したか否かを記憶しておく。

　そして、前フレームのマクロブロック、または、動き検出対象マクロブロックと同一フレームの、当該動き検出対象マクロブロックに隣接し、かつ、すでにインター符号化済みのマクロブロックでウェーブレット変換が行われていたときは（ステップＳ２１でＹｅｓ）、ステップＳ１１，Ｓ１２を飛ばしてステップＳ２２にすすみ、以降は第２の実施形態と同様の処理を行う。一方、前フレーム等でウェーブレット変換が行われていなかったときは、第１および第２の実施形態と同様に、元の現画像で動きベクトル検出を行い（ステップＳ１１）、以降は第２の実施形態と同様の処理を行う。

　このように、時間的に前の画像におけるウェーブレット変換の有無を、現画像についてウェーブレット変換をするか否かの判断にフィードバックすることによって、動きの激しいフレームが連続するような場合に、ウェーブレット変換の有無の処理判断を迅速化させることができる。

　なお、上述の各実施形態では、縮小画像を求めるための周波数変換として、ウェーブレット変換を用いるものとしたが、本発明はこれに限られるものではなく、例えば、プリフィルタ（タップ数には特に制限なし）など、他の周波数変換手法を用いてもよい。

　本発明に係る画像符号化方法および装置は、画質を低下させることなく符号化効率を保ちながら、迅速な処理を実現することができ、例えばモバイルカメラ用の動画像符号化等に有用である。

本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。 ウェーブレット変換を説明するための図である。 ウェーブレット変換の繰り返しによる効果を説明するための図である。 本発明の第１の実施形態における動き検出ブロックの動作を示すフローチャートである。 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。 本発明の第２の実施形態における動き検出ブロックの動作を示すフローチャートである。 本発明の第３の実施形態における動き検出ブロックの動作を示すフローチャートである。 従来の画像符号化装置の構成を示すブロック図である。 フレーム予測符号化を説明するための図である。 本発明の各実施形態に係る画像符号化方法の概略フローである。

符号の説明

１３　ＤＣＴ部
１４　量子化部
１５　ハフマン符号化部
１９　動き補償部
２０，２０Ａ　動き検出ブロック
２１　第１のウェーブレット変換部（第１の周波数変換部）
２２　第２のウェーブレット変換部（第２の周波数変換部）
２３　動き検出部
２４　カウンタ
２５　第１のセレクタ
２６　第２のセレクタ
３１　ビットレートカウンタ
４１　バッファメモリ
４２　マイコン（制御部）
Ｉ１　現画像
Ｉ２　参照画像
ＭＶ　動きベクトル
ＲＩ１　第１の縮小画像
ＲＩ２　第２の縮小画像
ＵＬ　上限回数値

Claims (16)

1. 　動画像を符号化する画像符号化方法であって、
   　符号化対象の現画像について、参照画像を用いて、動きベクトルを検出する第１のステップと、
   　前記参照画像に対して、前記動きベクトルを用いて、動き補償を行う第２のステップと、
   　前記現画像と、動き補償後の前記参照画像との差分を、直交変換、量子化および可変長符号化を用いて、符号化する第３のステップとを備え、
   　前記第１のステップは、
   　前記現画像と前記参照画像とをマッチングして、第１の探索を行うステップと、
   　前記第１の探索において動きベクトルが検出されなかったとき、前記現画像と前記参照画像とに対して、実質的に同等の周波数変換を行い、この周波数変換によって生成した縮小画像同士をマッチングして、第２の探索を行うステップとを有する
   ことを特徴とする画像符号化方法。
2. 　請求項１において、
   　前記第１のステップにおいて、
   　前記第２の探索において動きベクトルが検出されなかったとき、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断する
   ことを特徴とする画像符号化方法。
3. 　請求項１において、
   　前記直交変換は、ＤＣＴである
   ことを特徴とする画像符号化方法。
4. 　請求項１において、
   　前記可変長符号化は、ハフマン符号化である
   ことを特徴とする画像符号化方法。
5. 　請求項１において、
   　前記周波数変換は、ウェーブレット変換である
   ことを特徴とする画像符号化方法。
6. 　請求項１において、
   　前記第１のステップにおいて、
   　前記第２の検索において検出された動きベクトルを暫定的に用い、元の前記現画像について、元の前記参照画像を参照して、最終的な動きベクトルを求める
   ことを特徴とする画像符号化方法。
7. 　請求項１において、
   　前記第１のステップにおいて、
   　前記第２の探索において動きベクトルが検出されなかったとき、前記周波数変換および縮小画像同士のマッチングを、動きベクトルが検出されるまで、繰り返し実行する
   ことを特徴とする画像符号化方法。
8. 　請求項７において、
   　前記第１のステップにおいて、
   　前記周波数変換および縮小画像同士のマッチングを所定の上限回数だけ繰り返し実行した後、動きベクトルが検出されなかったとき、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断する
   ことを特徴とする画像符号化方法。
9. 　請求項８において、
   　符号化データの符号量を測定する第４のステップを備え、
   　前記所定の上限回数を、前記第４ステップにおいて測定した符号量に応じて、設定する
   ことを特徴とする画像符号化方法。
10. 　請求項１において、
    　前記第１のステップにおいて、
    　前記現画像および参照画像に対して、周波数変換を行うか否かを判断し、
    　周波数変換を行わないものと判断した場合は、前記第１の探索において動きベクトルが検出されなかったとき、前記第２の探索を実行しないで、前記第２および第３のステップを実行する代わりに前記現画像をイントラ符号化する、ものと判断する
    ことを特徴とする画像符号化方法。
11. 　請求項１において、
    　前記第１のステップにおいて、
    　動き検出対象マクロブロックと、前フレームで同一位置にあったマクロブロック、または、同一フレームで隣接するマクロブロックについて、動きベクトル検出において周波数変換がなされたか否かを検知し、
    　周波数変換が行われていたとき、前記第１の探索を行わないで、前記第２の探索を行う
    ことを特徴とする画像符号化方法。
12. 　動画像を符号化する画像符号化装置であって、
    　符号化対象の現画像について、参照画像を用いて、動きベクトルを検出する動き検出ブロックと、
    　前記参照画像に対して、前記動き検出ブロックによって検出された動きベクトルを用いて、動き補償を行う動き補償部と、
    　前記現画像と、動き補償後の前記参照画像との差分を、直交変換、量子化および可変長符号化を用いて、符号化する符号化ブロックとを備え、
    　前記動き検出ブロックは、
    　前記現画像に対して第１の周波数変換を行い、第１の縮小画像を生成する第１の周波数変換部と、
    　前記参照画像に対して、前記第１の周波数変換と実質的に同等の第２の周波数変換を行い、第２の縮小画像を生成する第２の周波数変換部とを備え、
    　前記第１の縮小画像について、前記第２の縮小画像を参照して、動きベクトルを検出可能に構成されている
    ことを特徴とする画像符号化装置。
13. 　請求項１２において、
    　前記動き検出ブロックは、
    　当該装置外部から、周波数変換の上限回数を設定可能なカウンタを備え、
    　前記第１および第２の周波数変換部は、一の現画像または参照画像に対する第１または第２の周波数変換の繰り返し回数が、前記カウンタに設定された上限回数に、制限されている
    ことを特徴とする画像符号化装置。
14. 　請求項１２において、
    　前記動き検出ブロックは、
    　動きベクトル検出を、前記第１の縮小画像について行うか、または、元の前記現画像について行うかを、切り替え可能に構成されている
    ことを特徴とする画像符号化装置。
15. 　請求項１４において、
    　前記第１および第２の周波数変換部は、当該動き検出ブロックが、前記現画像について動きベクトル検出を行うとき、その動作を停止する
    ことを特徴とする画像符号化装置。
16. 　請求項１４において、
    　前記符号化ブロックから出力された符号化データを一時的に蓄積するバッファメモリと、
    　前記バッファメモリに蓄積された符号量を監視し、この符号量を基にして、前記動き検出ブロックに、動きベクトル検出を前記第１の縮小画像について行うか、または、元の前記現画像について行うかを、指示する制御部とを備えた
    ことを特徴とする画像符号化装置。

Images