JP2007228101A - 動画像符号化装置 - Google Patents

Abstract

【課題】カメラのパン動作やズーム動作などの動作中に合わせて符号化効率を高める。
【解決手段】撮像装置がズーム中でない場合に、直前に最適と決定したブロックサイズからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、撮像装置がズーム中の場合に、すべてのブロックサイズについてブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値が最小のブロックサイズを最適なブロックサイズとして決定する。
【選択図】図９

Description

本発明は、動画像をより少ない符号量で符号化するために、動きの度合いの小さいブロック領域についてフレーム間予測の計算量を削減して高速に符号化処理を行う動画像符号化装置に関し、特に動きを可変のブロックサイズで補償可能であって最適と判断されたブロックサイズで補償する動画像符号化装置に関する。

動画像を符号化する方式としては、下記の非特許文献１に示されるように、可変のブロックサイズで動きを補償する方法が開示されている。また、非特許文献１によれば画面全体が一様に動いているような画像では、周囲ブロックからの動きベクトルの予測が比較的よく当たることが知られており、この場合、下記の非特許文献２に記載の技術では動きベクトルの予測をスキップト・マクロブロックにすることによって符号化効率の向上が見込める。
Ｈ．２６４／ＡＶＣ教科書、大久保栄監修、（株）インプレス・ネットビジネスカンパニー、２００４年８月１１日発行、ｐ１１３〜ｐ１１５、「Ｈ．２６４／ＡＶＣにおける動き補償予測信号の生成」 ＭＰＥＧ−４ ＡＶＣ符号化方式（ＩＳＯ／ＩＥＣ１４４９６−１０ Coding of audiovisual objects-Part 10 : Advanced Video Coding）

しかしながら、非特許文献１では、例えば監視システムなどに適用してカメラからの映像を符号化する場合、パン動作やズーム動作といったカメラ自身の動作が符号化に与える影響を加味していない。一般に、パン動作時には画面全体が一様に動くような画像となり、ズーム動作時には画像の中心部から周辺部に向かう動きの画像や、または逆に周辺部から中心部に向かう動きの画像となる傾向にあり、カメラを動かさない場合の画像に見られる動きとは異なる性質を示す。

ここで、非特許文献２に記載の技術では動きベクトルの予測をスキップト・マクロブロックにすることによって符号化効率の向上が見込めるので、これらの状況を鑑みると、カメラの動作を知ることができる場合、動画像符号化装置に入力される画像の性質を予想でき、カメラの動作に合わせて符号化の一部省略を図るなどして演算効率を高めることができる。

そこで、本発明は上記の問題点に鑑み、カメラのパン動作やズーム動作などの動作中に合わせて符号化効率を高めることができる動画像符号化装置を提供することを目的とする。

本発明は上記目的を達成するために、撮像装置により撮像された動画像の動きを可変のブロックサイズを用いて補償する可変ブロックサイズ動き補償手段を備えた動画像符号化装置であって、
前記撮像装置がズーム中か否かを判断する手段と、
前記撮像装置がズーム中と判断しない場合に、直前に最適と決定したブロックサイズからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、前記撮像装置がズーム中と判断した場合に、すべてのブロックサイズについてブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値が最小のブロックサイズを最適なブロックサイズとして決定する最適ブロックサイズ判断手段とを、
備えたことを特徴とする。

また、本発明は上記目的を達成するために、撮像装置により撮像された動画像の動きを可変のブロックサイズを用いて補償する可変ブロックサイズ動き補償手段を備えた動画像符号化装置であって、
前記撮像装置がパン中か否か、及びパン中の場合のパン速度を判断する手段と、
前記撮像装置がパン中と判断しない場合、直前に最適と決定したブロックサイズからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、
前記撮像装置がパン中と判断してパン速度が所定値より遅い場合にスキップト・マクロブロックからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、
前記撮像装置がパン中と判断してパン速度が所定値より速い場合にすべてのブロックサイズについてブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値が最小のブロックサイズを最適なブロックサイズとして決定する最適ブロックサイズ判断手段とを、
備えたことを特徴とする。

本発明によれば、カメラのパン動作やズーム動作などの動作中に合わせて符号化効率を高めることができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る動画像符号化装置の一実施の形態を示すブロック図である。

図１において、入力された画像信号１０１はフレームメモリ（フレームメモリａ）１０２に蓄えられ、フレーム内又はフレーム間の信号が符号化される。フレーム内符号化（以下、イントラ符号化と記す）時には、フレームメモリ１０２内の画像信号１０１が差分器１０３をスルーして直交変換器１０４に印加されてフレームメモリ１０２内の画像信号１０１のみが独立して符号化される。このとき、画像信号１０１は直交変換器１０４により直交変換係数に変換され、量子化器１０５を経て、可変長符号化器（ＶＬＣ）１０６で符号化され、バッファ１０７に蓄積後、符号１０８が出力され、保存又は伝送される。また、量子化器１０５により量子化された符号は逆量子化器１０９、逆直交変換器１１０により元の画像に再構成され、加算器１１１をスルーしてフレームメモリ（フレームメモリｂ）１１３に蓄えられる。

フレーム間符号化（以下、インター符号化と記す）時には、フレームメモリ１０２内の画像信号１０１は、差分器１０３において可変ブロックサイズ動き補償器（ＭＣ）１１２からの直前、直後のフレームを参照フレームとする予測信号との差分による予測誤差が生成される。この予測誤差は直交変換器１０４により直交変換係数に変換され、量子化器１０５を経て、可変長符号化器（ＶＬＣ）１０６で符号化され、バッファ１０７に蓄積後、符号１０８が出力され、保存又は伝送される。また、量子化器１０５により量子化された符号は逆量子化器１０９、逆直交変換器１１０により元の予測誤差に再構成され、この予測誤差が加算器１１１において可変ブロックサイズ動き補償器（ＭＣ）１１２からの予測信号と加算されて元の画像に再構成され、フレームメモリ（フレームメモリｂ）１１３に蓄えられる。

また、動き検出器（ＭＥ）１１４によりフレームメモリ１０２内の画像信号１０１とフレームメモリ１１３の画像信号を参照して動きベクトルを可変ブロックサイズで検出して予測誤差を生成し、予測誤差とブロックサイズモード２１２を可変ブロックサイズ動き補償器１１２に出力する。可変ブロックサイズ動き補償器１１２はブロックサイズモード２１２に応じて予測誤差から予測信号を生成して差分器１０３と加算器１１１に出力する。

ここで、図２はカメラ動作を考慮していない動き検出器１１４の構成を示す。動き検出器（ブロックマッチング）２０９は、可変のブロックサイズ２０５〜２０８（及びスキップト・マクロブロック２０４）で原画像（画像信号）１０１とフレームメモリ１１３の参照画像２０２、２０３とを比較して動きベクトルを求める。動きベクトルは一般的な方法により各ブロックごとに前フレームとの差分値を求め、差分値が最小になる位置から動きベクトＭＶ（ｘ、ｙ）が決定される。このとき、最小となった差分値を評価値２１０として出力する。ＭＰＥＧ４−ＡＶＣでは参照画像として可変のブロックサイズごとに複数の画像から最適のものを選択することが可能であり、さらにブロックサイズをｌ６×１６画素から４×４画素まで適当に組み合わせることができる。そのため、動き検出ではこれらの組合せから最適のものを選択することが必要である。

図２では図３に詳しく示すように、ｌ６×１６画素、１６×８画素、８×１６画素、８×８画素のブロックサイズモード２０５、２０６、２０７、２０８のいずれか１つを選択する。参照画像２０２、２０３について各ブロックサイズモード２０４〜２０８について動き検出器２０９でブロックマッチングを行い、原画像との差分値を計算し、評価値２１０を求める。これら評価値２１０が最小になる参照画像及びモードをモード判定器２１１によって判定し、判定したモード２１２を図１に示す可変ブロックサイズ動き補償器１１２に出力する。なお、評価値２１０としては原画像との差分値だけでなくこのモードで符号化する場合に必要なストリームのビット長を加えてもよい。

通常、リアルタイムで動作する符号化装置においてはこれらの組合せの中から最適のものを少ない処理時間で求める必要がある。そこで、最適モードと判定されたモードと評価値をブロックごとに保存しておき、その時間軸方向の履歴によって動き検出を途中で打ち切るモードを追加する。このモードを以下では高速モードと呼ぶ。

図４は図２に示す動き検出器２０９の動作を示す説明図である。まず最初のインターフレームにおいては参照画像２０２、２０３と、すべてのブロックサイズモード２０５、２０６、２０７、２０８について動き検出器２０９によってブロックマッチングを行い、評価値２１０を求めてモード判定器２１１により最適なモード２１２を選択して可変ブロックサイズ動き補償器１１２に出力する。また、選択されたモード情報（評価値、ブロックサイズ、参照画像Ｎｏ．）をブロックごとにモード保存テーブル２１３に保存する。モード保存テーブル２１３にはブロックごとに選択されたブロックサイズと参照画像Ｎｏ．と評価値が保存されている。評価値２１０についてはモード決定時に選択された最小のものを保存するが、時系列での直前の評価値だけでなく一定の時間間隔での評価値履歴を持つことにより、評価値のブレを吸収できるようにする。

例えば図６（ａ）に示す画像の例で、ブロックごとに評価値の履歴をとると図６（ｂ）のようになる。静止画に近い動きの少ないブロックＡと動きの多いブロックＢで評価値の変化に著しい違いがある。そこで、その変化度合いを評価値の履歴としてモード保存テーブル２１３に保存する。しかし、すべてのブロックについて一定時間内の評価値を保存するためには多くのメモリ容量を消費するので、評価値を加工した値を保存することにする。

例えば時系列での評価値の平均と分散を計算して保存し、これを評価値の履歴として使用する。平均と分散が共に小さい値の場合は静止画に近い変化の少ない領域として、動き検出をすべてのモードで行うのでなく、候補について順に評価値を算出し、ある閾値以下になったら最適モードとみなして処理量を削減する。実際には評価を行わなかったモードが最適モードである可能性もあるが、元々評価値履歴の小さい領域についてはその差はさほどない場合が多いので、最適に近いモードを得られたとして、以降の処理を省略する。閾値としては（直前のフレームでの評価値＋α）又は（フレーム間平均の評価値＋α）などを使用する。αは例えば＋５％までを許容するなど、適当に設定する。

その場合の処理の流れを図５に示す。ここでは直前のフレームで採用されたｌ６×１６画素のモード２０５と参照画像２０２を初期モードとして評価値２１０を計算する。次にこの評価値２１０が評価値履歴から算出した閾値以下であれば、このモード２０５を最適モード２１２として出力する。それ以外のモードについての評価は行わずに次のブロックの処理に移る。閾値以下にならない場合は他に最適なモードの可能性があるため、次の候補でのブロックマッチングを行い、閾値以下になるまで処理を繰り返す。全モードを行っても閾値以下にならなかった場合は新たに動きが発生したものとして評価値２１０が最小になったモードを採用する。

以上のようにして、ブロックごとにブロックサイズモードを決定する。処理の流れを図７に示す。ブロックのモード決定処理を開始すると（ステップ６０１）、まずモード保存テーブル２１３を参照して該ブロックについての評価値の履歴と直前のモード、参照画像番号（図面では番号をＮｏ．と記載する）を取得する（ステップ６０２）。評価値履歴として保存されている平均と分散が小さい値であれば（ステップ６０３でYes）、ステップ６０４以下の高速モードに移行する。そうでない場合は（ステップ６０３でNo）、通常モードに移行して全モードについて評価値を算出し、評価値２１０が最小になったモードを最適モード２１２として決定する（ステップ６１１）。

高速モードにおいては、候補として直前のモード（ブロックサイズや参照画像）を設定し（ステップ６０４）、評価値２１０を算出する（ステップ６０５)。その評価値２１０が閾値より小さければ（ステップ６０６でYes）、この候補を最適モード２１２として決定する（ステップ６１０）。閾値より小さくない場合（ステップ６０６でNo）には全モードについて評価したか否かを調べ（ステップ６０７）、評価済みであればその中から評価値が最小のモードを決定する（ステップ６０９）。全モードについて評価済みでなければ次の候補モードを決定する（ステップ６０７→６０８）。次の候補モードは該ブロックについて直近の頻度から求めてもよいし、画像の傾向から頻度の高いものを選択してもよい。候補のモードを決めた後はステップ６０５により評価値２１０を算出して同様の処理を繰り返す。このようにして該ブロックの最適モード２１２が決まるので、これからモード保存テーブル２１３の評価値２１０の平均や分散などの評価値履歴を更新してから（ステップ６２２）、ブロックの符号化を行い（ステップ６２３）、次のブロックの処理へ移る（ステップ６２４）。この処理をフレームの全ブロックについて行うことでインターフレームの符号化が終了する。

ここで、監視カメラなどで画像を符号化して記録する場合、限られた領域のみで動きが発生する場合があり、それ以外の領域はほとんど動きのない背景領域となる。そのような場合、すべてのブロック領域で同様の精度でベクトル検出を行う必要は無いため、この方法により、符号化効率や画質を落とすことなく、高速で符号化処理を行うことが可能となる。しかし、監視カメラなどで画像を符号化して記録する場合、監視カメラのカメラ部をパン操作、ズーム操作する場合を考えると、カメラ部の操作を行っている時間と、カメラ部の操作をせずにいる時間とでその撮影される映像には異なる性質があることが容易に想像される。すなわち、パン操作の場合には画面全体が一様に動く画像となり、ズーム操作の場合には中心部から周辺部への動きか、あるいは逆に周辺部から中心部へと向かう動きの画像となる。

そこで、これらのカメラ操作に関する情報を符号化に利用する本発明の実施の形態について説明する。図８は本発明の実施の形態における動画像符号化装置の符号化処理の例を示すブロック図である。図２との違いとして、カメラ操作情報７０１の入力が追加され、カメラ操作情報７０１はモード判定器２１１の制御に利用される。カメラ操作情報７０１として参照されるカメラの操作に関する情報としては、例として、
（１）パン操作の有無、
（２）パン操作の場合のパンの速さ、
（３）ズーム操作の有無
が挙げられる。

図９は本発明の実施の形態におけるモード判定に関わる処理手順の一例を示すフローチャートである。ここで図９は図７に対し、スタートステップ６０１と処理ステップ６０２（モード保存テーブル参照）との間、及び処理ステップ６２２の前に、前述したカメラ操作情報７０１に基づく処理フロー（ステップ８０１、８０３、８０５、８０６、８０９）を追加した点が異なる。（１）パン操作が行われている間、及び（３）ズーム操作の行われている間は、新たに求めた評価値２１０があってもこれをモード保存テーブル２１３に保存しないようにする（ステップ８０９→６２３）。パン操作、ズーム操作による動きベクトルは、パン操作、ズーム操作を行わない場合の動きベクトルと性質が異なると予想され、ここで求めた評価値２１０は、以前に求め保存している評価値群との相関性が低いと判断できる。またパン操作、ズーム操作は一時的なものと判断してよいのでここで求めた評価値２１０は保存しなくてよい。

次に、（１）パン操作が行われている場合（ステップ８０３でYes）で、（２）パンの速さによって、高速モード判定を選択するかしないか（ステップ８０５）、さらには高速モード判定の場合の第１候補をどのモードに設定するかを決定する。例としてパンの速さがゆっくりであるような場合（ステップ８０５でYes）、画像全体が一様に動いているような画像になると期待でき、スキップト・マクロブロック２０４による符号化での符号効率が望める。ここでスキップト・マクロブロックとは、ＭＰＥＧ−４ ＡＶＣにおいては予測動きベクトルを伴うが残差を伴わないマクロブロックで、残差を伴わない分だけ符号量が削減される。したがって、ゆっくりパンしている場合には、ステップ８０６において、スキップト・マクロブロックとすべきか否かを、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求めて判断し、スキップト・マクロブロックとすべきと判断した場合にはスキップト・マクロブロックモードと決定してそれ以降のブロックサイズの処理を打ち切り、スキップト・マクロブロックとすべきでないと判断した場合には高速モード判定を使用する（ステップ８０５→６０５）。

逆にパンが速い場合（ステップ８０５でNo）には、画像の変化が急激であると予想され、スキップト・マクロブロックは期待できない。また、ここで求める評価値２１０は、評価値２１０の履歴との相関性が低いと予想できるので、評価値２１０の履歴は利用しない。したがって、この場合には高速モード判定は行わず、通常のモード判定を実施する。パンの速さの判定には、パン操作によるモータの駆動速度などに一定の閾値を設けて用いればよい。またこのパンの速さの閾値は、パン実行中のズーム倍率をも考慮して検討すれば、ズーム倍率ごとにより適切な値を設定できる。

一方、（３）ズーム操作が行われる場合（ステップ８０１でYes）には、画像の変化も一様ではなくスキップト・マクロブロックも期待できないので、通常のモード判定を行う（ステップ６１１）。また、ここで求める評価値は、評価値２１０の履歴との相関性が低いと予想できるので評価値２１０の履歴は利用しない（ステップ８０９→６２３）。

本発明に係る動画像符号化装置の一実施の形態を示すブロック図である。 本発明が解決しようとする課題を説明するための動き検出器を示すブロック図である。 可変のブロックサイズを示す説明図である。 図２の動き検出器のモード保存テーブルを示す説明図である。 図２の動き検出器の最適ブロックサイズモードの決定処理を示す説明図である。 図２の動き検出器が算出する動きの評価値を示す説明図である。 図２の動き検出器の処理を説明するためのフローチャートである。 本発明に係る動画像符号化装置の符号化処理の例を示すブロック図である。 図８の動き検出器の処理を説明するためのフローチャートである。

符号の説明

１１２ 可変ブロックサイズ動き補償器（ＭＣ）
１１４ 動き検出器（ＭＥ）
２０９ 動き検出器（ブロックマッチング）
２１１ モード判定器

Claims (3)

1. 撮像装置により撮像された動画像の動きを可変のブロックサイズを用いて補償する可変ブロックサイズ動き補償手段を備えた動画像符号化装置であって、
   前記撮像装置がズーム中か否かを判断する手段と、
   前記撮像装置がズーム中と判断しない場合に、直前に最適と決定したブロックサイズからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、前記撮像装置がズーム中と判断した場合に、すべてのブロックサイズについてブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値が最小のブロックサイズを最適なブロックサイズとして決定する最適ブロックサイズ判断手段とを、
   備えた動画像符号化装置。
2. 撮像装置により撮像された動画像の動きを可変のブロックサイズを用いて補償する可変ブロックサイズ動き補償手段を備えた動画像符号化装置であって、
   前記撮像装置がパン中か否か、及びパン中の場合のパン速度を判断する手段と、
   前記撮像装置がパン中と判断しない場合、直前に最適と決定したブロックサイズからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、
   前記撮像装置がパン中と判断してパン速度が所定値より遅い場合にスキップト・マクロブロックからブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値と閾値とを比較して評価値が閾値以下のブロックサイズを最適なブロックサイズとして決定してそれ以降のブロックサイズの処理を打ち切り、
   前記撮像装置がパン中と判断してパン速度が所定値より速い場合にすべてのブロックサイズについてブロックサイズごとに順次、現画像と前及び／又は後の画像の間の動きをブロックマッチングして求め、求めた動きの評価値が最小のブロックサイズを最適なブロックサイズとして決定する最適ブロックサイズ判断手段とを、
   備えた動画像符号化装置。
3. 前記現画像と前及び／又は後の画像の間の動きを複数の異なるブロックサイズの各々ごとにブロックマッチングして求め、求めた動きの評価値をブロックサイズごとに履歴として保存するテーブルを備え、
   前記最適ブロックサイズ判断手段は、前記撮像装置がズーム中でないか又はパン中でないと判断した場合には、前記求めた動きの評価値を前記テーブルに更新して保存し、前記撮像装置がズーム中又はパン中と判断した場合には、前記求めた動きの評価値を前記テーブルに保存しないこと特徴とする請求項１又は２に記載の動画像符号化装置。