JP2006014183A - 画像符号化装置、画像符号化方法及びそのプログラム - Google Patents

Abstract

【課題】 従来の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることができる画像符号化装置、画像符号化方法及びそのプログラムを提供する。
【解決手段】 ＭＶ探索処理部２０４は、ブロック毎にフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する。ブロック属性検出部２０１は、動きベクトルの探索の対象となる第１のブロックの属性を検出する。ブロック属性・ＭＶ探索結果記憶メモリ２０２は、第１のブロックの近傍に位置する動きベクトルを探索済みの第２のブロックの動きベクトル探索結果を保持する。ブロック処理判定部２０３は、ブロック属性検出部２０１が検出した第１のブロックの属性及び第２のブロックの属性に基づき、ＭＶ探索処理部２０４により動きベクトル探索処理を行うか、ブロック属性・ＭＶ探索結果記憶メモリ２０２より参照する第２のブロックの動きベクトル探索結果を用いるかを決定する。
【選択図】 図１

Description

本発明は、動画像データに対して圧縮符号化処理する画像符号化装置、画像符号化方法及びそのプログラムに関するものである。

近年、撮影した動画像をデジタルデータとして記録・再生および伝送することが広く普及している。その際、データ量削減の観点から動画像に圧縮符号化処理を施して扱うことが一般的である。動画像の圧縮符号化方式としては、例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＥｘＰｅｒｔｓ ＧｒｏｕＰ）のように、空間方向（フレーム内）の相関を利用した直交変換符号化と、時間方向の相関（フレーム間の相関）を利用した動き補償予測符号化の両方を用いることが多い。

ＭＰＥＧに用いられる動き補償予測符号化の処理とは、各フレームをブロック単位に分割し、前フレームと現フレーム、あるいは現フレームと次フレームとの間でブロックマッチングを行い、現フレームの各ブロックに対し検出した動きベクトルと、ブロックマッチングの誤差とを符号化する処理である。

上述したブロックマッチング処理、すなわち動きベクトル探索処理を行う際、マッチングの探索範囲をフレーム内の全域にとる処理方法（フルサーチ）がある。この処理方法では、ブロック内画素と対応する候補領域内の画素の差分演算を、候補領域を規定の画素単位（ＭＰＥＧでは版画素単位）でずらした分だけ毎回行うことになり、演算回数の増加、すなわち実装を考慮したときの計算量・処理時間、および回路規模の増大を引き起こす。

このため上記動きベクトル探索処理を効率的に間引くさまざまな方法が提案されている。例えば、時間的および空間的に隣接するブロックについて予め求められた動きベクトルの探索結果を利用して探索の出発点を決める方式（画像の動きを見積もる方法）が提案されている（例えば、特許文献１参照。）。

また、他の例として、近傍ブロックで求められた動きベクトルの方向（水平／垂直）に基づき、探索範囲の間引き方法を変化させる画像符号化方法および画像符号化装置を提案している（例えば、特許文献２参照。）。

特許第３１４７８９３号公報 特許第３１７５９１４号公報

しかし、上述した特許文献１のようにベクトル探索開始点を、近傍ブロックをもとに決める方式は、近傍ブロックと現ブロックとの属性が異なっている場合、まったく関連の無い範囲から動きベクトルを探索することになり、演算回数が増えてしまう可能性があるという問題がある。
また、上述した特許文献２では、近傍ブロックと現ブロックとの属性が異なる場合に、間違った間引きを行うことで適切な動きベクトルを選択できなくなる恐れがあるという問題がある。

本発明は、上述した事情を考慮してなされたもので、従来の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることができる画像符号化装置、画像符号化方法及びそのプログラムを提供することを目的とする。

この発明は、上述した課題を解決すべくなされたもので、本発明による画像符号化装置においては、１フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置であって、ブロック単位でフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索処理手段と、ブロックの属性を検出するブロック属性検出手段と、動きベクトルの探索の対象となるブロックを第１のブロックとし、第１のブロックの近傍に位置する動きベクトルを探索済みのブロックを第２のブロックとする場合に、第２のブロックの動きベクトル探索結果を保持する保持手段と、ブロック属性検出手段が検出した第１のブロックの属性及び第２のブロックの属性に基づき、動きベクトル探索処理手段により動きベクトル探索処理を行うか、保持手段より参照する第２のブロックの動きベクトル探索結果を用いるかを決定するブロック処理判定手段とを具備することを特徴とする。
尚、動きベクトルを探索済みである第２のブロックの方が第１のブロックよりブロックスキャン順序が先である。

また、本発明による画像符号化方法においては、１フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置を用いた画像符号化方法であって、動きベクトルの探索の対象となるブロックを第１のブロックとし、第１のブロックの近傍に位置する動きベクトルを探索済みのブロックを第２のブロックとする場合に、第２のブロックの動きベクトル探索結果を保持手段に保持する保持ステップと、第１のブロック及び第２のブロックの属性を検出するブロック属性検出ステップと、ブロック属性検出ステップで検出した第１のブロックの属性及び第２のブロックの属性に基づき、第１のブロックに対して動きベクトル探索処理を行うか、保持手段より第２のブロックの動きベクトル探索結果を第１のブロックの動きベクトル探索結果として用いるかを決定するブロック処理判定ステップと、ブロック処理判定ステップが第１のブロックに対して動きベクトル探索処理を行うと決定した場合に、第１のブロックでフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索ステップとを有することを特徴とする。

また、本発明によるプログラムは、１フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置用のプログラムであって、動きベクトルの探索の対象となるブロックを第１のブロックとし、第１のブロックの近傍に位置する動きベクトルを探索済みのブロックを第２のブロックとする場合に、第２のブロックの動きベクトル探索結果を保持手段に保持する保持ステップと、第１のブロック及び第２のブロックの属性を検出するブロック属性検出ステップと、ブロック属性検出ステップで検出した第１のブロックの属性及び第２のブロックの属性に基づき、第１のブロックに対して動きベクトル探索処理を行うか、保持手段より第２のブロックの動きベクトル探索結果を第１のブロックの動きベクトル探索結果として用いるかを決定するブロック処理判定ステップと、ブロック処理判定ステップが第１のブロックに対して動きベクトル探索処理を行うと決定した場合に、第１のブロックでフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索ステップとをコンピュータに実行させるためのプログラムである。

本発明による画像符号化装置、画像符号化方法及びそのプログラムは、従来の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることができる。

以下、図面を用いて本発明の実施形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態における動きベクトル探索処理の特徴を説明するための図である。図１において、１１１は、現在符号化処理対象のフレーム（現フレーム）である。１０１は、フレーム間差分符号化処理対象となっている過去のフレーム（前フレーム）である。前フレーム中に含まれているオブジェクト１０２は移動しており、現フレーム１１１に至る過程で、オブジェクト１１２の位置に存在する。以上のようなオブジェクトの移動がフレーム間で行われた際に以下のような動きベクトル探索処理を行う。

各フレームは画像ブロックと呼ばれる単位に細かく分割されており、符号化処理は画像ブロック単位で行われる。１１４は、現フレーム１１１における現在処理対象となっている画像ブロックである。１１３は、画像ブロック１１４に隣接している近傍画像ブロックである。１０４は、前フレーム１０１におけて現フレーム１１４の画像ブロック１１４に対応する画像ブロックである。１０３は、前フレーム１０１において現フレーム１１４の画像ブロック１１３に対応する画像ブロックである。すなわち、画像ブロック１０３は、画像ブロック１０４に隣接している。

符号化の際に、現在処理対象の画像ブロック１１４と、隣接している近傍画像ブロック１１３との属性比較を行い、画像ブロックの属性が同一と判定されれば、現時点で処理済の近傍画像ブロック１１３における動きベクトル探索結果１１６を、現在の画像ブロックにそのまま、動きベクトル探索結果１１７として適用する。ここでは、近傍の画像ブロックとの属性を比較し、同一属性であれば、２つの画像ブロックは同一のオブジェクトと判断する。具体的には、近傍画像ブロック１１３がオブジェクト１１２に属する属性を有する場合に、画像ブロック１１４の属性が近傍画像ブロック１１３と同一属性なら、画像ブロック１１４もオブジェクト１１２に属していると判断する。すなわち、画像ブロック１１４は、近傍画像ブロック１１３と同一の動きをするとみなし、動きベクトル探索結果をそのまま適用する。これにより、動きベクトル探索処理に要する演算量を軽減することができる。

次に、図１を用いて説明した動きベクトル探索処理を実現する画像符号化装置の構成例について説明する。
図２は、本実施形態の画像符号化装置の構成要素であって、動きベクトル探索処理に関わる処理部の構成例を主に示す図である。図２に示すように、動きベクトル探索器２００は、ブロック属性検出部２０１、ブロック属性・ＭＶ探索結果記憶メモリ（保持手段）２０２、ブロック処理判定部２０３、ＭＶ探索処理部２０４より構成される。フレームメモリ２１０は、符号化処理の対象となる動画像データのフレーム（現フレーム）を格納するメモリである。尚、フレームメモリ２１０は、必要に応じて現フレーム以外にも前フレームや、現フレームの次の次フレームを格納する。

動きベクトル探索器２００のブロック属性検出部２０１は、フレームメモリ２１０中の符号化対象フレームから各画像ブロック単位で画素データを読み出す。これにより、ブロック属性検出部２０１は、処理対象の画像ブロック（以下、現画像ブロックとする）および近傍かつ未処理である近傍画像ブロックの属性を検出し、ブロック属性・ＭＶ探索結果記憶メモリ２０２に書き込む。

ブロック処理判定部２０３は、ブロック属性検出部２０１がブロック属性・ＭＶ探索結果記憶メモリ２０２に書き込んだ属性パラメータを読み出し、予め設定された基準により近傍画像ブロックと処理対象画像ブロックが同一属性であるか否かを判定し、その結果をブロック属性・ＭＶ探索結果記憶メモリ２０２に書き込む。

ＭＶ探索処理部２０４は、ブロック処理判定部２０３がブロック属性・ＭＶ探索結果記憶メモリ２０２に書き込んだ判定結果をもとに、近傍画像ブロックの動きベクトル探索結果を流用する処理、又は、フレームメモリ２１０から参照フレームの画像データを読み出して動きベクトル探索を行う処理のいずれかを行う。具体的には、近傍画像ブロックと現画像ブロックが同一属性であるという判定結果の場合には、ＭＶ探索処理部２０４は、ブロック属性・ＭＶ探索結果記憶メモリ２０２から当該近傍画像ブロックの動きベクトル探索結果を読み出して、それを現画像ブロックの動きベクトル探索結果として出力する。また、近傍画像ブロックと現画像ブロックが同一属性でないという判定結果の場合には、ＭＶ探索処理部２０４は、フレームメモリ２１０から参照フレームの画像データを読み出して動きベクトル探索処理を行い、動きベクトル探索結果を出力するとともにブロック属性・ＭＶ探索結果記憶メモリ２０２に書き込む。

符号化処理部２２０は、フレームメモリ２１０から参照する処理対象の画像ブロックと、動きベクトル探索器２００が出力する動きベクトル探索結果とを基に、当該画像ブロックに対して符号化処理を行う。

次に、図２に示した動きベクトル探索器２００における動きベクトル探索処理の動作について説明する。
図４は、図２に示した動きベクトル探索器２００における動きベクトル探索処理のフローチャートである。以下、順に処理内容を説明する。まずステップ４０１において、動きベクトル探索器２００は、画像ブロックの属性に応じた動きベクトル探索処理を行うことが選択されたか否かを判断する。ここで、画像ブロックの属性に応じた動きベクトル探索処理を行うことを選択していないと判断した場合（ステップ４０１のＮｏ）の場合には、ステップ４０７へ移行し、ＭＶ探索処理部２０４は、通常の動きベクトル探索処理へ移行する。

ここで、画像ブロックの属性に応じた動きベクトル探索処理を行うことを選択されたと判断した場合（ステップ４０１のＹｅｓ）の場合には、ステップ４０２において、ブロック属性検出部２０１は、隣接する近傍画像ブロックを一つ選択する。ここで、選択できる近傍画像ブロックが無ければ（ステップ４０３のＮｏ）、ステップ４０７へ移行し、ＭＶ探索処理部２０４は、通常の動きベクトル探索処理を行い、符号化処理部２２０は、ＭＶ探索処理部２０４による通常の動きベクトル探索処理の結果を用いて、画像ブロックに対して符号化処理を行う。ステップ４０７の次は、ステップ４０８へ移行する。

また、近傍画像ブロックが選択できた場合（ステップ４０３のＹｅｓ）、ステップ４０４へ移行し、ブロック属性検出部２０１及びブロック処理判定部２０３は、選択した近傍画像ブロックと現画像ブロックの属性を検出し、両画像ブロックが同一属性であるかどうかの判定処理を行う。本実施形態のブロック属性検出部２０１は、ｎ×ｎ（ｎは任意の自然数）で構成される画像ブロックの色差成分Ｃｂ、Ｃｒについて、各画像ブロック毎に平均値を求め、この値を画像ブロックの属性として検出する。また、ブロック処理判定部２０３は、ブロック属性検出部２０１が検出した現画像ブロックの色差成分の平均値と、選択した近傍画像ブロックの色差成分Ｃｂ、Ｃｒの平均値の差が、予め定めた設定しきい値ＴｈｃｂおよびＴｈｃｒより小さい場合、両画像ブロックは同一属性にあると判定する。

ここで、ブロック処理判定部２０３における判定処理の詳細について図を用いて更に説明する。図３は、ブロック属性検出部２０１における判定処理の詳細例を示す図である。図３においては、色差成分Ｃｂの値を縦軸、色差成分Ｃｒの値を横軸とするグラフにより判定処理を示している。図３において、３０１は、プロットした現画像ブロックにおける色差成分の平均値である。３０２は、選択した近傍画像ブロックの色差成分の平均値である。３０３は、予め定めた設定しきい値ＴｈｃｂおよびＴｈｃｒと、平均値３０１の位置により定まる範囲である。すなわち、範囲３０３は、平均値３０１を中心とする方形の範囲である。これにより、ブロック処理判定部２０３は、選択した近傍画像ブロックの色差成分の平均値３０２が、設定しきい値の範囲３０３の範囲内にあるか否かにより、両画像ブロックは同一属性であるか否かを判定する。

ここで、ステップ４０４の処理に続く処理の説明に戻る。ブロック処理判定部２０３が両画像ブロックは同一属性であると判定した場合（ステップ４０４のＹｅｓ）には、ステップ４０５において、符号化処理部２２０は、選択した近傍画像ブロックの動きベクトル探索結果を用いて処理対象フレームの符号化処理を行う。また、ブロック処理判定部２０３が両画像ブロックは同一属性ではないと判定した場合（ステップ４０４のＮｏ）には、ステップ４０７へ移行し、通常の動きベクトル探索処理及び符号化処理を行う。

次に、ステップ４０５における符号化処理の結果、符号量が目標符号量（目標値）より一定限度以上多いと判断された場合（ステップ４０６のＹｅｓ）には、ステップ４０２に戻り、近傍画像ブロックを選択しなおす。但し、選択可能な近傍画像ブロックがこれ以上ない場合（ステップ４０３のＮｏ）には、ステップ４０７に移行して通常の動きベクトル探索処理及び符号化処理を行う。また、ステップ４０５における符号化処理の結果、符号量が目標符号量より一定限度以上ではない判断された場合（ステップ４０６のＮｏ）には、ステップ４０８に移行する。以上の処理を、ステップ４０８において当該フレームにおける画像ブロックの終端と判定されるまで繰り返す。

［第２の実施形態］
次に、本発明の第２の実施形態について以下に説明する。第２の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第２の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第２の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０４におけるブロック属性検出部２０１とブロック処理判定部２０３の処理である。

ステップ４０４における、同一属性判定処理において、ブロック属性検出部２０１は、画像ブロック内の各画素に対して肌色検出処理を行う。また、ブロック処理判定部２０３は、ブロック属性検出部２０１により、予め定めた一定数以上の画素が「肌色」と検出されるかどうかを判定する。具体的には、ブロック処理判定部２０３は、現画像ブロックおよび選択された近傍画像ブロックの両者とも一定数以上の画素が「肌色」であるとした場合に、両画像ブロックを同一属性であると判定する。

［第３の実施形態］
次に、本発明の第３の実施形態について以下に説明する。第３の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第３の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第３の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０４におけるブロック属性検出部２０１とブロック処理判定部２０３の処理である。

また、第３の実施形態においては、符号化対象の動画像データ（入力画像データ）は、符号化オブジェクトを含むＭＰＥＧ−４形式のデータとし、オブジェクトの位置属性情報がステップ４０４の同一属性判定処理において、使えるものとする。これにより、ブロック属性検出部２０１は、選択した近傍画像ブロックと現画像ブロックのオブジェクトの位置属性情報を検出する。ブロック処理判定部２０３は、選択した近傍画像ブロックと現画像ブロックの位置属性情報により、同一のオブジェクトが（またがって）存在する場合には、両画像ブロックを同一属性と判定する。

［第４の実施形態］
次に、本発明の第４の実施形態について以下に説明する。第４の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第４の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第４の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理（本実施形態の特徴となる処理）を行うか否かの判断処理である。

第４の実施形態ではステップ４０１において、動きベクトル探索器２００は、画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの判断に、現時点での符号化処理部２２０における符号化処理で発生する符号量の多寡を用いる。これにより、現時点での符号量が目標値より大きい場合、現画像ブロック以前の画像ブロックに対する動きベクトル探索処理に失敗して符号量が増えてしまったと判断する。すなわち、画像ブロックの属性に応じた動きベクトル探索処理に適していないフレームの画像を処理していると判断し、動きベクトル探索器２００は、画像ブロックの属性に応じた動きベクトル探索処理を行わない。以上に示したように、動きベクトル探索器２００は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの適用基準を厳しくすることで、以降の処理における発生符号量を抑えることが出来る。

［第５の実施形態］
次に、本発明の第５の実施形態について以下に説明する。第５の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第５の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第５の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの判断処理である。

第５の実施形態の動きベクトル探索器２００は、例えば画像符号化装置の動作モードとして低消費電力モードが選択されている場合には、ステップ４０１において、画像ブロックの属性に応じた動きベクトル探索処理を積極的に行うよう判断する。すなわち、動きベクトル探索器２００は、低消費電力モード時は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの適用基準を易しくする。これにより、近傍画像ブロックの動きベクトル探索結果をそのまま現画像ブロックの動きベクトル探索結果として用いる動きベクトル探索処理を行うので、動きベクトル検索処理を行う回路（ＭＶ探索処理部２０４）の停止制御を行うことで、低消費電力の効果を得ることが可能である。

［第６の実施形態］
次に、本発明の第６の実施形態について以下に説明する。第６の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第６の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第６の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの判断処理である。

第６の実施形態の動きベクトル探索器２００は、例えば画像符号化装置の動作モードとして高速連写モードおよびマルチストリームモードが選択されている場合には、ステップ４０１において、画像ブロックの属性に応じた動きベクトル探索処理を積極的に行うよう判断する。ここで、高速連写モードとは、複数の静止画像を高速で連続して撮像する動作モードである。すなわち、第６の実施形態の画像符号化装置は、少なくとも高速連写モードを動作モードに含む静止画及び動画を撮像可能な撮像処理部を備える。また、マルチストリームモードとは、画像符号化装置において複数の動画像データを時分割または並列で符号化処理する動作モードである。

すなわち、動きベクトル探索器２００は、高速連写モードおよびマルチストリームモード時は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの適用基準を易しくする。これにより、近傍画像ブロックの動きベクトル探索結果をそのまま現画像ブロックの動きベクトル探索結果として用いる動きベクトル探索処理を行うので、動きベクトル検索処理に要する処理時間を他の処理に割り振ることができ、同じハードウェア資源・回路規模で処理全体としてより高速に符号化処理を実行可能である。

［第７の実施形態］
次に、本発明の第７の実施形態について以下に説明する。第７の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第７の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第７の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０１における画像ブロックの属性に応じた動きベクトル探索処理を行うか否かの判断処理である。

第７の実施形態の動きベクトル探索器２００は、ステップ４０１の判定処理において、現画素ブロックおよび選択した近傍画素ブロックのアクティビティ値が高いとき、すなわち画素ブロックが平坦な色調でなく、色特性による比較で近傍ブロックとの類似性が低いと考えられるとき、画像ブロックの属性に応じた動きベクトル探索処理に適していないことがあらかじめ予測できるので、画像ブロックの属性に応じた動きベクトル探索処理を用いる判断基準を厳しくすることで、画像ブロックの属性に応じた動きベクトル探索処理を用いて失敗することによる画質の低下あるいは符号量の増大を防ぐことが可能である。

［第８の実施形態］
次に、本発明の第８の実施形態について以下に説明する。第８の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第８の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第８の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０２における近傍画像ブロックを選択する処理である。

第８の実施形態の動きベクトル探索器２００は、ステップ４０２において近傍の画像ブロックを選択する過程で、ブロックスキャン順で一つ前の画像ブロックを選択する。これにより、ＭＰＥＧ等で動きベクトルを差分符号化する際に差分が０となり符号化効率を向上させることが可能である。

［第９の実施形態］
次に、本発明の第９の実施形態について以下に説明する。第９の実施形態における画像符号化装置の構成は、図２に示した第１の実施形態における画像符号化装置の構成と同様であり、説明を省略する。また、第９の実施形態における動きベクトル探索器２００の動きベクトル探索処理は、図４に示した第１の実施形態における処理とほぼ同様であるが、一部異なる。第９の実施形態において、上述した第１の実施形態と異なる処理部分は、ステップ４０５又は４０７における符号化処理部２２０の符号化処理である。

第９の実施形態の符号化処理部２２０は、ステップ４０５又は４０７において、現画像ブロックまでの圧縮符号化されたデータ量が目標符号量より基準値以上増加している場合、すなわち画像ブロックの属性に応じた動きベクトル探索処理が失敗したとみなせる場合、符号化処理部２２０は、次フレームにおいて現画像ブロック位置の周辺以降の画像ブロックに対して、動きベクトルを用いないフレーム内符号化方式を積極的（または優先的）に適用する。これにより、以降のフレーム間差分方式に用いる参照画像の劣化を防ぐことが可能である。

以上に示したように、上述した第１の実施形態における画像符号化装置においては、近傍の動きベクトル探索処理の終了した画像ブロック（近傍画像ブロック）と現画像ブロックとの属性比較として、ブロック間の色差成分平均値の比較を行い、同一又は類似する属性であれば近傍画像ブロックの動きベクトル探索結果をそのまま現画像ブロックの動きベクトル探索結果として用いる。これにより、通常の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることが可能である。

また、上述した第２の実施形態における画像符号化装置においては、近傍の動きベクトル探索処理の終了した画像ブロック（近傍画像ブロック）と現画像ブロックとの属性比較として、各ブロックにおいて検出した肌色画素数を比較して、同一又は類似する属性であれば近傍画像ブロックの動きベクトル探索結果をそのまま現画像ブロックの動きベクトル探索結果として用いる。これにより、通常の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることが可能である。また、肌色検出処理の機能を符号化処理部２２０の他の部分と共用することで、回路規模の削減が可能である。

また、上述した第３の実施形態における画像符号化装置においては、ＭＰＥＧ−４のようなオブジェクト単位の位置情報を上位レイヤにもつ動画像データを他方式の符号化データに変換する際に、符号化対象の画像ブロックとすでに動きベクトル探索処理済の近傍画像ブロックの属するオブジェクトＩＤが等しい場合に、近傍画像ブロックの動きベクトル探索結果をそのまま現画像ブロックの動きベクトル探索結果として用いる。これにより、通常の動きベクトル探索処理と比較して少ない演算量で動きベクトルを求めることが可能である。

また、上述した第４の実施形態における画像符号化装置においては、符号化処理部２２０での符号化処理で発生する符号量と目標値とを比較することで、演算間引き処理である本処理方式が結果として成功したか否かを判断する。この判断に応じて、処理速度あるいは消費電力増大とのトレードオフで、本処理方式を以後の処理で積極的に適用するかどうかを決定可能である。また被写体の属性や撮影モードなどの外的要因に応じて演算間引き処理である本処理方式がより効果的かどうかを符号量により判断することも可能であり、この判断に応じて、本処理方式を積極的に適用するかどうかを決定可能である。

また、上述した第５の実施形態における画像符号化装置においては、画像ブロックの動きベクトル探索結果をそのまま用いることにより動きベクトル検索に用いる回路（ＭＶ探索処理部２０４）を停止させることで低消費電力を実現可能することができる。また、本処理方式を、動作モードが低消費電力モード時に積極的に適用することによりその効果を高めることが可能である。

また、上述した第６の実施形態における画像符号化装置においては、近傍画像ブロックの動きベクトル探索結果をそのまま用いることにより動きベクトル検索に用いる処理時間を他の処理に割り振ることができ、同じハードウェア資源・回路規模で処理全体としてより高速に符号化処理を実行可能である。

また、上述した第７の実施形態における画像符号化装置においては、現画素ブロックが平坦な色調でなくアクティビティ値が高い場合に、色特性による比較で近傍画像ブロックとの類似性が低いと考え、本処理方式に適していないことを予測することができる。このような場合に、本処理方式を用いるか否かの判断基準を厳しくすることで、本処理方式を用いて失敗することによる画質の低下あるいは符号量の増大を防ぐことが可能である。

また、上述した第８の実施形態における画像符号化装置においては、本処理方式を適用する対象の近傍画像ブロックとして、ブロックスキャン順で一つ前の画像ブロックを選択することにより、ＭＰＥＧ等で動きベクトルを差分符号化する際に差分が０となり符号化効率を向上させることが可能である。

また、上述した第９の実施形態における画像符号化装置においては、現画像ブロックまでの圧縮符号化されたデータ量が目標符号量より基準値以上増加している場合、すなわち本処理方式が失敗したとみなせる場合に、符号化処理部２２０は、次フレームにおいて現画像ブロック位置の周辺以降の画像ブロックに対して、動きベクトルを用いないフレーム内符号化方式を積極的に適用することにより、以降のフレーム間差分方式に用いる参照画像の劣化を防ぐことが可能である。

尚、上述した実施形態における画像符号化装置の各処理機能を実現する為のプログラムをメモリより読み出して中央処理装置（ＣＰＵ）が実行することによりその機能を実現させてもよいし、各処理機能の全部または一部を専用のハードウェアにより実現してもよい。

また、上述したプログラムを記録するメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、上述した画像符号化装置において各種処理を行う機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態における動きベクトル探索処理の特徴を説明するための図である。 本実施形態の画像符号化装置の構成要素であって、動きベクトル探索処理に関わる処理部の構成例を主に示す図である。 ブロック属性検出部２０１における判定処理の詳細例を示す図である。 図２に示した動きベクトル探索器２００における動きベクトル探索処理のフローチャートである。

符号の説明

２００ 動きベクトル探索器
２０１ ブロック属性検出部
２０２ ブロック属性・ＭＶ探索結果記憶メモリ
２０３ ブロック処理判定部
２０４ ＭＶ探索処理部
２１０ フレームメモリ
２２０ 符号化処理部

Claims (14)

1. １フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置であって、
   前記ブロック単位でフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索処理手段と、
   前記ブロックの属性を検出するブロック属性検出手段と、
   前記動きベクトルの探索の対象となるブロックを第１のブロックとし、前記第１のブロックの近傍に位置する前記動きベクトルを探索済みのブロックを第２のブロックとする場合に、前記第２のブロックの動きベクトル探索結果を保持する保持手段と、
   前記ブロック属性検出手段が検出した前記第１のブロックの属性及び前記第２のブロックの属性に基づき、前記動きベクトル探索処理手段により動きベクトル探索処理を行うか、前記保持手段より参照する前記第２のブロックの動きベクトル探索結果を用いるかを決定するブロック処理判定手段と
   を具備することを特徴とする画像符号化装置。
2. 前記ブロック属性検出手段は、各ブロックの色特性を前記属性として検出し、
   前記ブロック処理判定手段は、前記ブロック属性検出手段が検出した前記第１のブロックの色特性と前記第２のブロックの色特性を比較して同一又は類似していると判定した場合には、前記保持手段より参照する前記第２のブロックの動きベクトル探索結果を用いると決定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記ブロック属性検出手段は、前記ブロック内の各画素の色差成分を前記色特性として検出し、
   前記ブロック処理判定手段は、前記ブロック属性検出手段が検出した前記第１のブロック及び前記第２のブロックにおける各画素の色差成分を用いることで前記色特性の比較を行うこと特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記ブロック属性検出手段は、前記ブロック内の各画素の色差成分の平均値を前記ブロック毎に算出することで前記色特性の検出を行い、
   前記ブロック処理判定手段は、前記ブロック属性検出手段が検出した前記平均値のブロック間の差が基準値内であれば前記色特性が同一又は類似しているとすることを特徴とする請求項３に記載の画像符号化装置。
5. 前記ブロック属性検出手段は、前記ブロック内の各画素について肌色検出処理することで前記色特性の検出を行い、
   前記ブロック処理判定手段は、前記ブロック属性検出手段が前記第１のブロックおよび前記第２のブロックにおいて基準数以上の肌色画素を検出した場合に、前記第１のブロックの色特性と前記第２のブロックの色特性とが同一又は類似しているとすることを特徴とする請求項１又は２に記載の画像符号化装置。
6. 前記ブロック属性検出手段は、各ブロックの前記属性として前記ブロックの属するオブジェクトを示す情報を検出し、
   前記ブロック処理判定手段は、前記ブロック属性検出手段が検出した前記第１のブロックの属するオブジェクトと前記第２のブロックの属するオブジェクトを比較して同一であると判定した場合には、前記保持手段より参照する前記第２のブロックの動きベクトル探索結果を用いると決定することを特徴とする請求項１に記載の画像符号化装置。
7. 前記ブロック処理判定手段が決定した動きベクトル探索結果を用いて前記ブロックの符号化処理を行う符号化手段を更に具備し、
   前記ブロック処理判定手段におけるブロック間の属性の比較基準を、前記符号化手段による符号化処理結果である符号量の多寡又は動作モードに応じて適応的に変化させることを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
8. 前記動作モードが低消費電力モードの場合に、前記ブロック処理判定手段におけるブロック間の属性の比較基準を緩和することを特徴とする請求項７に記載の画像符号化装置。
9. 少なくとも高速連写モードを含む動作モードで動画像を撮像可能な撮像手段を更に具備し、
   前記符号化手段は、複数の動画像を並列又は時分割で処理するマルチストリームモードという動作モードで動作可能であり、
   前記撮像手段の動作モードが前記高速連写モードまたは前記符号化手段の動作モードが前記マルチストリームモードである場合には、前記ブロック処理判定手段におけるブロック間の属性の比較基準を緩和することを特徴とする請求項７に記載の画像符号化装置。
10. 前記第２のブロックのアクティビティ値が所定値を超えた場合に、前記ブロック処理判定手段におけるブロック間の属性の比較基準を厳しくすることを特徴とする請求項１〜９のいずれか１項に記載の画像符号化装置。
11. 前記符号化手段が出力する符号化画像データの符号量が目標値より大きい場合には、前記符号化手段は、次フレームの符号化処理においてフレーム内符号化処理を優先的に行うことを特徴とする請求項７に記載の画像符号化装置。
12. 前記第２のブロックとして、ブロックスキャン順で前記第１のブロックの直前となるブロックを優先的に選択することを特徴とする請求項１〜１１のいずれか１項に記載の画像符号化装置。
13. １フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置を用いた画像符号化方法であって、
    前記動きベクトルの探索の対象となるブロックを第１のブロックとし、前記第１のブロックの近傍に位置する前記動きベクトルを探索済みのブロックを第２のブロックとする場合に、前記第２のブロックの動きベクトル探索結果を保持手段に保持する保持ステップと、
    前記第１のブロック及び前記第２のブロックの属性を検出するブロック属性検出ステップと、
    前記ブロック属性検出ステップで検出した前記第１のブロックの属性及び前記第２のブロックの属性に基づき、前記第１のブロックに対して動きベクトル探索処理を行うか、前記保持手段より前記第２のブロックの前記動きベクトル探索結果を前記第１のブロックの動きベクトル探索結果として用いるかを決定するブロック処理判定ステップと、
    前記ブロック処理判定ステップが前記第１のブロックに対して動きベクトル探索処理を行うと決定した場合に、前記第１のブロックでフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索ステップと
    を有することを特徴とする画像符号化方法。
14. １フレームの画像を複数のブロック単位に分割して処理し、動きベクトルを利用したフレーム間動き補償を行う画像符号化装置用のプログラムであって、
    前記動きベクトルの探索の対象となるブロックを第１のブロックとし、前記第１のブロックの近傍に位置する前記動きベクトルを探索済みのブロックを第２のブロックとする場合に、前記第２のブロックの動きベクトル探索結果を保持手段に保持する保持ステップと、
    前記第１のブロック及び前記第２のブロックの属性を検出するブロック属性検出ステップと、
    前記ブロック属性検出ステップで検出した前記第１のブロックの属性及び前記第２のブロックの属性に基づき、前記第１のブロックに対して動きベクトル探索処理を行うか、前記保持手段より前記第２のブロックの前記動きベクトル探索結果を前記第１のブロックの動きベクトル探索結果として用いるかを決定するブロック処理判定ステップと、
    前記ブロック処理判定ステップが前記第１のブロックに対して動きベクトル探索処理を行うと決定した場合に、前記第１のブロックでフレーム間の動きベクトルを探索して動きベクトル探索結果を出力する動きベクトル探索ステップと
    をコンピュータに実行させるためのプログラム。

Images