JP2006014121A - 画像符号化方法、画像符号化装置および撮像装置 - Google Patents

Abstract

【課題】ユーザの注目するオブジェクトの画質をユーザの意図するレベルに維持しながら、動画像の符号量を低減する。
【解決手段】画像内に注目領域を設定し、画像内の注目するオブジェクトの動きに注目領域が追従し、注目領域とそれ以外の領域とで異なる画質で符号化する。ウェーブレット変換部１０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。量子化部１２は、ウェーブレット変換部１０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。動き検出部１８は、オブジェクトの動きを検出する。ＲＯＩ設定部２０は、このオブジェクトの動きに応じて、ＲＯＩ領域を移動させる。視点が変動する動画像の場合、背景とオブジェクトとを分離し、オブジェクトの動き、および背景の動きに応じて、ＲＯＩ領域を移動させてもよい。
【選択図】図１

Description

この発明は、画像符号化方法、画像符号化装置および撮像装置に関し、特に領域毎に異なる画質で符号化することができる画像符号化装置、画像表示化方法および撮像装置に関する。

ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が行われている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。

ＪＰＥＧ２０００の機能の一つとして、画像の注目領域（Region of Interest;ＲＯＩ）を他の領域よりも優先して符号化し、伝送するＲＯＩ符号化が規格化されている。ＲＯＩ符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。

特許文献１は、画像データ内の複数のＲＯＩ領域を自動認識する技術を開示する。
特開２００４−７２６５５号公報

上記特許文献１は、その段落番号００７９に記載されているように、動画撮影モードの場合、撮影された各フレームの画像に対してＲＯＩ領域を自動的に設定する。しかしながら、上記特許文献１は、画像内に複数の動体を認識した場合、撮影意図に沿わない動体までＲＯＩ領域に設定してしまう可能性がある。複数のＲＯＩ領域から好みのＲＯＩ領域を選択できるとの記載もあるが、動画像の場合、フレーム毎に選択することは煩雑であり、動画撮影中に選択することは不可能である。また、フレーム毎にＲＯＩ領域の認識処理を行うことは、演算量が多くなり、信号処理の負担が大きくなる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザの注目するオブジェクトの画質をユーザの意図するレベルに維持しながら、動画像の符号量を低減することができる画像符号化方法、画像符号化装置および撮像装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化方法は、画像内に注目領域を設定し、画像内の注目するオブジェクトの動きに注目領域が追従せしめ、注目領域とそれ以外の領域とで異なる画質で符号化する。初期の注目領域の設定は、ユーザ操作により行ってもよい。

この態様によると、注目領域の画質をユーザの意図するレベルに保ちながら、注目しない領域の画質を下げることもでき、符号量を低減することができる。また、注目領域の画質を意図的に下げることもできる。

画像内に注目領域を設定する注目領域設定部と、画像内の注目するオブジェクトの動きを検出する動き検出部と、注目領域とそれ以外の領域とで異なる画質で符号化する符号化部と、を有し、注目領域設定部は、オブジェクトの動きに注目領域を追従せしめる。「オブジェクトの動き」は、動きベクトルで検出してもよい。

この態様によると、注目領域の画質をユーザの意図するレベルに保ちながら、注目しない領域の画質を下げることもでき、符号量を低減することができる。また、注目領域の画質を意図的に下げることもできる。さらに、フレーム毎に注目領域の認識やユーザ操作による設定を行わなくても、自動でオブジェトを追従することができる。

割り当てられた符号量に基づき、注目領域以外の領域の画質を設定する画質設定部をさらに有してもよい。「割り当てられた符号量」とは、１枚のフレームごとに割り当てられた符号量でもよいし、動画像全体に割り当てられた符号量であってもよい。「画質設定部」は、符号化処理中、動的に画質を調整してもよい。割り当てられた符号量の条件下でも、非注目領域の符号量を調整することにより、注目領域の画質をユーザの意図するレベルに保つことができる。

視点が変動する動画像内の背景を分離するオブジェクト抽出部をさらに有し、注目領域設定部は、背景の動きに応じて、オブジェクトの動きに注目領域を追従せしめてもよい。これによれば、背景の動きを相殺することにより、視点固定の場合と同等な精度を得ることができる。

本発明のさらに別の態様は、撮像装置である。この装置は、画像を取得する撮像部を有し、画像内に注目領域を設定し、画像内の注目するオブジェクトの動きに注目領域を追従せしめ、注目領域とそれ以外の領域とで異なる画質で符号化する。

この態様によると、注目領域の画質をユーザの意図するレベルに保ちながら、注目しない領域の画質を下げることもでき、符号量を低減することができる。また、注目領域の画質を意図的に下げることもできる。

本発明のさらに別の態様も、撮像装置である。この装置は、画像を取得する撮像部と、画像内に注目領域を設定する注目領域設定部と、画像内の注目するオブジェクトの動きを検出する動き検出部と、注目領域とそれ以外の領域とで異なる画質で符号化する符号化部と、を有し、注目領域設定部は、オブジェクトの動きに注目領域を追従せしめる。初期の注目領域の設定は、ユーザ操作により行ってもよい。

この態様によると、注目領域の画質をユーザの意図するレベルに保ちながら、注目しない領域の画質を下げることもでき、符号量を低減することができる。また、注目領域の画質を意図的に下げることもできる。さらに、フレーム毎に注目領域の認識やユーザ操作による設定を行わなくても、自動でオブジェトを追従することができる撮像装置を得ることができる。

割り当てられた符号量に基づき、注目領域以外の領域の画質を設定する画質設定部をさらに有してもよい。「割り当てられた符号量」とは、１枚のフレームごとに割り当てられた符号量でもよいし、動画像全体に割り当てられた符号量であってもよい。「画質設定部」は、符号化処理中、動的に画質を調整してもよい。割り当てられる符号量の条件下でも、非注目領域の符号量を調整することにより、注目領域の画質をユーザの意図するレベルに保つことができる。

視点が変動する動画像内の背景を分離するオブジェクト抽出部をさらに有し、注目領域設定部は、背景の動きに応じて、オブジェクトの動きに注目領域を追従せしめてもよい。これによれば、背景の動きを相殺することにより、視点固定の場合と同等な精度を得ることができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザの注目するオブジェクトの画質をユーザの意図するレベルに維持しながら、動画像の符号量を低減することができる。

実施の形態１
図１は、実施の形態１に係る画像符号化装置１００の構成図である。画像符号化装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像符号化装置１００は、入力された原画像を一例としてＪＰＥＧ２０００方式により圧縮符号化する。画像符号化装置２００に入力される原画像は、動画像のフレームである。画像符号化装置１００は、動画像の各フレームをＪＰＥＧ２０００方式で連続的に符号化して、動画像の符号化ストリームを生成することができる。

ウェーブレット変換部１０は、入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。具体的には、ウェーブレット変換部１０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。

ウェーブレット変換部１０は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行って、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部１０は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部１２は、ウェーブレット変換部１０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。

動き検出部１８は、指定されたオブジェクトの位置を検出し、ＲＯＩ設定部２０に出力する。オブジェクトの指定は、ユーザがしてもよいし、ユーザが指定したＲＯＩ領域の中から動き検出部１８が自動で認識してもよい。また、画像の全体から自動で認識してもよい。このオブジェクトの指定は、複数であってもよい。

動画像の場合、オブジェクトの位置は、動きベクトルで表すことができる。以下、動きベクトル検出方法の具体例を説明する。第１に、動き検出部１８は、ＳＲＡＭやＳＤＲＡＭ等のメモリを備え、オブジェクトの指定時にそのフレーム内にて指定されたオブジェクトの画像を、参照画像として当該メモリに保存する。参照画像は、指定位置を含む所定の大きさのブロックを保存するとよい。動き検出部１８は、参照画像と現フレームの画像とを比較することにより、動きベクトルを検出する。動きベクトルの算出には、ウェーブレット変換係数の高周波成分を用いて、オブジェクトの輪郭成分を特定して行うことができる。また、量子化後のウェーブレット変換係数のＭＳＢ（Most Significant Bit）ビットプレーン、もしくはＭＳＢ側から複数のビットプレーンを用いてもよい。

第２に、動き検出部１８は、現フレームと、前の、例えば直前のフレームとを比較して、オブジェクトの動きベクトルを検出する。第３に、フレーム画像ではなく、ウェーブレット変換後のウェーブレット変換係数を比較して、動きベクトルを検出する。ウェーブレット変換係数は、ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドのいずれを用いてもよい。また、現フレームとの比較対象は、指定時に登録された参照画像でもよいし、前の、例えば直前のフレームから登録された参照画像であってもよい。

第４に、動き検出部１８は、複数のウェーブレット変換係数を用いて、オブジェクトの動きベクトルを検出する。例えば、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドごとに動きベクトルを検出し、それら３つの動きベクトルの平均を取ったり、その中から前フレームの動きベクトルに最も近いものを選択したりすることができる。これにより、オブジェクトの動き検出精度を高めることができる。

ユーザは、画像内においてこのような動きベクトルを検出する範囲を予め動き検出部１８に指定してもよい。例えば、コンビニエンスストア等の店舗の監視カメラに本画像符号化装置を適用する場合、レジから一定の範囲に入った人物等のオブジェクトを注目し、そこから出たオブジェクトの動きを注目しないといった処理が可能になる。

ＲＯＩ設定部２０は、動き検出部１８からオブジェクトの動きベクトル等の位置情報を取得し、それに対応させてＲＯＩ領域を移動させる。動き検出部１８の検出方法により、初期設定のＲＯＩ領域の位置からの移動量、または直前のフレームからの移動量を算出し、現フレームのＲＯＩ領域の位置を決定する。

ユーザは、ＲＯＩ領域の位置、大きさ、および画質等を、初期値としてＲＯＩ設定部２０に設定する。なお、ユーザがオブジェクトを指定した場合、もしくは動き検出部１８が自動認識した場合、ＲＯＩ設定部２０がそのオブジェクトを含む所定の範囲をＲＯＩ領域に自動設定してもよい。

ＲＯＩ領域の形は、矩形、丸、その他の複雑な形であってもよい。ＲＯＩ領域自体の形は、固定が原則であるが、画像の中心部分と周辺部分とで領域の形を可変させてもよいし、ユーザ操作により動的に可変してもよい。また、ＲＯＩ領域は複数設定されてもよい。

ＲＯＩ設定部２０は、ＲＯＩ設定情報を量子化部１２および符号化データ生成部１６に出力して、ＲＯＩ符号化を行う。ＲＯＩ符号化には、画像の注目領域に対応するウェーブレット変換係数（以下、ＲＯＩ変換係数という）のビットプレーンを非注目領域に対応するウェーブレット変換係数（以下、非ＲＯＩ変換係数という）のビットプレーンの最大ビット数だけスケールアップするマックスシフト法がある。この手法によれば、ＲＯＩ変換係数の全ビットプレーンがどの非ＲＯＩ変換係数のビットプレーンよりも先に符号化される。

まず、マックスシフト法によりＲＯＩ符号化を行う例を説明する。図２（ａ）は、量子化後のウェーブレット変換係数５０を示し、最上位ビット（Most Significant Bit；ＭＳＢ）から最下位ビット（Least Significant Bit；ＬＳＢ）で５ビットの各ビットプレーンを含む。

ＲＯＩ設定部２０は、ＲＯＩ領域の位置情報をもとに、原画像上の注目領域を設定し、その注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。ＲＯＩ変換係数は、図２（ａ）のウェーブレット変換係数５０において斜線で示されている。

量子化部１２は、上記ＲＯＩマスクを用いて、量子化後のＲＯＩ変換係数をＳビットだけスケールアップする。すなわち、ＲＯＩ変換係数の値をＳビットだけ左シフトする。ここで、スケールアップ量Ｓは、非注目領域に対応するウェーブレット変換係数すなわち非ＲＯＩ変換係数の量子化値の最大値のビット数よりも大きい自然数である。図２（ｂ）は、ＲＯＩ変換係数が５ビットだけスケールアップされた状態のウェーブレット変換係数５２を示す。スケールアップ後のウェーブレット変換係数５２において、スケールアップにより新たに生じた桁には零値が充当される。

エントロピー符号化部１４は、図２（ｃ）の矢印に示すように、スケールアップされたウェーブレット変換係数５２の量子化値を上位ビットブレーンから順にスキャンしながらエントロピー符号化する。

符号化データ生成部１６は、位置やスケールアップ量等のＲＯＩ設定情報をＲＯＩ設定部２０から得て、および量子化幅等のヘッダ生成のための情報をエントロピー符号化部１４から得て、ヘッダを生成する。また、エントロピー符号化されたデータをストリーム化して、符号化画像を記録媒体やネットワークに出力する。ここで、記録媒体に、ＳＤＲＡＭやフラッシュハードディスクドライブ等を用いることができる。

以上説明したようにマックスシフト法によりＲＯＩ符号化すると、符号量を削減するために符号化を途中までしか行わなくても、ＲＯＩ領域のビットプレーンが優先的に符号化されるため、ＲＯＩ領域の画質を非ＲＯＩ領域の画質より高画質にすることができる。

次に、ビットプレーンを削減してＲＯＩ符号化を行う例を説明する。ＲＯＩ設定部２０は、ＲＯＩ領域の位置情報をもとに、原画像上の注目領域を設定し、その注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。ＲＯＩ領域の位置情報は、注目領域が矩形で選択される場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。

図３（ａ）〜（ｃ）は、ＲＯＩ設定部２０により生成されるＲＯＩマスクを説明する図である。図３（ａ）のように、ＲＯＩ設定部２０により原画像８０上に注目領域９０が選択されたとする。ＲＯＩ設定部２０は、原画像８０上に選択された注目領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。

図３（ｂ）は、原画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩ設定部２０は、原画像８０の注目領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数、すなわちＲＯＩ変換係数９１〜９４を第１レベルの各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。

図３（ｃ）は、図３（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、第２レベルの４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩ設定部２０は、第１階層の変換画像８２のサブバンドＬＬ１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。

同様にして、ウェーブレット変換の回数だけ注目領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩ設定部２０は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図３（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。

量子化部１２は、量子化後に、画質設定に優先度に応じて、非注目領域に対応する上記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整する。ＲＯＩ設定部２０により生成されたＲＯＩマスクを参照して、ＲＯＩマスクによってマスクされない非ＲＯＩ変換係数のビット列において最下位ビットから数えてＳビットだけを零に置換する。ここで、零置換ビット数Ｓは、非注目領域における量子化値の最大ビット数を上限とする任意の自然数である。この零置換ビット数Ｓを変化させることにより、注目領域に対する非注目領域の再生画質の劣化度合いを連続的に調整することができる。

図４（ａ）〜（ｃ）は、量子化部１２により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図４（ａ）は、量子化後のウェーブレット変換係数６０を示し、５ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。

図４（ｂ）に示すように、量子化部１２は、ＲＯＩマスクによりマスクされていない非ＲＯＩ変換係数のＬＳＢ側のＳビットを零に置換する。この例では、Ｓ＝２であり、符号６４で示すように、非ＲＯＩ変換係数のＬＳＢ側の２ビットが零に置換されたウェーブレット変換係数６２が得られる。

エントロピー符号化部１４は、図４（ｃ）の矢印に示すように、ＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数６２を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。

図５（ａ）〜（ｃ）は、原画像上に注目領域が存在しない場合にウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。図５（ａ）は、原画像に注目領域が設定されないことから非ＲＯＩ変換係数のみからなる５ビットプレーンのウェーブレット変換係数７０を示す。量子化部１２は、零置換ビット数Ｓが２の場合、図５（ｂ）に示すように、５ビットプレーンの内、ＬＳＢ側の下位２ビットプレーンを零に置換したウェーブレット変換係数７２を生成する。

エントロピー符号化部１４は、図５（ｃ）に示すように、零置換後のウェーブレット変換係数７２の上位３ビットプレーンを上から順にエントロピー符号化する。この場合、零置換された下位の２ビットプレーンは符号化しない。なお、下位２ビットプレーンを零置換する代わりに、単に下位２ビットプレーンを破棄してもよい。

符号化データ生成部１６は、量子化幅等の符号化パラメータをもとにヘッダを生成する。また、エントロピー符号化されたデータをストリーム化して、符号化画像として記録媒体やネットワークに出力する。

一般に、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部１４は、量子化されたウェーブレット変換係数を上位ビットプレーンから順に符号化する際、データサイズの上限を守るべく途中のビットプレーンで符号化を打ち切ることがある。あるいは、符号化データ生成部１６が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、伝送レートの制限を守るべく途中のビットプレーンでストリーム出力を打ち切ることがある。

このように符号化画像のデータサイズに制約がある場合でも、下位のビットプレーンにおいては、非注目領域に対応するウェーブレット変換係数は零置換されており、注目領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。

以上説明したように、ビットプレーンを削減する符号化手法は、ＲＯＩ変換係数のスケールアップ処理をしないため、効率的に符号化の演算を行うことができる。また、符号化すべきビットプレーン数は増えないため、記憶領域を余分に設ける必要がなく、ハードウエアコストを削減することができる。

また、復号時のスケールダウン処理が不要であるため、符号化データのヘッダにＲＯＩ位置情報とスケールアップ量を符号化データに付加する必要がない。さらに、この手法でＲＯＩ符号化された画像は、通常の符号化画像とフォーマット上は区別がないため、通常の符号化画像の復号処理と全く同一の処理で復号することができ、復号処理の互換性を保つことができる。

実施の形態２
図６は、実施の形態２に係る画像符号化装置２００の構成図である。この画像符号化装置２００は、実施の形態１に係る画像符号化装置１００に画質設定部２２が付加された構成である。実施の形態１と同じ構成については同符号を付し、実施の形態１とは異なる構成と動作を説明する。

ＲＯＩ領域、および非ＲＯＩ領域の画質の初期値は、ユーザがＲＯＩ設定部２０に設定することができる。また、画質設定部２２は、非ＲＯＩ領域の画質をフレーム１枚に当たりに割り当てられた符号量をもとに、計算、類推して自動的に定めてもよい。つまり、ＲＯＩ領域の符号量が多くなると、非ＲＯＩ領域の符号量を減らし、ＲＯＩ領域の符号量が少なくなると、非ＲＯＩ領域の符号量を増やす。なお、ＲＯＩ領域にモザイクを掛ける等、ＲＯＩ領域のほうを低画質にしたい場合はこの逆になる。上記のＲＯＩ符号化の説明を、ＲＯＩ領域と非ＲＯＩ領域とで入れ替えて読めば実現可能である。

また、画質設定部２２は、動画像撮影中においてこれまで撮影した符号量から、もしくは符号化ストリームを記録している記録媒体の残量から計算、類推して非ＲＯＩ領域の符号量を適応的に調整してもよい。例えば、記録媒体の残量が減ったきたら、非ＲＯＩ領域の符号量を減らす。

以上の説明から本実施の形態によれば、画質設定部２２が非ＲＯＩ領域の符号量を調整することにより、ユーザが注目するオブジェクトの画質をユーザが意図するレベルに維持しながら、動画像全体の符号量を所定の容量に抑えることができる。

実施の形態３
図７は、実施の形態３に係る画像符号化装置３００の構成図である。この画像符号化装置３００は、実施の形態１に係る画像符号化装置１００にフレームバッファ２４、およびオブジェクト抽出部２６が付加された構成である。実施の形態１と同じ構成については同符号を付し、実施の形態１とは異なる構成と動作を説明する。また、同じ構成でも異なる動作についても説明する。

フレームバッファ２４は、ＳＤＲＡＭ等の大容量メモリであり、少なくとも現フレームと、前の、例えば直前のフレームを記憶する。オブジェクト抽出部２６は、画像内のオブジェクトと背景とを分離する。オブジェクト抽出部２６は、前のフレームの画像と現フレームの画像とを比較する。その際、ＭＰＥＧ（Moving Picture Experts Group）で用いられているように、画像を複数のブロックに分解してブロック毎に動きベクトルを求め、それらの平均値または最頻値を背景の動きベクトルとする。これは、オブジェクトとなる動体は不規則に動き、背景は視点が移動した場合に一方向に動くことを利用している。

オブジェクト抽出部２６は、求めた背景の動きベクトルに対応する分ずらして、前のフレーム画像と現フレーム画像との差分画像を生成する。この差分画像は背景が一致または略一致するため、オブジェクト抽出部２６は、背景を精度よく取り去ることができる。オブジェクト抽出部２６は参照メモリを備える。当該背景の取り除かれた画像から指定されたオブジェクトを検出し、参照画像として参照メモリに保存する。参照画像は、最初の指定時のものを固定して使用してもよいし、一回毎に更新してもよい。オブジェクトを複数指定する場合、参照メモリには対応する複数の参照画像が保存される。また、参照メモリを複数備えてもよい。

動き検出部１８は、参照メモリに保存された参照画像と次のフレームの差分画像とを比較して、オブジェクトの絶対的な動きベクトルを検出する。この差分画像は、背景が取り除かれた画像であってもよいし、背景が残ったままの画像であってもよい。当該動きベクトルと背景の動きベクトルとを量子化部１２に出力する。量子化部１２は、量子化後に当該動きベクトルと背景の動きベクトルに応じて、ＲＯＩ領域の移動量を算出し、それにしたがいＲＯＩ領域を移動させる。

以上の説明では、オブジェクト抽出部２６は、前のフレームの画像と現フレームの画像とを比較して背景の動きベクトルを検出したが、前のフレームのウェーブレット係数と現フレームのウェブーレット係数を比較してもよい。その際、ＬＬサブバンドを用いると画像サイズを小さくすることができる。ＨＬサブバンド、ＬＨサブバンド、またはＨＨサブバンドを用いると、それに加えて、輪郭のみ抽出されるため演算量を少なくすることができる。

図８は、画像内においてオブジェクトと背景とを分離する様子を示す図である。図８（ａ）は、前のフレームを表す。人物Ａと人物Ｂの２つのオブジェクトが画像内に存在する。図８（ｂ）は、現フレームを示す。花が右に移動しているため、背景が右に移動した、すなわち視点が左に移動したことが分かる。人物Ａは、左上に少し移動し、人物Ｂが左に大きく移動した。この２枚のフレーム間の人物Ａおよび人物Ｂの動きは、相対的な動きである。図８（ｃ）は、差分画像を示す。この差分画像は、背景の動きを相殺するために前のフレームを右に移動させて合成した。人物Ａおよび人物Ｂの絶対的な動きを検出することができる。また、背景を取り除くこともできる。

以上の説明から本実施の形態によれば、デジタルビデオカメラによる撮影等、動画撮影中に視点が変動する場合でも、背景の動きを相殺して絶対的なオブジェクトの動きを検出することにより、背景の変動によるオブジェクトの誤認識を低減させ、精度よくＲＯＩ領域を追従させることができる。

実施の形態４
図９は、実施の形態４に係る撮像装置４００の構成図である。撮像装置４００の例として、デジタルカメラ、デジタルビデオカメラ、監視カメラ等が挙げられる。

撮像部４１０は、例えばＣＣＤ（Charge Coupled Device）等を備え、被写体からの光を取り込んで電気信号に変換し、符号化ブロック４２０に出力する。符号化ブロック４２０は、撮像部４１０から入力された原画像を符号化し、符号化された画像を出力部４４０に渡す。

符号化ブロック４２０は、実施の形態１〜３のいずれかの画像符号化装置の構成をもち、注目領域と非注目領域とで画質の異なる符号化画像を生成する。操作部４３０は、液晶ディスプレイまたは有機ＥＬディスプレイ等を備え、撮像部４１０が撮影した画像をそこに表示する。ユーザがその画像内において注目領域や注目するオブジェクトを指定することができる。例えば、画像内のカーソルや枠を十字キー等で移動させたり、タッチパネル方式のディスプレイを採用して、スタイラスペン等で指定してもよい。操作部４３０は、その他、シャッターボタンや各種の操作ボタンを搭載してもよい。

出力部４４０は、着脱可能な記録媒体やＬＡＮ等のネットワークである。符号化ブロック４２０により符号化された画像は、当該記録媒体に記録されたり、ネットワークに送出される。

図１０は、実施の形態４に係る撮像装置４００の撮影した画像内における注目領域の追従処理の第１例を示す図である。図１０（ａ）は、画像内においてユーザが注目するオブジェクトを指定している様子を示す。十字のカーソルでユーザが注目する人物Ａを指定している。図１０（ｂ）は、画像内においてＲＯＩ領域を設定している様子を示す。枠に囲まれている領域がＲＯＩ領域である。ＲＯＩ領域は、ユーザ操作により初期設定されてもよいし、指定されたオブジェクトを含む所定の領域に自動で初期設定されてもよい。図１０（ｃ）は、人物Ａが移動し、ＲＯＩ領域から外れた様子を示す。図１０（ｄ）は、人物Ａの動きにＲＯＩ領域も追従している様子を示す。人物Ａの動きベクトルを検出して、それに対応させてＲＯＩ領域も移動させる。

図１１は、実施の形態４に係る撮像装置４００の撮影した画像内における注目領域の追従処理の第２例を示す図である。図１１（ａ）は、第１例の手順と異なり、画像内においてユーザがＲＯＩ領域を設定している様子を示す。人物Ａおよび人物Ｂの内、人物Ａをユーザが注目するオブジェクトに設定している。なお、ＲＯＩ領域は複数設定してもよい。図１１（ｂ）は、ＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示す。ユーザが指定してもよいし、自動で認識してもよい。図１１（ｃ）は、人物Ａが移動し、その動きにＲＯＩ領域が追従している様子を示す。人物Ｂの動きはユーザが注目するオブジェクトに指定していないのでＲＯＩ領域の移動に影響しない。

図１２は、実施の形態４に係る撮像装置４００の撮影した画像内における注目領域の追従処理の第３例を示す図である。図１２（ａ）は、ＲＯＩ領域が追従する範囲を設定している様子を示す。図中の大枠がその範囲を示す。図１２（ｂ）は、ＲＯＩ領域を設定している様子を示す。このＲＯＩ領域は、設定した大枠の中でしか移動しない。図１２（ｃ）は、人物Ａが移動し、大枠の外に出てしまった様子を示す。ＲＯＩ領域は、大枠の範囲で人物Ａの追従を行うため、途中で追従終了となる。なお、ユーザの注目するオブジェクトが大枠を出たら、撮影自体を終了する処理にしてもよい。例えば、監視カメラの場合、一定範囲の領域に侵入した人物を特に記録することが必要であり、その範囲内で人物等のオブジェクトの画質が維持されていればよい。第３例はこのような場合に適用でき、第１例および第２例より符号量をさらに削減することができる。

なお、撮像装置４００は、指定されたオブジェクトにＲＯＩ領域を追従させる処理をしながら、動画像を撮影して出力部４４０に記録等できることはいうまでもない。また、その最中にユーザが操作部４３０から操作して、ＲＯＩ領域の設定解除、再設定を行ってもよい。ＲＯＩ領域が解除されると、画像内のすべての領域が同じビットレートで符号化される。なお、ユーザのその操作により動画像撮影が一時停止、再開してもよい。さらに、指定されたオブジェクトにＲＯＩ領域を追従させる処理中に、ユーザが操作部４３０のシャッターボタンを押下等することにより、静止画を撮影できてもよい。その静止画は、ＲＯＩ領域が高画質で、非ＲＯＩ領域が低画質のものとなる。

以上の説明から本実施の形態によれば、非ＲＯＩ領域の符号量を低減することにより、ユーザが注目するオブジェクトの画質をユーザが意図するレベルに維持しながら、動画像全体の符号量を低減することができる撮像装置を提供することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態では、ＪＰＥＧ２０００方式で連続的に符号化して、動画像の符号化ストリームを生成しているが、ＪＰＥＧ２０００方式に限らず、要は、動画像の符号化ストリームを生成する方式であればよい。

ビットプレーンを削減してＲＯＩ符号化する手法は、非ＲＯＩ変換係数の下位ビットを零置換するだけで、ＲＯＩ変換係数のスケールアップを全く行わなかったが、ＲＯＩ変換係数のスケールアップと非ＲＯＩ変換係数の下位ビットの零置換を組み合わせて実施してもよい。

上記の実施の形態において、ユーザがＲＯＩ設定部２０に複数のＲＯＩ領域を設定する場合、ＲＯＩ領域ごとに異なる画質を設定してもよい。非ＲＯＩ変換係数の下位ビットの零置換数を調整することにより、種々のレベルの画質を実現することができる。

いずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、ＪＰＥＧ標準で用いられる離散コサイン変換の場合でも、同様の方法で非注目領域の変換係数の下位ビットを零置換することで、非注目領域の画質を犠牲にして画像全体の圧縮効率を高め、同時に注目領域の画質を相対的に高めることができる。

実施の形態１に係る画像符号化装置の構成を示す図である。 （ａ）はウェーブレット変換係数を示し、（ｂ）はＲＯＩ変換係数が５ビットだけスケールアップされた状態を示し、（ｃ）はスケールアップされたウェーブレット変換係数の量子化値を上位ビットブレーンから順にスキャンしている様子を示す。 （ａ）は原画像上に注目領域を選択した状態を示し、（ｂ）は原画像を１回だけウェーブレット変換することにより得られる第１階層の変換画像を示し、（ｃ）は（ｂ）の変換画像のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像を示す。 （ａ）はウェーブレット変換係数を示し、（ｂ）は非ＲＯＩ変換係数のＬＳＢ側のＳビットを零に置換する様子を示し、（ｃ）はＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数を上位ビットプレーンから順にスキャンしている様子を示す。 （ａ）は非ＲＯＩ変換係数のみからなる５ビットプレーンのウェーブレット変換係数を示し、（ｂ）はＬＳＢ側の下位２ビットプレーンを零に置換したウェーブレット変換係数を示し、（ｃ）は零置換後のウェーブレット変換係数の上位３ビットプレーンを上から順にエントロピー符号化する様子を示す。 実施の形態２に係る画像符号化装置の構成を示す図である。 実施の形態３に係る画像符号化装置の構成を示す図である。 （ａ）は前のフレームを示し、（ｂ）は現フレームを示し、（ｃ）は差分画像を示す。 実施の形態４に係る撮像装置の構成を示す図である。 （ａ）は画像内においてユーザが注目するオブジェクトを指定している様子を示し、（ｂ）は画像内においてＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトがＲＯＩ領域から外れた様子を示し、（ｄ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）は画像内においてユーザがＲＯＩ領域を設定している様子を示し、（ｂ）はＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示し、（ｃ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）はＲＯＩ領域が追従する範囲を設定している様子を示し、（ｂ）はＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトが移動し大枠の外に出てしまった様子を示す。

符号の説明

１０ ウェーブレット変換部、 １２ 量子化部、 １４ エントロピー符号化部、 １６ 符号化データ生成部、 １８ 動き検出部、 ２０ ＲＯＩ設定部、 ２２ 画質設定部、 ２４ フレームバッファ、 ２６ オブジェクト抽出部、 １００、２００、３００ 画像符号化装置、 ４００ 撮像装置。

Claims (8)

1. 画像内に注目領域を設定し、前記画像内の注目するオブジェクトの動きに前記注目領域を追従せしめ、前記注目領域とそれ以外の領域とで異なる画質で符号化することを特徴とする画像符号化方法。
2. 画像内に注目領域を設定する注目領域設定部と、
   前記画像内の注目するオブジェクトの動きを検出する動き検出部と、
   前記注目領域とそれ以外の領域とで異なる画質で符号化する符号化部と、を有し、
   前記注目領域設定部は、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする画像符号化装置。
3. 割り当てられた符号量に基づき、前記注目領域以外の領域の画質を設定する画質設定部をさらに有することを特徴とする請求項２に記載の画像符号化装置。
4. 視点が変動する動画像内の背景を分離するオブジェクト抽出部をさらに有し、
   前記注目領域設定部は、前記背景の動きに応じて、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする請求項２または３に記載の画像符号化装置。
5. 画像を取得する撮像部を有し、
   前記画像内に注目領域を設定し、前記画像内の注目するオブジェクトの動きに前記注目領域を追従せしめ、前記注目領域とそれ以外の領域とで異なる画質で符号化することを特徴とする撮像装置。
6. 画像を取得する撮像部と、
   前記画像内に注目領域を設定する注目領域設定部と、
   前記画像内の注目するオブジェクトの動きを検出する動き検出部と、
   前記注目領域とそれ以外の領域とで異なる画質で符号化する符号化部と、を有し、
   前記注目領域設定部は、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする撮像装置。
7. 割り当てられた符号量に基づき、前記注目領域以外の領域の画質を設定する画質設定部をさらに有することを特徴とする請求項５または６に記載の撮像装置。
8. 視点が変動する動画像内の背景を分離するオブジェクト抽出部をさらに有し、
   前記注目領域設定部は、前記背景の動きに応じて、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする請求項５から７のいずれかに記載の撮像装置。

Images