JP2006074130A - 画像復号方法、画像復号装置および撮像装置 - Google Patents

Abstract

【課題】 注目するオブジェクトを容易に際立たせる。
【解決手段】 符号化データ抽出部１０は、入力された符号化画像から符号化データを抽出する。エントロピー復号部１２は、符号化データをビットプレーン毎に復号し、量子化されたウェーブレット変換係数を得る。動き検出部１８は、指定されたオブジェクトの位置およびその動きベクトルを検出する。ＲＯＩ設定部２０は、それらに対応させてＲＯＩ領域を移動させる。逆量子化部１４は、非ＲＯＩ領域に対するＲＯＩ領域の相対的な優先度に応じて、非ＲＯＩ領域に対応する上記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整して、逆量子化する。ウェーブレット逆変換部１６は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。
【選択図】 図１

Description

この発明は、画像復号方法、画像復号装置および撮像装置に関し、特に画質を調整して復号可能な画像復号方法、画像復号装置および撮像装置に関する。

ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が行われている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。

特許文献１は、このような圧縮をされた符号化画像を復号する際、画質を改善するために、ノイズ除去やエッジ強調などの画像処理を行う技術を開示する。具体的には、ＬＬサブバンド以外のサブバンドに含まれる変換係数を０として、参照画像を形成する。当該サブバンド内の変換係数に対する参照画像上の領域を求め、この領域内の画素値の平均値などを求める。この平均値などが所定の閾値より小さければ、この変換係数に対して閾値処理を行う。
特開２００２−１３５５９３号公報

上記特許文献１は、ＬＬサブバンド以外のサブバンド内の変換係数に対して上述した処理を行うため、演算量が大きく増加してしまう。また、あるオブジェクトを際立たせる程度にまで、画像内の領域間に画質の差を作ることは難しい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、注目するオブジェクトを容易に際立たせることができる画像復号方法、画像復号装置および撮像装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像復号方法は、画像内に注目領域を設定し、画像内の注目するオブジェクトの動きに注目領域を追従せしめ、注目領域とそれ以外の領域とで異なる画質で動画像を復号する。この態様によると、注目するオブジェクトを容易に際立たせることができる。

本発明の別の態様は、画像復号装置である。この装置は、画像内に注目領域を設定する注目領域設定部と、画像内の注目するオブジェクトの動きを検出する動き検出部と、注目領域とそれ以外の領域とで異なる画質で動画像を復号する復号部と、を有する。注目領域設定部は、オブジェクトの動きに注目領域を追従せしめる。「注目領域」の初期設定は、ユーザ操作により行ってもよい。この態様によると、注目するオブジェクトを容易に際立たせることができる。また、復号の際の演算量を低減することができる。

注目領域および該注目領域以外の領域の少なくとも一方の画質を、本装置の状態を参照して設定する画質設定部をさらに有してもよい。「本装置の状態」には、装置の電池残量、または再生速度を含んでもよい。この態様によれば、装置の状態に適応して画像を復号することができる。

本発明のさらに別の態様は、撮像装置である。この装置は、画像を取得する撮像部を有する。画像内に注目領域を設定し、画像内の注目するオブジェクトの動きに注目領域を追従せしめ、注目領域とそれ以外の領域とで異なる画質で動画像を表示する。この態様によると、撮影した画像内の注目するオブジェクトを容易に際立たせることができる。

本発明のさらに別の態様もまた、撮像装置である。この装置は、画像を取得する撮像部と、画像内に注目領域を設定する注目領域設定部と、画像内の注目するオブジェクトの動きを検出する動き検出部と、注目領域とそれ以外の領域とで異なる画質で動画像を符号化する符号化部と、符号化部により符号化された画像データを復号する復号部と、を有する。注目領域設定部は、オブジェクトの動きに注目領域を追従せしめる。

この態様によると、撮影した画像内の注目するオブジェクトを容易に際立たせることができる。また、符号化画像の符号量を低減することができる。

注目領域および該注目領域以外の領域の少なくとも一方の画質を、本装置の状態を参照して設定する画質設定部をさらに有してもよい。「本装置の状態」には、装置の電池残量、または再生速度を含んでもよい。装置の状態に適応して画像を表示することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、注目するオブジェクトを容易に際立たせることができる。

実施の形態１
図１は、実施の形態１に係る画像復号装置１００の構成図である。画像復号装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

実施の形態１では、画像復号装置１００は、一例としてＪＰＥＧ２０００方式により圧縮符号化された符号化画像を復号する。画像復号装置１００に入力される符号化画像は、画像の注目領域（Region of Interest;ＲＯＩ）を他の領域よりも優先して符号化したＲＯＩ符号化がなされていない通常の符号化画像である。画像復号装置１００は、復号の際に注目領域（以下、ＲＯＩ領域という。）を指定し、ＲＯＩ領域を優先的に復号する。

画像復号装置１００に入力される符号化画像は、動画像の符号化フレームであってもよい。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。

符号化データ抽出部１０は、入力された符号化画像から符号化データを抽出する。エントロピー復号部１２は、符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数を図示しないメモリに格納する。

動き検出部１８は、指定されたオブジェクトの位置を検出し、ＲＯＩ設定部２０に出力する。オブジェクトの指定は、ユーザがしてもよいし、ユーザが指定したＲＯＩ領域の中から動き検出部１８が自動で認識してもよい。また、画像の全体から自動で認識してもよい。このオブジェクトの指定は、複数であってもよい。

動画像の場合、オブジェクトの位置は、動きベクトルで表すことができる。以下、動きベクトル検出方法の具体例を説明する。第１に、動き検出部１８は、ＳＲＡＭやＳＤＲＡＭなどのメモリを備え、オブジェクトの指定時にそのフレーム内にて指定されたオブジェクトの画像を、参照画像として当該メモリに保存する。参照画像として、指定位置を含む所定の大きさのブロックを保存するとよい。動き検出部１８は、当該参照画像と現フレームの画像とを比較することにより、動きベクトルを検出する。動きベクトルの算出には、ウェーブレット変換係数の高周波成分を用いて、オブジェクトの輪郭成分を特定して行うことができる。また、量子化後のウェーブレット変換係数のＭＳＢ（Most Significant Bit）ビットプレーン、もしくはＭＳＢ側から複数のビットプレーンを用いてもよい。

第２に、動き検出部１８は、現フレームと、前の、たとえば直前のフレームとを比較して、オブジェクトの動きベクトルを検出する。第３に、フレーム画像ではなく、ウェーブレット変換後のウェーブレット変換係数を比較して、動きベクトルを検出する。ウェーブレット変換係数は、ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドのいずれを用いてもよい。また、現フレームとの比較対象は、指定時に登録された参照画像でもよいし、前の、たとえば直前のフレームから登録された参照画像であってもよい。

第４に、動き検出部１８は、複数のウェーブレット変換係数を用いて、オブジェクトの動きベクトルを検出する。たとえば、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドごとに動きベクトルを検出し、それら３つの動きベクトルの平均を取ったり、その中から前フレームの動きベクトルに最も近いものを選択したりすることができる。これにより、オブジェクトの動き検出精度を高めることができる。

また、ユーザは、画像内においてこのような動きベクトルを検出する範囲を予め動き検出部１８に指定してもよい。たとえば、コンビニエンスストアなどの店舗の監視カメラで撮影した画像を復号する場合、レジから一定の範囲に入った人物などのオブジェクトを注目し、そこから出たオブジェクトの動きを注目しないといった処理も可能になる。

ＲＯＩ設定部２０は、動き検出部１８からオブジェクトの動きベクトルなどの位置情報を取得し、それに対応させてＲＯＩ領域を移動させる。動き検出部１８の検出方法により、初期設定のＲＯＩ領域の位置からの移動量、または直前のフレームからの移動量を算出し、現フレームのＲＯＩ領域の位置を決定する。

ユーザは、ＲＯＩ領域の位置、大きさ、および画質などを、初期値としてＲＯＩ設定部２０に設定する。ＲＯＩ領域の位置情報は、ＲＯＩ領域が矩形で選択される場合、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられてもよい。なお、ユーザがオブジェクトを指定した場合、もしくは動き検出部１８が自動認識した場合、ＲＯＩ設定部２０がそのオブジェクトを含む所定の範囲をＲＯＩ領域に自動設定してもよい。

ＲＯＩ領域の形は、矩形、丸、その他の複雑な形であってもよい。ＲＯＩ領域自体の形は、固定が原則であるが、画像の中心部分と周辺部分とで領域の形を可変させてもよいし、ユーザ操作により動的に可変してもよい。また、ＲＯＩ領域は複数設定されてもよい。

ＲＯＩ設定部２０は、ＲＯＩ設定情報をもとに、ＲＯＩ領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。逆量子化部１４は、非注目領域（以下、非ＲＯＩ領域という。）に対するＲＯＩ領域の相対的な優先度に応じて、非ＲＯＩ領域に対応する上記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整する。次に、上記ＲＯＩマスクを参照して、エントロピー復号部１２により復号されたウェーブレット変換係数の内、非ＲＯＩ変換係数のＬＳＢ（Least Significant Bit）側から所定ビット数分を零に置換する処理を行う。

ここで、零に置換するビット数は、非ＲＯＩ領域における量子化値の最大ビット数を上限とする任意の自然数である。このビット数を変化させることにより、ＲＯＩ領域に対する非ＲＯＩ領域の再生画質の劣化度合いを連続的に調整することができる。そして、逆量子化部１４は、ＲＯＩ変換係数と下位ビットが零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部１６は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。

図２（ａ）〜（ｃ）は、ＲＯＩ設定部２０により生成されるＲＯＩマスクを説明する図である。図２（ａ）のように、ＲＯＩ設定部２０により原画像８０上にＲＯＩ領域９０が選択されたとする。ＲＯＩ設定部２０は、原画像８０上に選択されたＲＯＩ領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。

図２（ｂ）は、画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩ設定部２０は、原画像８０のＲＯＩ領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数、すなわちＲＯＩ変換係数９１〜９４を第１レベルの各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。

図２（ｃ）は、図２（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、第２レベルの４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩ設定部２０は、第１階層の変換画像８２のサブバンドＬＬ１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。

同様にして、ウェーブレット変換の回数だけＲＯＩ領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、ＲＯＩ領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩ設定部２０は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図２（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。

図３（ａ）〜（ｃ）は、符号化画像の復号後におけるウェーブレット変換係数の下位ビットが零置換される様子を示す。図３（ａ）は、エントロピー復号された画像のウェーブレット変換係数７４であり、５ビットプレーンを含む。図３（ｂ）において、ＲＯＩ設定部２０により指定されたＲＯＩ領域に対応するＲＯＩ変換係数を斜線で示す。逆量子化部１４は、図３（ｃ）のように、非ＲＯＩ変換係数の下位２ビットを零に置換したウェーブレット変換係数７６を生成する。

なお、ＲＯＩ設定部２０はＲＯＩ領域を選択する代わりに、非ＲＯＩ領域を選択してもよい。たとえば、人物の顔や車のナンバープレートなどの個人情報が写っている領域にぼかしを入れたい場合はその領域を非ＲＯＩ領域として選択する。この場合、非ＲＯＩ変換係数を特定するマスクを反転させて、ＲＯＩ変換係数を特定するマスクを生成することができる。あるいは、非ＲＯＩ変換係数を特定するマスクを逆量子化部１４に与えてもよい。

画像復号装置１００に動画像の符号化フレームが連続的に入力される場合、画像復号装置１００に次のような動作をさせることもできる。画像復号装置１００は、通常時は処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行う。これにより、画像復号装置１００の処理性能に制約がある場合でも、下位ビットプレーンを破棄しているため、たとえば３０フレーム／秒で簡易再生が可能である。

簡易再生中に、画像上のＲＯＩ領域が選択された場合、画像復号装置１００は、非ＲＯＩ領域の下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、１５フレーム／秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、ＲＯＩ領域を高画質で再生することができる。

このようにして、ＲＯＩ領域が選択されたときは、非ＲＯＩ領域は簡易再生と同程度の品質のまま、ＲＯＩ領域だけをより高い品質で再生することができる。監視映像のように、平常時には高い品質を求めず、異常時にのみ注目箇所を高い品質で再生したい場合に有用である。また、モバイル端末で動画像を再生する場合には、電池寿命の観点から、節電モードでは動画を低品質で再生し、必要に応じてＲＯＩ領域だけを高画質で再生するといった使い方もできる。

本実施の形態の画像復号装置１００によれば、ＲＯＩ符号化されていない通常の符号化画像に対して、非ＲＯＩ領域に対応するウェーブレット変換係数の下位ビットを零置換することにより、相対的にＲＯＩ領域の画質を非ＲＯＩ領域よりも高くして復号することができ、ユーザの注目するオブジェクトを容易に際立たせることができる。また、ＲＯＩ領域だけを優先的に復号するため、通常の復号処理より処理量を減らすことができる。したがって、処理を高速化することができ、また、消費電力を削減することもできる。

実施の形態２
図４は、実施の形態２に係る画像復号装置２００の構成図である。この画像復号装置２００は、実施の形態１に係る画像復号装置１００に画質設定部２２が付加された構成である。実施の形態１と同じ構成については同符号を付し、実施の形態１とは異なる構成と動作を説明する。

ユーザは、ＲＯＩ領域および非ＲＯＩ領域の画質の初期値を、画質設定部２２からＲＯＩ設定部２０に設定することができる。また、動画再生中にも、ＲＯＩ領域および非ＲＯＩ領域の少なくとも一方の画質を所望のレベルに変更することができる。逆量子化部１４は、この変更に応じて、ＲＯＩ領域および非ＲＯＩ領域の少なくとも一方に対応するウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整する。これによれば、ＲＯＩ領域と非ＲＯＩ領域との間にユーザが意図するレベルの画質差を作ることができる。

また、画質設定部２２は、再生速度に応じて、ＲＯＩ領域および非ＲＯＩ領域の少なくとも一方の画質を低下させることができる。すなわち、２倍速再生などがユーザにより選択された場合、符号化画像の完全な復号処理が間に合わない場合がある。そのような場合、たとえば、非ＲＯＩ領域の画質を低下させて、処理量を軽減させる。これによれば、再生速度に関わらず、コマ落ちせずに動画像を再生することができる。

さらに、画質設定部２２は、画像復号装置２００が携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯型ＤＶＤ（Digital Video Disk）プレーヤ、および取り外し可能なカーナビゲーション装置などの携帯機器に搭載される場合、その機器の電池残量に応じて、ＲＯＩ領域および非ＲＯＩ領域の少なくとも一方の画質を低下させることができる。すなわち、電池残量が少なくなってきた場合、たとえば、非ＲＯＩ領域の画質を低下させて、消費電力を低減させる。これによれば、電池残量が少なくなってからの画像再生可能時間を長くすることができる。

実施の形態３
図５は、実施の形態３に係る撮像装置３００の構成図である。撮像装置３００の例として、デジタルカメラ、デジタルビデオカメラ、監視カメラなどが挙げられる。

撮像部３１０は、たとえばＣＣＤ（Charge Coupled Device）などを備え、被写体からの光を取り込んで電気信号に変換し、符号化ブロック３２０に出力する。符号化ブロック３２０は、撮像部３１０から入力された原画像を符号化し、符号化された画像を記憶部３３０に格納する。符号化ブロック３２０に入力される原画像は、動画像フレームであってもよく、動画像フレームが連続的に符号化され、記憶部３３０に格納されてもよい。

復号ブロック３４０は、符号化画像を記憶部３３０から読み出し、復号して表示部３５０に与える。記憶部３３０から読み出される符号化画像は、動画像の符号化フレームであってもよい。復号ブロック３４０は、実施の形態１または２の画像復号装置１００、２００の構成をもち、記憶部３３０に格納された符号化画像を復号する。操作部３６０から画面上に設定されたＲＯＩ領域の情報を受け取り、ＲＯＩ領域を優先的に復号し、ＲＯＩ領域と非ＲＯＩ領域の画質が異なる復号画像を生成する。

表示部３５０は、液晶ディスプレイまたは有機ＥＬディスプレイなどを備え、復号ブロック３４０により復号された画像をそこに表示する。操作部３６０は、ユーザ操作により、表示部３５０の画像内においてＲＯＩ領域や注目するオブジェクトを指定することができる。たとえば、ユーザは、画像内のカーソルや枠を十字キーなどで移動させたり、タッチパネル方式のディスプレイを採用して、スタイラスペンなどで指定してもよい。操作部３６０は、その他、シャッターボタンや各種の操作ボタンを搭載してもよい。

この態様によれば、ユーザの注目するオブジェクトを容易に際立たせることができる撮像装置を提供することができる。また、ＲＯＩ領域だけを優先的に復号するため、通常の復号処理より処理量を減らすことができる。したがって、処理を高速化することができ、また、消費電力を削減することもできる。特に、デジタルカメラ、デジタルビデオカメラなどは、消費電力を削減することにより、撮影可能時間を延ばすことができる。

次に、実施の形態３の変形例を説明する。この例は、符号化ブロック３２０でＲＯＩ領域を優先的に符号化し、ＲＯＩ領域と非ＲＯＩ領域の画質が異なる符号化画像を生成し、復号ブロック３４０でその符号化画像を復号する例である。

図６は、実施の形態３の変更例に係る符号化ブロック３２０の構成図である。符号化ブロック３２０は、入力された原画像を一例としてＪＰＥＧ２０００方式により圧縮符号化する。

ウェーブレット変換部３０は、撮像部３１０から入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。具体的には、ウェーブレット変換部３０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。

ウェーブレット変換部３０は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行って、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部３０は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部３２は、ウェーブレット変換部３０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。

動き検出部３８およびＲＯＩ設定部４０の構成と動作は、実施の形態１、２の画像復号装置１００、２００のものと基本的に同様である。以下、相違点を述べる。ＲＯＩ設定部４０は、ＲＯＩ設定情報を量子化部３２および符号化データ生成部３６に出力して、ＲＯＩ符号化を行う。ＲＯＩ符号化には、画像のＲＯＩ領域に対応するＲＯＩ変換係数のビットプレーンを非ＲＯＩ変換係数のビットプレーンの最大ビット数だけスケールアップするマックスシフト法がある。この手法によれば、ＲＯＩ変換係数の全ビットプレーンがどの非ＲＯＩ変換係数のビットプレーンよりも先に符号化される。

まず、マックスシフト法によりＲＯＩ符号化を行う例を説明する。図７（ａ）は、量子化後のウェーブレット変換係数５０を示し、ＭＳＢからＬＳＢで５ビットの各ビットプレーンを含む。

ＲＯＩ設定部４０は、ＲＯＩ領域の位置情報をもとに、原画像上のＲＯＩ領域を設定し、ＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。ＲＯＩ変換係数は、図７（ａ）のウェーブレット変換係数５０において斜線で示されている。

量子化部３２は、上記ＲＯＩマスクを用いて、量子化後のＲＯＩ変換係数をＳビットだけスケールアップする。すなわち、ＲＯＩ変換係数の値をＳビットだけ左シフトする。ここで、スケールアップ量Ｓは、非ＲＯＩ変換係数の量子化値の最大値のビット数よりも大きい自然数である。図７（ｂ）は、ＲＯＩ変換係数が５ビットだけスケールアップされた状態のウェーブレット変換係数５２を示す。スケールアップ後のウェーブレット変換係数５２において、スケールアップにより新たに生じた桁には零値が充当される。

エントロピー符号化部３４は、図７（ｃ）の矢印に示すように、スケールアップされたウェーブレット変換係数５２の量子化値を上位ビットブレーンから順にスキャンしながらエントロピー符号化する。

符号化データ生成部３６は、位置やスケールアップ量などのＲＯＩ設定情報をＲＯＩ設定部４０から得て、および量子化幅などのヘッダ生成のための情報をエントロピー符号化部３４から得て、ヘッダを生成する。また、エントロピー符号化されたデータをストリーム化して、符号化画像を記憶部３３０に出力する。その後、記憶部３３０の符号化画像は、記録媒体やネットワークに出力可能となる。ここで、記録媒体に、ＳＤＲＡＭやフラッシュハードディスクドライブなどを用いることができる。

以上説明したようにマックスシフト法によりＲＯＩ符号化すると、符号量を削減するために符号化を途中までしか行わなくても、ＲＯＩ領域のビットプレーンが優先的に符号化されるため、ＲＯＩ領域の画質を非ＲＯＩ領域の画質より高画質にすることができる。

次に、ビットプレーンを削減してＲＯＩ符号化を行う例を説明する。ＲＯＩ設定部４０は、図２で説明した手法により、ＲＯＩマスク生成する。量子化部３２は、量子化後に、画質設定の優先度に応じて、非ＲＯＩ領域に対応する上記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整する。ＲＯＩ設定部４０により生成されたＲＯＩマスクを参照して、ＲＯＩマスクによってマスクされない非ＲＯＩ変換係数のビット列において最下位ビットから数えてＳビットだけを零に置換する。ここで、零置換ビット数Ｓは、非ＲＯＩ領域における量子化値の最大ビット数を上限とする任意の自然数である。この零置換ビット数Ｓを変化させることにより、ＲＯＩ領域に対する非ＲＯＩ領域の再生画質の劣化度合いを連続的に調整することができる。

図８（ａ）〜（ｃ）は、量子化部３２により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図８（ａ）は、量子化後のウェーブレット変換係数６０を示し、５ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。

図８（ｂ）に示すように、量子化部３２は、ＲＯＩマスクによりマスクされていない非ＲＯＩ変換係数のＬＳＢ側のＳビットを零に置換する。この例では、Ｓ＝２であり、符号６４で示すように、非ＲＯＩ変換係数のＬＳＢ側の２ビットが零に置換されたウェーブレット変換係数６２が得られる。なお、下位２ビットプレーンを零置換する代わりに、単に下位２ビットプレーンを破棄してもよい。

エントロピー符号化部３４は、図８（ｃ）の矢印に示すように、ＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数６２を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。

符号化データ生成部３６は、量子化幅などの符号化パラメータをもとにヘッダを生成する。また、エントロピー符号化されたデータをストリーム化して、記憶部３３０に出力する。

一般に、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部３４は、量子化されたウェーブレット変換係数を上位ビットプレーンから順に符号化する際、データサイズの上限を守るべく途中のビットプレーンで符号化を打ち切ることがある。あるいは、符号化データ生成部３６が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、伝送レートの制限を守るべく途中のビットプレーンでストリーム出力を打ち切ることがある。

このように符号化画像のデータサイズに制約がある場合でも、下位のビットプレーンにおいては、非ＲＯＩ領域に対応するウェーブレット変換係数は零置換されており、ＲＯＩ領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。

以上説明したように、ビットプレーンを削減する符号化手法は、ＲＯＩ変換係数のスケールアップ処理をしないため、効率的に符号化の演算を行うことができる。また、符号化すべきビットプレーン数は増えないため、記憶領域を余分に設ける必要がなく、ハードウエアコストを削減することができる。

また、復号時のスケールダウン処理が不要であるため、符号化画像データのヘッダにＲＯＩ位置情報とスケールアップ量を符号化データに付加する必要がない。さらに、この手法でＲＯＩ符号化された画像は、通常の符号化画像とフォーマット上は区別がないため、通常の符号化画像の復号処理と全く同一の処理で復号することができ、復号処理の互換性を保つことができる。

以上説明したように、実施の形態３の変形例によれば、復号ブロック３４０がＲＯＩ領域を優先的に復号し、ＲＯＩ領域と非ＲＯＩ領域の画質が異なる復号画像を生成する場合の効果に加えて、符号化画像の符号量を低減することができる。

図９は、以上に説明してきたＲＯＩ領域の追従処理の第１例を示す図である。図９（ａ）は、画像内においてユーザが注目するオブジェクトを指定している様子を示す。十字のカーソルでユーザが注目する人物Ａを指定している。図９（ｂ）は、画像内においてＲＯＩ領域を設定している様子を示す。枠に囲まれている領域がＲＯＩ領域である。ＲＯＩ領域は、ユーザ操作により初期設定されてもよいし、指定されたオブジェクトを含む所定の領域に自動で初期設定されてもよい。図９（ｃ）は、人物Ａが移動し、ＲＯＩ領域から外れた様子を示す。図９（ｄ）は、人物Ａの動きにＲＯＩ領域も追従している様子を示す。人物Ａの動きベクトルを検出して、それに対応させてＲＯＩ領域も移動させる。

図１０は、ＲＯＩ領域の追従処理の第２例を示す図である。図１０（ａ）は、第１例の手順と異なり、画像内においてユーザがＲＯＩ領域を設定している様子を示す。人物Ａおよび人物Ｂの内、人物Ａをユーザが注目するオブジェクトに設定している。なお、ＲＯＩ領域は複数設定してもよい。図１０（ｂ）は、ＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示す。ユーザが指定してもよいし、自動で認識してもよい。図１０（ｃ）は、人物Ａが移動し、その動きにＲＯＩ領域が追従している様子を示す。人物Ｂの動きはユーザが注目するオブジェクトに指定していないのでＲＯＩ領域の移動に影響しない。

図１１は、ＲＯＩ領域の追従処理の第３例を示す図である。図１１（ａ）は、ＲＯＩ領域が追従する範囲を設定している様子を示す。図中の大枠がその範囲を示す。図１１（ｂ）は、ＲＯＩ領域を設定している様子を示す。このＲＯＩ領域は、設定した大枠の中でしか移動しない。図１１（ｃ）は、人物Ａが移動し、大枠の外に出てしまった様子を示す。ＲＯＩ領域は、大枠の範囲で人物Ａの追従を行うため、途中で追従終了となる。なお、ユーザの注目するオブジェクトが大枠を出たら、撮影などを終了する処理にしてもよい。たとえば、監視カメラの場合、一定範囲の領域に侵入した人物を特に記録することが必要であり、その範囲内で人物などのオブジェクトの画質が維持されていればよい。第３例はこのような場合に適用でき、第１例および第２例より処理量をさらに削減することができる。

なお、実施の形態３に係る撮像装置３００は、指定されたオブジェクトにＲＯＩ領域を追従させる処理をしながら、動画像を撮影して記録媒体に記録などできることはいうまでもない。また、その最中にユーザが操作部３６０から操作して、ＲＯＩ領域の設定解除、再設定を行ってもよい。ＲＯＩ領域が解除されると、画像内のすべての領域が同じビットレートで符号化される。なお、ユーザのその操作により動画像撮影が一時停止、再開してもよい。さらに、指定されたオブジェクトにＲＯＩ領域を追従させる処理中に、ユーザが操作部３６０のシャッターボタンを押下などすることにより、静止画を撮影できてもよい。その静止画は、ＲＯＩ領域が高画質で、非ＲＯＩ領域が低画質のものとなる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態では、ＪＰＥＧ２０００方式で連続的に符号化した動画像の符号化ストリームを復号しているが、ＪＰＥＧ２０００方式に限らず、要は、動画像の符号化ストリームを復号する方式であればよい。

上記の実施の形態において、ユーザがＲＯＩ設定部２０、４０に複数のＲＯＩ領域を設定する場合、ＲＯＩ領域ごとに異なる画質を設定してもよい。非ＲＯＩ変換係数の下位ビットの零置換数を調整することにより、種々のレベルの画質を実現することができる。

上記の実施の形態では、符号化画像の復号後におけるウェーブレット変換係数の下位ビットを零置換することにより、ＲＯＩ領域と非ＲＯＩ領域とを異なる画質にした。この点、パス毎に独立して符号化されている場合には、可変長の復号を途中で打ち切る手法を用いることができる。ＪＰＥＧ２０００方式では、ビットプレーン内の各係数ビットとして、Ｓパス（significance propagation pass）、Ｒパス（magnitude refinement pass）、Ｃパス（cleanup pass）の３種類の処理パスが使用される。Ｓパスでは、有意である係数が周囲に存在する有意でない係数の復号が行われ、Ｒパスでは、有意である係数の復号が行われ、Ｃパスでは、残りの係数の復号が行われる。Ｓパス、Ｒパス、Ｃパスの各処理パスはこの順に画像の画質への寄与度が大きい。各処理パスはこの順に実行され、各係数のコンテクストが近傍係数の情報を考慮して決定される。この手法によれば、零置換する必要もないため、処理量をさらに少なくすることができる。

上記の実施の形態において、画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、ＪＰＥＧ標準で用いられる離散コサイン変換の場合でも、同様の方法で非ＲＯＩ領域の変換係数の下位ビットを零置換することで、非ＲＯＩ領域の画質を犠牲にして画像全体の圧縮効率を高め、同時にＲＯＩ領域の画質を相対的に高めることができる。

実施の形態１に係る画像復号装置の構成を示す図である。 （ａ）は原画像上にＲＯＩ領域を選択した状態を示し、（ｂ）は原画像を１回だけウェーブレット変換することにより得られる第１階層の変換画像を示し、（ｃ）は（ｂ）の変換画像のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像を示す。 （ａ）は復号画像のウェーブレット変換係数を示し、（ｂ）はＲＯＩ変換係数および非ＲＯＩ変換係数を示し、（ｃ）は非ＲＯＩ変換係数の下位２ビットを零に置換している様子を示す。 実施の形態２に係る画像復号装置の構成を示す図である。 実施の形態３に係る撮像装置の構成を示す図である。 実施の形態３に係る符号化ブロックの構成を示す図である。 （ａ）はウェーブレット変換係数を示し、（ｂ）はＲＯＩ変換係数が５ビットだけスケールアップされた状態を示し、（ｃ）はスケールアップされたウェーブレット変換係数の量子化値を上位ビットブレーンから順にスキャンしている様子を示す。 （ａ）はウェーブレット変換係数を示し、（ｂ）は非ＲＯＩ変換係数のＬＳＢ側のＳビットを零に置換する様子を示し、（ｃ）はＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数を上位ビットプレーンから順にスキャンしている様子を示す。 （ａ）は画像内においてユーザが注目するオブジェクトを指定している様子を示し、（ｂ）は画像内においてＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトがＲＯＩ領域から外れた様子を示し、（ｄ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）は画像内においてユーザがＲＯＩ領域を設定している様子を示し、（ｂ）はＲＯＩ領域内においてユーザが注目するオブジェクトを指定している様子を示し、（ｃ）はオブジェクトの動きにＲＯＩ領域が追従している様子を示す。 （ａ）はＲＯＩ領域が追従する範囲を設定している様子を示し、（ｂ）はＲＯＩ領域を設定している様子を示し、（ｃ）はオブジェクトが移動し大枠の外に出てしまった様子を示す。

符号の説明

１０ 符号化データ抽出部、 １２ エントロピー復号部、 １４ 逆量子化部、 １６ ウェーブレット逆変換部、 １８ 動き検出部、 ２０ ＲＯＩ設定部、 ２２ 画質設定部、 ３０ ウェーブレット変換部、 ３２ 量子化部、 ３４ エントロピー符号化部、 ３６ 符号化データ生成部、 ３８ 動き検出部、 ４０ ＲＯＩ設定部、 １００ 画像復号装置、 ２００ 画像復号装置、 ３００ 撮像装置、 ３００ 撮像部、 ３２０ 符号化ブロック、 ３３０ 記憶部、 ３４０ 復号ブロック、 ３５０ 表示部、 ３６０ 操作部。

Claims (6)

1. 画像内に注目領域を設定し、前記画像内の注目するオブジェクトの動きに前記注目領域を追従せしめ、前記注目領域とそれ以外の領域とで異なる画質で動画像を復号することを特徴とする画像復号方法。
2. 画像内に注目領域を設定する注目領域設定部と、
   前記画像内の注目するオブジェクトの動きを検出する動き検出部と、
   前記注目領域とそれ以外の領域とで異なる画質で動画像を復号する復号部と、を有し、
   前記注目領域設定部は、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする画像復号装置。
3. 前記注目領域および該注目領域以外の領域の少なくとも一方の画質を、本装置の状態を参照して設定する画質設定部をさらに有することを特徴とする請求項２に記載の画像復号装置。
4. 画像を取得する撮像部を有し、
   前記画像内に注目領域を設定し、前記画像内の注目するオブジェクトの動きに前記注目領域を追従せしめ、前記注目領域とそれ以外の領域とで異なる画質で動画像を表示することを特徴とする撮像装置。
5. 画像を取得する撮像部と、
   前記画像内に注目領域を設定する注目領域設定部と、
   前記画像内の注目するオブジェクトの動きを検出する動き検出部と、
   前記注目領域とそれ以外の領域とで異なる画質で動画像を符号化する符号化部と、
   前記符号化部により符号化された画像データを復号する復号部と、を有し、
   前記注目領域設定部は、前記オブジェクトの動きに前記注目領域を追従せしめることを特徴とする撮像装置。
6. 前記注目領域および該注目領域以外の領域の少なくとも一方の画質を、本装置の状態を参照して設定する画質設定部をさらに有することを特徴とする請求項４または５に記載の撮像装置。

Images