JP2005223852A - 画像符号化装置および方法、ならびに画像復号装置および方法 - Google Patents
画像符号化装置および方法、ならびに画像復号装置および方法 Download PDFInfo
- Publication number
- JP2005223852A JP2005223852A JP2004032383A JP2004032383A JP2005223852A JP 2005223852 A JP2005223852 A JP 2005223852A JP 2004032383 A JP2004032383 A JP 2004032383A JP 2004032383 A JP2004032383 A JP 2004032383A JP 2005223852 A JP2005223852 A JP 2005223852A
- Authority
- JP
- Japan
- Prior art keywords
- image
- transform coefficient
- roi
- unit
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 画像の注目領域の優先符号化では、スケールアップ処理に伴ってビットプレーン数が増え、記憶容量が余分に必要になり、符号化の演算量も増える。
【解決手段】 ウェーブレット変換部10は、原画像をウェーブレット変換し、量子化部12は、ウェーブレット変換係数を量子化する。ROI選択部18は、原画像上の注目領域を選択し、ROIマスク生成部20は、注目領域に対応するウェーブレット変換係数(ROI変換係数という)を特定するROIマスクを生成する。下位ビット零置換部24は、ROIマスクを参照して、非ROI変換係数の下位ビットを零に置換する。エントロピー符号化部14は、置換後のウェーブレット変換係数を上位ビットプレーンから順にエントロピー符号化する。符号化データ生成部16は、符号化されたデータを符号化パラメータとともにストリーム化して、符号化画像を出力する。
【選択図】 図5
【解決手段】 ウェーブレット変換部10は、原画像をウェーブレット変換し、量子化部12は、ウェーブレット変換係数を量子化する。ROI選択部18は、原画像上の注目領域を選択し、ROIマスク生成部20は、注目領域に対応するウェーブレット変換係数(ROI変換係数という)を特定するROIマスクを生成する。下位ビット零置換部24は、ROIマスクを参照して、非ROI変換係数の下位ビットを零に置換する。エントロピー符号化部14は、置換後のウェーブレット変換係数を上位ビットプレーンから順にエントロピー符号化する。符号化データ生成部16は、符号化されたデータを符号化パラメータとともにストリーム化して、符号化画像を出力する。
【選択図】 図5
Description
この発明は画像符号化技術および画像復号技術、とくに画像の一部の領域を優先的に符号化もしくは復号する装置および方法に関する。
ISO/ITU−Tにおいて、静止画像の圧縮符号化の標準技術であるJPEG(Joint Photographic Expert Group)の後継として、離散ウェーブレット変換(DWT)を用いたJPEG2000の標準化が行われている。JPEG2000では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、JPEG2000には、従来のJPEG標準にはなかった多様な機能が用意されている。
JPEG2000の機能の一つとして、画像の注目領域(Region of Interest;ROI)を他の領域よりも優先して符号化し、伝送するROI符号化が規格化されている。ROI符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。
ROI符号化として、画像の注目領域に対応するウェーブレット変換係数(以下、ROI変換係数という)のビットプレーンを非注目領域に対応するウェーブレット変換係数(以下、非ROI変換係数という)のビットプレーンの最大ビット数だけスケールアップするマックスシフト法があり、この手法によれば、ROI変換係数の全ビットプレーンがどの非ROI変換係数のビットプレーンよりも先に符号化される。また、ROI変換係数のビットプレーンを所定のビット数だけスケールアップすることにより、ROI変換係数の一部の上位ビットを非ROI変換係数よりも優先的に符号化する方法も知られている。特許文献1には、これらのROI符号化手法の改良技術が提案されている。
図1は、従来の画像符号化装置100の構成図である。この画像符号化装置100はマックスシフト法によりROI符号化を行う。ウェーブレット変換部10は、入力された原画像をウェーブレット変換し、ウェーブレット変換係数を出力する。量子化部12は、原画像のウェーブレット変換係数を量子化する。図2(a)は、量子化後のウェーブレット変換係数50を示し、最上位ビット(Most Significant Bit;MSB)から最下位ビット(Least Significant Bit;LSB)まで5ビットの各ビットプレーンを含む。
ROI選択部18は、原画像上の注目領域を選択し、ROIマスク生成部20は、選択された注目領域に対応するウェーブレット変換係数すなわちROI変換係数を特定するためのROIマスクを生成する。ROI変換係数は、図2(a)のウェーブレット変換係数50において斜線で示されている。
ROIスケールアップ部22は、ROIマスクを参照して、量子化されたROI変換係数をSビットだけスケールアップする。すなわち、ROI変換係数の値をSビットだけ左シフトする。ここで、スケールアップ量Sは、非注目領域に対応するウェーブレット変換係数すなわち非ROI変換係数の量子化値の最大値のビット数よりも大きい自然数である。図2(b)は、ROI変換係数が5ビットだけスケールアップされた状態のウェーブレット変換係数52を示す。スケールアップ後のウェーブレット変換係数52において、スケールアップにより新たに生じた桁には零値が充当される。
エントロピー符号化部14は、図2(c)の矢印に示すように、スケールアップされたウェーブレット変換係数52の量子化値を上位ビットブレーンから順にスキャンしながらエントロピー符号化する。符号化データ生成部16は、エントロピー符号化されたデータを、量子化幅等の符号化パラメータ、注目領域の位置を示すROI位置情報、およびスケールアップ量とともにストリーム化して、符号化画像として出力する。
図3は、従来の画像復号装置110の構成図である。この画像復号装置110は、マックスシフト法によりROI符号化された画像の復号を行う。符号化データ抽出部30は、入力された符号化画像から符号化データ、各種符号化パラメータ、ROI位置情報、およびスケールアップ量を抽出する。エントロピー復号部32は、符号化データをビットプレーン毎に復号し、得られたウェーブレット変換係数の量子化値をメモリに格納する。図4(a)は、エントロピー復号後のウェーブレット変換係数54を示す。図2(a)〜(c)の例に対応して、スケールアップ量Sは5ビットであり、エントロピー復号後のウェーブレット変換係数54は、全体で10ビットプレーンを含む。
ROIマスク生成部38は、ROI位置情報をもとに、ROI変換係数を特定するマスクを生成する。ROIスケールダウン部40は、ROIマスクを参照して、量子化されたウェーブレット変換係数の内、ROI変換係数をSビットだけスケールダウンする。図4(b)は、ROI変換係数が5ビットだけスケールダウンされた状態のウェーブレット変換係数56を示す。スケールダウンにより残された非ROI変換係数の上位5ビットは破棄され、全体で5ビットプレーンの量子化されたウェーブレット変換係数56が得られる。
逆量子化部34は、スケールダウンされたROI変換係数を含むウェーブレット変換係数の量子化値を逆量子化し、ウェーブレット逆変換部36は、逆量子化されたウェーブレット変換係数に対してウェーブレット逆変換を行い、得られた復号画像を出力する。
特開2001−45484号公報
上記の従来のROI符号化では、符号化時に注目領域に対応するウェーブレット変換係数をスケールアップした上で、ビットプレーンの符号化を行うため、スケールアップ後のビットプレーンを格納するためにメモリ容量が余分に必要になる。また、スケールアップしたビットプレーン分だけ余分に符号化をしなければならないため、符号化処理に時間がかかる。
ROI符号化された符号化画像を復号する際にも、符号化画像データをビットプレーン毎に復号するために、スケールアップ量に応じて余分のメモリ容量が必要となる。また、符号化画像データからROI位置情報を取得して、注目領域に対応するウェーブレット変換係数を特定し、特定された注目領域のウェーブレット変換係数をスケールダウンする処理が必要となる。
このように従来のROI符号化は、スケールアップ処理を伴うために、メモリ容量が余分に必要となり、演算量も増えるという問題がある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、余分なコストをかけずに、一部の領域を優先して符号化し、符号化された画像データを復号することのできる画像符号化および復号技術を提供することにある。
本発明のある態様は画像符号化装置に関する。この装置は、画像を空間周波数領域に変換して変換係数を生成する変換部と、前記画像上の一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記変換係数のビット列を上位ビットから順に圧縮符号化する符号化部とを含む。前記画像上の一部の領域に対応する前記変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
ここで、零値に置換される下位ビットは、前記変換係数の最下位ビットから数えて所定ビット数分の連続するビット部分列であってもよい。
画像上の一部の領域は、画像上に設けられた非注目領域であってもよい。この非注目領域は、画像上に注目領域が設けられることにより相対的に設定されるものであってもよい。注目領域および非注目領域は、一方の領域を注目と定めると、他方の領域が非注目になるといった相対的な関係にあり、一例として、優先度に相対的な違いのある領域、特に画質に対する要求のレベルに相対的な違いのある領域であってもよい。注目領域は、他の領域に比べて優先度が高い、特に画質の要求が高い領域であり、非注目領域は、他の領域に比べて優先度が低い、特に画質の要求が低い領域であってもよい。
この構成によれば、画像のある領域を他の領域よりも優先して符号化し、復号再生時に当該領域の画質を相対的に高めることができる。また、他の領域の下位ビットの情報を落とすことで、高い圧縮率で画像を符号化することができる。
本発明の別の態様も画像符号化装置に関する。この装置は、画像を空間周波数領域に変換して変換係数を生成する変換部と、前記画像上の複数の領域の各々に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記変換係数のビット列を上位ビットから順に圧縮符号化する符号化部とを含む。前記画像上の複数の領域の各々に対応する前記変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
この構成によれば、複数の領域間で再生時の画質に差をもたせることができる。前記置換部は、前記複数の領域間に重複領域がある場合、前記重複領域においては、優先度の高い方の領域の優先度にもとづいて零値に置換する下位ビット数を決めてもよい。
本発明の別の態様も画像符号化装置に関する。この装置は、画像をウェーブレット変換してウェーブレット変換係数を生成する変換部と、前記画像上の一部の領域に対応する前記ウェーブレット変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記ウェーブレット変換係数のビット列を上位ビットプレーンから順に圧縮符号化する符号化部とを含む。前記画像上の一部の領域に対応する前記ウェーブレット変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
本発明のさらに別の態様は画像復号装置に関する。この装置は、圧縮符号化された画像を復号して空間周波数領域における変換係数を取得する復号部と、前記画像上の一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する逆変換部とを含む。前記画像上の一部の領域に対応する前記変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
この構成によれば、符号化画像を復号する際に、画像のある領域を他の領域よりも優先して復号し、その領域を高画質で再生することができる。言い換えれば、他の領域の下位ビットの情報を落として画質を下げることで、相対的に当該領域の画質を高めて画像を再生することができる。
本発明のさらに別の態様も画像復号装置に関する。この装置は、圧縮符号化された画像を復号して空間周波数領域における変換係数を取得する復号部と、前記画像上の複数の領域の各々に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する逆変換部とを含む。前記画像上の複数の領域の各々に対応する前記変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
この構成によれば、複数の領域間で再生時の画質に差をもたせることができる。
本発明のさらに別の態様も画像復号装置に関する。この装置は、圧縮符号化された画像を復号してウェーブレット変換係数を取得する復号部と、前記画像上の一部の領域に対応する前記ウェーブレット変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、前記置換部による置換後、前記画像全体の前記ウェーブレット変換係数のビット列を逆変換して画像を復元する逆変換部とを含む。前記画像上の一部の領域に対応する前記ウェーブレット変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。
本発明のさらに別の態様は画像符号化方法に関する。この方法は、画像の空間周波数領域における変換係数において前記画像上の一部の領域に対応する前記変換係数を特定し、特定された前記一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列をまとめて上位ビットから順に圧縮符号化する。
本発明のさらに別の態様は画像復号方法に関する。この方法は、圧縮符号化された画像を復号して得られる前記画像の空間周波数領域における変換係数において前記画像上の一部の領域に対応する前記変換係数を特定し、特定された前記一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する。
本発明のさらに別の態様も画像符号化方法に関する。この方法は、画像の空間周波数領域における変換係数において前記画像上の複数の領域に対応する前記変換係数を特定し、特定された前記複数の領域に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列をまとめて上位ビットから順に圧縮符号化する。
本発明のさらに別の態様も画像復号方法に関する。この方法は、圧縮符号化された画像を復号して得られる前記画像の空間周波数領域における変換係数において前記画像上の複数の領域に対応する前記変換係数を特定し、特定された前記複数の領域に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、効率的に画像の一部の領域を優先して符号化および復号することができる。
実施の形態1
図5は、実施の形態1に係る画像符号化装置200の構成図である。画像符号化装置200の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
図5は、実施の形態1に係る画像符号化装置200の構成図である。画像符号化装置200の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
画像符号化装置200は、入力された原画像を一例としてJPEG2000方式により圧縮符号化する。画像符号化装置200に入力される原画像は、動画像のフレームであってもよい。画像符号化装置200は、動画像の各フレームをJPEG2000方式で連続的に符号化して、動画像の符号化ストリームを生成することができる。
ウェーブレット変換部10は、入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。
ウェーブレット変換部10は、原画像のx、yそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、4つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、x、yの両方向において低周波成分を有するLLサブバンドと、x、yのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するHLおよびLHサブバンドと、x、yの両方向において高周波成分を有するHHサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ1/2であり、一回のフィルタリングで解像度、すなわち画像サイズが1/4のサブバンド画像が得られる。
ウェーブレット変換部10は、こうして得られたサブバンドのうち、LLサブバンドに対して再度フィルタリング処理を行って、これをさらにLL、HL、LH、HHの4つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部10は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部12は、ウェーブレット変換部10から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。
ROI選択部18は、原画像上の注目領域を選択し、注目領域の位置を示すROI位置情報をROIマスク生成部20に与える。ROI位置情報は、注目領域が矩形で選択される場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。
注目領域は、ユーザが原画像上の特定の領域を指定することによって選択されてもよく、原画像の中心領域などあらかじめ定まった領域が選択されてもよい。また、人物や文字が写っている領域などの重要領域が注目領域として自動的に抽出されてもよい。画像符号化装置200に動画像のフレームが連続入力される場合、画像フレーム上の特定の領域の動きを追跡することによって注目領域が自動的に選択されてもよい。
ROIマスク生成部20は、ROI位置情報をもとに、注目領域に対応するウェーブレット変換係数すなわちROI変換係数を特定するためのROIマスクを生成する。
図6(a)〜(c)は、ROIマスク生成部20により生成されるROIマスクを説明する図である。図6(a)のように、ROI選択部18により原画像80上に注目領域90が選択されたとする。ROIマスク生成部20は、原画像80上に選択された注目領域90を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。
図6(b)は、原画像80を1回だけウェーブレット変換することにより得られる第1階層の変換画像82を示す。第1階層の変換画像82は、第1レベルの4つのサブバンドLL1、HL1、LH1、HH1から構成される。ROIマスク生成部20は、原画像80の注目領域90を復元するために必要な第1階層の変換画像82上のウェーブレット変換係数、すなわちROI変換係数91〜94を第1レベルの各サブバンドLL1、HL1、LH1、HH1において特定する。
図6(c)は、図6(b)の変換画像82の最低周波数成分のサブバンドLL1をさらにウェーブレット変換することにより得られる第2階層の変換画像84を示す。第2階層の変換画像84は、同図のように、第1レベルの3つのサブバンドHL1、LH1、HH1の他、第2レベルの4つのサブバンドLL2、HL2、LH2、HH2を含む。ROIマスク生成部20は、第1階層の変換画像82のサブバンドLL1におけるROI変換係数91を復元するために必要な第2階層の変換画像84上のウェーブレット変換係数、すなわちROI変換係数95〜98を第2レベルの各サブバンドLL2、HL2、LH2、HH2において特定する。
同様にして、ウェーブレット変換の回数だけ注目領域90に対応するROI変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域90を復元するために必要なROI変換係数をすべて特定することができる。ROIマスク生成部20は、この最終的に特定されたROI変換係数の位置を最終階層の変換画像上で特定するためのROIマスクを生成する。たとえば、ウェーブレット変換を2回だけ行う場合には、図6(c)において斜線で示した7個のROI変換係数92〜98の位置を特定することのできるROIマスクが生成される。
図5の下位ビット零置換部24は、非注目領域に対する注目領域の相対的な優先度に応じて、非注目領域に対応する前記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整するものであり、ROIマスク生成部20により生成されたROIマスクを参照して、ROIマスクによってマスクされない非ROI変換係数のビット列において最下位ビットから数えてSビットだけを零に置換する。ここで、零置換ビット数Sは非注目領域に対する注目領域の相対的な優先度合いに相当し、非注目領域における量子化値の最大ビット数を上限とする任意の自然数である。この零置換ビット数Sを変化させることにより、注目領域に対する非注目領域の再生画質の劣化度合いを連続的に調整することができる。
図7(a)〜(c)は、下位ビット零置換部24により原画像のウェーブレット変換係数60の下位ビットが零置換される様子を説明する図である。図7(a)は、量子化部12による量子化後のウェーブレット変換係数60を示し、5ビットプレーンを含み、ROI変換係数は斜線で示されている。
図7(b)に示すように、下位ビット零置換部24は、ROIマスクによりマスクされていない非ROI変換係数のLSB側のSビットを零に置換する。この例では、S=2であり、符号64で示すように、非ROI変換係数のLSB側の2ビットが零に置換されたウェーブレット変換係数62が得られる。
図5のエントロピー符号化部14は、図7(c)の矢印に示すように、ROI変換係数と零置換された非ROI変換係数を含むウェーブレット変換係数62を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。
図8(a)〜(c)は、原画像上に注目領域が存在しない場合にウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。図8(a)は、原画像に注目領域が設定されないことから非ROI変換係数のみからなる5ビットプレーンのウェーブレット変換係数70を示す。下位ビット零置換部24は、零置換ビット数Sが2の場合、図8(b)に示すように、5ビットプレーンの内、LSB側の下位2ビットプレーンを零に置換したウェーブレット変換係数72を生成する。
エントロピー符号化部14は、図8(c)に示すように、零置換後のウェーブレット変換係数72の上位3ビットプレーンを上から順にエントロピー符号化する。この場合、零置換された下位の2ビットプレーンは符号化しない。なお、下位2ビットプレーンを零置換する代わりに、単に下位2ビットプレーンを破棄してもよい。
符号化データ生成部16は、エントロピー符号化されたデータを量子化幅等の符号化パラメータとともにストリーム化して、符号化画像として出力する。
一般に、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部14は、量子化されたウェーブレット変換係数を上位ビットプレーンから順に符号化する際、データサイズの上限を守るべく途中のビットプレーンで符号化を打ち切ることがある。あるいは、符号化データ生成部16が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、伝送レートの制限を守るべく途中のビットプレーンでストリーム出力を打ち切ることがある。
このように符号化画像のデータサイズに制約がある場合でも、本実施の形態では、下位のビットプレーンにおいては、非注目領域に対応するウェーブレット変換係数は零置換されており、注目領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。
図9は、実施の形態1に係る画像復号装置210の構成図である。実施の形態1に係る画像符号化装置200によりROIが優先的に符号化された画像は、ROI変換係数のスケールアップは行っていない通常の符号化画像であるため、画像復号装置210は単に符号化画像を通常のJPEG2000の復号方式により復号することができる。
符号化データ抽出部30は、入力された符号化画像から符号化データを抽出する。一例として、図7(c)に示した、5ビットプレーンを上から順に符号化したデータが取得される。ここで、符号化データ抽出部30は特に注目領域の位置を与えるROI位置情報を抽出する必要がないことに留意する。エントロピー復号部32は、符号化データをビットプレーン毎に復号する。図7(c)の例では、5ビットプレーンが復号され、量子化データがメモリに格納される。
逆量子化部34は、復号された量子化データを逆量子化し、ウェーブレット逆変換部36は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。
以上説明したように、本実施の形態の画像符号化装置200は、非ROI変換係数を零置換することにより、ROI変換係数の優先度を相対的に高めて、注目領域を優先的に符号化する。ROI変換係数のスケールアップ処理をしないため、効率的に符号化の演算を行うことができる。また、符号化すべきビットプレーン数は増えないため、記憶領域を余分に設ける必要がなく、ハードウエアコストを削減することができる。
また、復号時のスケールダウン処理が不要であるため、符号化データにROI位置情報とスケールアップ量を符号化データに付加する必要がない。さらに、本実施の形態の画像符号化装置200によりROI符号化された画像は、通常の符号化画像とフォーマット上は区別がないため、通常の符号化画像の復号処理と全く同一の処理で復号することができ、復号処理の互換性を保つことができる。
実施の形態2
図10は、実施の形態2に係る画像復号装置220の構成図である。本実施の形態では、画像復号装置220に入力される符号化画像は、ROI符号化がなされていない通常の符号化画像である。本実施の形態の画像復号装置220は、復号の際に注目領域を指定し、注目領域を優先的に復号する。
図10は、実施の形態2に係る画像復号装置220の構成図である。本実施の形態では、画像復号装置220に入力される符号化画像は、ROI符号化がなされていない通常の符号化画像である。本実施の形態の画像復号装置220は、復号の際に注目領域を指定し、注目領域を優先的に復号する。
画像復号装置220に入力される符号化画像は、動画像の符号化フレームであってもよい。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。
符号化データ抽出部30は、入力された符号化画像から符号化データを抽出し、エントロピー復号部32は、符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数をメモリに格納する。
ROI選択部18は、画像上の注目領域を選択し、注目領域の位置を示すROI位置情報をROIマスク生成部20に与える。注目領域は、画像の中心領域など画像の位置を指定することにより選択されてもよく、人物や文字が写っている領域などの重要領域を自動的に抽出もしくは利用者が指定することにより選択されてもよい。画像復号装置220に動画像の符号化フレームが連続入力される場合は、画像復号装置220から出力される復号後の画像フレームにおいて注目領域を指定もしくは抽出し、指定もしくは抽出された注目領域を次の符号化フレームの注目領域として選択してもよい。
ROIマスク生成部20は、ROI位置情報をもとに、注目領域に対応するウェーブレット変換係数すなわちROI変換係数を特定するためのROIマスクを生成する。下位ビット零置換部24は、非注目領域に対する注目領域の相対的な優先度に応じて、非注目領域に対応する前記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整するものであり、ROIマスクを参照して、エントロピー復号部32により復号されたウェーブレット変換係数の内、非ROI変換係数のLSB側から所定ビット数分を零に置換する処理を行う。
図11(a)〜(c)は、下位ビット零置換部24により符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を示す。図11(a)は、エントロピー復号された画像のウェーブレット変換係数74であり、5ビットプレーンを含む。図11(b)において、ROI選択部18により指定された注目領域に対応するROI変換係数を斜線で示す。下位ビット零置換部24は、図11(c)のように、非ROI変換係数の下位2ビットを零に置換したウェーブレット変換係数76を生成する。
逆量子化部34は、ROI変換係数と下位ビットが零置換された非ROI変換係数を含むウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部36は逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。
なお、ROI選択部18は注目領域を選択する代わりに、非注目領域を選択してもよい。たとえば、人物の顔や車のナンバープレートなどの個人情報が写っている領域にぼかしを入れたい場合はその領域を非注目領域として選択する。この場合、ROIマスク生成部20は、非ROI変換係数を特定するマスクを反転させて、ROI変換係数を特定するマスクを生成することができる。あるいは、ROIマスク生成部20は、非ROI変換係数を特定するマスクを下位ビット零置換部24に与えてもよい。
画像復号装置220に動画像の符号化フレームが連続的に入力される場合、画像復号装置220に次のような動作をさせることもできる。画像復号装置220は、通常時は処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行う。これにより、画像復号装置220の処理性能に制約がある場合でも、下位ビットプレーンを破棄しているため、たとえば30フレーム/秒で簡易再生が可能である。
簡易再生中に、画像上の注目領域が選択された場合、画像復号装置220は、下位ビット零置換部24により非注目領域の下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、15フレーム/秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、注目領域を高画質で再生することができる。
このようにして、注目領域が選択されたときは、非注目領域は簡易再生と同程度の品質のまま、注目領域だけをより高い品質で再生することができる。監視映像のように、平常時には高い品質を求めず、異常時にのみ注目箇所を高い品質で再生したい場合に有用である。また、モバイル端末で動画像を再生する場合には、電池寿命の観点から、節電モードでは動画を低品質で再生し、必要に応じて注目領域だけを高画質で再生するといった使い方もできる。
本実施の形態の画像復号装置220によれば、ROI符号化されていない通常の符号化画像に対して、非注目領域に対応するウェーブレット変換係数の下位ビットを零置換することにより、相対的に注目領域の画質を非注目領域よりも高くして復号することができる。画像全体を高品質で再生するには演算量が多くなるが、本実施の形態では注目領域だけを優先的に復号するため、演算量の増加を抑えることができる。
実施の形態3
図12は、実施の形態3に係る画像符号化装置200の構成図である。実施の形態1の画像符号化装置200では、注目領域が一つだけ選択されたが、本実施の形態の画像符号化装置200は、画像上に優先度の異なる複数の領域を選択し、各領域の優先度に応じて画像を圧縮符号化し、画質の異なる複数の領域を含む符号化画像を生成する。実施の形態1と同じ構成については同符号を付し、実施の形態1とは異なる構成と動作を説明する。
図12は、実施の形態3に係る画像符号化装置200の構成図である。実施の形態1の画像符号化装置200では、注目領域が一つだけ選択されたが、本実施の形態の画像符号化装置200は、画像上に優先度の異なる複数の領域を選択し、各領域の優先度に応じて画像を圧縮符号化し、画質の異なる複数の領域を含む符号化画像を生成する。実施の形態1と同じ構成については同符号を付し、実施の形態1とは異なる構成と動作を説明する。
ROI選択部18は、原画像上の複数の注目領域を選択し、各注目領域の位置を示すROI位置情報をROIマスク生成部20に与える。複数の注目領域には重なりがあってもよく、注目領域の内部に非注目領域が含まれてもよい。ROIマスク生成部20は、ROI位置情報をもとに、各注目領域に対応するウェーブレット変換係数すなわちROI変換係数を特定するためのROIマスクを生成する。
ROIマスク生成部20は、ROI選択部18により選択された複数の注目領域の各々について実施の形態1で述べたROI変換係数を特定する処理を行い、各注目領域に対してROIマスクを生成する。
ROI優先度設定部19は、複数の注目領域間で優先度を設定する。たとえば、複数の注目領域として、画像の中心部および中心部の周辺が選択され、それ以外の外周部が非注目領域とされた場合、画像の中心部は、高画質で再生されるように優先度を高く設定し、中心部の周辺は、標準画質で再生されるように優先度を低く設定する。別の例として、複数の注目領域として、文字が写っている領域と人物の顔が写っている領域が選択された場合、文字の領域は最高画質となるように優先度を最も高く設定し、顔の領域は高画質になるように優先度をその次に設定し、それ以外の領域は標準画質となるように非注目領域とする。プライバシーを保護する目的で、人物の顔が写っている領域が低画質となるように、低い優先度を設定したり、非注目領域に設定してもよい。
図13は、原画像80に複数の注目領域が設けられた場合の優先度の設定例を説明する図である。同図のように、原画像80に2つの注目領域81、83が設定された場合、ROI優先度設定部19は、たとえば、第1の注目領域81(以下、ROI1とする)、第2の注目領域83(以下、ROI2とする)、それ以外の非注目領域(以下、非ROIと呼ぶ)の順に優先度が低くなるように優先順位を設定する。
ROI優先度設定部19は、設定された優先度に基づいて、非注目領域に対応するウェーブレット変換係数すなわち非ROI変換係数のビット列において零置換する下位ビット数S0と、複数の注目領域の各々に対応するウェーブレット変換係数すなわちROI変換係数のビット列において零置換する下位ビット数Si(i=1,・・・,N;Nは注目領域の数)を決める。
図13の例では、ROI優先度設定部19は、たとえば原画像のウェーブレット変換係数が7ビットプレーンからなるとき、第1優先の注目領域ROI1については零置換ビット数S1を0に、第2優先の注目領域ROI2については零置換ビット数S2を2に、非注目領域については零置換ビット数S0を4に設定する。すなわち、優先度が低いほど、零置換ビット数を大きくとる。
図12の下位ビット零置換部24は、ROIマスク生成部20により生成された各注目領域に対するROIマスクを参照して、ROIマスクによってマスクされない非ROI変換係数のビット列において最下位ビットから数えてS0ビットだけを零に置換するとともに、ROIマスクによってマスクされたROI変換係数のビット列においても最下位ビットから数えてSiビットだけを零に置換する。
ここで、非ROI変換係数における零置換ビット数S0、ROI変換係数における零置換ビット数Siは、それぞれROI優先度設定部19により非注目領域および複数の注目領域間の相対的な優先度合いに基づいて決定されたものであり、ウェーブレット変換係数のビットプレーン数を上限とする任意の自然数であり、S0>Siを満たす。ROI優先度設定部19は、この零置換ビット数S0、Siを変化させることにより、注目領域に対する非注目領域の再生画質の劣化度合い、および複数の注目領域間の再生画質の優劣を連続的に調整することができる。複数の注目領域は、対象物が視認できる程度の画質を保ちつつ再生される。
図14(a)〜(c)は、下位ビット零置換部24により原画像のウェーブレット変換係数60の下位ビットが零置換される様子を説明する図である。図14(a)は、量子化部12による量子化後のウェーブレット変換係数60を示し、7ビットプレーンを含み、ROI変換係数は斜線で示されている。この図は、図13の2つの注目領域ROI1、ROI2を含む原画像80の例において、P1−P2の線上の画素に対応するウェーブレット変換係数のビット列を図示したものである。
図14(b)に示すように、下位ビット零置換部24は、ROIマスクによりマスクされていない非ROI変換係数のLSB側のS0ビットを零に置換する。この例では、S0=4であり、符号64で示すように、非ROI変換係数のLSB側の4ビットが零に置換されている。さらに、下位ビット零置換部24は、ROIマスクによりマスクされたROI変換係数のLSB側のSiビットを零に置換する。この例では、2つの注目領域ROI1、ROI2が設定されており、それぞれの零置換ビット数S1、S2は、S1=0、S2=2であり、符号66で示すように、ROI2に対応するROI変換係数のLSB側の2ビットが零に置換されている。このようにして、下位ビット零置換部24によって零置換されたウェーブレット変換係数62が得られる。
図12のエントロピー符号化部14は、図14(c)の矢印に示すように、ROI変換係数と零置換された非ROI変換係数を含むウェーブレット変換係数62を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。
なお、原画像上に注目領域が存在しない場合において、ウェーブレット変換係数の下位ビットを全体的に零置換し符号化する処理は、実施の形態1と同じである。
符号化データ生成部16は、エントロピー符号化されたデータを量子化幅等の符号化パラメータとともにストリーム化して、符号化画像として出力する。この符号化画像は、再生時の画質の異なる複数の領域を含むものであり、出力部を通して記憶装置やネットワークなどに供給され、復号手段を含む画像表示装置により復号されて画面上で再生される。
実施の形態1で説明したように、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部14が、上位ビットプレーンから順に符号化する際、途中のビットプレーンで符号化を打ち切ったり、符号化データ生成部16が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、途中のビットプレーンでストリーム出力を打ち切ることがある。
このように符号化画像のデータサイズに制約がある場合でも、本実施の形態では、下位のビットプレーンにおいては、非注目領域および優先度の低い注目領域に対応するウェーブレット変換係数は零置換されており、優先度の高い注目領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。
図15は、原画像80上に設けられた複数の注目領域に重複がある場合の優先度の設定例を説明する図である。同図のように、原画像80に2つの注目領域81、83が設定された場合、図13の例と同様に、ROI優先度設定部19は、第1の注目領域81(ROI1)の零置換ビット数S1、第2の注目領域83(ROI2)の零置換ビット数S2、それ以外の非注目領域(非ROI)の零置換ビット数S0を設定する。
下位ビット零置換部24は、非ROI変換係数においてLSB側からS0ビットを零に置換するとともに、2つの注目領域ROI1、ROI2に対応するそれぞれのROI変換係数においてLSB側からSiビットを零に置換するが、2つの注目領域ROI1、ROI2の重複する領域については、優先度の高い方の注目領域の零置換ビット数Siを優先適用する。
図16は、原画像80上に設けられた複数の注目領域に重なりがあり、注目領域内に非注目領域が含まれる場合の優先度の設定例を説明する図である。同図のように、原画像80に第1の注目領域81(ROI1)、第2の注目領域83(ROI2)、第3の注目領域85(ROI3)が設定され、この順に優先度が下がるとする。ROI1はROI2内にあり、ROI2はROI3内にあるという入れ子構造になっており、ROI3の一部には非注目領域(非ROI)が含まれている。またROI3の外部も非ROIである。
この場合、下位ビット零置換部24は、図15の場合と同様に、重複する領域については、優先度の高い方の零置換ビット数を適用するため、ROI1については、ROI1の零置換ビット数S1ビットを優先適用し、ROI2(ただしROI1を除く)については、ROI2の零置換ビット数S2を優先適用し、ROI3(ただしROI2を除く)については、ROI3の零置換ビット数S3を優先適用する。ただし、ROI3の内部の非ROIについては、非ROIの零置換ビット数S0を例外的に適用する。これは、注目領域内に非注目領域が設定される場合、非注目領域に個人情報が含まれるなどの理由で、注目領域内であってもその領域だけをぼかしたいといった目的があるためである。
図17(a)、(b)は、図16の例において、下位ビット零置換部24により原画像のウェーブレット変換係数60の下位ビットが零置換される様子を説明する図である。図17(a)は、量子化部12による量子化後のウェーブレット変換係数60を示し、7ビットプレーンを含み、ROI変換係数は斜線で示されている。この図は、図16の3つの注目領域ROI1〜3を含む原画像80の例において、P1−P2の線上の画素に対応するウェーブレット変換係数のビット列を図示したものである。
図17(b)は、下位ビット零置換部24によって零置換されたウェーブレット変換係数62である。ROI3の外部と内部にある非ROIに対応する非ROI変換係数のLSB側のS0ビットが零に置換される。この例では、S0=6である。さらに、ROI1〜3に対応するROI変換係数のLSB側のSiビットが零に置換される。この例では、S1=0、S2=2、S3=4である。
復号時は、実施の形態1の画像復号装置210と同じ構成の画像復号装置が、本実施の形態の画像符号化装置200により符号化された画像を通常のJPEG2000の復号方式にしたがって復号する。復号された画像は、画質の異なる複数の領域を含むものであり、出力部を通して画像表示装置などに供給され、画面上で再生される。
以上説明したように、本実施の形態の画像符号化装置200は、非ROI変換係数を零置換するとともに、複数の注目領域に対応するROI変換係数も優先度に応じたビット数だけ零置換することにより、複数の注目領域に優先度をもたせて符号化する。また、複数の注目領域間で優先度の違いを設けて符号化するため、複数の注目領域間で再生画質の差をもたせることができる。
実施の形態4
図18は、実施の形態4に係る画像復号装置220の構成図である。本実施の形態では、画像復号装置220に入力される符号化画像は、ROI符号化がなされていない通常の符号化画像である。実施の形態2の画像復号装置220では、復号の際に注目領域が一つだけ指定されたが、本実施の形態の画像復号装置220は、復号の際に複数の注目領域を指定し、複数の注目領域を優先度に応じて復号する。実施の形態2と同じ構成については同符号を付し、実施の形態2とは異なる構成と動作を説明する。
図18は、実施の形態4に係る画像復号装置220の構成図である。本実施の形態では、画像復号装置220に入力される符号化画像は、ROI符号化がなされていない通常の符号化画像である。実施の形態2の画像復号装置220では、復号の際に注目領域が一つだけ指定されたが、本実施の形態の画像復号装置220は、復号の際に複数の注目領域を指定し、複数の注目領域を優先度に応じて復号する。実施の形態2と同じ構成については同符号を付し、実施の形態2とは異なる構成と動作を説明する。
ROI選択部18は、画像上の複数の注目領域を選択し、各注目領域の位置を示すROI位置情報をROIマスク生成部20に与える。
画像復号装置220に動画像の符号化フレームが連続入力される場合は、画像復号装置220から出力される復号後の画像フレームにおいて注目領域を指定もしくは抽出し、指定もしくは抽出された注目領域を次の符号化フレームの注目領域として選択してもよい。その場合、時間とともに変化のあった複数の領域を変化の程度に応じて選択してもよい。たとえば、最も変化の大きい領域、次に変化の大きい領域、それ以外の領域をそれぞれ、第1優先の注目領域、第2優先の注目領域、非注目領域として選択する。
ROIマスク生成部20は、ROI位置情報をもとに、各注目領域に対応するウェーブレット変換係数すなわちROI変換係数を特定するためのROIマスクを生成する。ROI優先度設定部19は、各注目領域の優先度を設定し、その優先度に基づいて非注目領域の零置換ビット数S0と各注目領域の零置換ビット数Siを決定する。下位ビット零置換部24は、ROIマスクを参照して、エントロピー復号部32により復号されたウェーブレット変換係数の内、非ROI変換係数のLSB側からS0ビット分を零に置換するとともに、ROI変換係数のLSB側からSiビット分を零に置換する処理を行う。
図19(a)〜(c)は、下位ビット零置換部24により符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を示す。図19(a)は、エントロピー符号化された画像のウェーブレット変換係数74であり、7ビットプレーンを含む。図19(b)において、ROI選択部18により指定された複数の注目領域に対応するROI変換係数を斜線で示す。この例では、2つの注目領域ROI1、ROI2が設けられており、ROI1の方が優先度が高いとする。図19(c)は、下位ビット零置換部24による零置換後のウェーブレット変換係数76である。この例では、非ROI変換係数の下位4ビットが零に置換され、ROI1のROI変換係数はそのままにして、ROI2のROI変換係数の下位2ビットが零に置換されている。
簡易再生中に、画像上の複数の注目領域が選択された場合、画像復号装置220は、下位ビット零置換部24により非注目領域の下位ビットと複数の注目領域の少なくとも1つの下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、15フレーム/秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、複数の注目領域を優先度に応じて高画質で再生することができる。
このようにして、複数の注目領域が選択されたときは、非注目領域は簡易再生と同程度の品質のまま、複数の注目領域を優先度に応じた高い品質で再生することができる。
本実施の形態の画像復号装置220によれば、ROI符号化されていない通常の符号化画像に対して、非注目領域に対応するウェーブレット変換係数の下位ビットを零置換するとともに、複数の注目領域に対応するウェーブレット変換係数の下位ビットを優先度に応じて零置換することにより、複数の注目領域の画質を優先度に応じて非注目領域よりも相対的に高くして復号することができる。画像全体を高品質で再生するには演算量が多くなるが、本実施の形態では複数の注目領域を優先度に応じて復号するため、演算量の増加を抑えることができる。
実施の形態5
図20は、実施の形態5に係る画像符号化装置300の構成図である。本実施の形態では、複数の注目領域に対応するROI変換係数を優先度に応じてスケールアップする。実施の形態3とは異なる構成と動作について説明する。
図20は、実施の形態5に係る画像符号化装置300の構成図である。本実施の形態では、複数の注目領域に対応するROI変換係数を優先度に応じてスケールアップする。実施の形態3とは異なる構成と動作について説明する。
ROI優先度設定部19は、ROI選択部18により選択された複数の注目領域の優先度を設定し、その優先度に基づいて複数の注目領域の各々に対応するROI変換係数のスケールアップ量Siを決定する。優先度が高い注目領域ほど、ROI変換係数のスケールアップ量Siが大きくなるように設定される。
ROIスケールアップ部22は、ROI優先度設定部19により決定されたスケールアップ量Siにもとづいて各注目領域に対応するROI変換係数をスケールアップする。
図21(a)、(b)は、ROIスケールアップ部22により原画像のウェーブレット変換係数320がスケールアップされる様子を説明する図である。図21(a)は、量子化部12による量子化後のウェーブレット変換係数320を示し、7ビットプレーンを含み、ROI変換係数は斜線で示されている。この例では、3つの注目領域ROI1、ROI2、ROI3が設けられており、この順に優先度が低くなるとする。ROI優先度設定部19は、この優先度に基づき、ROI1、ROI2、ROI3のスケールアップ量S1、S2、S3をそれぞれS1=7、S2=5、S3=3と決定する。
図21(b)は、ROIスケールアップ部22によってスケールアップされたウェーブレット変換係数322を示す。ROIスケールアップ部22は、ROI1のROI変換係数を7ビットだけスケールアップし、ROI2のROI変換係数を5ビットだけスケールアップし、ROI3のROI変換係数を3ビットだけスケールアップする。スケールアップ後のウェーブレット変換係数322において、スケールアップにより新たに生じた桁には零値が充当される。これにより、全体として14ビットプレーンのウェーブレット変換係数322が得られる。
図22は、実施の形態5に係る画像復号装置310の構成図である。本実施の形態の画像復号装置310は、画像符号化装置300によりROI符号化された画像の復号を行う。
符号化データ抽出部30は、入力された符号化画像から符号化データ、各種符号化パラメータ、ROI位置情報、およびスケールアップ量を抽出する。エントロピー復号部32は、符号化データをビットプレーン毎に復号し、得られたウェーブレット変換係数の量子化値をメモリに格納する。
図23(a)は、エントロピー復号後のウェーブレット変換係数324を示す。図21(b)の例に対応して、エントロピー復号後のウェーブレット変換係数324は、全体で14ビットプレーンを含む。ROIスケールダウン部40は、各注目領域のROIマスクを参照し、符号化データ抽出部30により抽出された各注目領域のスケールアップ量Siに基づいて、各注目領域のROI変換係数をSiビットだけスケールダウンする。この例では、注目領域ROI1、ROI2、ROI3のスケールアップ量はそれぞれS1=7、S2=5、S3=3であり、図23(b)のように、ROI1、ROI2、ROI3のROI変換係数がそれぞれ7ビット、5ビット、3ビットだけスケールダウンされ、スケールダウンにより残された桁は破棄され、全体で7ビットプレーンの量子化されたウェーブレット変換係数326が得られる。
実施の形態6
図24は、実施の形態6に係る画像表示装置400の構成図である。画像表示装置400は、ディスプレイなどに動画を表示するものであり、一例として、DVD(digital video disk)プレイヤー、テレビジョン受信機、監視カメラなどの表示制御部である。
図24は、実施の形態6に係る画像表示装置400の構成図である。画像表示装置400は、ディスプレイなどに動画を表示するものであり、一例として、DVD(digital video disk)プレイヤー、テレビジョン受信機、監視カメラなどの表示制御部である。
符号化ブロック420は、入力された原画像を符号化し、符号化された画像を記憶部440に格納する。符号化ブロック420に入力される原画像は、動画フレームであり、動画フレームが連続的に符号化され、記憶部440に格納される。
符号化ブロック420は、実施の形態1、3、5のいずれかの画像符号化装置200の構成をもち、領域選択部450から画面上に設定された注目領域の情報を受け取り、注目領域の優先度に応じて原画像を圧縮符号化し、注目領域の画質が異なる符号化画像を生成する。
復号ブロック430は、記憶部440から符号化画像を記憶部440から読み出し、復号して表示部410に与える。記憶部440から読み出される符号化画像は、動画の符号化フレームであり、符号化フレームが連続的に復号され、表示部410に与えられる。なお、復号ブロック430は、無線または有線のネットワークの通信インタフェースを経由して符号化画像を取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像を取得してもよい。
復号ブロック430は、実施の形態1から5のいずれかの画像復号装置220の構成をもち、記憶部440に格納された符号化画像を復号する。ここで、符号化の段階で既に注目領域が選択され、注目領域の画質が調整されている場合は、そのまま復号されるが、符号化の段階では注目領域が選択されていない場合は、復号ブロック430は、領域選択部450から画面上に設定された注目領域の情報を受け取り、注目領域を優先的に復号し、注目領域の画質が異なる復号画像を生成する。
表示部410は、復号ブロック430から復号画像を受け取り、ディスプレイに出力する。ディスプレイの画面には、復号ブロック430により復号された画像フレームが連続的に表示され、動画が再生される。
領域選択部450は、ディスプレイの画面において注目領域を選択する。注目領域は利用者が自由に指定してもよく、画面の中央や上部などにあらかじめ設定されていてもよい。領域選択部450には、利用者が画面において注目領域を指定するための指定手段が設けられてもよい。たとえば、マウスなどのポインティングデバイスを用いて領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて領域を指定する。領域選択部450は、利用者から注目領域の指定情報を受け取るか、または、表示部410からあらかじめ設定された注目領域の指定情報を受け取り、その注目領域の位置情報を符号化ブロック420、復号ブロック430に与える。
領域選択部450から符号化ブロック420、復号ブロック430に供給される注目領域の位置情報は、それぞれのブロックのROI選択部18に与えられ、以降、それぞれのブロックにおいて注目領域が優先的に符号化もしくは復号される。なお、領域選択部450によって注目領域の代わりに、非注目領域が選択されてもよく、その場合は、符号化ブロック420および復号ブロック430において、非注目領域以外の領域が注目領域として優先的に符号化もしくは復号される。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。
上記の実施の形態では、非ROI変換係数の下位ビットを零置換するだけで、ROI変換係数のスケールアップは全く行わなかったが、ROI変換係数のスケールアップと非ROI変換係数の下位ビットの零置換を組み合わせて実施してもよい。
いずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、JPEG標準で用いられる離散コサイン変換の場合でも、同様の方法で非注目領域の変換係数の下位ビットを零置換することで、非注目領域の画質を犠牲にして画像全体の圧縮効率を高め、同時に注目領域の画質を相対的に高めることができる。
上記の実施の形態の画像符号化装置および画像復号装置を監視カメラの信号処理部に組み込むことにより、監視すべき注目領域を優先的に符号化したり、復号することができる。監視カメラで撮影され、符号化された画像データはネットワーク経由で送信されてもよく、その場合、ネットワークに接続した画像復号装置が、ネットワークから受信した符号化画像データを復号して再生する。
上記の説明では、画像を非注目領域と複数の注目領域に分けたが、注目領域、非注目領域といった区別をせずに、画像を優先度に応じた複数の領域に分けてもよい。上記の実施の形態では、非注目領域と複数の注目領域に優先順位をつけているため、実質的には、非注目領域と注目領域とは優先度の違いがあるにすぎないと捉えることもでき、非注目領域と注目領域の区別をなくして、優先度別に領域を分けた場合でも、同様の処理が可能である。
10 ウェーブレット変換部、 12 量子化部、 14 エントロピー符号化部、 16 符号化データ生成部、 18 ROI選択部、 19 ROI優先度設定部、 20 ROIマスク生成部、 22 ROIスケールアップ部、 24 下位ビット零置換部、 30 符号化データ抽出部、 32 エントロピー復号部、 34 逆量子化部、 36 ウェーブレット逆変換部、 38 ROIマスク生成部、 40 ROIスケールダウン部、 200、300 画像符号化装置、 210、220、310 画像復号装置。
Claims (8)
- 画像を空間周波数領域に変換して変換係数を生成する変換部と、
前記画像上の一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、
前記置換部による置換後、前記画像全体の前記変換係数のビット列を上位ビットから順に圧縮符号化する符号化部とを含むことを特徴とする画像符号化装置。 - 画像を空間周波数領域に変換して変換係数を生成する変換部と、
前記画像上の複数の領域の各々に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換する置換部と、
前記置換部による置換後、前記画像全体の前記変換係数のビット列を上位ビットから順に圧縮符号化する符号化部とを含むことを特徴とする画像符号化装置。 - 圧縮符号化された画像を復号して空間周波数領域における変換係数を取得する復号部と、
前記画像上の一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換する置換部と、
前記置換部による置換後、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する逆変換部とを含むことを特徴とする画像復号装置。 - 圧縮符号化された画像を復号して空間周波数領域における変換係数を取得する復号部と、
前記画像上の複数の領域の各々に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換する置換部と、
前記置換部による置換後、前記画像全体の前記変換係数のビット列を逆変換して画像を復元する逆変換部とを含むことを特徴とする画像復号装置。 - 画像の空間周波数領域における変換係数において前記画像上の一部の領域に対応する前記変換係数を特定し、特定された前記一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列をまとめて上位ビットから順に圧縮符号化することを特徴とする画像符号化方法。
- 圧縮符号化された画像を復号して得られる前記画像の空間周波数領域における変換係数において前記画像上の一部の領域に対応する前記変換係数を特定し、特定された前記一部の領域に対応する前記変換係数のビット列において所定ビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列を逆変換して画像を復元することを特徴とする画像復号方法。
- 画像の空間周波数領域における変換係数において前記画像上の複数の領域に対応する前記変換係数を特定し、特定された前記複数の領域に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列をまとめて上位ビットから順に圧縮符号化することを特徴とする画像符号化方法。
- 圧縮符号化された画像を復号して得られる前記画像の空間周波数領域における変換係数において前記画像上の複数の領域に対応する前記変換係数を特定し、特定された前記複数の領域に対応する前記変換係数のビット列において各領域の優先度に応じたビット数だけ下位ビットを零値に置換した上で、前記画像全体の前記変換係数のビット列を逆変換して画像を復元することを特徴とする画像復号方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004032383A JP2005223852A (ja) | 2004-02-09 | 2004-02-09 | 画像符号化装置および方法、ならびに画像復号装置および方法 |
CN2007101088560A CN101072354B (zh) | 2004-02-09 | 2005-02-05 | 图像编码装置以及图像编码方法 |
CN200510007933.4A CN1655620B (zh) | 2004-02-09 | 2005-02-05 | 图像显示装置 |
US11/052,094 US8005309B2 (en) | 2004-02-09 | 2005-02-08 | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
US13/029,748 US8326058B2 (en) | 2004-02-09 | 2011-02-17 | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004032383A JP2005223852A (ja) | 2004-02-09 | 2004-02-09 | 画像符号化装置および方法、ならびに画像復号装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005223852A true JP2005223852A (ja) | 2005-08-18 |
Family
ID=34999119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004032383A Pending JP2005223852A (ja) | 2004-02-09 | 2004-02-09 | 画像符号化装置および方法、ならびに画像復号装置および方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2005223852A (ja) |
CN (1) | CN101072354B (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007173940A (ja) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理システム |
JP2011234363A (ja) * | 2010-04-28 | 2011-11-17 | Hon Hai Precision Industry Co Ltd | 画像処理システム及び方法 |
JP2012023605A (ja) * | 2010-07-15 | 2012-02-02 | Sony Corp | 画像処理装置および方法 |
WO2015177952A1 (ja) * | 2014-05-22 | 2015-11-26 | ソニー株式会社 | 映像表示装置、情報処理装置、及び映像表示システム |
JP2020102704A (ja) * | 2018-12-20 | 2020-07-02 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
CN114095728A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
SE9800088D0 (sv) * | 1997-10-10 | 1998-01-16 | Ericsson Telefon Ab L M | Long filter lossless region of interest coding |
SE521021C2 (sv) * | 1998-06-18 | 2003-09-23 | Ericsson Telefon Ab L M | Förfarande och anordning vid överförande av bilder |
JP2002044551A (ja) * | 2000-07-26 | 2002-02-08 | Toshiba Corp | 放送受信表示装置及び放送受信表示方法 |
-
2004
- 2004-02-09 JP JP2004032383A patent/JP2005223852A/ja active Pending
-
2005
- 2005-02-05 CN CN2007101088560A patent/CN101072354B/zh not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007173940A (ja) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理システム |
JP2011234363A (ja) * | 2010-04-28 | 2011-11-17 | Hon Hai Precision Industry Co Ltd | 画像処理システム及び方法 |
US9060171B2 (en) | 2010-04-28 | 2015-06-16 | Hon Hai Precision Industry Co., Ltd. | Image processing system and method |
JP2012023605A (ja) * | 2010-07-15 | 2012-02-02 | Sony Corp | 画像処理装置および方法 |
WO2015177952A1 (ja) * | 2014-05-22 | 2015-11-26 | ソニー株式会社 | 映像表示装置、情報処理装置、及び映像表示システム |
JP2020102704A (ja) * | 2018-12-20 | 2020-07-02 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
JP7390788B2 (ja) | 2018-12-20 | 2023-12-04 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
CN114095728A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
CN114095728B (zh) * | 2022-01-21 | 2022-07-15 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101072354A (zh) | 2007-11-14 |
CN101072354B (zh) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8005309B2 (en) | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus | |
JP4888729B2 (ja) | 符号化装置および方法、並びに、復号装置および方法 | |
US8665943B2 (en) | Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program | |
JP4656190B2 (ja) | 情報処理装置および方法 | |
JPWO2007066710A1 (ja) | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム | |
JP4656912B2 (ja) | 画像符号化装置 | |
JP4578197B2 (ja) | 画像表示装置 | |
JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
JP2005286472A (ja) | 画像処理装置および画像処理方法 | |
JP2010093669A (ja) | 情報処理装置および方法 | |
JP4841504B2 (ja) | 画像符号化装置および方法 | |
US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
JP2005223852A (ja) | 画像符号化装置および方法、ならびに画像復号装置および方法 | |
JP2006074130A (ja) | 画像復号方法、画像復号装置および撮像装置 | |
JP4514464B2 (ja) | 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法 | |
JP4241463B2 (ja) | 画像処理装置 | |
JP2010206847A (ja) | 画像処理装置 | |
JP4749508B2 (ja) | 画像復号方法 | |
JP2002271793A (ja) | 画像圧縮符号化装置及び方法 | |
JP4667424B2 (ja) | 画像復号装置 | |
JP4667423B2 (ja) | 画像復号装置 | |
JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081209 |