JP2012129949A - 画像符号化方法及び装置、画像復号化方法及び装置 - Google Patents

Abstract

【課題】画質低下を抑制しつつ、効率よく画像を圧縮することができる画像符号化方法、装置、及びプログラムを提供する。
【解決手段】変換部は、入力された画像を直交変換し、画像のローパス成分であるローパス成分画像と、画像のハイパス成分であるハイパス成分画像とを生成する。予測画像生成部は、ローパス成分画像の予測画像を、符号化済みのローパス成分画像の画素、又はローパス成分画像とは異なる時刻のローパス成分画像である参照ローパス成分画像から算出する。差分画像生成部は、予測画像とローパス成分画像との差分である差分画像を算出する。ロスレス圧縮部は、差分画像を基本レイヤとしてロスレス圧縮する。ビットプレーン圧縮部は、ハイパス成分画像を拡張レイヤとして、最上位ビット側から最下位ビット側に順にビットプレーン圧縮する。出力部は、基本レイヤと拡張レイヤとを出力する。

【選択図】図１

Description

本発明の実施形態は、画像符号化方法及び装置、画像復号化方法及び装置に関する。

画像符号化方法において、圧縮したビットストリームを伝送帯域に応じて、データ量を圧縮後に調整可能な方法がある。画像符号化方法には、例えば、ＪＰＥＧ２０００やＭＰＥＧ−４ ＦＧＳ等がある。

このような画像符号化方法では、画質低下を抑制しつつ、効率よく画像を圧縮することができるものが望まれている。

特開２０１０−００４２７９号公報

Motion Compensated Lossy-to-Lossless Compression of 4-D Medical Images Using Integer Wavelet Transforms, Ashraf A. Kassim, Member, IEEE, Pingkun Yan, Student Member, IEEE, Wei Siong Lee, and Kuntal Sengupta, IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, VOL. 9, NO. 1, MARCH 2005

発明が解決しようとする課題は、画質低下を抑制しつつ、効率よく画像を圧縮することができる画像符号化方法及び装置、画像復号化方法及び装置を提供することである。

上記課題を解決するために、本発明の一の実施形態に係る画像符号化装置は、変換部と、予測画像生成部と、差分画像生成部と、ロスレス圧縮部と、ビットプレーン圧縮部と、出力部とを備える。

変換部は、入力された画像を直交変換し、前記画像のローパス成分であるローパス成分画像と、前記画像のハイパス成分であるハイパス成分画像とを生成する。予測画像生成部は、前記ローパス成分画像の予測画像を、符号化済みの前記ローパス成分画像の画素、又は前記ローパス成分画像とは異なる時刻の前記ローパス成分画像である参照ローパス成分画像から算出する。差分画像生成部は、前記予測画像と前記ローパス成分画像との差分である差分画像を算出する。ロスレス圧縮部は、前記差分画像を基本レイヤとしてロスレス圧縮する。ビットプレーン圧縮部は、前記ハイパス成分画像を拡張レイヤとして、最上位ビット側から最下位ビット側に順にビットプレーン圧縮する。出力部は、前記基本レイヤと前記拡張レイヤとを出力する。

また、本発明の他の実施形態に係る画像復号化装置は、基本レイヤ伸長部と、データ加算部と、拡張レイヤ伸張部と、逆変換部とを備える。

基本レイヤ伸長部は、入力された基本レイヤを伸長し、伸長画像のローパス成分の差分信号を生成する。

データ加算部は、伸張済みの異なる時刻の前記ローパス成分画像である参照ローパス成分画像と、伸張済みの前記ローパス成分画像とから予測画像を生成し、前記予測画像と前記差分信号とを加算して、前記伸長画像のローパス成分の信号を生成する。拡張レイヤ伸張部は、入力された拡張レイヤを、最上位ビット側から最下位ビット側に順に伸張して、前記伸長画像のハイパス成分の信号を生成する。逆変換部は、前記ローパス成分の信号と、前記ハイパス成分の信号に対して逆直交変換を行ない、前記伸張画像を生成する。

第1の実施の形態に係る画像符号化装置１を表すブロック図。 画像符号化装置１の処理を表すフローチャート。 ウェーブレット変換を表す概念図。 ウェーブレット変換時のビットストリーム１５０を表す概念図。 ビットプレーンデータ構造を表す概念図。 画像符号化装置２の処理を表すフローチャート。 追加基本レイヤデータ２１１を表す概念図。 第２の実施の形態に係る画像復号化装置２を表すブロック図。 画像復号化装置２の処理を表すフローチャート。

（第１の実施の形態）
第１の実施の形態に係る画像符号化装置１は、入力画像を圧縮してビットストリーム１５０を出力するものである。ビットストリーム１５０は、切り捨てられると伸張が不可能となる基本レイヤと、任意のデータ位置で切り捨てられても伸張が可能な拡張レイヤとを含む。画像符号化装置１は、例えば、シンクライアントシステムにより画像を送受信する際に好適である。

画像符号化装置１は、入力画像に対してウェーブレット変換を行ない、ローパス成分とハイパス成分とを分離し、ローパス成分はロスレス圧縮し、ハイパス成分はＭＳＢ（最上位ビット）側からＬＳＢ（最下位ビット）側に、順に圧縮（ビットプレーン圧縮）する。これにより、画質低下を抑制しつつ、画像の圧縮効率を高めることができる。

図１は、画像符号化装置１を表すブロック図である。画像符号化装置１は、入力部１０と、変換部１１と、フレームメモリ１３と、予測画像生成部１５と、差分画像生成部１７と、ロスレス圧縮部１９と、ビットプレーン圧縮部２１と、出力部２２とを備える。

入力部１０は、処理対象となる入力画像１０１を入力する。変換部１１は、入力画像１０１を離散ウェーブレット変換する。離散ウェーブレット変換により、入力画像１０１は、ローパス成分であるローパス成分画像１０２と、ハイパス成分であるハイパス成分画像１０６とに分離される。

変換部１１は、基本レイヤ１５１の生成のために、ローパス成分画像１０２を、フレームメモリ１３と、予測画像生成部１５と、差分画像生成部１７とに供給する。変換部１１は、拡張レイヤ１５３の生成のために、ハイパス成分画像１０６をビットプレーン圧縮部２１に供給する。

フレームメモリ１３は、これまでに変換部１１から供給された複数フレームのローパス成分画像１０２を記憶する。フレームメモリ１３の内容は参照ローパス画像１０３として予測ローパス画像１０４の生成に用いられる。

予測画像生成部１５は、参照ローパス画像１０３として用いるローパス成分画像１０２をフレームメモリ１３から取得する。参照ローパス画像１０３とは、後述する予測ローパス画像１０４を生成するために参照する画像である。

予測画像生成部１５は、ローパス成分画像１０２と参照ローパス画像１０３とから予測される予測ローパス画像１０４を生成する。ここで、参照ローパス画像は、変換部１１から供給されたローパス成分画像１０２と同じフレームのローパス成分画像１０２であっても、異なるフレームのローパス成分画像１０２であってもよい。

予測画像生成部１５は、予測ローパス画像１０４を差分画像生成部１７に供給する。予測画像生成部１５は、どのように予測ローパス画像１０４を生成したかを示す情報である予測情報1２１をロスレス圧縮部１９に供給する。予測情報１２１には、例えば、予測に用いた画素や、参照ローパス画像１０３として用いたローパス成分画像１０２等が挙げられる。予測画像生成部１５は、予め予測情報１２１を保持していてもよい。

差分画像生成部１７は、ローパス成分画像１０２と予測ローパス画像１０４との差分である差分ローパス画像１０５を生成する。差分画像生成部１７は、差分ローパス画像１０５をロスレス圧縮部１９に供給する。

ロスレス圧縮部１９は、予測情報1２１と差分ローパス画像１０５とをロスレス圧縮し、基本レイヤデータ１１１を生成する。

ロスレス圧縮部１９は、基本レイヤデータ１１１を出力部２２に供給する。ビットプレーン圧縮部２１は、ハイパス成分画像１０６をビットプレーン圧縮し、拡張レイヤデータ１１３を生成する。ビットプレーン圧縮部２１は、拡張レイヤデータ１１３を出力部２２に供給する。

出力部２２は、基本レイヤデータ１１１を含む基本レイヤ１５１と、拡張レイヤデータ１１３を含む拡張レイヤ１５３と、をビットストリーム１５０として出力する。

入力部１０と、変換部１１と、フレームメモリ１３と、予測画像生成部１５と、差分画像生成部１７と、ロスレス圧縮部１９と、ビットプレーン圧縮部２１と、出力部２２とは、中央演算処理装置（ＣＰＵ）やＣＰＵが用いるメモリにより実現されてよい。

以上、画像符号化装置１の構成について説明した。

図２は、画像符号化装置１の符号化処理を表すフローチャートである。入力部１０は、処理対象となる入力画像１０１を入力する（Ｓ２０１）。

変換部１１は、入力画像１０１に対してウェーブレット変換を行い、ローパス成分画像１０２とハイパス成分画像１０６とを生成する（Ｓ２０２）。変換部１１は、ローパス成分画像１０２をフレームメモリ１３に書き込む。

ウェーブレット変換には様々方式があるが、本実施形態では、圧縮データを最終的にロスレス圧縮データとするため、可逆ウェーブレット変換が望ましい。

可逆ウェーブレット変換の代表的な例としては、Ｈａａｒウェーブレット、ＪＰＥＧ２０００でも用いられる５／３ウェーブレットが挙げられる。処理量やハードウェア実装の面では、Ｈａａｒウェーブレットが望ましく、圧縮効率の面では、５／３ウェーブレットが望ましい。

本実施形態では、高効率な圧縮を実現するために５／３ウェーブレットを用いることとして説明を進めるが、いずれのウェーブレット変換を用いても構わない。５／３ウェーブレットを入力画像１０１に適用する場合、何階層のウェーブレット変換を適用するかを制御する必要がある。

図３は、ウェーブレット変換を表す概念図である。図３（ａ）は、１階層ウェーブレット変換を表す。図３（ｂ）は、２階層ウェーブレット変換を表す。図３における、「ＬＬ」は入力画像１０１のローパス成分、「ＬＨ」は水平方向のハイパス成分、「ＨＬ」は垂直方向のハイパス成分、「ＨＨ」は対角方向のハイパス成分を表している。

本実施形態では、ローパス成分を基本レイヤデータ１１１として、ロスレス圧縮するため、例えば、図３（ａ）に示すように、１階層ウェーブレットを適用した場合、ロスレス圧縮部１９ではＬＬ１の成分（図中網掛け部）がロスレス圧縮の対象となり、それ以外はビットプレーン圧縮の対象となる。

また、図３（ｂ）に示すように、２階層ウェーブレットを適用した場合、ロスレス圧縮部１９ではＬＬ２の成分（図中網掛け部）がロスレス圧縮の対象となり、それ以外はビットプレーン圧縮の対象となる。

図４は、ビットストリーム１５０を表す概念図である。図４（ａ）は、１階層ウェーブレット変換が適用された場合に、出力部２２が出力するビットストリーム１５０を表す。図４（ｂ）は、２階層ウェーブレット変換が適用された場合に、出力部２２が出力するビットストリーム１５０を表す。

各階層でウェーブレットが適用された後、ロスレス圧縮およびビットプレーン圧縮したビットストリーム１５０は図４のようになり、ウェーブレットの階層が多いほど基本レイヤデータ１１１のビットストリーム１５０全体に対する割合が小さくなる。すなわち、図４（ａ）における、基本レイヤデータ１１１のビットストリーム１５０全体に対する割合のほうが、図４（ｂ）における、基本レイヤデータ１１１のビットストリーム１５０全体に対する割合よりも小さい。

また、全体的なビットストリーム１５０のデータ量は基本レイヤデータ１１１の量が増えるほど小さい。これは、基本レイヤデータ１１１は参照ローパス画像１０３として、予測ローパス画像１０４の生成に用いられるため、基本レイヤデータ１１１のデータ量が多い（すなわち高画質である）ほど、全体的な圧縮効率が高くなるからである。

したがって、基本レイヤデータ１１１のデータ量を可能な限り増やすのが望ましい。ただし、ビットレートを制御するには拡張レイヤデータ１１３を切り捨てるため、基本レイヤデータ１１１のみではビットレート制御可能な範囲が狭くなる。

そこで、例えば、予め広帯域の伝送路を用いて圧縮伝送することが分かっている場合は、ウェーブレットの階層は１とし、狭帯域の伝送路の場合はウェーブレットの階層を伝送帯域幅の半分程度に圧縮可能な基本レイヤ１５１のデータ量となるウェーブレットの階層数にすればよい。または、伝送帯域の状況と基本レイヤのデータ量に応じて、ウェーブレットの階層数をフィードバック制御しても構わない。

ただし、動的にウェーブレットの階層数を切り替える場合は、ローパス成分画像１０２と参照ローパス画像１０３のデータサイズが異なるとフレーム間予測が複雑になる。これに関する制御は後述する。

予測画像生成部１５は、ローパス成分画像１０２と参照ローパス画像１０３と、予測情報1２１とから、予測ローパス画像１０４を生成する（Ｓ２０３）。

予測方法としては、周囲の隣接する（例えば、左や上、左上、右上などのすでに予測ローパス画像の生成が済んでいる（すなわち符号化が済んでいる）ローパス成分のウェーブレット変換係数から予測する方法がある。隣接するウェーブレット変換係数の相関は、特にローパス成分においては高いため、圧縮効率の高い予測ローパス画像１０４の生成が可能となる。

また、フレーム内だけでなく、フレームメモリ１３に記憶された現フレームよりも前の参照ローパス画像１０３を用いてフレーム間予測を用いることで、更なる圧縮効率の高い予測ローパス画像１０４の生成が可能となる。

なお、予測情報1２１（例えば、予測方向：上、左、左上、右上、フレーム間など）は、後述のロスレス圧縮部１９で圧縮される。また、例えば予測方向を決定する方法としては、後述するステップＳ２０４における予測ローパス画像１０４とローパス成分画像１０２との差分が最も小さいものを選択してもよい。この場合、図２のフローチャートにおけるステップＳ２０３にステップＳ２０４の一部（差分ローパス画像１０５を生成する処理が反復される）が取り込まれた状態となる。

差分画像生成部１７は、ローパス成分画像１０２と予測ローパス画像１０４とから、差分ローパス画像１０５を生成する（Ｓ２０４）。差分画像生成部１７は、差分ローパス画像１０５をロスレス圧縮部１９に供給する。

ロスレス圧縮部１９は、予測情報１２１と差分ローパス画像１０５とをロスレス圧縮して、基本レイヤデータ１１１を生成する（Ｓ２０５）。

ロスレス圧縮の方式は様々あるが、例えばゴロム符号化や、ランレングス符号化、ハフマン符号化、算術符号化が挙げられるが、いずれの圧縮方式を用いてもよい。

ビットプレーン圧縮部２１は、ハイパス成分画像１０６のウェーブレット変換係数を、ＭＳＢ側からＬＳＢ側に向けて順次圧縮し、基本レイヤデータ１１３を生成する（Ｓ２０６）。

ビットプレーンは、符号情報と値情報とに分離され、それぞれ０、１の情報列として圧縮されてよい。図５は、ウェーブレット変換係数のビットプレーンのデータ構造を表す概念図である。図５に示すように、例えば、７、−３、−２、０という４つの係数を圧縮する場合、符号情報を＋は０、−は１として並べ、値情報を３ビット目から２ビット目、１ビット目と順に並べる。並べられた０、１のシンボル列をＭＳＢ側からＬＳＢ側に、順に圧縮する。ビットプレーンの処理は例えばＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令を用いることで、複数のビットを同時に処理することができ、高速な処理が可能である。

例えば、ＪＰＥＧ２０００と同様に算術符号化を用いて圧縮しても良い。ＪＰＥＧ２０００の方式を用いれば任意位置でのデータの切捨てを行っても伸張が可能であることから、基本レイヤデータ１１３の後ろから切り捨ててビットレート制御することが可能である。

一方で、算術符号化は演算量が多いこともあるため、演算量の少ない方式を採用するケースがあっても良い。例えば、３、２、１ビット目の各レイヤの4ビットをまとめてハフマン符号化しても良い。算術符号化と比較して、ハフマン符号化は演算量が少なく、処理も簡単である。

ただし、データを後ろから切り捨てた場合、最後のデータを正しく伸張することは不可能となるため、最終データは伸張後に破棄する必要がある。また、切り捨てが行われたビットストリーム１５０の後に、次のビットストリーム１５０が結合されると伸張処理に失敗する場合がある。このような場合は、データの切捨てを行うビットレート制御処理がビットストリーム１５０の終端を示すユニークコードを入れるのが望ましい。

出力部２２は、基本レイヤデータ１１１を含む基本レイヤ１５１と、拡張レイヤデータ１１３を含む拡張レイヤ１５３と、をビットストリーム１５０として出力する（Ｓ２０７）。

以上、画像符号化装置１の符号化処理について説明した。

静止画像の圧縮方式であるＪＰＥＧ２０００（ＩＳＯ−１５４４４−１／ＩＴＵ−Ｔ Ｒｅｃ．８００ Ｐａｒｔ．１ Ａｎｎｅｘ Ｂ 及びＤ）は、入力画像に対してウェーブレット変換を施し、得られたウェーブレット変換係数に対してビットプレーン圧縮を行うことで、圧縮後のデータを後ろから切り捨てた場合、ウェーブレット変換係数のＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）側の精度が順に落ちていくが伸張可能な圧縮データが生成される。また、ＪＰＥＧ２０００では、ロスレス圧縮可能な可逆ウェーブレット変換を用いることが可能であり、圧縮データの切捨てを行った場合はロッシー圧縮となり、切捨てを行わない場合はロスレス圧縮となる。

しかし、ＪＰＥＧ２０００は静止画像を圧縮するための方式であるため、動画像を圧縮する場合においては、フレーム間相関を利用することができず圧縮効率が高くない。

また、フレーム内相関はウェーブレット変換による除去しか行っておらず、画素間予測を行っていない。

上述のように、本実施形態では、画素間予測を用いることにより、圧縮効率を高めることができる。

一方、動画像の圧縮方式であるＭＰＥＧ−４ ＦＧＳ（ＩＳＯ／ＩＥＣ１４４９６ ７．１７節）は、入力画像と予測画像との差分信号に対してＤＣＴ変換を施し、得られたＤＣＴ係数に対してビットプレーン圧縮を行うことでデータ切捨て時でも伸張可能な圧縮データを生成する。ＤＣＴ係数のビットプレーン圧縮の方法としては、ＤＣＴ変換係数を量子化幅Δで量子化した値をまず圧縮し、次にＤＣＴ係数Δ／２で量子化した値を圧縮し、さらにΔ／４、Δ／８で量子化した値を圧縮することでＤＣＴ係数を階層的に圧縮している。

しかし、ＭＰＥＧ−４ ＦＧＳでは、ＤＣＴ変換を用いて圧縮を行っているため、切捨てを行わない場合においてもＤＣＴ変換による圧縮を行っているためロスレス圧縮とならない。単純にＤＣＴ変換を可逆ＤＷＴ変換に置き換えることは可能であるが、サブバンドに分割されたＤＷＴ変換係数に対して一律に量子化幅を設定して量子化すると、重要度が高いローパス成分が大きく歪み、画質低下を招く。サブバンドごとに適応的に制御すると制御が複雑になるうえ、ビットプレーン圧縮時のオーバーヘッド（階層ごとの量子化幅の情報など）が増え、圧縮効率が低下する可能性がある。さらに予測画像はフレーム間予測によってのみ生成されるため、フレーム間相関が低いよう画像においては予測画像生成を効果的に行えない。

上述のように、本実施形態では、フレーム内予測（画素間予測）を行うことで更なる圧縮効率を高めることができる。

（変形例）
本実施形態の変形例として、本実施形態における基本レイヤデータ１１１に対して、ローパス成分画像１０２だけでなく、ハイパス成分画像１０６の一部を含んだものとしてよい。例えば、伝送帯域に余裕がある場合等は、ハイパス成分画像１０６の一部も基本レイヤデータ１１１に追加してロスレス圧縮することにより、本実施形態よりも、画質低下をさらに抑制することができる。

本変形例では、変換部１１から供給されたハイパス成分画像１０６の一部が、フレームメモリ１３、予測画像生成部１５、ロスレス圧縮部１９に供給される。

ビットプレーン圧縮部２１は、変換部１１から供給されたハイパス成分の一部が分離されたハイパス成分画像１０６が供給される。

図６は、画像符号化装置２の符号化処理を表すフローチャートである。図６に示すフローチャートは、図２に示すフローチャートに対して、ステップＳ６０１の処理が加わり、ステップＳ２０３がステップＳ６０２に置き換わる。

ステップＳ６０１について説明する。

変換部１１は、ハイパス成分画像１０６の一部を分離して、ローパス成分画像１０２に加えて基本レイヤデータ１１１を生成する（Ｓ６０１）。本実施形態では、伝送帯域の状況に応じて、ウェーブレットの階層数を制御して、基本レイヤのデータ量を調整する方法を説明した。本変形例において変換部１１は、伝送帯域の状況に応じて、基本レイヤデータ１１１に追加するハイパス成分画像１０６の一部を決定してもよい。

図７は、ウェーブレット変換を表す概念図である。図８に示すように、基本レイヤデータ１１１（ロスレス圧縮対象）には、ＬＬ２の一階層上の成分（ＬＨ２、ＨＬ２、ＨＨ２）のウェーブレット変換係数をそのまま加えてもよい。または、ＬＨ１、ＨＬ１、ＨＨ１をさらに加えてもよい。

また、本実施形態では、変換係数の位置で基本レイヤデータ１１１を決定しているが、ビットプレーン圧縮部２１で処理するように、ビットプレーンデータ構造に展開した後、ＬＨ２、ＨＬ２、ＨＨ２のＭＳＢ側からNビット目までとしてもよい。この場合は、ハイパス成分画像１０６の一部はビットプレーン圧縮部２１から、フレームメモリ１３、予測画像生成部１５、差分画像生成部１７に供給される。

ステップＳ６０２について説明する。

ステップＳ６０２では、図２に示したステップＳ２０３におけるローパス成分画像１０２に対する処理を、一部分離されたハイパス成分画像に適用する。すなわち、フレームメモリ１３に格納された前に符号化された一部分離されたハイパス成分画像を含む参照ローパス画像１０４や、周囲のハイパス成分画像からハイパス成分の予測画像を生成し、ローパス成分画像と合わせて予測ローパス画像１０４を生成する。

なお、本実施形態において、ローパス成分画像１０２と、参照ローパス画像１０３と、予測ローパス画像１０４と、差分ローパス画像１０５と、ハイパス成分画像１０６とは、ウェーブレット変換係数により表現されてよい。

また、本実施形態では、ウェーブレット変換を直交変換の例として説明したが、ＤＣＴ変換等の他の直交変換を用いても構わない。

また、本実施形態の処理単位は、入力画像１０１全体に一様にウェーブレット変換を適用して実施しても良いし、例えば１６×１６サイズ等のブロックに分割した後、各ブロックに対して適用してもよい。

その場合、ウェーブレット変換だけでなく、例えばブロック内の色ヒストグラムによる減色処理でＣＧに対して効果的な圧縮が可能なカラーパレット圧縮や、画面内の符号化済みの画素から予測するフレーム内予測による圧縮や、参照画像から予測するフレーム間予測による圧縮をブロック単位に切り替えることで、より高効率な圧縮が可能となる。

複数の圧縮モードを利用して圧縮する場合は、どの圧縮モードで対象ブロックを圧縮したかを示す情報や、カラーパレットのインデックス情報、フレーム内／フレーム間の予測情報などをウェーブレット変換係数と共に基本レイヤに含めて、ロスレス圧縮すればよい。

以上、画像符号化装置２の符号化処理（主に画像符号化装置１と異なる点）について説明した。

（第２の実施の形態）
第２の実施の形態に係る画像復号化装置２は、上述の実施形態により生成されたビットストリーム１５０を伸長して画像を復号化するものである。

図８は、画像復号化装置２を表すブロック図である。画像復号化装置２は、入力部３０と、解析部３１と、基本レイヤ伸長部３３と、拡張レイヤ伸張部３５と、データ加算部３７と、フレームメモリ４１と、予測画像生成部４３と、逆変換部４５と、出力部４６とを備える。

入力部３０は、ビットストリーム１５０を入力する。解析部３１は、ビットストリーム１５０を解析して、基本レイヤデータ１１１と拡張レイヤデータ１１３とに分離する。基本レイヤ伸長部３３は、基本レイヤデータ１１１から差分ローパス画像３０５を伸長する。拡張レイヤ伸張部３５は、拡張レイヤデータ１１３からハイパス成分画像１０６を伸長する。

データ加算部３７は、予測ローパス画像３０４と差分ローパス画像３０５とを加算してローパス成分画像３０２を生成する。

フレームメモリ４１は、ローパス成分画像３０２を記憶する。予測画像生成部４３は、参照ローパス画像３０３から予測ローパス画像３０４を生成する。

逆変換部４５は、ローパス成分画像３０２とハイパス成分画像３０６とに対して逆離散ウェーブレット変換を行ない、伸長画像３０７を生成する。逆変換部４５は、伸長画像３０７を出力部４６に供給する。出力部４６は、伸長画像１０７を出力する。

以上、画像復号化装置２の構成について説明した。

図９は、画像復号化装置２の復号化処理を表すフローチャートである。

入力部３０は、ビットストリーム１５０を入力する（Ｓ９０１）。解析部３１は、ビットストリーム１５０を解析して、基本レイヤデータ１１１と拡張レイヤデータ１１３とに分離する（Ｓ９０２）。解析部３１は、基本レイヤデータ１１１を基本レイヤ伸長部３３に、拡張レイヤデータ１１３を拡張レイヤ伸張部３５に、各々供給する。

基本レイヤ伸長部３３は、基本レイヤデータ１１１を伸長して、差分ローパス画像３０５と予測情報１２１とを抽出する（Ｓ９０３）。基本レイヤ伸長部３３は、差分ローパス画像３０５をデータ加算部３７に供給し、予測情報１２１を予測画像生成部４３に供給する。

予測画像生成部４３は、フレームメモリ４１から取得される参照ローパス画像３０３と、予測情報１２１とから、予測ローパス画像３０４を生成する（Ｓ９０４）。予測ローパス画像３０４の生成方法は、第１の実施の形態における圧縮の逆の処理を行ってよい。

データ加算部３７は、差分ローパス画像３０５と予測ローパス画像３０４とを加算して、ローパス成分画像３０２を生成する（Ｓ９０５）。拡張レイヤ伸張部３５は、拡張レイヤデータ１１３を伸長して、ハイパス成分画像３０６を抽出する（Ｓ９０６）。拡張レイヤ伸張部３５は、ハイパス成分画像３０６を逆変換部４５に供給する。

逆変換部４５は、ローパス成分画像３０２とハイパス成分画像３０６とを合わせたデータに対して逆ウェーブレット変換を施し、伸長画像３０７を生成する（Ｓ９０７）。逆変換部４５は、伸長画像３０７を出力部４６に供給する。出力部４６は、伸長画像３０７を出力する（Ｓ９０８）。例えば、出力部４６は表示装置であってよい。この場合、出力部４６は伸長画像３０７を表示する。

以上、画像復号化装置２の復号化処理について説明した。

本実施形態では、逆ウェーブレット変換を逆直交変換の例として説明したが、逆ＤＣＴ変換等の他の逆直交変換を用いても構わない。

本実施形態によれば、上述の実施形態により生成されたビットストリーム１５０を伸長して画像を出力することができる。

なお、上述の実施形態は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、上述の実施形態は、上記した処理のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、フレームメモリ１３やフレームメモリ４１は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

上述した実施形態によれば、画質低下を抑制しつつ、効率よく画像を圧縮することができる画像符号化方法及び装置、画像復号化方法及び装置を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画像符号化装置
２ 画像復号化装置
１０、３０ 入力部
１１ 変換部
１３、４１ フレームメモリ
１５、４３ 予測画像生成部
１７ 差分画像生成部
１９ ロスレス圧縮部
２１ ビットプレーン圧縮部
２２、４６ 出力部
３１ 符号列解析部
３３ 基本レイヤ伸長部
３５ 拡張レイヤ伸張部
３７ データ加算部
４５ 逆変換部

Claims (9)

1. 入力された画像を直交変換し、前記画像のローパス成分であるローパス成分画像と、前記画像のハイパス成分であるハイパス成分画像とを生成し、
   前記ローパス成分画像の予測画像を、符号化済みの前記ローパス成分画像の画素、又は前記ローパス成分画像とは異なる時刻の前記ローパス成分画像である参照ローパス成分画像から算出し、
   前記予測画像と前記ローパス成分画像との差分である差分画像を算出し、
   前記差分画像を基本レイヤとしてロスレス圧縮し、
   前記ハイパス成分画像を拡張レイヤとして、最上位ビット側から最下位ビット側に順にビットプレーン圧縮し、
   前記基本レイヤと前記拡張レイヤとを出力する、画像符号化方法。
2. 前記ハイパス成分画像の一部を前記基本レイヤとして圧縮し、前記ハイパス成分画像の残りを前記拡張レイヤとして圧縮し、
   前記基本レイヤとした前記ローパス成分画像と、前記ハイパス成分画像の一部とを参照ローパス画像とする、請求項１記載の画像符号化方法。
3. 前記基本レイヤの目標符号量に応じて、前記ローパス成分画像を生成する直交変換の回数を制御する、請求項１又は２記載の画像符号化方法。
4. 前記基本レイヤの目標符号量に応じて、前記基本レイヤに含む前記ハイパス成分画像の一部の符号量を制御する、請求項２記載の画像符号化方法。
5. 前記直交変換はウェーブレット変換である、請求項１から４記載の画像符号化方法。
6. 入力された基本レイヤを伸長して、伸長画像のローパス成分の差分信号を生成し、
   伸張済みの異なる時刻の前記ローパス成分画像である参照ローパス成分画像と、伸張済みの前記ローパス成分画像とから予測画像を生成し、前記予測画像と前記差分信号とを前記差分信号とを加算して、前記伸長画像のローパス成分の信号を生成し、
   入力された拡張レイヤを、最上位ビット側から最下位ビット側に順に伸張して、前記伸長画像のハイパス成分の信号を生成し、
   前記ローパス成分の信号と、前記ハイパス成分の信号に対して逆直交変換を行ない、前記伸張画像を生成する、画像復号化方法。
7. 前記基本レイヤから前記ハイパス成分画像の一部を生成し、
   前記ハイパス成分画像の一部と前記ローパス成分画像の信号とから参照ローパス画像を生成する、請求項６記載の画像復号化方法。
8. 入力された画像を直交変換し、前記画像のローパス成分であるローパス成分画像と、前記画像のハイパス成分であるハイパス成分画像とを生成する変換部と、
   前記ローパス成分画像の予測画像を、符号化済みの前記ローパス成分画像の画素、又は前記ローパス成分画像とは異なる時刻の前記ローパス成分画像である参照ローパス成分画像から算出する予測画像生成部と、
   前記予測画像と前記ローパス成分画像との差分である差分画像を算出する差分画像生成部と、
   前記差分画像を基本レイヤとしてロスレス圧縮するロスレス圧縮部と、
   前記ハイパス成分画像を拡張レイヤとして、最上位ビット側から最下位ビット側に順に圧縮するビットプレーン圧縮部と、
   前記基本レイヤと前記拡張レイヤとを出力する出力部と
   を備える、画像符号化装置。
9. 入力された基本レイヤを伸長し、伸長画像のローパス成分の差分信号を生成する基本レイヤ伸長部と、
   伸張済みの異なる時刻の前記ローパス成分画像である参照ローパス成分画像と、伸張済みの前記ローパス成分画像とから予測画像を生成し、前記予測画像と前記差分信号とを加算して、前記ローパス成分の信号を生成するデータ加算部と、
   入力された拡張レイヤを、最上位ビット側から最下位ビット側に順に伸張してハイパス成分の信号を生成する拡張レイヤ伸張部と、
   前記ローパス成分の信号と、前記ハイパス成分の信号に対して逆直交変換を行ない、前記伸張画像を生成する逆変換部とを備える、画像復号化装置。

Images