JP2004056260A - 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 - Google Patents

Abstract

【課題】品質の良い再生画像を得ることができる画像復号装置を提供する。
【解決手段】圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてタイル境界平滑化手段２７に用いるローパスフィルタの強度を制御しつつ、タイル境界平滑化手段２７により復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【選択図】　　　　図１２

Description

【０００１】
【発明の属する技術分野】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ，携帯情報端末（ＰＤＡ），携帯電話，デジタルカメラ等に用いられる画像復号装置、この画像復号装置を備えるパーソナルコンピュータ，携帯情報端末（ＰＤＡ），携帯電話，デジタルカメラ等の画像処理装置、プログラム、記憶媒体及び画像復号方法に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ　Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
【発明が解決しようとする課題】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「Ｊ．　Ｘ．　Ｗｅｉ，　Ｍ．　Ｒ．　Ｐｉｃｋｅｒｉｎｇ，　Ｍ．　Ｒ．　Ｆｒａｔｅｒ　ａｎｄ　Ｊ．　Ｆ．　Ａｒｎｏｌｄ，　”Ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｒｅｄｕｃｉｎｇ　Ｂｏｕｎｄａｒｙ　Ａｒｔｉｆａｃｔｓ　ｉｎ　Ｂｌｏｃｋ−Ｂａｓｅｄ　Ｗａｖｅｌｅｔ　Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ，”　ｉｎ　ＶＣＩＰ　２０００，　Ｋ．　Ｎ．　Ｎｇａｎ，　Ｔ．　Ｓｉｋｏｒａ，　Ｍ−Ｔ　Ｓｕｎ　Ｅｄｓ．，　Ｐｒｏｃ．　ｏｆ　ＳＰＩＥ　Ｖｏｌ．　４０６７，　ｐｐ．　１２９０−１２９５，　２０−２３　Ｊｕｎｅ　２０００，　Ｐｅｒｔｈ，　Ａｕｓｔｒａｌｉａ」にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸張後の画像においてタイルの境界が不連続となるという問題がある。
【０００８】
そこで、このような問題を解決すべく、タイル境界の近傍のみに均一なローパスフィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【０００９】
しかしながら、上述したような技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、ローパスフィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【００１０】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１１】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１２】
【課題を解決するための手段】
請求項１記載の発明の画像復号装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号装置において、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、このタイル境界平滑化手段では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【００１３】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【００１４】
請求項２記載の発明は、請求項１記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【００１５】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【００１６】
請求項３記載の発明は、請求項２記載の画像復号装置において、前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝３２＊Ｒ
（Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
に基づいて算出する。
【００１７】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【００１８】
請求項４記載の発明は、請求項１記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにした。
【００１９】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００２０】
請求項５記載の発明は、請求項１ないし４の何れか一記載の画像復号装置において、タイル境界を限定する補正タイル境界限定手段を備え、この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにした。
【００２１】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００２２】
請求項６記載の発明は、請求項５記載の画像復号装置において、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００２３】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００２４】
請求項７記載の発明の画像処理装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を記憶する符号列記憶部に記憶された圧縮符号のうち、復号対象となる圧縮符号の符号量を指定する復号量指定手段と、この復号量指定手段により指定された符号量だけ前記符号列記憶部に記憶された圧縮符号を復号する請求項１ないし６の何れか一記載の画像復号装置と、この画像復号装置により指定された符号量だけ復号された圧縮符号に基づく画像を表示装置に表示させる画像表示装置と、を備える。
【００２５】
したがって、請求項１ないし６の何れか一記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【００２６】
請求項８記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号の復号をコンピュータに実行させるプログラムであって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、このタイル境界平滑化機能では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を前記コンピュータに制御させる。
【００２７】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【００２８】
請求項９記載の発明は、請求項８記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【００２９】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【００３０】
請求項１０記載の発明は、請求項９記載のプログラムにおいて、前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝３２＊Ｒ
（Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
に基づいて算出する。
【００３１】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【００３２】
請求項１１記載の発明は、請求項８記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにした。
【００３３】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３４】
請求項１２記載の発明は、請求項８ないし１１の何れか一記載のプログラムにおいて、タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにした。
【００３５】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３６】
請求項１３記載の発明は、請求項１２記載のプログラムにおいて、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００３７】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３８】
請求項１４記載の発明の記憶媒体は、請求項８ないし１３のいずれか一記載のプログラムを記憶している。
【００３９】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項８ないし１３のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００４０】
請求項１５記載の発明の画像復号方法は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号方法であって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、このタイル境界平滑化工程では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【００４１】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【００４２】
請求項１６記載の発明は、請求項１５記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【００４３】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【００４４】
請求項１７記載の発明は、請求項１６記載の画像復号方法において、前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝３２＊Ｒ
（Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
に基づいて算出する。
【００４５】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【００４６】
請求項１８記載の発明は、請求項１５記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行わないようにした。
【００４７】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００４８】
請求項１９記載の発明は、請求項１５ないし１８の何れか一記載の画像復号方法において、タイル境界を限定する補正タイル境界限定工程を含み、この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにした。
【００４９】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５０】
請求項２０記載の発明は、請求項１９記載の画像復号方法において、前記補正タイル境界限定工程により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００５１】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５２】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００５３】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００５４】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００５５】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００５６】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００５７】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【００５８】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００５９】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００６０】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６１】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００６２】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００６３】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００６４】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００６５】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００６６】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００６７】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００６８】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ　ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）、タイル境界位置情報等であるタイルパートヘッダ（ｔｉｌｅ　ｐａｒｔ　ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【００６９】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００７０】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要である。
【００７１】
以下、本発明の第一の実施の形態について説明する。
【００７２】
図７は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図、図８は画像処理装置１の機能ブロック図である。図７に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。
【００７３】
本実施の形態においては、サーバコンピュータＳに記憶保持されている画像データは、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図９に示すような二次元に分割された分割画像を圧縮符号化して一次元に並べることにより、図１０に示すような構成になる。図１０において、ＳＯＣは、コードストリームの開始を示すマーカセグメントである。また、ＭＨは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。ＭＨに続くデータは、各タイルを符号化したデータであり、図１０では図９に示すタイルの番号に従って主走査方向／副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるＥＯＣマーカは、圧縮符号の最後であることを示すマーカセグメントである。
【００７４】
そして、図８に示すように、画像処理装置１は、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を伸長（復号）して画像の画像データとする画像復号装置である画像伸長装置２と、この伸長後の画像データによる画像を表示する画像表示装置３と、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を記憶する符号列記憶部４とを備えている。符号列記憶部４は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００７５】
図１１は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図１１に示すように、画像処理装置１は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６を備えている。このＣＰＵ６には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（ＲｅａｄＯｎｌｙ　Ｍｅｍｏｒｙ）７と、各種データを書換え可能に記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８とがバス９で接続されている。ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００７６】
さらにバス９には、符号列記憶部４として機能するＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）−ＲＯＭ１１を読み取るＣＤ−ＲＯＭドライブ１２と、画像処理装置１とネットワーク５との通信を司る通信制御装置１３と、キーボードやマウスなどの入力装置１４と、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）である表示装置１５とが、図示しないＩ／Ｏを介して接続されている。
【００７７】
そして、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号（図１０参照）は、符号列記憶部４として機能するＨＤＤ１０に格納されることになる。
【００７８】
また、図１１に示すＣＤ−ＲＯＭ１１は、この発明の記憶媒体を実施するものであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ１１に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ１２で読み取り、ＨＤＤ１０にインストールする。
【００７９】
このような構成の画像処理装置１のＨＤＤ１０には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵ６が実行する処理により、画像伸長装置２の機能を実現する。
【００８０】
なお、記憶媒体としては、ＣＤ−ＲＯＭ１１のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１３を介してインターネットなどのネットワーク５からコンピュータソフトウェアをダウンロードし、ＨＤＤ１０にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００８１】
ここで、画像処理装置１の各部の動作について図８を参照しつつ簡単に説明する。ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）は、符号列記憶部４に格納され、また、画像伸長装置２で伸長処理される。そして、画像伸長装置２で伸長処理されて生成された画像の画像データは、画像表示装置３に出力され、この伸長後の画像データによる画像が表示装置１５に表示される。
【００８２】
続いて、本発明の主要部分である画像伸長装置２について詳述する。ここで、図１２は画像伸長装置２の機能ブロック図である。図１２に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、画像伸長装置２は、復号量指定手段２０、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、タイル境界平滑化手段２７の各機能を実現する。なお、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５で実現される機能については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５で説明したので、ここでの説明は省略する。
【００８３】
復号量指定手段２０は、復号対象となる圧縮符号の符号量を指定する機能を発揮するものである。具体的には、復号量指定手段２０は、図１３に示すような画質指定画面Ｘを表示装置１５に表示する。画質指定画面Ｘには、表示装置１５に表示する所定の圧縮符号に基づく画像についての画質を、３段階の画質（高画質、普通画質、低画質）から選択させるためのラジオボタンＢが設けられている。そして、操作者が、入力装置１４を操作して一のラジオボタンＢを指定した後、ＯＫボタンＡを操作することにより、指定された画質に基づいて復号対象となる圧縮符号の符号量が指定される。このようにして復号対象となる圧縮符号の符号量が指定されると、指定された符号量だけ復号処理される圧縮符号がタグ処理手段２１に出力されるとともに、所定の圧縮符号の全符号量及び復号対象となる圧縮符号の符号量がタイル境界制御手段２６に出力される。
【００８４】
タイル境界制御手段２６は、タイル境界平滑化手段２７によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段２６には、色空間逆変換手段２５によって得られたＲＧＢデータが入力されるとともに、復号量指定手段２０から出力された圧縮符号の全符号量及び復号対象となる圧縮符号の符号量が入力される。
【００８５】
タイル境界の近傍の平滑化処理が必要であるか否かは、圧縮符号の全符号量に対する復号された圧縮符号の符号量の割合に基づいて判定される。ここで、図１４は圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。前述したように、ＪＰＥＧ２０００では符号の一部を取り出して復号することができる。このように符号の一部を取り出して復号する方法としては、Ｌ（レイヤ）、Ｒ（空間解像度レベル）、Ｐ（位置）、Ｃ（色成分）の四つの優先度に応じたＬＲＣＰ，ＲＬＣＰ，ＲＰＣＬ，ＰＣＲＬ，ＣＰＲＬなどの方法があるが、ここでは、ＬＲＣＰで符号の一部を取り出すものとする。ＬＲＣＰでは、復号される符号量が小さいほど圧縮率の大きな画像が復号され、符号量が大きいほど圧縮率の小さな画像が復号される。
【００８６】
すなわち、全符号量に対する復号化される符号量の割合Ｒは、
Ｒ＝Ｄｅｃｏｄｅ／Ｃｏｄｅ
（Ｄｅｃｏｄｅ：復号される符号量、Ｃｏｄｅ：全符号量）
で算出される。そして、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Ｒが所定の閾値（例えば、０．２）よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Ｒが小さい画像では、圧縮率が大きいためにタイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【００８７】
これにより、タイル境界制御手段２６は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られたＲＧＢデータを出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段２５によって得られたＲＧＢデータをそのまま画像表示装置３に出力する。
【００８８】
タイル境界平滑化手段２７は、色空間逆変換手段２５によって得られたＲＧＢデータに対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のためのローパスフィルタの強度を圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Ｒに応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【００８９】
ここで、タイル境界平滑化手段２７における処理の具体例を示す。図１５はタイル境界平滑化手段２７における処理の一例を示す説明図である。図１５に示すように、タイル境界平滑化手段２７は、タイル境界の近傍の画素（図１５中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【００９０】
ここで、図１６は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１６に示すように、縦方向タイル境界ａ（図１５参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００９１】
図１７は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１７に示すように、横方向タイル境界ｂ（図１５参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００９２】
図１８は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１８に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分をともに落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００９３】
ところで、ローパスフィルタＦ１，Ｆ２，Ｆ３のフィルタ中心の重み付けの係数ｍは復号化される符号量に応じて可変制御される。ローパスフィルタの中心の重み付けの係数ｍは、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Ｒに応じて、
ｍ＝３２＊Ｒ
という式に基づいて制御する。この制御例はあくまで一例であり、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００９４】
ここに、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【００９５】
なお、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、圧縮符号にタイル境界位置情報が含まれるような画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【００９６】
また、本実施の形態においては、符号列記憶部４に記憶されたサーバコンピュータＳからダウンロードした圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段２０により指定するようにしたが、これに限るものではない。例えば、サーバコンピュータＳの符号列記憶部（図示せず）に記憶された圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段２０により指定し、復号量指定手段２０により指定された符号量だけサーバコンピュータＳの符号列記憶部に記憶された圧縮符号をダウンロードするようにしても良い。
【００９７】
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態とは、画像伸長装置２の機能が異なるものである。概略的には、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【００９８】
図１９は本実施の形態の画像伸長装置２の機能ブロック図である。図１９に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、画像伸長装置２は、復号量指定手段２０、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、補正タイル境界限定手段２８、タイル境界平滑化手段２７の各機能を実現する。
【００９９】
補正タイル境界限定手段２８は、タイル境界平滑化手段２７においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段２８には、色空間逆変換手段２５によって得られ、タイル境界制御手段２６でタイル境界の近傍の平滑化処理が必要であると判定されたＲＧＢデータが入力される。
【０１００】
ここで、図２０及び図２１は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【０１０１】
図２０は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図２０（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図２０（ｂ）に点線で示す部分に設定する。図２０（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【０１０２】
図２１は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図２１（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図２１（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【０１０３】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【０１０４】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られたＲＧＢデータを出力する。
【０１０５】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１０６】
なお、各実施の形態においては、画像処理装置１としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）や携帯電話などを画像処理装置１として適用することもできる。
【０１０７】
【発明の効果】
請求項１，８，１５記載の発明によれば、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【０１０８】
請求項２，９，１６記載の発明によれば、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【０１０９】
請求項３，１０，１７記載の発明によれば、ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝３２＊Ｒ
（Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
に基づいて算出することにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも小さくなるので、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることができる。
【０１１０】
請求項４，１１，１８記載の発明によれば、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１１１】
請求項５，１２，１９記載の発明によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１１２】
請求項６，１３，２０記載の発明によれば、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１１３】
請求項７記載の発明によれば、請求項１ないし６の何れか一記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【０１１４】
請求項１４記載の発明によれば、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項８ないし１３のいずれか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図８】画像処理装置の機能ブロック図である。
【図９】二次元に分割された分割画像の一例を示す説明図である。
【図１０】その分割画像に基づいて「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号を示す説明図である。
【図１１】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図１２】画像伸長装置の機能ブロック図である。
【図１３】画質指定画面を示す正面図である。
【図１４】圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。
【図１５】タイル境界平滑化手段における処理の一例を示す説明図である。
【図１６】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１７】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１８】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１９】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図２０】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図２１】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
１　　　　画像処理装置
２　　　　画像復号装置
３　　　　画像表示装置
４　　　　符号列記憶部
１１　　　記憶媒体
１５　　　表示装置
２７　　　タイル境界平滑化手段
２０　　　復号量指定手段
２８　　　補正タイル境界限定手段

Claims (20)

1. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号装置において、
   ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
   このタイル境界平滑化手段では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。
2. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１記載の画像復号装置。
3. 前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
   ｍ＝３２＊Ｒ
   （Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
   に基づいて算出することを特徴とする請求項２記載の画像復号装置。
4. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１記載の画像復号装置。
5. タイル境界を限定する補正タイル境界限定手段を備え、
   この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１ないし４の何れか一記載の画像復号装置。
6. 前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項５記載の画像復号装置。
7. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を記憶する符号列記憶部に記憶された圧縮符号のうち、復号対象となる圧縮符号の符号量を指定する復号量指定手段と、
   この復号量指定手段により指定された符号量だけ前記符号列記憶部に記憶された圧縮符号を復号する請求項１ないし６の何れか一記載の画像復号装置と、
   この画像復号装置により指定された符号量だけ復号された圧縮符号に基づく画像を表示装置に表示させる画像表示装置と、
   を備えることを特徴とする画像処理装置。
8. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号の復号をコンピュータに実行させるプログラムであって、
   ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
   このタイル境界平滑化機能では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。
9. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項８記載のプログラム。
10. 前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
    ｍ＝３２＊Ｒ
    （Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
    に基づいて算出することを特徴とする請求項９記載のプログラム。
11. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項８記載のプログラム。
12. タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、
    この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項８ないし１１の何れか一記載のプログラム。
13. 前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項１２記載のプログラム。
14. 請求項８ないし１３のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
15. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号方法であって、
    ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
    このタイル境界平滑化工程では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。
16. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１５記載の画像復号方法。
17. 前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
    ｍ＝３２＊Ｒ
    （Ｒ：圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合）
    に基づいて算出することを特徴とする請求項１６記載の画像復号方法。
18. 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１５記載の画像復号方法。
19. タイル境界を限定する補正タイル境界限定工程を含み、
    この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１５ないし１８の何れか一記載の画像復号方法。
20. 前記補正タイル境界限定工程により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項１９記載の画像復号方法。

Images