JP2004056260A - 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 - Google Patents
画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 Download PDFInfo
- Publication number
- JP2004056260A JP2004056260A JP2002208107A JP2002208107A JP2004056260A JP 2004056260 A JP2004056260 A JP 2004056260A JP 2002208107 A JP2002208107 A JP 2002208107A JP 2002208107 A JP2002208107 A JP 2002208107A JP 2004056260 A JP2004056260 A JP 2004056260A
- Authority
- JP
- Japan
- Prior art keywords
- tile boundary
- code
- image
- code amount
- tile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000009499 grossing Methods 0.000 claims abstract description 70
- 230000006835 compression Effects 0.000 claims description 74
- 238000007906 compression Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 32
- 238000012937 correction Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 34
- 230000006837 decompression Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000013139 quantization Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- LCCNCVORNKJIRZ-UHFFFAOYSA-N parathion Chemical compound CCOP(=S)(OCC)OC1=CC=C([N+]([O-])=O)C=C1 LCCNCVORNKJIRZ-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】品質の良い再生画像を得ることができる画像復号装置を提供する。
【解決手段】圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてタイル境界平滑化手段27に用いるローパスフィルタの強度を制御しつつ、タイル境界平滑化手段27により復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【選択図】 図12
【解決手段】圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてタイル境界平滑化手段27に用いるローパスフィルタの強度を制御しつつ、タイル境界平滑化手段27により復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【選択図】 図12
Description
【0001】
【発明の属する技術分野】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ,携帯情報端末(PDA),携帯電話,デジタルカメラ等に用いられる画像復号装置、この画像復号装置を備えるパーソナルコンピュータ,携帯情報端末(PDA),携帯電話,デジタルカメラ等の画像処理装置、プログラム、記憶媒体及び画像復号方法に関する。
【0002】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ(Digital Camera)を例にあげると、300万以上の画素数を持つ高性能な電荷結合素子(CCD:Charge Coupled Device)の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、500万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【0003】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、CRTやLCD(液晶表示デバイス)、PDP(プラズマ表示デバイス)等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【0004】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ(Personal Computer)やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【0005】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【0006】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【0007】
【発明が解決しようとする課題】
ところで、JPEG2000における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「J. X. Wei, M. R. Pickering, M. R. Frater and J. F. Arnold, ”A New Method for Reducing Boundary Artifacts in Block−Based Wavelet Image Compression,” in VCIP 2000, K. N. Ngan, T. Sikora, M−T Sun Eds., Proc. of SPIE Vol. 4067, pp. 1290−1295, 20−23 June 2000, Perth, Australia」にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸張後の画像においてタイルの境界が不連続となるという問題がある。
【0008】
そこで、このような問題を解決すべく、タイル境界の近傍のみに均一なローパスフィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【0009】
しかしながら、上述したような技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、ローパスフィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【0010】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【0011】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【0012】
【課題を解決するための手段】
請求項1記載の発明の画像復号装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号装置において、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、このタイル境界平滑化手段では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【0013】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0014】
請求項2記載の発明は、請求項1記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0015】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0016】
請求項3記載の発明は、請求項2記載の画像復号装置において、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0017】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0018】
請求項4記載の発明は、請求項1記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにした。
【0019】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0020】
請求項5記載の発明は、請求項1ないし4の何れか一記載の画像復号装置において、タイル境界を限定する補正タイル境界限定手段を備え、この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにした。
【0021】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0022】
請求項6記載の発明は、請求項5記載の画像復号装置において、前記補正タイル境界限定手段により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0023】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0024】
請求項7記載の発明の画像処理装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を記憶する符号列記憶部に記憶された圧縮符号のうち、復号対象となる圧縮符号の符号量を指定する復号量指定手段と、この復号量指定手段により指定された符号量だけ前記符号列記憶部に記憶された圧縮符号を復号する請求項1ないし6の何れか一記載の画像復号装置と、この画像復号装置により指定された符号量だけ復号された圧縮符号に基づく画像を表示装置に表示させる画像表示装置と、を備える。
【0025】
したがって、請求項1ないし6の何れか一記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【0026】
請求項8記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号の復号をコンピュータに実行させるプログラムであって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、このタイル境界平滑化機能では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を前記コンピュータに制御させる。
【0027】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0028】
請求項9記載の発明は、請求項8記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0029】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0030】
請求項10記載の発明は、請求項9記載のプログラムにおいて、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0031】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0032】
請求項11記載の発明は、請求項8記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにした。
【0033】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0034】
請求項12記載の発明は、請求項8ないし11の何れか一記載のプログラムにおいて、タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにした。
【0035】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0036】
請求項13記載の発明は、請求項12記載のプログラムにおいて、前記補正タイル境界限定機能により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0037】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0038】
請求項14記載の発明の記憶媒体は、請求項8ないし13のいずれか一記載のプログラムを記憶している。
【0039】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項8ないし13のいずれか一記載の発明と同様の作用を得ることが可能になる。
【0040】
請求項15記載の発明の画像復号方法は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号方法であって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、このタイル境界平滑化工程では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【0041】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0042】
請求項16記載の発明は、請求項15記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0043】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0044】
請求項17記載の発明は、請求項16記載の画像復号方法において、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0045】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0046】
請求項18記載の発明は、請求項15記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行わないようにした。
【0047】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0048】
請求項19記載の発明は、請求項15ないし18の何れか一記載の画像復号方法において、タイル境界を限定する補正タイル境界限定工程を含み、この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにした。
【0049】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0050】
請求項20記載の発明は、請求項19記載の画像復号方法において、前記補正タイル境界限定工程により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0051】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0052】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【0053】
図1は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105の各機能ブロックにより構成されている。
【0054】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を用いているのに対し、この階層符号化アルゴリズムでは、2次元ウェーブレット変換・逆変換部102において、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でDWTが採用された大きな理由の一つとなっている。
【0055】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部105の機能ブロックが追加されていることである。このタグ処理部105で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる(後述する図3参照)。
【0056】
原画像の入出力部分には、色空間変換・逆変換101が接続される場合が多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【0057】
次に、JPEG2000アルゴリズムについて説明する。
【0058】
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント111(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする(図2の例では、各コンポーネント111が縦横4×4、合計16個の矩形のタイル112に分割されている)。このような個々のタイル112(図2の例で、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15)が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル112ごとに、独立に行われる。
【0059】
画像データの符号化時には、各コンポーネント111の各タイル112のデータが、図1の色空間変換・逆変換部101に入力され、色空間変換を施された後、2次元ウェーブレット変換部102で2次元ウェーブレット変換(順変換)が施されて、周波数帯に空間分割される。
【0060】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。図3では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を3としたとき、網掛けで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0061】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1に示す量子化・逆量子化部103で対象ビット周辺のビットからコンテキストが生成される。
【0062】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0063】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0064】
ここで、図5はビットプレーンに順位付けする手順の一例を示す説明図である。図5に示すように、この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号0から3まで、コード・ブロックが番号0から3まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5,3)フィルタでウェーブレット変換を行い、デコンポジション・レベル1のウェーブレット係数値を求めている。
【0065】
また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤ」構成の概念の一例を示す説明図も図5に併せて示す。変換後のコード・ブロックは、サブバンド(1LL,1HL,1LH,1HH)に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【0066】
レイヤの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ0,1,2,3は、各々、1,3,1,3のビットプレーンから成っている。そして、LSB(Least Significant Bit:最下位ビット)に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、MSB(Most Significant Bit:最上位ビット)に近いレイヤは最後まで量子化されずに残ることになる。LSBに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0067】
図1に示すエントロピー符号化・復号化部104では、コンテキストと対象ビットから確率推定によって、各コンポーネント111のタイル112に対する符号化を行う。こうして、原画像の全てのコンポーネント111について、タイル112単位で符号化処理が行われる。最後にタグ処理部105は、エントロピー符号化・復号化部104からの全符号化データを1本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【0068】
図6には、この符号列データの1フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ(bit stream)の先頭にはヘッダ(メインヘッダ(Main header)、タイル境界位置情報等であるタイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ(Main header)には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。
【0069】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント111の各タイル112の符号列データから画像データを生成する。この場合、タグ処理部105は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント111の各タイル112の符号列データに分解し、その各コンポーネント111の各タイル112の符号列データ毎に復号化処理(伸長処理)を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部103で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部104で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部102で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部101によって元の表色系の画像データに変換される。
【0070】
以上が、「JPEG2000アルゴリズム」の概要である。
【0071】
以下、本発明の第一の実施の形態について説明する。
【0072】
図7は、本発明が適用される画像処理装置1を含むシステムを示すシステム構成図、図8は画像処理装置1の機能ブロック図である。図7に示すように、本発明が適用される画像処理装置1は、例えばパーソナルコンピュータであり、インターネットであるネットワーク5を介して各種画像データを記憶保持するサーバコンピュータSに接続可能とされている。
【0073】
本実施の形態においては、サーバコンピュータSに記憶保持されている画像データは、「JPEG2000アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図9に示すような二次元に分割された分割画像を圧縮符号化して一次元に並べることにより、図10に示すような構成になる。図10において、SOCは、コードストリームの開始を示すマーカセグメントである。また、MHは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。MHに続くデータは、各タイルを符号化したデータであり、図10では図9に示すタイルの番号に従って主走査方向/副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるEOCマーカは、圧縮符号の最後であることを示すマーカセグメントである。
【0074】
そして、図8に示すように、画像処理装置1は、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を伸長(復号)して画像の画像データとする画像復号装置である画像伸長装置2と、この伸長後の画像データによる画像を表示する画像表示装置3と、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を記憶する符号列記憶部4とを備えている。符号列記憶部4は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【0075】
図11は、画像処理装置1のハードウェア構成を概略的に示すブロック図である。図11に示すように、画像処理装置1は、コンピュータの主要部であって各部を集中的に制御するCPU(Central Processing Unit)6を備えている。このCPU6には、BIOSなどを記憶した読出し専用メモリであるROM(ReadOnly Memory)7と、各種データを書換え可能に記憶するRAM(Random Access Memory)8とがバス9で接続されている。RAM8は、各種データを書換え可能に記憶する性質を有していることから、CPU6の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【0076】
さらにバス9には、符号列記憶部4として機能するHDD(Hard Disk Drive)10と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてCD(Compact Disc)−ROM11を読み取るCD−ROMドライブ12と、画像処理装置1とネットワーク5との通信を司る通信制御装置13と、キーボードやマウスなどの入力装置14と、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)である表示装置15とが、図示しないI/Oを介して接続されている。
【0077】
そして、ネットワーク5を介してサーバコンピュータSからダウンロードした圧縮符号(図10参照)は、符号列記憶部4として機能するHDD10に格納されることになる。
【0078】
また、図11に示すCD−ROM11は、この発明の記憶媒体を実施するものであり、OS(Operating System)や各種コンピュータソフトウェアが記憶されている。CPU6は、CD−ROM11に記憶されているコンピュータソフトウェアをCD−ROMドライブ12で読み取り、HDD10にインストールする。
【0079】
このような構成の画像処理装置1のHDD10には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてCPU6が実行する処理により、画像伸長装置2の機能を実現する。
【0080】
なお、記憶媒体としては、CD−ROM11のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置13を介してインターネットなどのネットワーク5からコンピュータソフトウェアをダウンロードし、HDD10にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0081】
ここで、画像処理装置1の各部の動作について図8を参照しつつ簡単に説明する。ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)は、符号列記憶部4に格納され、また、画像伸長装置2で伸長処理される。そして、画像伸長装置2で伸長処理されて生成された画像の画像データは、画像表示装置3に出力され、この伸長後の画像データによる画像が表示装置15に表示される。
【0082】
続いて、本発明の主要部分である画像伸長装置2について詳述する。ここで、図12は画像伸長装置2の機能ブロック図である。図12に示すように、CPU6はコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、画像伸長装置2は、復号量指定手段20、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、タイル境界平滑化手段27の各機能を実現する。なお、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25で実現される機能については、図1で示した空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105で説明したので、ここでの説明は省略する。
【0083】
復号量指定手段20は、復号対象となる圧縮符号の符号量を指定する機能を発揮するものである。具体的には、復号量指定手段20は、図13に示すような画質指定画面Xを表示装置15に表示する。画質指定画面Xには、表示装置15に表示する所定の圧縮符号に基づく画像についての画質を、3段階の画質(高画質、普通画質、低画質)から選択させるためのラジオボタンBが設けられている。そして、操作者が、入力装置14を操作して一のラジオボタンBを指定した後、OKボタンAを操作することにより、指定された画質に基づいて復号対象となる圧縮符号の符号量が指定される。このようにして復号対象となる圧縮符号の符号量が指定されると、指定された符号量だけ復号処理される圧縮符号がタグ処理手段21に出力されるとともに、所定の圧縮符号の全符号量及び復号対象となる圧縮符号の符号量がタイル境界制御手段26に出力される。
【0084】
タイル境界制御手段26は、タイル境界平滑化手段27によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段26には、色空間逆変換手段25によって得られたRGBデータが入力されるとともに、復号量指定手段20から出力された圧縮符号の全符号量及び復号対象となる圧縮符号の符号量が入力される。
【0085】
タイル境界の近傍の平滑化処理が必要であるか否かは、圧縮符号の全符号量に対する復号された圧縮符号の符号量の割合に基づいて判定される。ここで、図14は圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。前述したように、JPEG2000では符号の一部を取り出して復号することができる。このように符号の一部を取り出して復号する方法としては、L(レイヤ)、R(空間解像度レベル)、P(位置)、C(色成分)の四つの優先度に応じたLRCP,RLCP,RPCL,PCRL,CPRLなどの方法があるが、ここでは、LRCPで符号の一部を取り出すものとする。LRCPでは、復号される符号量が小さいほど圧縮率の大きな画像が復号され、符号量が大きいほど圧縮率の小さな画像が復号される。
【0086】
すなわち、全符号量に対する復号化される符号量の割合Rは、
R=Decode/Code
(Decode:復号される符号量、Code:全符号量)
で算出される。そして、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが所定の閾値(例えば、0.2)よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが小さい画像では、圧縮率が大きいためにタイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【0087】
これにより、タイル境界制御手段26は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られたRGBデータを出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段25によって得られたRGBデータをそのまま画像表示装置3に出力する。
【0088】
タイル境界平滑化手段27は、色空間逆変換手段25によって得られたRGBデータに対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のためのローパスフィルタの強度を圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rに応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【0089】
ここで、タイル境界平滑化手段27における処理の具体例を示す。図15はタイル境界平滑化手段27における処理の一例を示す説明図である。図15に示すように、タイル境界平滑化手段27は、タイル境界の近傍の画素(図15中、タイル境界画素を含む網掛け領域の画素)に対してローパスフィルタをかける。
【0090】
ここで、図16は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図16に示すように、縦方向タイル境界a(図15参照)に対しては、縦方向タイル境界aに垂直なローパスフィルタ(1次元の横長のフィルタ)F1をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0091】
図17は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図17に示すように、横方向タイル境界b(図15参照)に対しては、横方向タイル境界bに垂直なローパスフィルタ(1次元の縦長のフィルタ)F2をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0092】
図18は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図18に示すように、縦方向タイル境界aと横方向タイル境界bとの交点の近傍に対しては、十字型のローパスフィルタF3をかけることにより、縦方向タイル境界aと横方向タイル境界bとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分をともに落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0093】
ところで、ローパスフィルタF1,F2,F3のフィルタ中心の重み付けの係数mは復号化される符号量に応じて可変制御される。ローパスフィルタの中心の重み付けの係数mは、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rに応じて、
m=32*R
という式に基づいて制御する。この制御例はあくまで一例であり、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが大きくなるほど、ローパスフィルタの中心の重み付けの係数mの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【0094】
ここに、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【0095】
なお、本実施の形態においては、「JPEG2000アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、圧縮符号にタイル境界位置情報が含まれるような画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【0096】
また、本実施の形態においては、符号列記憶部4に記憶されたサーバコンピュータSからダウンロードした圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段20により指定するようにしたが、これに限るものではない。例えば、サーバコンピュータSの符号列記憶部(図示せず)に記憶された圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段20により指定し、復号量指定手段20により指定された符号量だけサーバコンピュータSの符号列記憶部に記憶された圧縮符号をダウンロードするようにしても良い。
【0097】
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態とは、画像伸長装置2の機能が異なるものである。概略的には、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【0098】
図19は本実施の形態の画像伸長装置2の機能ブロック図である。図19に示すように、CPU6はコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、画像伸長装置2は、復号量指定手段20、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、補正タイル境界限定手段28、タイル境界平滑化手段27の各機能を実現する。
【0099】
補正タイル境界限定手段28は、タイル境界平滑化手段27においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段28には、色空間逆変換手段25によって得られ、タイル境界制御手段26でタイル境界の近傍の平滑化処理が必要であると判定されたRGBデータが入力される。
【0100】
ここで、図20及び図21は、ROI(Region Of Interest)領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このROI領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【0101】
図20は、ROI領域がタイル境界に沿った領域である場合について示すものである。図20(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図20(b)に点線で示す部分に設定する。図20(b)に太線で示すROI境界部にはローパスフィルタをかけない。
【0102】
図21は、ROI領域がタイル境界に沿っていない領域である場合について示すものである。図21(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図21(b)に点線で示す部分に設定する。タイル境界画素がROI内部か否かを演算によって算出し、該タイル境界画素がROI内部であればその画素にローパスフィルタをかける。該タイル境界画素がROI外部であれば、その画素にはローパスフィルタをかけない。
【0103】
なお、本実施の形態では、ROI内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【0104】
これにより、補正タイル境界限定手段28は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られたRGBデータを出力する。
【0105】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0106】
なお、各実施の形態においては、画像処理装置1としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末(PDA)や携帯電話などを画像処理装置1として適用することもできる。
【0107】
【発明の効果】
請求項1,8,15記載の発明によれば、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【0108】
請求項2,9,16記載の発明によれば、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【0109】
請求項3,10,17記載の発明によれば、ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出することにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなるので、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることができる。
【0110】
請求項4,11,18記載の発明によれば、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0111】
請求項5,12,19記載の発明によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0112】
請求項6,13,20記載の発明によれば、ROI領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0113】
請求項7記載の発明によれば、請求項1ないし6の何れか一記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【0114】
請求項14記載の発明によれば、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項8ないし13のいずれか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図1】本実施の形態の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図2】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図4】プレシンクトを示す説明図である。
【図5】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図6】符号列データの1フレーム分の概略構成を示す説明図である。
【図7】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図8】画像処理装置の機能ブロック図である。
【図9】二次元に分割された分割画像の一例を示す説明図である。
【図10】その分割画像に基づいて「JPEG2000アルゴリズム」に従って生成された圧縮符号を示す説明図である。
【図11】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図12】画像伸長装置の機能ブロック図である。
【図13】画質指定画面を示す正面図である。
【図14】圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。
【図15】タイル境界平滑化手段における処理の一例を示す説明図である。
【図16】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図17】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図18】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図19】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図20】ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図21】ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
1 画像処理装置
2 画像復号装置
3 画像表示装置
4 符号列記憶部
11 記憶媒体
15 表示装置
27 タイル境界平滑化手段
20 復号量指定手段
28 補正タイル境界限定手段
【発明の属する技術分野】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ,携帯情報端末(PDA),携帯電話,デジタルカメラ等に用いられる画像復号装置、この画像復号装置を備えるパーソナルコンピュータ,携帯情報端末(PDA),携帯電話,デジタルカメラ等の画像処理装置、プログラム、記憶媒体及び画像復号方法に関する。
【0002】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ(Digital Camera)を例にあげると、300万以上の画素数を持つ高性能な電荷結合素子(CCD:Charge Coupled Device)の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、500万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【0003】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、CRTやLCD(液晶表示デバイス)、PDP(プラズマ表示デバイス)等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【0004】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ(Personal Computer)やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【0005】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【0006】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【0007】
【発明が解決しようとする課題】
ところで、JPEG2000における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「J. X. Wei, M. R. Pickering, M. R. Frater and J. F. Arnold, ”A New Method for Reducing Boundary Artifacts in Block−Based Wavelet Image Compression,” in VCIP 2000, K. N. Ngan, T. Sikora, M−T Sun Eds., Proc. of SPIE Vol. 4067, pp. 1290−1295, 20−23 June 2000, Perth, Australia」にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸張後の画像においてタイルの境界が不連続となるという問題がある。
【0008】
そこで、このような問題を解決すべく、タイル境界の近傍のみに均一なローパスフィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【0009】
しかしながら、上述したような技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、ローパスフィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【0010】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【0011】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【0012】
【課題を解決するための手段】
請求項1記載の発明の画像復号装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号装置において、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、このタイル境界平滑化手段では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【0013】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0014】
請求項2記載の発明は、請求項1記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0015】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0016】
請求項3記載の発明は、請求項2記載の画像復号装置において、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0017】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0018】
請求項4記載の発明は、請求項1記載の画像復号装置において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにした。
【0019】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0020】
請求項5記載の発明は、請求項1ないし4の何れか一記載の画像復号装置において、タイル境界を限定する補正タイル境界限定手段を備え、この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにした。
【0021】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0022】
請求項6記載の発明は、請求項5記載の画像復号装置において、前記補正タイル境界限定手段により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0023】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0024】
請求項7記載の発明の画像処理装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を記憶する符号列記憶部に記憶された圧縮符号のうち、復号対象となる圧縮符号の符号量を指定する復号量指定手段と、この復号量指定手段により指定された符号量だけ前記符号列記憶部に記憶された圧縮符号を復号する請求項1ないし6の何れか一記載の画像復号装置と、この画像復号装置により指定された符号量だけ復号された圧縮符号に基づく画像を表示装置に表示させる画像表示装置と、を備える。
【0025】
したがって、請求項1ないし6の何れか一記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【0026】
請求項8記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号の復号をコンピュータに実行させるプログラムであって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、このタイル境界平滑化機能では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を前記コンピュータに制御させる。
【0027】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0028】
請求項9記載の発明は、請求項8記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0029】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0030】
請求項10記載の発明は、請求項9記載のプログラムにおいて、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0031】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0032】
請求項11記載の発明は、請求項8記載のプログラムにおいて、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにした。
【0033】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0034】
請求項12記載の発明は、請求項8ないし11の何れか一記載のプログラムにおいて、タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにした。
【0035】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0036】
請求項13記載の発明は、請求項12記載のプログラムにおいて、前記補正タイル境界限定機能により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0037】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0038】
請求項14記載の発明の記憶媒体は、請求項8ないし13のいずれか一記載のプログラムを記憶している。
【0039】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項8ないし13のいずれか一記載の発明と同様の作用を得ることが可能になる。
【0040】
請求項15記載の発明の画像復号方法は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号方法であって、ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、このタイル境界平滑化工程では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御する。
【0041】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることが可能となる。
【0042】
請求項16記載の発明は、請求項15記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くする。
【0043】
したがって、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【0044】
請求項17記載の発明は、請求項16記載の画像復号方法において、前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出する。
【0045】
したがって、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなることにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【0046】
請求項18記載の発明は、請求項15記載の画像復号方法において、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行わないようにした。
【0047】
したがって、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0048】
請求項19記載の発明は、請求項15ないし18の何れか一記載の画像復号方法において、タイル境界を限定する補正タイル境界限定工程を含み、この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにした。
【0049】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0050】
請求項20記載の発明は、請求項19記載の画像復号方法において、前記補正タイル境界限定工程により限定されるタイル境界は、ROI(Region Of Interest)領域内である。
【0051】
したがって、ROI領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0052】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【0053】
図1は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105の各機能ブロックにより構成されている。
【0054】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を用いているのに対し、この階層符号化アルゴリズムでは、2次元ウェーブレット変換・逆変換部102において、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でDWTが採用された大きな理由の一つとなっている。
【0055】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部105の機能ブロックが追加されていることである。このタグ処理部105で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる(後述する図3参照)。
【0056】
原画像の入出力部分には、色空間変換・逆変換101が接続される場合が多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【0057】
次に、JPEG2000アルゴリズムについて説明する。
【0058】
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント111(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする(図2の例では、各コンポーネント111が縦横4×4、合計16個の矩形のタイル112に分割されている)。このような個々のタイル112(図2の例で、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15)が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル112ごとに、独立に行われる。
【0059】
画像データの符号化時には、各コンポーネント111の各タイル112のデータが、図1の色空間変換・逆変換部101に入力され、色空間変換を施された後、2次元ウェーブレット変換部102で2次元ウェーブレット変換(順変換)が施されて、周波数帯に空間分割される。
【0060】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。図3では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を3としたとき、網掛けで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0061】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1に示す量子化・逆量子化部103で対象ビット周辺のビットからコンテキストが生成される。
【0062】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0063】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0064】
ここで、図5はビットプレーンに順位付けする手順の一例を示す説明図である。図5に示すように、この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号0から3まで、コード・ブロックが番号0から3まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5,3)フィルタでウェーブレット変換を行い、デコンポジション・レベル1のウェーブレット係数値を求めている。
【0065】
また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤ」構成の概念の一例を示す説明図も図5に併せて示す。変換後のコード・ブロックは、サブバンド(1LL,1HL,1LH,1HH)に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【0066】
レイヤの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ0,1,2,3は、各々、1,3,1,3のビットプレーンから成っている。そして、LSB(Least Significant Bit:最下位ビット)に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、MSB(Most Significant Bit:最上位ビット)に近いレイヤは最後まで量子化されずに残ることになる。LSBに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0067】
図1に示すエントロピー符号化・復号化部104では、コンテキストと対象ビットから確率推定によって、各コンポーネント111のタイル112に対する符号化を行う。こうして、原画像の全てのコンポーネント111について、タイル112単位で符号化処理が行われる。最後にタグ処理部105は、エントロピー符号化・復号化部104からの全符号化データを1本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【0068】
図6には、この符号列データの1フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ(bit stream)の先頭にはヘッダ(メインヘッダ(Main header)、タイル境界位置情報等であるタイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ(Main header)には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。
【0069】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント111の各タイル112の符号列データから画像データを生成する。この場合、タグ処理部105は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント111の各タイル112の符号列データに分解し、その各コンポーネント111の各タイル112の符号列データ毎に復号化処理(伸長処理)を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部103で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部104で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部102で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部101によって元の表色系の画像データに変換される。
【0070】
以上が、「JPEG2000アルゴリズム」の概要である。
【0071】
以下、本発明の第一の実施の形態について説明する。
【0072】
図7は、本発明が適用される画像処理装置1を含むシステムを示すシステム構成図、図8は画像処理装置1の機能ブロック図である。図7に示すように、本発明が適用される画像処理装置1は、例えばパーソナルコンピュータであり、インターネットであるネットワーク5を介して各種画像データを記憶保持するサーバコンピュータSに接続可能とされている。
【0073】
本実施の形態においては、サーバコンピュータSに記憶保持されている画像データは、「JPEG2000アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図9に示すような二次元に分割された分割画像を圧縮符号化して一次元に並べることにより、図10に示すような構成になる。図10において、SOCは、コードストリームの開始を示すマーカセグメントである。また、MHは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。MHに続くデータは、各タイルを符号化したデータであり、図10では図9に示すタイルの番号に従って主走査方向/副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるEOCマーカは、圧縮符号の最後であることを示すマーカセグメントである。
【0074】
そして、図8に示すように、画像処理装置1は、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を伸長(復号)して画像の画像データとする画像復号装置である画像伸長装置2と、この伸長後の画像データによる画像を表示する画像表示装置3と、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を記憶する符号列記憶部4とを備えている。符号列記憶部4は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【0075】
図11は、画像処理装置1のハードウェア構成を概略的に示すブロック図である。図11に示すように、画像処理装置1は、コンピュータの主要部であって各部を集中的に制御するCPU(Central Processing Unit)6を備えている。このCPU6には、BIOSなどを記憶した読出し専用メモリであるROM(ReadOnly Memory)7と、各種データを書換え可能に記憶するRAM(Random Access Memory)8とがバス9で接続されている。RAM8は、各種データを書換え可能に記憶する性質を有していることから、CPU6の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【0076】
さらにバス9には、符号列記憶部4として機能するHDD(Hard Disk Drive)10と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてCD(Compact Disc)−ROM11を読み取るCD−ROMドライブ12と、画像処理装置1とネットワーク5との通信を司る通信制御装置13と、キーボードやマウスなどの入力装置14と、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)である表示装置15とが、図示しないI/Oを介して接続されている。
【0077】
そして、ネットワーク5を介してサーバコンピュータSからダウンロードした圧縮符号(図10参照)は、符号列記憶部4として機能するHDD10に格納されることになる。
【0078】
また、図11に示すCD−ROM11は、この発明の記憶媒体を実施するものであり、OS(Operating System)や各種コンピュータソフトウェアが記憶されている。CPU6は、CD−ROM11に記憶されているコンピュータソフトウェアをCD−ROMドライブ12で読み取り、HDD10にインストールする。
【0079】
このような構成の画像処理装置1のHDD10には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてCPU6が実行する処理により、画像伸長装置2の機能を実現する。
【0080】
なお、記憶媒体としては、CD−ROM11のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置13を介してインターネットなどのネットワーク5からコンピュータソフトウェアをダウンロードし、HDD10にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0081】
ここで、画像処理装置1の各部の動作について図8を参照しつつ簡単に説明する。ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)は、符号列記憶部4に格納され、また、画像伸長装置2で伸長処理される。そして、画像伸長装置2で伸長処理されて生成された画像の画像データは、画像表示装置3に出力され、この伸長後の画像データによる画像が表示装置15に表示される。
【0082】
続いて、本発明の主要部分である画像伸長装置2について詳述する。ここで、図12は画像伸長装置2の機能ブロック図である。図12に示すように、CPU6はコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、画像伸長装置2は、復号量指定手段20、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、タイル境界平滑化手段27の各機能を実現する。なお、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25で実現される機能については、図1で示した空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105で説明したので、ここでの説明は省略する。
【0083】
復号量指定手段20は、復号対象となる圧縮符号の符号量を指定する機能を発揮するものである。具体的には、復号量指定手段20は、図13に示すような画質指定画面Xを表示装置15に表示する。画質指定画面Xには、表示装置15に表示する所定の圧縮符号に基づく画像についての画質を、3段階の画質(高画質、普通画質、低画質)から選択させるためのラジオボタンBが設けられている。そして、操作者が、入力装置14を操作して一のラジオボタンBを指定した後、OKボタンAを操作することにより、指定された画質に基づいて復号対象となる圧縮符号の符号量が指定される。このようにして復号対象となる圧縮符号の符号量が指定されると、指定された符号量だけ復号処理される圧縮符号がタグ処理手段21に出力されるとともに、所定の圧縮符号の全符号量及び復号対象となる圧縮符号の符号量がタイル境界制御手段26に出力される。
【0084】
タイル境界制御手段26は、タイル境界平滑化手段27によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段26には、色空間逆変換手段25によって得られたRGBデータが入力されるとともに、復号量指定手段20から出力された圧縮符号の全符号量及び復号対象となる圧縮符号の符号量が入力される。
【0085】
タイル境界の近傍の平滑化処理が必要であるか否かは、圧縮符号の全符号量に対する復号された圧縮符号の符号量の割合に基づいて判定される。ここで、図14は圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。前述したように、JPEG2000では符号の一部を取り出して復号することができる。このように符号の一部を取り出して復号する方法としては、L(レイヤ)、R(空間解像度レベル)、P(位置)、C(色成分)の四つの優先度に応じたLRCP,RLCP,RPCL,PCRL,CPRLなどの方法があるが、ここでは、LRCPで符号の一部を取り出すものとする。LRCPでは、復号される符号量が小さいほど圧縮率の大きな画像が復号され、符号量が大きいほど圧縮率の小さな画像が復号される。
【0086】
すなわち、全符号量に対する復号化される符号量の割合Rは、
R=Decode/Code
(Decode:復号される符号量、Code:全符号量)
で算出される。そして、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが所定の閾値(例えば、0.2)よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが小さい画像では、圧縮率が大きいためにタイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【0087】
これにより、タイル境界制御手段26は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られたRGBデータを出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段25によって得られたRGBデータをそのまま画像表示装置3に出力する。
【0088】
タイル境界平滑化手段27は、色空間逆変換手段25によって得られたRGBデータに対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のためのローパスフィルタの強度を圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rに応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【0089】
ここで、タイル境界平滑化手段27における処理の具体例を示す。図15はタイル境界平滑化手段27における処理の一例を示す説明図である。図15に示すように、タイル境界平滑化手段27は、タイル境界の近傍の画素(図15中、タイル境界画素を含む網掛け領域の画素)に対してローパスフィルタをかける。
【0090】
ここで、図16は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図16に示すように、縦方向タイル境界a(図15参照)に対しては、縦方向タイル境界aに垂直なローパスフィルタ(1次元の横長のフィルタ)F1をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0091】
図17は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図17に示すように、横方向タイル境界b(図15参照)に対しては、横方向タイル境界bに垂直なローパスフィルタ(1次元の縦長のフィルタ)F2をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0092】
図18は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図18に示すように、縦方向タイル境界aと横方向タイル境界bとの交点の近傍に対しては、十字型のローパスフィルタF3をかけることにより、縦方向タイル境界aと横方向タイル境界bとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分をともに落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0093】
ところで、ローパスフィルタF1,F2,F3のフィルタ中心の重み付けの係数mは復号化される符号量に応じて可変制御される。ローパスフィルタの中心の重み付けの係数mは、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rに応じて、
m=32*R
という式に基づいて制御する。この制御例はあくまで一例であり、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合Rが大きくなるほど、ローパスフィルタの中心の重み付けの係数mの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【0094】
ここに、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【0095】
なお、本実施の形態においては、「JPEG2000アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、圧縮符号にタイル境界位置情報が含まれるような画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【0096】
また、本実施の形態においては、符号列記憶部4に記憶されたサーバコンピュータSからダウンロードした圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段20により指定するようにしたが、これに限るものではない。例えば、サーバコンピュータSの符号列記憶部(図示せず)に記憶された圧縮符号について、復号対象となる圧縮符号の符号量を復号量指定手段20により指定し、復号量指定手段20により指定された符号量だけサーバコンピュータSの符号列記憶部に記憶された圧縮符号をダウンロードするようにしても良い。
【0097】
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態とは、画像伸長装置2の機能が異なるものである。概略的には、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【0098】
図19は本実施の形態の画像伸長装置2の機能ブロック図である。図19に示すように、CPU6はコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、画像伸長装置2は、復号量指定手段20、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、補正タイル境界限定手段28、タイル境界平滑化手段27の各機能を実現する。
【0099】
補正タイル境界限定手段28は、タイル境界平滑化手段27においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段28には、色空間逆変換手段25によって得られ、タイル境界制御手段26でタイル境界の近傍の平滑化処理が必要であると判定されたRGBデータが入力される。
【0100】
ここで、図20及び図21は、ROI(Region Of Interest)領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このROI領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【0101】
図20は、ROI領域がタイル境界に沿った領域である場合について示すものである。図20(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図20(b)に点線で示す部分に設定する。図20(b)に太線で示すROI境界部にはローパスフィルタをかけない。
【0102】
図21は、ROI領域がタイル境界に沿っていない領域である場合について示すものである。図21(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図21(b)に点線で示す部分に設定する。タイル境界画素がROI内部か否かを演算によって算出し、該タイル境界画素がROI内部であればその画素にローパスフィルタをかける。該タイル境界画素がROI外部であれば、その画素にはローパスフィルタをかけない。
【0103】
なお、本実施の形態では、ROI内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【0104】
これにより、補正タイル境界限定手段28は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られたRGBデータを出力する。
【0105】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0106】
なお、各実施の形態においては、画像処理装置1としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末(PDA)や携帯電話などを画像処理装置1として適用することもできる。
【0107】
【発明の効果】
請求項1,8,15記載の発明によれば、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、復号対象となる圧縮符号の符号量に応じて最適なローパスフィルタがかけられるため、品質の良い再生画像を得ることができる。
【0108】
請求項2,9,16記載の発明によれば、復号化される符号量の小さい画像は圧縮率が大きいのでタイル境界が目立ちやすいことから、強いローパスフィルタをかけ、逆に符号量の大きい画像は圧縮率が小さいのでタイル境界歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【0109】
請求項3,10,17記載の発明によれば、ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出することにより、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも小さくなるので、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、ローパスフィルタの強度を強くすることができる。
【0110】
請求項4,11,18記載の発明によれば、圧縮符号の全符号量に対する復号化される圧縮符号の符号量の割合が所定の閾値よりも大きい画像では、圧縮率が小さいためにタイル境界の歪みが目立たない程度の圧縮率であると判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0111】
請求項5,12,19記載の発明によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0112】
請求項6,13,20記載の発明によれば、ROI領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0113】
請求項7記載の発明によれば、請求項1ないし6の何れか一記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【0114】
請求項14記載の発明によれば、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項8ないし13のいずれか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図1】本実施の形態の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図2】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図4】プレシンクトを示す説明図である。
【図5】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図6】符号列データの1フレーム分の概略構成を示す説明図である。
【図7】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図8】画像処理装置の機能ブロック図である。
【図9】二次元に分割された分割画像の一例を示す説明図である。
【図10】その分割画像に基づいて「JPEG2000アルゴリズム」に従って生成された圧縮符号を示す説明図である。
【図11】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図12】画像伸長装置の機能ブロック図である。
【図13】画質指定画面を示す正面図である。
【図14】圧縮符号の全符号量に対する復号される圧縮符号の符号量の割合を示す説明図である。
【図15】タイル境界平滑化手段における処理の一例を示す説明図である。
【図16】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図17】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図18】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図19】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図20】ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図21】ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
1 画像処理装置
2 画像復号装置
3 画像表示装置
4 符号列記憶部
11 記憶媒体
15 表示装置
27 タイル境界平滑化手段
20 復号量指定手段
28 補正タイル境界限定手段
Claims (20)
- 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号装置において、
ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
このタイル境界平滑化手段では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項1記載の画像復号装置。
- 前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出することを特徴とする請求項2記載の画像復号装置。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項1記載の画像復号装置。
- タイル境界を限定する補正タイル境界限定手段を備え、
この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項1ないし4の何れか一記載の画像復号装置。 - 前記補正タイル境界限定手段により限定されるタイル境界は、ROI(Region Of Interest)領域内であることを特徴とする請求項5記載の画像復号装置。
- 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を記憶する符号列記憶部に記憶された圧縮符号のうち、復号対象となる圧縮符号の符号量を指定する復号量指定手段と、
この復号量指定手段により指定された符号量だけ前記符号列記憶部に記憶された圧縮符号を復号する請求項1ないし6の何れか一記載の画像復号装置と、
この画像復号装置により指定された符号量だけ復号された圧縮符号に基づく画像を表示装置に表示させる画像表示装置と、
を備えることを特徴とする画像処理装置。 - 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号の復号をコンピュータに実行させるプログラムであって、
ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
このタイル境界平滑化機能では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項8記載のプログラム。
- 前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出することを特徴とする請求項9記載のプログラム。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項8記載のプログラム。
- タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、
この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項8ないし11の何れか一記載のプログラム。 - 前記補正タイル境界限定機能により限定されるタイル境界は、ROI(Region Of Interest)領域内であることを特徴とする請求項12記載のプログラム。
- 請求項8ないし13のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
- 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に符号化した圧縮符号を復号する画像復号方法であって、
ローパスフィルタを施して復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
このタイル境界平滑化工程では、圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合に応じ、前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項15記載の画像復号方法。
- 前記ローパスフィルタのフィルタ中心の重み付けの係数mを、下記の式
m=32*R
(R:圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合)
に基づいて算出することを特徴とする請求項16記載の画像復号方法。 - 圧縮符号の全符号量に対する復号対象となる圧縮符号の符号量の割合が所定の閾値よりも大きい場合には、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項15記載の画像復号方法。
- タイル境界を限定する補正タイル境界限定工程を含み、
この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項15ないし18の何れか一記載の画像復号方法。 - 前記補正タイル境界限定工程により限定されるタイル境界は、ROI(Region Of Interest)領域内であることを特徴とする請求項19記載の画像復号方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002208107A JP2004056260A (ja) | 2002-07-17 | 2002-07-17 | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 |
US10/600,333 US7330596B2 (en) | 2002-07-17 | 2003-06-23 | Image decoding technique for suppressing tile boundary distortion |
US11/980,580 US7522778B2 (en) | 2002-07-17 | 2007-10-31 | Image decoding technique for suppressing tile boundary distortion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002208107A JP2004056260A (ja) | 2002-07-17 | 2002-07-17 | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004056260A true JP2004056260A (ja) | 2004-02-19 |
Family
ID=31932343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002208107A Pending JP2004056260A (ja) | 2002-07-17 | 2002-07-17 | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004056260A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049664A (ja) * | 2005-07-15 | 2007-02-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
JP2007104635A (ja) * | 2005-09-12 | 2007-04-19 | Fuji Xerox Co Ltd | 画像形成システム、画像転送装置及び画像転送システム |
US7609899B2 (en) | 2004-05-28 | 2009-10-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and recording medium thereof to smooth tile boundaries |
US7823703B2 (en) | 2005-03-02 | 2010-11-02 | Mitsubishi Electric Corporation | Image monitoring apparatus for elevator |
JP2017098898A (ja) * | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム並びに記憶媒体 |
-
2002
- 2002-07-17 JP JP2002208107A patent/JP2004056260A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7609899B2 (en) | 2004-05-28 | 2009-10-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and recording medium thereof to smooth tile boundaries |
US7823703B2 (en) | 2005-03-02 | 2010-11-02 | Mitsubishi Electric Corporation | Image monitoring apparatus for elevator |
US7823704B2 (en) | 2005-03-02 | 2010-11-02 | Mitsubishi Electric Corporation | Image monitoring apparatus for remote monitoring of an elevator |
US7832527B2 (en) | 2005-03-02 | 2010-11-16 | Mitsubishi Electric Corporation | Image monitoring apparatus for detecting violent behavior in an elevator |
US7837013B2 (en) | 2005-03-02 | 2010-11-23 | Mitsubishi Electric Corporation | Image monitoring device for elevator with image recording |
JP2007049664A (ja) * | 2005-07-15 | 2007-02-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
JP2007104635A (ja) * | 2005-09-12 | 2007-04-19 | Fuji Xerox Co Ltd | 画像形成システム、画像転送装置及び画像転送システム |
US8239577B2 (en) | 2005-09-12 | 2012-08-07 | Fuji Xerox Co., Ltd. | Image forming system, image transmitting apparatus, and image transmitting system including a speed priority operation mode and a quality priority operation mode |
JP2017098898A (ja) * | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム並びに記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7330596B2 (en) | Image decoding technique for suppressing tile boundary distortion | |
US7302104B2 (en) | Smoothing tile boundaries of images encoded and decoded by JPEG 2000 | |
JP4293740B2 (ja) | 画像圧縮装置 | |
US7352908B2 (en) | Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program | |
JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
JP2004056260A (ja) | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 | |
JP4145086B2 (ja) | 画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法 | |
JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
JP4723543B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP4111273B2 (ja) | 画像復号装置、プログラム、記憶媒体及び画像復号方法 | |
JP4118049B2 (ja) | 画像処理装置及び方法 | |
JP2004064190A (ja) | 画像処理装置、方法、プログラムおよび記録媒体 | |
JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
JP4201163B2 (ja) | 画像処理装置、方法、プログラムおよび記録媒体 | |
JP4067460B2 (ja) | 画像復号装置、プログラム、記憶媒体及び画像復号方法 | |
JP2004096695A (ja) | 画像処理装置、画像表示装置、プログラム、記憶媒体及び画像処理方法 | |
JP2004112566A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 | |
JP2004064180A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 | |
JP4010957B2 (ja) | 画像処理装置、プログラム、記憶媒体および画像形成装置 | |
JP4093870B2 (ja) | 画像処理装置、プログラムおよび記憶媒体 | |
JP4117886B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP2004056632A (ja) | 動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法 | |
JP2004336405A (ja) | 動画像処理装置、プログラム、記憶媒体および動画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041006 |