JP2003199106A

JP2003199106A - 画像処理装置

Info

Publication number: JP2003199106A
Application number: JP2001400647A
Authority: JP
Inventors: Toru Suino; 水納　　亨
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-12-28
Filing date: 2001-12-28
Publication date: 2003-07-11
Anticipated expiration: 2021-12-28
Also published as: JP4118049B2

Abstract

(57)【要約】【課題】タイル境界近傍の画素に対し、符号化時にお
けるウェーブレット変換の階層数に応じて最適な範囲を
指定してローパスフィルタをかけることにより、タイル
境界歪みを抑制する。【解決手段】画像処理装置は、タグ処理部７１、エン
トロピー復号化部７２、逆量子化部７３、２次元ウェー
ブレット逆変換部７４、色空間逆変換部７５、タイル境
界平滑化部７６を有する。画像処理装置は、エントロピ
ー復号化部７２により復号化した画像データを逆量子化
し、逆量子化した画像データをウェーブレット逆変換し
た後に、色空間逆変換を行ってＲＧＢデータに変換す
る。タイル境界平滑化部７６は、前記色空間逆変換され
たＲＧＢデータの画素のうち、タイル境界からの画素間
距離の近い画素に対し、符号化時におけるウェーブレッ
ト変換の階層数に応じてローパスフィルタをかける範囲
を指定し、指定した範囲に適応的にローパスフィルタを
かける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、よ
り詳細には、デジタルカメラ、インターネット、医療用
画像、衛星通信用画像などの分野における画像データの
圧縮・伸長に応用可能な画像処理装置に関する。

【０００２】

【従来の技術】従来、例えば、特開平１１−２８５００
６号公報（画像符号化装置及び画像復号装置）に記載の
発明は、Ｗａｖｅｌｅｔ変換時にタイル周辺データを外
挿し、管理情報を生成し符号データに添付し、復号化時
に管理情報を参照して復号するものである。一方、本発
明は、復号（伸長）された画像データに対して、タイル
境界の近傍にローパスフィルタをかけるものであり、符
号化（圧縮）時には何もしていない。よって、符号デー
タに余分なデータが付与されてしまうことがない。ま
た、本発明は、上記公報記載の発明と異なり、符号化時
のデコンポジションレベル（Ｗａｖｅｌｅｔ変換の階層
数）に応じて、ローパスフィルタのマスクサイズを変更
したり、ローパスフィルタをかける位置を制御したりす
ることができる。

【０００３】また、特許第２９４０４２２号（変換符号
化された画像データの復号化時に生じるブロック歪みの
低減方法及び変換符号化された画像データの復号化装
置）に記載の発明は、隣接ブロックの量子化度合いの差
で適応的にローパスフィルタをかけるというものであ
る。一方、本発明は、復号化された画像に対し、ウェー
ブレット変換の階層数により適応的にローパスフィルタ
をかけるものであり、隣接ブロックの量子化度合いの差
によるものではなく、上記公報記載の発明とはその構成
が異なる。

【０００４】特開平０５−０１４７３５号公報（画像処
理装置）に記載の発明には、ブロック境界を判別する手
段を有し、該判別されたブロック境界に対し、均一な平
滑化フィルタをかけるものが開示されている。一方、本
発明は、ブロック境界情報は圧縮された符号に埋め込ま
れており、ブロック境界を判別する必要がない。かつ、
本発明では画素間距離またはエッジ量に応じて適応的な
平滑化フィルタをかける構成となっており、均一な平滑
化を行うものではなく、上記公報記載の発明とはその構
成が異なる。

【０００５】

【発明が解決しようとする課題】画像入力技術およびそ
の出力技術の進歩により、画像に対して高精細化の要求
が、近年非常に高まっている。例えば、画像入力装置と
して、デジタルカメラ（ＤｉｇｉｔａｌＣａｍｅｒａ
（ＤＣ））を例にあげると、３００万以上の画素数を持
つ高性能な電化結合素子（ＣＣＤ）の低価格化が進み、
普及価格帯の製品においても広く用いられるようになっ
てきた。そして、５００万画素の製品も間近である。そ
して、このピクセル数の増加傾向は、なおしばらくは続
くと言われている。

【０００６】一方、画像出力・表示装置に関しても、例
えば、レーザプリンタ、インクジェットプリンタ、昇華
型プリンタ等のハード・コピー分野における製品、そし
て、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プ
ラズマ表示デバイス）等のフラットパネルディスプレイ
のソフト・コピー分野における製品の高精細化・低価格
化は目を見張るものがある。こうした高性能・低価格な
画像入出力製品の市場投入効果によって、高精細画像の
大衆化が始まっている。今後はあらゆる場面で、高精細
画像の需要が高まると予想されている。実際、パーソナ
ル・コンピュータ（ＰＣ）やインターネットを始めとす
るネットワークに関連する技術の発達は、こうしたトレ
ンドをますます加速させている。特に最近は、携帯電話
やノートパソコン等のモバイル機器の普及速度が非常に
大きく、高精細な画像を、あらゆる地点から通信手段を
用いて伝送あるいは受信する機会が急増している。

【０００７】これらを背景に、高精細画像の取扱いを容
易にする画像圧縮伸長技術に対する高性能化あるいは多
機能化の要求は、今後ますます強くなっていくことは必
至と思われる。こうした要求を満たす圧縮方式の一つと
して、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ
２０００がある。このＪＰＥＧ２０００では、画像を一
般に矩形をした領域（タイル）によって分割する。そし
て、個々のタイルが圧縮伸長プロセスを実行する際の基
本単位となる。従って、圧縮伸長動作はタイル毎に独立
に行なわれる。この際、圧縮率の高い条件で圧縮伸長処
理を行うと、「タイルの境界」が目立ってくるという問
題が発生する。従来、この問題を解決するために、隣接
するタイル同士で境界を互いにオーバーラップさせるこ
とが提案されている。しかしながら、ＪＰＥＧ２０００
のベースラインでは、隣接するタイル境界を重複させな
いことになっている。

【０００８】また、別の従来発明では、タイル境界の近
傍にのみに均一なローパスフィルタをかけることによ
り、タイル境界を目立たなくするというものがある。こ
れは、タイル境界歪み抑制には効果があるが、タイル境
界のエッジ度合いが強い場合には、ローパスフィルタを
かけたことにより、タイル境界の近傍でエッジがぼやけ
て帯状の画像品質劣化が現れるという問題点を有してい
た。

【０００９】本発明は、上述のごとき実情に鑑みてなさ
れたものであり、タイル境界の近傍にのみローパスフィ
ルタをかけることにより、タイル境界の歪みを目立たな
くすること、を目的とする。

【００１０】また、ウェーブレット変換のデコンポジシ
ョンレベル（階層数）が大きくなるにつれて、ローパス
フィルタのマスクサイズを大きくしたり、ローパスフィ
ルタをかけるタイル境界からの画素間距離を大きくする
ことにより、階層数に応じて最適なタイル境界歪みの抑
制を行うこと、を目的とする。

【００１１】さらに、本発明は、タイル境界歪みを抑制
しつつ、タイル境界付近でのエッジ量が大きい場合にも
帯状のぼやけた画像を発生させないように制御するこ
と、を目的とする。

【００１２】具体的には、タイル境界からの画素間距離
に応じて、ローパスフィルタの平滑化度を制御する。例
えば、タイル境界からの画素間距離が大きくなるにつれ
てローパスフィルタの平滑化度を徐々に弱くする。ま
た、タイル境界の近傍の画素に対してエッジ量を算出
し、そのエッジ量に応じてローパスフィルタの平滑化度
を制御する。例えば、エッジ量が大きくなるにつれてロ
ーパスフィルタの平滑化度を徐々に弱くする。さらに、
タイル境界からの画素間距離とその画素でのエッジ量に
応じてローパスフィルタを制御する。つまり、タイル境
界から離れるにつれて、また、エッジ量が大きくなるに
つれてローパスフィルタの平滑化度が弱くなるように制
御する。

【００１３】

【課題を解決するための手段】請求項１の発明は、画像
をタイルに分割し、タイル単位でウェーブレット変換を
行い、該ウェーブレット変換された信号を量子化し、該
量子化された信号を符号化する手段を有する画像圧縮装
置により作られた符号に対し、該符号を復号化する手段
と、該復号化された信号を逆量子化する手段と、該逆量
子化された信号をウェーブレット逆変換する手段を有す
る画像処理装置において、前記ウェーブレット逆変換さ
れた後の画像信号に対し、タイル境界からの画素間距離
の近い画素に対しローパスフィルタをかけることを特徴
としたものである。

【００１４】請求項２の発明は、請求項１の発明におい
て、前記画像圧縮装置により作られた符号のウェーブレ
ット変換の階層数を大きくした場合、前記ローパスフィ
ルタのマスクサイズを大きくすることを特徴としたもの
である。

【００１５】請求項３の発明は、請求項１または２の発
明において、前記画像圧縮装置により作られた符号のウ
ェーブレット変換の階層数を大きくした場合、前記ロー
パスフィルタをかける画素数を増やすことを特徴とした
ものである。

【００１６】請求項４の発明は、請求項３の発明におい
て、前記画像圧縮装置により作られた符号のウェーブレ
ット変換の階層数を大きくした場合、前記ローパスフィ
ルタをかける画素のタイル境界からの画素間距離を大き
くすることを特徴としたものである。

【００１７】請求項５の発明は、画像をブロックに分割
し、ブロック毎に圧縮・伸長した画像データに対し、適
応的ローパスフィルタを施しブロック歪みを補正する手
段を有する画像処理装置において、圧縮された信号には
ブロック境界の位置を特定する情報が含まれており、該
ブロック境界からの画素間距離に応じてローパスフィル
タの強度を制御することを特徴としたものである。

【００１８】請求項６の発明は、画像をブロックに分割
し、ブロック毎に圧縮・伸長した画像データに対し、適
応的ローパスフィルタを施しブロック歪みを補正する手
段を有する画像処理装置において、圧縮された信号には
ブロック境界の位置を特定する情報が含まれており、該
ブロック境界近傍画素におけるエッジ量に応じてローパ
スフィルタの強度を制御することを特徴としたものであ
る。

【００１９】請求項７の発明は、画像をブロックに分割
し、ブロック毎に圧縮・伸長した画像データに対し、適
応的ローパスフィルタを施しブロック歪みを補正する手
段を有する画像処理装置において、圧縮された信号には
ブロック境界の位置を特定する情報が含まれており、該
ブロック境界からの画素間距離と、該ブロック境界近傍
画素におけるエッジ量とに応じてローパスフィルタの強
度を制御することを特徴としたものである。

【００２０】

【発明の実施の形態】（実施例１）図１は、ＪＰＥＧ２
０００アルゴリズムの基本を説明するためのブロック図
である。ＪＰＥＧ２０００のアルゴリズムは、色空間変
換・逆変換部１１、２次元ウェーブレット変換・逆変換
部１２、量子化・逆量子化部１３、エントロピー符号化
・復号化部１４、タグ処理部１５で構成されている。

【００２１】図２は、タイル分割されたカラー画像の各
コンポーネントの例を示す図である。カラー画像は、一
般に、図２に示すように、原画像の各コンポーネント２
１，２２，２３（ここではＲＧＢ原色系）が、矩形をし
た領域（タイル）２１_t，２２_t，２３_tによって分割さ
れる。そして、個々のタイル、例えば、Ｒ００，Ｒ０
１，・・・，Ｒ１５／Ｇ００，Ｇ０１，・・・，Ｇ１５
／Ｂ００，Ｂ０１，・・・，Ｂ１５が、圧縮伸長プロセ
スを実行する際の基本単位となる。従って、圧縮伸長動
作は、コンポーネント毎、そしてタイル毎に、独立に行
なわれる。

【００２２】符号化時には、各コンポーネントの各タイ
ルのデータが、図１に示した色空間変換部１１に入力さ
れ、色空間変換を施されたのち、２次元ウェーブレット
変換部１２で２次元ウェーブレット変換（順変換）が適
用されて周波数帯に空間分割される。

【００２３】図３は、デコンポジションレベル数が３の
場合の、各デコンポジションレベルにおけるサブバンド
の一例を示す図である。すなわち、原画像のタイル分割
によって得られたタイル原画像（０ＬＬ）（デコンポジ
ションレベル０（３０））に対して、２次元ウェーブレ
ット変換を施し、デコンポジションレベル１（３１）に
示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を
分離する。そして引き続き、この階層における低周波成
分１ＬＬに対して、２次元ウェーブレット変換を施し、
デコンポジションレベル２（３２）に示すサブバンド
（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次
同様に、低周波成分２ＬＬに対しても、２次元ウェーブ
レット変換を施し、デコンポジションレベル３（３３）
に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）
を分離する。

【００２４】更に図３では、各デコンポジションレベル
において符号化の対象となるサブバンドを、グレーで表
してある。例えば、デコンポジションレベル数を３とし
た時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３
ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１Ｈ
Ｈ）が符号化対象となり、３ＬＬサブバンドは符号化さ
れない。

【００２５】次いで、指定した符号化の順番で符号化の
対象となるビットが定められ、図１に示した量子化部１
３で対象ビット周辺のビットからコンテキストが生成さ
れる。量子化の処理が終わったウェーブレット係数は、
個々のサブバンド毎に、「プレシンクト」と呼ばれる重
複しない矩形に分割される。これは、インプリメンテー
ションでメモリを効率的に使うために導入されたもので
ある。

【００２６】図４は、プレシンクトとコードブロックの
関係の一例を説明する図で、原画像４０は、デコンポジ
ションレベル１において、タイル４０_t0，タイル４
０_t1，タイル４０_t2，タイル４０_t3の４つのタイルに分
割されている。図４に示すように、一つのプレシンクト
４０_p4は、空間的に一致した３つの矩形領域からなり、
プレシンクト４０_p6も同様である。更に、個々のプレシ
ンクトは、重複しない矩形からなる「コードブロック」
に分けられる。本例では、０〜１１までの１２個のコー
ドブロックに分けられており、例えばコードブロック４
０_b1は、コードブロック番号１を示す。これは、エント
ロピーコーディングを行う際の基本単位となる。

【００２７】ウェーブレット変換後の係数値は、そのま
ま量子化し符号化することも可能であるが、ＪＰＥＧ２
０００では符号化効率を上げるために、係数値を「ビッ
トプレーン」単位に分解し、画素あるいはコードブロッ
ク毎に「ビットプレーン」に順位付けを行うことができ
る。

【００２８】図５は、ビットプレーンに順位付けする手
順の一例を説明するための図である。本例は、原画像５
０（３２×３２画素）を１６×１６画素のタイル４つで
分割した場合（図５に示すタイル５０_t0，タイル５
０_t1，タイル５０_t2，タイル５０ _t3）で、デコンポジシ
ョンレベル１のプレシンクトとコードブロックの大きさ
は、各々８×８画素と４×４画素としている。プレシン
クトとコードブロックの番号は、ラスター順に付けられ
ており、本例ではプレシンクトが番号０から３まで、コ
ードブロックが番号０から３まで割り当てられている。
タイル境界外に対する画素拡張にはミラーリング法を使
い、可逆（５，３）フィルタでウェーブレット変換を行
い、デコンポジションレベル１のウェーブレット係数値
を求めている。

【００２９】また、タイル５０_t0（タイル０）／プレシ
ンクト５０_p3（プレシンクト３）／コードブロック５０
_b3（コードブロック３）について、代表的な「レイヤ
ー」構成の一例を示す概念図を図５に併せて示す。変換
後のコードブロック５０ｗ３は、サブバンド（１ＬＬ，
１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドに
はウェーブレット係数値が割り当てられている。

【００３０】レイヤーの構造は、ウェーブレット係数値
を横方向（ビットプレーン方向）から見ると理解し易
い。１つのレイヤーは任意の数のビットプレーンから構
成される。この例では、レイヤー０、１、２、３は、各
々１、３、１、３つのビットプレーンから成っている。
そして、ＬＳＢに近いビットプレーンを含むレイヤー
程、先に量子化の対象となり、逆に、ＭＳＢに近いレイ
ヤーは最後まで量子化されずに残ることになる。ここで
ＬＳＢに近いレイヤーから破棄する方法は、トランケー
ションと呼ばれ、量子化率を細かく制御することが可能
である。

【００３１】前述の図１に示したエントロピー符号化部
１４では、コンテキストと対象ビットから確率推定によ
って、各コンポーネントのタイルに対する符号化を行
う。こうして、原画像の全てのコンポーネントについ
て、タイル単位で符号化処理が行われる。

【００３２】最後に、タグ処理部１５は、エントロピコ
ーダ部からの全符号化データを１本のコードストリーム
に結合するとともに、それにタグを付加する処理を行
う。図６は、コードストリームの構造の一例を簡単に示
した図で、コードストリーム６０の先頭と各タイルを構
成する部分タイルの先頭にはヘッダ（それぞれ、メイン
ヘッダ６１、タイルパートヘッダ６２）と呼ばれるタグ
情報が付加され、その後に、各タイルの符号化データ
（ビットストリーム６３）が続く。そして、コードスト
リーム６０の終端６４には、再びタグが置かれる。

【００３３】一方、復号化時には、符号化時とは逆に、
各コンポーネントの各タイルのコードストリームから画
像データを生成する。前述した図１を用いて簡単に説明
する。この場合、タグ処理部１５は、外部より入力した
コードストリームに付加されたタグ情報を解釈し、コー
ドストリームを各コンポーネントの各タイルのコードス
トリームに分解し、その各コンポーネントの各タイルの
コードストリーム毎に復号化処理が行われる。コードス
トリーム内のタグ情報に基づく順番で復号化の対象とな
るビットの位置が定められるとともに、逆量子化部１３
で、その対象ビット位置の周辺ビット（既に復号化を終
えている）の並びからコンテキストが生成される。エン
トロピー復号化部１４で、このコンテキストとコードス
トリームから確率推定によって復号化を行い対象ビット
を生成し、それを対象ビットの位置に書き込む。

【００３４】このようにして復号化されたデータは各周
波数帯域毎に空間分割されているため、これを２次元ウ
ェーブレット逆変換部１２で２次元ウェーブレット逆変
換を行うことにより、画像データの各コンポーネントの
各タイルが復元される。復元されたデータは色空間逆変
換部１１によって元の表色系のデータに変換される。

【００３５】また、従来のＪＰＥＧ圧縮伸長形式の場合
は、上記のＪＰＥＧ２０００で述べたタイルを、２次元
離散コサイン変換を行う、一辺が８ピクセルの正方形ブ
ロック、として読み替えればよい。

【００３６】図７は、本発明における画像伸長部の一例
を説明するためのブロック図で、図中、７１はタグ処理
部、７２はエントロピー復号化部、７３は逆量子化部、
７４は２次元Ｗａｖｅｌｅｔ逆変換部、７５は色空間逆
変換部、７６はタイル境界平滑化部である。色空間逆変
換部７５によって得られたＲＧＢデータに対し、タイル
境界平滑化部７６でタイル境界の近傍の画素を平滑化し
て、タイル境界の歪みを目立たなくする。後述する図
８、図９にタイル境界平滑化部７６における処理の具体
例を示す。

【００３７】図８は、３階層のＷａｖｅｌｅｔ変換を用
いた場合のタイル境界平滑化部７６における処理の一例
を示す図である。図８において、例えば、３階層のＷａ
ｖｅｌｅｔ変換を用いて符号化されたデータは、ミラー
リングによりタイル境界から数えてタイルの内側の８画
素（両端１６画素）がその影響を受ける。このため、図
８に示すようにタイル境界画素を含めた８画素（両端１
６画素）に対しローパスフィルタをかける。

【００３８】図９は、２階層のＷａｖｅｌｅｔ変換を用
いた場合のタイル境界平滑化部７６における処理の一例
を示す図である。図９において、例えば、２階層のＷａ
ｖｅｌｅｔ変換を用いて符号化されたデータは、ミラー
リングによりタイル境界から数えてタイルの内側の４画
素（両端８画素）がその影響を受ける。このため、図９
に示すようにタイル境界画素を含めた４画素（両端８画
素）に対しローパスフィルタをかける。これらより、つ
まり、ｎ階層のＷａｖｅｌｅｔ変換を用いて符号化され
たデータは、タイル境界から数えて内側２のｎ乗の画素
までローパスフィルタをかける。

【００３９】以上のように、符号時のＷａｖｅｌｅｔ階
層数に応じてローパスフィルタをかける範囲を最適なも
のにすることが可能になる。また、タイル境界から数え
てタイルの内側何画素までローパスフィルタをかけるか
は、コストや処理時間と画像品質との兼ね合いで調節し
てもよい。さらに、ウェーブレット変換方法に応じてロ
ーパスフィルタを切り換えても良い。例えば、５×３フ
ィルタでのウェーブレット変換と、９×７フィルタでの
ウェーブレット変換があるが、それぞれに周波数特性の
異なるローパスフィルタを施すこともできる。

【００４０】本発明によると、タイル境界の近傍にロー
パスフィルタをかけることにより、タイル境界歪みを抑
制することができるとともに、ローパスフィルタをかけ
る範囲を最適化することが可能となる。

【００４１】（実施例２）図１０は、Ｗａｖｅｌｅｔ変
換の階層数に応じてマスクサイズを可変にしたローパス
フィルタの一例を示す図である。本実施例では、図１０
に示すように、Ｗａｖｅｌｅｔ変換の階層数によって、
ローパスフィルタのマスクサイズを可変にする。例え
ば、図１０（Ａ）に示すように、５階層のＷａｖｅｌｅ
ｔ変換によって生成された符号に対しては、７×５のマ
スクサイズのローパスフィルタを用い、図１０（Ｂ）に
示すように、３階層のＷａｖｅｌｅｔ変換によって生成
された符号に対しては、５×３のマスクサイズのローパ
スフィルタを用いる。これも、階層数が大きくなるにつ
れ、ミラーリングの影響を受けている画素数がタイル境
界の内側に多くなるためである。ここで、本実施例に挙
げたマスクサイズは一つの例であり、タイル境界歪み抑
制に効果的な最適なマスクサイズを適宜選択すればよ
い。

【００４２】（実施例３）図１１は、本発明における画
像伸長部の他の例を説明するためのブロック図で、図
中、８１はタグ処理部、８２はエントロピー復号化部、
８３は逆量子化部、８４は２次元Ｗａｖｅｌｅｔ逆変換
部、８５はタイル境界平滑化部、８６は色空間逆変換部
である。本実施例では、ＲＧＢ信号に変換する前のＹＣ
ｂＣｒ信号で、タイル境界近傍にローパスフィルタをか
ける。この際、輝度信号Ｙにのみローパスフィルタをか
け、Ｃｂ，Ｃｒ信号はスルーにする。これは、タイル境
界歪みは輝度信号Ｙに依存している部分が大きいためで
ある。前述した実施例１や実施例２のように、ＲＧＢ信
号すべてにローパスフィルタをかけないため、処理時間
の短縮が図れる。

【００４３】しかしながら、輝度のみタイル境界歪み抑
制のためのローパスフィルタをかけると境界で色味の連
続性が保てなくなってしまう可能性がある。より高精度
なタイル境界歪み抑制を狙うならば、ＹＣｂＣｒ信号す
べて、または色空間逆変換した後のＲＧＢデータすべて
にローパスフィルタをかけてもよい。さらに、ＹとＣ
ｂ，Ｃｒ、ＧとＲ，Ｂで異なる周波数特性を有するロー
パスフィルタを用いても良い。

【００４４】本発明によると、タイル境界の近傍にロー
パスフィルタをかけることにより、タイル境界歪みを抑
制することができるとともに、復号化に要する時間を短
縮することができるようになる。また、復号化画像の高
品質化を実現することも可能となる。

【００４５】（実施例４）図１２は、圧縮率に応じたロ
ーパスフィルタの一例を示す図である。本実施例では、
圧縮率に応じてローパスフィルタの強度を可変にする。
一般に、圧縮率が大きい画像ほどタイル境界歪みが目立
つ。よって、圧縮率の小さい画像に強いローパスフィル
タをかけると、ローパスフィルタをかけた部分がぼやけ
て目立ってしまう。逆に、圧縮率の大きな画像に弱いロ
ーパスフィルタをかけてもタイル境界歪み抑制の効果を
得ることは難しい。

【００４６】このため、図１２に示すように、圧縮率に
応じてローパスフィルタの強度を可変にする。例えば、
圧縮率１／２０の場合、図１２（Ａ）に示すようなロー
パスフィルタを用いる。圧縮率１／４０の場合、図１２
（Ｂ）に示すようなローパスフィルタを用いる。図１３
は、図１２（Ａ）、（Ｂ）に示したそれぞれのローパス
フィルタの周波数特性を示す図である。図１３（Ａ）
は、図１２（Ａ）に示したローパスフィルタの周波数特
性を示す図で、図１３（Ｂ）は、図１２（Ｂ）に示した
ローパスフィルタの周波数特性を示す図である。いずれ
の周波数帯域、方向においても図１３（Ａ）に示す値の
方が図１３（Ｂ）に示す値よりも大きいので、図１２
（Ａ）に示したローパスフィルタの方が、図１２（Ｂ）
に示したローパスフィルタに比べて弱いローパスフィル
タであることが分かる。

【００４７】本発明によると、タイル境界の近傍にロー
パスフィルタをかけることにより、タイル境界歪みを抑
制することができる。さらに、圧縮率に応じて最適な強
度のローパスフィルタをかけることにより、いかなる圧
縮率においてもタイル境界歪み抑制を実現することがで
きる。

【００４８】（実施例５）図１４は、本発明における画
像伸長部の他の例を説明するためのブロック図で、図
中、９１はタグ処理部、９２はエントロピー復号化部、
９３は逆量子化部、９４は２次元Ｗａｖｅｌｅｔ逆変換
部、９５は色空間逆変換部、９６は補正タイル境界探索
部、９７はタイル境界平滑化部である。本実施例では、
すべてのタイル境界にローパスフィルタをかけるのでは
なく、ローパスフィルタをかけるべきタイル境界を探索
して、そのタイル境界のみにローパスフィルタをかけ
る。後述する図１５，図１６にその代表例を示す。

【００４９】図１５及び図１６は、ＲＯＩ領域内のタイ
ル境界のみにローパスフィルタをかける処理の一例を説
明するための図である。このＲＯＩ領域とは、画像全体
から切り出して拡大したり、他の部分に比べて強調した
りする場合の、画像全体から見たある一部分である。

【００５０】図１５は、ＲＯＩ領域がタイル境界に沿っ
た領域である場合について示すものである。図１５
（Ａ）に示すようにＲＯＩ境界が設定されたら、ローパ
スフィルタをかけるタイル境界は図１５（Ｂ）に示す点
線部に設定する。図１５（Ｂ）に示す太線のＲＯＩ境界
部にはローパスフィルタをかけない。

【００５１】図１６は、ＲＯＩ領域がタイル境界に沿っ
ていない領域である場合について示すものである。図１
６（Ａ）に示すようにＲＯＩ境界が設定されたら、ロー
パスフィルタをかけるタイル境界は図１６（Ｂ）に示す
点線部に設定する。タイル境界画素がＲＯＩ内部か否か
を演算によって算出し、該タイル境界画素がＲＯＩ内部
であればその画素にローパスフィルタをかける。該タイ
ル境界画素がＲＯＩ外部であれば、その画素にはローパ
スフィルタをかけない。

【００５２】本実施例では、ＲＯＩ内部か否かで、ロー
パスフィルタをかけるか否かを判定したが、それ以外に
も、縦または横成分のエッジ量が大きい部分のタイル境
界画素のみにローパスフィルタをかけるという制御を行
ってもよい。

【００５３】本発明によると、ローパスフィルタをかけ
るべきタイル境界画素を制御することにより、例えば、
ＲＯＩ領域の内側のみにローパスフィルタを適用すると
いった制御が可能となる。また、これにより、タイル境
界歪み抑制のための処理時間を短縮することができる。

【００５４】（実施例６）図１７は、タイル境界平滑化
部における処理の一例を説明するための図である。本例
においては、タイル境界の近傍の画素（図１７に示す灰
色の領域の画素）に対してローパスフィルタをかける。
後述する図１９、図２１、図２２において、図１７に示
す点線部を拡大した状態を示す。

【００５５】図１８は、タイル境界からの画素間距離の
算出方法の一例を説明するための図である。図１８に示
す各画素において、上下左右からのタイル境界からの距
離が算出される。それらの最小値を各画素におけるタイ
ル境界からの距離として設定する。

【００５６】図１９は、タイル境界からの画素間距離を
用いた適応的ローパスフィルタ処理の一例を説明するた
めの図である。図１９（Ａ）は、図１７に示した点線部
を拡大した状態を示す図で、タイル境界からの画素間距
離の値が設定されている。図１９（Ｂ）は、適応的ロー
パスフィルタの一例を示す図である。本実施例におい
て、ローパスフィルタは注目画素の位置の係数のみ変化
させる。画素間距離が大きくなるにつれて、徐々にその
係数の値を大きくする。図１９（Ｂ）に示す例では、中
央の係数値：ｍは下記の式（１）で算出される。ｍ＝８＋６４＊ｄ（ｄ：タイル境界からの画素間距離）・・・式（１）これは、タイル境界からの画素間距離：ｄが大きくなる
につれて施すローパスフィルタの平滑化度を弱くするこ
とを意味する。

【００５７】また、本発明の画像処理装置によると、階
層数に応じてローパスフィルタをかけるタイル境界から
の画素間距離のしきい値を制御することができる。例え
ば、３階層のＷａｖｅｌｅｔ変換を用いて符号化された
データは、ミラーリングによりタイル境界の内側８画素
（両端１６画素）がその影響を受ける。このため、前述
の図８に示したごとくのタイル境界の内側８画素（両端
１６画素）に対しローパスフィルタをかける。また、例
えば、２階層のＷａｖｅｌｅｔ変換を用いて符号化され
たデータは、ミラーリングによりタイル境界の内側の４
画素（両端８画素）がその影響を受ける。このため、前
述の図９に示したごとくのタイル境界の内側４画素（両
端８画素）に対しローパスフィルタをかける。つまり、
ｎ階層のＷａｖｅｌｅｔ変換を用いて符号化されたデー
タは、タイル境界の内側２のｎ乗の画素までローパスフ
ィルタをかける。以上のように、符号時のＷａｖｅｌｅ
ｔ階層数に応じてローパスフィルタをかける範囲を最適
にすることができる。

【００５８】また、タイル境界の内側何画素までローパ
スフィルタをかけるかは、コストや処理時間と画像品質
との兼ね合いで調節することもできる。さらに、ウェー
ブレット変換方法に応じてローパスフィルタを切り換え
ても良い。例えば、５×３フィルタでのウェーブレット
変換と９×７フィルタでのウェーブレット変換がある
が、それぞれの変換方法で圧縮伸長された画像に対し、
周波数特性の異なるローパスフィルタを施してもよい。

【００５９】また、前述の図１０に示したように、Ｗａ
ｖｅｌｅｔ変換の階層数によって、ローパスフィルタの
マスクサイズを可変にできる。図１０（Ａ）に示した例
では、５階層のＷａｖｅｌｅｔ変換によって生成された
符号に対して、７×５のマスクサイズのローパスフィル
タを用い、図１０（Ｂ）に示した例では、３階層のＷａ
ｖｅｌｅｔ変換によって生成された符号に対して、５×
３のマスクサイズのローパスフィルタを用いる。これ
も、階層数が大きくなるにつれ、ミラーリングの影響を
受けている画素数がタイル境界の内側に多くなるためで
ある。図１０（Ａ）、（Ｂ）に示したマスクサイズは一
つの例であり、タイル境界歪み抑制の効果が得られる最
適なマスクサイズを適宜選択すればよい。

【００６０】また、ＲＧＢ信号に変換する前のＹＣｂＣ
ｒ信号で、タイル境界近傍にローパスフィルタをかけて
もよい。この際、輝度信号Ｙにのみローパスフィルタを
かけ、Ｃｂ，Ｃｒ信号はスルーにしてもよい。これは、
タイル境界歪みは輝度信号Ｙに依存している部分が大き
いためである。ＲＧＢ信号すべてにローパスフィルタを
かけないことにより、処理時間の短縮が図れる。

【００６１】さらに、圧縮率に応じてローパスフィルタ
の強度を可変にしてもよい。一般に圧縮率が大きい画像
ほどタイル境界歪みが目立つ。よって、圧縮率の小さい
画像に強いローパスフィルタをかけると、ローパスフィ
ルタをかけた部分がぼやけて目立ってしまう。逆に、圧
縮率の大きな画像に弱いローパスフィルタをかけてもタ
イル境界歪み抑制の効果を得ることは難しい。

【００６２】図２０は、圧縮率に応じたローパスフィル
タの一例を示す図である。本実施例では、圧縮率に応じ
てローパスフィルタの強度を可変にする。例えば、圧縮
率１／２０の場合、図２０（Ａ）に示すような平滑化度
の弱いローパスフィルタを用いる。圧縮率１／４０の場
合、図２０（Ｂ）に示すような平滑化度の強いローパス
フィルタを用いるようにする。

【００６３】なお、本実施例では、ＪＰＥＧ２０００の
圧縮伸長方式を代表例として説明を行ったが、圧縮伸長
方式はこれに限らず、ブロック境界情報を圧縮符号に含
むことができる圧縮伸長方式なら、いかなる圧縮伸長方
式を用いても良い。

【００６４】本発明によると、ブロック境界からの画素
間距離に応じてローパスフィルタの強度を適応的に制御
することにより、ブロック境界歪みを抑制しつつ、ブロ
ック境界近傍でエッジが強い場合に生じる画質劣化を目
立たなくすることができる。

【００６５】（実施例７）図２１は、タイル境界近傍の
画素のエッジ量を用いた適応的ローパスフィルタ処理の
一例を説明するための図である。図２１（Ａ）は、図１
７に示した点線部を拡大した状態を示す図である。図２
１（Ｂ）は、エッジ量算出フィルタの一例を示し、図２
１（Ｃ）は、適応的ローパスフィルタの一例を示す図で
ある。本実施例では、タイル境界近傍の画素のエッジ量
に応じてローパスフィルタの強度を切り換える。タイル
境界近傍の画素に対し、図２１（Ｂ）に示したエッジ量
算出フィルタを用いてエッジ量を算出する。このエッジ
量算出フィルタは斜め方向のエッジ量を算出している。
これは、縦横方向のエッジ量を抽出しようとすると、タ
イル境界の境界部でエッジ量が大きく出てしまうため、
タイル境界が目立ってしまうことを避けるためである。

【００６６】上述の斜め方向のエッジ量に応じて、ロー
パスフィルタの強度を制御する。エッジ量の絶対値が大
きいほど、ローパスフィルタの中央の係数値：ｍを大き
くする。図２１（Ｃ）に示す適応的ローパスフィルタの
例では、中央の係数値をｍとし、図２１（Ｂ）に示すエ
ッジ量算出フィルタで算出したエッジ量をＥとすると
き、下記の式（２）により中央の係数値：ｍが算出され
る。ｍ＝８＋ａｂｓ（Ｅ）・・・式（２）これは、タイル境界近傍の画素の斜め方向エッジ量の絶
対値が大きいほど、その画素に施すローパスフィルタの
平滑化度を弱くすることを意味する。

【００６７】なお、本実施例では、ＪＰＥＧ２０００の
圧縮伸長方式を代表例として説明を行ったが、圧縮伸長
方式はこれに限らず、ブロック境界情報を圧縮符号に含
むことができる圧縮伸長方式なら、いかなる圧縮伸長方
式を用いても良い。

【００６８】本発明によると、ブロック境界近傍の画素
におけるエッジ量に応じてローパスフィルタの強度を適
応的に制御することにより、ブロック境界歪みを抑制し
つつ、ブロック境界近傍でエッジが強い場合に生じる帯
状の画質劣化をなくすことができる。

【００６９】（実施例８）図２２は、タイル境界からの
画素間距離と、タイル境界近傍の画素のエッジ量とを用
いた適応的ローパスフィルタ処理の一例を説明するため
の図である。図２２（Ａ）は、図１７に示した点線部を
拡大した状態を示す図である。図２２（Ｂ）は、エッジ
量算出フィルタの一例を示し、図２２（Ｃ）は、適応的
ローパスフィルタの一例を示す図である。本実施例で
は、タイル境界からの画素間距離と、タイル境界近傍の
画素のエッジ量とに応じてローパスフィルタの強度を切
り換える。タイル境界近傍の画素に対し、下記の
（１）、（２）を算出する。（１）タイル境界からの画素間距離（２）タイル境界近傍の画素のエッジ量（図２２（Ｂ）
に示すエッジ量算出フィルタにより算出）

【００７０】上記（１）画素間距離、（２）斜め方向の
エッジ量に応じて、ローパスフィルタの強度を制御す
る。本実施例では、画素間距離が大きいほど、またエッ
ジ量の絶対値が大きいほど、ローパスフィルタの中央の
係数値：ｍを大きくする。図２２（Ｃ）に示す適応的ロ
ーパスフィルタの例では、中央の係数値をｍとし、タイ
ル境界からの画素間距離をｄとし、図２２（Ｂ）に示す
エッジ量算出フィルタで算出されたエッジ量をＥとする
とき、下記の式（３）、式（４）により中央の係数値：
ｍが算出される。ｄ＝０ならばｍ＝８・・・式（３）ｄ＞０ならばｍ＝ｍａｘ（８＋６４＊ｄ，８＋ａｂｓ（Ｅ））・・・式（４）これは、タイル境界からの画素間距離が大きいほど、タ
イル境界近傍の画素のエッジ量の絶対値が大きいほど、
施すローパスフィルタの平滑化度を小さくするというこ
とを意味する。上記式（３）でｄ＝０の場合のみ独立に
制御したのは、タイル境界の最近傍の画素に対しては無
条件に平滑化度の強いローパスフィルタを施さないと、
タイル境界が逆に目立ってしまうためである。

【００７１】なお、本実施例では、ＪＰＥＧ２０００の
圧縮伸長方式を代表例として説明を行ったが、圧縮伸長
方式はこれに限らず、ブロック境界情報を圧縮符号に含
むことができる圧縮伸長方式なら、いかなる圧縮伸長方
式を用いても良い。

【００７２】本発明によると、ブロック境界からの画素
間距離と、注目画素におけるエッジ量に応じてローパス
フィルタの強度を適応的に制御することにより、ブロッ
ク境界歪みを抑制しつつ、ブロック境界近傍でエッジが
強い場合に生じる画質劣化を、より目立たなくすること
ができる。また、圧縮時における階層数に応じてローパ
スフィルタを制御することにより、ウェーブレット変換
におけるいかなる階層数においても副作用なくブロック
境界歪みを抑制することができる。さらに、圧縮率に応
じて最適な強度のローパスフィルタをかけることによ
り、いかなる圧縮率においてもタイル境界歪み抑制を実
現することができる。

【００７３】

【発明の効果】本発明によると、タイル境界の近傍にロ
ーパスフィルタをかけることにより、タイル境界歪みを
抑制することができるとともに、ローパスフィルタをか
ける範囲を最適化することが可能となる。また、ローパ
スフィルタの強度を適応的に制御することにより、ブロ
ック境界歪みを抑制しつつ、ブロック境界近傍でエッジ
が強い場合に生じる画質劣化を抑制することができる。

【図面の簡単な説明】

【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明
するためのブロック図である。

【図２】タイル分割されたカラー画像の各コンポーネ
ントの例を示す図である。

【図３】デコンポジションレベル数が３の場合の、各
デコンポジションレベルにおけるサブバンドの一例を示
す図である。

【図４】プレシンクトとコードブロックの関係の一例
を説明する図である。

【図５】ビットプレーンに順位付けする手順の一例を
説明するための図である。

【図６】コードストリームの構造の一例を簡単に示し
た図である。

【図７】本発明における画像伸長部の一例を説明する
ためのブロック図である。

【図８】３階層のＷａｖｅｌｅｔ変換を用いた場合の
タイル境界平滑化部における処理の一例を示す図であ
る。

【図９】２階層のＷａｖｅｌｅｔ変換を用いた場合の
タイル境界平滑化部における処理の一例を示す図であ
る。

【図１０】Ｗａｖｅｌｅｔ変換の階層数に応じてマス
クサイズを可変にしたローパスフィルタの一例を示す図
である。

【図１１】本発明における画像伸長部の他の例を説明
するためのブロック図である。

【図１２】圧縮率に応じたローパスフィルタの一例を
示す図である。

【図１３】図１２に示したそれぞれのローパスフィル
タの周波数特性を示す図である。

【図１４】本発明における画像伸長部の他の例を説明
するためのブロック図である。

【図１５】ＲＯＩ領域内のタイル境界のみにローパス
フィルタをかける処理の一例を説明するための図であ
る。

【図１６】ＲＯＩ領域内のタイル境界のみにローパス
フィルタをかける処理の一例を説明するための図であ
る。

【図１７】タイル境界平滑化部における処理の一例を
説明するための図である。

【図１８】タイル境界からの画素間距離の算出方法の
一例を説明するための図である。

【図１９】タイル境界からの画素間距離を用いた適応
的ローパスフィルタ処理の一例を説明するための図であ
る。

【図２０】圧縮率に応じたローパスフィルタの一例を
示す図である。

【図２１】タイル境界近傍の画素のエッジ量を用いた
適応的ローパスフィルタ処理の一例を説明するための図
である。

【図２２】タイル境界からの画素間距離と、タイル境
界近傍の画素のエッジ量とを用いた適応的ローパスフィ
ルタ処理の一例を説明するための図である。

【符号の説明】

１１…色空間変換・逆変換部、１２…２次元ウェーブレ
ット変換・逆変換部、１３…量子化・逆量子化部、１４
…エントロピー符号化・復号化部、１５…タグ処理部、
２１，２２，２３…コンポーネント、２１_t，２２_t，２
３_t…タイル、３０…デコンポジションレベル０のタイ
ル、３１…デコンポジションレベル１のタイル、３２…
デコンポジションレベル２のタイル、３３…デコンポジ
ションレベル３のタイル、４０_t0〜４０_t3，５０_t0〜５
０_t3…タイル、４０_p4，４０_p6，５０_p0〜５０_p3…プレ
シンクト、４０_b1，５０_b3，５０_w3…コードブロック、
５０…原画像、６０…コードストリーム、６１…メイン
ヘッダ、６２…タイルパートヘッダ、６３…ビットスト
リーム、６４…コードストリーム終端、７１，８１，９
１…タグ処理部、７２，８２，９２…エントロピー復号
化部、７３，８３，９３…逆量子化部、７４，８４，９
４…２次元Ｗａｖｅｌｅｔ逆変換部、７５，８６，９５
…色空間逆変換部、７６，８５，９７…タイル境界平滑
化部、９６…補正タイル境界探索部。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK03 MA24 MA35 MC11 MC38 ME01 PP15 PP16 PP22 PP25 SS01 SS08 SS14 SS21 SS23 TA68 TA69 TB08 TB17 TC33 TC38 TD08 UA02 UA15 5C078 AA04 BA53 CA01 CA21 DA02 5J064 AA00 BA16 BB14 BC02 BC11 BC16 BC21 BC26 BD02

Claims

【特許請求の範囲】

【請求項１】画像をタイルに分割し、タイル単位でウ
ェーブレット変換を行い、該ウェーブレット変換された
信号を量子化し、該量子化された信号を符号化する手段
を有する画像圧縮装置により作られた符号に対し、該符
号を復号化する手段と、該復号化された信号を逆量子化
する手段と、該逆量子化された信号をウェーブレット逆
変換する手段を有する画像処理装置において、前記ウェ
ーブレット逆変換された後の画像信号に対し、タイル境
界からの画素間距離の近い画素に対しローパスフィルタ
をかけることを特徴とする画像処理装置。
【請求項２】請求項１に記載の画像処理装置におい
て、前記画像圧縮装置により作られた符号のウェーブレ
ット変換の階層数を大きくした場合、前記ローパスフィ
ルタのマスクサイズを大きくすることを特徴とする画像
処理装置。
【請求項３】請求項１または２に記載の画像処理装置
において、前記画像圧縮装置により作られた符号のウェ
ーブレット変換の階層数を大きくした場合、前記ローパ
スフィルタをかける画素数を増やすことを特徴とする画
像処理装置。
【請求項４】請求項３において、前記画像圧縮装置に
より作られた符号のウェーブレット変換の階層数を大き
くした場合、前記ローパスフィルタをかける画素のタイ
ル境界からの画素間距離を大きくすることを特徴とする
画像処理装置。
【請求項５】画像をブロックに分割し、ブロック毎に
圧縮・伸長した画像データに対し、適応的ローパスフィ
ルタを施しブロック歪みを補正する手段を有する画像処
理装置において、圧縮された信号にはブロック境界の位
置を特定する情報が含まれており、該ブロック境界から
の画素間距離に応じてローパスフィルタの強度を制御す
ることを特徴とする画像処理装置。
【請求項６】画像をブロックに分割し、ブロック毎に
圧縮・伸長した画像データに対し、適応的ローパスフィ
ルタを施しブロック歪みを補正する手段を有する画像処
理装置において、圧縮された信号にはブロック境界の位
置を特定する情報が含まれており、該ブロック境界近傍
画素におけるエッジ量に応じてローパスフィルタの強度
を制御することを特徴とする画像処理装置。
【請求項７】画像をブロックに分割し、ブロック毎に
圧縮・伸長した画像データに対し、適応的ローパスフィ
ルタを施しブロック歪みを補正する手段を有する画像処
理装置において、圧縮された信号にはブロック境界の位
置を特定する情報が含まれており、該ブロック境界から
の画素間距離と、該ブロック境界近傍画素におけるエッ
ジ量とに応じてローパスフィルタの強度を制御すること
を特徴とする画像処理装置。