JP2005150807A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】画像をタイル分割し、タイル単位で周波数変換を行った場合に、周波数変換時のミラリングの影響により、周波数係数を量子化及び逆量子化後に逆周波数変換して得られる画像に生じるタイル境界歪みを確実に除去する画像処理装置。
【解決手段】タイル境界付近に位置する、ミラリングの影響を受けた高周波係数に対する補正処理を行うための係数補正部１１１と、タイル分割して周波数変換した場合の低周波係数と、タイル分割しないで周波数変換した場合の低周波係数との差違を評価するためにタイル境界付近のエッジ成分を検出するためのエッジ検出部１１２を有し、そのエッジ検出の結果に応じて係数補正部１１１は補正処理の適用の制御、あるいは、補正式の選択を行う。
【選択図】図２１

Description

本発明は、画像処理に係り、より詳細には、画像を重複しないタイルに分割し、タイル単位で周波数変換することにより得られた周波数係数を、量子化及び逆量子化後に逆周波数変換して得られる画像のタイル境界歪みを除去するためのデタイル処理に関する。

近年，画像入出力技術の進歩により、画像に対する高精細化の流れはとどまるところを知らず、高精細画像を容易に圧縮・伸長できる技術への要求も強いものがる。

こうした要求を満たす圧縮・伸長方式の一つとして、高精細画像を小さい単位に分割して処理でき、高圧縮率でも高画質な画像を復号可能なJPEG2000がある。JPEG2000においては、画像を重複しない矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。

ここで、ＪＰＥＧ２０００の概要を説明する。図３９はＪＰＥＧ２０００の圧縮（符号化）・伸長（復号化）処理の基本的な流れを示したブロック図である。

まず、圧縮（符号化）処理について説明する。例えば、ＲＧＢの３コンポ−ネントで構成されるカラー画像は、各コンポーネント毎に１以上の重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。まず、各タイル毎に、色変換・逆色変換部１００で輝度・色差コンポ−ネントへのコンポ−ネント変換（色変換）がなされ、次に２次元ウェーブレット変換・逆変換部１０１で、各コンポーネントの各タイル毎に２次元のウェーブレット変換（離散ウェーブレット変換）がなされる。ウェーブレット係数は、サブバンド毎に、必要に応じて量子化・逆量子化部１０２で量子化された後、エントロピー符号化・復号化部１０３でビットプレーンを単位としたエントロピー符号化がなされる（正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。そして、符号形成・タグ処理部１０４で、不要な符号をトランケートし、必要な符号をまとめてパケットを生成し、パケットを所定の順序に並べ、必要なタグ又はタグ情報を付加することにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。

なお、色変換・逆色変換部１００は必須ではない。また、ＪＰＥＧ２０００では、５×３変換と呼ばれる可逆ウェーブレット変換と、９×７変換と呼ばれる非可逆ウェーブレット変換が規定されている。５×３ウェーブレット変換が用いられる場合、量子化・逆量子化部１０２による量子化（スカラー量子化）は行われないが、符号形成・タグ処理部１０４におけるトランケーションは係数の量子化と等価である。よって、本願の明細書及び特許請求の範囲において、ウェーブレット係数（広義には周波数変換係数）の量子化には、符号のトランケーションによる量子化も包含されるものする。

伸長（復号化）処理は圧縮処理と丁度逆の処理である。コードストリームは符号形成・タグ処理部１０４で各コンポーネントの各タイルのコードストリームに分解され、エントロピー符号化・復号化部１０３でビットプレーン単位でエントロピー復号され、復号されたウェーブレット係数は量子化・逆量子化部１０２により逆量子化される。そして、コンポ−ネント毎のウェーブレット係数に対して２次元ウェーブレット変換・逆変換部１０１で２次元の逆ウェーブレット変換が施され、その後、色変換・逆色変換部１００で逆コンポーネント変換（逆色変換）が施されることにより元のＲＧＢの画素値に戻される。

さて、画像を重複しないタイルに分割し、タイル毎に処理を行う方法は、省メモリ化・高速化に有効な手法であるが、圧縮率の高い条件で圧縮したコードストリームを伸長した画像において、タイルの境界が不連続となるという問題がある。

このタイル境界歪みは、見かけ上、離散コサイン変換（ＤＣＴ）におけるブロック歪みに類似したものである。このＤＣＴのブロック歪みの除去に関しては、従来、（ａ）ブロック分割された画像のDCT成分からブロック境界を抽出し、ブロック境界に垂直な一次元ローパスフィルタをかける方法（特許文献１参照）、（ｂ）ブロック境界の方向とエッジの方向との関係からブロック歪みがあるか否かを判定し、ブロック歪みがある画素に対してローパスフィルタをかける方法（特許文献２参照）、（ｃ）ブロック歪みを検出し、検出されたブロック歪みに対しローパスフィルタをかける方法（特許文献３参照）などが知られている。これらはいずれも、ブロック境界の方向とエッジ度に応じて画素値に適応的なローパスフィルタをかけることにより、ブロック境界の歪みは平滑化しつつも、ブロック境界に位置する真のエッジへの平滑化は避けることを意図している。しかし、こうしたローパスフィルタ的手法は、それがいかに適応的であっても、「歪み自体の平滑化(予定した作用)と、真のエッジの平滑化(予定しない副作用)」のトレードオフにさいなまれることになる。

一方、本出願人は、ウェーブレット変換を用いる圧縮伸長システムにおいて、例えば、隣接するタイルのローパス係数とハイパス係数を利用して、タイル境界に隣接するハイパス係数の補正処理（デタイリング）を行うことによって、タイル境界歪みを除去する方法を提案している（特許文献４参照）。

特開平０５−３１６３６１号公報 特許第２８３９９８７号公報 特開平０９−３０７８５５号公報 特開２００１−２５７５９６号公報

特許文献４に記載のタイル境界歪み除去の方法は、ウェーブレット係数空間での画像復元に類する手法である。画像復元では、失われた情報を復元するために、ある経験的な拘束条件を採用し、その条件に基づいて復元すべき解を算出する。

特許文献４に記載の方法においては、
・タイル境界歪みが生じるのは圧縮率が高い場合であり、タイリングの有無に関わらず
全てのハイパス係数は０に量子化される（近似１）、
・タイリングをした場合のローパス係数は、タイリングをしない場合のローパス係数に
等しい（近似２）
という近似もしくは仮定を採用し、次の”補正式”
｛(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換を
した場合の、タイル境界の画素値｝＝｛ハイパス係数が０の場合の、タイリングを
せずに逆ウェーブレット変換をした場合の同じ位置の画素値｝
から、ハイパス係数の補正値を算出している（なお、０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は、”画像復元”である）。

以下、JPEG2000の５×３ウェーブレット変換を例にとり、上記補正式の算出について説明する。

図１乃至図４は、16×16のモノクロの画像に対して、５x３変換と呼ばれるウェーブレット変換（正変換）を２次元(垂直方向および水平方向)で施す過程の例を示したものである。

図１の様にｘｙ座標をとり、あるｘについて、ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。JPEG2000では、まず垂直方向（Y座標方向）に、ｙ座標が奇数
（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘ座標について行う)。

ここで、ハイパスフィルタは（１）式で表され、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。
C(2i+1)＝P(2i+1)−|_(P(2i)+P(2i+2))/2_| 式(1)
C(2i)＝P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| 式(2)

なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は図６に示した「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす処理である。

簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、と表記すれば、前記垂直方向の変換によって図１の画像は図２のようなL係数、H係数の配列へと変換される。

続いて、今度は図２の係数配列に対して、水平方向に、ｘ座標が奇数（y=2i+1）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う）。この場合、前記式（１），（２）中のP(2i)等は係数値を表すものと読み替える。

簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図２の係数配列は、図３の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。すなわち、図３は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図４の様にサブバンド毎に係数を集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することをインターリーブすると表現する）。

また、２回目のウェーブレット変換は、上記LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。この場合、並べ替えを行うと、模式的な図５が得られる。図４，図５の係数の接頭の１や２は、係数が何回のウェーブレット変換で得られたかを示しており、デコンポジションレベルと呼ばれる。なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。

一方、ウェーブレット逆変換は、図３の様なインターリーブされた係数の配列に対して、まず、水平方向に、ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｘ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのｙについて行う)。ここで、逆ローパスフィルタは式（３）で表され、逆ハイパスフィルタは式（４）で表される。ウェーブレット正変換と同様、画像の端部において中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図６のミラリングによって係数値を適宜補うことになる。
P(2i)＝C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_| 式(３)
P(2i+1)＝C(2i+1)＋|_(P(2i)+P(2i+2))/2_| 式(４)

これにより、図３の係数配列は図２のような係数配列に変換（逆変換）される。続いて、垂直方向に、ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｙ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのｘについて行う)、１回のウェーブレット逆変換が終了し、図１の画像に戻る(再構成される)ことになる。なお、ウェーブレット変換が複数回施されている場合は、図１をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。

以上のように、５x３ウェーブレット逆変換では、L,H,L,Hの順にインターリーブした係数列に対し、
偶数位置中心に、逆ローパスフィルタ
奇数位置中心に、逆ハイパスフィルタ
をかける。

さて、前記のフィルタの式（１）〜（４）を、フロア関数を省略して展開すれば明らかなように、正変換と逆変換ではタップ数は逆転し、フィルタ係数もインターリーブされる。

このため、正変換のフィルタ係数が
ハイパス（HIGH）： -0.5，1，-0.5
ローパス（LOW） ： -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
逆ローパス（LOW） ： -0.25，1，-0.25
逆パスパス（HIGH）： -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングをしない場合で、かつハイパス係数が全て０のとき（近似１）」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L3−0.125H3＝0.5L2＋0.5L3 ‥‥(i)
となる。

一方、上記係数が、２つのタイルに分割されてから算出されたもので、H2位置がタイル境界であるとする。この場合、L1，H1，L2，H2は左側のタイルの係数、L3，H3は右側のタイルの係数になる。ここで、H2は、正変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは、各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、ミラリングによって左タイルの係数
L1 H1 L2 H2
を右側に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置を中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L2−0.125H1＝-0.25H1＋L2＋0.75H2‥‥(ii)
となる。

(i)＝(ii)を狙うため、次式
H2＝1/3H1−2/3L2＋2/3L3 ‥‥(iii)
を得る。

これが、タイル境界に隣接し、正変換時にミラリングの影響を受けたハイパス係数に対する「補正式」である。ただし、この補正値の算出時には、タイリングした係数しか存在しないため、L2は左タイルの係数、L3は右タイルの係数を使用する（近似２）。

なお、タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、H３の補正式として
H3＝０‥‥（iv）
を得ることができる。ただし、デコンポジションレベル１の場合は、H3はミラリングの誤差を含まないため補正しない（デコンポジションレベル２以上の場合は、H3に隣接するL3自体が、デコンポジションレベル１でミラリングの影響を受けているため補正する）。

上記補正は非常にうまく働き、大抵の場合にタイル境界歪みは除去される。しかし、ある”特定の場合”に、上記近似２が成立せず、上記補正が副作用を生じてしまうという課題があった。

本発明は、かかる課題を解決し、より確実にタイル境界歪みを防止することを目的とするものである。

上記目的を達成するため、請求項１の発明は、画像を重複しないタイルに分割してタイル単位で周波数変換することにより得られた周波数係数を、量子化及び逆量子化後に逆周波数変換して得られる画像のタイル境界歪みを除去するための画像処理装置であって、
タイル境界に隣接する係数を中心とした逆周波数変換値を、タイル分割しないで周波数変換した場合の低周波係数のみを用いた逆周波数変換値と略等しくするために、タイル境界付近に位置する、タイル分割して周波数変換を行う際のミラリングの影響を受けた高周波係数に対する補正処理を行う補正手段と、
タイル分割して周波数変換した場合の低周波係数と、タイル分割しないで周波数変換した場合の低周波係数との差違を評価する評価手段とを有し、
前記補正手段は補正処理を前記評価手段による評価結果に基づいて制御することを特徴とする画像処理装置である。上記量子化には、前述したように、トランケーションによる量子化も含まれる。

請求項２の発明は、請求項１の発明の画像処理装置において、前記補正手段は補正処理を適用するか否かを前記評価手段による評価結果に基づいて決定することを特徴とする画像処理装置である。

請求項３の発明は、請求項１の発明の画像処理装置において、前記補正手段は補正処理に用いる補正式を、前記評価手段による評価結果に基づいて選択することを特徴とする画像処理装置である。

請求項４の発明は、請求項１，２又は３の発明の画像処理装置において、前記評価手段は、タイル境界付近に存在する、境界と並行なエッジ成分を検出することにより前記差違を評価することを特徴とする画像処理装置である。

請求項５の発明は、請求項４の発明の画像処理装置において、前記評価手段は、タイル境界上のエッジ成分を検出対象から除外することを特徴とする画像処理装置である。

請求項６の発明は、請求項４の発明の画像処理装置において、周波数変換はウェーブレット変換であり、前記評価手段は、タイル境界に接する画素からローパスフィルタのタップ長の半分未満の距離内にあるエッジ成分を検出することを特徴とする画像処理装置である。

請求項７の発明は、請求項４の発明の画像処理装置において、前記評価手段は、タイル境界の両側のエッジ成分を検出することを特徴とする画像処理装置である。

請求項８の発明は、請求項４の発明の画像処理装置において、前記評価手段は、タイル境界の一方の側のタイルに関してのみエッジ成分の検出を行うことを特徴とする画像処理装置である。

請求項９の発明は、請求項４の発明の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記評価手段は、タイル境界に隣接した低周波係数を有する側のタイルに関してのみエッジ成分の検出を行うことを特徴とする画像処理装置である。

請求項１０の発明は、請求項４の発明の画像処理装置において、周波数変換はウェーブレット変換であり、前記評価手段は、ローパス係数の値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置である。

請求項１１の発明は、請求項９の発明の画像処理装置において、前記評価手段は、隣接するローパス係数の差分値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置である。

請求項１２の発明は、請求項１１の発明の画像処理装置において、前記評価手段は、タイル境界からの距離が０と２の位置にある、右タイル内のローパス係数の差分値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置である。

請求項１３の発明は、請求項２の発明の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記補正手段は補正処理に次の補正式
H2＝1/3・H1−2/3・L2＋2/3・L3
（ここで、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
を用いることを特徴とする画像処理装置である。

請求項１４の発明は、請求項２の発明の画像処理装置において、周波数変換は９ｘ７ウェーブレット変換であり、前記補正手段は補正処理に次の前記補正式
H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3−0.09127L4)/0.60295
（ここで、インターリーブされた係数列 H0 L1 H1 L2 H2 L3 H3 L4 H4 において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
を用いることを特徴とする画像処理装置である。

請求項１５の発明は、請求項３の発明の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記補正手段は補正処理に、次の補正式
H2＝1/3・H1−2/3・L2＋2/3・L3
（ここで、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
又は、次の補正式
H2＝1/3・H1−2/3・L2＋2/(3n)・L3
（ここで、ｎは１より大きい定数、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
を選択的に用いることを特徴とする画像処理装置である。

請求項１６の発明は、請求項３の発明の画像処理装置において、周波数変換は９ｘ７ウェーブレット変換であり、前記補正手段は補正処理に、次の前記補正式
H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3−0.09127L4)/0.60295
（ここで、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
又は、次の補正式
H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3/n−0.09127L4)/0.60295（ここで、ｎは１より大きい定数、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
を選択的に用いることを特徴とする画像処理装置である。

請求項１７の発明は、請求項６，９乃至１２のいずれか１項の発明の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がデコンポジションレベルによって異なることを特徴とする画像処理装置である。

請求項１８の発明は、請求項６，９乃至１２のいずれか１項の発明の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がウェーブレット変換の種類によって異なることを特徴とする画像処理装置である。

請求項１９の発明は、請求項６，９乃至１２のいずれか１項の発明の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がコンポ−ネント毎に異なることを特徴とする画像処理装置である。

請求項２０の発明は、請求項１３または１４の発明の画像処理装置において、特定のデコンポジションレベルに関しては、前記評価手段による評価結果に関わらず前記補正手段は補正処理を適用することを特徴とする画像処理装置である。

請求項２１の発明は、請求項２０の発明の画像処理装置において、前記特定のデコンポジションレベルはデコンポジションレベル１であることを特徴とする画像処理装置である。

請求項２２の発明は、画像を重複しないタイルに分割し、タイル単位で周波数変換することにより得られた周波数係数を、量子化及び逆量子化後に逆周波数変換して得られる画像のタイル境界歪みを除去するための画像処理方法であって、請求項１乃至２１のいずれか１項の発明における補正手段及び評価手段の機能に対応する処理ステップを含むことを特徴とする画像処理方法である。ここで、周波数係数の量子化には、前述したように、トランケーションによる量子化も含まれる。

請求項２３の発明は、請求項１乃至２１のいずれか１項の発明における補正手段及び評価手段としてコンピュータを機能させるプログラムである。

請求項２４の発明は、請求項２３の発明のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

上に述べた請求項１乃至２１の発明について、より具体的に説明する。なお、以下の説明中ではエッジ成分を単にエッジと呼ぶことがある。

まず、特許文献４に記載のタイル境界歪み除去の方法に関する前記課題について解析する。図７と図８は、５ｘ３変換における前述した”特定の場合”の代表例である。

図７の例は、タイル境界の右または下に位置するタイルの、境界からの距離が０の画素と距離が１の画素の間に、境界に平行なエッジ成分がある場合である（図７における横軸は絶対座標であり、絶対座標６の画素がタイル境界からの距離が０の画素である。以下同様）。なお、エッジ自体は、境界に対して色々な方向がありえるが、前述の通りウェーブレット変換は１方向の直線状（フィルタのマトリクスが１×ｎ）のフィルタを施すものであるから、該フィルタを施す方向に対してエッジ成分が存在するかどうかが問題となる。ここで、「タイル境界からの距離」は図９に示した通りである。

同様に、図８の例は、境界の右または下に位置するタイルの、境界からの距離が１の画素と距離が２の画素の間にエッジ成分がある場合である。

なお、図７及び図８においては、簡単のために、小さい方の画素値を０にしてあるが、ウェーブレット変換は線形であるため、それ以外の値の場合は単に平行移動をして考えればよい。

図７と図８の場合において、一方向にのみウェーブレット変換をかけ、１L係数には量子化を加えず、１H係数を０に量子化し、式(iii)による補正を行うと、その結果はそれぞれ図１０と図１１の様になる。

デタイル（タイル境界歪み除去処理）の結果の理想の一例は、タイル分割をしない場合（つまり１タイルの場合）と等しくなることであるから、図１０及び図１１には、同じエッジを１タイルで処理した場合（タイル分割をしない場合）の復号画素値、タイル分割した場合（２タイルの場合）の復号画素値、２タイルの場合のデタイル後の復号画素値が示されている。

図１０及び図１１から明らかなように、デタイルした場合には、本来（つまり１タイルの場合には）存在しない”うねり”（画素値の上下動）が、左タイルの画素位置４の付近（破線で囲んだ部分）に生じている。これらの”うねり”は、本来のエッジに対する擬似エッジのような見え方をし、画質上極めて好ましくないのである。

ここで、図１２及び図１３はそれぞれ、図１０及び図１１の場合において、画素位置の奇偶に応じて施すべきフィルタ（LowまたはHigh）、左右のタイルの画素値、１タイルの場合の｛正ウェーブレット変換後の係数値，該係数の量子化して逆量子化した後の値，逆ウェーブレット変換後の画素値｝、２タイルの場合の｛正ウェーブレット変換後の係数値，該係数の量子化して逆量子化した後の値，逆ウェーブレット変換後の画素値｝，１タイルと２タイルの場合の正ウェーブレット変換係数の差違、デタイル（タイル境界歪み除去処理）する場合の｛ハイパス係数の補正をした後のウェーブレット係数値，逆ウェーブレット変換後の画素値｝を上から下へ順に示している。図中、下から３段目の”○”は、１タイルと２タイルの場合の正ウェーブレット変換係数の差違がないこと、”×”は差違が大きいことを示しており、前記近似２が成立していないことがわかる。

また、図１０及び図１１の場合に前記”うねり”が生じることは、前記式（１）乃至式（４）並びに式（iii）で簡単に導出できる。ウェーブレット変換を２次元で施すときにも同様な”うねり”が生じることは明らかである。

よって、図１０，図１１のような特定の場合には、係数補正に前記補正式とは異なる式を使うべきである。そして、図１０及び図１１から、むしろデタイルを行っていない２タイルの場合の復号画素値の方が１タイルでの復号値に近いことがわかる。すなわち、最も簡単には、デタイルをしないことが１つの有効な方法であることもわかる。

請求項１，２，３，４の発明は、上記解析結果に基づき、デタイルにおける近似誤差の影響を除去しようとするものである。そして、請求項２の発明は、デタイルの抑止という最も簡易な方法によって近似誤差の影響を除去するものであり、請求項３の発明は補正式の切り替えにより近似誤差の影響を除去するものであり、請求項４の発明はデタイルに際し境界近傍のエッジの影響を除去しようとするものである。

さらに解析すると、図１４はタイル境界”上”に境界と平行なエッジ成分がある場合の処理結果であり、図１５は境界の右または下に位置するタイルの、境界画素からの距離が２の画素と距離が３の画素の間にエッジがある場合の処理結果である。

図１４の場合には前記副作用がほとんどなく（＝デタイルがうまく働き）、また、デタイルしない場合（２タイルの場合）の値は１タイルの値とは大きく異なるため、デタイルした値を採用すべきであることがわかる。図１６は図１４の場合にデタイルがうまく働く理由を示したものである。図１６から、２つのローパス係数ともに近似（２）が成立していないのだが、その誤差がともに同じ極性で生じるので式（iii）の減算項でほぼ相殺され、結果として副作用がほとんど生じないことがわかる。

また、図１５の場合には、同図から前記副作用が生じないことがわかる。図１７は副作用が生じない理由を示すための図である。近似（２）が成立しない原因は、右タイルにエッジが存在することによって、ミラリングした場合の右タイルのL3の値が１タイルの場合のL3の値と大きく異なってしまうことにある。つまり、近似（２）の成立・不成立は、L3係数の算出時に参照される画素内にエッジがあるかどうかで決まる。図１７より分かるように、図１５の場合にはL3係数の算出時に参照される画素内にはエッジがないので副作用が生じないわけである。このように、デタイルの良否を左右するエッジの存在範囲には制限があるのである。

同様の議論は、左タイルだけにエッジがある場合にも成立し、近似（２）の成立・不成立は、L2係数の算出時に参照される画素内にエッジがあるかどうかで決まる(図１８乃至図２０参照)。ただし、図１８の場合は図１４の場合と同様に副作用が少なく、図２０の場合は図１５の場合と同様にL2による副作用はない。また、図１９の場合は、本来（１タイルの場合に）ある”うねり”が無くなるような差違のため、結果として副作用としては小さい。

請求項５，６の発明は、以上の解析結果に基づいて、デタイルに際し境界付近のエッジ検出を効率的に行おうとするものである。

また、請求項７の発明は、デタイルに際し、エッジ検出をタイルの両側において行うことによりエッジ検出精度を高めようとするものである。

このようにエッジ検出はタイルの両側において行うのが原則である。しかしながら、図１８乃至図２０に示したような場合には、５ｘ３変換ならば左タイルの副作用はあまり問題とならず、問題となるのは右タイルのエッジである。つまり、フィルタによっては片側のタイルのエッジ検出だけでよいのである。請求項８，９の発明は、これに鑑みて、デタイルの際のエッジ検出を簡易に行おうとするものである。

なお、エッジ検出にはローパス係数の値を用いるのが望ましい。一般に、ハイパス係数は大きな量子化をうけるので誤差が大きいため（タイル境界が問題となるような場合は０に量子化されることが珍しくない）、ハイパス係数の値を用いるとエッジ検出精度が落ちるからである。これに鑑み、ローパス係数の値を用いることによりエッジ検出を精密に行おうとするものが請求項１０の発明である。また、請求項１１の発明は、ローパス係数を用いたエッジ検出を簡易に行おうとするものである。

ここで、５ｘ３ウェーブレット変換の場合、右のタイルにエッジが存在するか否かの判定に、図１２中のローパス係数の差分（L3−L4）を用いるのが簡易である。請求項１２の発明は、これに着目してエッジ検出を簡易に行おうとするものである。

なお、前記エッジ成分を復号した係数値から算出するのではなく、例えば、画像の符号化（圧縮）時にエッジ位置を求め、そのエッジ位置の情報を、符号とは別に保持しておき、あるいは符号中のコメント部等に保持しておき、復号化（伸長）時のデタイルの際に、前記保持されたエッジ位置の情報を参照することも可能である。つまり、デタイル処理の外でエッジ検出を行う態様も本発明に包含される。

請求項１３の発明は、５ｘ３ウェーブレット変換を用いる場合に、前記補正式（iii）によりタイル境界歪みを効果的に除去しようとするものである。

５×３ウェーブレット変換の場合の補正式（iii）,(iv）については説明したが、９×７ウェーブレット変換の場合も同様な考え方で補正式を算出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、
H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3−0.09127L4)/0.60295
‥‥（v）
H3＝(0.05754L2−0.05754L4＋0.03372H4)/0.53372 ‥‥（vi）
である。９×７変換の場合は、デコンポジションレベル１でも補正してよい。

請求項１４の発明は、補正式（v）によって、９ｘ７ウェーブレット変換を用いる場合のタイル境界歪みを効果的に除去しようとするものである。

また、前述したように、近似（２）が成立しない原因は、右タイルにエッジが存在することによって、ミラリングした場合の右タイルのL3の値が１タイルの場合のL3の値と大きく異なってしまう（典型的には値が大きくなってしまう）ことにある。この場合、補正式に占めるL3の寄与が大きくなりすぎるため、L3位置の係数値に対する乗数（2/3）をより小さな値にすることで副作用を低減できる。これを考慮した補正式が、次に示す５×３変換用の式（vii）、９×７変換用の式（viii）である。
H2＝1/3・H1−2/3・L2＋2/(3n)・L3 ‥‥(vii)
上式において、ｎは１より大きい定数、H2,L3は順にタイル境界に隣接する高周波係数及び低周波係数、L2はH2に隣接するL3でない低周波係数である。
H2＝
(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3/n−0.09127L4)/0.60295
‥‥(viii)
上式において、ｎは１より大きい定数である。また、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数である。

請求項１５の発明は、５×３ウェーブレット変換が用いられる場合に、補正式（iii），（vii）を選択的に適用することにより、タイル境界歪みを効果的に除去しようとするものである。また、請求項１６の発明は、９×７ウェーブレット変換が用いられる場合に、補正式（v），（viii）を選択的に適用することにより、タイル境界歪みを効果的に除去しようとするものである。

さて、エッジ検出においては、係数の差分値等と所定の閾値を比較して、エッジか否かを判断するわけであるが、その閾値はデコンポジションレベルごとに異なる値（典型的にはデコンポジションレベルが高い程大きな値）とすべきである。正規系でないウェーブレット変換の場合、デコンポジションを繰り返すごとに、ウェーブレット係数の値が大きくなっていくため、差分値等のエッジ検出値等も自然と大きくなっていくからである。そして、この大きくなる割合は、当然、ウェーブレット変換の種類に依存する。請求項１７，１８は、かかる考察に基づいてエッジ検出精度を向上させようとするものである。

さて、原画像が複数のコンポ−ネントからなる場合、ウェーブレット変換はコンポ−ネント毎に行われ、デタイルもコンポ−ネント毎に行われる。タイル境界の目立ち方、すなわち視認性は、コンポ−ネント毎の視認性に依存する。また、コンポ−ネント変換式のコンポ−ネント毎の差違によって、ＲＧＢ値を変換して得られるY，Ｃb，Cr等の各コンポ−ネント値の大きさも自然に異なってくる。よって、前記エッジ検出のための閾値もコンポーネントごとに変えるのが望ましい。請求項１９の発明は、これに鑑み、エッジ検出のための閾値としてコンポーネント毎に異なった値を用いることにより、エッジ検出をより精密に行おうとするものである。

さて、以上に述べたようにしてデタイルの採否を決めた場合においても、ある特定のデコンポジションレベル、例えばレベル１に関しては、副作用よりもタイル境界の解消を優先する意味で常にデタイルしておくのが安心である。デタイルの副作用が、高いデコンポジションレベルで生じた場合、その副作用は逆ウェーブレット変換を繰り返して解像度を上げていくに従いタイルの内側に入っていき、結果的に広い範囲で擬似エッジが見えるようになる。しかし、デコンポジションレベル１における副作用は、伝搬することなく狭い範囲で収まる。請求項２０，２１の発明は、かかる考察に基づき、特定のデコンポジションレベル、例えばデコンポジションレベル１では、副作用よりもデタイルを優先しようとするものである。

なお、請求項２２，２３，２４の発明は、請求項１乃至２１の発明に対応する内容であるので説明を繰り返さない。

以上に説明したように、請求項１乃至２２の発明によれば、画像を重複しないタイルに分割し、タイル単位で周波数変換を行う場合の課題であったタイル境界歪みを効果的に除去することができる。また、請求項５乃至１２，１７乃至１９の発明によれば、そのようなデタイル処理の制御のためのエッジ検出を簡易もしくは高精度に行うことができる。請求項２３，２４の発明によれば、コンピュータを利用し、請求項１乃至２１の発明を容易に実施することができる。

本発明の好ましい実施の形態の一つは、ＪＰＥＧ２０００のアルゴリズムによる画像の圧縮処理と伸長処理の両方又は伸長処理を行う画像処理装置である。

図２１は、そのような画像処理装置の一例を示すブロック図である。図１に示した画像処理装置は、ＪＰＥＧ２０００による圧縮処理及び伸長処理の両方が可能である。その基本的な構成は図３９に示したものと同様であり、図３９と同一の参照符号は対応したブロックを示す。

この画像処理装置の特徴的な構成は、デタイルのための係数補正処理手段である係数補正部１１１が２次元ウェーブレット変換・逆変換部１０１に設けられていることである。この係数補正部１１１には、タイル分割してウェーブレット変換した場合の低周波係数と、タイル分割してウェーブレット変換した場合の低周波係数との差違を評価するための手段としてのエッジ検出部１１２が含まれる。

圧縮処理の場合には、符号形成・タグ処理部１０４により生成されたコードストリームは外部へ出力されるか、記憶部１１０に蓄積される。

伸長処理の場合には、符号形成・タグ処理部１０４に、ＪＰＥＧ２０００のコードストリームが外部より入力されるか、蓄積部１１０より読み出されたＪＰＥＧ２０００のコードストリームが入力される。この伸長処理において、量子化・逆量子化部１０２により逆量子化後のウェーブレット係数、あるいは、ウェーブレット変換・逆変換部１０１で逆ウェーブレット変換されたウェーブレット係数に対して、デタイルのための処理がなされる。デタイルに際し、エッジ検出部１１２で特定のエッジの検出が行われ、検出結果（評価結果）に基づいて係数補正部１１１によるウェーブレット係数に対する補正処理が制御される。

なお、先に述べたように、圧縮処理過程でエッジ検出を行い、その結果を伸長処理時に係数補正部１１１で利用することも可能である。この場合には、そのエッジ検出結果を係数補正部１１１に与える必要があるが、その方法としては、例えば、コードストリーム中にエッジ検出の結果を記述しておく方法がある。ただし、コードストリームとは独立したデータとして、エッジ検出結果を入力することも可能でる。

図２１に示した画像処理装置におけるデタイルに関連した手段又は処理をコンピュータを利用してプログラムにより実現することも可能である。かかる実施形態の一例をについて、図２２を参照し簡単に説明する。図２２において、２００はＣＰＵ、２０１はＲＡＭ、２０２はハードディスク装置、２０４はディスプレイ装置であり、これらはバス２０４に接続されている。

処理フローの概略は次の通りである。まず、ＣＰＵ２００２００からの命令によって、ハードディスク装置２０２に記録されているコードストリーム（圧縮画像データ）がＲＡＭ２０１に読み込まれる（１）。ＣＰＵ２００は、ＲＡＭ２０１よりコードストリームを読み込み、その伸長処理を行うが、その処理過程でデタイルのための処理を行う（２）。そして、ＣＰＵ２００は、伸長した画像データを、ＲＡＭ２０１上の別の領域に書き込む（３）。この画像データは、例えば、ＣＰＵ２０１からの命令によってディスプレイ装置２０３に表示される（４）。

以下、本発明の画像処理装置におけるデタイル処理について、順を追って具体的に説明する。

図２３は、逆量子化後の４タイル分の係数の配列を示しており、デコンポジションレベル２の係数２LL〜２HHはインターリーブされている。

これらのデコンポジションレベル２の係数のうち、図２４に示した列Ａの係数と列Ｂの係数が補正の対象となる。５×３変換の場合には、列Ａの係数の補正式として式（iii）を、列Ｂの係数の補正式として式（iv）を用いることができる。９ｘ７変換の場合は、列Ａの係数の補正式として式（v）を、列Ｂの係数の補正式として式（vi）を用いることができる。そして、列Ａ，Ｂの係数の補正後、水平方向の逆ウェーブレット変換が行われ（JPEG2000では、ウェーブレット変換（正変換）は垂直→水平の順に行われるので、逆ウェーブレット変換は水平→垂直の順で行われる）、図２５の状態になる。

次に、図２６に示す行Ｃ，Ｄの係数が補正の対象となる。５ｘ３変換の場合は行Ｃの係数の補正には式（iii）を、行Ｄの係数の補正には式（iv）を用いることができる。９ｘ７変換の場合は、行Ｃの係数の補正には式（v）を、行Ｄの係数の補正には式（vi）を用いることができる。行Ｃ，Ｄの補正後、垂直方向の逆ウェーブレット変換が行われ、図２７の様なデコンポジションレベル１の係数がデインターリーブされた状態になる。

続いて、これら係数をインターリーブすると図２８のようになる。これらのデコンポジションレベル１の係数のうち、５×３変換の場合は、図２９に示した列Ｅのみが補正の対象となり、その補正式として式（iii）を用いることができる（デコンポジションレベル１では、図２９に示した列Ｆの係数はミラリングの誤差を含まないため、列Ｆは補正の必要がないからである）。一方、９ｘ７変換の場合は、列Ｅの例数と列Ｆの係数が補正の対象となり、列Ｅの係数の補正式として式（v）を、列Ｆの係数の補正式として式（vi）を用いることができる。列Ｅ，ＦFの補正後、水平方向の逆ウェーブレット変換が施され、図３０の状態になる。

５ｘ３変換の場合は、図３０の行Ｇの係数のみが補正の対象となり、その補正式として式（iii）を用いることができる。９ｘ７変換の場合は、行Ｇと行Ｈの係数が補正の対象となり、行Ｇの係数の補正式としては式（v）を、行Ｈの係数の補正式として式（vi）を用いることができる。行Ｇ，Ｈの係数の補正後，垂直方向の逆ウェーブレット変換が成され、ウェーブレット変換前の状態（コンポ−ネント変換がなされている場合には、YCｂCr等のコンポ−ネント値）に戻ることになる。

以上は４タイルの例であるが、任意のタイル数の場合に同様の手法を適用できることは明らかである．
図３１に、本発明の画像処理装置におけるデタイル処理の基本的な処理フローを示す。ここでは、画像を縦横ともに偶数画素数の同じ大きさの４つのタイルに分割して圧縮されたコードストリームを処理するものとする。この場合、タイルの右端および下端はＨ係数の位置となり、同左端および上端はＬ係数位置となる。また、圧縮時のウェーブレット変換のデコンポジションレベル数は３とする。

以下、図３１に沿って、処理内容を説明する。この処理に先立ち、４つのタイルに関し、全てのコンポ−ネントの全てのデコンポジションレベルの係数がエントロピー符号化・復号化部１０３で復号され、また、量子化・逆量子化部１０２で逆量子化される。

まず、デコンポジションレベルが３に、コンポーネント番号が０に、それぞれ初期設定され（ステップＳ１）、コンポーネント毎のデコンポジションレベル毎のデタイル処理が開始する。

まず、コンポーネント番号０のコンポーネント（例えば輝度コンポーネント）に関し、デコンポジションレベル３のウェーブレット係数（逆量子化直後の係数）に対し、水平方向デタイル処理、垂直方向デタイル処理が順に実行される（ステップＳ２，Ｓ３）。これらのデタイル処理は、エッジ検出処理を含み、また、水平方向及び垂直方向の逆ウェーブレット変換も含む。すなわち、デタイル処理の主体は係数補正部１１１であるが、２次元ウェーブレット変換・逆変換部１０１も関与する。補正対象となる係数は、図２４に示す列Ａ，Ｂの係数又は図２６に示す行Ｃ，Ｄの係数である。

デコンポジションレベル３の係数に対するデタイル処理が終わると、デコンポジションレベルが２にデクリメントされ（ステップＳ４）、デコンポジションレベル２の係数に対しステップＳ２，Ｓ３のデタイル処理が実行される。

デコンポジションレベル２の係数のデタイル処理が終わると（ステップＳ５，Ｎｏ）、デコンポジションレベル１の係数に対する水平方向デタイル処理と垂直方向デタイル処理が順に実行される（ステップＳ６，Ｓ７）。これらのデタイル処理にも水平方向、垂直方向の逆ウェーブレット変換が含まれるが、ステップＳ２，Ｓ３と違ってエッジ検出は行われず、図２９，３０に示した列Ｅ，Ｆ又は行Ｇ，Ｈの係数は常に補正される。

次に、コンポーネント番号が１にインクリメントされ、また、デコンポジションレベルが３に戻され（ステップＳ９）、コンポーネント番号１のコンポーネント（例えば色差Ｃｂコンポーネント）のウェーブレット係数に対しステップＳ２以降の処理が実行される。

続いて、コンポーネント番号２のコンポーネント（例えば色差Ｃｒコンポーネント）のウェーブレット係数に対する処理が実行され、それが終わると（ステップＳ８，Ｎｏ）、デタイル処理は完了する。

以下、デタイル処理について、より具体的に説明する。

本発明の実施例１にあっては、ステップＳ２で図３２に示すような水平方向デタイル処理が、ステップＳ３で図３３に示すような垂直方向デタイル処理が、それぞれ実行される。

まず図３２を参照して説明する。図２４に示す列Ａ，Ｂの係数に対する処理である。まず、ステップＳ１１において、エッジ検出部１１２はエッジ検出のための閾値を選択する。エッジ検出のための閾値は、ウェーブレット変換の種類、デコンポジションレベル、コンポ−ネントによって異なり、本実施例では図３４に示す閾値が用いられる。

ウェーブレット変換（正変換）のローパスフィルタ、ハイパスフィルタによって、係数の絶対値がどの程度増加するかを見積もる方法はいくつかあるが、本実施例では係数のとり得る最大値がサブバンド毎に大きくなる量の算出に、JPEG2000標準化委員会資料WG1N2133「Guard Bit Requirements for JPEG2000 Part 1 Filters，Junichi Hara」に記載された方法を採用し、その量は具体的には図３５の通りである。また、コンポ−ネント変換による各コンポ−ネント絶対値の増加は、図３６の通りである。前述の如く、コンポ−ネント間でエッジ検出のための閾値を異ならせるためには、視認性と絶対値増加の両方を加味することができるが、図３４に示すエッジ検出のための閾値は図３６に示す絶対値増加のみを考慮して決定したものである。なお、図３６において、上側の表に示した値はＪＰＥＧ２０００に規定されている可逆色変換（ＲＣＴ）が用いられる場合のものであり、下側の表に示した値はＪＰＥＧ２０００に規定されている非可逆色変換（ＩＣＴ）が用いられる場合のものである。

図３２に戻る。ステップＳ１２で、エッジ検出部１１２は、図２４の列Ａ，Ｂにある注目した係数に関し、先に説明したＬ３位置とＬ４位置の係数値の差分値を閾値と比較する。差分値が閾値より大きくないとき、すなわち、エッジが検出されないときには、係数補正部１１１は、ステップＳ１３で、左側タイルの列Ａの注目した係数に対し、５×３変換ならば補正式（iii）により補正を行い、９×７ならば補正式（v）により補正を行い、次にステップＳ１４で、右側タイルの列Ｂの注目した係数に対し、５×３変換ならば補正式（iv）により補正を行い、９×７変換ならば補正式（vi）により補正を行う。

ステップＳ１２で差分値が閾値より大きいとき、すなわち、エッジが検出されたときには、係数補正の副作用が大きいため、ステップＳ１３，１４はスキップされる。

ステップＳ１２〜Ｓ１４を繰り返し、列Ａ，Ｂの全係数に対する処理を終わると（ステップＳ１５，Ｙｅｓ）、２次元ウェーブレット変換・逆変換部１０１は、補正処理後のウェーブレット係数に対し水平方向の逆ウェーブレット変換を施す（ステップＳ１６）。

なお、図３１中のステップＳ６では、図３２に示すステップＳ１３，Ｓ１５の係数補正が列Ｅ，Ｆ（図２９）の全係数に対して実行され、次にステップＳ１６の水平方向の逆ウェーブレット変換が実行される。

次に、図３３を参照して説明する。図２６に示した行Ｃ，Ｄの係数に対する処理である。まずステップＳ２１において、エッジ検出部１１２は、図３４に示した閾値の中から、ウェーブレット変換の種類、コンポーネント、デコンポジションレベルに対応したエッジ検出のための閾値を選択する。

ステップＳ２２で、エッジ検出部１１２は、図２６の行Ｃ，Ｄにある注目した係数に関し、先に説明したＬ３位置とＬ４位置の係数値の差分値を閾値と比較する。差分値が閾値より大きくないとき、すなわち、エッジが検出されないときには、係数補正部１１１は、ステップＳ２３で、上側タイルの行Ｃの注目した係数に対し、５×３変換ならば補正式（iii）により補正を行い、９×７ならば補正式（v）により補正を行い、次にステップＳ１４で、下側タイルの行Ｄの注目した係数に対し、５×３変換ならば補正式（iv）により補正を行い、９×７変換ならば補正式（vi）により補正を行う。

ステップＳ２２で差分値が閾値より大きいとき、すなわち、エッジが検出されたときには、係数補正の副作用が大きいため、ステップＳ２３，２４はスキップされる。

ステップＳ２２〜Ｓ２４を繰り返し、行Ｃ，Ｄの全係数に対する処理を終わると（ステップＳ２５，Ｙｅｓ）、２次元ウェーブレット変換・逆変換部１０１は、補正処理後のウェーブレット係数に対し垂直向逆のウェーブレット変換を施す（ステップＳ２６）。

なお、図３１中のステップＳ７では、図３３に示すステップＳ２３，２４の係数補正が行Ｇ，Ｈ（図３０）の全係数に対して実行され、次にステップＳ２６の垂直方向の逆ウェーブレット変換が実行される。

本発明の実施例２にあっては、ステップＳ２で図３７に示すような水平方向デタイル処理が行われる。

図３７を参照して説明する。図２４に示す列Ａ，Ｂの係数に対する処理である。まず、ステップＳ３１において、エッジ検出部１１２は、図３４に示した閾値の中から、ウェーブレット変換の種類、コンポーネント、デコンポジションレベルに対応したエッジ検出のための閾値を選択する。

ステップＳ３２で、エッジ検出部１１２は、図２４の列Ａ，Ｂにある注目した係数に関し、先に説明したＬ３位置とＬ４位置の係数値の差分値を閾値と比較する。差分値が閾値より大きくないとき、すなわち、エッジが検出されないときには、係数補正部１１１は、ステップＳ３３で、左側タイルの列Ａの注目した係数に対し、５×３変換ならば補正式（iii）により補正を行い、９×７ならば補正式（v）により補正を行う。差分値が閾値より大きいとき、すなわちエッジが検出されたときには、係数補正部１１１は、５×３変換ならば補正式（vii)'により、９×７ならば補正式（vii)'により補正を行う。

ここで、補正式（vii)'，補正式（vii)'は、それぞれ前記補正式（vii），（vii）の定数ｎに特定の値を代入したもので、次の通りである。
H2＝1/3・H1−2/3・L2＋1/3・L3 (vii)'
ここで、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数である。
H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.3L3−0.09127L4)/0.60295
(viii)'
ここで、インターリーブされた係数列 H0 L1 H1 L2 H2 L3 H3
L4 H4 において、
H2，L3は順にタイル境界に隣接する高周波係数および低周波係数である。

次に、ステップＳ１４で、右側タイルの列Ｂの注目した係数に対し、５×３変換ならば補正式（iv）により補正を行い、９×７変換ならば補正式（vi）により補正を行う。

ステップＳ３２〜Ｓ３６を繰り返し、列Ａ，Ｂの全係数に対する処理を終わると（ステップＳ３６，Ｙｅｓ）、２次元ウェーブレット変換・逆変換部１０１は、補正処理後のウェーブレット係数に対し水平方向の逆ウェーブレット変換を施す（ステップＳ３７）。

本実施例における図３１のステップＳ３の垂直方向のデタイル処理も同様の内容であり、上側タイルの行Ｃの係数に対しステップＳ３３又はＳ３４の係数補正が行われ、下側タイルの行Ｄの係数に対しステップＳ３５の係数補正が行われ、最後に垂直方向の逆ウェーブレット変換が実行される。

また、本実施例において、図３１中のステップＳ６，Ｓ７では、補正対象の全ての係数に対し図３７に示すステップＳ３３，Ｓ３５の係数補正が行われ、最後に水平方向又は垂直方向の逆ウェーブレット変換が実行される。

本発明の実施例３にあっては、図３１のステップＳ２で図３８に示すような水平方向デタイル処理を行う。図２４に示した列Ａ，Ｂの係数に対する処理である。

まずステップＳ４１において、エッジ検出部１１２は、図３４に示した閾値の中から、ウェーブレット変換の種類、コンポーネント、デコンポジションレベルに対応したエッジ検出のための閾値を選択する。

ステップＳ４２で、エッジ検出部１１２は、図２４の列Ａ，Ｂにある注目した係数に関し、エッジ検出を行う。本実施例では、タイル境界に隣接する両方のタイルに関しエッジ検出を行う。すなわち、Ｌ３，Ｌ４位置の係数値の差分値、Ｌ１，Ｌ２位置（図１２，図１３参照）の係数値の差分値を求め、それぞれを閾値と比較し、いずれかの差分値が閾値より大きいときにエッジと判定する。ただし、左側タイルに関しては、Ｌ１，Ｌ２位置の係数値の差分値のみでエッジ検出を行う。

エッジが検出されたときには、係数補正部１１１はステップＳ４３，Ｓ４４をスキップしてデタイルをしない。

エッジが検出されないときには、係数補正部１１１は、ステップＳ４３で、左側タイルの列Ａの注目した係数に対し、５×３変換ならば補正式（iii）により補正を行い、９×７ならば補正式（v）により補正を行い、次にステップＳ４４で、右側タイルの列Ｂの注目した係数に対し、５×３変換ならば補正式（iv）により補正を行い、９×７変換ならば補正式（vi）により補正を行う。

ステップＳ４２〜Ｓ４４を繰り返し、列Ａ，Ｂの全係数に対する処理を終わると（ステップＳ４５，Ｙｅｓ）、２次元ウェーブレット変換・逆変換部１０１は、補正処理後のウェーブレット係数に対し水平方向の逆ウェーブレット変換を施す（ステップＳ４６）。

図３１のステップＳ３の垂直方向デタイル処理も同様の内容であるが、Ｌ１，Ｌ２位置の係数値の差分値によるエッジ検出は、上側タイルに関してのみ行われる。

本実施例において、図３１中のステップＳ６，Ｓ７では、図３８に示すステップＳ４３，Ｓ４４の係数補正が列Ｅ，Ｆの全係数に対して実行され、最後に水平方向又は垂直方向の逆ウェーブレット変換が実行される。

以上、本発明を詳細に説明したが、図２２に関連して述べたように、本発明に係るデタイル処理のための手段（係数補正部，エッジ検出手段）さらには、デタイル処理に関連した逆ウェーブレット変換手段など、あるいは、以上に説明したデタイル処理の手順を、コンピュータを利用しプログラムによって実現可能である。そのようなプログラム（例えば、アプリケーションプログラムや、プリンタドライバ等のデバイスドライバ）、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

原画像の例と座標系を示す図である。 垂直方向へのフィルタリング後の係数配列を示す図である。 水平方向へのフィルタリング後の係数配列を示す図である。 図３の係数をデインターリーブした係数配列を示す図である。 ２回のウェーブレット変換後のデインターリーブした係数配列を示す図である。 ミラリングの説明図である。 デタイルにより副作用を生じる右タイル内のエッジを示す図である。 デタイルにより副作用を生じる右タイル内のエッジを示す図である。 タイル境界からの距離の説明図である。 図７のエッジによる副作用を示す図である。 図８のエッジによる副作用を示す図である。 図１０に示した副作用が生じる理由を説明するための図である。 図１１に示した副作用が生じる利用を説明するための図である。 境界上のエッジによる小さな副作用を示す図である。 右タイルのエッジが副作用を生じない場合を示す図である。 図１４の場合に副作用が小さい理由を説明するための図である。 図１５の場合に副作用が生じない理由を説明するための図である。 左タイルのエッジによる小さな副作用を示す図である。 左タイルのエッジによる小さな副作用を示す図である。 左タイルのエッジによる小さな副作用を示す図である。 本発明に係る画像処理装置の構成例を示すブロック図である。 本発明をコンピュータ上で実施する形態を説明するためのブロック図である。 ４タイル分割の場合における逆量子化後のデコンポジションレベル２の係数（インターリーブ状態）を示す図である。 水平方向のデタイル処理で補正対象となるデコンポジションレベル２の係数（インターリーブ状態）を示す図である。 図２３の係数を水平方向に逆ウェーブレット変換した後の係数（インターリーブ状態）を示す図である。 図２５に示す係数の垂直方向のデタイル処理で補正対象となる係数を示す図である。 図２６の係数を垂直方向に逆ウェーブレット変換した後の係数（デインターリーブ状態）を示す図である。 図２７の係数をインターリーブした状態を示す図である。 デコンポジションレベル１の水平方向デタイル処理の補正対象係数を示す図である。 デコンポジションレベル１の垂直方向デタイル処理の補正対象となる係数を示す図である。 本発明におけるデタイル処理の全体的な処理フローを示すフローチャートである。 第１の実施例における水平方向デタイル処理（図３１中のステップＳ２）の処理フローを示すフローチャートである。 第１の実施例における垂直方向デタイル処理（図３１中のステップＳ３）の処理フローを示すフローチャートである。 ５×３ウェーブレット変換及び９×７ウェーブレット変換の場合に用いられるエッジ検出のための閾値を示す図である。 ５×３ウェーブレット変換及び９×７ウェーブレット変換における係数絶対値の増加見積もりを示す図である。 コンポーネント変換によるコンポーネント絶対値の増加見積もりを示す図である。 第２の実施例における水平方向デタイル処理（図３１中のステップＳ２）の処理フローを示すフローチャートである。 第３の実施例における垂直方向デタイル処理（図３１中のステップＳ３）の処理フローを示すフローチャートである。 ＨＰＥＧ２０００を説明するためのブロック図である。

符号の説明

１００ 色変換・逆色変換部
１０１ ２次元ウェーブレット変換・逆変換部
１０２ 量子化・逆量子化部
１０３ エントロピー符号化・復号化部
１０４ 符号形成・タグ処理部
１１０ 蓄積部
１１１ 係数補正部
１１２ エッジ検出部

Claims (24)

1. 画像を重複しないタイルに分割し、タイル単位で周波数変換することにより得られた周波数係数を、量子化及び逆量子化後に逆周波数変換して得られる画像のタイル境界歪みを除去するための画像処理装置であって、
   タイル境界に隣接する係数を中心とした逆周波数変換値を、タイル分割しないで周波数変換した場合の低周波係数のみを用いた逆周波数変換値と略等しくするために、タイル境界付近に位置する、タイル分割して周波数変換を行う際のミラリングの影響を受けた高周波係数に対する補正処理を行う補正手段と、
   タイル分割して周波数変換した場合の低周波係数と、タイル分割しないで周波数変換した場合の低周波係数との差違を評価する評価手段とを有し、
   前記補正手段は補正処理を前記評価手段による評価結果に基づいて制御することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記補正手段は補正処理を適用するか否かを前記評価手段による評価結果に基づいて決定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、前記補正手段は補正処理に用いる補正式を、前記評価手段による評価結果に基づいて選択することを特徴とする画像処理装置。
4. 請求項１，２又は３に記載の画像処理装置において、前記評価手段は、タイル境界付近に存在する、境界と並行なエッジ成分を検出することにより前記差違を評価することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、前記評価手段は、タイル境界上のエッジ成分を検出対象から除外することを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、周波数変換はウェーブレット変換であり、前記評価手段は、タイル境界に接する画素からローパスフィルタのタップ長の半分未満の距離内にあるエッジ成分を検出することを特徴とする画像処理装置。
7. 請求項４に記載の画像処理装置において、前記評価手段は、タイル境界の両側のエッジ成分を検出することを特徴とする画像処理装置。
8. 請求項４に記載の画像処理装置において、前記評価手段は、タイル境界の一方の側のタイルに関してのみエッジ成分の検出を行うことを特徴とする画像処理装置。
9. 請求項４に記載の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記評価手段は、タイル境界に隣接した低周波係数を有する側のタイルに関してのみエッジ成分の検出を行うことを特徴とする画像処理装置。
10. 請求項４に記載の画像処理装置において、周波数変換はウェーブレット変換であり、前記評価手段は、ローパス係数の値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置。
11. 請求項９に記載の画像処理装置において、前記評価手段は、隣接するローパス係数の差分値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、前記評価手段は、タイル境界からの距離が０と２の位置にある、右タイル内のローパス係数の差分値を用いてエッジ成分の検出を行うことを特徴とする画像処理装置。
13. 請求項２に記載の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記補正手段は補正処理に次の補正式
    H2＝1/3・H1−2/3・L2＋2/3・L3
    （ここで、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
    を用いることを特徴とする画像処理装置。
14. 請求項２に記載の画像処理装置において、周波数変換は９ｘ７ウェーブレット変換であり、前記補正手段は補正処理に次の前記補正式
    H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3−0.09127L4)/0.60295
    （ここで、インターリーブされた係数列 H0 L1 H1 L2 H2 L3 H3 L4 H4 において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
    を用いることを特徴とする画像処理装置。
15. 請求項３に記載の画像処理装置において、周波数変換は５ｘ３ウェーブレット変換であり、前記補正手段は補正処理に、次の補正式
    H2＝1/3・H1−2/3・L2＋2/3・L3
    （ここで、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
    又は、次の補正式
    H2＝1/3・H1−2/3・L2＋2/(3n)・L3
    （ここで、ｎは１より大きい定数、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数、L2はH2に隣接するL3ではない低周波係数)
    を選択的に用いることを特徴とする画像処理装置。
16. 請求項３に記載の画像処理装置において、周波数変換は９ｘ７ウェーブレット変換であり、前記補正手段は補正処理に、次の前記補正式
    H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3−0.09127L4)/0.60295
    （ここで、インターリーブされた係数列
    H0 L1 H1 L2 H2 L3 H3 L4 H4
    において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
    又は、次の補正式
    H2＝(-0.0535H0＋0.15644H1＋0.09127L1−0.59127L2＋0.59127L3/n−0.09127L4)/0.60295（ここで、ｎは１より大きい定数、インターリーブされた係数列
    H0 L1 H1 L2 H2 L3 H3 L4 H4
    において、H2，L3は順にタイル境界に隣接する高周波係数および低周波係数）
    を選択的に用いることを特徴とする画像処理装置。
17. 請求項６，９乃至１２のいずれか１項に記載の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がデコンポジションレベルによって異なることを特徴とする画像処理装置。
18. 請求項６，９乃至１２のいずれか１項に記載の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がウェーブレット変換の種類によって異なることを特徴とする画像処理装置。
19. 請求項６，９乃至１２のいずれか１項に記載の画像処理装置において、前記評価手段でエッジ成分の検出のために用いられる閾値がコンポ−ネント毎に異なることを特徴とする画像処理装置。
20. 請求項１３または１４に記載の画像処理装置において、特定のデコンポジションレベルに関しては、前記評価手段による評価結果に関わらず前記補正手段は補正処理を適用することを特徴とする画像処理装置。
21. 請求項２０に記載の画像処理装置において、前記特定のデコンポジションレベルはデコンポジションレベル１であることを特徴とする画像処理装置。
22. 画像を重複しないタイルに分割し、タイル単位で周波数変換することにより得られた周波数係数を、量子化及び逆量子化後に逆周波数変換して得られる画像のタイル境界歪みを除去するための画像処理方法であって、
    請求項１乃至２１のいずれか１項に記載の補正手段及び評価手段の機能に対応する処理ステップを含むことを特徴とする画像処理方法。
23. 請求項１乃至２１のいずれか１項に記載の補正手段及び評価手段としてコンピュータを機能させるプログラム。
24. 請求項２３に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images