JP2013187692A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2013187692A
JP2013187692A JP2012050436A JP2012050436A JP2013187692A JP 2013187692 A JP2013187692 A JP 2013187692A JP 2012050436 A JP2012050436 A JP 2012050436A JP 2012050436 A JP2012050436 A JP 2012050436A JP 2013187692 A JP2013187692 A JP 2013187692A
Authority
JP
Japan
Prior art keywords
integer
image
function
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012050436A
Other languages
English (en)
Inventor
Daishi Tahara
大資 田原
Yuji Wada
祐司 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012050436A priority Critical patent/JP2013187692A/ja
Priority to US13/748,748 priority patent/US20130236113A1/en
Priority to CN2013100606892A priority patent/CN103313050A/zh
Publication of JP2013187692A publication Critical patent/JP2013187692A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Abstract

【課題】既存の手法において生じ得るブロック境界に沿った画質の劣化を防止し又は軽減する仕組みを提供すること。
【解決手段】1つ以上のブロックを含む画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換(逆DWT)を実行することにより画像信号に変換する逆変換部、を備え、前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、画像処理装置を提供する。
【選択図】図6

Description

本開示は、画像処理装置及び画像処理方法に関する。
近年実用されている多くの画像符号化方式は、デジタル画像信号を空間ドメインの信号から周波数ドメインの信号へ変換し、周波数ドメインでデータを量子化して符号化することにより、画像のデータサイズを圧縮する。例えば、JPEG(Joint Photographic Experts Group)方式では、離散コサイン変換(DCT:Discrete Cosine Transform)が信号の変換のために使用される。一方、JPEG2000方式では、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)が信号の変換のために使用される。
これら変換は、一般的に、画像内に設定されるブロック単位で行われる。DCTでは、様々な周波数の定常波(余弦波)がブロック単位で使用されるのに対して、DWTでは、空間的な局在性を有する孤立波がブロック内で使用される。このようなブロック単位の信号の変換が行われる場合、ブロック境界に沿って画像に歪み(即ち、画質の劣化)が生じ得る。
下記特許文献1及び2は、DWTベースの画像符号化方式において、復号される画像のブロック境界の近傍の画素をフィルタリングすることにより、ブロック境界に発生した画質の劣化を修復する手法を開示している。
特開2004−112004号公報 特開2001−257596号公報
しかしながら、ブロック境界の近傍の画素をフィルタリングする手法は、ブロック境界の近傍領域において画像が不自然にぼけるという副作用をもたらす。従って、画像を事後的にフィルタリングするというアプローチよりも、画質の劣化を生じさせる原因を除くというアプローチの方が、フィルタリングの副作用を回避できる点で有益である。
本開示によれば、1つ以上のブロックを含む画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換する逆変換部、を備え、前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、画像処理装置が提供される。
また、本開示によれば、1つ以上のブロックを含む画像の画像信号を、整数型離散ウェーブレット変換を実行することにより周波数成分の変換係数データに変換する変換部、を備え、前記整数型離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、画像処理装置が提供される。
また、本開示によれば、1つ以上のブロックを含む画像を復号するための画像処理方法であって、前記画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換すること、を含み、前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、画像処理方法が提供される。
本開示に係る技術によれば、既存の手法において生じ得るブロック境界に沿った画質の劣化を防止し又は軽減することができる。
ブロック端における対称周期拡張について説明するための説明図である。 整数型離散ウェーブレット変換における既存の整数化関数の関数グラフを示す説明図である。 一実施形態において採用され得る新たな整数化関数の関数グラフの第1の例を示す説明図である。 一実施形態において採用され得る新たな整数化関数の関数グラフの第2の例を示す説明図である。 一実施形態に係るエンコーダの構成の一例を示すブロック図である。 2次元DWTについて説明するための説明図である。 一実施形態に係るデコーダの構成の一例を示すブロック図である。 一実施形態に係る符号化処理の流れの一例を示すフローチャートである。 一実施形態に係る復号処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.課題の説明
1−1.既存の整数型逆離散ウェーブレット変換
1−2.新たな整数化関数
2.エンコーダの構成例
3.デコーダの構成例
4.符号化処理の流れ
5.復号処理の流れ
6.まとめ
<1.課題の説明>
まず、図1及び図2を用いて、本開示に係る技術に関連する課題について述べる。
[1−1.既存の整数型逆離散ウェーブレット変換]
JPEG2000方式などのいくつかの画像符号化方式において採用されている離散ウェーブレット変換(DWT)は、実質的には、各画素の周辺画素を含むフィルタタップを入力値とするフィルタ演算によって実現される。DWTには、整数型DWT及び実数型DWTという2つの種類が存在する。このうち、整数型DWTの一形態である整数型5×3DWTは、例えばJPEG2000方式では、次の演算式(1)及び(2)のように定義される。
Figure 2013187692
式(1)はローパスフィルタのフィルタ演算、式(2)はハイパスフィルタのフィルタ演算にそれぞれ相当する。これら演算式において、nは水平方向又は垂直方向の信号位置、X(n)は信号位置nにおける画素値、Y(n)は信号位置nにおける変換係数、をそれぞれ表す。floor(x)は、引数xの小数部を切り捨てることにより引数xを整数化する関数である。式(1)及び式(2)に従ってローパスフィルタ及びハイパスフィルタのフィルタ演算が信号位置ごとに交互に実行されることにより、空間ドメインの画像信号が周波数ドメインの複数のサブバンドの変換係数データに変換される。
また、整数型5×3逆DWTは、例えばJPEG2000方式では、次の演算式(3)及び(4)のように定義される。
Figure 2013187692
式(3)はローパスフィルタのフィルタ演算、式(4)はハイパスフィルタのフィルタ演算にそれぞれ相当する。式(3)及び式(4)に従ってローパスフィルタ及びハイパスフィルタのフィルタ演算が実行されることにより、周波数ドメインの複数のサブバンドの変換係数データが空間ドメインの画像信号に変換される。
これら演算式に着目すると、ブロックの端部において、フィルタ演算に入力すべきフィルタタップが不足することが理解される。そのため、対称周期拡張によって、不足する画素値が補われる。
図1は、ブロック端における対称周期拡張について説明するための説明図である。図1において、横軸は1次元化された画像信号の信号位置に対応し、縦軸は各信号位置における画素値に対応する。図中の実線の丸印は実際の画素値であり、破線の丸印は対称周期拡張によって補われる画素値である。図1の例において、信号位置ゼロから信号位置N−1までの画素は、ブロックB0に含まれる。JPEG2000方式で画像が符号化される場合には、このようなブロックはタイルと呼ばれ、タイルを処理単位として離散ウェーブレット変換(DWT)が実行される。JPEG2000方式のタイルのサイズは、可変である。画像全体に1つのタイルが設定されてもよく、その場合にはタイル端は画像の端部に等しい。図1の例では、ブロック境界BB1の近傍で、画素Pa、Pb及びPcはブロックB0に含まれるものの、画素Pd及びPeはブロックB0に含まれない。従って、信号位置N−1におけるDWTのフィルタ演算のために、信号位置Nに画素Pb´、信号位置N+1に画素Pa´がそれぞれ複製され、画素Pa、Pb、Pc、Pb´及びPa´の画素値がフィルタ演算において使用される。
図2は、式(1)〜式(4)における整数化関数floor(x)の関数グラフを示している。式(1)〜式(4)において、整数化関数の引数は、整数値を2又は4で割った値を有する。従って、当該引数の小数部は、ゼロ、0.25、0.5及び0.75のいずれかである。これら小数部が整数化関数floor(x)によって切り捨てられることにより、フィルタ演算を通じて信号値に負の方向へのバイアスがかかる。例えば、信号値0.5、1.5及び2.5を整数化した結果はそれぞれゼロ、1及び2となるのに対し、信号値−0.5、−1.5及び−2.5を整数化した結果はそれぞれ−1、−2及び−3となる。即ち、正の信号値が小数部を含む場合にはフィルタ演算を通じて信号値の絶対値は減少し得るのに対し、負の信号値が小数部を含む場合にはフィルタ演算を通じて信号値の絶対値は増加し得る。
しかし、ブロック端の信号値は、上述した対称周期拡張を原因として、このようなバイアスの影響を受けない。例えば、整数型5×3DWTに際して、信号位置N−1がブロック端であるとすると、対称周期拡張により、画素値X(N)=X(N−2)となる。これを式(2)に代入すると、変換係数Y(N−1)=X(N−1)−X(N−2)が導かれる。同様に、例えば整数型5×3逆DWTに際して、信号位置N−1がブロック端であるとすると、対称周期拡張により、画素値X(N)=X(N−2)となる。これを式(4)に代入すると、画素値X(N−1)=Y(N−1)+X(N−2)が導かれる。即ち、整数型5×3DWT及び整数型5×3逆DWTのいずれのケースでも、対称周期拡張を原因として整数化関数の引数に小数部が発生しないため、実質的に小数部の切り捨てが行われず、結果として信号値に特定の方向へのバイアスはかからない。
従って、整数型DWTを通じて符号化された画像を復号する際、量子化又は下位ビットの破棄(truncation)を通じて発生する誤差の挙動は、ブロック境界と画像内の他の部分との間で異なる。その結果、ブロック境界に沿って、視覚的に感知される画質の劣化が生じ得る。特に、1つの画像が複数のブロックに分割される場合には、ブロック境界が画像の中央部を通過するため、ブロック境界に沿った歪みは視覚的に顕著となり得る。
既存の手法では、ブロック境界の近傍領域においてブロック歪みが現れる場合に、デコーダ側でブロック境界の近傍の画素をフィルタリングすることにより、画質の劣化の修復が試みられる。しかし、そのような手法は、ブロック境界の近傍領域において画像が不自然にぼけるという副作用を伴う。そこで、本開示に係る技術は、既存の手法のような事後的なフィルタリングというアプローチではなく、画質の劣化を防止し又は軽減することを目的として、画質の劣化を生じさせる原因となっている整数化関数を修正し又は再定義するというアプローチを採用する。
[1−2.新たな整数化関数]
本開示に係る技術の一実施形態において、整数型DWT及び整数型逆DWTの演算式内で用いられる整数化関数は、原点を基準として点対称な関数グラフを有する関数である。そのような整数化関数を用いれば、信号値が小数部を有する場合にも、信号値に特定の方向へのバイアスがかかることが回避される。当該整数化関数は、引数の絶対値を引数の符号に依存することなく整数化し、整数化された絶対値に引数と同じ符号を付す関数であってよい。
図3A及び図3Bは、一実施形態において採用され得る新たな整数化関数の関数グラフの例をそれぞれ示している。図3Aの例において、整数化関数round(x)は、引数xの絶対値の小数第1位を四捨五入し、それにより整数化された絶対値に引数xと同じ符号を付す関数である。例えば、信号値0.5、1.5及び2.5を図3Aの整数化関数round(x)で整数化した結果はそれぞれ1、2及び3となり、信号値−0.5、−1.5及び−2.5を当該整数化関数round(x)で整数化した結果はそれぞれ−1、−2及び−3となる。図3Bの例では、引数xの小数部が0.5に等しい場合にのみ、整数化関数round(x)の出力が図3Aの例とは異なる。図3A及び図3Bのいずれにおいても、信号値の絶対値の挙動は、信号値が正であるか負であるかに依存しない。
なお、図3A及び図3Bに示した整数化関数は一例に過ぎず、原点を基準として点対称な関数グラフを有する他の整数化関数が使用されてもよい。また、ここでの“対称性”は、少なくとも整数化関数の引数がとり得る離散的な定義域(式(1)〜式(4)の例では、0.25の整数倍)において実現されていればよい。さらに、本明細書では主にJPEG2000方式を例にとって説明する。しかしながら、本開示に係る技術は、JPEG2000方式に限定されず、整数型DWTに基づく、対称周期拡張を伴う様々な画像符号化方式に広く適用可能である。
<2.エンコーダの構成例>
図4は、一実施形態に係るエンコーダ100の構成の一例を示すブロック図である。図4を参照すると、エンコーダ100は、変換・シフト部110、タイル分割部120、DWT部130、量子化部140、ビットモデリング部150、符号化・レート制御部160及びストリーム出力部170を備える。
(1)変換・シフト部
変換・シフト部110には、入力画像の画像信号IMGが入力される。変換・シフト部110は、エンコーダ100によりサポートされる色空間と画像信号IMGの色空間とが異なる場合に、画像信号IMGの色空間をエンコーダ100によりサポートされる色空間に変換する。また、変換・シフト部110は、画像信号IMGの信号値の定義域の中央値がゼロに一致するように、画像信号IMGの信号レベルを一律的にシフトする。例えば、シフト前の信号値の定義域が0〜255である場合には、信号値は、一律的に128だけ減算され得る。そして、変換・シフト部110は、変換及びシフト後の画像信号BBをタイル分割部120へ出力する。
(2)タイル分割部
タイル分割部120は、入力画像内に1つ以上のタイルを設定する。タイルのサイズは、典型的には、一辺の長さが2のべき乗の画素数に等しい複数のサイズの候補から選択され得る。入力画像の全体に1つのタイルが設定されてもよい。タイル分割部120は、タイルの設定に従って、画像信号BBをタイルごとの画像信号であるタイル信号TBBに分割し、タイル信号TBBをDWT部130へ順次出力する。
(3)離散ウェーブレット変換(DWT)部
DWT部130は、タイル分割部120からタイルごとに入力されるタイル信号TBBについて2次元の整数型DWTを実行することにより、タイルごとの変換係数データを生成する。ここでの整数型DWTの演算式は、例えば、次の式(5)及び式(6)であってよい。
Figure 2013187692
なお、式(5)はローパスフィルタのフィルタ演算、式(6)はハイパスフィルタのフィルタ演算にそれぞれ相当する。round(x)は、引数xを整数化するための、原点を基準として点対称な関数グラフを有する整数化関数である。整数化関数round(x)は、引数xの符号に依存することなくその絶対値を整数化し、整数化された絶対値に引数xと同じ符号を付す。整数化関数round(x)の関数グラフは、例えば、図3Aに示したようなグラフであってよい。その場合、整数化関数round(x)は、引数xの絶対値の小数第1位を四捨五入することにより、当該絶対値を整数化する。その代わりに、整数化関数round(x)の関数グラフは、図3Bに示したようなグラフ、又は原点を基準として点対称なその他のグラフであってもよい。DWT部130は、式(5)及び式(6)に従ってローパスフィルタ及びハイパスフィルタのフィルタ演算を信号位置ごとに交互に実行することにより、タイル信号TBBを2つのサブバンド信号に分解する。
このようにDWTを実行する際、タイル端では式(5)又は式(6)に代入されるフィルタタップが不足する。そこで、DWT部130は、各タイルの端部の画素値を図1を用いて説明した対称周期拡張によって拡張した上でフィルタ演算を実行する。
図5は、2次元DWTについて説明するための説明図である。図5の左上には、1つのタイルについてのタイル信号TBBが示されている。DWT部130は、まず、タイル信号TBBを水平方向に走査し、信号位置ごとにローパスフィルタ及びハイパスフィルタを交互に適用する。DWT部130は、ローパスフィルタの出力信号(1L)及びハイパスフィルタの出力信号(1H)を図5の中央上のように並び替える。このような処理を垂直方向についても実行すると、図5の右上のように、4つのサブバンド信号(1LL、1HL、1LH、1HH)が得られる。これが1回の2次元DWTの結果である。DWT部130は、さらに、低周波成分のサブバンド信号(1LL)を対象として、2次元DWTを実行し得る。その結果、図5の右下のように、7つのサブバンド信号(2LL、2HL、2LH、2HH、1HL、1LH、1HH)が得られる。DWT部130は、このように2次元DWT(低周波及び高周波のサブバンドへの信号の分解)を所定の回数だけ繰り返して実行し、複数の周波数成分(即ち、サブバンド)の変換係数を含む変換係数データCEを生成する。このような階層的なサブバンドの分解によって、プログレッシブな画像の復号が可能となる。なお、サブバンドの分解は、いかなる回数だけ繰り返されてもよい。
DWT部130は、このように2次元の整数型DWTを実行することにより生成されるタイルごとの変換係数データCEを、量子化部140へ出力する。
(4)量子化部
量子化部140は、DWT部130から入力される変換係数データCEを量子化することにより、量子化された変換係数データQCEを生成する。JPEG2000方式では、スカラ量子化が採用され、サブバンドごとに動的に量子化ステップが決定され得る。量子化部140は、量子化された変換係数データQCEをビットモデリング部150へ出力する。なお、量子化部140による量子化処理は、省略されてもよい。
(5)ビットモデリング部
ビットモデリング部150は、エントロピー符号化の一種であるEBCOT(Embedded Block Coding with Optimized Truncation)を実現するためのビットモデリングを行う。ビットモデリング部150は、コードブロックごとに、量子化部140から入力される変換係数データQCEから、3つの符号化パス(サブビットプレーン)を含むビット列BINを生成する。そして、ビットモデリング部150は、生成したビット列BINを符号化・レート制御部160へ出力する。
(6)符号化・レート制御部
符号化・レート制御部160は、指定される符号化レート(あるいは圧縮率)を達成するために、ビットの破棄位置(TP:Truncation Point)をコードブロックごとに決定し、破棄位置以下の下位ビットに相当する変換係数データQCEのビットプレーンを破棄する。また、符号化・レート制御部160は、残されるビットプレーンを含む変換係数データのビット列BINを算術符号化器の一種であるMQ−Coderによって符号化して、符号化ストリームBSを生成する。そして、符号化・レート制御部160は、生成した符号化ストリームBSを、ストリーム出力部170へ出力する。
(7)ストリーム出力部
ストリーム出力部170は、符号化・レート制御部160から入力される符号化ストリームBSを所定のファイル形式に整形することにより出力データPBSを生成し、生成した出力データPBSを出力する。ストリーム出力部170により出力される出力データPBSは、エンコーダ100に接続される記憶媒体により記憶されてもよい。その代わりに、出力データPBSは、エンコーダ100から他の装置へ送信され、他の装置において記憶又は復号されてもよい。
<3.デコーダの構成例>
図6は、一実施形態に係るデコーダ200の構成の一例を示すブロック図である。図6を参照すると、デコーダ200は、ストリーム取得部210、復号部220、ビットデモデリング部230、逆量子化部240、逆DWT部250、タイル合成部260及び逆変換・逆シフト部270を備える。
(1)ストリーム取得部
ストリーム取得部210は、デコーダ200による復号処理の入力となる入力データPBSを取得する。入力データPBSは、復号すべき画像の周波数成分の変換係数データが符号化された符号化ストリームを含む。当該変換係数データは、対称周期拡張を伴う整数型DWTを通じて画像信号から変換されたデータである。入力データPBSのファイル形式は、例えば、上述したエンコーダ100から出力される出力データPBSと同様の形式であってよい。ストリーム取得部210は、入力データPBSから符号化ストリームBSを抽出し、抽出した符号化ストリームBSを復号部220へ出力する。
(2)復号部
復号部220は、ストリーム取得部210から入力される符号化ストリームBSから、変換係数データのビット列BINを復号する。より具体的には、本実施形態において、復号部220は、符号化ストリームBSから、コードブロックごとの3つの符号化パスのビット列BINをMQ−Deoderによって復号する。そして、復号部220は、復号されたビット列BINをビットデモデリング部230へ出力する。
(3)ビットデモデリング部
ビットデモデリング部230は、復号部220から入力されるビット列BINを並び替え直すことにより、エンコーダ100において量子化された変換係数データQCEを復元する。そして、ビットデモデリング部230は、復元した変換係数データQCEを逆量子化部240へ出力する。
(4)逆量子化部
逆量子化部240は、ビットデモデリング部230から入力される変換係数データQCEを、エンコーダ100における量子化処理において使用されたものと同等の量子化ステップで逆量子化することにより、量子化前の変換係数データCEを復元する。そして、逆量子化部240は、復元した変換係数データCEを逆DWT部250へ出力する。なお、逆量子化部240による逆量子化処理は、省略されてもよい。
(5)逆DWT部
逆DWT部250は、逆量子化部240から入力される変換係数データCEについて2次元の整数型逆DWTを実行することにより、タイルごとの画像信号であるタイル信号TBBを復元する。ここでの整数型逆DWTの演算式は、例えば、次の式(7)及び式(8)であってよい。
Figure 2013187692
なお、式(7)はローパスフィルタのフィルタ演算、式(8)はハイパスフィルタのフィルタ演算にそれぞれ相当する。round(x)は、引数xを整数化するための、原点を基準として点対称な関数グラフを有する整数化関数である。逆DWT部250は、このような2次元の整数化逆DWTを繰り返すことにより所望のレベルのタイル信号TBBを復元し、復元したタイル信号TBBをタイル合成部260へ順次出力する。
(6)タイル合成部
タイル合成部260は、逆DWT部250から入力されるタイル信号TBBを、タイル位置及びタイルサイズに応じて画像内に順次配置し、1つの画像の画像信号BBを復元する。そして、タイル合成部260は、復元した画像信号BBを逆変換・逆シフト部270へ出力する。
(7)逆変換・逆シフト部
逆変換・逆シフト部270は、タイル合成部260から入力される画像信号BBの信号値を一律的にシフトし、画像信号IMGを復元する。また、逆変換・逆シフト部270は、画像信号IMGの色空間を逆変換する。逆変換・逆シフト部270により復元された画像信号IMGは、例えば、表示装置(図示せず)へ出力されてもよく、又は記憶媒体により記憶されてもよい。
<4.符号化処理の流れ>
図7は、エンコーダ100による符号化処理の流れの一例を示すフローチャートである。
図7を参照すると、まず、変換・シフト部110は、入力画像信号IMGの色空間をエンコーダ100によりサポートされる色空間に変換し、信号レベルをシフトする(ステップS110)。そして、変換・シフト部110は、変換及びシフト後の画像信号BBをタイル分割部120へ出力する。
次に、タイル分割部120は、入力画像内に1つ以上のタイルを設定し、画像信号BBをタイル信号TBBに分割する(ステップS120)。そして、タイル分割部120は、タイル信号TBBをDWT部130へ出力する。その後のステップS130からステップS180までの処理は、入力画像内のタイルの各々について繰り返される。
DWT部130は、タイル分割部120から入力されるタイル信号TBBについて、原点を基準として点対称な関数グラフを有する整数化関数を用いた整数型DWTを実行することにより、変換係数データCEを生成する(ステップS130)。そして、DWT部130は、生成した変換係数データCEを量子化部140へ出力する。
次に、量子化部140は、DWT部130から入力される変換係数データCEを量子化することにより、量子化された変換係数データQCEを生成する(ステップS140)。これにより、変換係数データに量子化誤差が生じ得る。そして、量子化部140は、量子化された変換係数データQCEをビットモデリング部150へ出力する。
次に、ビットモデリング部150は、コードブロックごとに、量子化部140から入力される変換係数データQCEを、3つの符号化パスを含むビット列BINに変換する(ステップS150)。そして、ビットモデリング部150は、ビット列BINを符号化・レート制御部160へ出力する。
次に、符号化・レート制御部160は、指定される符号化レートに応じた破棄位置TPを決定し、ビットモデリング部150から入力されるビット列BINの破棄位置TP以下の下位ビットを破棄する(ステップS160)。これにより、変換係数データにビットの破棄に起因する誤差が生じ得る。
また、符号化・レート制御部160は、下位ビットの破棄されたビット列BINを符号化して、符号化ストリームBSを生成する(ステップS170)。そして、符号化・レート制御部160は、生成した符号化ストリームBSを、ストリーム出力部170へ出力する。
その後、未処理の次のタイルが存在する場合には、処理はステップS130へ戻る。全てのタイルについて符号化ストリームが生成された場合には、処理はステップS190へ進む(ステップS180)。
ステップS190において、ストリーム出力部170は、符号化ストリームBSを所定のファイル形式に整形することにより出力データPBSを生成し、生成した出力データPBSを出力する。
<5.復号処理の流れ>
図8は、デコーダ200により実行される復号処理の流れの一例を示すフローチャートである。
図8を参照すると、まず、ストリーム取得部210は、復号すべき画像の変換係数データが符号化された符号化ストリームBSを取得する(ステップS210)。そして、ストリーム取得部210は、符号化ストリームBSを復号部220へ出力する。
その後のステップS220からステップS260までの処理は、入力画像内のタイルの各々について繰り返される。
復号部220は、ストリーム取得部210から入力される符号化ストリームBSから、変換係数データのビット列BINを復号する(ステップS220)。そして、復号部220は、復号されたビット列BINをビットデモデリング部230へ出力する。
次に、ビットデモデリング部230は、復号部220から入力されるビット列BINを並び替え直すことにより、ビット列BINを量子化された変換係数データQCEに変換する(ステップS230)。そして、ビットデモデリング部230は、量子化された変換係数データQCEを逆量子化部240へ出力する。
次に、逆量子化部240は、ビットデモデリング部230から入力される変換係数データQCEを逆量子化することにより、量子化前の変換係数データCEを復元する(ステップS240)。そして、逆量子化部240は、復元した変換係数データCEを逆DWT部250へ出力する。
次に、逆DWT部250は、変換係数データCEについて、原点を基準として点対称な関数グラフを有する整数化関数を用いた2次元の整数型逆DWTを実行することにより、タイルごとの画像信号であるタイル信号TBBを復元する(ステップS250)。そして、逆DWT部250は、復元したタイル信号TBBをタイル合成部260へ出力する。
その後、未処理の次のタイルが存在する場合には、処理はステップS220へ戻る。全てのタイルについてタイル信号TBBが復元された場合には、処理はステップS270へ進む(ステップS260)。
ステップS270において、タイル合成部260は、逆DWT部250から入力される複数のタイルのタイル信号TBBを合成することにより、1つの画像の画像信号BBを復元する(ステップS270)。そして、タイル合成部260は、復元した画像信号BBを逆変換・逆シフト部270へ出力する。なお、1つの画像全体が1つのタイルに相当する場合には、ステップS270の処理はスキップされてよい。
次に、逆変換・逆シフト部270は、タイル合成部260から入力される画像信号BBの信号値を一律的にシフトして画像信号IMGを復元し、(必要に応じて)画像信号IMGの色空間を逆変換する(ステップS280)。そして、逆変換・逆シフト部270は、例えば表示装置又は記憶装置などの、デコーダ200と接続される装置へ、画像信号IMGを出力する。
なお、本明細書で説明した処理は、必ずしもフローチャートに示した順序で実行されなくてよい。一例として、色空間の変換、信号レベルのシフト及びタイル分割の順序が入れ替えられてもよい。
<6.まとめ>
ここまで、図1〜図8を用いて、本開示に係る技術の一実施形態について詳細に説明した。上述した実施形態によれば、画像の符号化の際には、原点を基準として点対称な関数グラフを有する整数化関数を用いて整数型DWTが実行される。また、画像の復号の際には、原点を基準として点対称な関数グラフを有する整数化関数を用いて整数型逆DWTが実行される。それにより、量子化又は下位ビットの破棄を通じて発生する誤差に、ブロック境界以外の部分においてのみ特定の方向へのバイアスがかかる、という事象は解消される。従って、これら誤差の挙動を原因としてブロック境界に沿って画質の劣化が生じることが防止される。また、上述した実施形態によれば、ブロック境界の近傍の画素の追加的なフィルタリングが行われないため、ブロック境界の近傍領域において画像がぼけるという副作用は生じない。
上述した実施形態によれば、整数化関数は、当該関数の引数の絶対値をその符号に依存することなく整数化し、整数化された絶対値に引数と同じ符号を付す関数である。このような整数化関数を用いれば、整数化される信号値の絶対値の挙動が当該信号値の正負に依存して異なることが回避される。それにより、対称周期拡張の結果として整数化関数へ入力される信号値が整数となるブロック境界と、整数化関数へ入力される信号値が小数部を含み得る非ブロック境界との間で、上記誤差の挙動が均一となる。
上記整数化関数は、例えば、引数の絶対値の小数第1位を四捨五入することにより当該絶対値を整数化する関数であってよい。絶対値演算及び四捨五入演算は、一般的な画像処理環境において既に利用可能である。従って、このような整数化関数を、低コストで容易に実装することが可能である。
なお、上述した実施形態に係るデコーダ200は、既存のエンコーダ、即ち非点対称な関数グラフを有する整数化関数を用いる整数型DWTを実行するエンコーダによって符号化された符号化ストリームから、画像を復号するために使用されてもよい。その場合にも、誤差を含む変換係数データから整数型逆DWTを通じて画像を復元する際のブロック歪みを軽減することが可能である。
本明細書において説明したエンコーダ及びデコーダによる一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
本開示に係る技術は、画像を符号化し又は復号する様々な製品に応用可能である。限定ではなく一例として、PC(Personal Computer)、スマートフォン、PDA(Personal Digital Assistants)、デジタルカメラ、ゲーム端末、コンテンツレコーダ、コンテンツプレーヤ又はデジタルテレビジョン装置などの製品において、本開示に係る技術が採用されてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
1つ以上のブロックを含む画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換する逆変換部、
を備え、
前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
画像処理装置。
(2)
前記整数化関数は、引数の絶対値を前記引数の符号に依存することなく整数化し、整数化された前記絶対値に前記引数と同じ符号を付す関数である、前記(1)に記載の画像処理装置。
(3)
前記整数化関数は、前記絶対値の小数第1位を四捨五入することにより、前記絶対値を整数化する、前記(2)に記載の画像処理装置。
(4)
前記整数型逆離散ウェーブレット変換は、n番目の画素値をX(n)、n番目の変換係数をY(n)、とすると、
低周波成分については、
Figure 2013187692
高周波成分については、
Figure 2013187692
のように定義され、round()は前記整数化関数である、
前記(1)〜(3)のいずれか1項に記載の画像処理装置。
(5)
前記変換係数データは、各ブロックの端部の画素値を対称周期拡張によって拡張して離散ウェーブレット変換を実行することにより、前記画像の符号化の際に生成される、前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(6)
前記画像処理装置は、JPEG2000方式に従って前記画像を復号する装置であり、
前記ブロックは、タイルに相当する、
前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
1つ以上のブロックを含む画像の画像信号を、整数型離散ウェーブレット変換を実行することにより周波数成分の変換係数データに変換する変換部、
を備え、
前記整数型離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
画像処理装置。
(8)
前記整数化関数は、引数の絶対値を前記引数の符号に依存することなく整数化し、整数化された前記絶対値に前記引数と同じ符号を付す関数である、前記(7)に記載の画像処理装置。
(9)
前記整数化関数は、前記絶対値の小数第1位を四捨五入することにより、前記絶対値を整数化する、前記(8)に記載の画像処理装置。
(10)
前記整数型離散ウェーブレット変換は、n番目の画素値をX(n)、n番目の変換係数をY(n)、とすると、
低周波成分については、
Figure 2013187692
高周波成分については、
Figure 2013187692
のように定義され、round()は前記整数化関数である、
前記(7)〜(9)のいずれか1項に記載の画像処理装置。
(11)
前記変換部は、各ブロックの端部の画素値を対称周期拡張によって拡張して離散ウェーブレット変換を実行する、前記(7)〜(10)のいずれか1項に記載の画像処理装置。
(12)
前記画像処理装置は、JPEG2000方式に従って前記画像を符号化する装置であり、
前記ブロックは、タイルに相当する、
前記(7)〜(11)のいずれか1項に記載の画像処理装置。
(13)
1つ以上のブロックを含む画像を復号するための画像処理方法であって、
前記画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換すること、
を含み、
前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
画像処理方法。
(14)
1つ以上のブロックを含む画像を符号化するための画像処理方法であって、
前記画像の画像信号を、整数型離散ウェーブレット変換を実行することにより周波数成分の変換係数データに変換すること、
を含み、
前記整数型離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
画像処理方法。
(15)
画像処理装置を制御するコンピュータを、
1つ以上のブロックを含む画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換する逆変換部、
として機能させ、
前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
プログラム。
(16)
画像処理装置を制御するコンピュータを、
1つ以上のブロックを含む画像の画像信号を、整数型離散ウェーブレット変換を実行することにより周波数成分の変換係数データに変換する変換部、
として機能させ、
前記整数型離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
プログラム。
100 画像処理装置(エンコーダ)
110 変換・シフト部
120 タイル分割部
130 DWT(離散ウェーブレット変換)部
140 量子化部
150 ビットモデリング部
160 符号化・レート制御部
170 ストリーム出力部
200 画像処理装置(デコーダ)
210 ストリーム取得部
220 復号部
230 ビットデモデリング部
240 逆量子化部
250 逆DWT(離散ウェーブレット変換)部
260 タイル合成部
270 逆変換・逆シフト部

Claims (13)

  1. 1つ以上のブロックを含む画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換する逆変換部、
    を備え、
    前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
    画像処理装置。
  2. 前記整数化関数は、引数の絶対値を前記引数の符号に依存することなく整数化し、整数化された前記絶対値に前記引数と同じ符号を付す関数である、請求項1に記載の画像処理装置。
  3. 前記整数化関数は、前記絶対値の小数第1位を四捨五入することにより、前記絶対値を整数化する、請求項2に記載の画像処理装置。
  4. 前記整数型逆離散ウェーブレット変換は、n番目の画素値をX(n)、n番目の変換係数をY(n)、とすると、
    低周波成分については、
    Figure 2013187692
    高周波成分については、
    Figure 2013187692
    のように定義され、round()は前記整数化関数である、
    請求項1に記載の画像処理装置。
  5. 前記変換係数データは、各ブロックの端部の画素値を対称周期拡張によって拡張して離散ウェーブレット変換を実行することにより、前記画像の符号化の際に生成される、請求項1に記載の画像処理装置。
  6. 前記画像処理装置は、JPEG2000方式に従って前記画像を復号する装置であり、
    前記ブロックは、タイルに相当する、
    請求項1に記載の画像処理装置。
  7. 1つ以上のブロックを含む画像の画像信号を、整数型離散ウェーブレット変換を実行することにより周波数成分の変換係数データに変換する変換部、
    を備え、
    前記整数型離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
    画像処理装置。
  8. 前記整数化関数は、引数の絶対値を前記引数の符号に依存することなく整数化し、整数化された前記絶対値に前記引数と同じ符号を付す関数である、請求項7に記載の画像処理装置。
  9. 前記整数化関数は、前記絶対値の小数第1位を四捨五入することにより、前記絶対値を整数化する、請求項8に記載の画像処理装置。
  10. 前記整数型離散ウェーブレット変換は、n番目の画素値をX(n)、n番目の変換係数をY(n)、とすると、
    低周波成分については、
    Figure 2013187692
    高周波成分については、
    Figure 2013187692
    のように定義され、round()は前記整数化関数である、
    請求項7に記載の画像処理装置。
  11. 前記変換部は、各ブロックの端部の画素値を対称周期拡張によって拡張して離散ウェーブレット変換を実行する、請求項7に記載の画像処理装置。
  12. 前記画像処理装置は、JPEG2000方式に従って前記画像を符号化する装置であり、
    前記ブロックは、タイルに相当する、
    請求項7に記載の画像処理装置。
  13. 1つ以上のブロックを含む画像を復号するための画像処理方法であって、
    前記画像の周波数成分の変換係数データを、整数型逆離散ウェーブレット変換を実行することにより画像信号に変換すること、
    を含み、
    前記整数型逆離散ウェーブレット変換における整数化関数は、原点を基準として点対称な関数グラフを有する、
    画像処理方法。
JP2012050436A 2012-03-07 2012-03-07 画像処理装置及び画像処理方法 Pending JP2013187692A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012050436A JP2013187692A (ja) 2012-03-07 2012-03-07 画像処理装置及び画像処理方法
US13/748,748 US20130236113A1 (en) 2012-03-07 2013-01-24 Image processing device and image processing method
CN2013100606892A CN103313050A (zh) 2012-03-07 2013-02-27 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050436A JP2013187692A (ja) 2012-03-07 2012-03-07 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2013187692A true JP2013187692A (ja) 2013-09-19

Family

ID=49114185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050436A Pending JP2013187692A (ja) 2012-03-07 2012-03-07 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20130236113A1 (ja)
JP (1) JP2013187692A (ja)
CN (1) CN103313050A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186386A (ja) * 2013-03-21 2014-10-02 Canon Inc 画像処理装置、画像処理方法、及び、コンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079930A (zh) * 2014-01-06 2014-10-01 中科宇图天下科技有限公司 一种遥感影像压缩系统的实现方法
WO2020150374A1 (en) 2019-01-15 2020-07-23 More Than Halfway, L.L.C. Encoding and decoding visual information

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
AUPQ156299A0 (en) * 1999-07-12 1999-08-05 Canon Kabushiki Kaisha Method and apparatus for discrete wavelet transforms and compressed bitstream ordering for block entropy coding of subband image data
JP2002204356A (ja) * 2000-10-27 2002-07-19 Canon Inc データ処理装置、プロセッサ、及びその制御方法
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
US6909808B2 (en) * 2002-03-08 2005-06-21 Anzus, Inc. Image compression to enhance optical correlation
JP2003283839A (ja) * 2002-03-19 2003-10-03 Sanyo Electric Co Ltd 画像変換方法および装置
US7302105B2 (en) * 2002-07-22 2007-11-27 Canon Kabushiki Kaisha Moving image coding apparatus, moving image decoding apparatus, and methods therefor
JP4017112B2 (ja) * 2003-04-30 2007-12-05 株式会社リコー 符号化データ生成装置及び方法、プログラム並びに情報記録媒体
US20080089413A1 (en) * 2004-06-28 2008-04-17 Canon Kabushiki Kaisha Moving Image Encoding Apparatus And Moving Image Encoding Method
EP1980956A1 (en) * 2007-04-12 2008-10-15 Deutsche Thomson OHG Method and apparatus for selectively reducing noise in a digital signal
US8027547B2 (en) * 2007-08-09 2011-09-27 The United States Of America As Represented By The Secretary Of The Navy Method and computer program product for compressing and decompressing imagery data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186386A (ja) * 2013-03-21 2014-10-02 Canon Inc 画像処理装置、画像処理方法、及び、コンピュータプログラム

Also Published As

Publication number Publication date
CN103313050A (zh) 2013-09-18
US20130236113A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP4700491B2 (ja) 適応係数スキャン順序付け
Schwartz et al. Implementation of compression with reversible embedded wavelets
JP5114462B2 (ja) 画像圧縮装置及び画像圧縮プログラム
US11917205B2 (en) Techniques and apparatus for scalable lifting for point-cloud attribute coding
US8908985B2 (en) Image processing including encoding information concerning the maximum number of significant digits having largest absolute value of coefficient data in groups
US20200186583A1 (en) Integer Multiple Description Coding System
CN105163130B (zh) 一种基于离散Tchebichef正交多项式的图像无损压缩方法
JP2013187692A (ja) 画像処理装置及び画像処理方法
JP2020102704A (ja) 画像符号化装置及びその制御方法及びプログラム
JP5966347B2 (ja) 画像処理装置および方法
JP2004048607A (ja) ディジタル画像符号化装置およびディジタル画像符号化方法
CN108028928B (zh) 用于快速和高效的图像压缩和解压缩的方法和装置
CN105472395B (zh) 一种基于离散Krawtchouk正交多项式的图像无损压缩方法
JP5966346B2 (ja) 画像処理装置および方法
Rawat et al. Analysis and comparison of EZW, SPIHT and EBCOT coding schemes with reduced execution time
JP2013175870A (ja) 画像処理装置及び画像処理方法
JP4114144B2 (ja) 画像符号化装置、画像符号化プログラム、及び画像復号化プログラム
US20200142703A1 (en) Gain Control for Multiple Description Coding
JP6792359B2 (ja) 画像符号化装置
KR101074771B1 (ko) 블록 기반형 병렬처리 spiht를 이용한 영상처리방법
CN111264062A (zh) 编码器、编码系统和编码方法
JP2010021754A (ja) 画像処理装置及び画像処理プログラム
JP2003274184A (ja) タイル化ウェーブレット変換係数のタイルサイズ変換方法
JP2011077760A (ja) 画像圧縮装置及び画像圧縮プログラム
JP2017085548A (ja) 画像符号化装置およびその制御方法