JP2005192087A - 圧縮符号化装置、圧縮符号化方法およびプログラム - Google Patents

圧縮符号化装置、圧縮符号化方法およびプログラム Download PDF

Info

Publication number
JP2005192087A
JP2005192087A JP2003433362A JP2003433362A JP2005192087A JP 2005192087 A JP2005192087 A JP 2005192087A JP 2003433362 A JP2003433362 A JP 2003433362A JP 2003433362 A JP2003433362 A JP 2003433362A JP 2005192087 A JP2005192087 A JP 2005192087A
Authority
JP
Japan
Prior art keywords
step size
quantization step
quantization
image quality
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003433362A
Other languages
English (en)
Other versions
JP4191592B2 (ja
JP2005192087A5 (ja
Inventor
Yusuke Mizuno
雄介 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2003433362A priority Critical patent/JP4191592B2/ja
Priority to US11/004,905 priority patent/US7613352B2/en
Publication of JP2005192087A publication Critical patent/JP2005192087A/ja
Publication of JP2005192087A5 publication Critical patent/JP2005192087A5/ja
Application granted granted Critical
Publication of JP4191592B2 publication Critical patent/JP4191592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

【課題】 少ない演算量で高速に動作する圧縮符号化装置の提供。
【解決手段】 圧縮符号化装置1において、DWT部13が、入力信号をウェーブレット変換して出力する変換係数を、量子化部14が、画質制御部23において目標画質に応じて求められた量子化ステップサイズにより量子化する。係数ビットモデリング部20は、量子化された前記変換係数QDに対してビットプレーン単位のビットモデリング処理を施し、算術符号化部21は、係数ビットモデリング部20から入力する符号化データBDを算術符号化する。符号量制御部22は、算術符号化部21から入力する符号化データADのレートを、画質制御部23から入力される量子化ステップサイズに係る情報に基づいて制御する。
【選択図】 図1

Description

本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置および圧縮符号化方法に関する。
画像データの次世代の高能率符号化方式として、ISO(国際標準化機構)やITU−T(国際電気通信連合電気通信標準化部門)によって、JPEG2000(Joint Photographic Experts Group 2000)方式が策定されている。JPEG2000方式は、現在主流のJPEG(Joint Photographic Experts Group)方式と比べて優れた機能を有するものであり、直交変換としてDWT(離散ウェーブレット変換;Discrete Wavelet Transform)を採用し、エントロピー符号化に、ビットプレーン符号化を行うEBCOT(Embedded Block Coding with Optimized Truncation)と称する方法を採用する点に特徴がある。
図24は、JPEG2000方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図24を参照しつつ、JPEG2000方式の圧縮符号化手順について概説する。
この圧縮符号化装置100に入力する画像信号は、DCレベルシフト部102で必要に応じてDCレベル変換を施された後に、色空間変換部103に出力される。次に、色空間変換部103は、DCレベルシフト部102から入力する信号の色空間を変換する。ここで、例えば、色空間変換部103に入力するRGB信号はYCbCr信号(輝度信号Yと色差信号Cb,Crからなる信号)に変換される。
次に、タイリング部104は、色空間変換部103から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してDWT部105に出力する。DWT部105は、タイリング部104から入力する画像信号に対してタイル単位で整数型または実数型のDWTを施し、その結果得られる変換係数を出力する。DWTでは、2次元画像信号に対して、高域成分(高周波数成分)と低域成分(低周波数成分)とに分割する1次元フィルタが垂直方向と水平方向の順に適用される。JPEG2000の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル(decomposition level)と呼ばれる。
図25は、オクターブ分割方式に従って、分解レベル3のDWTを施された2次元画像120を示す模式図である。分解レベル1では、2次元画像120は、垂直方向と水平方向とに前述の1次元フィルタを順次適用することで、HH1,HL1,LH1およびLL1(図示せず)の4つの帯域成分に分割される。ここで、「H」は高域成分を、「L」は低域成分をそれぞれ示している。例えば、HL1は、分解レベル1における水平方向の高域成分Hと垂直方向の低域成分Lとからなる帯域成分である。その表記法を一般化して、「XYn」(X,YはH,Lの何れか;nは1以上の整数)は、分解レベルnにおける水平方向の帯域成分Xと垂直方向の帯域成分Yとからなる帯域成分を指すものとする。
分解レベル2では、低域成分LL1は、HH2,HL2,LH2およびLL2(図示せず)に帯域分割される。更に、分解レベル3では、低域成分LL2は、HH3,HL3,LH3およびLL3に帯域分割される。以上で生成された帯域成分HH1〜LL3を配列したのが図25である。図25では、3次の分解レベルの例が示されているが、JPEG2000方式では、一般に、3次〜8次程度の分解レベルが採用される。
次に、量子化部106は、DWT部105から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部106は、ROI部107による指定領域(ROI;Region Of Interest)の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆(ロスレス)変換を行う場合には、量子化部106でのスカラー量子化は行われない。JPEG2000方式では、この量子化部106でのスカラー量子化と後述するポスト量子化(truncation)との2種類の量子化手段が用意されている。
次に、量子化部106から出力された変換係数は、上述のEBCOTに従って、係数ビットモデリング部108と算術符号化部109とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部110でレートを制御される。具体的には、係数ビットモデリング部108は、入力する変換係数の帯域成分を16×16や32×32や64×64程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの2次元配列で構成される複数のビットプレーンに分解する。
図26は、複数のコードブロック121,121,121,…に分解された2次元画像120を示す模式図である。また、図27は、このコードブロック121を構成するn枚のビットプレーン1220〜122n-1(n:自然数)を示す模式図である。図27に示すように、コードブロック121中の1点の変換係数の2進値123が"011…0"である場合、この2進値123を構成するビットは、それぞれ、ビットプレーン122n-1,122n-2,122n-3,…,1220に属するように分解される。図中のビットプレーン122n-1は、変換係数の最上位ビット(MSB)のみからなる最上位ビットプレーンを表し、ビットプレーン1220は、その最下位ビット(LSB)のみからなる最下位ビットプレーンを表している。
更に、係数ビットモデリング部108は、各ビットプレーン122k(k=0〜n−1)内の各ビットのコンテクスト(context)判定を行い、図28に示すように、各ビットの有意性(判定結果)に応じて、ビットプレーン122kを3種類の符号化パス、すなわち、CLパス(CLeanup pass),MRパス(Magnitude Refinement pass),SIGパス(SIGnificance propagation pass)に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、EBCOTで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
係数ビットモデリング部108は、SIGパス(有意な係数が周囲にある有意でない係数の符号化パス)、MRパス(有意な係数の符号化パス)およびCLパス(SIGパス,MRパスに該当しない残りの係数情報の符号化パス)の3種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを4ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数(0ビット)のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはCLパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記3種類の符号化パスで順次符号化される。
尚、図29に、レート(符号量;R)と歪み(D)の関係を表すR−D曲線を示す。このR−D曲線中、R1はビットプレーン符号化前のレート、R2はビットプレーン符号化後のレート、D1はビットプレーン符号化前の歪み、D2はビットプレーン符号化後の歪み、をそれぞれ示している。また、A,B,Cは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点P1(R1,D1)から終了点(R2,D2)へ向かう経路のうち、凸曲線のC−B−Aの経路よりも、凹曲線のA−B−Cの経路を採用するのが好ましい。このような凹曲線を実現するには、MSBプレーンからLSBプレーンに向けて符号化すればよいことが知られている。
次に、算術符号化部109は、MQコーダを用いて、係数ビットモデリング部108からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部109で、係数ビットモデリング部108から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
次に、符号量制御部110は、算術符号化部109が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部111は、符号量制御部110が出力した符号列と付加情報(ヘッダ情報,レイヤー構成、スケーラビリティ情報、量子化テーブルなど)とを多重化したビットストリームを生成し、圧縮画像として出力する。
以上のような構成を有する圧縮符号化装置において、画像データのデータ量を圧縮するための方法としては、例えば、符号量制御部110におけるレート制御方法を利用するレート・歪み最適化(R-D optimization)と称する手法が採用されている(非特許文献1参照)。
David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers
しかしながら、この手法では、(1)レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、(2)各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
以上の問題などに鑑みて本発明が課題とするところは、少ない演算量で且つ高速にデータ量の圧縮を実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
上記課題を解決すべく、請求項1に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、を備えることを特徴とするものである。
請求項2に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、を備えることを特徴とするものである。
請求項3に記載の発明は、請求項1または請求項2に記載の圧縮符号化装置であって、前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とするものである。
請求項4に記載の発明は、請求項1ないし請求項3のいずれかに記載の圧縮符号化装置であって、前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とするものである。
請求項5に記載の発明は、請求項4に記載の圧縮符号化装置であって、前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において2の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記2の階乗の指数に対応するビット数だけシフトさせることを特徴とするものである。
請求項6に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、(b)目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、(c)前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、を備えることを特徴とするものである。
請求項7に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、(b)目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、(d)前記変換係数をエントロピー符号化する工程と、(e)前記工程(d)で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、を備えることを特徴とするものである。
請求項8に記載の発明は、請求項6または請求項7に記載の圧縮符号化方法であって、前記工程(b)は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
請求項9に記載の発明は、請求項6ないし請求項8のいずれかに記載の圧縮符号化方法であって、前記工程(b)は、前記量子化ステップサイズが所定の数値より小さいときは、(b−1)前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
請求項10に記載の発明は、請求項9に記載の圧縮符号化方法であって、前記工程(e)は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程(b−1)により前記量子化ステップサイズを求めたときは、(e−1)前記符号化データを、前記工程(b−1)で乗算した2の階乗の指数に対応するビット数だけシフトさせる工程を含むことを特徴とするものである。
請求項11に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、前記マイクロプロセッサを機能させることを特徴とするものである。
請求項12に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、前記マイクロプロセッサを機能させることを特徴とするものである。
請求項13に記載の発明は、請求項11または請求項12に記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするものである。
請求項14に記載の発明は、請求項11ないし請求項13のいずれかに記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするものである。
請求項15に記載の発明は、請求項14に記載のプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において2の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記2の階乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするものである。
請求項1、請求項6および請求項11に記載の発明によれば、目標画質に従って量子化によるデータの圧縮率を制御しながら、最適解を推定する処理が必要な従来技術に比べて少ない演算量で高速な量子化を行うことが可能である。
請求項2、請求項7および請求項12に記載の発明によれば、目標符号量に適合する圧縮画像を容易に生成することができる。
請求項3、請求項8および請求項13に記載の発明によれば、人間の視覚評価に適した高い表示画質を有する圧縮画像を容易に生成することが可能である。
請求項4、請求項9および請求項14に記載の発明によれば、目標画質に従って効率的に量子化する装置を容易に実現することができる。
請求項5、請求項10および請求項15に記載の発明によれば、目標符号量に適合する高画質な圧縮画像を効率的に生成することができる。
{圧縮符号化装置}
図1は、本発明の実施形態に係る圧縮符号化装置1の概略構成を示す機能ブロック図である。この圧縮符号化装置1の構成と機能について概説した後に、本実施形態に係る量子化方法および符号化方法について詳説する。
この圧縮符号化装置1は、DCレベルシフト部10、色空間変換部11、タイリング部12、DWT部13、量子化部14、ROI部15、係数ビットモデリング部20、算術符号化部(エントロピー符号化部)21、符号量制御部22、画質制御部23およびビットストリーム生成部17を備えて構成される。
尚、この圧縮符号化装置1を構成する各処理部10〜15,17,20〜23の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
この圧縮符号化装置1に入力した画像信号は、DCレベルシフト部10で必要に応じてDCレベル変換を施された後に、色空間変換部11に出力される。色空間変換部11は入力信号を色空間変換して出力する。JPEG2000方式によれば、色空間変換として、可逆変換用のRCT(Reversible Component Transformation)と、非可逆変換用のICT(Irreversible Component Transformation)とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するRGB信号をYCbCr信号或いはYUV信号に変換する。
次に、タイリング部12は、色空間変換部11から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してDWT部13に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、1フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
次に、DWT部13は、タイリング部12から入力する画像信号に対してタイル単位で整数型または実数型のDWTを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図25に示したような複数の帯域成分(サブバンド)HH1〜LL3の変換係数が生成され量子化部14に出力される。具体的には、実数型DWTであれば、9×7タップ、5×3タップまたは7×5タイプなどのフィルタが使用され、整数型DWTであれば、5×3タップまたは13×7タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成(Lifting scheme)で実行してもよい。
量子化部14は、DWT部13から入力する変換係数を、画質制御部23で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部14は、ROI部15による指定領域(ROI;Region Of Interest)の画質を優先させるビットシフト処理を行う機能も有している。画質制御部23における量子化パラメータの決定方法および量子化部14における量子化の方法については後述する。
次に、量子化部14から出力された変換係数QDは、係数ビットモデリング部20と算術符号化部21とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部22でレートを制御される。
係数ビットモデリング部20は、図24に示した係数ビットモデリング部108と同様に、入力する変換係数QDの帯域成分を32×32や64×64程度のコードブロックに分割し、更に、各コードブロックを、各ビットを2次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図27に示したような複数のビットプレーン1220〜122n-1に分解される。
次に、算術符号化部21は、係数ビットモデリング部20から入力する符号化データBDを算術符号化し、その結果得た符号化データADを符号量制御部22に出力する。ここで、算術符号化部21は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データADに含めて出力するバイパス処理を行う場合もある。尚、本実施の形態では算術符号化を採用するが、本発明はこれに限らず、他の方式のエントロピー符号化を採用しても構わない。
次に、符号量制御部22は、画質制御部23からの指示に基づいて、算術符号化部21から入力する符号化データADのレートを制御する機能を有する。すなわち、符号量制御部22は、目標符号量(最終的な圧縮画像の符号量)に合わせて、符号化データADを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部22でのレート制御の方法については後述する。
そして、ビットストリーム生成部17は、符号量制御部22から出力された符号化データCDと付加情報(ヘッダ情報,レイヤー構成,スケーラビリティ,量子化テーブルなど)とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
{画質制御処理}
次に、図1に示した画質制御部23の構成と処理内容について説明する。画質制御部23は、外部から供給される目標画質情報(高画質,標準画質,低画質,解像度情報など)に基づいて、DWT部13から入力する変換係数を量子化部14で量子化するときの量子化ステップサイズΔbを決定する機能を有する。以下、量子化ステップサイズΔbの決定方法について説明する。
DWT部13によって、原画像が図25に示すように、「XYn」(X,Yは広域成分Hまたは低域成分Lの何れか。nは分解レベル。)のサブバンド(帯域成分)に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbを、次式(1)のように設定する。
Figure 2005192087
ここで、Qpは、目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。量子化パラメータQpは、利用者が直接数値を入力して指定する態様であってもよいし、例えば、予め、目標画質情報を示す「高画質、標準画質、低画質」といった所定の指示語と量子化パラメータQpの数値とを関連づけた所定のテーブルを備えておき、利用者が所望する画像データの圧縮後の目標画質を指示語によって指定することで、当該テーブルにおいて関連づけられた量子化パラメータQpの値を読み出して利用する態様であっても構わない。
bは、各サブバンドにおける量子化係数であって、合成フィルタ係数のノルムとして、次式(2)で表される。
Figure 2005192087
ここで、サブバンドbの重み係数Gbは、次式(3)に従って算出される。
Figure 2005192087
上式(3)中、sb[n]は、サブバンドbの1次元合成フィルタ係数を示している。また、記号||x||は、ベクトルxに関するノルムを示す。
上述した非特許文献1に記載される数式(4.39)と(4.40)によれば、分解レベル1における低域成分L1の1次元合成フィルタ係数sL[1][n]と、同分解レベルにおける高域成分H1の1次元合成フィルタ係数sH[1][n]とは、次式(4)に従って算出される。
Figure 2005192087
ここで、上式(4)中、g0[n]は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、g1[n]は、そのハイパス・フィルタ係数をそれぞれ示している。
また、分解レベルd(d=1,2,…,D)における低域成分Ldの1次元合成フィルタ係数sL[d][n]と、同分解レベルにおける高域成分Hdの1次元合成フィルタ係数sH[d][n]とは、次式(5)に従って算出される。
Figure 2005192087
そして、分解レベルdにおける低域成分Ldの1次元合成フィルタ係数のノルムの二乗は、次式(6)に従って算出される。
Figure 2005192087
高域成分の1次元合成フィルタ係数のノルムの二乗も、上式(6)と同様にして算出することができる。
1次元合成フィルタ係数のノルムの二乗の計算結果を表1に示す。表中のnは分解レベルを示しており、例えばGLnとは、低域成分Lの分解レベル1における計算結果を示している。
Figure 2005192087
次に、分解レベルd(d=1,2,…,D;Dは整数)における帯域成分LLD,HLd,LHd,HHdの2次元合成フィルタ係数は、上記1次元合成フィルタ係数の積で表現することができ、帯域成分bの2次元の重み係数Gbも、1次元の重み係数の積で表現することができる。具体的には、2次元合成フィルタ係数と2次元の重み係数とは、次式(7)に従って算出される。
Figure 2005192087
上式(7)中、添字LL[D]はサブバンドLLDを示し,HL[d],LH[d]およびHH[d]はそれぞれサブバンドHLd,LHdおよびHHdを表している。
重み係数Gbの平方根がノルムである。以下の表2および表3に、表1から求めた2次元の重み係数Gbに関する計算結果を示す。表2には(9,7)フィルタ(9×7タップのフィルタ)の各帯域成分のノルムの二乗の数値を、表3には表2に対応するノルムの数値をそれぞれ示す。
Figure 2005192087
Figure 2005192087
例えば、輝度信号Y、色差信号UおよびVの全てについて、同じく量子化パラメータQp=16として、表3に示した値から上式(1)および(2)を利用して求めた輝度信号Y、色差信号UおよびVの量子化ステップサイズΔbは、表4のようになる。
尚、輝度信号Y、色差信号UおよびVのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータQpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号UおよびVに利用する量子化パラメータQpを輝度信号Yに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータQpを利用すればよい。
Figure 2005192087
画質制御部23では、このようにして量子化ステップサイズΔbを求め、これを量子化部14に通知する。そして、量子化部14では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
ただし、量子化ステップサイズΔbの値が1より小さくなる場合には、1以上の値となるように2の階乗を乗算してから用いる。例えば、上述した方法で計算した結果、求められたサブバンドLL5の量子化ステップサイズΔbは0.47163であるが、実際に画像データを量子化するときには、この値に22を乗算して量子化ステップサイズΔb=1..88652として量子化を行う。同様に、サブバンドHL5では、量子化ステップサイズΔb=0.93204に2を乗算して、量子化ステップサイズΔb=1.86407として量子化を行う。このように量子化ステップサイズΔbを、量子化を実現する量子化器の性能に基づいて所定の数値に変換する機能を有することで、量子化器の構成を簡素化することが可能であり、本来の量子化の目的であるデータ量の圧縮を達成することもできる。尚、量子化ステップサイズΔbを1以上の値としたのは一例であって、量子化器の機能によって、例えば1/2以上の値を利用する量子化器であれば、量子化ステップサイズΔbを1/2以上になるように変換すればよい。すなわち、量子化器の扱う下限値が1/2mであれば、全ての量子化ステップサイズΔbが、1/2m以上になるように2の階乗を乗算してから利用する態様であればよい。
また、画質制御部23では、上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
上述した非特許文献1のChapter 16には、CSF(human visual system Contrast Sensitivity Function)に基づいた重み付けWMSE(Weighted Mean Squared Error;WMSE)が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式(2)を次式(8)に修正する。
Figure 2005192087
ここで、上式(8)中、Wb[i] csfは、サブバンドb[i]の"energy weighting factor"と呼ばれており、Wb[i] csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001」の文献(以下、非特許文献2と呼ぶ。)に記載されている。図2〜図4に、非特許文献2に記載される"energy weighting factor"の数値を示す。
図2〜図4中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Yと色差成分Cb, Crをそれぞれ示しており、"Viewing distance(視距離)"が1000,1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi,170dpi,200dpi,300dpi,400dpiのディスプレイまたは印刷物を10インチ離れて見たときの視距離を意味する。
例えば、カラーの画像データについて、量子化ステップサイズΔbを求める具体的な方法を以下に説明する。尚、色空間については、RGB信号から成るカラーの入力画像を、色空間変換部11においてYUV422またはYUV420形式の色空間データに変換したものとする。
YUV422またはYUV420形式の画像データについては、色差信号UおよびVは、輝度信号Yに比べ、そのデータ量がそれぞれ1/2および1/4となっている。輝度信号YにDWTを施したウェーブレット平面は図5のように表すことができるが、データ量が1/2であることを、図5に示したウェーブレット平面に対して水平方向にDWTを一回施したものと同等であると仮定すれば、図6中の散点部がYUV422形式の色差信号UおよびVのウェーブレット平面となる。同様に、データ量が1/4であることを、図5に示したウェーブレット平面に対して水平方向および垂直方向にDWTを一回ずつ施したものと同等であると仮定すれば、図7中の散点部がYUV420形式の色差信号UおよびVのウェーブレット平面となる。
YUV422形式では、図6に示したように水平成分について垂直成分より一回多くフィルタリングすると仮定するので、2次元合成フィルタ係数と2次元の重み係数は、上式(7)に対して、次式(9)のように表すことができる。
Figure 2005192087
また、YUV420形式では、同様に、図7に示したように水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定するので、上式(7)に対して、次式(10)のように表すことができる。
Figure 2005192087
よって、表1に示した値から上式(9)および(10)を利用して、YUV422およびYUV420形式の色差信号のノルムを求めると表5および表6のようになる。
Figure 2005192087
Figure 2005192087
次に、energy weighting factor Wb[i] csfについて、非特許文献1の記載によれば、サブバンドb[i]のenergy weighting factor Wb[i] csfは1次元の水平および垂直方向の各帯域成分のenergy weighting factorの積として、次式(11)で表される。
Figure 2005192087
YUV422またはYUV420形式の画像データにおける輝度信号Yに係るenergy weighting factorは、上式(11)で求めることができる。尚、YUV444形式であれば、輝度信号および色差信号ともに上式(11)で求められる。
YUV422形式の色差信号UおよびVについては、上述したように水平成分について垂直成分より一回多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式(11)に対して次式(12)のように表すことができる。
Figure 2005192087
また、YUV420形式の色差信号UおよびVについては、同様に、水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式(11)に対して次式(13)のように表すことができる。
Figure 2005192087
非特許文献2の記載から求められるViewing distance 1000、Viewing distance 1700、およびViewing distance 3000の色差信号UおよびVのenergy weighting factorの値を表7〜表9に示す。ここで、以下の表も含め、表中のCbおよびCrはそれぞれ色差信号UおよびVを示している。
Figure 2005192087
Figure 2005192087
Figure 2005192087
そして、表7〜表9に示した値から、上式(11)〜(13)を利用して求めたYUV422およびYUV420形式の画像データに係るenergy weighting factorが表10〜表12および表13〜表15である。
Figure 2005192087
Figure 2005192087
Figure 2005192087
Figure 2005192087
Figure 2005192087
Figure 2005192087
このようにして求めた表5および表6のノルムの値を上式(1)および(2)に代入すれば通常の量子化ステップサイズΔbが、表5および表6のノルムの値と、表10〜表15のenergy weighting factorの値とを上式(1)および(8)に代入すれば、人間の視覚特性を考慮して視覚的重み付けを行った量子化ステップサイズΔbが求められる。
例えば、輝度信号Y、色差信号UおよびVの全てについて、同じく量子化パラメータQp=16として、YUV422形式のカラーの画像データにおいてViewing distance(視距離)3000の視覚的重み付けを行ったときの輝度信号Y、色差信号UおよびVの量子化ステップサイズΔbは、表5に示すノルムの値、表12に示すenergy weighting factorの値、および上式(1),(8)を用いて求められる。その結果を表16〜表18に示す。
尚、輝度信号Y、色差信号UおよびVのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータQpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号UおよびVに利用する量子化パラメータQpを輝度信号Yに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータQpを利用すればよい。
Figure 2005192087
Figure 2005192087
Figure 2005192087
画質制御部23では、このようにして量子化ステップサイズΔbを求め、これを量子化部14に通知する。そして、量子化部14では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが1より小さければ、2の階乗を乗算して1以上の値にしてから利用するのは、上述したのと同様である。
以上のように、本実施の形態に係る画質制御方法では、画質を量子化により制御するため、目標画質に応じた厳密な制御を行うことが可能である。このとき最適解を求めるような複雑な処理を必要としないため、少ない演算量で高速に処理することが可能である。また、人間の視覚特性を考慮し、圧縮後に高い表示画質を有する圧縮画像を生成することもできる。
{符号量制御処理}
次に、図1に示した符号量制御部22の処理内容について説明する。符号量制御部22は、画質制御部23からの指示に基づいて、算術符号化部21から入力される符号化データADのレート制御を行う。具体的なレート制御の内容は以下の通りである。
まず、目標画質として所定の量子化パラメータQpの値が指定されると、この値に基づいて上述した方法で、画質制御部23が量子化ステップサイズΔbを算出し、これを量子化部14および符号量制御部22に通知する。
量子化部14では、量子化ステップサイズΔbが通知されると、この値に基づいて、DWT部13がDWTを施した後の画像データを量子化する。
符号量制御部22では、量子化部14が量子化を行った後、係数ビットモデリング部20および算術符号化部21によって処理が施された符号化データADを、画質制御部23から通知された各符号化データADに対応する量子化ステップサイズΔbの大きさに従って、その値が小さい順(昇順)に並べ替える。
上述したように1以上になるよう変換した量子化ステップサイズΔbを利用して量子化された符号化データADについては、変換後の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した2の階乗の指数分だけ符号化データADを左シフトする処理を行う。具体的な処理の態様は以下の通りである。
例えば、表4において、サブバンドLL5の量子化ステップサイズΔbは0.47163であるが、実際に画像データを量子化するときには、この値に22を乗算して1.88652を量子化ステップサイズΔbとして量子化を行う。よって、レート制御の際には、サブバンドLL5の符号化データADを、量子化ステップサイズΔbの変換のために乗算した22の指数に対応して、2ビット左へシフトする。同様に、サブバンドHL5では、量子化ステップサイズΔb=0,93204に2を乗算して、量子化ステップサイズΔb=1.86407として量子化を行う。よって、レート制御の際には、サブバンドHL5の符号化データADを、乗算した2の指数に対応して1ビット左へシフトする。すなわち、2mを乗算した量子化ステップサイズΔbにより量子化した場合、該当する符号化データを、レート制御の際に指数mの分だけ左シフトすることで、データの優先度を調節するのである。
表4に示す量子化ステップサイズΔbに基づいて、このようなビットシフトの処理を施した符号列を図8に示す。図中、*印を伏した符号列は、量子化ステップサイズΔbの値を量子化に際して変換したものを示し、符号列の各ビットに伏した番号0,1,…,9は、当該ビットが属するビットプレーン番号を示している。ここで、LSB番号=0、MSB番号=9である。
次に、各符号列を、量子化に用いた量子化ステップサイズΔbの小さい順(昇順)に並べ替える。図8では、矢印で示した部分の量子化ステップサイズΔbの値が昇順となっていないため、これらを入れ替える。このようにして並べ替えを行った符号列を図9に示す。図9中の矢印は図8からその位置が変更された符号列を示している。
符号量制御部22は、図9に示すように並べ替えた符号列を用いて、全体のデータ容量が所定の容量に収まるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図9に示すHH5の番号0のビットデータから、下方向へLH4の番号0のビットデータ,HL4の番号0のビットデータ…と順に削除してゆき、LH2までのビットデータを切り捨てれば全体のデータ容量が所定の容量に収まるとすれば、該当する図9中の散点部のデータを切り捨てる。
このようにして、量子化ステップサイズΔbの値に従って並べ替えた各サブバンドのビットデータを下位ビットから削除してゆくことで、レート制御を行うのである。
また、カラーの画像の場合や視覚的重み付けを考慮して量子化ステップサイズΔbを計算した場合も同様にレート制御を行うことができる。
例えば、上述したように、量子化パラメータQp=16として、YUV422形式のカラーの画像データにおいて、Viewing distance(視距離)3000の視覚的重み付けを行ったときの輝度信号Y、色差信号UおよびVの量子化ステップサイズΔbは、表16〜表18に示した通りである。
ここで、表16〜表18中の量子化ステップサイズΔbが1より小さいものは、上述したように2の階乗を乗算した上で量子化に用いられる。そして、変換後の量子化ステップサイズΔbによって量子化された符号化データADは、レート制御を行うときに、元の量子化ステップサイズΔbに乗算した2の階乗の指数分だけ左シフトする。カラー画像の場合、輝度信号Y、色差信号UおよびVのそれぞれについてデータが存在するが、レート制御を行うときは、これらのデータを信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図10に示す。図中、YLL5とは、輝度信号YのサブバンドLL5のデータであることを示している。このように、輝度信号Y、色差信号UおよびVの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図10中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
さらに、上述したレート制御は、画像データをタイルに分割して処理を施す場合であっても同様に行うことができる。
例えば、カラーの画像データを、図11に示すようにT1〜Tnまでのタイルに分割して処理を行う場合、各タイルの輝度信号Y、色差信号UおよびVのそれぞれについて、上述したように量子化ステップサイズΔbを求めて量子化を行う。
このとき、量子化ステップサイズΔbが1より小さいものは2の階乗を乗算して1以上の数値に変換した上で量子化を行い、これらのデータについては、レート制御を行うときに、乗算した2の階乗の指数分だけ左シフトするのは上述したの同様である。
タイリングしてカラー画像を処理する場合、各タイル毎に輝度信号Y、色差信号UおよびVのデータが存在するが、レート制御を行うときは、これらのデータをタイルまたは信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図12に示す。図中、YT1LL5とは、タイルT1における輝度信号YのサブバンドLL5のデータであることを示している。このように、全てのタイルT1〜Tnの、輝度信号Y、色差信号UおよびVの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図12中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
このように、画像データがカラーであるか否か、視覚的重み付けを考慮するか否か、またはタイリングしてデータを処理するか否かに拘わらず、全て同様の手順でレート制御を行うことができる。また、このようなレート制御を行うことで、データ量を厳密に制御することが可能である。
尚、先に量子化部14で量子化を行った段階で、データの全体容量が既に利用者が意図する所定の容量以下になっていれば、上述したレート制御は行う必要はない。
以上のように本実施の形態に係る符号量制御処理によれば、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
{画像データの評価}
上述した量子化による画質制御処理を利用して、圧縮処理を施した画像データを、客観評価したときの結果を図13〜図23に示す。
評価に用いた画像データは、ISO/JIS-SCID JIS X 9201-1995に規定されるサンプル番号1,画像認識番号N1,画像サイズ縦2048ピクセル横2560ピクセルの高精細カラーデジタル標準画像データ「ポートレート」である。
各図の縦軸はPSNR (Peak Signal to Noise Ratio) を示し、横軸はBPP(bit per pixel)を示している。
図13は、視覚的重み付けを施さずに上述した方法で圧縮したときのデータである”NO_CSF”と、非特許文献1に示すレート・歪み最適化(R-D optimization)法に従って圧縮したときのデータである”R.D−opt”とを示している。両者がほぼ重なっていることから、上述した方法によって最適解を探索するような複雑な処理をせず圧縮符号化を行ったにも拘わらず、非特許文献1に示す従来法と同様の符号化効率が得られることが分かる。
図14は白黒画像の評価結果を示している。また、図15〜図17は、カラー画像をYUV420形式で圧縮したときのRGB各色での評価結果を示している。図18〜図20および図21〜図23は、それぞれ同様に、YUV422およびYUV444形式で圧縮したときのRGB各色での評価結果を示している。
図14〜図23の図中、”JPEG”と記したデータは従来のJPEG形式で圧縮したデータの評価結果であり、その他のデータは全てJPEG2000形式で圧縮した場合のデータを示している。
JPEG2000形式で圧縮した場合について、”VM”と記したデータはISO SC29WG1によって規定されるVerification Modelに従って圧縮したデータの評価結果であり、その他”CSF”の文字を含むものは本発明で上述した実施例に従って圧縮を施したことを示している。
本発明によって圧縮したデータのうち、”NO_CSF”と記したデータは、量子化ステップサイズΔbを求める際に視覚的重み付けを施さずに圧縮したデータの評価結果を示し、”CSF_”と数値との結合によって示すデータは、視覚的重み付けを施して圧縮したデータを示す。”CSF_”と結合する数値は視距離(Viewing distance)を示している。例えば”CSF_1000”とあるのは、視距離1000の視覚的重み付けを施して本発明で上述した実施例に従って圧縮したデータを示している。
例えば、視覚的重み付けを施さない場合や、視距離1000で視覚的重み付けを施した上で評価した場合、PSNR値が従来のJPEG方式で圧縮した場合を上回っている。これから画像データを同容量に圧縮した場合、本発明による圧縮方式の方が圧縮後の画像データが高画質であり、客観評価の結果が高いことを示している。尚、視距離が3000または4000と大きくなった場合、PSNR値による客観評価の結果は悪くなる傾向があるが、主観評価によれば視距離が3000または4000の場合の評価が最も高いことも確認済みである。
この発明の実施の形態に係る圧縮符号化装置の概略構成を示す図である。 Energy weighting factorの数値テーブルを示す図である。 Energy weighting factorの数値テーブルを示す図である。 Energy weighting factorの数値テーブルを示す図である。 輝度信号のウェーブレット平面を示す図である。 YUV422形式の色差信号のウェーブレット平面を示す図である。 YUV420形式の色差信号のウェーブレット平面を示す図である。 符号列のビットシフトの様子を示す図である。 符号列の並べ替えの様子を示す図である。 YUV形式の符号列のビットシフトおよび並べ替えの様子を示す図である。 画像データのタイリングの様子を示す図である。 タイリングしたYUV形式の符号列のビットシフトおよび並べ替えの様子を示す図である。 この発明の実施の形態に係る圧縮画像と従来技術による圧縮画像の客観評価の比較結果を示す図である。 この発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像の客観評価の比較結果を示す図である。 YUV420形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのR信号の客観評価の比較結果を示す図である。 YUV420形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのG信号の客観評価の比較結果を示す図である。 YUV420形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのB信号の客観評価の比較結果を示す図である。 YUV422形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのR信号の客観評価の比較結果を示す図である。 YUV422形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのG信号の客観評価の比較結果を示す図である。 YUV422形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのB信号の客観評価の比較結果を示す図である。 YUV444形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのR信号の客観評価の比較結果を示す図である。 YUV444形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのG信号の客観評価の比較結果を示す図である。 YUV444形式の本発明の実施の形態に係る圧縮画像と従来のJPEG方式による圧縮画像とのB信号の客観評価の比較結果を示す図である。 JPEG2000方式による圧縮符号化装置の概略構成を示す図である。 オクターブ分割方式に従って帯域分割された2次元画像を示す模式図である。 複数のコードブロックに分解された2次元画像を示す模式図である。 コードブロックを構成する複数枚のビットプレーンを示す模式図である。 3種類の符号化パスを示す模式図である。 レートと歪みの関係を表すR−D曲線を示す図である。
符号の説明
1 圧縮符号化装置
10 DCレベルシフト部
11 色空間変換部
12 タイリング部
13 DWT部
14 量子化部
15 ROI部
17 ビットストリーム生成部
20 係数ビットモデリング部
21 算術符号化部
22 符号量制御部
23 画質制御部

Claims (15)

  1. 画像信号を圧縮符号化する圧縮符号化装置であって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、
    を備えることを特徴とする圧縮符号化装置。
  2. 画像信号を圧縮符号化する圧縮符号化装置であって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記変換係数をエントロピー符号化するエントロピー符号化部と、
    前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、
    を備えることを特徴とする圧縮符号化装置。
  3. 請求項1または請求項2に記載の圧縮符号化装置であって、
    前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする圧縮符号化装置。
  4. 請求項1ないし請求項3のいずれかに記載の圧縮符号化装置であって、
    前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする圧縮符号化装置。
  5. 請求項4に記載の圧縮符号化装置であって、
    前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において2の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記2の階乗の指数に対応するビット数だけシフトさせることを特徴とする圧縮符号化装置。
  6. 画像信号を圧縮符号化する圧縮符号化方法であって、
    (a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
    (b)目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
    (c)前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、
    を備えることを特徴とする圧縮符号化方法。
  7. 画像信号を圧縮符号化する圧縮符号化方法であって、
    (a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
    (b)目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
    (d)前記変換係数をエントロピー符号化する工程と、
    (e)前記工程(d)で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、
    を備えることを特徴とする圧縮符号化方法。
  8. 請求項6または請求項7に記載の圧縮符号化方法であって、
    前記工程(b)は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とする圧縮符号化方法。
  9. 請求項6ないし請求項8のいずれかに記載の圧縮符号化方法であって、
    前記工程(b)は、前記量子化ステップサイズが所定の数値より小さいときは、
    (b−1)前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して前記量子化ステップサイズを求める工程、
    を含むことを特徴とする圧縮符号化方法。
  10. 請求項9に記載の圧縮符号化方法であって、
    前記工程(e)は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程(b−1)により前記量子化ステップサイズを求めたときは、
    (e−1)前記符号化データを、前記工程(b−1)で乗算した2の階乗の指数に対応するビット数だけシフトさせる工程、
    を含むことを特徴とする圧縮符号化方法。
  11. マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、
    前記マイクロプロセッサを機能させることを特徴とするプログラム。
  12. マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記変換係数をエントロピー符号化するエントロピー符号化部と、
    前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、
    前記マイクロプロセッサを機能させることを特徴とするプログラム。
  13. 請求項11または請求項12に記載のプログラムであって、
    前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするプログラム。
  14. 請求項11ないし請求項13のいずれかに記載のプログラムであって、
    前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる2の階乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするプログラム。
  15. 請求項14に記載のプログラムであって、
    前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において2の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記2の階乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするプログラム。
JP2003433362A 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム Expired - Fee Related JP4191592B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003433362A JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム
US11/004,905 US7613352B2 (en) 2003-12-26 2004-12-07 Compression encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003433362A JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2005192087A true JP2005192087A (ja) 2005-07-14
JP2005192087A5 JP2005192087A5 (ja) 2007-03-15
JP4191592B2 JP4191592B2 (ja) 2008-12-03

Family

ID=34697722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003433362A Expired - Fee Related JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム

Country Status (2)

Country Link
US (1) US7613352B2 (ja)
JP (1) JP4191592B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049582A (ja) * 2005-08-12 2007-02-22 Ricoh Co Ltd 符号化装置、プログラム及び情報記録媒体
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2011166795A (ja) * 2005-09-06 2011-08-25 Mega Chips Corp 圧縮符号化装置、圧縮符号化方法およびプログラム
CN103297775A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法
US8805107B2 (en) 2011-05-30 2014-08-12 Fujifilm Corporation Image data coding apparatus, method of controlling operation of same, and program therefor

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649859B2 (ja) * 2004-03-25 2011-03-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP2006081152A (ja) * 2004-08-12 2006-03-23 Seiko Epson Corp デジタル画像符号化装置、デジタル画像符号化プログラム、デジタル画像符号化方法、及びデジタル画像復号化装置、デジタル画像復号化プログラム、並びにデジタル画像復号化方法
KR100656637B1 (ko) * 2004-12-14 2006-12-11 엘지전자 주식회사 정수 ­정수 컬러 변환 방법을 이용한 휴대폰용 정지 영상압축 방법
JP4489605B2 (ja) * 2005-01-19 2010-06-23 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
EP1860886A4 (en) * 2005-03-14 2011-08-03 Panasonic Corp CODING DEVICE AND DYNAMIC IMAGE RECORDING SYSTEM WITH THE CODING DEVICE
JP2006295299A (ja) * 2005-04-06 2006-10-26 Megachips Lsi Solutions Inc デジタル絞りシステム
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
KR101348365B1 (ko) * 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8489544B2 (en) * 2007-06-04 2013-07-16 John P. Ford System and method for prioritization and display of aggregated data
US8351723B2 (en) * 2009-03-25 2013-01-08 Accusoft-Pegasus Methods and apparatus for generating and using visual error weights
RU2498407C1 (ru) * 2012-05-17 2013-11-10 Открытое акционерное общество "Научно-исследовательский институт телевидения" Способ сжатия графических файлов
US10735754B2 (en) 2017-04-26 2020-08-04 Google Llc Chromatic aberration modeling in image compression and enhancement
US10750175B2 (en) 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression
US11265552B1 (en) * 2019-09-27 2022-03-01 Apple Inc. Block-based low latency rate control
CN115049917B (zh) * 2022-08-17 2022-11-15 上海与光彩芯科技有限公司 神经网络的训练方法、物体检测方法和智能终端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792067B2 (ja) 1998-03-19 2006-06-28 シャープ株式会社 画像の視覚的プログレッシブ符号化方法
US6778709B1 (en) * 1999-03-12 2004-08-17 Hewlett-Packard Development Company, L.P. Embedded block coding with optimized truncation
JP3702778B2 (ja) 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
JP2003153228A (ja) * 2001-11-15 2003-05-23 Sony Corp 画像符号化装置及び画像復号化装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049582A (ja) * 2005-08-12 2007-02-22 Ricoh Co Ltd 符号化装置、プログラム及び情報記録媒体
JP4636547B2 (ja) * 2005-08-12 2011-02-23 株式会社リコー 符号化装置、プログラム及び情報記録媒体
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2011166795A (ja) * 2005-09-06 2011-08-25 Mega Chips Corp 圧縮符号化装置、圧縮符号化方法およびプログラム
US8805107B2 (en) 2011-05-30 2014-08-12 Fujifilm Corporation Image data coding apparatus, method of controlling operation of same, and program therefor
CN103297775A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法
CN103297775B (zh) * 2013-05-17 2016-02-10 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法

Also Published As

Publication number Publication date
US20050141773A1 (en) 2005-06-30
JP4191592B2 (ja) 2008-12-03
US7613352B2 (en) 2009-11-03

Similar Documents

Publication Publication Date Title
JP4489605B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP5034018B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4191592B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4789148B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
US7792375B2 (en) Rate control system
JP4273996B2 (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
JP4702928B2 (ja) 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4444790B2 (ja) 画像圧縮方法、画像圧縮装置、画像圧縮システム、プログラム
US20040146205A1 (en) Digital video compression
US6987890B2 (en) Producing and encoding rate-distortion information allowing optimal transcoding of compressed digital image
US7260264B2 (en) Transcoding of data
JP4822396B2 (ja) 画像強調装置
US6993199B2 (en) Method and system for improving coding efficiency in image codecs
US20020122489A1 (en) Image encoding device, electronic camera and recording medium for image encoding program
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP3989787B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP3989788B2 (ja) 符号量制御装置およびプログラム
JP3989786B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4367113B2 (ja) 画像符号化装置及び方法
JP2000083256A (ja) 画像処理装置及び方法及び記憶媒体
JP2002135781A (ja) 画像符号化装置、画像復号装置、及びそれらの方法並びに記憶媒体
Mandal Digital image compression techniques
JP2001145105A (ja) 画像処理装置及びその方法
Idpntiiior et al. JFIF (JPEG FILE INTERCHANGE FORMAT)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4191592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150926

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees