JP2006262310A - 復号化装置、逆量子化方法及びこれらのプログラム - Google Patents
復号化装置、逆量子化方法及びこれらのプログラム Download PDFInfo
- Publication number
- JP2006262310A JP2006262310A JP2005079613A JP2005079613A JP2006262310A JP 2006262310 A JP2006262310 A JP 2006262310A JP 2005079613 A JP2005079613 A JP 2005079613A JP 2005079613 A JP2005079613 A JP 2005079613A JP 2006262310 A JP2006262310 A JP 2006262310A
- Authority
- JP
- Japan
- Prior art keywords
- value
- quantization
- distribution information
- index
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【解決手段】 復号化装置2は、逆量子化値Rの頻度分布を、元データの変換係数Tの頻度分布にできるだけ近づけることによって、できるだけ元データに近い復号データを生成する。例えば、JPEG方式あるいはJPEG2000方式等の標準技術では、逆量子化値の頻度分布が値Rの一点にのみ分布させていることになる。しかしながら、本復号化装置2は、逆量子化値の頻度分布を、元の変換係数の頻度分布にできるだけ近づけることにより、よりよい復号データを生成する。
【選択図】図6
Description
また、特許文献2は、画像内のエッジの有無を判別し、判別結果に応じて、適用すべきフィルタを選択する方式を開示する。
また、特許文献3は、歪が目立ち易い領域であると判断した場合に、DCT係数に雑音を付加する方式を開示する。
また、非特許文献1は、JPEG標準を開示する。
また、非特許文献2は、JPEG2000標準を開示する。
また、非特許文献3は、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法を開示する。
上記目的を達成するために、本発明にかかる復号化装置は、1つの量子化インデクス値に対して、複数の逆量子化値を生成する逆量子化値生成手段と、それぞれの量子化インデクスに対応する元データの分布情報を取得する分布情報取得手段と、前記分布情報取得手段により取得された分布情報に応じて、前記逆量子化値生成手段により生成された逆量子化値の少なくとも一部を補正する補正手段とを有する。
h'(q)=h(q)×h(q)/{1/(h(q)+h(q−1))+1/(h(q)+h(q+1))}
を用いて算出する。
また、本発明にかかる逆量子化方法は、元データを量子化した場合の量子化値それぞれに対応付けられた量子化インデクス値それぞれに対して、複数の逆量子化値を生成し、それぞれの量子化インデクスに対応する元データの分布情報を取得し、取得された分布情報に応じて、生成された逆量子化値の少なくとも一部を補正する。
また、本発明にかかるプログラムは、元データを量子化した場合の量子化値それぞれに対応付けられた量子化インデクス値それぞれに対して、複数の逆量子化値を生成するステップと、それぞれの量子化インデクスに対応する元データの分布情報を取得するステップと、取得された分布情報に応じて、生成された逆量子化値の少なくとも一部を補正するステップとをコンピュータに実行させる。
画像データ及び音声データなどは、データ量が膨大であるため、圧縮してデータ量を削減して保持、伝送等を行うことが一般的である。例えば、カラー原稿や写真を画像スキャナで電子化した場合に生成される多値画像データ、あるいは、ディジタルカメラで風景等の写真を撮った場合に生成される多値画像データは、JPEG、あるいは、JPEG2000等の非可逆符号化方式で圧縮することにより、より小さなデータ量とすることができる。
図1は、JPEG方式及びJPEG2000方式などの変換符号化方式の概略を説明する図であり、図1(A)は、符号化処理の概略を示し、図1(B)は、復号化処理の概略を示す。
図2は、変換符号化方式における量子化処理を説明する図である。なお、図2に示された変換係数T(c,i,j)及び量子化インデクスQ(c,i,j)は、変数c,i,jの関数である。また、変数cは、変換係数の種類を示すインデクスであり、例えば、8×8ブロックを用いたDCT変換であれば、64種類(8×8)存在する変換係数のいずれかを示す値(1〜64の整数など)であり、ウェーブレット変換であれば、1HH成分、1LH成分、1HL成分、2HH成分、2LH成分、2HL成分、・・・、NLLL成分のいずれかを示す値である。また、変数i,jは、各変換係数の位置を示す変数であり、例えば、DCT変換であれば、上からi番目、左からj番目のブロックのc番目の変換係数がT(c,i,j)と表され、ウェーブレット変換であれば、c番目の変換係数の、上からi番目、左からj番目のデータがT(c,i,j)と表される。
ここで、量子化インデクスとは、量子化値を識別するための情報である。また、量子化値とは、一定の範囲(量子化区間)にある数値群が縮退する値であり、図2に例示するように、量子化区間「A−2」〜「A2」それぞれを代表する離散的な値(本例では、「−2×D(c)」〜「2×D(c)」)である。
さらに、量子化インデクスQは、逆量子化され、変換係数(すなわち、逆量子化値)Rとなり、この変換係数Rが逆変換され、復号画像Hが生成される。
ここで、逆量子化値とは、量子化インデクス又は量子化値に基づいて生成され、復号データの復号化に用いられる値であり、例えば、JPEG方式又はJPEG2000方式の変換係数(量子化インデクスに対応付けられた変換係数)である。
量子化は、各変換係数c毎に用意された量子化ステップ幅D(c)を用いて行う。量子化ステップ幅Dは、変換係数の種類cの関数である。例えば、JPEG方式であれば、量子化時に、以下の式で量子化インデクスQを算出する。
また、逆量子化時には、以下の式で逆量子化値Rを算出する。
Q(c,i,j)>0である場合に、R(c,i,j)=(Q(c,i,j)+r)×D(c)
Q(c,i,j)<0である場合に、R(c,i,j)=(Q(c,i,j)-r)×D(c)
Q(c,i,j)=0である場合に、R(c,i,j)=0
また、rは、0から1までの範囲にある数値であり、典型的にはr=0.5を用いる。ただし、JPEG2000方式では、下位ビットを符号化しない場合があるが、ここでは、最下位ビットまで全て符号化する場合を具体例として説明する。あるいは、JPEG2000においては、符号化時に符号化を省略したビット数を復号時に符号ストリームから得ることが可能である。そのため、量子化ステップ幅Dをその省略ビット数分左シフトした値を新たな量子化ステップ幅とすることによって、JPEGの場合と同様の動作とすることができる。
変換係数Tが量子化区間A0に存在している場合には、量子化処理により、量子化インデクスQは、0となる。同様に、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQは、qとなる。
そして、これを逆量子化する場合には、量子化インデクスQが0である場合には、逆量子化処理により、逆量子化値R=0が生成され、量子化インデクスQが1である場合には、逆量子化値R=D(c)が生成される。
JPEG2000方法でも同様で、図2(B)に例示するように、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQはqとなり、これを逆量子化すると、量子化インデクスQに1対1で対応する逆量子化値が生成される。
変換係数Tは、量子化区間Aq内に存在しているとする。
図2(C)に例示するように、量子化区間Aqは、d1〜d2の範囲であるとする。このとき、変換係数Tは、d1〜d2の範囲に含まれる。また、この変換係数Tの逆量子化値はRであるとする。
この状況において、復号画像を生成するための変換係数は、逆量子化値Rである。しかしながら、原画像の変換係数Tは、d1〜d2の範囲のいずれかの値であり、逆量子化値Rであるとは限らない。このとき、元の変換係数Tと逆量子化値Rとの差分が生じる。この差分が符号化歪の原因である。
このように、非可逆符号化方式では、複数のデータ値(それぞれの量子化区間に存在する元データ値)を、1つの量子化値(それぞれの量子化区間に対応する量子化値)に縮退させることにより、非可逆なデータ圧縮を実現しているが、同時に、この量子化により符号化歪が生ずる。
しかしながら、この場合には、符号化効率が低下し、データ量が多くなってしまうという問題点がある。
また、既に符号化されたデータを高画質化しようとする場合には、この圧縮効率を低下させるという方式を採用することはできない。
大別して、復号画像に低域通過フィルタをかけることにより、符号化歪をぼかして見えないようにする方式(フィルタ方式)と、復号画像あるいは変換係数にノイズを付加することにより、符号化歪をぼかして見えないようにする方式(ノイズ方式)の2種類がある。
例えば、特開平5−14735号公報には、DCTのブロック境界にのみ低域通過フィルタをかけることによって、ブロック歪を除去しようとする方式が提案されている。
この方式は、低域通過フィルタを用いて符号化歪をぼかして判別し難くしようとするものである。
ただし、この方式では、もともとの原画に存在するエッジ成分も同様にボケてしまうという問題がある。
例えば、特開平7−336684号公報には、符号化歪が目立ち易い領域であると判断した場合に、DCT係数に対して雑音を付加することにより、符号化歪を目立たなくしようとする方式が開示されている。
この方式では、平坦な画像領域であると判断した場合に、符号化歪が目立ちやすいと判断している。
この観点から見ると、低域通過フィルタによる画像のぼかし又はノイズの付与が復号画像を原画像に近づけるとは限らないため、上記の方式が最適であるとはいえない。
具体的には、上記の方式を用いると、以下に示すような副作用が発生する可能性がある。
(1)低域通過フィルタをかける方式では、復号画像の高周波領域の信号が抑圧されてしまう。そのため、原画像に高周波成分のテクスチャが存在していた場合には、そのテクスチャ成分を再現することが不可能となる。
(2)低域通過フィルタをかける方式では、エッジ判定が正しいとは限らないため、エッジが鈍ってしまう虞がある。
(3)ノイズを付加する方式では、付加ノイズに起因して、原画像には存在しないテクスチャを発生させてしまう虞がある。
すなわち、JPEG方式あるいはJPEG2000方式等の標準技術では、逆量子化値の頻度分布が値Rの一点にのみ分布させていることになる。しかしながら、逆量子化値の頻度分布を、原画像の変換係数の頻度分布にできるだけ近づけることにより、よりよい復号化が実現される。
なぜなら、頻度分布が一致している場合に、原画像と復号画像が一致するとは限らないが、原画像と頻度分布が異なる復号画像と、原画像と頻度分布が近い復号画像とでは、頻度分布が近い復号画像のほうが原画像により近いと考えられるからである。実際に、非特許文献3(D. Heeger and J. Bergen, "Pyramid based texture analysis/synthesis," Computer Graphics, pp. 229-238, SIGGRAPH 95, 1995.)には、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法が述べられている。
本実施形態における復号化装置2は、原画像と頻度分布が近い復号画像を生成することによって、より原画像に近いテクスチャを持つ復号画像を生成する。
量子化インデクス(又は、これに1対1で対応する逆量子化値)の頻度分布は、元の変換係数Tの頻度分布と近似していると考えられるため、量子化インデクス(又は、これに1対1で対応する逆量子化値)の頻度分布と、量子化インデクスの値に応じて生成された複数の逆量子化値の頻度分布とをできるだけ一致させることにより、より再現性の高い復号データが得られる。
以下、本発明の実施形態を説明する。
本実施形態では、JPEG方式により符号化された符号データを復号化する場合を具体例として説明する。なお、本実施形態で説明する復号化処理は、概略において、ITU-T勧告T.81に記載されているものと同様であるが、本発明にかかる逆量子化処理を適用する点で異なる。
まず、本実施形態における復号化装置2のハードウェア構成を説明する。
図3は、本発明にかかる逆量子化方法が適応される復号化装置2のハードウェア構成を、制御装置20を中心に例示する図である。
図3に例示するように、復号化装置2は、CPU202及びメモリ204などを含む制御装置20、通信装置22、HDD・CD装置などの記録装置24、並びに、LCD表示装置あるいはCRT表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)26から構成される。
復号化装置2は、例えば、復号化プログラム5(後述)がインストールされた汎用コンピュータであり、通信装置22又は記録装置24などを介して符号データを取得し、取得された符号データを復号化して出力する。
図4は、制御装置20(図3)により実行され、本発明にかかる逆量子化方法を実現する復号化プログラム5の機能構成を例示する図である。
図4に例示するように、復号化プログラム5は、エントロピ復号部40、逆量子化部50及び逆変換部60を有する。
また、逆量子化部50は、逆量子化値推定部500、分布推定部520、期待値推定部540、乱数発生部560、補正部580及び逆量子化値出力部590を含む。
本例のエントロピ復号部40は、入力された符号データを復号化して、量子化インデクスQを生成し、生成された量子化インデクスを逆量子化部50に出力する。
本例の逆量子化値推定部500は、注目ブロックの量子化インデクスと、注目ブロックの周囲にあるブロックの量子化インデクス(同じ変換係数種類cのものに限る)とに基づいて、注目ブロックの量子化インデクスに対応する逆量子化値Rの補正係数αを算出し、算出された補正係数αを補正部580に出力する。
なお、以下の説明において、各変換係数種類c及び各量子化インデクスqに対応する補正係数αを、αycqと記述する。また、変換係数種類c、かつ、各量子化インデクスがqとなる信号の数をKとし、それぞれの補正係数をαycq(k)として表す(ただし、k=1,2,...,K)。
本例の分布推定部520は、変換係数種類c毎に、量子化インデクスの頻度分布を算出し、算出された頻度分布に基づいて、変換係数種類c毎の分布データを生成する。
より具体的には、期待値推定部540は、変換係数種類c毎に生成された分布データに基づいて、量子化区間毎の期待値(すなわち、量子化インデクス値毎の期待値)を算出する。
変換係数種類がcであり、かつ、量子化インデクスQ(c,i,j)=qである場合の期待値は、期待値をE(αTcq)とする。すなわち、期待値E(αTcq)は、量子化インデクスに1対1で対応付けられた逆量子化値Rと、この量子化インデクスに対応する元の変換係数Tとの差分の推定期待値である。
また、補正部580は、逆量子化値推定部500から入力された逆量子化値(本例では、逆量子化値の補正係数α)を、既定の範囲(例えば、逆量子化値の場合に、量子化インデクスに対応する量子化区間)におさまるように補正し、補正された逆量子化値(補正係数α)を逆量子化値出力部590に出力する。
本例の補正部580は、期待値推定部540から入力された期待値に基づいて、分布推定部520により算出された量子化インデクスの頻度分布と、逆量子化値推定部500により算出された逆量子化値の頻度分布とを、変換係数種類c毎、及び、量子化区間毎に略一致するよう、逆量子化値推定部500から入力された補正係数αを補正し、補正された補正係数αを、さらに、JPEG方式において、補正係数αが−0.5から0.5の範囲に入るように線形補正する。
補正部580による線形補正は、例えば、同一の量子化インデクスに対応する補正係数αの中から、最大値αmax及び最小値αminを選択し、選択された最大値αmax及び最小値αminが既定の範囲(JPEGでは、-0.5から0.5の範囲)におさまるように、これらの補正係数α全体を線形変換することにより実現される。
また、JPEG2000方式では、補正係数αの範囲がJPEG方式と異なるだけである。すなわち、JPEG2000方式では、補正部580は、補正係数αの範囲は、Q(c,i,j)>0の時に、0≦r+α≦1を満たす範囲、Q(c,i,j)<0の時に、-1≦-r+α≦0を満たす範囲、Q(c,i,j)=0の時に、-1≦α≦1を満たす範囲を、それぞれ基準として補正係数αを補正する。
本例の逆量子化値出力部590は、補正部580又は乱数発生部560から入力された補正係数αと、量子化インデクス(又はこれに対応付けられた逆量子化値)とに基づいて、逆量子化値を算出する。より具体的には、以下の式により、逆量子化値出力部590は、適用すべき逆量子化値Ry(c,i,j)を算出する。
Ry(c,i,j)={Q(c,i,j)+α(c,i,j)}×D(c)
図5は、補正部580(図4)をより詳細に説明する図である。
図5に例示するように、補正部580は、分布情報特定部582、期待値シフト部584及び期待値補正部586を含む。
補正部580において、分布情報特定部582は、逆量子化値推定部500から入力された逆量子化値(本例では、補正係数α)の平均値、最小値及び最大値を、変換係数種類毎及び量子化インデクス値毎に算出し、算出された平均値、最小値及び最大値を、入力された逆量子化値と共に期待値シフト部584に出力する。
以下、分布情報特定部582により算出された平均値、最小値、及び、最大値は、平均値αycqMean、最大値αycqMin、及び、最小値αycqMaxとして表す。これらの値は、変換係数種類c及び量子化インデクス値qのそれぞれの組合せついて算出され、以下に説明する期待値シフト部584及び期待値補正部586の処理も、変換係数種類c及び量子化インデクス値qの組合せそれぞれについてなされる。
αxcq1(k)=αycq(k)+E(αTcq)-αycqMean
また、期待値シフト部584は、同様に、最大値及び最小値もシフトする。
すなわち、期待値シフト部584は、以下の演算を行って、シフト補正後の最小値αycqMin1及び最大値αycqMax1を算出する。
αycqMin1=αxcqMin + E(αTcq) -αycqMean
αycqMax1=αxcqMax + E(αTcq) -αycqMean
具体的には、期待値補正部586は、シフト補正後の補正係数αxcq1の平均値を変化させずに、これらの補正係数の範囲を一定の範囲(αmin〜αmax)とする。
本例の期待値補正部586は、以下の処理により、範囲補正を実現する。
αxcq2(k)=αxcq1(k)
(2)上記(1)以外のとき、下記処理を行う。
V1=(E(αTcq)-αmin)/(E(αTcq)-αycqMin1)
V2=(αmax-E(αTcq))/(αycqMax1-E(αTcq))
V1≦V2のとき、V=V1
上記以外のとき、V=V2
αxcq2(k)=V(αxcq1(k)-E(αTcq))+E(αTcq)
図6(A)に示すように、期待値シフト部584は、変換係数Tの推定期待値(a1)と、逆量子化値の期待値(a2)とが一致するように、逆量子化値の分布をシフトする(a3)。
以下は、シフト補正及び範囲補正を統合した合成補正の一例である。
αycqMax1=αxcqMax+E(αTcq)-αycqMean
αycqMax1≦αmax、かつ、αmin≦αycqMin1のとき、
αxcq(k)=αxcq1(k)
(2)上記(1)以外のとき、下記処理を行う。
V1=(E(αTcq)-αmin)/(αycqMean-αycqMin)
V2=(αmax-E(αTcq))/(αycqMax-αycqMean)
V1≦V2のとき、V=V1
上記以外のとき、V=V2
αxcq(k)=V(αxcq1(k)-αycqMean)+E(αTcq)
また、この演算は、αycqMeanの入力は、E(αTcq)にし、αycqMinまたは、αycqMaxの入力をαminまたはαmaxにする処理を行うものである。
次に、復号化装置2(復号化プログラム5)の全体動作を説明する。
図7は、復号化プログラム5(図4)による復号化処理(S10)のフローチャートである。なお、本例では、画像データの符号データ(JPEG方式)が入力される場合を具体例として説明する。
図7に示すように、ステップ100(S100)において、エントロピ復号部40(図4)は、入力された符号データを復号化して、各ブロック(8×8ブロック)の量子化インデクスを生成し、生成された各ブロックの量子化インデクスを逆量子化部50に出力する。
逆量子化部50は、逆量子化値の推定が可能であると判定された場合に、S105の処理に移行し、逆量子化値の推定が不可能であると判定された場合に、S115の処理に移行する。
より具体的には、逆量子化値推定部500は、抽出された周囲量子化インデクスと、注目量子化インデクスとを用いて、以下の演算を行い、差分行列Pを作成する。
P(m,n)=Q(c,i+m,j+n)-Q(c,i,j)
次に、逆量子化値推定部500は、差分行列Pに含まれる各差分値の絶対値|P(m,n)|と、閾値THとを比較して、閾値THよりも大きな差分値P(m,n)を0にする(閾値処理)。
次に、逆量子化値推定部500は、3×3のフィルタカーネルK(m,n)を用いて、閾値処理がなされた差分行列Pに対してコンボリューション演算を行い、補正係数αycqを算出する。したがって、注目量子化インデクスの値が同一であっても、その周囲に存在する周囲量子化インデスクが異なれば、算出される補正係数αycqは、互いに異なった値をとる。
乱数発生部560は、分布推定部520から入力された分布データに応じて、乱数を生成し、生成された乱数を補正係数αとして逆量子化値出力部590に出力する。
具体的には、本例の逆量子化値出力部590は、以下の演算を行って逆量子化値Ryを算出する。
Ry(c,i,j)={Q(c,i,j)+α(c,i,j)}×D(c)
次に、図7で述べた分布推定処理(S125)をより詳細に説明する。
以下に、分布推定部520による分布推定処理(S125)を順に示す。
まず、分布推定部520は、それぞれの変換係数種類cごとに、量子化インデクスQ(c,i,j)のヒストグラムhc(q)を取得する。例えば、hc(q)は、以下の演算により作成される。
Q(c,i,j)=qである場合に、ht(c,q,i,j)=1
上記以外の場合に、ht(c,q,i,j)=0
すなわち、分布推定部520は、量子化インデクスQ(c,i,j)のヒストグラムhc(q)に基づいて、変換係数T(c,i,j)の確率密度関数を推定する。
変換係数T(c,i,j)の確率密度関数の推定は、直線近似と、ラプラス分布による近似とによりなされる。
すなわち、直線近似では、変換係数Tの値がd1からd2まで範囲にある場合に、量子化インデクスがqになるとすると、図8(A)に示すように、d1とd2の中点をd0とし、d1、d0、d2を結ぶ直線(折れ線)によって確率密度関数を近似する。ここで、前述したように、Tは、
T(c,i,j)=R(c,i,j)+α×D(c) (αmin≦α≦αmax)
として表すことができる。
以下、αmid=(αmin+αmax)/2として、αmin、αmid、αmaxを結ぶ直線(折れ線)で確率密度関数を近似し、推定する形態を具体例として説明する。
|q|>TH1の時には第1の直線近似を行う。
|q|=TH1の時には第2の直線近似を行う。
|q|<TH1の時にはラプラス分布で近似を行う。
まず、図8(B)に示されるように、
fk(α)=hc(q) αmin≦α≦αmax
となる関数fk(α)を考える。
この一様関数を次に折れ線近似する。
次に周囲ヒストグラムhc(q-1)、hc(q+1)を用いて、fk(αmin)とfk(αmax)の値を推定する。例えば、以下、fk(αmax)の値を推定する。図8(C)に示す点Aの位置を決定する。
fk(αmax)の値は、hc(q)と、hc(q+1)の間とするのが妥当である。例えば、fk(αmax)=(hc(q)+hc(q+1))/2とすればよい。
本例では、点Aの位置として、hc(q)と、hc(q+1)の間を、hc(q):hc(q+1)に内分する点を採用する。
これは、図8(C)に示すように、hc(q)がhc(q+1)に比べて小さいとき、あるいはhc(q)の値が0に近いときには、点Aの値を十分に小さい値にすることができて都合がよいからである。
このとき、fk(αmax)=2×hc(q)×hc(q+1)/(hc(q)+hc(q+1))として求めることができる。
同様に、fk(αmin)=2×hc(q)×hc(q-1)/(hc(q)+hc(q-1))として求めることができる。
次に、fk(αmid)の値を推定する。ここで、周囲ヒストグラムの形状を図8(D)及び図8(E)にそれぞれ例示する2種類に分類する。
図8(D)に例示するように、量子化インデクス値qに関して単調増加あるいは単調減少する場合には、
fk(αmid)=hc(q)
とする。
また、図8(D)のように量子化インデクス値qに関して単調増加あるいは単調減少しない場合には、
fk(αmid)>hc(q) hc(q)が山になる場合
fk(αmid)<hc(q) hc(q)が谷になる場合
となるのが好ましい。
そこで、fk(αmin)と、fk(αmax)との差分の平均値を加算する。すなわち、
fk(αmid)=hc(q)+(hc(q)-fk(αmin)+hc(q)-fk(αmax))/2
=2×hc(q)-(fk(αmin)+fk(αmax))/2
とする。
あるいは、上記の単調増加及び単調減少による場合分けを行わずに、常に
fk(αmid)=2×hc(q)-(fk(αmin)+fk(αmax))/2
としてもよい。
以上で、図8(A)に示されるものと同様の折れ線近似ができる。
また、期待値推定部540は、この折れ線近似に基づいて、期待値E(αTcq)を算出する。具体的には、期待値推定部540は、次式を用いて、期待値E(αTcq)の計算を行う。
ラプラス分布の式は以下で表すことができる。
まず、分布推定部520は、以下の式により、ヒストグラムhc(q)から、確率密度関数fhc(x)を算出する。
図9に例示されるように、ラプラス分布による近似式L(x)と、確率密度関数fhc(x)の違いができるだけ小さくなるようなσを求めればよい。
上記の「違いができるだけ小さくなる」ことを評価する関数として、以下の誤差関数Err(σ)を定義する。
分布推定部520は、上記Err(σ)を最小にするようなσを、数値計算を行って求めればよい。
あるいは、分布推定部520は、単純に変換係数種類cごとに、Q(c,i,j)の標準偏差を計算して、σを求めてもよい。
TH1=2としたとき、図9に例示した分布では、q=0、1、-1の時に、ラプラス近似を行うことになる。
この場合も、期待値推定部540は、上記の式を用いて、期待値E(αTcq)の計算を行えばよい。ただし、関数fk()は折れ線ではなく、次式のようにラプラス分布から導かれるものとなる。
第2の直線近似は、|q|=TH1である場合の直線近似である。
q=TH1のときは、第1の直線近似が適用される場合と異なり、左側(q=TH1-1の場合)がラプラス分布で近似されているため、分布の連続性を満たすように、fk(αmin)の値を考慮したい。
図10は、第2の直線近似を説明する図である。
図10は、閾値TH1=1である場合を例示している。したがって、q=0の場合にはラプラス近似を行う。また、q=2の時には、第1の直線近似を行う。このとき、確率密度関数の近似曲線が、図10に示す点Aを通るようにすれば連続な確率密度関数とすることができる。
そのため、
q=-TH1の場合には、左側(q=TH1-1の場合)がラプラス分布で近似されているため、分布の連続性を満たすように、fk(αmax)の値を考慮したい。同様に図10に示す点Bを通るようにすれば良いので、
すなわち、復号化装置2は、量子化インデクスの分布に基づいて、変換係数Tの分布を推定し、推定された変換係数Tの分布と、算出された逆量子化値の分布とが一致するように、算出された逆量子化値を補正することにより、より再現性の高い復号画像を得ることができる。
上記実施形態では、各量子化インデクスq毎、かつ、各変換係数種類c毎に期待値を推定し、期待値シフトし、期待値補正を行っていたが、これに限定されるものではなく、例えば、全ての量子化インデクスqに対して統一したαの期待値を用いてもよい。
そこで、第1の変形例では、全ての量子化インデクスqに対して統一したαの期待値を用いる形態を説明する。ただし、このように期待値を共有する場合には、q=0の場合のみにはαの期待値を0とする。また、AC成分のみに適用する。
まず、復号化プログラム5は、αyを以下のように変換する。
Q(c,i,j)<0のとき、αy=-αy
すなわち、期待値推定部540は、まず、q<0の場合にも対応できるように、E(αTcq)を以下のように変換する。
q<0のとき、E(αTcq)=-E(αTcq)
最後に、逆量子化値出力部590は、以下の演算を行って、逆量子化値Rx(c,i,j)を得る。
Q(c,i,j)≦0のとき、Rx(c,i,j)=R(c,i,j)+α×D(c)
Q(c,i,j)<0のとき、Rx(c,i,j)=R(c,i,j)-α×D(c)
また、全ての変換係数種類cに対して統一したαの期待値を用いてもよい。
そこで、第2の変形例では、全ての変換係数種類cに対して統一したαの期待値を用いる形態を説明する。
すなわち、期待値推定部540は、以下の式により、期待値E(αTc)を算出する。
また、本変形例では、分布情報特定部582(図5)は、各量子化インデクスq毎に、平均値αyqMean、最大値αyqMin、及び、最小値αyqMaxを算出する必要がある。
また、全ての量子化インデクスq、かつ、全ての変換係数種類cに対して統一αの期待値を用いてもよい。
そこで、第3の変形例では、全ての変換係数種類c、全ての量子化インデクスqに対して統一したαの期待値を用いる形態を説明する。ただし、このよう期待値を共有する場合には、q=0の場合のみにはαの期待値を0とする。また、AC成分のみに適用する。
まず、復号化プログラム5は、αyを以下のように変換する。
Q(c,i,j)<0 のとき、αy=-αy
全ての変換係数種類c、全ての量子化インデクスqに対して統一された期待値E(αT)、
を算出するために、上記個数p(c,q)で重み付け平均を取る。
すなわち、期待値推定部540は、まず、q<0の場合にも対応できるように、E(αT)を以下のように変換する。
q<0 のとき、E(αT)=- E(αT)
次に、期待値推定部540は、以下の式により、期待値E(αTc)を算出する。
最後に、逆量子化値出力部590は、以下の演算により、逆量子化値Rx(c,i,j)を算出する。
Q(c,i,j)≦0のとき、Rx(c,i,j)=R(c,i,j)+α×D(c)
Q(c,i,j)<0のとき、Rx(c,i,j)=R(c,i,j)-α×D(c)
上記実施形態では、変換係数Tの期待値を用いるのではなく、補正係数αの期待値を一致させたが、もちろん、変換係数Tの期待値を一致させてもよい。変換係数Tと補正係数αの関係は、以下の式である。
T(c,i,j)=R(c,i,j) + α×D(c)
このように、変換係数Tと補正係数αは、線形関係にあるため、上の式を用いて、補正係数αで説明している部分を全て変換係数Tの説明に置き換えることができる。
JPEG2000方式では、αy、αx、αTの範囲が以下のようになる。
Q(c,i,j)≠0のとき、-0.5≦αy、αx、αT≦0.5
Q(c,i,j)=0のとき、-1≦αy、αx、αT≦1
上記範囲を満たすように、αminとαmaxを設定すればよい。
この場合に、期待値推定部540は、符号データに埋め込まれた期待値をそのまま補正部580に出力すれば足りる。
また、上記実施形態では、周囲量子化インデクス値を参照することにより(フィルタ処理により)、1つの量子化インデクス値に対して複数の逆量子化値を算出しているが、これに限定されるものではなく、例えば、乱数を発生させることにより、1つの量子化インデクス値に対して複数の逆量子化値を生成してもよい。
5・・・復号化プログラム
40・・・エントロピ復号部
50・・・逆量子化部
500・・・逆量子化値推定部
520・・・分布推定部
540・・・期待値推定部
560・・・乱数発生部
580・・・補正部
582・・・分布情報特定部
584・・・期待値シフト部
586・・・期待値補正部
590・・・逆量子化値出力部
60・・・逆変換部
Claims (16)
- 1つの量子化インデクス値に対して、複数の逆量子化値を生成する逆量子化値生成手段と、
それぞれの量子化インデクスに対応する元データの分布情報を取得する分布情報取得手段と、
前記分布情報取得手段により取得された分布情報に応じて、前記逆量子化値生成手段により生成された逆量子化値の少なくとも一部を補正する補正手段と
を有する復号化装置。 - 前記分布情報生成手段は、それぞれの量子化インデクスに対応する元データの確率密度関数の期待値を前記分布情報として取得し、
前記補正手段は、前記分布情報取得手段により取得された期待値と、前記逆量子化値生成手段により生成された複数の逆量子化値の平均値とに基づいて、補正量を決定する
請求項1に記載の復号化装置。 - 前記量子化インデクスは、変換符号化処理により生成される変換係数のいずれかの成分に対応づけられており、
前記分布情報取得手段は、変換係数の成分毎に、前記分布情報を取得し、
前記補正手段は、変換係数の成分毎に取得された分布情報のうち、変換係数の成分が一致する分布情報に応じて、逆量子化値を補正する
請求項1又は2に記載の復号化装置。 - 前記分布情報取得手段は、それぞれの量子化インデクスに対応する量子化区間の確率密度関数の期待値を前記分布情報として取得し、
前記補正手段は、前記分布情報取得手段により取得された各量子化区間の期待値と、前記逆量子化値生成手段によりそれぞれの量子化インデクスについて生成された複数の逆量子化値の平均値とに基づいて、それぞれの量子化インデクスに対する補正量を決定する
請求項2に記載の復号化装置。 - 前記分布情報取得手段は、それぞれの量子化インデクスに対応する量子化区間の確率密度関数の期待値に対して、変換係数の成分毎の量子化インデクスの数に応じた重み付け係数をかけて、これらの合算値を算出し、
前記補正手段は、前記逆量子化値生成手段により生成された逆量子化値の量子化インデクス毎の平均値と、前記分布情報生成手段により算出された合算値とが略一致するように、生成された逆量子化値を補正する
請求項3に記載の復号化装置。 - 前記補正手段は、さらに、それぞれの量子化インデクスに対応する量子化区間に応じて、生成された逆量子化値の少なくとも一部を補正する
請求項1に記載の復号化装置。 - 前記補正手段は、前記分布情報に応じて補正された逆量子化値がそれぞれの量子化インデクスに対応する量子化区間におさまるように、これらの逆量子化値の平均値を変化させずに、少なくとも一部の逆量子化値を補正する
請求項6に記載の復号化装置。 - 量子化インデクスの分布情報を生成する分布情報生成手段
をさらに有し、
前記分布情報取得手段は、前記分布情報生成手段により生成された量子化インデクスの分布情報を、前記元データの分布情報として取得する
請求項1に記載の復号化装置。 - 前記分布情報生成手段は、量子化インデクス値の頻度分布を折れ線近似することにより、これらの量子化インデクスの確率密度関数を生成し、
前記分布情報取得手段は、前記分布情報生成手段により生成された確率密度関数を、前記元データの確率密度関数として取得する
請求項8に記載の復号化装置。 - 前記分布情報生成手段は、量子化インデクス値の頻度分布のうち、互いに隣接する量子化インデクス値の間を、これらの量子化インデクス値の頻度数の比に応じた内分点を通るように折れ線近似する
請求項9に記載の復号化装置。 - 前記分布情報生成手段は、量子化インデクス値の頻度分布のうち、連続する3つの量子化インデクス値において、中央の頻度数がこの両隣の頻度数よりも大きい場合に、この中央の頻度数を実際の頻度数よりも大きくなるように折れ線近似し、中央の頻度数がこの両隣の頻度数よりも小さい場合に、この中央の頻度数を実際の頻度数よりも小さくなるように折れ線近似する
請求項9に記載の復号化装置。 - 前記分布情報生成手段は、量子化インデクス値の頻度分布のうち、連続する3つの量子化インデクス値をh(q−1)、h(q)及びh(q+1)とした場合に、この中央の量子化インデクス値に関する折れ線近似値h'(q)を以下の式:
h'(q)=h(q)×h(q)/{1/(h(q)+h(q−1))+1/(h(q)+h(q+1))}
を用いて算出する
請求項9に記載の復号化装置。 - 前記分布情報生成手段は、量子化インデクス値が第1の範囲にある場合に、量子化インデクス値の頻度分布を折れ線近似することにより、前記確率密度関数を生成し、量子化インデクス値が第2の範囲にある場合に、量子化インデクス値の頻度分布をラプラス分布で近似することにより、前記確率密度関数を生成する
請求項9に記載の復号化装置。 - 前記逆量子化値生成手段は、逆量子化すべき注目量子化インデクスの値と、この注目量子化インデクスに対して既定の位置にある逆量子化インデクスの値とに基づいて、この注目量子化インデクスの逆量子化値を算出する
請求項1に記載の復号化装置。 - 元データを量子化した場合の量子化値それぞれに対応付けられた量子化インデクス値それぞれに対して、複数の逆量子化値を生成し、
それぞれの量子化インデクスに対応する元データの分布情報を取得し、
取得された分布情報に応じて、生成された逆量子化値の少なくとも一部を補正する
逆量子化方法。 - 元データを量子化した場合の量子化値それぞれに対応付けられた量子化インデクス値それぞれに対して、複数の逆量子化値を生成するステップと、
それぞれの量子化インデクスに対応する元データの分布情報を取得するステップと、
取得された分布情報に応じて、生成された逆量子化値の少なくとも一部を補正するステップと
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005079613A JP4645948B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びプログラム |
US11/153,395 US7630564B2 (en) | 2005-03-18 | 2005-06-16 | Decoding apparatus, dequantizing method, and program thereof |
CN200510082429A CN100579169C (zh) | 2005-03-18 | 2005-06-30 | 解码装置、逆量化方法及其程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005079613A JP4645948B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006262310A true JP2006262310A (ja) | 2006-09-28 |
JP4645948B2 JP4645948B2 (ja) | 2011-03-09 |
Family
ID=37003135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005079613A Expired - Fee Related JP4645948B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7630564B2 (ja) |
JP (1) | JP4645948B2 (ja) |
CN (1) | CN100579169C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177342A (ja) * | 2014-03-14 | 2015-10-05 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4784281B2 (ja) * | 2005-11-18 | 2011-10-05 | 富士ゼロックス株式会社 | 復号化装置、逆量子化方法及びこれらのプログラム |
WO2013086724A1 (en) * | 2011-12-15 | 2013-06-20 | Mediatek Singapore Pte. Ltd. | Method of clippling transformed coefficients before de-quantization |
CN103975592B (zh) * | 2011-12-15 | 2018-03-06 | 寰发股份有限公司 | 反量化变换系数的方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001136526A (ja) * | 1999-11-05 | 2001-05-18 | Canon Inc | 画像処理方法及びその装置及び記憶媒体 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US179988A (en) * | 1876-07-18 | Improvement in brick-machines | ||
US172967A (en) * | 1876-02-01 | Improvement in nut-locks | ||
US168920A (en) * | 1875-10-19 | Improvement in scroll-sawing machines | ||
US151212A (en) * | 1874-05-26 | Improvement in stove-grates | ||
US5625714A (en) | 1991-01-10 | 1997-04-29 | Olympus Optical Co., Ltd. | Image signal decoding device capable of removing block distortion with simple structure |
JPH0514735A (ja) | 1991-07-01 | 1993-01-22 | Kubota Corp | 画像処理装置 |
JPH05316361A (ja) | 1992-04-24 | 1993-11-26 | Sony Corp | ブロック歪除去フィルタ |
JP3132168B2 (ja) | 1992-07-31 | 2001-02-05 | 松下電器産業株式会社 | 映像信号処理装置 |
US5615288A (en) | 1993-04-26 | 1997-03-25 | Fuji Xerox Co., Ltd. | Singular value decomposition coding and decoding apparatuses |
JP3466705B2 (ja) | 1993-05-28 | 2003-11-17 | ゼロックス・コーポレーション | 圧縮画像の圧縮解除方法 |
JP2921358B2 (ja) * | 1993-10-06 | 1999-07-19 | 富士ゼロックス株式会社 | 画像符号化装置 |
JP2914607B2 (ja) | 1994-06-10 | 1999-07-05 | シャープ株式会社 | 画像信号復号化装置 |
JPH08102943A (ja) | 1994-09-30 | 1996-04-16 | Fuji Xerox Co Ltd | 画像符号化装置 |
US5615228A (en) * | 1995-03-23 | 1997-03-25 | Texas Instruments Incorporated | Apparatus and method to decode a pulse width modulated serial data stream |
US5778102A (en) | 1995-05-17 | 1998-07-07 | The Regents Of The University Of California, Office Of Technology Transfer | Compression embedding |
US6072909A (en) | 1995-12-13 | 2000-06-06 | Fuji Xerox Co., Ltd. | Image coding devise and image decoding devise using with image disassembly |
JP2888186B2 (ja) | 1996-02-19 | 1999-05-10 | 富士ゼロックス株式会社 | 画像符号化装置および画像復号装置 |
JP2002091691A (ja) | 2000-09-20 | 2002-03-29 | Nagano Fujitsu Component Kk | ポインティングデバイス |
JPH10243402A (ja) | 1997-02-27 | 1998-09-11 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP3087835B2 (ja) | 1997-04-22 | 2000-09-11 | 富士ゼロックス株式会社 | 画像符号化方法および装置ならびに画像復号方法および装置 |
JP3921678B2 (ja) | 1998-02-24 | 2007-05-30 | ソニー株式会社 | 画像処理方法および装置 |
JP3959698B2 (ja) | 1998-02-24 | 2007-08-15 | ソニー株式会社 | 画像処理方法および装置 |
JP4250867B2 (ja) | 1998-10-06 | 2009-04-08 | ソニー株式会社 | 符号化装置および方法、復号装置および方法並びに記録媒体 |
US6393155B1 (en) | 1998-11-04 | 2002-05-21 | International Business Machines Corporation | Error reduction in transformed digital data |
US6301368B1 (en) | 1999-01-29 | 2001-10-09 | International Business Machines Corporation | System and method for data hiding in compressed fingerprint images |
US6748113B1 (en) | 1999-08-25 | 2004-06-08 | Matsushita Electric Insdustrial Co., Ltd. | Noise detecting method, noise detector and image decoding apparatus |
CA2399701A1 (en) * | 2000-02-17 | 2001-08-23 | Nanovation Technologies, Inc. | Strongly confined polarization-independent single-mode optical ridge waveguide |
EP1164543B1 (en) | 2000-06-14 | 2017-08-09 | Panasonic Intellectual Property Corporation of America | Digital information embedding/extracting |
US6424697B1 (en) | 2000-12-29 | 2002-07-23 | Ge Medical Systems Global Technology Company, Llc | Directed energy beam welded CT detector collimators |
JP3932110B2 (ja) | 2002-04-23 | 2007-06-20 | シャープ株式会社 | 画像処理装置、画像処理システム、電子情報機器、画像処理方法、制御プログラムおよび可読記録媒体 |
JP4309703B2 (ja) | 2002-06-21 | 2009-08-05 | 日本放送協会 | 符号化誤差推定装置 |
US7362474B2 (en) | 2004-06-07 | 2008-04-22 | Lite-On Technology Corp. | Printing quality enhancement via graphic/text detection method in compression (JPEG) image |
JP2006074339A (ja) | 2004-09-01 | 2006-03-16 | Fuji Xerox Co Ltd | 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム |
MX2007006139A (es) | 2004-11-24 | 2007-07-19 | Thomson Licensing | Tecnica de simulacion de grano de pelicula para uso en dispositivos de reproduccion de medios. |
-
2005
- 2005-03-18 JP JP2005079613A patent/JP4645948B2/ja not_active Expired - Fee Related
- 2005-06-16 US US11/153,395 patent/US7630564B2/en not_active Expired - Fee Related
- 2005-06-30 CN CN200510082429A patent/CN100579169C/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001136526A (ja) * | 1999-11-05 | 2001-05-18 | Canon Inc | 画像処理方法及びその装置及び記憶媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177342A (ja) * | 2014-03-14 | 2015-10-05 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4645948B2 (ja) | 2011-03-09 |
US7630564B2 (en) | 2009-12-08 |
CN1835549A (zh) | 2006-09-20 |
CN100579169C (zh) | 2010-01-06 |
US20060210183A1 (en) | 2006-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4737711B2 (ja) | 復号化装置、逆量子化方法、分布決定方法及びこのプログラム | |
JP4775756B2 (ja) | 復号化装置及びそのプログラム | |
Zhang et al. | Compression artifact reduction by overlapped-block transform coefficient estimation with block similarity | |
KR100809409B1 (ko) | 복호화 장치, 역양자화 방법 및 이들의 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
CN103501441B (zh) | 一种基于人类视觉系统的多描述视频编码方法 | |
JPH11168633A (ja) | 再構成実行方法、再構成実行装置、記録媒体、逆変換実行方法、逆変換実行装置、好適再構成生成方法、好適再構成生成装置、符号化データ処理方法、符号化データ処理装置、データ処理方法、データ処理装置、符号化データのタイル処理方法、符号化データのタイル処理装置、データ復号化方法、データ復号化装置、再構成方法、及び、2値データモデル化方法 | |
CN101105857A (zh) | 一种基于预测和压扩技术的高容量可逆水印方法 | |
JP2002325170A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
US8396313B2 (en) | Image compression and decompression using the PIXON method | |
US7778468B2 (en) | Decoding apparatus, dequantizing method, and program thereof | |
JP4645948B2 (ja) | 復号化装置及びプログラム | |
Efimushkina et al. | Rate-distortion based reversible watermarking for JPEG images with quality factors selection | |
JP2006270737A (ja) | 復号化装置、分布推定方法、復号化方法及びこれらのプログラム | |
JP4730144B2 (ja) | 復号化装置、逆量子化方法及びこれらのプログラム | |
JP4784386B2 (ja) | 復号化装置、逆量子化方法及びプログラム | |
CN102724494B (zh) | 一种嵌入可逆水印的方法、提取方法以及装置和系统 | |
US10015507B2 (en) | Transform system and method in video and image compression | |
JP4271018B2 (ja) | 電子透かし埋め込み方法、電子透かし検出方法及び装置並びにプログラム | |
Hakami et al. | Reversible Color Compression Transform for Big Data System Using Human Visual System | |
JP2004289737A (ja) | 画像符号化装置、画像符号化プログラム、及び画像復号化プログラム | |
Cosma | A Method for Improving the Progressive Image Coding Algorithms | |
JP2004229101A (ja) | 画像符号化システム及びその方法 | |
JP2005094786A (ja) | 係数データ生成装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101112 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4645948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |