JP2008203739A - オーディオビットレート変換方法および装置 - Google Patents

オーディオビットレート変換方法および装置 Download PDF

Info

Publication number
JP2008203739A
JP2008203739A JP2007042285A JP2007042285A JP2008203739A JP 2008203739 A JP2008203739 A JP 2008203739A JP 2007042285 A JP2007042285 A JP 2007042285A JP 2007042285 A JP2007042285 A JP 2007042285A JP 2008203739 A JP2008203739 A JP 2008203739A
Authority
JP
Japan
Prior art keywords
orthogonal transform
scale factor
frame
bit rate
transform coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007042285A
Other languages
English (en)
Other versions
JP5019437B2 (ja
Inventor
Koichi Takagi
幸一 高木
Yasuhiro Takishima
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007042285A priority Critical patent/JP5019437B2/ja
Publication of JP2008203739A publication Critical patent/JP2008203739A/ja
Application granted granted Critical
Publication of JP5019437B2 publication Critical patent/JP5019437B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】直交変換係数を操作することにより、音質の劣化を抑えながらビットレートを減ぜられるオーディオビットレート変換方法を提供する。
【解決手段】注目フレームのグローバルゲインを増量補正する手順と、グローバルゲインの増加補正に併せて注目フレームの全スケールファクタバンドの直交変換係数を一括して減量補正する手順と、グローバルゲインの増量補正および直交変換係数の減量補正を繰り返す手順と、注目フレームの必要ビット量と目標ビット量との差分が第1の大小関係になると、注目フレームにおいて直交変換係数が非ゼロのスケールファクタバンドの直交変換係数を、注目フレームの必要ビット量と目標ビット量とが第2の大小関係になるまで順次に増量補正する手順と、直交変換係数を増加補正されたスケールファクタバンドのスケールファクタ値を減量補正する手順とを含む。
【選択図】図3

Description

本発明は、デジタルオーディオデータのビットレートを変換する方法および装置に係り、特に、音質の劣化を抑えながらビットレートを減ぜられるオーディオビットレート変換方法および装置に関する。
デジタル音声データのビットレート変換方式として、CELP型符号化方式が特許文献1に開示されている。同方式では、線形予測分析した残りの残差信号のうち、再生に影響の少ない部分を省略することによりレートを削減としている。また、同技術では、2段階のベクトルコードブックを用いた方式をあわせて対象とし、その中で音質に大きな影響を及ぼさないサプリメンタルコードブックを適宜削除することによりビットレートの削減をはかっている。
特許文献2には、MPEG符号化方式で符号化された音声データの符号化レートを変換する場合に、マスク対雑音比を用いるなどして、元の音声信号を復元せずに高周波のサブバンドを削除したり、あるいは高周波のサブバンドから順に再量子化を行ったりすることにより、目的の符号化レートへの変換を可能とする技術が開示されている。
一方、音質を保ったまま、より高い圧縮率を実現した符号化方式としてAAC(Advanced Audio Coding)が規定され、いくつかのオンライン音楽配信や各種放送サービスなどで採用されている。AAC では、サブバンド分割フィルタと直交変換を多段接続してフィルタバンクを構成し、このフィルタバンクによって周波数成分に変換された入力信号を、人間の聴覚の周波数分解能に基づいて設定される分割周波数帯域ごとにまとめ、量子化時に各分割周波数帯域毎の正規化係数を決定し、正規化係数と量子化スペクトルの組み合わせで周波数成分を表現することで情報量を削減している。AAC では、この分割周波数帯域がスケールファクタバンドと呼称され、正規化係数がスケールファクタと呼称されている。
特許第3849210号 特許第3283200号
上記した特許文献1は、CELPに代表される音声符号化方式を対象としているため、音声信号を線形予測分析(LPC)した残りの残差信号をベクトル量子化し、そのインデックス情報を符号化するような方式にのみ適用可能であり、例えば、ISO/IEC(MPEG)で標準化されているMP3やAACへの適用は不可能である。
特許文献2は、MPEG符号化方式を対象としており、量子化スケールやスケールファクタを増減させることにより符号量の削減をはかっているが、スペクトル係数の直交変換にMDCT(modified DCT)を用いるAACへの適用を考えると、MDCT係数を量子化スケールやスケールファクタに合わせて操作することが望ましい。しかしながら、特許文献2には直交変換係数を量子化スケールやスケールファクタに合わせて操作することが開示されていない。
本発明の目的は、上記した従来技術の課題を解決し、直交変換係数を操作することにより、音質の劣化を抑えながらビットレートを減ぜられるオーディオビットレート変換方法および装置を提供することにある。
上記した目的を達成するために、本発明は、直交変換を含む符号化方式で符号化されたオーディオファイルのビットレートを減じて出力するオーディオビットレート変換方法において、オーディオファイルの注目フレームのグローバルゲインを増量補正する手順と、前記グローバルゲインの増加補正に併せて注目フレームの全スケールファクタバンドの直交変換係数を一括して減量補正する手順と、前記グローバルゲインの増量補正および直交変換係数の減量補正を、注目フレームの必要ビット量と目標ビット量とが第1の大小関係になるまで繰り返す手順と、前記注目フレームの必要ビット量と目標ビット量との差分が第1の大小関係になると、注目フレームにおいて直交変換係数が非ゼロのスケールファクタバンドの直交変換係数を、前記注目フレームの必要ビット量と目標ビット量とが第2の大小関係になるまで順次に増量補正する手順と、前記直交変換係数を増加補正されたスケールファクタバンドのスケールファクタ値を減量補正する手順とを含むことを特徴とする。
本発明によれば、以下のような効果が達成される。
(1)グローバルゲインを減量補正することでビット量が減ぜられ、グローバルゲインの減量補正に起因した音質劣化が直交変換係数の減量補正で補償されるので、音質劣化を抑えながらビットレートを減ぜられるようになる。
(2)目標ビット量を下回った注目フレームのビット量を目標ビット量に近づけるべく注目フレームの直交変換係数を増量補正する際、この増量補正に起因した音質劣化がスケールファクタ値の減量補正で補償されるので、音質劣化を抑えながらビットレートを所望のビットレートまで減ぜられるようになる。
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図1は、本発明に係るオーディオビットレート変換装置の主要部の構成を示したブロック図であり、ここでは、ビットレートX[kbps]のAACファイルF1を、ビットレートY[kbps]のAACファイルF2に変換する場合を例にして説明する。
フレーム分割部1は、AACファイルF1を可変長復号してフレーム分割する。レート変換部2は、各フレームのビット量を、別途に与えられるビットレート変換情報Rに基づいて削減し、改めて可変長符号化する。
図2は、前記レート変換部2の構成を示した機能ブロック図であり、AACファイルF1に対してフレーム単位でビットレート変換が行われる。
グローバルゲイン変更部21は、グローバルゲインを増量補正して量子化の粗さを粗くすることでビット量を減じる。MDCT係数一括変更部22は、前記グローバルゲインが増量補正されたときに、量子化ステップが粗くなることに起因した音質劣化がMDCT (変形離散コサイン変換)係数の減量で補償されるように、全スケールファクタバンドのMDCT係数値を所定の割合で一括減量する。
一括変更後ビット量算出部23は、前記変更後のグローバルゲインおよび一括変更後のMDCT係数に基づいて一括変換後ビット量を算出する。ビット量比較部24は、別途に与えられるビットレート変換情報Rから求まる目標ビット量Tと一括変換後ビット量とを比較する。前記グローバルゲイン変更部21およびMDCT係数一括変更部22は、目標ビット量Tと一括変換後ビット量とが第1の大小関係となるように、それぞれグローバルゲインおよびMDCT係数をフィードバック制御する。
MDCT係数変更部25は、MDCT係数が非ゼロのスケールファクタバンドの中で、そのインデックス(スケールファクタバンド番号)が最大値のスケールファクタバンドから順にMDCT係数値を所定の割合で増量補正する。順次変更後ビット量算出部26は、前記増量補正されたグローバルゲインおよび順次変更後のMDCT係数に基づいて順次変更後ビット量を算出する。ビット量比較部27は、別途に与えられるビットレート変換情報Rから求まる目標ビット量Tと順次変更後ビット量とを比較する。
前記MDCT係数変更部25は、目標ビット量Tと順次変更後ビット量とが第2の大小関係となるように、各スケールファクタバンドのMDCT係数をフィードバック制御する。スケールファクタ値変更部28は、前記MDCT係数を補正したことに起因した音質劣化がスケールファクタ値の変更で補償されるようにスケールファクタ値を減量補正する。
次いで、図3のフローチャートを参照して、本発明に係るビットレート変換方法の手順を詳細に説明する。
ステップS1ではイニシャル処理が実行される。このとき、前記グローバルゲイン変更部21では、グローバルゲインの増量回数をカウントする増量カウンタLがリセットされる。前記MDCT係数一括変更部22では、今回の注目フレームのk個のスケールファクタバンドの全て("k)のMDCT係数Morgが第1暫定配列Mtmp1に配置される。前記ビット量比較部24では、今回の注目フレームに割り当てられているビット量Z、AACファイルF1のビットレートX[kbps]、およびAACファイルF2のビットレートY[kbps]が次式(1)に適用されて今回の注目フレームの目標ビット量Tが算出される。
Figure 2008203739
ステップS2では、前記一括変更後ビット量算出部23で算出された第1暫定配列Mtmp1の総ビット量bitcount(Mtmp1)が前記ビット量比較部24で目標ビット量Tと比較され、総ビット量bitcount(Mtmp1)が目標ビット量Tを下回らない限りステップS3へ進む。ステップS3では、前記グローバルゲインの増量カウンタLがインクリメントされる。ステップS4では、前記グローバルゲイン変更部21において、グローバルゲインGgが「1」だけインクリメントされる。さらに、前記グローバルゲインGgの増量によって量子化ステップが粗くなることに起因した音質劣化がMDCT係数の減量によって補償(相殺)されるように、前記MDCT係数一括変更部22において、第1暫定配列Mtmp1の全てのMDCT係数が、次式(2)に基づいて所定の割合で減量補正される。
Figure 2008203739
図4は、前記第1暫定配列Mtmp1の一例を模式的に表現した図であり、増量カウンタLが増量されるごとに全てのスケールファクタバンドのMDCT係数値mが所定の割合で一括して減ぜられる。
その後、前記第1暫定配列Mtmp1のビット総数bitcount(Mtmp1)が目標ビット量Tを下回り、これがステップS2で検知されるとステップS5へ進む。ステップS5では、前記MDCT係数変更部25において、前記第1暫定配列Mtmp1の全てのMDCT係数を次式(3)に基づいて前記増量カウンタLの「1」に相当する値だけ戻した値が第2暫定配列Mtmp2に配置される。
Figure 2008203739
ステップS6では、MDCT係数が非ゼロであるスケールファクタバンドのインデックス(スケールファクタバンド番号)の中の最大値が、前記減量補正したMDCT係数を戻す対象のスケールファクタバンド番号を特定する戻しバンド番号sfbに登録される。ステップS7では、次式(4)に基づいて、前記戻しバンド番号sfbに対応した第2暫定配列のMDCT係数Mtmp2[sfb]が第1暫定配列の対応位置Mtmp1[sfb]に設定される。
Figure 2008203739
ステップS8では、前記順次変更後ビット量算出部26で算出された前記第1暫定配列Mtmp1の総ビット量bitcount(Mtmp1)が、前記ビット量判定部27で目標ビット量Tと比較され、総ビット量bitcount(Mtmp1)が目標ビット量Tを下回っている限りステップS11へ進む。ステップS11では、前記戻しバンド番号sfbがデクリメントされる。すなわち、MDCT係数が非ゼロであるスケールファクタバンドのスケールファクタバンド番号の中で次の最大値が改めて戻しバンド番号sfbに設定されて上記した各処理が繰り返される。
図5は、前記第1暫定配列Mtmp1の一例を模式的に表現した図であり、周波数の高い側(#5)のスケールファクタバンドから順に、そのMDCT係数が前記増量カウンタLの増量に伴って減ぜられた分だけ増量される。
その後、ステップS8において、第1暫定配列Mtmp1[all]のビット量が目標ビット量Tを上回ったと判定されるとステップS9へ進む。ステップS9では、前記スケールファクタ値変更部28において、スケールファクタバンド番号が現在の戻しバンド番号以上である全てのスケールファクタバンド(図5であれば、#4,#5)のスケールファクタ値が「−1」される。これにより、前記MDCT係数の値を増側に戻した事に起因する音質劣化が補償される。ステップS10では、前記グローバルゲイン、全スケールファクタバンドのスケールファクタ値、および第1暫定配列Mtmp1に配置されているMDCT係数がエントロピー符号化される。
なお、上記した実施形態では本発明をAACファイルのビットレート変換を例にして説明したが、ATRAC(Adaptive TRansform Acoustic Coding)ファイルのビットレート変換にも同様に適用できる。
本発明に係るオーディオビットレート制御装置のブロック図である。 レート変換部の構成を示した機能ブロック図である。 ビットレートの変換手順を示したフローチャートである。 MDCT係数が一括して減量補正される様子を示した図である。 MDCT係数が順次に戻し増量補正される様子を示した図である。
符号の説明
1…フレーム分割部,2…レート変換部,21…グローバルゲイン変更部,22…MDCT係数一括変更部,23…一括変更後ビット量算出部,24,27…ビット量比較部,25…MDCT係数変更部,26…順次変更後ビット量算出部,28…スケールファクタ値変更部

Claims (10)

  1. 直交変換を含む符号化方式で符号化されたオーディオファイルのビットレートを減じて出力するオーディオビットレート変換方法において、
    オーディオファイルの注目フレームのグローバルゲインを増量補正する手順と、
    前記グローバルゲインの増加補正に併せて注目フレームの全スケールファクタバンドの直交変換係数を一括して減量補正する手順と、
    前記グローバルゲインの増量補正および直交変換係数の減量補正を、注目フレームの必要ビット量と目標ビット量とが第1の大小関係になるまで繰り返す手順と、
    前記注目フレームの必要ビット量と目標ビット量との差分が第1の大小関係になると、注目フレームにおいて直交変換係数が非ゼロのスケールファクタバンドの直交変換係数を、前記注目フレームの必要ビット量と目標ビット量とが第2の大小関係になるまで順次に増量補正する手順と、
    前記直交変換係数を増加補正されたスケールファクタバンドのスケールファクタ値を減量補正する手順とを含むことを特徴とするオーディオビットレート変換方法。
  2. 前記注目フレームにおいて直交変換計数が非ゼロのスケールファクタバンドの直交変換係数を、高周波側のスケールファクタバンドから順に増量補正することを特徴とする請求項1に記載のオーディオビットレート変換方法。
  3. 前記注目フレームの全スケールファクタバンドの直交変換係数が、前記グローバルゲインの増加補正に伴う音質劣化が補償されるように一括して減量補正されることを特徴とする請求項1に記載のオーディオビットレート変換方法。
  4. 前記スケールファクタ値の減量補正が、前記直交変換係数の増量補正に伴う音質劣化が補償されるように行われることを特徴とする請求項1に記載のオーディオビットレート変換方法。
  5. 前記直交変換がMDCTであることを特徴とする請求項1ないし4のいずれかに記載のオーディオビットレート変換方法。
  6. 直交変換を含む符号化方式で符号化されたオーディオファイルの各フレームのビット量を目標ビット量まで減じるオーディオビットレート変換装置において、
    オーディオファイルの注目フレームのグローバルゲインを増量補正するグローバルゲイン変更手段と、
    前記グローバルゲインの増加補正に併せて注目フレームの全スケールファクタバンドの直交変換係数を一括して減量補正する直交変換係数一括変更手段と、
    前記グローバルゲインの増量補正および直交変換係数の減量補正を、注目フレームの必要ビット量と目標ビット量とが第1の大小関係となるまで繰り返し実行させるフィードバック手段と、
    前記注目フレームの必要ビット量と目標ビット量とが第1の大小関係になると、当該注目フレームにおいて直交変換係数が非ゼロのスケールファクタバンドの直交変換係数を増量補正する直交変換係数変更手段と、
    前記直交変換係数の増量補正を、注目フレームの必要ビット量と目標ビット量Tとが第2の大小関係となるまで、補正対象のスケールファクタバンドを変更しながら繰り返し実行させるフィードバック手段と、
    前記直交変換係数を増加補正されたスケールファクタバンドのスケールファクタ値を減量補正するスケールファクタ値変更手段とを含むことを特徴とするオーディオビットレート変換装置。
  7. 前記直交変換係数変更手段は、注目フレームにおいて直交変換計数が非ゼロのスケールファクタバンドの直交変換係数を、高周波側のスケールファクタバンドから順に増量補正することを特徴とする請求項6に記載のオーディオビットレート変換装置。
  8. 前記直交変換係数一括変更手段は、注目フレームの全スケールファクタバンドの直交変換係数を、前記グローバルゲインの増加補正に伴う音量増加が相殺されるように一括して減量補正することを特徴とする請求項6に記載のオーディオビットレート変換装置。
  9. 前記スケールファクタ値変更手段は、前記直交変換係数の増量補正に伴う音質劣化が補償されるようにスケールファクタ値を減量補正することを特徴とする請求項6に記載のオーディオビットレート変換装置。
  10. 前記直交変換がMDCTであることを特徴とする請求項6ないし9のいずれかに記載のオーディオビットレート変換装置。
JP2007042285A 2007-02-22 2007-02-22 オーディオビットレート変換方法および装置 Expired - Fee Related JP5019437B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007042285A JP5019437B2 (ja) 2007-02-22 2007-02-22 オーディオビットレート変換方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007042285A JP5019437B2 (ja) 2007-02-22 2007-02-22 オーディオビットレート変換方法および装置

Publications (2)

Publication Number Publication Date
JP2008203739A true JP2008203739A (ja) 2008-09-04
JP5019437B2 JP5019437B2 (ja) 2012-09-05

Family

ID=39781274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007042285A Expired - Fee Related JP5019437B2 (ja) 2007-02-22 2007-02-22 オーディオビットレート変換方法および装置

Country Status (1)

Country Link
JP (1) JP5019437B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146895A1 (ja) * 2012-03-28 2013-10-03 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
WO2013187498A1 (ja) * 2012-06-15 2013-12-19 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10178350A (ja) * 1996-12-19 1998-06-30 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化音声データの符号化レート変換方法および装置
JP2001242895A (ja) * 2000-02-28 2001-09-07 Toshiba Corp オーディオ符号化装置およびオーディオ符号化方法
JP2003015694A (ja) * 2001-07-04 2003-01-17 Nec Corp ビットレート変換装置およびビットレート変換方法
JP2005292702A (ja) * 2004-04-05 2005-10-20 Kddi Corp オーディオフレームに対するフェードイン/フェードアウト処理装置及びプログラム
JP2006145782A (ja) * 2004-11-18 2006-06-08 Canon Inc オーディオ信号符号化装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10178350A (ja) * 1996-12-19 1998-06-30 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化音声データの符号化レート変換方法および装置
JP2001242895A (ja) * 2000-02-28 2001-09-07 Toshiba Corp オーディオ符号化装置およびオーディオ符号化方法
JP2003015694A (ja) * 2001-07-04 2003-01-17 Nec Corp ビットレート変換装置およびビットレート変換方法
JP2005292702A (ja) * 2004-04-05 2005-10-20 Kddi Corp オーディオフレームに対するフェードイン/フェードアウト処理装置及びプログラム
JP2006145782A (ja) * 2004-11-18 2006-06-08 Canon Inc オーディオ信号符号化装置および方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146895A1 (ja) * 2012-03-28 2013-10-03 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
JP5635213B2 (ja) * 2012-03-28 2014-12-03 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
WO2013187498A1 (ja) * 2012-06-15 2013-12-19 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
JP5734519B2 (ja) * 2012-06-15 2015-06-17 日本電信電話株式会社 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP5019437B2 (ja) 2012-09-05

Similar Documents

Publication Publication Date Title
US10354666B2 (en) Encoder for encoding an audio signal, audio transmission system and method for determining correction values
EP2159790B1 (en) Audio encoding method, audio decoding method, audio encoding device, audio decoding device, program, and audio encoding/decoding system
KR102327767B1 (ko) 위상 보상을 이용하여 멀티 채널 신호를 다운믹싱 또는 업믹싱하는 장치 및 방법
EP0966793B1 (en) Audio coding method and apparatus
JP2019080347A (ja) パラメトリック・マルチチャネル・エンコードのための方法
US8321207B2 (en) Device and method for postprocessing spectral values and encoder and decoder for audio signals
US20080077413A1 (en) Audio coding device with two-stage quantization mechanism
JP2009116371A (ja) 符号化装置および復号化装置
WO2012122299A1 (en) Bit allocation and partitioning in gain-shape vector quantization for audio coding
NO338918B1 (no) Audio-koding
IL176978A (en) Method and standard for determining an estimate
US20090083042A1 (en) Encoding Method and Encoding Apparatus
JP2007193043A (ja) 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
US8665914B2 (en) Signal analysis/control system and method, signal control apparatus and method, and program
JP5019437B2 (ja) オーディオビットレート変換方法および装置
JP2006293400A (ja) 符号化装置および復号化装置
WO2005033860A2 (en) A fast codebook selection method in audio encoding
US20100283536A1 (en) System, apparatus, method and program for signal analysis control, signal analysis and signal control
JP4721355B2 (ja) 符号化データの符号化則変換方法および装置
JP4516345B2 (ja) 音声符号化情報処理装置および音声符号化情報処理プログラム
JP2010175633A (ja) 符号化装置及び方法、並びにプログラム
WO2008072524A1 (ja) オーディオ信号符号化方法及び復号化方法
WO1998035447A2 (en) Audio coding method and apparatus
JP2003271199A (ja) オーディオ信号の符号化方法及び符号化装置
JPH10228298A (ja) 音声信号符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120606

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees