JP2008275876A - デジタル音声処理装置及びデジタル音声処理プログラム - Google Patents

デジタル音声処理装置及びデジタル音声処理プログラム Download PDF

Info

Publication number
JP2008275876A
JP2008275876A JP2007119105A JP2007119105A JP2008275876A JP 2008275876 A JP2008275876 A JP 2008275876A JP 2007119105 A JP2007119105 A JP 2007119105A JP 2007119105 A JP2007119105 A JP 2007119105A JP 2008275876 A JP2008275876 A JP 2008275876A
Authority
JP
Japan
Prior art keywords
variable amount
value
sample
power
maximum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007119105A
Other languages
English (en)
Other versions
JP5023794B2 (ja
Inventor
Sadahiro Yasura
定浩 安良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2007119105A priority Critical patent/JP5023794B2/ja
Publication of JP2008275876A publication Critical patent/JP2008275876A/ja
Application granted granted Critical
Publication of JP5023794B2 publication Critical patent/JP5023794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】音量レベルが変化しないようにデジタル音声信号を補正する。
【解決手段】極大値から極小値までのサンプル数及び極小値から極大値までのサンプル数と、極大値及び極小値を含む各サンプルと1サンプル前の値との差分値をそれぞれ乗算して、極大値側のサンプルに加算するための第1の可変量と、極小値側のサンプルから減算するための第2の可変量を求めて、第1の可変量のパワーと第2の可変量のパワーを算出し、第1の可変量のパワーと第2の可変量のパワーが同じになるように第1の可変量と第2の可変量を補正する。
【選択図】図1

Description

本発明は、デジタル音声信号における時間的に隣接する前後のサンプル間の差分値に応じた可変量を極大値側のサンプルに加算し、極小値側のサンプルから減算することによりデジタル音声信号を補正するデジタル音声処理装置及びデジタル音声処理プログラムに関する。
例えばCD規格では、アナログ音声信号はサンプリング周波数fs=44.1kHz、量子化ビット数=16ビットでデジタル音声信号に変換されており、サンプリング定理により、22.05kHzの帯域まででカットされている。また、DVDビデオ規格やDVDオーディオ規格では、CD信号よりもさらなる豊かな臨場感を得るために、44.1kHzより高いサンプリング周波数fs=48kHz、96kHz、192kHz、量子化ビット数=24ビットなどが使用されている。
しかしながら、臨場感を得る目的で、既存のCD信号をそのまま16→24ビット変換し、ハイサンプリングして48kHzなどに変換したとしても、22.05kHz以上の帯域が発生することは無い。そのため、CD信号の波形を整形して得られる高周波帯域を元の信号に付加することにより、聴感上豊かな臨場感を再現する方法が提案されている。例えば第1の従来技術として、下記の特許文献1では、前後のサンプリングデータを比較してサンプリングデータの極大値及び極小値を検出し、また、極大値から極小値まで、極小値から極大値までのサンプル数を検出し、さらに極大値及び極小値を除くサンプル毎に前のサンプルとの差分を算出してこれに上記のサンプル数に応じた係数を乗算し、この乗算結果を、極大値を除く極大値に近いサンプルに対しては加算処理を行い、極小値を除く極小値に近いサンプルに対しては減算処理を行っている。
また、第2の従来技術として、下記の特許文献2では、極大値及び極小値についても適用することとし、極大値及び極小値と各々1サンプル前の値との差分に対して所定の係数を乗算し、その乗算結果を極大値に対しては加算処理を行い、極小値に対しては減算処理を行っている。これらの方法によりオリジナルのアナログ信号のようにシャープで、リアリティ、明瞭度のある再生音を得ることが可能となっている。
図2は、特許文献2における従来のデジタル音声処理装置に関するブロック図を示している。ここでは、一例として入出力されるオーディオ信号をfs=96kHz、量子化ビット数=24ビットとしている。極値算出手段11では、入力されたオーディオ信号をサンプルごとに1つ前のサンプルとの比較を行い、大きいか、小さいか、等しいかを検出し、波形の極大値と極小値を検出する。サンプル数検出手段12では、得られた極大値と極小値の間に含まれるサンプル数の検出を行う。差分値算出手段13では、極大値、極小値を含む各サンプルと1サンプル前の値との差分値Δを求める。可変量算出手段14では、含まれるサンプル数に応じた各係数αを、求めた差分値Δに対して乗算して可変量=Δ×αを算出する。加減算手段15では、極大値を含む極大値に近いサンプルに対しては、可変量=Δ×αを加算する処理を行い、極小値を含む極小値に近いサンプルに対しては、可変量=Δ×αを減算する処理を行う。
特許第3401171号公報(請求項1) 特許第3659489号公報(請求項1)
しかしながら、第1及び第2の従来技術により、小型、簡単かつ安価な回路構成で、狭周波数帯域の音声情報を広周波数帯域の音声情報に変換することが可能であり、その目的は達せられるが、サンプル毎に前のサンプルとの差分Δを算出して、これにサンプル数に応じた係数αを乗算し、この乗算結果=Δ×αを極大値側のサンプルに対して加算処理を行い、極小値側のサンプルか減算処理を行っているため、加算値/減算値がサンプル毎に異なるので、オリジナルデータが持つ信号パワーを変化させてしまう場合がある。すなわち、加算値の二乗和で求められるパワー総量と、減算値の二乗和で求められるパワー総量が一致しない場合に、音量レベルが変化したと知覚されることが課題となっていた。
図3は従来の波形処理を説明するための図であり、一例を示したものである。この図では、極小値と極大値の間隔がサンプリング周期で3サンプル分存在し、極大値X3に近いサンプルX2、X4にはそれぞれ可変量=Δd1、Δd3が加算され、極小値X0、X6にそれぞれ近いサンプルX1、X5には可変量=Δd2、Δd4が減算されている。この例では、Δd3とΔd4の場合は、サンプルX3−X4、X5−X6間の差分値が均一であるため、Δd3=Δd4であるのに対し、Δd1とΔd2の場合は、オーディオ信号に急激な立ち上がりが見られるため、Δd2>Δd1のように不整合な状態が起こっている。そのため、Δd2分の減算処理を行うと、(Δd2−Δd1)の2乗分のパワーが減少する。
そこで本発明では、デジタル音声信号における時間的に隣接する前後のサンプル間の差分値に応じた可変量を極大値側のサンプルに加算し、極小値側のサンプルから減算することによりデジタル音声信号を補正する場合に、音量レベルが変化しないようにデジタル音声信号を補正することができるデジタル音声処理装置及びデジタル音声処理プログラムを提供することを目的とする。
本発明のデジタル音声処理装置は上記目的を達成するために、オリジナルのデジタル音声情報における時間的に隣接する前後のサンプルを比較することにより極大値と極小値を求める極値算出手段と、
前記極大値から前記極小値までのサンプル数及び前記極小値から前記極大値までのサンプル数を検出するサンプル数検出手段と、
前記極大値及び前記極小値を含む各サンプルと1サンプル前の値との差分をそれぞれ求める差分値算出手段と、
前記サンプル数に応じた各係数に前記各差分値をそれぞれ乗算して、前記極大値側のサンプルに加算するための第1の可変量と、前記極小値側のサンプルから減算するための第2の可変量を求める可変量算出手段と、
前記可変量算出手段により算出された第1の可変量のパワーと第2の可変量のパワーを算出するパワー算出手段と、
前記パワー算出手段により算出された前記第1の可変量のパワーと前記第2の可変量のパワーが同じになるように前記第1の可変量と前記第2の可変量を補正する可変量補正手段と、
前記可変量補正手段により補正された前記第1の可変量を前記極大値側のサンプルに加算し、前記可変量補正手段により補正された前記第2の可変量を前記極小値側のサンプルから減算する加減算手段とを、
有する。
本発明のデジタル音声処理プログラムは上記目的を達成するために、オリジナルのデジタル音声情報における時間的に隣接する前後のサンプルを比較することにより極大値と極小値を求める極値算出ステップと、
前記極大値から前記極小値までのサンプル数及び前記極小値から前記極大値までのサンプル数を検出するサンプル数検出ステップと、
前記極大値及び前記極小値を含む各サンプルと1サンプル前の値との差分をそれぞれ求める差分値算出ステップと、
前記サンプル数に応じた各係数に前記各差分値をそれぞれ乗算して、前記極大値側のサンプルに加算するための第1の可変量と、前記極小値側のサンプルから減算するための第2の可変量を求める可変量算出ステップと、
前記可変量算出ステップにより算出された第1の可変量のパワーと第2の可変量のパワーを算出するパワー算出ステップと、
前記パワー算出ステップにより算出された前記第1の可変量のパワーと前記第2の可変量のパワーが同じになるように前記第1の可変量と前記第2の可変量を補正する可変量補正ステップと、
前記可変量補正ステップにより補正された前記第1の可変量を前記極大値側のサンプルに加算し、前記可変量補正ステップにより補正された前記第2の可変量を前記極小値側のサンプルから減算する加減算ステップとを、
有する。
本発明によれば、極大値側のサンプルに加算するための第1の可変量のパワーと、極小値側のサンプルから減算するための第2の可変量のパワーが同じになるように第1、第2の可変量を補正し、それぞれを極大値側のサンプルに加算し、極小値側から減算するので、極小値−極大値間、極大値−極小値間の信号パワーが、オリジナルデータの持つ信号パワーに保たれるため、音量レベルが変化しないようにデジタル音声信号を補正することができる。
以下、図面を参照して本発明の実施の形態について説明する。図1は本発明に係るデジタル音声処理装置及びデジタル音声処理プログラムの一実施の形態についてのブロック図を示している。従来のブロック図(図2)に対して、可変量算出手段14と加減算手段15の間に、パワー算出手段26、可変量補正手段27が追加された形になっている。パワー算出手段26では、可変量算出手段14で求まる可変量のうち、加算に用いられる可変量(加算値)の二乗和で求められるパワー総量と、減算に用いられる可変量(減算値)の二乗和で求められるパワー総量を算出する。可変量補正手段27では、加算値のパワー総量と減算値のパワー総量の比較により、各パワーが同じになるように加算値、減算値の補償係数を算出し、加算値又は減算値を補償係数により修正する。
以下では、図3の例(Δd2>Δd1)を用いてパワー算出手段26及び可変量補正手段27について詳しく説明する。パワー算出手段26では、加算値のパワー総量(Plus_pw)と、減算値のパワー総量(Minus_pw)を求める。図3の例では、以下の式1、式2のように求められる。
Plus_pw=(Δd1)2 (式1)
Minus_pw=(Δd2)2 (式2)
可変量補正手段27では、Plus_pw = Minus_pwになるようにパワー総量の大きい側に合わせるための補償係数を算出する。加算値に対する補償係数をratio_p、減算値に対する補償係数をratio_mとすると、以下の式3、式4のように求められる。
Figure 2008275876
ratio_m=1 (式4)
そして、補償係数(ratio_p、ratio_m)を用いて加算値及び減算値の修正を行う。
Δd1’=(ratio_p×Δd1)→Δd1 (式5)
Δd2’=(ratio_m×Δd2)→Δd2 (式6)
以上のことに基づき、一般式を導出することを考える。加算値がm個(i=0〜m−1)存在し、各々をΔPiと定義し、減算値がn個(j=0〜n−1)存在し、各々をΔMjと定義すると、
Figure 2008275876
Figure 2008275876
上記と同様に、Plus_pw = Minus_pwになるように、パワー総量の大きい側に合わせるための補償係数を算出することを考える。加算値に対する補償係数をratio_p、減算値に対する補償係数をratio_mとすると以下のように求められる。
(Plus_pw > Minus_pwの場合)
ratio_p=1 (式9)
Figure 2008275876
(Plus_pw < Minus_pwの場合)
Figure 2008275876
ratio_m=1 (式12)
(Plus_pw = Minus_pwの場合)
ratio_p=ratio_m=1 (式13)
以上より、補償係数を用いて修正された加算値をΔP'i、減算値をΔM'jとすると、以下のように計算される。
ΔP'i =(ratio_p×ΔPi) (式14)
ΔM'j =(ratio_m×ΔMj) (式15)
上記で示した一例では、Plus_pw = Minus_pwになるように、パワー総量の大きい側に合わせるための補償係数を算出することを考えたが、パワー総量の小さい側に合わせることも可能である。
また、可変量補正手段27により修正された加算値及び減算値がそれぞれ、可変量算出手段14において加算、減算に用いられる可変量を算出する際に用いた差分値よりも小さい値になるように制限を加えてもよい。すなわち、加算に用いられる可変量を算出する際に用いた差分値をDPi、 減算に用いられる可変量を算出する際に用いた差分値をDMjとすると、(式14)、(式15)に対して、次式16、17の制限を加えてもよい。
|ΔP'i|<|DPi| (式16)
|ΔM'j|<|DMj| (式17)
また、上記で示した一例では、入力されるオーディオ信号をfs=96kHz、量子化ビット数=24ビットとしているが、CD規格に準拠したfs=44.1kHz、量子化ビット数=16ビットでもよい。さらにそのオーディオ信号は、リニアPCM信号に限らず、MP3、AAC符号化方式などにより符号化/復号化処理された結果の信号であってもよい。
本発明に係るデジタル音声処理装置及びデジタル音声処理プログラムの一実施の形態を示すブロック図である。 従来のデジタル音声処理装置を示すブロック図である。 図2における波形処理を説明するための図である。
符号の説明
11 極値算出手段
12 サンプル数検出手段
13 差分値算出手段
14 可変量算出手段
15 加減算手段
26 パワー算出手段
27 可変量補正手段

Claims (4)

  1. オリジナルのデジタル音声情報における時間的に隣接する前後のサンプルを比較することにより極大値と極小値を求める極値算出手段と、
    前記極大値から前記極小値までのサンプル数及び前記極小値から前記極大値までのサンプル数を検出するサンプル数検出手段と、
    前記極大値及び前記極小値を含む各サンプルと1サンプル前の値との差分をそれぞれ求める差分値算出手段と、
    前記サンプル数に応じた各係数に前記各差分値をそれぞれ乗算して、前記極大値側のサンプルに加算するための第1の可変量と、前記極小値側のサンプルから減算するための第2の可変量を求める可変量算出手段と、
    前記可変量算出手段により算出された第1の可変量のパワーと第2の可変量のパワーを算出するパワー算出手段と、
    前記パワー算出手段により算出された前記第1の可変量のパワーと前記第2の可変量のパワーが同じになるように前記第1の可変量と前記第2の可変量を補正する可変量補正手段と、
    前記可変量補正手段により補正された前記第1の可変量を前記極大値側のサンプルに加算し、前記可変量補正手段により補正された前記第2の可変量を前記極小値側のサンプルから減算する加減算手段とを、
    有するデジタル音声処理装置。
  2. 前記可変量補正手段により補正された前記第1、第2の可変量はそれぞれ、前記差分値算出手段により算出された前記各差分値よりも小さい値であることを特徴とする請求項1に記載のデジタル音声処理装置。
  3. オリジナルのデジタル音声情報における時間的に隣接する前後のサンプルを比較することにより極大値と極小値を求める極値算出ステップと、
    前記極大値から前記極小値までのサンプル数及び前記極小値から前記極大値までのサンプル数を検出するサンプル数検出ステップと、
    前記極大値及び前記極小値を含む各サンプルと1サンプル前の値との差分をそれぞれ求める差分値算出ステップと、
    前記サンプル数に応じた各係数に前記各差分値をそれぞれ乗算して、前記極大値側のサンプルに加算するための第1の可変量と、前記極小値側のサンプルから減算するための第2の可変量を求める可変量算出ステップと、
    前記可変量算出ステップにより算出された第1の可変量のパワーと第2の可変量のパワーを算出するパワー算出ステップと、
    前記パワー算出ステップにより算出された前記第1の可変量のパワーと前記第2の可変量のパワーが同じになるように前記第1の可変量と前記第2の可変量を補正する可変量補正ステップと、
    前記可変量補正ステップにより補正された前記第1の可変量を前記極大値側のサンプルに加算し、前記可変量補正ステップにより補正された前記第2の可変量を前記極小値側のサンプルから減算する加減算ステップとを、
    有するデジタル音声処理プログラム。
  4. 前記可変量補正ステップにより補正された前記第1、第2の可変量はそれぞれ、前記差分値算出ステップにより算出された前記各差分値よりも小さい値であることを特徴とする請求項3に記載のデジタル音声処理プログラム。
JP2007119105A 2007-04-27 2007-04-27 デジタル音声処理装置及びデジタル音声処理プログラム Active JP5023794B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007119105A JP5023794B2 (ja) 2007-04-27 2007-04-27 デジタル音声処理装置及びデジタル音声処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007119105A JP5023794B2 (ja) 2007-04-27 2007-04-27 デジタル音声処理装置及びデジタル音声処理プログラム

Publications (2)

Publication Number Publication Date
JP2008275876A true JP2008275876A (ja) 2008-11-13
JP5023794B2 JP5023794B2 (ja) 2012-09-12

Family

ID=40053914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007119105A Active JP5023794B2 (ja) 2007-04-27 2007-04-27 デジタル音声処理装置及びデジタル音声処理プログラム

Country Status (1)

Country Link
JP (1) JP5023794B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017015797A (ja) * 2015-06-29 2017-01-19 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、デジタル音声処理プログラム
WO2019093165A1 (ja) * 2017-11-07 2019-05-16 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム
WO2021024946A1 (ja) * 2019-08-08 2021-02-11 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189498A (ja) * 2000-12-20 2002-07-05 Victor Co Of Japan Ltd デジタル音声処理装置及びコンピュータプログラム記録媒体
JP3401171B2 (ja) * 1997-10-22 2003-04-28 日本ビクター株式会社 音声情報処理方法、音声情報処理装置、音声情報の記録媒体への記録方法
JP2003255973A (ja) * 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
JP2008112056A (ja) * 2006-10-31 2008-05-15 Victor Co Of Japan Ltd 音声信号処理装置
JP2008112130A (ja) * 2006-10-02 2008-05-15 Victor Co Of Japan Ltd デジタル音声処理方法及びデジタル音声処理装置、並びにコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401171B2 (ja) * 1997-10-22 2003-04-28 日本ビクター株式会社 音声情報処理方法、音声情報処理装置、音声情報の記録媒体への記録方法
JP2002189498A (ja) * 2000-12-20 2002-07-05 Victor Co Of Japan Ltd デジタル音声処理装置及びコンピュータプログラム記録媒体
JP3659489B2 (ja) * 2000-12-20 2005-06-15 日本ビクター株式会社 デジタル音声処理装置及びコンピュータプログラム記録媒体
JP2003255973A (ja) * 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
JP2008112130A (ja) * 2006-10-02 2008-05-15 Victor Co Of Japan Ltd デジタル音声処理方法及びデジタル音声処理装置、並びにコンピュータプログラム
JP2008112056A (ja) * 2006-10-31 2008-05-15 Victor Co Of Japan Ltd 音声信号処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017015797A (ja) * 2015-06-29 2017-01-19 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、デジタル音声処理プログラム
WO2019093165A1 (ja) * 2017-11-07 2019-05-16 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム
JP2019086637A (ja) * 2017-11-07 2019-06-06 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム
CN111164684A (zh) * 2017-11-07 2020-05-15 Jvc建伍株式会社 数字声音处理装置、数字声音处理方法及数字声音处理程序
CN111164684B (zh) * 2017-11-07 2023-08-08 Jvc建伍株式会社 数字声音处理装置、数字声音处理方法及数字声音处理程序
WO2021024946A1 (ja) * 2019-08-08 2021-02-11 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム
JP2021026164A (ja) * 2019-08-08 2021-02-22 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム
JP7251400B2 (ja) 2019-08-08 2023-04-04 株式会社Jvcケンウッド デジタル音声処理装置、デジタル音声処理方法、及びデジタル音声処理プログラム

Also Published As

Publication number Publication date
JP5023794B2 (ja) 2012-09-12

Similar Documents

Publication Publication Date Title
JP4123486B2 (ja) デジタル音声処理方法及びデジタル音声処理装置、並びにコンピュータプログラム
RU2010146924A (ru) Способ и устройство для поддержки воспринимаемости речи в многоканальном звуковом сопровождении с минимальным влиянием на систему объемного звучания
JP2015531084A5 (ja)
JP5023794B2 (ja) デジタル音声処理装置及びデジタル音声処理プログラム
JP2010020122A (ja) ディジタル音響信号処理方法及び処理装置
US11335356B2 (en) Digital audio processing device, digital audio processing method, and digital audio processing program
US8352054B2 (en) Method and apparatus for processing digital audio signal
JP5023812B2 (ja) デジタル音声処理装置及びデジタル音声処理プログラム
US20190325003A1 (en) Noise reduction apparatus and noise suppressing method
JP4787316B2 (ja) デジタル信号処理装置及び倍音生成方法
TWI462088B (zh) 音頻資訊檢測系統及方法
US10068582B2 (en) Digital audio processing apparatus, digital audio processing method, and digital audio processing program
JP4971010B2 (ja) 音割れ検出装置、及び音割れ検出方法
US8214066B1 (en) System and method for controlling noise in real-time audio signals
JP4852612B2 (ja) 倍音生成装置及び倍音生成方法
JP2008112056A (ja) 音声信号処理装置
JP4259110B2 (ja) 波形データ符号化装置及び波形データ符号化方法
JP5131172B2 (ja) 周期特定装置およびプログラム
KR100575796B1 (ko) 이동 통신 단말기의 사운드 출력 앰프의 이득 제어 장치와방법
JP5782921B2 (ja) 符号化装置、符号化方法および符号化プログラム
JP6256293B2 (ja) デジタル音声処理装置、デジタル音声処理方法、デジタル音声処理プログラム
JP6511988B2 (ja) デジタル音声処理装置、デジタル音声処理方法、デジタル音声処理プログラム
JP2005204020A (ja) デジタル信号処理装置
JP2003331517A5 (ja)
CN112735453A (zh) 一种音频信号处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5023794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150