JP2012113190A - 音響処理装置 - Google Patents
音響処理装置 Download PDFInfo
- Publication number
- JP2012113190A JP2012113190A JP2010263204A JP2010263204A JP2012113190A JP 2012113190 A JP2012113190 A JP 2012113190A JP 2010263204 A JP2010263204 A JP 2010263204A JP 2010263204 A JP2010263204 A JP 2010263204A JP 2012113190 A JP2012113190 A JP 2012113190A
- Authority
- JP
- Japan
- Prior art keywords
- suppression
- noise
- index
- value
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02085—Periodic noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02163—Only one microphone
Abstract
【解決手段】係数列生成部44は、音響信号Sx(t)の各周波数成分X(f,τ)に乗算される周波数f毎の係数値g(f,τ)で構成されて音響信号Sx(t)の雑音成分n(t)を抑圧する抑圧係数列G(τ)を抑圧強度βに応じて生成する。特性値算定部46は、音響信号Sx(t)の強度分布の形状に応じた形状母数αを算定する。強度設定部48は、抑圧係数列G(τ)の生成に適用される抑圧強度βを形状母数αに応じて可変に設定する。
【選択図】図1
Description
g(f)={|X(f)|ξ/(|X(f)|ξ+β・Et[|N(f)|ξ])}η ……(A)
第2態様の音響処理装置によれば、信号指数ξとゲイン指数ηとが相異なる数値(正数)に設定され得るから、信号指数ξおよびゲイン指数ηを適宜に選定することで、雑音抑圧性能の向上とミュージカルノイズの低減とを高い水準で両立させることが可能である。
<音響処理装置>
図1は、第1実施形態の音響処理装置100のブロック図である。音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、音響信号Sx(t)を音響処理装置100に供給する。音響信号Sx(t)は、以下の数式(1)で表現されるように、目的音成分(例えば音声や楽音等の音響成分)s(t)と雑音成分n(t)との混合音の波形を示す時間領域信号(t:時間)である。
解析処理部34について以下に詳述する。解析処理部34は、図1に示すように、雑音推定部42と係数列生成部44と特性値算定部46と強度設定部48とを含んで構成される。
以上の条件を満たす変数テーブルTBLを作成するためには、雑音抑圧率とミュージカルノイズの発生量とを定量的に評価する必要がある。そこで、以下では、数式(2)の抑圧処理の作用を解析することで、雑音抑圧率とミュージカルノイズの発生量とを定式化する。
雑音抑圧に起因したミュージカルノイズが非ガウス性の音響成分であることを考慮し、強度分布のガウス性の指標となる高次統計量をミュージカルノイズの発生量の定量的な指標として利用する。具体的には、強度分布(強度分布を近似する確率分布)の尖度(kurtosis)がミュージカルノイズの発生量の指標として好適である。すなわち、雑音抑圧の前後にわたる尖度の変化が大きいほどミュージカルノイズが顕在化すると評価できる。そこで、以下の説明では、雑音抑圧の前後で強度分布の尖度が変化する度合を示す尖度指標κをミュージカルノイズの発生量の指標として利用する。
次に、数式(2)の雑音抑圧性能の指標となる雑音抑圧率R(NRR:Noise Reduction Rate)を検討する。雑音抑圧率Rは、雑音抑圧後のSN(Signal to Noise)比と雑音抑圧前のSN比との差分として以下の数式(23)で定義される。
図3は、数式(22)の尖度指標κと数式(25)の雑音抑圧率Rとの関係を示すグラフ(実線)である。数式(3)の抑圧係数列G(τ)の信号指数ξを変化させた複数の場合(ξ=2.0,1.0,0.5,0.2)の各々について尖度指標κと雑音抑圧率Rとの関係が図3には図示されている。数式(3)のゲイン指数ηは信号指数ξの逆数(η=1/ξ)に設定した。また、図3には、数式(2)の乗算型の雑音抑圧との比較のために、以下の数式(26A)および数式(26B)で表現される減算型の雑音抑圧(spectral subtraction)を実行した場合の尖度指標κと雑音抑圧率Rとの関係(破線)が、数式(26A)の冪指数ξを変化させた複数の場合の各々(ξ=2.0,1.0,0.5,0.2)について併記されている。なお、乗算型および減算型の何れの雑音抑圧についても、形状母数αが1である雑音(ガウシアンノイズ)が音響信号Sx(t)として想定されている。
(1) 実線(ξ=2.0):|X(f,τ)|および|N(f,τ)|の2.0乗(パワードメイン)
○(η=1.0):基礎値b(f,τ)の1.0乗(パワードメインを維持)
×(η=0.5):基礎値b(f,τ)の0.5乗(振幅ドメインに変換)
△(η=0.25):基礎値b(f,τ)の0.25乗(ルートドメインに変換)
(2) 鎖線(ξ=1.0):|X(f,τ)|および|N(f,τ)|の1.0乗(振幅ドメイン)
○(η=2.0):基礎値b(f,τ)の2.0乗(パワードメインに変換)
×(η=1.0):基礎値b(f,τ)の1.0乗(振幅ドメインを維持)
△(η=0.5):基礎値b(f,τ)の0.5乗(ルートドメインに変換)
(3) 破線(ξ=0.5):|X(f,τ)|および|N(f,τ)|の0.5乗(ルートドメイン)
○(η=4.0):基礎値b(f,τ)の4.0乗(パワードメインに変換)
×(η=2.0):基礎値b(f,τ)の2.0乗(振幅ドメインに変換)
△(η=1.0):基礎値b(f,τ)の1.0乗(ルートドメインを維持)
図2の変数テーブルTBLは、以上の解析の結果(数式(22)および数式(25))を利用して作成される。図5は、変数テーブルTBLを作成する雑音抑圧解析装置200のブロック図である。雑音抑圧解析装置200は、音響処理装置100と同様に、演算処理装置72と記憶装置74とを具備するコンピュータシステムで実現される。演算処理装置72は、記憶装置74が記憶するプログラムPG2の実行で変数解析部76として機能する。変数解析部76は、音響処理装置100で使用される変数テーブルTBLを作成する。なお、音響処理装置100の演算処理装置22が変数解析部76として機能する構成も採用され得る。
本発明の第2実施形態を以下に説明する。なお、以下に例示する各態様において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
図9は、第3実施形態の音響処理装置100のブロック図である。図9に示すように、利用者からの指示を受付ける入力装置16が音響処理装置100に接続される。また、第3実施形態の解析処理部34は、第1実施形態と同様の要素に加えて条件指定部60を具備する。条件指定部60は、尖度指標κの許容値κtarと雑音抑圧率Rの目標値Rtarとを可変に設定する。例えば、条件指定部60は、入力装置16に対する利用者からの指示に応じて許容値κtarおよび目標値Rtarを設定する。
図10は、第4実施形態の音響処理装置100のブロック図である。第4実施形態の音響処理装置100は、第3実施形態(図9)の条件指定部60を指数設定部62に置換した構成である。指数設定部62は、数式(3)の信号指数ξおよびゲイン指数ηを可変に設定する。具体的には、指数設定部62は、入力装置16に対する操作に応じて信号指数ξおよびゲイン指数ηを設定する。例えば、利用者は、演算処理装置22の演算能力に応じた信号指数ξおよびゲイン指数ηを入力装置16から指示する。なお、演算処理装置22の演算能力等に応じて指数設定部62が自動的に信号指数ξおよびゲイン指数ηを設定する構成(すなわち利用者からの指示を必要としない構成)も採用され得る。前述の通り、信号指数ξおよびゲイン指数ηは、例えば演算処理装置22の演算能力の範囲内で1未満の数値に設定され、更に好適には0.5以下の数値(例えば0.2)に設定される。
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
以上の形態では、音響信号Sx(t)の強度分布を近似する確率密度関数P(x)の形状母数αを雑音成分n(t)の特性の指標(雑音特性値)として例示したが、雑音特性値は形状母数に限定されない。例えば、音響信号Sx(t)の強度分布から直接に(すなわち近似を必要とせずに)算定される統計量(例えば尖度等の高次統計量)や、音響信号Sx(t)の振幅|X(f,τ)|の度数分布に応じた統計量(例えば振幅|X(f,τ)|の度数分布を近似する確率密度関数の形状母数)も雑音特性値として利用され得る。すなわち、雑音特性値は、音響信号Sx(t)の特性(特に雑音成分n(t)の特性)に応じて変化する数値(典型的には強度分布の形状に応じた数値)として包括される。
以上の各形態では、抑圧強度βの設定に変数テーブルTBLを利用したが、変数テーブルTBLの利用は省略され得る。例えば、強度設定部48が数式(22)や数式(25)の演算を実行することで形状母数αに応じた最適な抑圧強度βを算定する構成も採用される。具体的には、強度設定部48が、抑圧強度βを所定の範囲内で順次に変化させながら形状母数αを適用した数式(22)および数式(25)の演算で尖度指標κおよび雑音抑圧率Rを算定し、第2実施形態と同様に、尖度指標κおよび雑音抑圧率Rが最適な組合せとなる抑圧強度βを係数列生成部44に指示する。以上の構成によれば、記憶装置24に必要な容量が削減されるという利点がある。他方、変数テーブルTBLを利用する構成によれば、抑圧強度βを演算で算定する構成と比較して強度設定部48の処理の負荷が軽減されるという利点がある。
以上の各形態では、抑圧係数列G(τ)を単位区間毎に生成したが、抑圧係数列G(τ)の生成の周期は適宜に変更される。例えば、相前後する単位区間にて音響信号Sx(t)の特性が近似するという傾向を考慮すると、相連続する複数の単位区間を周期として抑圧係数列G(τ)を順次に生成し、周期毎の抑圧係数列G(τ)を当該周期内の各単位区間の音響信号Sx(t)に対して共通に適用する構成も採用され得る。また、以上の各形態では、単位区間毎の抑圧係数列G(τ)をその単位区間の音響信号Sx(t)に適用したが、抑圧係数列G(τ)の生成に使用される音響信号Sx(t)の単位区間とその抑圧係数列G(τ)を適用する単位区間とを相違させた構成も採用され得る。例えば、音響信号Sx(t)の各単位区間から生成した抑圧係数列G(τ)を、その単位区間の後方(例えば直後)の単位区間に適用する構成が採用される。
以上の各形態では、音響処理装置100と雑音抑圧解析装置200とを別体の装置として例示したが、雑音抑圧解析装置200の機能(変数テーブルTBLを生成する変数解析部76)を音響処理装置100に搭載した構成も採用され得る。
以上の各形態では、尖度指標κおよび雑音抑圧率Rの双方が所定の条件を満たす(κ<κtar,R>Rtar)ように抑圧強度βを設定したが、尖度指標κおよび雑音抑圧率Rの片方のみが条件を満たすように抑圧強度βを設定する構成も採用される。
Claims (5)
- 音響信号の各周波数成分に乗算される周波数毎の係数値で構成されて前記音響信号の雑音成分を抑圧する抑圧係数列を生成する音響処理装置であって、
前記音響信号の強度分布の形状に応じた雑音特性値を算定する特性値算定手段と、
前記雑音成分の抑圧強度を前記雑音特性値に応じて可変に設定する強度設定手段と、
前記音響信号と前記抑圧強度とに応じて前記抑圧係数列を生成する係数列生成手段と
を具備する音響処理装置。 - 前記強度設定手段は、前記係数列生成手段が生成する前記抑圧係数列を前記音響信号の雑音抑圧に適用した場合の雑音抑圧率が目標値を上回り、前記音響信号の強度分布の尖度が前記雑音抑圧の前後で変化する度合を示す尖度指標が許容値を下回るように、前記抑圧強度を設定する
請求項1の音響処理装置。 - 前記雑音抑圧率の前記目標値と前記尖度指標の前記許容値とを可変に設定する条件指定手段を具備する
請求項2の音響処理装置。 - 前記係数列生成手段は、前記抑圧係数列の各周波数fに対応する係数値g(f)を、音響信号の当該周波数fでの振幅|X(f)|と、前記強度設定手段が設定した抑圧強度βと、前記音響信号の雑音成分の当該周波数fでの推定振幅|N(f)|とを含む以下の数式で算定し、
g(f)={|X(f)|ξ/(|X(f)|ξ+β・Et[|N(f)|ξ])}η
(ただし、記号Et[ ]は時間平均を意味し、信号指数ξおよびゲイン指数ηは正数である)
前記信号指数ξおよびゲイン指数ηを可変に設定する指数設定手段を具備する
請求項1から請求項3の何れかの音響処理装置。 - 前記指数設定手段は、前記信号指数ξを1未満の正数に設定可能であり、前記ゲイン指数ηを前記信号指数ξとは異なる数値に設定可能である
請求項4の音響処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010263204A JP5728903B2 (ja) | 2010-11-26 | 2010-11-26 | 音響処理装置およびプログラム |
US13/303,783 US20120134508A1 (en) | 2010-11-26 | 2011-11-23 | Audio Processing Apparatus |
EP11009360A EP2458587A1 (en) | 2010-11-26 | 2011-11-25 | Audio processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010263204A JP5728903B2 (ja) | 2010-11-26 | 2010-11-26 | 音響処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012113190A true JP2012113190A (ja) | 2012-06-14 |
JP5728903B2 JP5728903B2 (ja) | 2015-06-03 |
Family
ID=45092103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010263204A Expired - Fee Related JP5728903B2 (ja) | 2010-11-26 | 2010-11-26 | 音響処理装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120134508A1 (ja) |
EP (1) | EP2458587A1 (ja) |
JP (1) | JP5728903B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014027419A1 (ja) * | 2012-08-17 | 2014-02-20 | Toa株式会社 | 雑音除去装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5982864B2 (ja) * | 2012-02-23 | 2016-08-31 | ヤマハ株式会社 | オーディオアンプ |
EP2858068A4 (en) * | 2012-05-31 | 2016-02-24 | Toyota Motor Co Ltd | SOUND SOUND DETECTION DEVICE, NOISE GENERATION EQUIPMENT, NOISE REDUCTION APPARATUS, APPARATUS FOR ESTIMATING SOUND SOURCE DEVICE, DEVICE FOR RECOGNIZING A DEACTIVATIVE VEHICLE, AND NOISE REDUCTION METHOD |
EP2747081A1 (en) * | 2012-12-18 | 2014-06-25 | Oticon A/s | An audio processing device comprising artifact reduction |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002519719A (ja) * | 1998-06-22 | 2002-07-02 | ディーエスピーシー・テクノロジーズ・リミテッド | 重み付け利得平滑化手段を含むノイズサプレッサ |
WO2006046293A1 (ja) * | 2004-10-28 | 2006-05-04 | Fujitsu Limited | 雑音抑圧装置 |
JP2010020012A (ja) * | 2008-07-09 | 2010-01-28 | Nara Institute Of Science & Technology | 雑音抑圧装置およびプログラム |
JP2010020013A (ja) * | 2008-07-09 | 2010-01-28 | Nara Institute Of Science & Technology | 雑音抑圧評価装置およびプログラム |
JP2010160245A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム |
JP2010160246A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧装置およびプログラム |
JP2010220087A (ja) * | 2009-03-18 | 2010-09-30 | Yamaha Corp | 音響処理装置およびプログラム |
EP2254113A1 (en) * | 2009-05-19 | 2010-11-24 | Yamaha Corporation | Noise suppression apparatus and program |
JP2011248290A (ja) * | 2010-05-31 | 2011-12-08 | Nara Institute Of Schience And Technology | 雑音抑圧装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4003566B2 (ja) | 2002-07-19 | 2007-11-07 | 株式会社豊田中央研究所 | 音声認識装置 |
EP2144233A3 (en) * | 2008-07-09 | 2013-09-11 | Yamaha Corporation | Noise supression estimation device and noise supression device |
-
2010
- 2010-11-26 JP JP2010263204A patent/JP5728903B2/ja not_active Expired - Fee Related
-
2011
- 2011-11-23 US US13/303,783 patent/US20120134508A1/en not_active Abandoned
- 2011-11-25 EP EP11009360A patent/EP2458587A1/en not_active Withdrawn
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002519719A (ja) * | 1998-06-22 | 2002-07-02 | ディーエスピーシー・テクノロジーズ・リミテッド | 重み付け利得平滑化手段を含むノイズサプレッサ |
WO2006046293A1 (ja) * | 2004-10-28 | 2006-05-04 | Fujitsu Limited | 雑音抑圧装置 |
JP2010020012A (ja) * | 2008-07-09 | 2010-01-28 | Nara Institute Of Science & Technology | 雑音抑圧装置およびプログラム |
JP2010020013A (ja) * | 2008-07-09 | 2010-01-28 | Nara Institute Of Science & Technology | 雑音抑圧評価装置およびプログラム |
JP2010160245A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム |
JP2010160246A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧装置およびプログラム |
JP2010220087A (ja) * | 2009-03-18 | 2010-09-30 | Yamaha Corp | 音響処理装置およびプログラム |
EP2254113A1 (en) * | 2009-05-19 | 2010-11-24 | Yamaha Corporation | Noise suppression apparatus and program |
JP2010271411A (ja) * | 2009-05-19 | 2010-12-02 | Nara Institute Of Science & Technology | 雑音抑圧装置およびプログラム |
JP2011248290A (ja) * | 2010-05-31 | 2011-12-08 | Nara Institute Of Schience And Technology | 雑音抑圧装置 |
Non-Patent Citations (3)
Title |
---|
CSNJ201010089555; 上村益永他: '"高次統計量を利用したミュージカルノイズ計量尺度に基づくスペクトル減算法の自動最適化"' 日本音響学会2008年秋季研究発表会講演論文集[CD-ROM] , 200809, pp.691-694 * |
JPN6013004062; 上村益永他: '"高次統計量を利用したミュージカルノイズ計量尺度に基づくスペクトル減算法の自動最適化"' 日本音響学会2008年秋季研究発表会講演論文集[CD-ROM] , 200809, pp.691-694 * |
JPN6013004064; 坂本真一他: '"短時間平均音圧レベルの出現頻度分布を用いた騒音のレベルと変動量の推定"' 騒音制御 Vol.25,No.6, 200112, pp.388-399, 日本騒音制御工学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014027419A1 (ja) * | 2012-08-17 | 2014-02-20 | Toa株式会社 | 雑音除去装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2458587A1 (en) | 2012-05-30 |
JP5728903B2 (ja) | 2015-06-03 |
US20120134508A1 (en) | 2012-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5641186B2 (ja) | 雑音抑圧装置およびプログラム | |
JP4630980B2 (ja) | 音高推定装置、音高推定方法およびプログラム | |
JP5728903B2 (ja) | 音響処理装置およびプログラム | |
US20140123836A1 (en) | Musical composition processing system for processing musical composition for energy level and related methods | |
JP5187666B2 (ja) | 雑音抑圧装置およびプログラム | |
JP5152799B2 (ja) | 雑音抑圧装置およびプログラム | |
JP5034735B2 (ja) | 音処理装置およびプログラム | |
JP5633673B2 (ja) | 雑音抑圧装置およびプログラム | |
JP5609157B2 (ja) | 係数設定装置および雑音抑圧装置 | |
JP5152800B2 (ja) | 雑音抑圧評価装置およびプログラム | |
JP5815435B2 (ja) | 音源位置判定装置、音源位置判定方法、プログラム | |
JP5942388B2 (ja) | 雑音抑圧用係数設定装置、雑音抑圧装置および雑音抑圧用係数設定方法 | |
JP4953068B2 (ja) | 和音判別装置、和音判別方法およびプログラム | |
JP4533126B2 (ja) | 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体 | |
JP2002175099A (ja) | 雑音抑制方法および雑音抑制装置 | |
JP5772723B2 (ja) | 音響処理装置および分離マスク生成装置 | |
JP2013250356A (ja) | 係数設定装置および雑音抑圧装置 | |
JP2015169901A (ja) | 音響処理装置 | |
JP4630983B2 (ja) | 音高推定装置、音高推定方法およびプログラム | |
JP4630982B2 (ja) | 音高推定装置、音高推定方法およびプログラム | |
JP4630979B2 (ja) | 音高推定装置、音高推定方法およびプログラム | |
JP2013182161A (ja) | 音響処理装置およびプログラム | |
JP6036141B2 (ja) | 音響処理装置 | |
JP2014228697A (ja) | 音響処理装置 | |
JP2015169900A (ja) | 雑音抑圧装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131122 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150323 |
|
LAPS | Cancellation because of no payment of annual fees |