JP2013246418A - 雑音抑圧装置、方法及びプログラム - Google Patents
雑音抑圧装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2013246418A JP2013246418A JP2012122375A JP2012122375A JP2013246418A JP 2013246418 A JP2013246418 A JP 2013246418A JP 2012122375 A JP2012122375 A JP 2012122375A JP 2012122375 A JP2012122375 A JP 2012122375A JP 2013246418 A JP2013246418 A JP 2013246418A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- spectrum
- speech
- input
- noise spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
【解決手段】 本発明の雑音抑圧装置では、入力音声を周波数解析した入力スペクトルから推定された雑音スペクトルを、雑音スペクトル補正手段が補正し、補正された雑音スペクトルに基づいて、スペクトルゲインを算出する。雑音スペクトル補正手段は、入力スペクトルを構成する音声成分と雑音成分との関係において、音声成分が雑音成分より十分大きい場合には、補正雑音スペクトルを推定雑音スペクトルとほぼ同じにし、音声成分が雑音成分より小さい又は同程度の場合には、入力スペクトルと推定雑音スペクトルとの比に応じて補正雑音スペクトルが小さくなるように調整し、音声成分の占める割合が0に近付くと補正雑音スペクトルが0に収束するように、推定雑音スペクトルを補正する。
【選択図】 図1
Description
(1)hが小さい値の範囲(例えばh<2)では、なるべく小さな値かつ、小さな傾きを有する
(2)hが中程度の範囲(例えば2<h<6)では、大きな正の傾きを有する
(3)hが十分大きい範囲(例えばh>6)では、傾きは小さくなり、1に収束する
(4)変曲点に対して非対称
を有するゲイン関数を定義して、SS法やウィナーフィルタのスペクトルゲインの代わりにこのゲイン関数を用いることで、上記要因[2]を解消する。主に、特徴(1)により、スペクトルゲインの変動が抑えられる。
以下、本発明に係る雑音抑圧装置、方法及びプログラムの第1の実施形態を、図面を参照しながら説明する。
図1は、第1の実施形態の雑音抑圧装置の構成を示す機能ブロック図である。第1の実施形態の雑音抑圧装置を、CPUが実行するソフトウェア(雑音抑圧プログラム)として実現することも可能であり、また、DSP(Digital Signal Processor)、ASIC(Application Specific IC)、PLD(Programmable Logic Device)などの電子回路を利用して実現することも可能であるが、機能的には、図1で表すことができる。
…(1)
雑音スペクトル補正処理部105は、入力スペクトルPX(k)に基づいて雑音スペクトルPN(k)を補正する。
雑音スペクトルPN(k)の補正は、入力スペクトルPX(k)と雑音スペクトルPN(k)との比である音声対雑音比R(k)=PX(k)/PN(k)を用いて行う。ここで、音声対雑音比R(k)を雑音スペクトル補正関数fC(r)に入力して得た値C(k)=fC(R(k))を雑音スペクトル補正係数C(k)と定義する。
スペクトルゲイン算出処理部106は、入力スペクトルPX(k)と補正雑音スペクトルPNC(k)に基づいて、スペクトルゲインG(k)を(4)式に従って算出する。(4)式は(2)式と(3)式を用いると、(5)式のように変形することができる。雑音スペクトル補正関数fC(r)について(6)式が成り立つことから、(5)式の右辺第2項は1以下の値をとり、このことから、スペクトルゲインG(k)はG(k)≧0となるので、スペクトルゲインG(k)が負になることはない。
G(k)=1−fC(R(k))/R(k) …(5)
fC(r)≦r …(6)
スペクトルゲイン時間平滑化処理部107は、スペクトルゲイン算出処理部106が出力したスペクトルゲインG(k)と過去に算出した平滑化スペクトルゲインGSpast(k;m)(但し、m=1,2,…,Mg、また、GSpast(k;m)はm回前に出力した平滑化スペクトルゲインを意味する)とを用いて現在の平滑化スペクトルゲインGS(k)を出力する。時間平滑化には任意の方式を用いることができるが、(7)式に示すような時定数フィルタを用いるのが簡単で効率的である。(7)式におけるTCGは、0≦TCG≦1の範囲内の値をとる時定数である。例えば、45ms程度の時定数を使うのは好ましい。
フィルタリング処理部108は、入力複素スペクトルX(k)に平滑化スペクトルゲインGS(k)を乗じることによってフィルタリングを行い、出力複素スペクトルY(k)を出力する。
次に、第1の実施形態に係る雑音抑圧装置100の動作(第1の実施形態の雑音抑圧方法)を説明する。
雑音スペクトル補正関数fC(r)と係数C(k)は(9)式を満たすので、同様にして、(10)式に示すように、SS法の雑音スペクトル補正関数に相当する関数fCss(r)=fCss(R(k))を定義する。(10)式に(8)式を適用すると、(11)式が得られる。なお、(11)式におけるmin(A,B)はA及びBのうち小さい方を取り出す関数である。
fCss(R(k))=R(k)*(1−Gss(k)) …(10)
fCss(r)=min{1,r*(1−b)} …(11)
図2に、雑音スペクトル補正関数の概形(入出力の関係)を示す。点線、破線及び実線はそれぞれb=0のfCss(r)、b=0.1のfCss(r)及びfC(r)を表している。この図2から分かるように、第1の実施形態のr=1付近での雑音スペクトル補正関数fC(r)の傾きは、SS法の雑音スペクトル補正関数fCss(r)に比べて緩やかになっているため、孤立ゲインの発生を抑制することができる。なお、SS法でも、bをより大きな値に設定すれば当該関数fCss(r)の傾きを緩くすることができるので、孤立ゲインの発生を抑制することができるが、雑音抑圧性能が小さくなる。
(12)式が成り立つことは、スペクトルゲインや出力スペクトルが負にならないことを意味していることから、そのような不自然さに対処するための後処理が不要となるというアルゴリズム上の利点も得られる。さらに、雑音スペクトル補正関数fC(r)は無限階微分可能であることにより、上記の補正処理は極めて滑らかに行われるため、第1の実施形態のスペクトルゲインG(k)には周波数方向の孤立ゲインが生じない。
以上のように、第1の実施形態によれば、音声スペクトルを変形させないので出力信号の歪みを最小限に抑えることができ、スペクトルゲインの孤立ゲインを解消することにより孤立周波数成分の発生を抑圧しているので、ミュージカルノイズを発生させずに雑音を抑圧することができる。これにより、従来よりも歪みの少ない聴き心地の良い雑音抑圧信号を得ることができる。
次に、本発明に係る雑音抑圧装置、方法及びプログラムの第2の実施形態を、図面を参照しながら説明する。
fC(r)=THR
+(1−THR)*(1−exp(−(r−THR)/(1−THR)))
(r>THRのとき) …(13−2)
ここで、THRは0≦THR≦1の範囲内の値をとる閾値である。THR=0で第1の実施形態と同じとなり、THR=1でSS法((11)式参照)と同じとなる。図4は、THR=0の場合(第1の実施形態参照)と、THR=0.1の場合(第2の実施形態で特有な場合)について雑音スペクトル補正関数fC(r)の概形を示しており、図5は、これらの2つの場合について、音声対雑音比rとスペクトルゲインG(k)との関係を示している。図5(A)は、縦軸がスペクトルゲインG(k)の値そのものであり、図5(B)は、縦軸がスペクトルゲインG(k)の値をデシベル表記したものとなっている。図4及び図5において、実線がTHR=0の場合を、一点鎖線がTHR=0.1の場合を示している。
次に、本発明に係る雑音抑圧装置、方法及びプログラムの第3の実施形態を、図面を参照しながら説明する。
次に、本発明に係る雑音抑圧装置、方法及びプログラムの第4の実施形態を、図面を参照しながら説明する。
次に、本発明に係る雑音抑圧装置、方法及びプログラムの第5の実施形態を、図面を参照しながら説明する。
W(k)=(Rpast(k)−R2)/(R1−R2)
(R1≦Rpast(k)<R2のとき) …(14−2)
W(k)=0 (R2≦Rpast(k)のとき) …(14−3)
雑音スペクトル推定処理110は、入力スペクトルPX(k)と過去に推定した雑音スペクトルPNpast(k;m)と重み係数W(k)を用いて、雑音スペクトルPN(k)を推定する。具体例としては、W(k)*PX(k)とPNpast(k;m)の平均をとる方法を挙げることができる。平均の取り方には任意の方法を適用できるが、例えば、第1の実施形態と同様に、(15)式に示すような時定数TCNを用いた方法を適用できる。
+(1−TCN)*W(k)*PX(k) …(15)
第5の実施形態によれば、雑音スペクトルの推定において、第1の実施形態と比べて非定常な雑音への追従特性や音声区間中の雑音の変化への追従特性が優れていることから、より雑音が適切に抑圧されたクリアな雑音抑圧信号を得ることができる。
上記第5の実施形態は、第1の実施形態をベースとしながら、雑音スペクトルPN(k)の推定方法を第1の実施形態から変更したものを示したが、第2〜第4の実施形態のいずれかをベースとしながら、雑音スペクトルPN(k)の推定方法をその実施形態の推定方法から、第5の実施形態で言及した方法に変更するようにしても良い。
Claims (17)
- 入力音声を周波数解析した入力スペクトルから、上記入力音声に重畳されている雑音を抑圧する雑音抑圧装置において、
上記入力スペクトルに基づいて雑音スペクトルを推定する雑音スペクトル推定手段と、
推定された上記雑音スペクトルを上記入力スペクトルに応じて補正する雑音スペクトル補正手段とを備え、
上記雑音スペクトル補正手段は、上記入力スペクトルを構成する音声成分と雑音成分に対して、
上記音声成分が上記雑音成分に比べて十分大きい場合には、上記補正雑音スペクトルを推定された上記雑音スペクトルとほぼ同じにし、
上記音声成分が上記雑音成分に比べて小さい又は同程度の場合には、上記入力スペクトルと推定された上記雑音スペクトルとの比に応じて上記補正雑音スペクトルが小さくなるように調整し、
上記音声成分の占める割合が0に近付くと上記補正雑音スペクトルが0に収束するように、推定された上記雑音スペクトルを補正する
ことを特徴とする雑音抑圧装置。 - 上記雑音スペクトル推定手段は、
上記入力音声を分析して音声区間か雑音区間かを判断し、
上記入力音声が雑音区間である場合には、上記入力スペクトルに基づいて上記雑音スペクトルを推定更新して出力し、
上記入力音声が音声区間である場合には、前回の上記雑音スペクトルの推定値を出力する
ことを特徴とする請求項1に記載の雑音抑圧装置。 - 上記雑音スペクトル推定手段は、
上記入力スペクトルと過去の上記雑音スペクトルの推定値に基づいて当該入力音声の音声対雑音比を推定し、
推定された上記音声対雑音比によって上記雑音スペクトルの更新幅を制御しながら、上記入力スペクトルに基づいて上記雑音スペクトルを推定更新して出力する
ことを特徴とする請求項1に記載の雑音抑圧装置。 - 上記雑音スペクトル補正手段は、上記音声成分及び上記雑音成分に応じた所定の雑音スペクトル補正関数を用いて、推定された上記雑音スペクトルを補正し、
上記雑音スペクトル補正関数は、
上記音声成分の上記雑音成分に対する音声対雑音比の単調非減少関数であって、
上記音声対雑音比が0の場合には関数値が0となり、
上記音声対雑音比が無限に大きくなると関数値が1に収束する
ものであることを特徴とする請求項1〜3のいずれかに記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数には上記音声対雑音比に関する1階の導関数が存在し、
上記1階の導関数は、
単調非増加関数であり、
上記音声対雑音比が0の場合には関数値が1となり、
上記音声対雑音比が無限に大きくなると関数値が0に収束する
ものであることを特徴とする請求項4に記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数は、上記音声対雑音比に関して無限回微分可能であることを特徴とする請求項5に記載の雑音抑圧装置。
- 上記雑音スペクトル補正関数fC(r)は、上記音声対雑音比をrとして、fC(r)=1−exp(r)で表現されることを特徴とする請求項6に記載の雑音抑圧装置。
- 上記雑音スペクトル補正関数は、上記音声対雑音比が事前に定められた所定の閾値以下の場合には上記音声対雑音比と等しい値をとることを特徴とする請求項4に記載の雑音抑圧装置。
- 上記雑音スペクトル補正関数には、上記音声対雑音比に関する1階の導関数が存在し、
上記1階の導関数は、
単調非増加関数であり、
上記音声対雑音比が上記閾値以下の場合には関数値が1となり、
上記音声対雑音比が無限に大きくなると関数値が0に収束する
ものであることを特徴とする請求項8に記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数は、上記音声対雑音比が上記閾値以上の場合には、上記音声対雑音比に関して無限回微分可能であることを特徴とする請求項9に記載の雑音抑圧装置。
- 上記音声対雑音比rに対する0〜1の範囲内の所定の閾値THRを事前に定めておき、
上記雑音スペクトル補正関数fC(r)は、
r≦THRの場合にはfC(r)=rであり、
r>THRの場合にはfC(r)=THR+(1−THR)*(1−exp(−(r−THR)/(1−THR)))である
ことを特徴とする請求項10に記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数は、
上記音声対雑音比rの領域が少なくとも3つ以上の区間に分けられ、
上記各区間内においては1次関数で定義され、
上記1次関数は上記各区間の境界で連続的に接続されている
ことを特徴とする請求項4又は8に記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数における上記各区間の上記1次関数は、f(r)=1−exp(r)で表現される関数f(r)を上記区間ごとに線形近似した1次関数であることを特徴とする請求項12に記載の雑音抑圧装置。
- 上記音声対雑音比rに対する0〜1の範囲内の所定の閾値THRを事前に定め、r≦THRの場合にはf(r)=rであり、r>THRの場合にはf(r)=THR+(1−THR)*(1−exp(−(r−THR)/(1−THR)))である関数f(r)を定義したとき、
上記雑音スペクトル補正関数における上記各区間の上記1次関数は、上記関数f(r)を上記区間ごとに線形近似した1次関数である
ことを特徴とする請求項12に記載の雑音抑圧装置。 - 上記雑音スペクトル補正関数は、上記音声対雑音比rの領域が少なくとも3つ以上の区間に分けられ、上記各区間内において一定値をとることを特徴とする請求項4に記載の雑音抑圧装置。
- 入力音声を周波数解析した入力スペクトルから、上記入力音声に重畳されている雑音を抑圧する雑音抑圧方法において、
雑音スペクトル推定手段及び雑音スペクトル補正手段を備え、
上記雑音スペクトル推定手段は、上記入力スペクトルに基づいて雑音スペクトルを推定し、
上記雑音スペクトル補正手段は、推定された上記雑音スペクトルを上記入力スペクトルに応じて補正し、
上記雑音スペクトル補正手段は、上記入力スペクトルを構成する音声成分と雑音成分に対して、
上記音声成分が上記雑音成分に比べて十分大きい場合には、上記補正雑音スペクトルを推定された上記雑音スペクトルとほぼ同じにし、
上記音声成分が上記雑音成分に比べて小さい又は同程度の場合には、上記入力スペクトルと推定された上記雑音スペクトルとの比に応じて上記補正雑音スペクトルが小さくなるように調整し、
上記音声成分の占める割合が0に近付くと上記補正雑音スペクトルが0に収束するように、推定された上記雑音スペクトルを補正する
ことを特徴とする雑音抑圧方法。 - 入力音声を周波数解析した入力スペクトルから、上記入力音声に重畳されている雑音を抑圧する雑音抑圧プログラムであって、
コンピュータを、
上記入力スペクトルに基づいて雑音スペクトルを推定する雑音スペクトル推定手段と、
推定された上記雑音スペクトルを上記入力スペクトルに応じて補正するものであって、上記入力スペクトルを構成する音声成分と雑音成分に対して、上記音声成分が上記雑音成分に比べて十分大きい場合には、上記補正雑音スペクトルを推定された上記雑音スペクトルとほぼ同じにし、上記音声成分が上記雑音成分に比べて小さい又は同程度の場合には、上記入力スペクトルと推定された上記雑音スペクトルとの比に応じて上記補正雑音スペクトルが小さくなるように調整し、上記音声成分の占める割合が0に近付くと上記補正雑音スペクトルが0に収束するように、推定された上記雑音スペクトルを補正する雑音スペクトル補正手段と
して機能させることを特徴とする雑音抑圧プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012122375A JP6064370B2 (ja) | 2012-05-29 | 2012-05-29 | 雑音抑圧装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012122375A JP6064370B2 (ja) | 2012-05-29 | 2012-05-29 | 雑音抑圧装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013246418A true JP2013246418A (ja) | 2013-12-09 |
JP6064370B2 JP6064370B2 (ja) | 2017-01-25 |
Family
ID=49846196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012122375A Active JP6064370B2 (ja) | 2012-05-29 | 2012-05-29 | 雑音抑圧装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6064370B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2878519A1 (en) | 2013-11-28 | 2015-06-03 | Kabushiki Kaisha Toyota Jidoshokki | Vehicle roof structure and vehicle, and method of manufacturing vehicle roof unit |
JP2016038551A (ja) * | 2014-08-11 | 2016-03-22 | 沖電気工業株式会社 | 雑音抑圧装置、方法及びプログラム |
CN106356071A (zh) * | 2016-08-30 | 2017-01-25 | 广州市百果园网络科技有限公司 | 一种噪声检测方法,及装置 |
CN111862989A (zh) * | 2020-06-01 | 2020-10-30 | 北京捷通华声科技股份有限公司 | 一种声学特征处理方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001024167A1 (fr) * | 1999-09-30 | 2001-04-05 | Fujitsu Limited | Dispositif antiparasite |
JP2002517020A (ja) * | 1998-05-27 | 2002-06-11 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | スペクトル依存指数ゲイン関数平均化を用いたスペクトルサブトラクションによる信号雑音低減 |
JP2011191669A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 音声処理装置、音声処理方法およびプログラム |
-
2012
- 2012-05-29 JP JP2012122375A patent/JP6064370B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002517020A (ja) * | 1998-05-27 | 2002-06-11 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | スペクトル依存指数ゲイン関数平均化を用いたスペクトルサブトラクションによる信号雑音低減 |
WO2001024167A1 (fr) * | 1999-09-30 | 2001-04-05 | Fujitsu Limited | Dispositif antiparasite |
JP2011191669A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 音声処理装置、音声処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
JPN6016007778; Michael BEROUTI, et al.: 'Enhancement of Speech Corrupted by Acoustic Noise' Proc. ICASSP '79 Vol.4, 19790402, pp.208-211, IEEE * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2878519A1 (en) | 2013-11-28 | 2015-06-03 | Kabushiki Kaisha Toyota Jidoshokki | Vehicle roof structure and vehicle, and method of manufacturing vehicle roof unit |
JP2016038551A (ja) * | 2014-08-11 | 2016-03-22 | 沖電気工業株式会社 | 雑音抑圧装置、方法及びプログラム |
CN106356071A (zh) * | 2016-08-30 | 2017-01-25 | 广州市百果园网络科技有限公司 | 一种噪声检测方法,及装置 |
CN106356071B (zh) * | 2016-08-30 | 2019-10-25 | 广州市百果园网络科技有限公司 | 一种噪声检测方法,及装置 |
CN111862989A (zh) * | 2020-06-01 | 2020-10-30 | 北京捷通华声科技股份有限公司 | 一种声学特征处理方法和装置 |
CN111862989B (zh) * | 2020-06-01 | 2024-03-08 | 北京捷通华声科技股份有限公司 | 一种声学特征处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6064370B2 (ja) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6894580B2 (ja) | ノイズと残響を減少させた音声信号を提供する信号処理装置及び方法 | |
CN104637491B (zh) | 用于内部mmse计算的基于外部估计的snr的修改器 | |
JP4886715B2 (ja) | 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体 | |
JP5153886B2 (ja) | 雑音抑圧装置および音声復号化装置 | |
CN106558315B (zh) | 异质麦克风自动增益校准方法及系统 | |
JP6064370B2 (ja) | 雑音抑圧装置、方法及びプログラム | |
US9418677B2 (en) | Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program | |
CN104637493A (zh) | 改进噪声抑制性能的语音概率存在修改器 | |
JP2008216721A (ja) | 雑音抑圧の方法、装置、及びプログラム | |
JP4757775B2 (ja) | 雑音抑圧装置 | |
JP5152799B2 (ja) | 雑音抑圧装置およびプログラム | |
CN104637490A (zh) | 基于mmse语音概率存在的准确正向snr估计 | |
JP5152800B2 (ja) | 雑音抑圧評価装置およびプログラム | |
JP6361148B2 (ja) | 雑音推定装置、方法及びプログラム | |
JP6182862B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
JP2002140100A (ja) | 騒音抑圧装置 | |
JP6707914B2 (ja) | ゲイン処理装置及びプログラム、並びに、音響信号処理装置及びプログラム | |
JP6073185B2 (ja) | 波形変換装置および波形変換方法 | |
JP5131149B2 (ja) | 雑音抑圧装置及び雑音抑圧方法 | |
US10109291B2 (en) | Noise suppression device, noise suppression method, and computer program product | |
JP5056654B2 (ja) | 雑音抑制装置、及び雑音抑制方法 | |
Une et al. | Evaluation of sound quality and speech recognition performance using harmonic regeneration for various noise reduction techniques | |
JP6536322B2 (ja) | 雑音推定装置、プログラム及び方法、並びに、音声処理装置 | |
JP7092324B2 (ja) | 声門流成分推定装置、プログラムおよび方法 | |
JP2013130815A (ja) | 雑音抑圧装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160523 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6064370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |