JP2017009657A - 音声強調装置、および音声強調方法 - Google Patents
音声強調装置、および音声強調方法 Download PDFInfo
- Publication number
- JP2017009657A JP2017009657A JP2015122045A JP2015122045A JP2017009657A JP 2017009657 A JP2017009657 A JP 2017009657A JP 2015122045 A JP2015122045 A JP 2015122045A JP 2015122045 A JP2015122045 A JP 2015122045A JP 2017009657 A JP2017009657 A JP 2017009657A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vehicle
- histogram
- noise
- cumulative histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001186 cumulative effect Effects 0.000 claims abstract description 138
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 230000005236 sound signal Effects 0.000 claims description 17
- 230000001955 cumulated effect Effects 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 27
- 238000000926 separation method Methods 0.000 description 21
- 230000001629 suppression Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000004807 localization Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
Abstract
Description
(6)また、本発明の一態様に係る音声強調装置において、前記累積ヒストグラムがリセットされる前記車両の状態は、前記車両のドアの開閉があったときであるようにしてもよい。
(7)また、本発明の一態様に係る音声強調装置において、前記累積ヒストグラムがリセットされる前記車両の状態は、前記車両の窓の開閉があったときであるようにしてもよい。
また、上述した(2)の構成によれば、車両内のノイズ状態が変化する環境においても雑音抑圧を適切に行うことができる。
また、上述した(3)の構成によれば、環境が変化したときであっても、ヒストグラム記憶部に記憶されている累積ヒストグラムを用いて、直ちに雑音抑圧を適切に行うことができる。
また、上述した(5)、(6)、(7)の構成によれば、車両の状態によって車両内の雑音成分の大小関係が変化する環境においても雑音抑圧を適切に行うことができる。
図1は、本実施形態に係る音響強調装置1の構成を表すブロック図である。
図1に示すように、音響強調装置1は、収音部11、音響信号取得部12、音源定位部13、音源分離部14、車両状態監視部15、ヒストグラム記憶部16、ノイズ推定部17、音声強調部18、音声区間検出部19、および音声認識部20を備える。音響強調装置1は、車両2に搭載されている。車両2は、ECU201およびCAN202を備える。なお、以下の説明では、話者が1人であり、車両2の運転者である例を説明する。
CAN(Control Area Network)202は、CAN規格に準拠した相互接続された機器間のデータ転送に用いられるネットワークである。
ノイズ推定部17は、パワー算出部171、雑音推定部172、およびヒストグラム更新部173を備える。
パワー算出部171は、複素入力スペクトルY(k,l)に基づいてパワースペクトル|Y(k,l)|2を音源毎に算出する。以下の説明では、パワースペクトルを単にパワーと呼ぶことがある。ここで、|…|は、複素数…の絶対値を示す。パワー算出部171は、算出した音源毎のパワースペクトル|Y(k,l)|2を雑音推定部172、ヒストグラム更新部173、および音声強調部18に出力する。
音声強調部18は、例えばパワースペクトル|Y(k,l)|2と雑音パワーλ(k,l)とを用いて、利得GSS(k,l)を、例えば次式(1)を用いて算出する。
なお、音声強調部18は、スペクトル減算を行うことによって、雑音成分を抑圧するようにしてもよい。この場合、音源分離部14は、周波数毎に分離された音声信号を音声強調部18に出力する。そして、音声強調部18は、音源分離部14が出力した音声信号から、ノイズ推定部17が出力した雑音パワーλ(k,l)を周波数毎にスペクトル減算を行って、雑音除去信号x’(t)を算出するようにしてもよい。
また、上述した例では、音声区間検出部19が、有音区間を検出する例を説明したが、有音区間を検出しなくてもよい。この場合、音声強調部18は、雑音除去信号x’(t)を音声認識部20に出力するようにしてもよい。
次に、音響強調装置1が行う処理手順の例を説明する。
図3は、本実施形態に係る音響強調装置1が行う処理のフローチャートである。
(ステップS1)音響信号取得部12は、収音部11のN個のマイクロホン101によって収録されたN個の音響信号を取得する。
(ステップS3)音源分離部14は、自部に記憶されている伝達関数のうち、取得した方位角に対応する伝達関数を読み出す。続けて、音源分離部14は、読み出した伝達関数と、音源分離部14は、取得したN個の音響信号から、例えばGHDSS−AS法を用いて音声信号を分離する。
(ステップS5)音声強調部18は、パワー算出部171が出力したパワースペクトル|Y(k,l)|2から、ノイズ推定部17が出力した雑音パワーλ(k,l)を、分離された音声信号毎かつ周波数毎に減算または減算に相当する演算を行うことで、雑音成分を抑圧した雑音除去信号x’(t)を算出する。これにより、音声強調部18は、音声信号に対して雑音成分を抑圧する。
音響強調装置1は、例えば、車両2のイグニッションキーがオン状態の間、以上の処理をフレーム毎に行う。
次に、ノイズ推定部17が用いるヒストグラム、累積ヒストグラムについて説明する。
雑音推定部172は、上述したようにHRLE法を用いて雑音パワーλ(k,l)を算出する。HRLE法は、ある周波数について、パワー毎の頻度を計数してヒストグラムを生成し、生成したヒストグラムにおいて計数した頻度をパワーについて累積した累積頻度を算出し、予め定めた閾値Sxを与えるパワーを雑音パワーと定める方法である。この閾値Sxは、収録された音響信号に含まれる背景雑音の雑音パワーを定める変数、言い換えれば音声強調部18で減算(抑圧)される雑音成分の抑圧量を制御するための制御変数である。従って、閾値Sxが大きいほど、推定される雑音パワーが大きくなり、閾値Sxが小さいほど、推定される雑音パワーが小さくなる。
ヒストグラムg101に示す例において、L0は、パワーレベルの最小値を表し、L100は、パワーレベルの最大値を表している。例えば、車両2のパワーウィンドが閉められ、かつドアが閉められ、ブレーキが走行状態である車両の状態では、ヒストグラムg101に示すように、雑音成分(以下、単に雑音ともいう)と発話のパワーレベルとの差が大きい。また、ヒストグラムg101は、パワーの区間毎かつ周波数毎の頻度を示す。頻度は、所定の時間におけるフレーム毎に、算出されたパワー(スペクトル)があるパワーの区間に属すると判定された回数であり、度数とも呼ばれる。
なお、閾値Sxは、累積ヒストグラムにおいて累積頻度の最大値Smaxに対する所定の比率(例えばx/100)であってもよい。この場合、ヒストグラム更新部173は、所定の比率の累積頻度に対応するパワーの大きさLx(t)に基づいて、推定ノイズパワーを算出するようにしてもよい。
パワーウィンドが開いている車両の状態では、図5のヒストグラムg111のように、パワーウィンドが閉じているときより、雑音のパワーレベルが大きくなるので、雑音成分と発話のパワーレベルとの差が小さい。
例えば、パワーウィンドが閉じられている状態から、パワーウィンドが開けられた状態に変化したとき、雑音のパワーレベルが大きくなる。これにより、累積ヒストグラムの形状が図4のg102から図5のg112のように変化し、雑音と発話とを分けるための閾値Sxの値も変化する。しかしながら、パワーウィンドが開けられた状態に変化した後に、パワーウィンドが閉じられている状態の累積ヒストグラムを更新しながら用いた場合は、累積ヒストグラムが適切ではなくなり、閾値Sxの値も適切ではなくなるため、適切に雑音成分のパワーレベルを推定することが困難になる。
このため、本実施形態では、車両の状態が変化したとき、雑音成分を推定するために用いる累積ヒストグラムをリセットし、ヒストグラム記憶部16に記憶されている車両の状態に対応付けられているデフォルトの累積ヒストグラムに変更する。これにより、車両の状態が変化した場合であっても、雑音成分のパワーを適切に推定することができる。なお、累積ヒストグラムは、周波数毎に変更される。
例えば、ブレーキが発進の状態、ドアが閉じている状態、パワーウィンドが開いている状態の場合、パワーウィンドが開いていることによって雑音成分が増加するため、ヒストグラム更新部173は、複数の車両の状態を示す情報のうち、パワーウィンドが開いている情報に応じたデフォルト1の累積ヒストグラムを選択する。このように、雑音成分に与える影響が最も高い車両の状態の優先度を高く設定しておいてもよい。
または、車両の状態の組み合わせ毎に、デフォルトの累積ヒストグラム、雑音成分と発話のパワーの大小関係、および閾値Sxを対応付けてヒストグラム記憶部16に記憶させておいてもよい。
次に、図3のステップS4において、雑音推定部172およびヒストグラム更新部173が行うノイズ推定処理について説明する。
なお、以下の説明において、式の簡素化のため周波数を省略して説明するが、パラメータを除く変数は周波数の関数であり、周波数毎に独立して同じ処理が行われる。また、雑音推定部172は、車両状態監視部15からリセット指示が入力されたのち、次のリセット指示が入力されるまで、以下の処理を繰り返す。
図6は、本実施形態に係るノイズ推定部17の処理手順を表す図である。
また、パラメータLmin、Lstep、Imaxそれぞれの値は、例えば−100dB、0.2dB、1000である。また、時程数Trは、例えば10秒である。これらのパラメータは、デフォルトの累積ヒストグラム毎に異なっていてもよい。
次に、ヒストグラム更新部173が行う累積ヒストグラムのリセット、変更、更新の処理手順について説明する。
図7は、本実施形態に係るヒストグラム更新部173が行う累積ヒストグラムのリセット、変更、更新の処理のフローチャートである。
(ステップS203)ヒストグラム更新部173は、リセット指示に含まれる車両の状態に応じたデフォルトの累積ヒストグラムを、ヒストグラム記憶部16から読み出す。続けて、ヒストグラム更新部173は、雑音成分の推定に用いる累積ヒストグラムを読み出したデフォルトの累積ヒストグラムに変更する。
(ステップS205)ヒストグラム更新部173は、リセット指示が車両状態監視部15から入力されたか否かを判別する。ヒストグラム更新部173は、リセット指示が入力された判別した場合(ステップS205;YES)、ステップS202に処理を戻し、リセット指示が入力されていないと判別した場合(ステップS205;NO)、ステップS204に処理を戻す。
なお、ヒストグラム更新部173は、例えばフレーム毎にステップS201〜S205の処理を逐次行う。
次に、車両の状態に応じた累積ヒストグラムをリセット、変更、更新するタイミングの具体例を説明する。
図8は、本実施形態に係る車両の状態に応じた累積ヒストグラムをリセット、変更、更新するタイミングを説明するための図である。図8において、横軸は時刻を表す。
図8に示す例では、時刻t1のときドアが開けられ、時刻t2のときドアが閉められ、時刻t3のときに車両2が発進された例である。
時刻t1〜t2の期間、ヒストグラム更新部173は、分離された音声信号に基づいて、デフォルト1の周波数毎の累積ヒストグラムを更新する。雑音推定部172は、更新されたデフォルト1の周波数毎の累積ヒストグラムを用いて、雑音成分のパワーレベルを周波数毎に推定する。
時刻t2〜t3の期間、ヒストグラム更新部173は、分離された音声信号に基づいて、デフォルト2の周波数毎の累積ヒストグラムを更新する。雑音推定部172は、更新されたデフォルト2の周波数毎の累積ヒストグラムを用いて、雑音成分のパワーレベルを周波数毎に推定する。
時刻t3以降、次にリセット指示が入力されるまで、ヒストグラム更新部173は、分離された音声信号に基づいて、デフォルト6の周波数毎の累積ヒストグラムを更新する。雑音推定部172は、更新されたデフォルト6の周波数毎の累積ヒストグラムを用いて、雑音成分のパワーレベルを周波数毎に推定する。
この構成によって、本実施形態の音響強調装置1は、本実施形態の音響強調装置1は、車両の状態が変化した場合に、ノイズ推定に用いていた累積ヒストグラムをリセットする。これにより、本実施形態の音響強調装置1は、車両の状態が変化したとき、車両の状態が変化する前の累積ヒストグラムを用いずにリセットされた累積ヒストグラムを用いてノイズ推定を行う。この結果、本実施形態の音響強調装置1では、車両2内のノイズ状態が変化する環境においても雑音抑圧を適切に行うことができる。
また、本実施形態の音響強調装置1において、累積ヒストグラムがリセットされる車両の状態は、車両2のドアの開閉があったときである。
また、本実施形態の音響強調装置1において、累積ヒストグラムをリセットされる車両の状態は、車両2の窓の開閉があったときである。
例えば、店舗に適用した場合、店舗のドアの開閉によって雑音成分のパワーが変化する。このような環境であっても、本実施形態によれば、雑音成分の大小関係が変化する環境においても雑音抑圧を適切に行うことができる。
Claims (8)
- 音響信号を収音する収音部と、
車両の状態を監視する車両状態監視部と、
前記収音部によって収音された音響信号のパワーの頻度を累積した周波数成分毎の累積ヒストグラムを用いて、周波数成分毎に雑音成分を推定するノイズ推定部と、
前記収音された音響信号から、前記ノイズ推定部によって推定された周波数成分毎の雑音成分を抑圧する音声強調部と、
を備え、
前記ノイズ推定部は、
前記車両状態監視部によって監視された結果に基づいて、前記累積ヒストグラムをリセットする音声強調装置。 - 前記ノイズ推定部は、
前記車両状態監視部によって監視された結果が変化したとき、前記累積ヒストグラムをリセットする請求項1に記載の音声強調装置。 - 前記車両の状態毎の前記累積ヒストグラムが記憶されているヒストグラム記憶部を備え、
前記ノイズ推定部は、
前記リセットした後、前記車両状態監視部によって監視された結果に基づいて、前記ヒストグラム記憶部から前記車両の状態に応じた周波数成分毎の前記累積ヒストグラムを読み出し、読み出した周波数成分毎の前記累積ヒストグラムを用いて周波数成分毎に雑音成分を推定する請求項1または請求項2に記載の音声強調装置。 - 前記ヒストグラム記憶部には、
前記車両の状態に、前記累積ヒストグラムにおける雑音成分を判別するための閾値が対応付けられ、
前記ノイズ推定部は、
前記ヒストグラム記憶部に記憶されている前記閾値を用いて、周波数成分毎に雑音成分を推定する請求項3に記載の音声強調装置。 - 前記累積ヒストグラムがリセットされる前記車両の状態は、前記車両が発進および停止のうち、少なくとも1つが行われたときである請求項1から請求項4のいずれか1項に記載の音声強調装置。
- 前記累積ヒストグラムがリセットされる前記車両の状態は、前記車両のドアの開閉があったときである請求項1から請求項4のいずれか1項に記載の音声強調装置。
- 前記累積ヒストグラムがリセットされる前記車両の状態は、前記車両の窓の開閉があったときである請求項1から請求項4のいずれか1項に記載の音声強調装置。
- 収音部が、音響信号を収音する収音手順と、
車両状態監視部が、車両の状態を監視する車両状態監視手順と、
ノイズ推定部が、前記収音手順によって収音された音響信号のパワーの頻度を累積した周波数成分毎の累積ヒストグラムを用いて、周波数成分毎に雑音成分を推定し、前記車両状態監視手順によって監視された結果に基づいて、前記累積ヒストグラムをリセットするノイズ推定手順と、
音声強調部が、前記収音手順によって収音された音響信号から、前記ノイズ推定部によって推定された周波数成分毎の雑音成分を抑圧する音声強調手順と、
を含む音声強調方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015122045A JP6439174B2 (ja) | 2015-06-17 | 2015-06-17 | 音声強調装置、および音声強調方法 |
US15/173,922 US9875755B2 (en) | 2015-06-17 | 2016-06-06 | Voice enhancement device and voice enhancement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015122045A JP6439174B2 (ja) | 2015-06-17 | 2015-06-17 | 音声強調装置、および音声強調方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017009657A true JP2017009657A (ja) | 2017-01-12 |
JP6439174B2 JP6439174B2 (ja) | 2018-12-19 |
Family
ID=57588282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015122045A Active JP6439174B2 (ja) | 2015-06-17 | 2015-06-17 | 音声強調装置、および音声強調方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9875755B2 (ja) |
JP (1) | JP6439174B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140089B1 (en) * | 2017-08-09 | 2018-11-27 | 2236008 Ontario Inc. | Synthetic speech for in vehicle communication |
KR102327441B1 (ko) * | 2019-09-20 | 2021-11-17 | 엘지전자 주식회사 | 인공지능 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10319985A (ja) * | 1997-03-14 | 1998-12-04 | N T T Data:Kk | ノイズレベル検出方法、システム及び記録媒体 |
JP2010016564A (ja) * | 2008-07-02 | 2010-01-21 | Panasonic Corp | 音声信号処理装置 |
JP2012088404A (ja) * | 2010-10-15 | 2012-05-10 | Honda Motor Co Ltd | ノイズパワー推定装置及びノイズパワー推定方法並びに音声認識装置及び音声認識方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8249271B2 (en) * | 2007-01-23 | 2012-08-21 | Karl M. Bizjak | Noise analysis and extraction systems and methods |
US20100239110A1 (en) * | 2009-03-17 | 2010-09-23 | Temic Automotive Of North America, Inc. | Systems and Methods for Optimizing an Audio Communication System |
-
2015
- 2015-06-17 JP JP2015122045A patent/JP6439174B2/ja active Active
-
2016
- 2016-06-06 US US15/173,922 patent/US9875755B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10319985A (ja) * | 1997-03-14 | 1998-12-04 | N T T Data:Kk | ノイズレベル検出方法、システム及び記録媒体 |
JP2010016564A (ja) * | 2008-07-02 | 2010-01-21 | Panasonic Corp | 音声信号処理装置 |
JP2012088404A (ja) * | 2010-10-15 | 2012-05-10 | Honda Motor Co Ltd | ノイズパワー推定装置及びノイズパワー推定方法並びに音声認識装置及び音声認識方法 |
Also Published As
Publication number | Publication date |
---|---|
US9875755B2 (en) | 2018-01-23 |
JP6439174B2 (ja) | 2018-12-19 |
US20160372132A1 (en) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5666444B2 (ja) | 特徴抽出を使用してスピーチ強調のためにオーディオ信号を処理する装置及び方法 | |
JP5528538B2 (ja) | 雑音抑圧装置 | |
JP4532576B2 (ja) | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム | |
JP6169849B2 (ja) | 音響処理装置 | |
JP5127754B2 (ja) | 信号処理装置 | |
JP6169910B2 (ja) | 音声処理装置 | |
JP5156043B2 (ja) | 音声判別装置 | |
JP6077957B2 (ja) | 音声処理装置、音声処理方法、及び音声処理プログラム | |
JP2021503633A (ja) | 音声ノイズ軽減方法、装置、サーバー及び記憶媒体 | |
JP5387459B2 (ja) | 雑音推定装置、雑音低減システム、雑音推定方法、及びプログラム | |
JP5649488B2 (ja) | 音声判別装置、音声判別方法および音声判別プログラム | |
JP5566846B2 (ja) | ノイズパワー推定装置及びノイズパワー推定方法並びに音声認識装置及び音声認識方法 | |
JP2004347761A (ja) | 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体 | |
KR102152197B1 (ko) | 음성 검출기를 구비한 보청기 및 그 방법 | |
KR102206546B1 (ko) | 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법 | |
JP6439174B2 (ja) | 音声強調装置、および音声強調方法 | |
JPH11305792A (ja) | 収音装置,音声認識装置,これらの方法、及びプログラム記録媒体 | |
JP2012181561A (ja) | 信号処理装置 | |
JP2009276365A (ja) | 処理装置、音声認識装置、音声認識システム、音声認識方法 | |
KR20070061216A (ko) | Gmm을 이용한 음질향상 시스템 | |
CN112133320A (zh) | 语音处理装置及语音处理方法 | |
JP2023172553A (ja) | 音響信号処理装置、音響信号処理方法及びプログラム | |
Kamaraju et al. | Speech Enhancement Technique Using Eigen Values |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171129 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6439174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |