JP2015138053A - 音響信号処理装置およびその方法 - Google Patents
音響信号処理装置およびその方法 Download PDFInfo
- Publication number
- JP2015138053A JP2015138053A JP2014008074A JP2014008074A JP2015138053A JP 2015138053 A JP2015138053 A JP 2015138053A JP 2014008074 A JP2014008074 A JP 2014008074A JP 2014008074 A JP2014008074 A JP 2014008074A JP 2015138053 A JP2015138053 A JP 2015138053A
- Authority
- JP
- Japan
- Prior art keywords
- time
- signal
- component
- acoustic signal
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 11
- 230000000694 effects Effects 0.000 claims abstract description 133
- 239000011159 matrix material Substances 0.000 claims abstract description 114
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 239000013598 vector Substances 0.000 claims description 19
- 239000000203 mixture Substances 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 4
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000001629 suppression Effects 0.000 description 16
- 238000000926 separation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
Abstract
Description
図1のブロック図により実施例1の音響信号処理装置の構成例を示す。
|Y| ≒ HU …(1)
ここで、Yはスペクトログラム、
Hは基底行列、
Uはアクティビティ行列。
H = [h1, h2, …, hK] …(2)
U = [u1, u2, …, uK]T …(3)
ここで、Tは転置行列を表す。
U = [U1 U2]T …(4)
|Y1| = H1U1
|Y2| = H2U2 …(5)
ここで、H1はU1に対応する基底行列、
H2はU2に対応する基底行列。
図3のフローチャートにより実施例1の音響信号処理装置における音響信号処理を説明する。
上記では、時間周波数変換、帯域分割の順に処理する例を説明したが、時間周波数変換と帯域分割の順番は逆でもよい。図4のブロック図により音響信号処理装置の変形例を示す。
上記では、第二のNMF部150は、時間周波数変換部120の出力にNMFを施す例を説明した。しかし、NMF部150は、帯域分割部130から出力される帯域信号A以外の周波数帯域の帯域信号BにNMFを施せばよい。例えば、雑音と音声を分離する場合、雑音の影響が少ない帯域信号が帯域信号Aに相当し、雑音と音声が混合した帯域信号が帯域信号Bに相当する。
上記では、分離部160において分離されたスペクトログラムY1とY2から分離信号(音声信号と雑音信号)を生成する例を説明した。しかし、分離部160の出力を用いて混合信号を分離するフィルタを生成し、入力信号をフィルタリング処理することで、音源分離を行ってもよい。
if (|Y1|t, f>|Y2|t, f) {
BM1 =‘1’;
BM2 =‘0’;
} else {
BM1 =‘0’;
BM2 =‘1’;
} …(6)
ここで、tはスペクトログラムの時間フレーム、
fはスペクトログラムの周波数ビン。
|Zn|t, f = |Y|t, f*BMnt, f …(7)
ここで、Yは混合信号のスペクトログラム、
Zは出力されるスペクトログラム、
n = 1, 2。
上記では、入力部110が混合信号が記録された音響データを入力する例を説明したが、入力部110はマイクロホンが収音した混合信号を入力し、入力した混合信号をADCしたディジタル信号を出力してもよい。その場合、一連の処理は、所定の時間幅ごとに行われるようにするとよい。
|Ysup|= H1U1 + αH2U2 …(8)
ここで、αは抑圧係数(0≦α<1)。
上記では、雑音強度判定部210が非音声区間の信号から風雑音強度を判定する例を説明したが、低周波数域と高周波数域の信号振幅(あるいはパワー)の比から風雑音強度を判定してもよい。
|YC|= HCUC
|YD|= HDUD …(9)
ただし、|Y|=|YC|+|YD|。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (17)
- 第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。 - 第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の音響信号を時間と信号周波数の関係を示す第一の時間周波数信号に変換する第一の変換手段と、
前記音響信号を第二の時間周波数信号に変換する第二の変換手段と、
前記第一の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記第二の時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。 - さらに、前記第一および第二のアクティビティ行列から前記第一および第二の成分の時間周波数信号を生成する生成手段を有する請求項1または請求項2に記載された音響信号処理装置。
- さらに、前記第一および第二の成分の時間周波数信号からフィルタを生成し、前記音響信号から変換された時間周波数信号をフィルタリングするフィルタ手段を有する請求項3に記載された音響信号処理装置。
- 第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記音響信号に含まれる前記第二の成分の強度を判定する判定手段と、
前記第二の成分の強度に応じて前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。 - 前記第一および第二のアクティビティ行列から前記第二の成分を抑圧した時間周波数信号を生成する生成手段を有する請求項5に記載された音響信号処理装置。
- 第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段と、
前記第二のアクティビティ行列を、前記第一のアクティビティ行列と相関が高い第三のアクティビティ行列、および、前記第一のアクティビティ行列と相関がない第四のアクティビティ行列に分類する分類手段とを有する音響信号処理装置。 - 前記第二のアクティビティ行列が含むアクティビティベクトルの数は、前記第一のアクティビティ行列が含むアクティビティベクトルの数よりも多い請求項7に記載された音響信号処理装置。
- さらに、前記第三および第四のアクティビティ行列から前記第一および第二の成分の時間周波数信号を生成する生成手段を有する請求項7または請求項8に記載された音響信号処理装置。
- さらに、前記時間周波数信号を音響信号に逆変換する逆変換手段を有する請求項1から請求項9の何れか一項に記載された音響信号処理装置。
- 前記第一の成分は音声信号であり、前記第二の成分は雑音信号である請求項1から請求項10の何れか一項に記載された音響信号処理装置。
- 第一の成分との第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。 - 第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の音響信号を時間と信号周波数の関係を示す第一の時間周波数信号に変換し、
前記音響信号を第二の時間周波数信号に変換し、
前記第一の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記第二の時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。 - 第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記音響信号に含まれる前記第二の成分の強度を判定し、
前記第二の成分の強度に応じて前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。 - 第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解し、
前記第二のアクティビティ行列を、前記第一のアクティビティ行列と相関が高い第三のアクティビティ行列、および、前記第一のアクティビティ行列と相関がない第四のアクティビティ行列に分類する音響信号処理方法。 - コンピュータを請求項1から請求項11の何れか一項に記載された音響信号処理装置の各手段として機能させるためのプログラム。
- 請求項16に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014008074A JP6482173B2 (ja) | 2014-01-20 | 2014-01-20 | 音響信号処理装置およびその方法 |
US14/596,505 US9646631B2 (en) | 2014-01-20 | 2015-01-14 | Audio signal processing apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014008074A JP6482173B2 (ja) | 2014-01-20 | 2014-01-20 | 音響信号処理装置およびその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015138053A true JP2015138053A (ja) | 2015-07-30 |
JP2015138053A5 JP2015138053A5 (ja) | 2017-02-23 |
JP6482173B2 JP6482173B2 (ja) | 2019-03-13 |
Family
ID=53544864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014008074A Active JP6482173B2 (ja) | 2014-01-20 | 2014-01-20 | 音響信号処理装置およびその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9646631B2 (ja) |
JP (1) | JP6482173B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017134284A (ja) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | 音源分離装置、方法、及びプログラム |
WO2018047643A1 (ja) * | 2016-09-09 | 2018-03-15 | ソニー株式会社 | 音源分離装置および方法、並びにプログラム |
KR102136700B1 (ko) * | 2020-03-31 | 2020-07-23 | 한국건설기술연구원 | 톤 카운팅 기반의 음성활성구간 검출 장치 및 방법 |
US11394919B2 (en) | 2019-07-02 | 2022-07-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and medium |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3093846A1 (en) * | 2015-05-12 | 2016-11-16 | Nxp B.V. | Accoustic context recognition using local binary pattern method and apparatus |
JP6642989B2 (ja) | 2015-07-06 | 2020-02-12 | キヤノン株式会社 | 制御装置、制御方法及びプログラム |
JP6646967B2 (ja) | 2015-07-31 | 2020-02-14 | キヤノン株式会社 | 制御装置、再生システム、補正方法、及び、コンピュータプログラム |
KR101864925B1 (ko) * | 2016-02-05 | 2018-06-05 | 전자부품연구원 | 글로벌 모델 기반 오디오 객체 분리 방법 및 시스템 |
EP3824463A4 (en) * | 2018-07-18 | 2022-04-20 | Sphereo Sound Ltd. | AUDIO PANORAMIC DETECTION AND SYNTHESIS OF THREE-DIMENSIONAL (3D) AUDIO CONTENT FROM ENVELOPING CHANNEL LIMITED SOUND |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009128906A (ja) * | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
JP2012022120A (ja) * | 2010-07-14 | 2012-02-02 | Yamaha Corp | 音響処理装置 |
JP2012163918A (ja) * | 2011-02-09 | 2012-08-30 | Sony Corp | 音声信号処理装置、および音声信号処理方法、並びにプログラム |
JP2013037152A (ja) * | 2011-08-05 | 2013-02-21 | Toshiba Corp | 音響信号処理装置および音響信号処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149200A (ja) * | 2000-08-31 | 2002-05-24 | Matsushita Electric Ind Co Ltd | 音声処理装置及び音声処理方法 |
US7415392B2 (en) | 2004-03-12 | 2008-08-19 | Mitsubishi Electric Research Laboratories, Inc. | System for separating multiple sound sources from monophonic input with non-negative matrix factor deconvolution |
KR101414233B1 (ko) * | 2007-01-05 | 2014-07-02 | 삼성전자 주식회사 | 음성 신호의 명료도를 향상시키는 장치 및 방법 |
JP5454330B2 (ja) | 2010-04-23 | 2014-03-26 | ヤマハ株式会社 | 音響処理装置 |
-
2014
- 2014-01-20 JP JP2014008074A patent/JP6482173B2/ja active Active
-
2015
- 2015-01-14 US US14/596,505 patent/US9646631B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009128906A (ja) * | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
JP2012022120A (ja) * | 2010-07-14 | 2012-02-02 | Yamaha Corp | 音響処理装置 |
JP2012163918A (ja) * | 2011-02-09 | 2012-08-30 | Sony Corp | 音声信号処理装置、および音声信号処理方法、並びにプログラム |
JP2013037152A (ja) * | 2011-08-05 | 2013-02-21 | Toshiba Corp | 音響信号処理装置および音響信号処理方法 |
Non-Patent Citations (1)
Title |
---|
仲野翔一 他: ""NMFとVQ手法による音楽重畳音声の音楽除去と音声認識"", 日本音響学会2011年春季研究発表会講演論文集CD-ROM, JPN6017048080, 2 March 2011 (2011-03-02), pages 159 - 162, ISSN: 0003702671 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017134284A (ja) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | 音源分離装置、方法、及びプログラム |
WO2018047643A1 (ja) * | 2016-09-09 | 2018-03-15 | ソニー株式会社 | 音源分離装置および方法、並びにプログラム |
US10924849B2 (en) | 2016-09-09 | 2021-02-16 | Sony Corporation | Sound source separation device and method |
US11394919B2 (en) | 2019-07-02 | 2022-07-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and medium |
KR102136700B1 (ko) * | 2020-03-31 | 2020-07-23 | 한국건설기술연구원 | 톤 카운팅 기반의 음성활성구간 검출 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US9646631B2 (en) | 2017-05-09 |
JP6482173B2 (ja) | 2019-03-13 |
US20150205575A1 (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6482173B2 (ja) | 音響信号処理装置およびその方法 | |
US20210089967A1 (en) | Data training in multi-sensor setups | |
Gabbay et al. | Seeing through noise: Visually driven speaker separation and enhancement | |
CN111128214B (zh) | 音频降噪方法、装置、电子设备及介质 | |
Delcroix et al. | Compact network for speakerbeam target speaker extraction | |
JP6371516B2 (ja) | 音響信号処理装置および方法 | |
JP6054142B2 (ja) | 信号処理装置、方法およびプログラム | |
Fitzgerald | Upmixing from mono-a source separation approach | |
US9715884B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
KR102191736B1 (ko) | 인공신경망을 이용한 음성향상방법 및 장치 | |
JP6334895B2 (ja) | 信号処理装置及びその制御方法、プログラム | |
US20190198036A1 (en) | Information processing apparatus, information processing method, and recording medium | |
Quan et al. | Multi-channel narrow-band deep speech separation with full-band permutation invariant training | |
Do et al. | Speech Separation in the Frequency Domain with Autoencoder. | |
US9648411B2 (en) | Sound processing apparatus and sound processing method | |
Varshney et al. | Frequency selection based separation of speech signals with reduced computational time using sparse NMF | |
CN111009259B (zh) | 一种音频处理方法和装置 | |
JP2008072600A (ja) | 音響信号処理装置、音響信号処理プログラム、音響信号処理方法 | |
Cai et al. | Dual-channel drum separation for low-cost drum recording using non-negative matrix factorization | |
Xie et al. | Speech enhancement using group complementary joint sparse representations in modulation domain | |
JP6524463B2 (ja) | 自動ミキシング装置およびプログラム | |
Muhsina et al. | Signal enhancement of source separation techniques | |
Souviraa-Labastie et al. | Audio source separation using multiple deformed references | |
Tsai et al. | Neural Network-Based Low-Frequency Perception Enhancement Used in Biomedical Hearing Applications | |
CN117995217A (zh) | 杂音抑制方法、可读介质、电子设备及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6482173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |