JP2017090606A - 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム - Google Patents
異常音検出装置、異常音検出学習装置、これらの方法及びプログラム Download PDFInfo
- Publication number
- JP2017090606A JP2017090606A JP2015219042A JP2015219042A JP2017090606A JP 2017090606 A JP2017090606 A JP 2017090606A JP 2015219042 A JP2015219042 A JP 2015219042A JP 2015219042 A JP2015219042 A JP 2015219042A JP 2017090606 A JP2017090606 A JP 2017090606A
- Authority
- JP
- Japan
- Prior art keywords
- signals
- abnormal
- signal
- types
- sound detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
Abstract
【解決手段】異常音検出装置は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部2と、2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部3と、ある信号の異常度をその信号が異常であることを表す指標として、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する異常度計算部5と、計算された2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部7と、計算された統合異常度を用いて周波数領域の信号が異常であるかを判定する異常判定部6と、を備える。
【選択図】図5
Description
この方法は、「外れ値検出」としても知られている。
以下、この発明の概要について説明する。この発明では、観測信号を事前に、例えばチャープ音、突発音、持続音等のような音の性質ごとに分離する処理を施した上で統計的手法に基づく異常検知を行う。
Lτ′=-(2ζln ph(f′h,τ′)+2(1-ζ)ln pp(f′p,τ′)) (2)
以下、図面を参照して、異常音検出学習装置及び方法の一実施形態について説明する。異常音検出学習装置は、図1に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3及びモデル学習部4を例えば備えている。異常音検出学習装置の各部が、図2の各ステップの処理を行うことにより、異常音検出学習方法が実現される。
周波数領域変換部1は、入力された学習データに基づいて周波数領域の信号を生成する(ステップS1)。生成された周波数領域の信号は、分離部2に出力される。
分離部2は、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップ2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である。スペクトログラムの模様とは、周波数強度の時間変化のパターンである。
〔参考文献1〕D. FitzGerald, “HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING,” in Proc. of the 13th Int. Conference on Digital Audio Effects, 2010.
〔参考文献2〕N. Ono, et al., “Separation of a monaural audio signal into harmonic percussive components by complementary diffusion on spectrogram,” in Proc. of EUSIPCO, 2008.
定常雑音推定部21は、定常雑音を以下の式で推定する(ステップS21)。
振幅スペクトル推定部22は、メディアンフィルタに基づく分離法を変形し、突発音の振幅スペクトルHω,τ及び持続音の振幅スペクトルPω,τを推定する(ステップS22)。
分離フィルタ設計部23は、突発/持続音分離フィルタを例えば以下の式で設計する(ステップS23)。
分離部24は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとを例えば以下の式で求める(ステップS24)。
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップS3)。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。ここで、用いる音響特徴量は両者とも共通でもよいし、異なるものでもよい。
モデル学習部4は、抽出された音響特徴量を用いて、2種以上の信号のそれぞれの正常時のモデルを学習する(ステップS4)。
〔参考文献3〕小西貞則, “多変量解析入門, 付録C EM アルゴリズム” pp.294-298, 岩波書店, 2010.
〔参考文献4〕C.M. ビショップ, “パターン認識と機械学習(下) 13 章系列データ” pp.333-347, 丸善出版, 2012.
以下、図面を参照して、異常音検出装置及び方法の一実施形態について説明する。異常音検出装置は、図5に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3、異常度計算部5、統合異常度計算部7及び異常判定部6を例えば備えている。異常音検出装置の各部が、図6の各ステップの処理を行うことにより、異常音検出方法が実現される。
周波数領域変換部1は、入力された観測信号に基づいて周波数領域の信号を生成する(ステップA1)。生成された周波数領域の信号は、分離部2に出力される。周波数領域変換部1は、例えば、入力された観測信号から振幅スペクトルXω,τを求める。
分離部2は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップA2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。分離部2は、例えば、入力された周波数領域の信号である振幅スペクトルXω,τから、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pを求める。
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップA3)。抽出された音響特徴量は、異常度計算部5に出力される。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。
異常度計算部5は、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する(ステップA4)。ここで、ある信号の異常度は、その信号が異常であることを表す指標である。計算された異常度は、統合異常度計算部7に出力される。
統合異常度計算部7は、計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する(ステップA6)。
異常判定部6は、計算された統合異常度を用いて入力された周波数領域の信号が異常であるかを判定する(ステップA5)。
異常音検出装置又は異常音検出学習装置における各処理をコンピュータによって実現する場合、異常音検出装置又は異常音検出学習装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。
関連文書検索装置及び方法並びにモデル作成装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
2 分離部
21 定常雑音推定部
22 振幅スペクトル推定部
23 分離フィルタ設計部
24 分離部
3 音響特徴量抽出部
4 モデル学習部
5 異常度計算部
6 異常判定部
7 統合異常度計算部
Claims (10)
- 入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、
上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記2種以上の信号のそれぞれの正常時のモデルを用いて上記2種以上の信号のそれぞれの異常度を計算する異常度計算部と、
上記計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部と、
上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定部と、
を含む異常音検出装置。 - 請求項1の異常音検出装置において、
上記2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である、
異常音検出装置。 - 請求項1又は2の異常音検出装置において、
上記2種以上の信号は、持続音の信号と突発音の信号とである、
異常音検出装置。 - 請求項1から3の異常音検出装置において、
上記異常判定部は、2個以上の時間区間の周波数領域の信号のそれぞれに基づいて上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する、
異常音検出装置。 - 入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、
上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
上記抽出された音響特徴量を用いて、上記2種以上の信号のそれぞれの正常時のモデルを学習するモデル学習部と、
を含む異常音検出学習装置。 - 請求項5の異常音検出学習装置において、
上記2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である、
異常音検出学習装置。 - 請求項5又は6の異常音検出学習装置において、
上記2種以上の信号は、持続音の信号と突発音の信号とである、
異常音検出学習装置。 - 分離部が、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離ステップと、
音響特徴量抽出部が、上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
異常度計算部が、ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記2種以上の信号のそれぞれの正常時のモデルを用いて上記2種以上の信号のそれぞれの異常度を計算する異常度計算ステップと、
統合異常度計算部が、上記計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算ステップと、
異常判定部が、上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定ステップと、
を含む異常音検出方法。 - 分離部が、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離ステップと、
音響特徴量抽出部が、上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
モデル学習部が、上記抽出された音響特徴量を用いて、上記2種以上の信号のそれぞれの正常時のモデルを学習するモデル学習ステップと、
を含む異常音検出学習方法。 - 請求項1から4の何れかの異常音検出装置又は請求項5から7の異常音検出学習装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219042A JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219042A JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017090606A true JP2017090606A (ja) | 2017-05-25 |
JP6377592B2 JP6377592B2 (ja) | 2018-08-22 |
Family
ID=58770649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015219042A Active JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6377592B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019036112A (ja) * | 2017-08-15 | 2019-03-07 | 日本電信電話株式会社 | 異常音検知装置、異常検知装置、プログラム |
KR101996489B1 (ko) * | 2017-12-28 | 2019-07-04 | 한국외국어대학교 연구산학협력단 | 자동화 생산 라인의 작업 오류 검출 장치 |
WO2020026829A1 (ja) * | 2018-07-31 | 2020-02-06 | パナソニックIpマネジメント株式会社 | 音データ処理方法、音データ処理装置及びプログラム |
WO2020031570A1 (ja) * | 2018-08-10 | 2020-02-13 | 日本電信電話株式会社 | 異常検知装置、確率分布学習装置、自己符号化器学習装置、データ変換装置、プログラム |
KR20200052421A (ko) * | 2018-10-25 | 2020-05-15 | 한국외국어대학교 연구산학협력단 | 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법 |
JP2020527816A (ja) * | 2017-07-13 | 2020-09-10 | アナンド デシュパンデAnand Deshpande | 機械操作の音声ベースの監視のためのデバイスおよびその操作方法 |
CN112116924A (zh) * | 2019-06-21 | 2020-12-22 | 株式会社日立制作所 | 异常音检测系统、伪音生成系统及伪音生成方法 |
WO2020255299A1 (ja) * | 2019-06-19 | 2020-12-24 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、プログラム |
WO2021019671A1 (ja) * | 2019-07-30 | 2021-02-04 | 日本電信電話株式会社 | 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム |
WO2021019672A1 (ja) * | 2019-07-30 | 2021-02-04 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、およびプログラム |
JP2021124887A (ja) * | 2020-02-04 | 2021-08-30 | 株式会社日立製作所 | 音響診断方法、音響診断システム、及び音響診断プログラム |
CN113379176A (zh) * | 2020-03-09 | 2021-09-10 | 中国移动通信集团设计院有限公司 | 电信网络异常数据检测方法、装置、设备和可读存储介质 |
KR20210129500A (ko) * | 2020-04-20 | 2021-10-28 | 한국외국어대학교 연구산학협력단 | 표면 실장 부품 조립 장비의 작동 오류 검출 장치 |
KR20220020238A (ko) * | 2019-06-18 | 2022-02-18 | 엘지전자 주식회사 | 음성인식 로봇에 사용되는 사운드 처리방법 |
CN117454300A (zh) * | 2023-12-21 | 2024-01-26 | 广东美的制冷设备有限公司 | 电机异音检测方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0844695A (ja) * | 1994-08-02 | 1996-02-16 | Hitachi Zosen Corp | 音源の識別方法 |
JP2001108518A (ja) * | 1999-08-03 | 2001-04-20 | Mitsui Eng & Shipbuild Co Ltd | 異常検知方法および装置 |
JP2009210888A (ja) * | 2008-03-05 | 2009-09-17 | Univ Of Tokyo | 音信号の分離方法 |
JP2014123011A (ja) * | 2012-12-21 | 2014-07-03 | Sony Corp | 雑音検出装置および方法、並びに、プログラム |
-
2015
- 2015-11-09 JP JP2015219042A patent/JP6377592B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0844695A (ja) * | 1994-08-02 | 1996-02-16 | Hitachi Zosen Corp | 音源の識別方法 |
JP2001108518A (ja) * | 1999-08-03 | 2001-04-20 | Mitsui Eng & Shipbuild Co Ltd | 異常検知方法および装置 |
JP2009210888A (ja) * | 2008-03-05 | 2009-09-17 | Univ Of Tokyo | 音信号の分離方法 |
JP2014123011A (ja) * | 2012-12-21 | 2014-07-03 | Sony Corp | 雑音検出装置および方法、並びに、プログラム |
Non-Patent Citations (1)
Title |
---|
D.FITZGERALD: "HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING", PROC.OF THE 13TH INT.CONFERENCE ON DIGITAL AUDIO EFFECTS,2010, JPN7018000498, 2010, IE, pages 1 - 4, ISSN: 0003743030 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020527816A (ja) * | 2017-07-13 | 2020-09-10 | アナンド デシュパンデAnand Deshpande | 機械操作の音声ベースの監視のためのデバイスおよびその操作方法 |
JP2019036112A (ja) * | 2017-08-15 | 2019-03-07 | 日本電信電話株式会社 | 異常音検知装置、異常検知装置、プログラム |
KR101996489B1 (ko) * | 2017-12-28 | 2019-07-04 | 한국외국어대학교 연구산학협력단 | 자동화 생산 라인의 작업 오류 검출 장치 |
WO2020026829A1 (ja) * | 2018-07-31 | 2020-02-06 | パナソニックIpマネジメント株式会社 | 音データ処理方法、音データ処理装置及びプログラム |
US11830518B2 (en) | 2018-07-31 | 2023-11-28 | Panasonic Intellectual Property Management Co., Ltd. | Sound data processing method, sound data processing device, and program |
JPWO2020026829A1 (ja) * | 2018-07-31 | 2021-08-02 | パナソニックIpマネジメント株式会社 | 音データ処理方法、音データ処理装置及びプログラム |
WO2020031570A1 (ja) * | 2018-08-10 | 2020-02-13 | 日本電信電話株式会社 | 異常検知装置、確率分布学習装置、自己符号化器学習装置、データ変換装置、プログラム |
KR102179040B1 (ko) * | 2018-10-25 | 2020-11-16 | 한국외국어대학교 연구산학협력단 | 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법 |
KR20200052421A (ko) * | 2018-10-25 | 2020-05-15 | 한국외국어대학교 연구산학협력단 | 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법 |
KR102636002B1 (ko) | 2019-06-18 | 2024-02-08 | 엘지전자 주식회사 | 음성인식 로봇에 사용되는 사운드 처리방법 |
KR20220020238A (ko) * | 2019-06-18 | 2022-02-18 | 엘지전자 주식회사 | 음성인식 로봇에 사용되는 사운드 처리방법 |
WO2020255299A1 (ja) * | 2019-06-19 | 2020-12-24 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、プログラム |
JPWO2020255299A1 (ja) * | 2019-06-19 | 2020-12-24 | ||
JP7231027B2 (ja) | 2019-06-19 | 2023-03-01 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、プログラム |
CN112116924A (zh) * | 2019-06-21 | 2020-12-22 | 株式会社日立制作所 | 异常音检测系统、伪音生成系统及伪音生成方法 |
CN112116924B (zh) * | 2019-06-21 | 2024-02-13 | 株式会社日立制作所 | 异常音检测系统、伪音生成系统及伪音生成方法 |
WO2021019672A1 (ja) * | 2019-07-30 | 2021-02-04 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、およびプログラム |
JPWO2021019672A1 (ja) * | 2019-07-30 | 2021-02-04 | ||
WO2021019671A1 (ja) * | 2019-07-30 | 2021-02-04 | 日本電信電話株式会社 | 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム |
JPWO2021019671A1 (ja) * | 2019-07-30 | 2021-02-04 | ||
JP7188597B2 (ja) | 2019-07-30 | 2022-12-13 | 日本電信電話株式会社 | 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム |
JP7188598B2 (ja) | 2019-07-30 | 2022-12-13 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、およびプログラム |
JP7304301B2 (ja) | 2020-02-04 | 2023-07-06 | 株式会社日立製作所 | 音響診断方法、音響診断システム、及び音響診断プログラム |
JP2021124887A (ja) * | 2020-02-04 | 2021-08-30 | 株式会社日立製作所 | 音響診断方法、音響診断システム、及び音響診断プログラム |
CN113379176B (zh) * | 2020-03-09 | 2023-12-19 | 中国移动通信集团设计院有限公司 | 电信网络异常数据检测方法、装置、设备和可读存储介质 |
CN113379176A (zh) * | 2020-03-09 | 2021-09-10 | 中国移动通信集团设计院有限公司 | 电信网络异常数据检测方法、装置、设备和可读存储介质 |
KR20210129500A (ko) * | 2020-04-20 | 2021-10-28 | 한국외국어대학교 연구산학협력단 | 표면 실장 부품 조립 장비의 작동 오류 검출 장치 |
KR102344426B1 (ko) * | 2020-04-20 | 2021-12-27 | 한국외국어대학교 연구산학협력단 | 표면 실장 부품 조립 장비의 작동 오류 검출 장치 |
CN117454300A (zh) * | 2023-12-21 | 2024-01-26 | 广东美的制冷设备有限公司 | 电机异音检测方法、装置、电子设备及存储介质 |
CN117454300B (zh) * | 2023-12-21 | 2024-04-05 | 广东美的制冷设备有限公司 | 电机异音检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6377592B2 (ja) | 2018-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6377592B2 (ja) | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム | |
JP6709277B2 (ja) | 異常音検出装置、異常音検出学習装置、異常音サンプリング装置、これらの方法及びプログラム | |
WO2018150616A1 (ja) | 異常音検出装置、異常度計算装置、異常音生成装置、異常音検出学習装置、異常信号検出装置、異常信号検出学習装置、これらの方法及びプログラム | |
Wang et al. | A deep neural network for time-domain signal reconstruction | |
Drugman et al. | Voice activity detection: Merging source and filter-based information | |
CN109643552B (zh) | 用于可变噪声状况中语音增强的鲁棒噪声估计 | |
JP5411936B2 (ja) | 音声信号区間推定装置と音声信号区間推定方法及びそのプログラムと記録媒体 | |
CN109034046B (zh) | 一种基于声学检测的电能表内异物自动识别方法 | |
CN107004409A (zh) | 利用运行范围归一化的神经网络语音活动检测 | |
JP6967197B2 (ja) | 異常検出装置、異常検出方法及びプログラム | |
Colangelo et al. | Enhancing audio surveillance with hierarchical recurrent neural networks | |
Lee et al. | Detecting pathological speech using contour modeling of harmonic-to-noise ratio | |
TW202117704A (zh) | 語音事件偵測裝置及方法 | |
JP2017067929A (ja) | 学習装置、識別装置、その方法、およびプログラム | |
JP6404780B2 (ja) | ウィナーフィルタ設計装置、音強調装置、音響特徴量選択装置、これらの方法及びプログラム | |
JP4755555B2 (ja) | 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体 | |
CN115223584B (zh) | 音频数据处理方法、装置、设备及存储介质 | |
Arslan | A new approach to real time impulsive sound detection for surveillance applications | |
KR101327572B1 (ko) | 음성 존재 확률을 이용한 코드북 기반 음성 향상 방법 및 그 장치 | |
Dov et al. | Voice activity detection in presence of transients using the scattering transform | |
Kalus et al. | Distributed robust change point detection for autoregressive processes with an application to distributed voice activity detection | |
Prasad et al. | Gender based emotion recognition system for telugu rural dialects using hidden markov models | |
Ishizuka et al. | A feature for voice activity detection derived from speech analysis with the exponential autoregressive model | |
KR101124712B1 (ko) | 비음수 행렬 인수분해 기반의 음성 검출 방법 | |
Chowdhury et al. | A highly non-stationary noise tracking and compensation algorithm, with applications to speech enhancement and on-line ASR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6377592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |