JP2017090606A - 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム - Google Patents

異常音検出装置、異常音検出学習装置、これらの方法及びプログラム Download PDF

Info

Publication number
JP2017090606A
JP2017090606A JP2015219042A JP2015219042A JP2017090606A JP 2017090606 A JP2017090606 A JP 2017090606A JP 2015219042 A JP2015219042 A JP 2015219042A JP 2015219042 A JP2015219042 A JP 2015219042A JP 2017090606 A JP2017090606 A JP 2017090606A
Authority
JP
Japan
Prior art keywords
signals
abnormal
signal
types
sound detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015219042A
Other languages
English (en)
Other versions
JP6377592B2 (ja
Inventor
悠馬 小泉
Yuma Koizumi
悠馬 小泉
翔一郎 齊藤
Shoichiro Saito
翔一郎 齊藤
尚 植松
Hisashi Uematsu
尚 植松
健太 丹羽
Kenta Niwa
健太 丹羽
和則 小林
Kazunori Kobayashi
和則 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015219042A priority Critical patent/JP6377592B2/ja
Publication of JP2017090606A publication Critical patent/JP2017090606A/ja
Application granted granted Critical
Publication of JP6377592B2 publication Critical patent/JP6377592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Complex Calculations (AREA)

Abstract

【課題】安定して異常音を検出することができる技術を提供する。
【解決手段】異常音検出装置は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部2と、2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部3と、ある信号の異常度をその信号が異常であることを表す指標として、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する異常度計算部5と、計算された2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部7と、計算された統合異常度を用いて周波数領域の信号が異常であるかを判定する異常判定部6と、を備える。
【選択図】図5

Description

この発明は、音響信号から機械の異常音の検出する技術に関する。例えば、与えられた機械音の正常動作時の学習データを用いて、大騒音下で機械の異常音の検出する技術に関する。
工場などに設置された大型の製造機・造型機などの業務用機器は、故障により稼働がストップするだけで、業務に大きな支障をもたらす。そのため、その動作状況を日常的に監視し、異常が発生し次第直ちに対処を行う必要がある。解決案として、業務用機器の管理業者が、定期的に現場へ整備員を派遣し、パーツの摩耗などを確認する方法がある。しかし、多大な人件費や移動費、労力がかかるため、すべての業務用機器や工場でこれを実施するのは難しい。
この解決手段として機械内部にマイクロホンを設置し、その動作音を日常的に監視する方法がある。その動作音を解析し、異常と思われる音(i.e.異常音)が発生したらそれを検知し、アラートをあげることでこれを解決する。しかし、機械の種類や個体毎に、異常音の種類やその検出方法を設定するのでは、人手で監視する以上にコストがかかる。そのため、正常動作時の音データから、自動で異常音を検知するルールを自動設計する必要がある。
この問題を解決する方法として、統計的手法に基づく異常検知がよく知られている(例えば、非特許文献1参照。)。この方法では、正常動作時の音データ(学習データ)から得られる音響特徴量(e.g.メル周波数ケプストラム係数(MFCC)やメルフィルタバンク出力(MFBO))F={f1,f2,...,fT}から、正常状態モデルp(f)を学習する。ここで、Tは学習データの個数、fτ∈RBはB次元の音響特徴量を表す。そして新たに得られた観測f′τ′に関してp(f′τ′)を評価し、その大小で正常/異常を判定する。一般的には、以下の負の対数尤度を評価し、この値が小さければ正常、大きければ異常と判断する。
Lτ′=-ln p(f′τ′) …(1)
この方法は、「外れ値検出」としても知られている。
井出剛, 杉山将, "異常検知と変化検知," 講談社, pp.6-7, 2015.
しかしながら、上記の枠組みで機械動作音から異常音検知するためには、以下の課題がある。
異常音検知は、機械の「未知の異常」に起因する音の変化を検出するタスクである。どういった機械の異常が起こるかの予測ができない以上、どのような音の変化(異常)が起こるかの予測も立てられない。そのため、異常音検知で重要なポイントとなる、異常音の特徴をよく表す音響特徴量を設計することが困難である。
この発明の目的は、従来よりも安定して異常音を検出することができる異常音検出装置、異常音検出学習装置、これらの方法及びプログラムを提供することである。
この発明の一態様による異常音検出装置は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、ある信号の異常度をその信号が異常であることを表す指標として、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する異常度計算部と、計算された2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部と、計算された統合異常度を用いて周波数領域の信号が異常であるかを判定する異常判定部と、を備えている。
この発明の一態様による異常音検出学習装置は、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、抽出された音響特徴量を用いて、2種以上の信号のそれぞれの正常時のモデルを学習するモデル学習部と、を備えている。
従来よりも安定して異常音を検出することができる。
異常音検出学習装置の例を説明するためのブロック図。 異常音検出学習方法の例を説明するための流れ図。 分離部の例を説明するためのブロック図。 分離部の処理の例を説明するための流れ図。 異常音検出装置の例を説明するためのブロック図。 異常音検出方法の例を説明するための流れ図。 音の性質ごとの振幅スペクトグラムの違いの例を表す図。
[発明の概要]
以下、この発明の概要について説明する。この発明では、観測信号を事前に、例えばチャープ音、突発音、持続音等のような音の性質ごとに分離する処理を施した上で統計的手法に基づく異常検知を行う。
また、「音の性質」とは、言い換えれば、スペクトグラム(更に詳細には振幅スペクトログラム)の模様の出方と言える。図7は、音の性質ごとの振幅スペクトログラムの例を示したものである。図7の横軸は時間(フレーム)、図7の縦軸は周波数(ビン)、色の濃さは振幅スペクトログラムの強度を表す。突発的な音は縦方向に濃い線が出るのに対し、持続的な音は横方向に濃い線が出る。また、「ピュイーン」といったスィープ音は濃い線が右上がりになるし、ビブラート音は濃い線が周期的に振動する。これらの性質を元に例えば分離フィルタを設計する(例えば、コムフィルタやノッチフィルタ、メディアンフィルタなど)。以下の説明では、分離処理の一例として、観測信号を突発音と持続音に分離する処理について説明する。
音の性質ごとの分離処理の狙いは以下の通りである。音の性質ごとの分離処理とは、周波数強度の特定の時間変化パターンだけを抽出するフィルタリング処理のことである。音響特徴量を最適化できない以上、統計モデルに入力される観測信号に何らかの制限を設け、統計モデルを正常音に適切にフィット(学習)させるしかない。そこで、一つの統計モデルで正常動作音全体をフィットさせるのは諦め、ある性質の音だけを表現する“ニッチな”統計モデル(例えば正常な突発音や持続音だけを表現する統計モデル)の組み合わせで正常音を表現する。
なお、大型の業務用機械が動いている環境はえてして、他の機械(e.g. 冷却ファン)が大騒音のノイズ出していることが多い。したがって、外れ値(異常音)もノイズに埋もれてしまい、安定した検出が困難である場合がある。異常音を更に安定して検出するために、機械の動作とは関係のない雑音(例えば、冷却ファンや送風機に起因する定常雑音)を抑圧又は除去してもよい。
例えば、まず観測信号から雑音を抑圧又は除去し、さらに突発音と持続音に分離する。その後、突発音と持続音それぞれから音響特徴量f′p,τ′とf′h,τ′を抽出する。そして、正常動作音の突発音の統計モデルpp(fp)と、正常動作音の持続音の統計モデルph(fh)を用いて,式(1)を以下のように近似計算する。
Lτ′=-(2ζln ph(f′h,τ′)+2(1-ζ)ln pp(f′p,τ′)) (2)
ここで、0≦ζ≦1は、突発音と持続音の異常度の重みを調整するパラメータである。この評価式では、持続音の異常音(例えばパーツの摩耗に起因する「異常なこすれ音」やモーターの異常回転に起因する「異常なモーター音」)が発生した場合、第1項ph(f′h,τ′) が大きく低下し、Lτ′の値が大きくなる。また、突発音の異常音(たとえば「パーツの落下する音」や、ねじのはずれなどに起因する「部品同士がぶつかる音」)が発生した場合、第2項pp(f′p,τ′)が大きく低下し、Lτ′の値が大きくなる。
以下に説明する[異常音検出学習装置及び方法]及び[異常音検出装置及び方法]の実施形態では、例えば上記の評価式を用いて異常音の検出を行う。
[異常音検出学習装置及び方法]
以下、図面を参照して、異常音検出学習装置及び方法の一実施形態について説明する。異常音検出学習装置は、図1に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3及びモデル学習部4を例えば備えている。異常音検出学習装置の各部が、図2の各ステップの処理を行うことにより、異常音検出学習方法が実現される。
異常音検知したい機械の「正常時の」動作音をM≧1チャネルのマイクロホンで収集し、学習データとする。学習データが周波数領域変換部1に出力される。サンプリングレートや量子化ビット数は任意だが、正常音及び想定する異常音について、サンプリング定理を満足するように収音する。また、高サンプリングレートで収音し、ダウンサンプリングしてもよい。
<周波数領域変換部1>
周波数領域変換部1は、入力された学習データに基づいて周波数領域の信号を生成する(ステップS1)。生成された周波数領域の信号は、分離部2に出力される。
周波数領域変換部1は、例えば入力された学習データを短時間フーリエ変換(STFT)などの手法で周波数領域に変換する。また、それの絶対値を取り、振幅スペクトルXω,τを計算する。ここで、ω={1,2,...,Ω}とτ={1,2,...,T}は、それぞれ時間と周波数のインデックス、Ωは周波数ビンの数、Tは学習データの総フレーム数を表す。
ここで、STFT長とフレームシフト長は任意であるが、例えばSTFT長を32ms、フレームシフト長を16msなどに設定できる。
<分離部2>
分離部2は、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップ2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である。スペクトログラムの模様とは、周波数強度の時間変化のパターンである。
ここで、分離部2は、必要に応じて雑音の抑圧又は除去の処理を行ってもよい。雑音の抑圧又は除去の処理と分離処理とは順不同である。先に雑音の抑圧又は除去の処理をしてもよいし、先に分離処理を行ってもよいし、同時に解いてもよい。なお、雑音の抑圧又は除去の処理は、入力がM>1であれば、ビームフォーミングのような、マイクロホンアレイ信号処理に基づく雑音抑圧処理を追加してもよい。
以下では、分離部2の処理の一例として、振幅スペクトルXω,τの雑音を抑圧し、そこから持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pを求める処理について説明する。この例では、2種の信号を例に挙げて説明するが、分離部2は3種類以上の信号に分離してもよい。
観測信号を突発音と持続音に分離する処理には様々なものが提案されているが、ここでは、実装と調整の容易さからメディアンフィルタに基づく分離法(例えば、参考文献1参照。)を変形することで突発音と持続音の分離を実現することができる。なお、後述するように、発明の変形例として、式(4)(5)を参考文献2の手法などに置き換えれば、メディアンフィルタに基づく分離法以外の手法を用いてもよい。
〔参考文献1〕D. FitzGerald, “HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING,” in Proc. of the 13th Int. Conference on Digital Audio Effects, 2010.
〔参考文献2〕N. Ono, et al., “Separation of a monaural audio signal into harmonic percussive components by complementary diffusion on spectrogram,” in Proc. of EUSIPCO, 2008.
分離部2は、定常雑音推定部21、振幅スペクトル推定部22、分離フィルタ設計部23及び分離部24を例えば備えている。
ステップS2の処理は、例えばステップS21からステップS24の処理により例えば構成される。これらのステップS21からステップS24の処理は、それぞれ定常雑音推定部21、振幅スペクトル推定部22、分離フィルタ設計部23及び分離部24により実施される。
<<定常雑音推定部21>>
定常雑音推定部21は、定常雑音を以下の式で推定する(ステップS21)。
Tmaxは、忘却係数に相当するパラメータであり、例えば15秒程度に対応するフレーム数などに設定できる。
<<振幅スペクトル推定部22>>
振幅スペクトル推定部22は、メディアンフィルタに基づく分離法を変形し、突発音の振幅スペクトルHω,τ及び持続音の振幅スペクトルPω,τを推定する(ステップS22)。
ここで、αhpは、スペクトルサブトラクションのゲインであり、機器の設置環境に応じてチューニングする。αhpは、所定の正の数である。例えば、αh=2.0,αp=1.4などに設定できる。
なお、ステップS22の変形例として、上式(4)(5)のメディアン(median)の計算の部分を、例えば参考文献2に記載された方法に置き換えても良い。その場合、計算時間は長くなるが、極めて類似した結果および効果を得ることができる。
<<分離フィルタ設計部23>>
分離フィルタ設計部23は、突発/持続音分離フィルタを例えば以下の式で設計する(ステップS23)。
ここで、β>0はフィルタの凹凸の強さを制御するチューニングパラメータである。例えば、β=2に設定でき、この場合はウィナーフィルタと等価である。
さらに、フィルタの調整として、以下の整形処理を行ってもよい。
ここで、γabはフィルタ整形パラメータであり、例えば、γa=0.5,γb=1.4などに設定できる。
<<分離部24>>
分離部24は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとを例えば以下の式で求める(ステップS24)。
<音響特徴量抽出部3>
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップS3)。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。ここで、用いる音響特徴量は両者とも共通でもよいし、異なるものでもよい。
異なる場合は例えば、持続音fh,τではスペクトル包絡を表すMFCCや調波性を表すスペクトルエントロピー、突発音fp,τでは周波数帯域毎の音量の変化を表すΔMFBOなどを用いることができる。
共通のものを使う場合は、振幅スペクトルの情報に大きな変化を与えないMFBOや、スペクトル包絡情報を表すMFCCなどが候補となる。この場合、フィルタバンク数(i.e. 特徴量次元)はB=24などに設定できる。
抽出された音響特徴量は、モデル学習部4に出力される。
<モデル学習部4>
モデル学習部4は、抽出された音響特徴量を用いて、2種以上の信号のそれぞれの正常時のモデルを学習する(ステップS4)。
この例では、モデル学習部4は、持続音の音響特徴量fp,{1,...,T}を使って、持続音の確率分布pp(fp)を計算(学習)する。ここで、確率分布の種類は任意であるが、突発音はフレームごとの変化が急峻であるため、フレームごとに独立に尤度計算できる確率分布が望ましい。
この確率分布の例として、混合ガウス分布(GMM)などを用いることができる。GMMの学習は、EMアルゴリズム(例えば、参考文献3参照。)等で実行することができる。
〔参考文献3〕小西貞則, “多変量解析入門, 付録C EM アルゴリズム” pp.294-298, 岩波書店, 2010.
また、この例では、モデル学習部4は、持続音の音響特徴量fh,{1,...,T}を使って、持続音の確率分布ph(fh)を計算(学習)する。ここで、確率分布の種類は任意であるが、持続音はフレームごとの変化がなだらかであるため、系列データをよく表現できる確率分布が望ましい。
この確率分布の例として、隠れマルコフモデル(HMM)などを用いることができる。HMMの学習は、Bawm-Welchのアルゴリズム併用することで、EMアルゴリズム(例えば、参考文献4参照。)等で実行することができる。
〔参考文献4〕C.M. ビショップ, “パターン認識と機械学習(下) 13 章系列データ” pp.333-347, 丸善出版, 2012.
[異常音検出装置及び方法]
以下、図面を参照して、異常音検出装置及び方法の一実施形態について説明する。異常音検出装置は、図5に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3、異常度計算部5、統合異常度計算部7及び異常判定部6を例えば備えている。異常音検出装置の各部が、図6の各ステップの処理を行うことにより、異常音検出方法が実現される。
異常音検知したい機械の動作音をM≧1チャネルのマイクロホンで観測する。観測により得られた観測信号は、周波数領域変換部1に出力される。
<周波数領域変換部1>
周波数領域変換部1は、入力された観測信号に基づいて周波数領域の信号を生成する(ステップA1)。生成された周波数領域の信号は、分離部2に出力される。周波数領域変換部1は、例えば、入力された観測信号から振幅スペクトルXω,τを求める。
周波数領域変換部1のステップA1の処理は、学習データに対する異常音検出学習装置の周波数領域変換部1のステップS1の処理と同様であるため、ここでは重複説明を省略する。
<分離部2>
分離部2は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップA2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。分離部2は、例えば、入力された周波数領域の信号である振幅スペクトルXω,τから、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pを求める。
分離部2のステップA2の処理は、正常動作時の周波数領域の信号に対する異常音検出学習装置の分離部2のステップS2の処理と同様であるため、ここでは重複説明を省略する。
<音響特徴量抽出部3>
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップA3)。抽出された音響特徴量は、異常度計算部5に出力される。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。
音響特徴量抽出部3のステップA3の処理は、異常音検出学習装置の音響特徴量抽出部3のステップS3の処理と同様であるため、ここでは重複説明を省略する。
<異常度計算部5>
異常度計算部5は、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する(ステップA4)。ここで、ある信号の異常度は、その信号が異常であることを表す指標である。計算された異常度は、統合異常度計算部7に出力される。
例えば、異常度計算部5は、異常音検出学習装置のモデル学習部4で学習した確率分布pp(fp)を用いて、観測信号から抽出された、現在フレームτ′の突発音の音響特徴量f′p,τ′の出力確率pp(f′p,τ′)を計算する。pp(f′p,τ′)が突発音の信号の異常度となる。
また、異常度計算部5は、例えば、異常音検出学習装置のモデル学習部4で学習した確率分布ph(fh)を用いて、観測信号から抽出された、現在フレームτ′の持続音の音響特徴量f′h,τ′の出力確率ph(f′h,τ′)を計算する。ph(f′h,τ′)が持続音の信号の異常度となる。
<統合異常度計算部7>
統合異常度計算部7は、計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する(ステップA6)。
Nを2以上の整数として、分離部2において、N種類の信号に分離され、音響特徴量抽出部3においてN種類に分離された信号から音響特徴量f′n,τ′(n∈1,...,N)が抽出されたとする。また、異常度計算部5において、異常音検出学習装置のモデル学習部4においてN種類の信号のそれぞれに対して学習された正常動作音時のモデルpn(fn)(n∈1,...,N)を用いて、異常度pn(f′n,τ′) (n∈1,...,N)が計算されたとする。
この場合、統合異常度計算部7は、例えば以下の式により異常度を計算する。
ここで、0≦ζn≦1,Σn=1 Nζn=1は、N種類の信号の異常度の重みを調整するパラメータである。
分離部2において分離された2種以上の信号が、突発音の信号と持続音の信号である場合には、統合異常度計算部7は例えば式(2)を使って、現在フレームτ′の異常度Lτ′を計算する。ここで、ζは機械や環境に合わせて調整すべきだが、例えば0.5〜0.6の間に設定できる。
<異常判定部6>
異常判定部6は、計算された統合異常度を用いて入力された周波数領域の信号が異常であるかを判定する(ステップA5)。
例えば、異常判定部6は、現在フレームτ′の異常度Lτ′が閾値θ以上なら、「異常」と出力する。閾値θは機械や環境に合わせて調整すべきだが、例えば1500の程度に設定できる。
なお、異常判定部6は、音声区間判別と同様に、判別誤りをヒューリスティックなルールで抑制する「ハングオーバー」も用いることができる。
ハングオーバー処理としては、様々なものが考えられるが、異常音の誤検知の種類に応じてハングオーバー処理を設定すべきである。
その一例として、例えば、雑音抑圧時に発生するミュージカルノイズを、突発的な異常音と判定することがある。突発的なぶつかり音などは、100ms以上スペクトル形状に変化が出ることが多いため、┌(100/STFT のフレームシフト幅)┐フレーム連続してLτ′がθ以上となる。ここで、┌・┐は天井関数を意味する。すなわち、┌・┐は・の小数点以下を切り捨てた数である。しかし、ミュージカルノイズは当該フレームだけに異常な振幅スペクトル値が発生するため、連続してLτ′がθ以上となるのは高々数フレームである。そこで、異常判定のルールを、「連続してF1フレーム以上Lτ′が閾値θ以上なら、「異常」と出力する。」などに設定することができる。
その他の例として、異常音の音量が小さいために、Lτ′がθ-ε程度で長時間続くことも考えられる(1>>ε>0)。そういった場合には、持続的な異常音のための判定ルールとして、「直近F2フレームのLτ′の総和がθL以上であれば、異常音として検知する。」などのルールを追加できる。ここで、θLは、チューニングにより決定すべきだが、例えばθL=F2×(θ-250)程度に設定できる。
このように、異常判定部6は、2個以上の時間区間の周波数領域の信号のそれぞれに基づいて計算された統合異常度を用いて周波数領域の信号が異常であるかを判定してもよい。
[プログラム及び記録媒体]
異常音検出装置又は異常音検出学習装置における各処理をコンピュータによって実現する場合、異常音検出装置又は異常音検出学習装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
[変形例]
関連文書検索装置及び方法並びにモデル作成装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
例えば、工場などに設置された大型の製造機・造型機から異常音を検知することにより、故障への対処の迅速化や、故障予知が可能になる。産業、特に製造業の効率化に寄与することができる。
1 周波数領域変換部
2 分離部
21 定常雑音推定部
22 振幅スペクトル推定部
23 分離フィルタ設計部
24 分離部
3 音響特徴量抽出部
4 モデル学習部
5 異常度計算部
6 異常判定部
7 統合異常度計算部

Claims (10)

  1. 入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、
    上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
    ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記2種以上の信号のそれぞれの正常時のモデルを用いて上記2種以上の信号のそれぞれの異常度を計算する異常度計算部と、
    上記計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部と、
    上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定部と、
    を含む異常音検出装置。
  2. 請求項1の異常音検出装置において、
    上記2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である、
    異常音検出装置。
  3. 請求項1又は2の異常音検出装置において、
    上記2種以上の信号は、持続音の信号と突発音の信号とである、
    異常音検出装置。
  4. 請求項1から3の異常音検出装置において、
    上記異常判定部は、2個以上の時間区間の周波数領域の信号のそれぞれに基づいて上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する、
    異常音検出装置。
  5. 入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離部と、
    上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
    上記抽出された音響特徴量を用いて、上記2種以上の信号のそれぞれの正常時のモデルを学習するモデル学習部と、
    を含む異常音検出学習装置。
  6. 請求項5の異常音検出学習装置において、
    上記2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である、
    異常音検出学習装置。
  7. 請求項5又は6の異常音検出学習装置において、
    上記2種以上の信号は、持続音の信号と突発音の信号とである、
    異常音検出学習装置。
  8. 分離部が、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離ステップと、
    音響特徴量抽出部が、上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
    異常度計算部が、ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記2種以上の信号のそれぞれの正常時のモデルを用いて上記2種以上の信号のそれぞれの異常度を計算する異常度計算ステップと、
    統合異常度計算部が、上記計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算ステップと、
    異常判定部が、上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定ステップと、
    を含む異常音検出方法。
  9. 分離部が、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する分離ステップと、
    音響特徴量抽出部が、上記2種以上の信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
    モデル学習部が、上記抽出された音響特徴量を用いて、上記2種以上の信号のそれぞれの正常時のモデルを学習するモデル学習ステップと、
    を含む異常音検出学習方法。
  10. 請求項1から4の何れかの異常音検出装置又は請求項5から7の異常音検出学習装置の各部としてコンピュータを機能させるためのプログラム。
JP2015219042A 2015-11-09 2015-11-09 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム Active JP6377592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015219042A JP6377592B2 (ja) 2015-11-09 2015-11-09 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015219042A JP6377592B2 (ja) 2015-11-09 2015-11-09 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017090606A true JP2017090606A (ja) 2017-05-25
JP6377592B2 JP6377592B2 (ja) 2018-08-22

Family

ID=58770649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015219042A Active JP6377592B2 (ja) 2015-11-09 2015-11-09 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6377592B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036112A (ja) * 2017-08-15 2019-03-07 日本電信電話株式会社 異常音検知装置、異常検知装置、プログラム
KR101996489B1 (ko) * 2017-12-28 2019-07-04 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치
WO2020026829A1 (ja) * 2018-07-31 2020-02-06 パナソニックIpマネジメント株式会社 音データ処理方法、音データ処理装置及びプログラム
WO2020031570A1 (ja) * 2018-08-10 2020-02-13 日本電信電話株式会社 異常検知装置、確率分布学習装置、自己符号化器学習装置、データ変換装置、プログラム
KR20200052421A (ko) * 2018-10-25 2020-05-15 한국외국어대학교 연구산학협력단 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법
JP2020527816A (ja) * 2017-07-13 2020-09-10 アナンド デシュパンデAnand Deshpande 機械操作の音声ベースの監視のためのデバイスおよびその操作方法
CN112116924A (zh) * 2019-06-21 2020-12-22 株式会社日立制作所 异常音检测系统、伪音生成系统及伪音生成方法
WO2020255299A1 (ja) * 2019-06-19 2020-12-24 日本電信電話株式会社 異常度推定装置、異常度推定方法、プログラム
WO2021019671A1 (ja) * 2019-07-30 2021-02-04 日本電信電話株式会社 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
WO2021019672A1 (ja) * 2019-07-30 2021-02-04 日本電信電話株式会社 異常度推定装置、異常度推定方法、およびプログラム
JP2021124887A (ja) * 2020-02-04 2021-08-30 株式会社日立製作所 音響診断方法、音響診断システム、及び音響診断プログラム
CN113379176A (zh) * 2020-03-09 2021-09-10 中国移动通信集团设计院有限公司 电信网络异常数据检测方法、装置、设备和可读存储介质
KR20210129500A (ko) * 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 표면 실장 부품 조립 장비의 작동 오류 검출 장치
KR20220020238A (ko) * 2019-06-18 2022-02-18 엘지전자 주식회사 음성인식 로봇에 사용되는 사운드 처리방법
CN117454300A (zh) * 2023-12-21 2024-01-26 广东美的制冷设备有限公司 电机异音检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844695A (ja) * 1994-08-02 1996-02-16 Hitachi Zosen Corp 音源の識別方法
JP2001108518A (ja) * 1999-08-03 2001-04-20 Mitsui Eng & Shipbuild Co Ltd 異常検知方法および装置
JP2009210888A (ja) * 2008-03-05 2009-09-17 Univ Of Tokyo 音信号の分離方法
JP2014123011A (ja) * 2012-12-21 2014-07-03 Sony Corp 雑音検出装置および方法、並びに、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844695A (ja) * 1994-08-02 1996-02-16 Hitachi Zosen Corp 音源の識別方法
JP2001108518A (ja) * 1999-08-03 2001-04-20 Mitsui Eng & Shipbuild Co Ltd 異常検知方法および装置
JP2009210888A (ja) * 2008-03-05 2009-09-17 Univ Of Tokyo 音信号の分離方法
JP2014123011A (ja) * 2012-12-21 2014-07-03 Sony Corp 雑音検出装置および方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.FITZGERALD: "HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING", PROC.OF THE 13TH INT.CONFERENCE ON DIGITAL AUDIO EFFECTS,2010, JPN7018000498, 2010, IE, pages 1 - 4, ISSN: 0003743030 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020527816A (ja) * 2017-07-13 2020-09-10 アナンド デシュパンデAnand Deshpande 機械操作の音声ベースの監視のためのデバイスおよびその操作方法
JP2019036112A (ja) * 2017-08-15 2019-03-07 日本電信電話株式会社 異常音検知装置、異常検知装置、プログラム
KR101996489B1 (ko) * 2017-12-28 2019-07-04 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치
WO2020026829A1 (ja) * 2018-07-31 2020-02-06 パナソニックIpマネジメント株式会社 音データ処理方法、音データ処理装置及びプログラム
US11830518B2 (en) 2018-07-31 2023-11-28 Panasonic Intellectual Property Management Co., Ltd. Sound data processing method, sound data processing device, and program
JPWO2020026829A1 (ja) * 2018-07-31 2021-08-02 パナソニックIpマネジメント株式会社 音データ処理方法、音データ処理装置及びプログラム
WO2020031570A1 (ja) * 2018-08-10 2020-02-13 日本電信電話株式会社 異常検知装置、確率分布学習装置、自己符号化器学習装置、データ変換装置、プログラム
KR102179040B1 (ko) * 2018-10-25 2020-11-16 한국외국어대학교 연구산학협력단 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법
KR20200052421A (ko) * 2018-10-25 2020-05-15 한국외국어대학교 연구산학협력단 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법
KR102636002B1 (ko) 2019-06-18 2024-02-08 엘지전자 주식회사 음성인식 로봇에 사용되는 사운드 처리방법
KR20220020238A (ko) * 2019-06-18 2022-02-18 엘지전자 주식회사 음성인식 로봇에 사용되는 사운드 처리방법
WO2020255299A1 (ja) * 2019-06-19 2020-12-24 日本電信電話株式会社 異常度推定装置、異常度推定方法、プログラム
JPWO2020255299A1 (ja) * 2019-06-19 2020-12-24
JP7231027B2 (ja) 2019-06-19 2023-03-01 日本電信電話株式会社 異常度推定装置、異常度推定方法、プログラム
CN112116924A (zh) * 2019-06-21 2020-12-22 株式会社日立制作所 异常音检测系统、伪音生成系统及伪音生成方法
CN112116924B (zh) * 2019-06-21 2024-02-13 株式会社日立制作所 异常音检测系统、伪音生成系统及伪音生成方法
WO2021019672A1 (ja) * 2019-07-30 2021-02-04 日本電信電話株式会社 異常度推定装置、異常度推定方法、およびプログラム
JPWO2021019672A1 (ja) * 2019-07-30 2021-02-04
WO2021019671A1 (ja) * 2019-07-30 2021-02-04 日本電信電話株式会社 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
JPWO2021019671A1 (ja) * 2019-07-30 2021-02-04
JP7188597B2 (ja) 2019-07-30 2022-12-13 日本電信電話株式会社 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
JP7188598B2 (ja) 2019-07-30 2022-12-13 日本電信電話株式会社 異常度推定装置、異常度推定方法、およびプログラム
JP7304301B2 (ja) 2020-02-04 2023-07-06 株式会社日立製作所 音響診断方法、音響診断システム、及び音響診断プログラム
JP2021124887A (ja) * 2020-02-04 2021-08-30 株式会社日立製作所 音響診断方法、音響診断システム、及び音響診断プログラム
CN113379176B (zh) * 2020-03-09 2023-12-19 中国移动通信集团设计院有限公司 电信网络异常数据检测方法、装置、设备和可读存储介质
CN113379176A (zh) * 2020-03-09 2021-09-10 中国移动通信集团设计院有限公司 电信网络异常数据检测方法、装置、设备和可读存储介质
KR20210129500A (ko) * 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 표면 실장 부품 조립 장비의 작동 오류 검출 장치
KR102344426B1 (ko) * 2020-04-20 2021-12-27 한국외국어대학교 연구산학협력단 표면 실장 부품 조립 장비의 작동 오류 검출 장치
CN117454300A (zh) * 2023-12-21 2024-01-26 广东美的制冷设备有限公司 电机异音检测方法、装置、电子设备及存储介质
CN117454300B (zh) * 2023-12-21 2024-04-05 广东美的制冷设备有限公司 电机异音检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP6377592B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
JP6377592B2 (ja) 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
JP6709277B2 (ja) 異常音検出装置、異常音検出学習装置、異常音サンプリング装置、これらの方法及びプログラム
WO2018150616A1 (ja) 異常音検出装置、異常度計算装置、異常音生成装置、異常音検出学習装置、異常信号検出装置、異常信号検出学習装置、これらの方法及びプログラム
Wang et al. A deep neural network for time-domain signal reconstruction
Drugman et al. Voice activity detection: Merging source and filter-based information
CN109643552B (zh) 用于可变噪声状况中语音增强的鲁棒噪声估计
JP5411936B2 (ja) 音声信号区間推定装置と音声信号区間推定方法及びそのプログラムと記録媒体
CN109034046B (zh) 一种基于声学检测的电能表内异物自动识别方法
CN107004409A (zh) 利用运行范围归一化的神经网络语音活动检测
JP6967197B2 (ja) 異常検出装置、異常検出方法及びプログラム
Colangelo et al. Enhancing audio surveillance with hierarchical recurrent neural networks
Lee et al. Detecting pathological speech using contour modeling of harmonic-to-noise ratio
TW202117704A (zh) 語音事件偵測裝置及方法
JP2017067929A (ja) 学習装置、識別装置、その方法、およびプログラム
JP6404780B2 (ja) ウィナーフィルタ設計装置、音強調装置、音響特徴量選択装置、これらの方法及びプログラム
JP4755555B2 (ja) 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体
CN115223584B (zh) 音频数据处理方法、装置、设备及存储介质
Arslan A new approach to real time impulsive sound detection for surveillance applications
KR101327572B1 (ko) 음성 존재 확률을 이용한 코드북 기반 음성 향상 방법 및 그 장치
Dov et al. Voice activity detection in presence of transients using the scattering transform
Kalus et al. Distributed robust change point detection for autoregressive processes with an application to distributed voice activity detection
Prasad et al. Gender based emotion recognition system for telugu rural dialects using hidden markov models
Ishizuka et al. A feature for voice activity detection derived from speech analysis with the exponential autoregressive model
KR101124712B1 (ko) 비음수 행렬 인수분해 기반의 음성 검출 방법
Chowdhury et al. A highly non-stationary noise tracking and compensation algorithm, with applications to speech enhancement and on-line ASR

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6377592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150