JP2023049213A - 異常音判定方法、異常音判定プログラム及び異常音判定システム - Google Patents

Abstract

【課題】点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システムを提供する。【解決手段】異常音判定方法は、音データを取得する取得工程と、音データを人の聴別能力に倣って調整するフィルタ処理工程と、調整後の音データを機械学習用の入力データとして生成するデータ生成工程と、を含む。【選択図】図２

Description

本開示は、異常音判定方法、異常音判定プログラム及び異常音判定システムに関する。

従来から、構造物における検査方法として、コンクリートを打音検査してその打音から構造物の異常を検知し、コンクリートの浮きや腐食等を検知する方法が提案されている。例えば、非特許文献１には、ハンマー等による打音のデジタル化と、収集、蓄積、分析を可能とした異常検知システムが開示されている。

村川正宏著、「人工知能技術による異常検知システムとその産業応用」日本原子力学会誌 Ｖｏｌ．５９，Ｎｏ．６（２０１７）、ｐ．３１～３５

非特許文献１のシステムは、構造物の異常の有無を自動判定させるものであるが、対象物の異常モード等によっては人の点検技能を用いた異常判定を要する場合もある。しかし、近年の点検員の数が減少傾向にあるという状況において、熟練点検員の技能を教授する機会が減少してきており、他の点検員等に対する技能教習が十分に行えないという課題がある。

本開示は、以上の点に鑑み、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システムを提供することを目的とする。

上記した目的を達成するために、本開示に係る異常音判定方法は、音データを取得する取得工程と、前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、を含む異常音判定方法。

上記した目的を達成するために、本開示に係る異常音判定プログラムは、音データを取得する取得工程と、前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、をコンピュータに実行させるための異常音判定プログラム。

上記した目的を達成するために、本開示に係る異常音判定システムは、音データを取得する入力部と、前記音データを人の聴別能力に倣って調整し、調整後の前記音データを機械学習用の入力データとして生成する処理部と、を備える異常音判定システム。

本開示によれば、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システムを提供することができる。

本開示の実施形態に係る異常音判定システムを示す図である。 異常音判定システムにおける処理の概要を示す図である。 異常音判定プログラムの処理を示すフローチャートである。 音データを示す図である。 一次分割データを周波数領域に変換して表した図である。 周波数重み付け特性を示す図である。 １／３オクターブバンドを示す模式図である。 時間重み付け特性を示す図である。 画像データの構成を示す図である。

以下、本開示の実施形態を図面に基づき説明する。図１に示す異常音判定システム１は、音データ２１を取得する入力部１１と、音データ２１の判定結果３（解析結果）を出力する出力部１２と、制御部１３と、記憶部１４とを有する。入力部１１は、有線又は無線による通信手段として外部から音データ２１を取得してもよいし、マイク、振動ピックアップ、振動加速度ピックアップ等のセンサ（集音手段）として機能して外部から集音した音（振動）を電気信号に変換可能に構成されていてもよい。

出力部１２は、後述する異常音判定プログラム２３によって判定された判定結果３を、例えば、ディスプレイに表示させることができ、または、他の装置（例えば、他の表示部若しくはスピーカ）に有線若しくは無線により判定結果３に関するデータを出力することができる。

制御部１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路であり、各種のプログラムを動作させる処理部として機能する。制御部１３は、入力部１１、出力部１２及び記憶部１４の動作を制御する。また、制御部１３は、異常音判定プログラム２３等の各種のプログラムを実行することができる。

記憶部１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、半導体メモリ等の記憶装置である。記憶部１４は、音データ２１、画像データ２２及び異常音判定プログラム２３を記憶する。音データ２１は、入力部１１により取得されたデータである。音データ２１は、異常音を含む異常データと、異常音を含まない非異常音データとを含むことができる。異常音判定プログラム２３に入力させる複数の音データ２１は、異常音判定システム１の用途や機能に応じて、異常データ及び非異常データの一方又は両方を含むことができる。異常音判定プログラム２３は、入力データ生成部２３１と判定部２３２とを含む。入力データ生成部２３１は、音データ２１に基づいて画像データ２２を生成する。画像データ２２は、判定部２３２に入力する入力データとして用いられる。

判定部２３２は、画像データ２２を入力して元の音データ２１に異常音が含まれるか否かの異常判定を行う機能を有する。また、判定部２３２は、入力された画像データ２２を教師データとして用いて機械学習を行うことができる。画像データ２２を教師データとして用いる場合は、この画像データ２２に、元の音データ２１に異常音が含まれているか否かのラベルを含めることができる。なお、異常音判定プログラム２３は、コンピュータが読取可能な記憶媒体（例えば記憶部１４等の記憶装置）に記憶しておくことができる。

また、異常音判定システム１は、一つの装置により構成してもよいし、複数の装置により構成してもよい。例えば、入力部１１、出力部１２、制御部１３及び記憶部１４の一部を異なる複数の装置に配置してもよい。また、異常音判定システム１は、入力部１１、出力部１２、制御部１３及び記憶部１４を互いに重複して含む複数の装置が互いに有線又は無線により通信可能に接続されており、本実施形態で説明する処理を実行可能に構成されていてもよい。また、異常音判定システム１は、異常音判定システム１を制御するためのコンピュータ（不図示）を備える。

図２は、異常音判定システム１における異常音判定方法の概要を示す図である。異常音判定システム１が取得した音データ２１は、入力データ生成部２３１（図１参照）により中間データ（一次分割データ２１ｎ、二次分割データ２１ｎｍ）に変換される。その後、中間データに基づいて画像データ２２が生成される。画像データ２２は、音データ２１毎に対応して複数生成することができる。判定部２３２が画像データ２２の異常判定を行うと、異常音判定システム１は画像データ２２（換言すれば、元の音データ２１）の判定結果３を出力する。

次に、本実施形態の異常音判定方法について説明する。図３は、異常音判定プログラム２３の入力データ生成部２３１における処理を示すフローチャートである。ステップＳ０１で、制御部１３は、入力部１１を介して音データ２１を取得する（取得工程）。音データ２１は、例えば、トンネルの内壁等のコンクリートに対する打音検査を行った際の複数の打音波形２１０（音波形）を含む（図２参照）。音データ２１に複数の打音波形２１０が含まれる場合、制御部１３は、音データ２１から打音波形２１０の一つを抽出することができる。

図４は、音データ２１の打音波形２１０を示す図である。図４の縦軸は音圧［Ｐａ］を示しており、横軸は時間［ｓ］を示している。また、図４の破線は、タイミングＴ０＝０［ｓ］から５０ｍｓ毎に区切ったタイミングを示している。

ステップＳ０２からステップＳ０７のフィルタ処理工程では、制御部１３は、音データ２１を人の聴別能力に倣って調整する処理を行う。

ステップＳ０２で、制御部１３は、時間の調整として、音データ２１をタイミングＴ０から５０ｍｓ毎に分割する時間分割処理を行う。制御部１３は、音データ２１を、発音タイミング（Ｔ０）を含む予め定めた複数の時間領域の区間に分割する。本実施形態では、タイミングＴ０を基準に、－１００ｍｓから＋３００ｍｓまでの区間を、区間（１）～（８）まで８分割した一次分割データ２１１～２１８（以下、纏めて一次分割データ２１ｎ（ｎ＝１～８）という場合がある。）が中間データとして生成される。なお、一次分割データ２１ｎからは、－１００ｍｓよりも前の区間と、＋３００ｍｓの後の区間が除かれている。図４の打音波形２１０は、時間領域に表した場合、おおよそ区間（３）及び区間（４）に亘って音圧値が観測されている。

ステップＳ０３で、制御部１３は、区間（１）から区間（８）に分割した各一次分割データ２１１～２１８を周波数領域のデータに変換する。図５は、周波数領域に変換した一次分割データ２１１～２１８を示す図である。制御部１３は、時間領域の一次分割データ２１１～２１８を、フーリエ変換を用いて周波数領域のデータ（周波数スペクトル）に変換することができる。

ステップＳ０４で、制御部１３は、図６に示される周波数重み付け特性Ｆ１を用いて、周波数領域に変換した一次分割データ２１１～２１８に対し重み付けを行い、音圧レベルの調整を行う。

音データ２１をマイク等で集音した場合、音データ２１には人には聞こえない周波数領域の音まで含まれる場合がある。例えば、点検員が打音検査を行った際の打音波形２１０を想定した場合、人が聞こえない周波数領域の音が含まれる音データ２１を、教師データや被判定データ（纏めて「入力データ」ともいう。）として使用しても、熟練点の検員による判定技能を判定部２３２により再現することが難しい。従って、一次分割データ２１１～２１８を周波数重み付け特性Ｆ１により調整を行う。

図６の周波数重み付け特性Ｆ１は、人の耳に合わせた音圧調整であり、低周波数領域と高周波数領域において聴感度が低いことを示している。従って、制御部１３は、音圧レベルの調整として、音データ２１の周波数毎の音圧レベルの大きさを低周波数領域と高周波数領域において相対的に低下させることで、人の聴感度に倣って重み付けして調整することができる。

ステップＳ０５で、制御部１３は、１／３オクターブバンドパスフィルタにより一次分割データ２１１～２１８（音データ２１）から可聴帯域のデータを抽出して、一次分割データ２１１～２１８（音データ２１）を複数の周波数帯域に分割する周波数帯域の調整を行う。制御部１３は、各一次分割データ２１１～２１８に対して、１／３オクターブとなる周波数間隔のバンドパスフィルタをかけて、複数の帯域（本実施形態では３２区間）で周波数分割した中間データである二次分割データ２１ｎｍ（ｎ＝１～８、ｍ＝１～３２であり、ｎは時分割領域を表し、ｍは周波数分割領域を表す。）を生成する。なお、１オクターブは周波数比が２倍となる周波数間隔である。

図７は、１／３オクターブバンドパスフィルタの各区間［１］～［３２］を示す図である。最も周波数の低い区間［１］は、可聴域と不可聴域の低周波側の境界付近に位置している。また、最も周波数の高い区間［３２］は、人の可聴域と不可聴域の高周波側の境界付近に位置している。

なお、制御部１３は、１／３オクターブバンドパスフィルタに限らず、各一次分割データ２１１～２１８に対して、１／Ｎオクターブ（例えば、Ｎは２４以上の自然数）となる周波数間隔のバンドパスフィルタをかけて、複数の区間で周波数分割した二次分割データ２１ｎｍ（ｎ＝１～８、ｍ＝１～３２であり、ｎは時分割領域を表し、ｍは周波数分割領域を表す。）を生成してもよい。

ステップＳ０６で、制御部１３は、二次分割データ２１ｎｍを時間領域のデータに変換する。制御部１３は、時間領域の二次分割データ２１ｎｍを、逆フーリエ変換を用いて時間領域のデータ（時間スペクトル）に変換することができる。

ステップＳ０７で、制御部１３は、図８に示される時間重み付け特性Ｆ２を用いて、時間領域に変換した二次分割データ２１ｎｍに対し重み付けを行い、音圧レベルの調整を行う（時間重み付け処理）。音の音圧は極めて短時間に変化する。時間重み付け特性Ｆ２は、人の耳の時間応答に近似させた特性（いわゆるＦａｓｔ特性）であり、立ち上がりの時定数τ＝１２５ｍｓの特性を有する。時間重み付け特性Ｆ２の立ち上がりのタイミング（０ｓ）からの傾きは、３４．７ｄＢ／ｓである。なお、時間重み付け処理に用いる特性は、時間重み付け特性Ｆ２に限らない。

ステップＳ０８で、制御部１３は、ステップＳ０２～Ｓ０７のフィルタ処理により取得した二次分割データ２１ｎｍから、図９に示す画像データ２２を生成する（データ生成工程）。調整後の複数の二次分割データ２１ｎｍ（音データ２１）によって、画像データ２２が生成される。画像データ２２は、異常音判定プログラム２３の判定部２３２が読み込み可能な入力データとして用いられる。

画像データ２２は、周波数及び時間の互いに直交する二方向に、周波数帯域の各区間［１］～［３２］及び時間の各区間（１）～（８）に対応する音圧（音圧レベル）をグレースケールの画素値として配置している。各セル２２１の画素値（グレースケールの濃淡）は、音圧レベルを示している。なお、画像データ２２の画素値として用いる音圧レベルは、周波数及び時間で分割した二次分割データ２１ｎｍの音圧の平均値や積分値を用いてもよい。また図９では、説明のため簡易的に３段階の画素値にレベル分けして示している。画素値の大きさ（明るさ）は、セル２２１ａ、セル２２１ｂ、セル２２１ｃの順に大きい。従って、音圧レベルは、セル２２１ａ、セル２２１ｂ、セル２２１ｃの順に大きくなるように対応している。

異常音判定システム１は、入力部１１に入力された一つの音データ２１（具体的には、一つの打音波形２１０を含む音データ）に対応して一つの画像データ２２を生成する。複数の音データ２１からは、それぞれ対応する複数の画像データ２２が生成される。

音データ２１の調整後に生成された画像データ２２は、判定部２３２に機械学習用の教師データとして入力させることができる。なお、画像データ２２を教師データとして用いる場合、教師データとして、画像データ２２に対応する元の音データ２１に異常音が含まれているか否かのラベルを含めることができる。

また、画像データ２２は、学習済の判定部２３２に被判定データとして入力させることができる。制御部１３は、判定部２３２により、入力させた画像データ２２が異常音を含むか否かを判定させることができる。その後、制御部１３は、判定部２３２による画像データ２２（音データ２１）の異常有無の判定結果３を、出力部１２を介して出力することができる。

このように、異常音判定システム１を用いた異常判定方法では、入力データである画像データ２２を、教師データ又は被判定データとして機械学習プログラム（判定部２３２）に入力させる判定工程を含むことができる。

本実施形態では、人の聴別能力に倣って調整された音データ２１を基に判定部２３２を学習させて、その判定部２３２により他の音データ２１の異常音の有無を判定させている。従って、例えば、打音点検の分野において、音データ２１を耳で聴いて判定した被教習者の判定結果と、同じ音データ２１を異常音判定プログラム２３により判定させて得た判定結果３とを比較することで、被教習者は熟練の点検員による判定を想定した判定結果と照合して点検技能の向上を図ることができる。

また、実際の点検作業現場において異常音判定システム１（異常音判定プログラム２３）を用いることで、点検員は他の点検員と同伴しなくても熟練の点検員と同等の判定結果３を参照しながら打音点検作業を行うことができる。そのため、現場で作業を行いながら実地で点検員の点検技能の向上を図ることができる。

なお、本実施形態の異常音判定方法は、Ｇｒａｄ－ＣＡＭにより異常有無の判定根拠を可視化した根拠画像を作成する可視化工程を含んでもよい。Ｇｒａｄ－ＣＡＭは、畳み込みニューラルネットワークの最後の畳み込み層により抽出された特徴量に着目して、機械学習が画像のどの部分を見て判定しているのかを可視化する技術である。例えば、画像データ２２と同じ行列数の画像に、カラーグラデーションにより判定根拠に対する寄与率の多いセルに着色を施した根拠画像を作成及び表示することにより、熟練の点検員が、主にどの周波数及びタイミングの音を、異常有無の判定根拠としているのかを、他の点検員に客観的に把握させることができる。従って、異常音判定プログラム２３を用いて被教習者が教習を受けることで、人による技能教習の機会を十分に得られなくても、どの領域の音を聴別すれば正確な判定が行えるのかを被教習者に習得させることができる。

このように、本開示の実施形態に係る異常音判定システム１において実行可能な異常音判定方法は、音データ２１を取得する取得工程（Ｓ０１）と、音データ２１を人の聴別能力に倣って調整するフィルタ処理工程（Ｓ０２～Ｓ０７の一部又は全部）と、調整後の音データ２１を機械学習用の入力データとして生成するデータ生成工程とを備える構成とした。これにより、入力データを機械学習済の判定プログラム（例えば、判定部２３２）により異常判定させた場合であっても、熟練点検員の異常有無判定に近似した判定結果を得ることができる。このように、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システム１を構成することができる。

また、入力データとして生成した画像データ２２は、可聴域を含めつつ不可聴域が除かれるように調整しているため、聴別技能に関連の低い余分なデータを省いてデータ量の増加を低減することができる。

以上で本開示の実施形態の説明を終えるが、本開示の態様はこの実施形態に限定されるものではない。

例えば、本実施形態のフィルタ処理工程では、音圧レベル、周波数帯域及び時間の全てを調整する構成について説明したが、音データ２１に対して音圧レベル、周波数帯域及び時間の一つ又は複数（一部又は全部を含む）を調整する構成としてもよい。

また、本実施形態では、音データ２１としてコンクリートに対する打音検査の打音波形２１０を含む構成について説明したが、音データ２１は、金属加工音、自動車、電車、新幹線若しくは飛行機等から発せられる機械音、振動音、打音若しくは騒音のいずれか一部又は複数の音波形（図４で示した打音波形２１０に相当）を含んでもよい。音データ２１としては、異常音を含む又は含まない音波形を用いることができる。異常音は、タイヤ音、車等の車体の故障音、路面の異常音等が考えられる。

また、音データ２１は、検査により取得したデータに限らず、その他の任意の手段により取得したデータであってもよい。

また、図３で示した異常音判定方法のステップＳ０２～Ｓ０７の処理の順は、一つの例であり、適宜順番を入れ替えて実行してもよい。

１ 異常音判定システム
３ 判定結果
１１ 入力部
１２ 出力部
１３ 制御部
１４ 記憶部
２１ 音データ
２１ｎ（２１１～２１８） 一次分割データ
２１ｎｍ 二次分割データ
２２ 画像データ
２３ 異常音判定プログラム
２１０ 打音波形
２２１（２２１ａ～２２１ｃ） セル
２３１ 入力データ生成部
２３２ 判定部
Ｆ１ 周波数重み付け特性
Ｆ２ 時間重み付け特性
Ｔ０ タイミング
τ 時定数

Claims (10)

1. 音データを取得する取得工程と、
   前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、
   調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、
   を含む異常音判定方法。
2. 前記フィルタ処理工程は、前記音データに対して音圧レベル、周波数帯域及び時間の一つ又は複数を調整する請求項１に記載の異常音判定方法。
3. 前記フィルタ処理工程では、前記音圧レベル、前記周波数帯域及び前記時間の全てが調整される請求項２に記載の異常音判定方法。
4. 前記フィルタ処理工程は、
   前記音圧レベルの調整として、前記音データの周波数毎の前記音圧レベルの大きさを人の聴感度に倣って重み付けして調整し、
   前記周波数帯域の調整として、１／３オクターブバンドパスフィルタにより前記音データから可聴帯域のデータを抽出して、前記音データを複数の帯域に分割し、
   前記時間の調整として、前記音データを、発音タイミングを含む予め定めた複数の時間領域の区分に分割する、
   請求項３に記載の異常音判定方法。
5. 前記入力データは、前記周波数帯域及び前記時間の互いに直交する二方向に、前記周波数帯域及び前記時間に対応する前記音圧レベルをグレースケールの画素値として配置させた画像データである請求項３又は請求項４に記載の異常音判定方法。
6. 前記音データは、異常音を含む異常データと前記異常音を含まない非異常音データとを含み、
   前記入力データを、教師データ又は被判定データとして機械学習プログラムに入力させる判定工程を含む請求項１から請求項５のいずれか一項に記載の異常音判定方法。
7. 前記音データは、機械音、振動音又は打音のいずれかを含む請求項１から請求項６のいずれか一項に記載の異常音判定方法。
8. Ｇｒａｄ－ＣＡＭにより異常有無の判定根拠を可視化した根拠画像を作成する可視化工程を含む請求項１から請求項７のいずれか一項に記載の異常音判定方法。
9. 音データを取得する取得工程と、
   前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、
   調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、
   をコンピュータに実行させるための異常音判定プログラム。
10. 音データを取得する入力部と、
    前記音データを人の聴別能力に倣って調整し、調整後の前記音データを機械学習用の入力データとして生成する処理部と、
    を備える異常音判定システム。
    

Images