JP2020144063A - 音響又は振動の判定方法及び判定のための情報処理システム - Google Patents

Abstract

【課題】 多様な診断対象について容易に適切な判定ができるようにする。【解決手段】本判定方法は、判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別するステップと、予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部のうち、判別された判定対象の音又は振動の種別に対応する判定部を選択するステップと、選択された判定部により上記データを処理して、判定対象の状態を判定するステップとを含む。【選択図】図１

Description

本発明は、音響又は振動による機械などの診断技術に関する。

近年、診断対象の機械などの状態（例えば正常状態と異常状態の別など）を、診断対象の機械などが発する音や振動を解析することで自動的に判定することが行われている。しかしながら、診断対象の機械などが発する音や振動は、診断対象の機械などによって異なるので、同一の診断ロジックでは対応できない。

また、ある文献（例えば特許文献１）には、診断対象からの評価すべき音を収集する収音部と、収音部で収集された音波形を演算・抽出する波形抽出部と、予め登録された複数の基準波形で表される原因別基準空間における評価すべき音波形の空間距離を演算する空間距離演算部と、空間距離演算部から出力される距離演算結果に基づいて評価すべき音を解析して判断する解析判断部とを有する音源診断装置が開示されている。そして、解析判断部は、所定の診断タイミングにて取り込んだ評価すべき音の複数の空間距離データの変動範囲が許容範囲内にあるか否かにより、評価すべき音を診断する、とされている。この文献では、複写機などの事務機器を診断対象としているため、原因別基準空間にて空間距離を計算するが、その後は空間距離の変動範囲が許容範囲内にあるか否かにて評価するだけである。

複写機などの事務機器という特定の機器であれば、特定の機器のいずれの状態にも対応できる上記のような診断装置を用意すれば良いが、診断対象の機械などが発する音や振動に詳しくない者は、どの機械などにどの診断ロジックが適しているのか分からないことが多い。診断対象の機械などに適した診断ロジックを適用しなければ、その状態について適切な判定を自動的に行うことができない。

特開２００４−２０５２１５号公報 特開２００４−３０９４４９号公報 特開２００９−１８６２７３号公報

従って、本発明の目的は、一側面によれば、多様な診断対象について容易に適切な判定ができるようにするための技術を提供することである。

本発明に係る判定方法は、（Ａ）判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別するステップと、（Ｂ）予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部のうち、判別された判定対象の音又は振動の種別に対応する判定部を選択するステップと、（Ｃ）選択された判定部により上記データを処理して、判定対象の状態を判定するステップとを含む。

一側面によれば、多様な診断対象について容易に適切な判定ができるようになる。

図１は、実施の形態に係るシステムの概要を示す図である。 図２は、分析部の構成例を示す図である。 図３（ａ）乃至（ｃ）は、音量の時系列データの例を示す図である。 図４は、判定部の構成例を示す図である。 図５は、実施の形態に係る処理フローを示す図である。

本発明の一実施の形態に係るシステム構成例を図１に示す。

本実施の形態に係る情報処理装置１００は、マイク１と、アンプ部３と、ＡＤ（Analog-Digital）変換部５と、分析部７と、音種別判別部９と、判別用データベース１１と、切替部１３と、打音判定部１５と、回転音判定部１７と、摺動音判定部１９と、出力部２１とを有する。なお、ここでは、打音と回転音と摺動音とに対応することを想定しているが、流音などの他の音に対応する場合には、そのための判定部を追加することになる。また、判別用データベース１１にもそのためのデータを追加する。

マイク１は、集音した音入力信号をアンプ部３に出力する。アンプ部３は、音入力信号を増幅して、音信号Ｘ（ｔ）をＡＤ変換部５に出力する。ＡＤ変換部５は、音信号Ｘ（ｔ）に対してＡ／Ｄ変換を行って、入力音データ｛ｘ_i｝を生成し、分析部７に出力する。

分析部７は、例えば、図２に示した構成を有する。分析部７は、フレーム分割部７１と、音量計算部７３と、切り出し部７５とを有する。

フレーム分割部７１は、入力音データ｛ｘ_i｝を予め設定されているフレーム周期（フレーム幅とも呼ぶ）毎に分割して、フレーム毎の入力音データを音量計算部７３に出力する。音量計算部７３は、フレームｊ毎に、音量ｐ_jを算出し、切り出し部７５に出力する。切り出し部７５は、音量ｐ_jの時系列データのうち閾値Ｔhp以上となっている部分を切り出して、音種別判別部９に出力する。

判別用データベース１１は、判別すべき音の種別毎に、音量の時系列データを格納している。例えば、予め、判定すべき音の種別毎に、標準音をマイク１から入力してＡＤ変換部５で入力音データを生成し、分析部７で音量の時系列データを生成して、格納しておく。

判別用データベース１１に格納される音量の時系列データの例を図３に示す。図３（ａ）は、打音の場合における音量の時間変化例を示し、図３（ｂ）は、回転音の場合における音量の時間変化例を示し、図３（ｃ）は、摺動音の場合における時間変化例を示す。打音の場合、インパクト部に音量が集中するようになっている。回転音の場合、だんだん音量が増す加速部と、定常的な音量が継続する定常回転部と、だんだん音量が減少する減速部とを含む。摺動音の場合、音量が小さい停止部の間に音量の大きい摺動部が挟まれるようになっている。このように、音種別毎に、その音種別に特徴的な音量の時間変化が発生する。音量以外の音色に関するスペクトルの情報は、このような特徴を有する音種別を判別するためには用いられない。これは、装置の機種毎に音色が異なっており、機種毎に判別用のデータを用意するのは現実的ではないためである。音量の時間変化は、機種に依存せず、判定対象の構造や動作との対応関係を表す情報である。

音種別判別部９は、判別用データベース１１に格納されている音種別毎の音量の時系列データと、分析部７から出力された判定対象の音量ｐ_jの時系列データとについて、距離又は類似度の計算を実行し、例えば最も距離が短い又は類似度が最大となる音種別を判別する。そして、音種別判別部９は、判別した音種別に対応する判定部に対してＡＤ変換部５の出力を処理させるように、切替部１３に出力する。

切替部１３は、音種別判定部９からの出力に応じて、ＡＤ変換部５の出力を、打音判定部１５と回転音判定部１７と摺動音判定部１９とのうちいずれかに入力する。

打音判定部１５と回転音判定部１７と摺動音判定部１９には、それぞれ打音、回転音、摺動音について、例えば正常状態と異常状態の何れであるかを判断するためのロジックが組み込まれている。

判定部の基本構成例を図４に示す。

上で述べた判定部（１５−１９）は、第２分析部３１と、照合部３３と、状態判定部３５と、判定用データベース３７とを有する。

第２分析部３１は、入力音データから特定の音種別に係る特徴部分を切り出し、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）等を実行して、スペクトルデータを生成し、当該スペクトルデータに対して所定の分析処理を実行する。音種別が打音であれば、打音によるインパクト部を切り出して分析処理を実行する。音種別が回転音であれば、加速部、減速部、定常回転分を切り出し、それぞれについて分析処理を実行する。音種別が摺動音であれば、摺動部を切り出し、分析処理を実行する。

判定用データベース３７は、特定の音種別に係る正常音の分析結果を格納している。すなわち、音種別が打音であれば、正常な打音のインパクト部のスペクトルデータに対する分析結果を格納している。音種別が回転音であれば、正常な回転音の加速部、減速部、定常回転部のそれぞれのスペクトルデータに対する分析結果を格納している。音種別が摺動音であれば、正常な摺動音の摺動部のスペクトルデータについての分析結果を格納している。

照合部３３は、第２分析部３１の分析結果と、判定用データベース３７に格納されている正常状態についての分析結果とを照合して、予め定義された距離又は類似度を算出し、状態判定部３５に出力する。状態判定部３５は、距離又は類似度を予め定められた閾値とを比較して、例えば正常か否かを判定する。すなわち、距離が閾値を超える場合や類似度が閾値未満であれば、異常と判断する。そして、状態判定部３５は、出力部２１に出力する。出力部２１は、例えば表示装置などに、判定結果を出力する。

このような判定部の構成は一例であって、様々なロジックにて適切に判定対象の状態を判定できる構成を採用できる。例えば、機械学習によって予め正常な音と異常な音とを学習させておき、この学習済みモデルにて、正常か否かを判断するようにしても良い。

次に、情報処理装置１００の動作内容を図５を用いて説明する。

まず、マイク１からの音入力信号をアンプ部３で増幅し、ＡＤ変換部５で音信号Ｘ（ｔ）をディジタル化して入力音データ｛ｘ_i｝を生成する（ステップＳ１）。

ＡＤ変換部５では、標本化定理に基づき標本化周波数（サンプリング周波数）が、入力音に含まれる最高周波数成分の周波数の２倍以上に設定される。例えば入力音に５ＫＨｚまでの成分が含まれている場合、標本化周波数はその２倍の１０ＫＨｚ以上に設定される。標本化周波数が１０ＫＨｚの場合には、標本化間隔（ｘ_iとｘi+1の時間間隔）は0.0001秒となる。

次に、分析部７のフレーム分割部７１は、入力音データ｛ｘ_i｝をフレーム分割して、音量計算部７３は、フレーム毎に音量計算を実行して、音量ｐ_jの時系列データを生成する（ステップＳ３）。

フレーム周期は、音量の変化の最高周波数の２倍以上の周波数の逆数に設定される。例えば音量の変化の最高周波数が５Ｈｚの場合、フレームの周波数は１０Ｈｚ以上となり、フレーム周期は０．１秒以下（上記の標本化周波数が１０ＫＨｚである場合、入力音データ１０００個以下）となる。

音量計算部７３は、フレームｊ毎に下記の式に従って音量ｐ_j（ｄＢ値）を算出する。
ｐ_j＝１０×log₁₀（Σ_{k∈frame j}ｘ_k ²）

これによって、フレーム毎の音量が計算され、音量の時間変化が得られる。

さらに、切り出し部７５は、音量の時系列データを所定の閾値Ｔhpで切り出す（ステップＳ５）。すなわち、音量ｐ_jの時系列データのうち閾値Ｔhp以上となっている部分を切り出して、音種別判別部９に出力する。

そして、音種別判別部９は、判別用データベース１１に登録された各音種別の音量時系列データに対して、分析部７から出力された音量の時系列データとの距離又は類似度を計算する（ステップＳ７）。

一般に、判別用データベース１１に登録されている音量時系列データと、分析部７からの音量の時系列データとでは、長さ（フレーム数）が異なるので、例えば後者について線形伸縮させてから距離又は類似度の計算を行う。または、動的計画法を用いて最適な非線形伸縮を行ってから距離又は類似度の計算を行うようにしても良い。

音種別判別９は、算出した距離又は類似度に基づき音種別を判別する（ステップＳ９）。例えば、最も距離が短い又は最も類似度が大きい音種別を特定する。但し、特定された音種別の距離が判別閾値より長い場合や、類似度が判別閾値より小さい場合には、適切に判別できていない可能性がある。

従って、音種別判別部９は、ステップＳ９で音種別が判別できたか否かを判断する（ステップＳ１１）。例えば、特定された音種別の距離が判別閾値以下である場合、類似度が判別閾値以上である場合には判別できたものとし、それ以外については判別できなかったものとする。

判別できなかった場合には、音種別判別部９は、ユーザに対して音種別が判別できなかったことを示して、音種別を入力するように促す。例えば、最も距離が短い又は最も類似度が大きい音種別を提示しても良い。ユーザは、これに対して適切な音種別を指定する。音種別判別部９は、この指定を受け付ける（ステップＳ１３）。

判別できた場合又はステップＳ１３の後に、音種別判別部９は、判別又は指定された音種別を切替部１３に出力する。

切替部１３は、判別又は指定された音種別の判定部に、入力音データを出力する（ステップＳ１５）。入力音データが入力された判定部は、入力音データに基づき状態の判定処理を実行する（ステップＳ１７）。打音判定部１５、回転音判定部１７、摺動音判定部１９のいずれかが判定処理を実行する。処理結果については、出力部２１が、表示装置などに出力する。

このような情報処理装置１００を用いることで、機械などの音又は振動に詳しくない作業者でも、適切に機械などの状態を判定できるようになる。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図１、図２及び図４の機能ブロック構成は一例であって、プログラムモジュール構成とは一致しない場合がある。図５に示した処理フローについても、処理結果が同じであれば、並列実行したり順番を入れ替えたりしても良いステップが含まれる場合もある。

上では、音を対象とするためマイク１を設けているが、振動を対象とする場合には、振動センサを代わりに用いれば良い。また、判別用データベース１１にはそのための時系列データを蓄積しておく。判定部（１５−１９）についても、そのための判定部を用意する。

また、打音、回転音、摺動音がそれぞれ１種類の場合を示したが、それぞれについて１又は複数種類（例えば回転音１（例えば観覧車の回転音）と回転音２（例えば模型用小型モータ）とを区別するなど）対応可能な形にしても良い。上でも述べたが、音種別については追加又は変更しても良い。

また、情報処理装置１００は、一台の装置として実施される場合もあれば、複数の装置として実施される場合もある。例えば、マイク１及びＡＤ変換部５を、判定対象の装置付近に配置して、それ以外の構成要素については他の場所に配置するようにしても良い。このように情報処理装置１００は、１又は複数の装置で実現される情報処理システムとして構築される場合もあり、１台の装置の場合を含めて情報処理システムと呼ぶ場合がある。

なお、上で述べた情報処理装置１００は、コンピュータ装置であって、メモリとＣＰＵ（Central Processing Unit）とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）と表示装置に接続される表示制御部とリムーバブル・ディスク用のドライブ装置と入力装置とネットワークに接続するための通信制御部とがバスで接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤに格納されており、ＣＰＵにより実行される際にはＨＤＤからメモリに読み出される。ＣＰＵは、アプリケーション・プログラムの処理内容に応じて表示制御部、通信制御部、ドライブ装置を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリに格納されるが、ＨＤＤに格納されるようにしてもよい。本発明の実施の形態では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ドライブ装置からＨＤＤにインストールされる。インターネットなどのネットワーク及び通信制御部を経由して、ＨＤＤにインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ、メモリなどのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると以下のようになる。

本実施の形態に係る情報処理システムは、（Ａ）予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部と、（Ｂ）判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別する判別部と、（Ｃ）複数の判定部のうち、判別された判定対象の音又は振動の種別に対応する判定部に上記データを処理させる切替部とを有する。このようにすることで、想定されている複数の判定対象のうち、今回の判定対象に応じた適切な判定部が自動的に選択されて適切な判定が行われるようになる。上でも述べたが、音又は振動の種別は、打音、回転音、摺動音といった種別だけではなく、それらの少なくともいずれかに含まれる複数の下位の種別をも判別するようにしても良い。また、複数の下位の種別のいずれかであることを判別するようにしても良い。

なお、上で述べた判別部は、（ｂ１）上記データから、判定対象の音又は振動の量の時間変化を算出し、（ｂ２）判定対象の音又振動の量の時間変化と、予め記憶装置に記憶されている複数の種別についての音又は振動の量の時間変化との距離又は類似度に基づき、判定対象の音又は振動の種別を判別するようにしても良い。音量又は振動量の時間変化が、種別を判別する上で重要なパラメータであるためである。

なお、上記処理を実行するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

１００ 情報処理装置
１ マイク
３ アンプ部
５ ＡＤ変換部
７ 分析部
９ 音種別判別部
１１ 判別用データベース
１３ 切替部
１５ 打音判定部
１７ 回転音判定部
１９ 摺動音判定部
２１ 出力部

Claims (4)

1. 判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別する判別ステップと、
   予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部のうち、判別された前記判定対象の音又は振動の種別に対応する判定部を選択するステップと、
   選択された前記判定部に、前記データを処理させるステップと、
   を、コンピュータに実行させるためのプログラム。
2. 前記判別ステップにおいて、
   前記データから、前記判定対象の音又は振動の量の時間変化を算出し、
   前記判定対象の音又振動の量の時間変化と、予め記憶装置に記憶されている複数の種別についての音又は振動の量の時間変化との距離又は類似度に基づき、前記判定対象の音又は振動の種別を判別する
   請求項１記載のプログラム。
3. 判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別するステップと、
   予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部のうち、判別された前記判定対象の音又は振動の種別に対応する判定部を選択するステップと、
   選択された前記判定部により前記データを処理して、前記判定対象の状態を判定するステップと、
   を含み、コンピュータにより実行される判定方法。
4. 予め音又は振動の種別に対応して用意され且つ判定対象の状態を判定する複数の判定部と、
   判定対象の音又は振動を表すデータから、当該判定対象の音又は振動の種別を判別する判別部と、
   前記複数の判定部のうち、判別された前記判定対象の音又は振動の種別に対応する判定部に前記データを処理させる切替部と、
   を有する情報処理システム。

Images