JP2022123797A - 異常音発生箇所探査システム - Google Patents
異常音発生箇所探査システム Download PDFInfo
- Publication number
- JP2022123797A JP2022123797A JP2021021354A JP2021021354A JP2022123797A JP 2022123797 A JP2022123797 A JP 2022123797A JP 2021021354 A JP2021021354 A JP 2021021354A JP 2021021354 A JP2021021354 A JP 2021021354A JP 2022123797 A JP2022123797 A JP 2022123797A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- abnormal sound
- abnormal
- thermal image
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 141
- 238000011835 investigation Methods 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000004807 localization Effects 0.000 claims abstract description 22
- 230000005236 sound signal Effects 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000002547 anomalous effect Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000020169 heat generation Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Landscapes
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】検査員が不要で、対象機器の異常音発生箇所を非接触状態で高精度に推定できる異常音発生箇所探査システムを提供する。【解決手段】各マイクロフォンM1~M3の受音信号は音源定位処理装置20に送られて、電動ポンプ11における異常音の音源位置が推定される。一方、サーマルカメラ12により得られた熱画像データに基づき、電動ポンプ11の熱画像がディスプレイ19に表示される。その後、異常音発生箇所表示処理装置22により、音源定位処理装置20により推定された異常音の音源位置を、ディスプレイ19上の熱画像に合成して、電動ポンプ11における異常音発生箇所Pを表示する。これにより、電動ポンプ11の異常音発生箇所Pを非接触状態で高精度に自動推定でき、これにより検査員が不要で、かつ保守メンテナンスの必要性の早期確認を実現できる。【選択図】図1
Description
本発明は、サーマルカメラにより得られた熱画像データと、複数のマイクロフォンにより得られた音データとから、対象機器の異常箇所を探査する異常音発生箇所探査システムに関する。
近年、AI(Artificial Intelligence)・IoT(Internet of Things)などのデジタル技術の普及に伴い、音声認識、騒音低減およびVR(Virtual Reality)等において、音の分析技術の研究が盛んになっている。
一方、この音の分析技術は、非接触・非破壊検査技術としても注目されている。例えば、機器の異常監視、ノイズキャンセリング、対象音の明瞭化などでは、AI・IoT等と連携し、必要な音データを抽出する情報選別技術として利用されている。
一方、この音の分析技術は、非接触・非破壊検査技術としても注目されている。例えば、機器の異常監視、ノイズキャンセリング、対象音の明瞭化などでは、AI・IoT等と連携し、必要な音データを抽出する情報選別技術として利用されている。
音の分析技術の一つとして、複数のマイクロフォンを用いて、対象機器の異常音の発生箇所を特定する“異常音発生箇所の可視化”が知られている。
従来、この技術と可視カメラとを併用した異常音発生箇所探査システムが開発されている(例えば、特許文献1など)。これは、カメラ画像より対象機器を認識するとともに、複数のマイクロフォンにより異常音を抽出することで、この異常音の飛来角度を割り出し、その音が対象機器のどの位置から発生しているのかを推定するものである。
従来、この技術と可視カメラとを併用した異常音発生箇所探査システムが開発されている(例えば、特許文献1など)。これは、カメラ画像より対象機器を認識するとともに、複数のマイクロフォンにより異常音を抽出することで、この異常音の飛来角度を割り出し、その音が対象機器のどの位置から発生しているのかを推定するものである。
しかしながら、一般的に対象機器には、例えば、モータ駆動される多数の動力伝達部品が内蔵されており、音源が複数箇所に存在する場合が多々ある。そのため、複数のマイクロフォンと可視カメラとを併用した従来の異常音発生箇所探査システムでは、どこが異常音の発生箇所かを高精度に推定することができなかった。
ちなみに、異常音発生箇所の高精度な探査を可能とするために、例えば、対象機器の異常音発生箇所に、直接、各種のセンサ(異常音を判別する音センサ、異常振動を判別する加速度センサ、異常電流や漏電を判別する電流センサなど)を取り付けて発生箇所推定を行うことが考えられる。しかしながら、この方法では、異常音が発生する毎に、熟練した検査員が現場に出向かなければならず非効率的である。
ちなみに、異常音発生箇所の高精度な探査を可能とするために、例えば、対象機器の異常音発生箇所に、直接、各種のセンサ(異常音を判別する音センサ、異常振動を判別する加速度センサ、異常電流や漏電を判別する電流センサなど)を取り付けて発生箇所推定を行うことが考えられる。しかしながら、この方法では、異常音が発生する毎に、熟練した検査員が現場に出向かなければならず非効率的である。
そこで、発明者は鋭意研究の結果、一般的に装置の異常発生時には、発熱エリアに異常箇所があることに着目し、可視カメラをサーマルカメラに代えて、複数のマイクロフォンとサーマルカメラとを併用した異常音発生箇所探査システムとすれば、非接触で得られた複数の音源と、対象機器の温度情報を含む熱画像とを合成することにより、検査員が不要で、かつ対象機器の異常音発生箇所を非接触状態で高精度に推定できることを知見し、この発明を完成させた。
本発明は、このような問題点に鑑みなされたもので、対象機器から発せられる音と熱とを利用して、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査でき、これにより検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる異常音発生箇所探査システムを提供することを目的としている。
請求項1に記載の発明は、対象機器の異常音を収集する複数の離間したマイクロフォンと、前記対象機器を撮像して、熱画像データを得るサーマルカメラと、前記各マイクロフォンの受音信号から、前記対象機器における前記異常音の音源位置を推定する音源定位処理装置と、ディスプレイと、前記サーマルカメラにより得られた熱画像データに基づき、前記ディスプレイに前記対象機器の熱画像を表示させる熱画像表示処理装置と、前記音源定位処理装置により推定された前記異常音の音源位置を、前記ディスプレイの熱画像に合成して、前記対象機器の異常音発生箇所を表示する異常音発生箇所表示処理装置とを備えたことを特徴とする異常音発生箇所探査システムである。
対象機器は限定されない。例えば、マシニングセンタ、旋盤、3~5軸加工機などに搭載される代表的な稼働部品、電動モータ、電動ポンプ、変速機、回転工具または回転台、電磁バルブ、油圧装置などを採用することができる。特に、回転軸受、滑り軸受を有する機器が好適である。また、電源回りについては、IoTによるブレーカ近傍での電源監視装置などでもよい。
マイクロフォンの種類は限定されない。例えば、複数の無指向性のマイクロフォンを用いて指向性を与えるマイクロフォンアレイや、高い指向性を有するショットガン式のマイクロフォンなどを採用することができる。
マイクロフォンの使用数は2つ以上であれば任意である。
サーマルカメラの種類は限定されない。赤外線を検知して物体の温度を測り、その検知した赤外線を熱画像としてディスプレイに表示するものであればよい。
サーマルカメラの使用数は任意である。例えば、1つでも2つ以上でもよい。
マイクロフォンの種類は限定されない。例えば、複数の無指向性のマイクロフォンを用いて指向性を与えるマイクロフォンアレイや、高い指向性を有するショットガン式のマイクロフォンなどを採用することができる。
マイクロフォンの使用数は2つ以上であれば任意である。
サーマルカメラの種類は限定されない。赤外線を検知して物体の温度を測り、その検知した赤外線を熱画像としてディスプレイに表示するものであればよい。
サーマルカメラの使用数は任意である。例えば、1つでも2つ以上でもよい。
音源定位処理装置で使用される音源定位の手法は限定されない。例えば、フォーカスを用いて音源位置を推定する遅延和法でもよい。
ディスプレイの種類は限定されない。例えば、液晶ディスプレイ、有機ELディスプレイなどでもよい。
熱画像表示処理装置は、サーマルカメラにより対象機器を撮像して得られた熱画像データに基づき、ディスプレイに対象機器の熱画像を表示させるプログラムである。
ディスプレイの種類は限定されない。例えば、液晶ディスプレイ、有機ELディスプレイなどでもよい。
熱画像表示処理装置は、サーマルカメラにより対象機器を撮像して得られた熱画像データに基づき、ディスプレイに対象機器の熱画像を表示させるプログラムである。
また、ディスプレイに対象機器の熱画像を表示し、音源位置を合成する際には、サーマルカメラの画角を決定するために、サーマルカメラから対象機器までの距離が必要となる。この距離を得るために、例えば、非接触式の距離センサを使用してもよい。
異常音発生箇所表示処理装置は、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器の異常音発生箇所を表示するプログラムである。
なお、サーマルカメラだけでなく、可視カメラを搭載すれば、ディスプレイに対象機器の可視カメラ画像を表示し、これに熱画像と異常音の音源位置とを合成すれば、対象機器の異常音の発生箇所をさらに正確に特定することができる。
異常音発生箇所表示処理装置は、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器の異常音発生箇所を表示するプログラムである。
なお、サーマルカメラだけでなく、可視カメラを搭載すれば、ディスプレイに対象機器の可視カメラ画像を表示し、これに熱画像と異常音の音源位置とを合成すれば、対象機器の異常音の発生箇所をさらに正確に特定することができる。
請求項2に記載の発明は、前記サーマルカメラを中心にして前記各マイクロフォンを配置して、マイク・熱カメラアレイを構成し、前記各受音信号に基づく各音データおよび前記熱画像データを記憶する記憶部と、該記憶部に記憶された前記各音データおよび前記熱画像データから、前記対象機器の異常状態を判定する異常判定処理装置とを有したことを特徴とする請求項1に記載の異常音発生箇所探査システムである。
マイク・熱カメラアレイは、所定の取付部材に、複数のマイクロフォンとサーマルカメラとが配されたものであれば限定されない。
異常判定処理装置は、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態を判定するプログラムである。
判定される対象物の異常項目は任意である。例えば、移動する部材と他の部材との接触、回転軸の摩耗、漏電などが挙げられる。
異常判定に際しては、あらかじめ定点設置されたマイク・熱カメラアレイにより、対象機器を常時監視して学習データを収集しておくことが望ましい。学習データを大量に収集するには、対象機器の常時監視が効果的である。なお、マイク・熱カメラアレイを移動させながら対象機器のスポット監視を行ってもよい。
また、この異常判定処理装置による異常判定を、AI(Artificial Intelligence)により行わせてもよい。
異常判定処理装置は、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態を判定するプログラムである。
判定される対象物の異常項目は任意である。例えば、移動する部材と他の部材との接触、回転軸の摩耗、漏電などが挙げられる。
異常判定に際しては、あらかじめ定点設置されたマイク・熱カメラアレイにより、対象機器を常時監視して学習データを収集しておくことが望ましい。学習データを大量に収集するには、対象機器の常時監視が効果的である。なお、マイク・熱カメラアレイを移動させながら対象機器のスポット監視を行ってもよい。
また、この異常判定処理装置による異常判定を、AI(Artificial Intelligence)により行わせてもよい。
請求項3に記載の発明は、前記異常音発生箇所から前記各マイクロフォンに達する前記異常音の入射波の位相が揃うように、前記各受音信号を補正することで、強調された前記異常音を合成する異常音強調合成処理手段を有したことを特徴とする請求項2に記載の異常音発生箇所探査システムである。
異常音強調合成処理手段とは、異常音発生箇所から各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正することで、強調された異常音を合成するプログラムである。
ここでいう「各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正する」とは、各マイクロフォンの後に、例えば適切な量の遅延子を挿入することで、音源からの入射波の位相を揃えて和をとるように、各マイクロフォンの受音信号を補正することを意味する。
ここでいう「各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正する」とは、各マイクロフォンの後に、例えば適切な量の遅延子を挿入することで、音源からの入射波の位相を揃えて和をとるように、各マイクロフォンの受音信号を補正することを意味する。
本発明によれば、複数の離間したマイクロフォンにより対象機器の異常音を収集するとともに、サーマルカメラにより対象機器を撮像して熱画像データを取得する。
サーマルカメラにより得られた熱画像データは、熱画像表示処理装置により処理されて、ディスプレイに熱画像として表示される。
一方、各マイクロフォンの受音信号は音源定位処理装置に送られて、対象機器における異常音の音源位置が推定される。
サーマルカメラにより得られた熱画像データは、熱画像表示処理装置により処理されて、ディスプレイに熱画像として表示される。
一方、各マイクロフォンの受音信号は音源定位処理装置に送られて、対象機器における異常音の音源位置が推定される。
その後、異常音発生箇所表示処理装置によって、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器における異常音発生箇所を表示する。
これにより、対象機器から発せられた音と熱とを利用して、対象機器の異常音発生箇所の角度推定のための演算量を減らすとともに、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
このように、サーマルカメラの熱画像を用いて、対象である稼働中の装置を非接触で特定する指標とする手法が有効でることがわかった。本手法により、角度推定のための演算量を減らすことができるため、リアルタイムの音源可視化技術への転用で、性能向上も期待される。
これにより、対象機器から発せられた音と熱とを利用して、対象機器の異常音発生箇所の角度推定のための演算量を減らすとともに、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
このように、サーマルカメラの熱画像を用いて、対象である稼働中の装置を非接触で特定する指標とする手法が有効でることがわかった。本手法により、角度推定のための演算量を減らすことができるため、リアルタイムの音源可視化技術への転用で、性能向上も期待される。
特に、請求項2に記載の発明によれば、マイク・熱カメラアレイの各マイクロフォンの受音信号に基づく音データと、サーマルカメラによる熱画像データとが記憶部にそれぞれ記憶される。
その後、異常判定処理装置により、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態が判定される。
その後、異常判定処理装置により、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態が判定される。
このように、各マイクロフォンとサーマルカメラとが配されたマイク・熱カメラアレイを用いるため、音源定位処理装置による異常音の音源位置の推定や、サーマルカメラを利用した対象機器の熱画像のディスプレイへの表示、および、推定された異常音の音源位置を異常音発生箇所表示処理装置によってディスプレイ上の熱画像に合成する処理が容易となる。
また、請求項3に記載の発明によれば、異常音強調合成処理手段によって、異常音発生箇所から各マイクロフォンに達する異常音の入射波の位相が揃うように各受音信号を補正する。これにより、対象機器の異常音を強調するように合成することができる。
その結果、例えば、各マイクロフォンに達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源位置の推定が容易となる。
その結果、例えば、各マイクロフォンに達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源位置の推定が容易となる。
以下、本発明の実施例を具体的に説明する。ここでは、サーマルカメラを中心にして3つのマイクロフォンが三角配置されたマイク・熱カメラアレイを使用し、電動ポンプの異常箇所を探査するものを例にとる。
図1において、10は本発明の実施例1に係る異常音発生箇所探査システムで、この異常音発生箇所探査システム10は、電動ポンプ(対象機器)11の異常音を収集する互いに離間した3つのマイクロフォンM1~M3と、電動ポンプ11の熱画像を得るために電動ポンプ11を撮像するサーマルカメラ12と、各マイクロフォンM1~M3から得られた各音データおよびサーマルカメラ12から得られた熱画像データを解析して、電動ポンプ11の異常音発生箇所(音源)Pを推定するとともに、電動ポンプ11の正常または異常の状態を判定するデータ解析装置13とを備えている。
各マイクロフォンM1~M3は、無指向性タイプのものである。
サーマルカメラ12は、赤外線を検知して物体(ここでは電動ポンプ11)の温度を測り、その検知した赤外線をサーモグラフィーが映像としてディスプレイ19に表示するものである。仮に、赤外線量が多ければ温度が高いため赤く表示され、反対に赤外線量が少なければ、温度が低いため青く表示されるように構成されている。
サーマルカメラ12は、野球の略逆ホームベース状をした取付基板14の中央部に固定されている。一方、3本のマイクロフォンM1~M3は、この取付基板14に、サーマルカメラ12を中心として略正三角形状にそれぞれ固定されている。これにより、マイク・熱カメラアレイ15が構成される。
サーマルカメラ12は、赤外線を検知して物体(ここでは電動ポンプ11)の温度を測り、その検知した赤外線をサーモグラフィーが映像としてディスプレイ19に表示するものである。仮に、赤外線量が多ければ温度が高いため赤く表示され、反対に赤外線量が少なければ、温度が低いため青く表示されるように構成されている。
サーマルカメラ12は、野球の略逆ホームベース状をした取付基板14の中央部に固定されている。一方、3本のマイクロフォンM1~M3は、この取付基板14に、サーマルカメラ12を中心として略正三角形状にそれぞれ固定されている。これにより、マイク・熱カメラアレイ15が構成される。
図3に示すように、データ解析装置13は、CPU(中央演算装置)を内蔵した制御部16を含むパソコン17に搭載されている。データ解析装置13には、各マイクロフォンM1~M3の受音信号に基づく各音データ、サーマルカメラ12より得られた熱画像データ、サーマルカメラ12から電動ポンプ11の熱画像までの距離などが記憶される記憶部18と、電動ポンプ11の熱画像、電動ポンプ11の異常音発生箇所Pなどを表示するディスプレイ19とを有している。
また、データ解析装置13は、各マイクロフォンM1~M3の受音信号から、電動ポンプ11における異常音の音源位置を推定する音源定位処理装置20と、サーマルカメラ12により得られた熱画像データに基づき、ディスプレイ19に電動ポンプ11の熱画像を表示させる熱画像表示処理装置21と、音源定位処理装置20により推定された異常音の音源位置を、ディスプレイ19の熱画像に合成して、電動ポンプ11の異常音発生箇所Pを表示する異常音発生箇所表示処理装置22と、記憶部18に記憶された各音データおよび熱画像データから、電動ポンプ11の異常状態を判定する異常判定処理装置23とを備えている。
以下、データ解析装置13を構成するこれらを具体的に説明する。
音源定位処理装置20は、電動ポンプ11の異常音発生箇所Pから到来した音波を、3本のマイクロフォンM1~M3でそれぞれ収集し、その後、各マイクロフォンM1~M3からデータ解析装置13に送られた各受音信号を分析して、異常音の音源位置を推定するものである。
音源定位処理装置20は、電動ポンプ11の異常音発生箇所Pから到来した音波を、3本のマイクロフォンM1~M3でそれぞれ収集し、その後、各マイクロフォンM1~M3からデータ解析装置13に送られた各受音信号を分析して、異常音の音源位置を推定するものである。
ここでは、ビームフォーミング法の一種である遅延和(Delay-and-Sum)型ビームフォーマ法によるものが採用されている。これは、各マイクロフォンM1~M3のあとに遅延子を挿入し、入射波の位相を揃えて和をとることで音響ビームを形成し、このビームを空間的にスキャンすることにより、音源位置を推定するものである。
この音源定位処理装置20には、異常音発生箇所Pから各マイクロフォンM1~M3に達する異常音の入射波の位相が揃うように各受音信号を補正する異常音強調合成処理手段24を設けている。なお、遅延子の部分を適応フィルタに拡張することで、雑音源を抑制しながら、目的の音源位置を推定することも可能である。
熱画像表示処理装置21は、サーマルカメラ12により電動ポンプ11を撮像して得られた熱画像データに基づき、ディスプレイ19に電動ポンプ11の熱画像を表示させるためのプログラムである。
なお、サーマルカメラ12による水平方向および垂直方向の撮像可能範囲は、それぞれ次式により求められる。
撮影可能範囲(水平方向)=tan(画角α÷2)×被写体までの距離×2
撮影可能範囲(垂直方向)=tan(画角β÷2)×被写体までの距離×2
なお、サーマルカメラ12による水平方向および垂直方向の撮像可能範囲は、それぞれ次式により求められる。
撮影可能範囲(水平方向)=tan(画角α÷2)×被写体までの距離×2
撮影可能範囲(垂直方向)=tan(画角β÷2)×被写体までの距離×2
ここで、αは水平方向の画角、βは垂直方向の画角である。
異常音発生箇所表示処理装置22は、音源定位処理装置20により推定された異常音の音源位置を、ディスプレイ19の熱画像に合成して、電動ポンプ11の異常音発生箇所Pを環状枠で囲って表示(指摘)するプログラムである。
異常音発生箇所表示処理装置22は、音源定位処理装置20により推定された異常音の音源位置を、ディスプレイ19の熱画像に合成して、電動ポンプ11の異常音発生箇所Pを環状枠で囲って表示(指摘)するプログラムである。
異常判定処理装置23は、記憶部18に記憶された各音データおよび熱画像データに基づき、電動ポンプ11の正常・異常を判定するプログラムである。
具体的には、音データについては、フーリエ変換やウェーブレット変換を代表とする周波数解析を実施して得られるデータについて、平均・分散・標準偏差を用いて外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られないスペクトル成分および時間変化に対して異常判定を行う。
また、熱画像については、あらかじめ稼働時に発熱する対象を認識した上で正常運転時の対象の熱画像との比較を行う。認識する対象の範囲内での平均温度および最高温度を計測して得られるデータにおける周辺温度を考慮した平均・分散・標準偏差を用いて、外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られない発熱に対して異常判定を行う。
なお、この判定に、ディープラーニングの学習を伴うAI(Artificial Intelligence)を用いて、その判定精度を高めてもよい。
具体的には、音データについては、フーリエ変換やウェーブレット変換を代表とする周波数解析を実施して得られるデータについて、平均・分散・標準偏差を用いて外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られないスペクトル成分および時間変化に対して異常判定を行う。
また、熱画像については、あらかじめ稼働時に発熱する対象を認識した上で正常運転時の対象の熱画像との比較を行う。認識する対象の範囲内での平均温度および最高温度を計測して得られるデータにおける周辺温度を考慮した平均・分散・標準偏差を用いて、外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られない発熱に対して異常判定を行う。
なお、この判定に、ディープラーニングの学習を伴うAI(Artificial Intelligence)を用いて、その判定精度を高めてもよい。
次に、図1~図6を参照して、この発明の実施例1に係る異常音発生箇所探査システム10を利用した電動ポンプ11の異常音発生箇所Pの探査と、その後の異常判定について説明する。
図4(a)に示すように、あらかじめ、サーマルカメラ12の熱画像の撮影可能範囲(ディスプレイ19の画面)に電動ポンプ11が入るように、マイク・熱カメラアレイ15をセッティングする。ここでは、ディスプレイ19の右上に電動ポンプ11が配されている。この状態で、異常音発生箇所探査システム10を、常時、作動させておく。
図4(a)に示すように、あらかじめ、サーマルカメラ12の熱画像の撮影可能範囲(ディスプレイ19の画面)に電動ポンプ11が入るように、マイク・熱カメラアレイ15をセッティングする。ここでは、ディスプレイ19の右上に電動ポンプ11が配されている。この状態で、異常音発生箇所探査システム10を、常時、作動させておく。
仮に、電動ポンプ11に搭載された電動モータが過剰出力し、そのモータ後部が発熱して異常音が発生したものとする。この場合、3本のマイクロフォンM1~M3により電動ポンプ11の異常音がリアルタイムに収集されるとともに、サーマルカメラ12により電動ポンプ11の電動モータがヒートアップした熱画像データが取得され、これらのデータは記憶部18に記憶される。
このうち、各マイクロフォンM1~M3からの受音信号は、データ解析装置13の音源定位処理装置20に送られて、電動ポンプ11における異常音の音源Pが推定される。
このうち、各マイクロフォンM1~M3からの受音信号は、データ解析装置13の音源定位処理装置20に送られて、電動ポンプ11における異常音の音源Pが推定される。
具体的には、音源定位処理装置20に送られた各受音信号は、上述した遅延和型ビームフォーマ法により解析されて、異常音の音源位置が推定される。
すなわち、遅延和法では、フォーカスを用いて音源位置を推定する。このフォーカスを空間的にスキャンすることで、空間的なパワー分布を得る。空間的なパワー分布は、空間スペクトル(Spatial Spectrum)と称され、次式で定義される。
すなわち、遅延和法では、フォーカスを用いて音源位置を推定する。このフォーカスを空間的にスキャンすることで、空間的なパワー分布を得る。空間的なパワー分布は、空間スペクトル(Spatial Spectrum)と称され、次式で定義される。
ここで、PDS(θ)は空間スペクトル、wはビームフォーマ係数、・H(“H”は上付き英文字)は共役転置、Rは空間相関行列、ベクトルv(θ)は仮想音源方向θに対する位置ベクトルである。
遅延和法では、係数ベクトルwにより、θ方向から到来する音波の位相が揃えられ、加算されるため、θ方向から到来する音波が強調される。これにより、音響的なビームが形成される。このビームをレーダのように空間的にスキャンし、フォーカスの方向θが真の音源方向と一致したときに、空間スペクトルPDS(θ)にピークが現れる。このピーク位置により、音源位置(到来方向)を推定する。
遅延和法では、係数ベクトルwにより、θ方向から到来する音波の位相が揃えられ、加算されるため、θ方向から到来する音波が強調される。これにより、音響的なビームが形成される。このビームをレーダのように空間的にスキャンし、フォーカスの方向θが真の音源方向と一致したときに、空間スペクトルPDS(θ)にピークが現れる。このピーク位置により、音源位置(到来方向)を推定する。
また、ここでは、異常音発生箇所(音源)Pから各マイクロフォンM1~M3に達する異常音の入射波の位相が揃うように各受音信号を補正する異常音強調合成処理手段24を設けている。すなわち、図1および図6(a)のグラフに示すように、3本のマイクロフォンM1~M3のうち、異常音発生箇所Pから最も遠いマイクロフォンM2を基準としたとき、残り2本のマイクロフォンM1,M3にあっては、異常音発生箇所Pまでの距離に応じた遅延が生じている。
そこで、図6(b)のグラフに示すように、上記異常音の入射波の位相が揃うように、異常音発生箇所Pからの距離が最も近いマイクロフォンM1の受音信号には、σt1の時間軸の補正を行い、マイクロフォンM2の受音信号には、σt2(補正値“0”)の時間軸の補正を行い、また2番目に遠いマイクロフォンM3の受音信号には、σt1より短いσt3の時間軸の補正を行う。これにより、異常音の入射波の位相が揃い強調された異常音を合成できる。
一方、サーマルカメラ12により得られた電動ポンプ11の一部が高温化した熱画像データは、熱画像表示処理装置21により処理されて、ディスプレイ19に熱画像として赤色で表示される。
その後、音源定位処理装置20により推定された異常音の音源位置を、異常音発生箇所表示処理装置22によりディスプレイ19の熱画像に合成して、電動ポンプ11のモータ後部である異常音発生箇所Pを環状枠に囲って表示する。なお、ディスプレイ19の熱画像には、異常音発生箇所Pの視認が容易なように、図示しない可視化カメラを用いて撮像した電動ポンプ11を含む可視画像を重ね合わせて表示してもよい。
その後、音源定位処理装置20により推定された異常音の音源位置を、異常音発生箇所表示処理装置22によりディスプレイ19の熱画像に合成して、電動ポンプ11のモータ後部である異常音発生箇所Pを環状枠に囲って表示する。なお、ディスプレイ19の熱画像には、異常音発生箇所Pの視認が容易なように、図示しない可視化カメラを用いて撮像した電動ポンプ11を含む可視画像を重ね合わせて表示してもよい。
次に、記憶部18に記憶された各音データおよび熱画像データが異常判定処理装置23に送られ、ここで電動ポンプ11の異常状態が判定される。
具体的には、音データを周波数解析して得られるデータについて平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常音として異常判定される。
また、熱画像の内電動ポンプ11に搭載された電動モータの認識された範囲内での平均温度および最高温度を計測し、周辺温度を考慮した平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常発熱として異常判定される。
異常判定処理装置23により処理されて、ディスプレイ19の合成画像において異常判定を受けた発熱部であることは、電動ポンプ11に搭載された電動モータの領域を赤色の環状枠で囲って指摘するとともに、異常判定を受けた異常音発生箇所である電動ポンプ11に搭載された電動モータから引き出し線等とともに異常が認められた周波数解析結果のグラフを赤色の環状枠で囲って表示される。
具体的には、音データを周波数解析して得られるデータについて平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常音として異常判定される。
また、熱画像の内電動ポンプ11に搭載された電動モータの認識された範囲内での平均温度および最高温度を計測し、周辺温度を考慮した平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常発熱として異常判定される。
異常判定処理装置23により処理されて、ディスプレイ19の合成画像において異常判定を受けた発熱部であることは、電動ポンプ11に搭載された電動モータの領域を赤色の環状枠で囲って指摘するとともに、異常判定を受けた異常音発生箇所である電動ポンプ11に搭載された電動モータから引き出し線等とともに異常が認められた周波数解析結果のグラフを赤色の環状枠で囲って表示される。
このように、電動ポンプ11から発せられた音と熱とを利用して、電動ポンプ11の異常音発生箇所Pの角度推定のための演算量を減らすことができるとともに、電動ポンプ11の異常音発生箇所P、ひいては電動ポンプ11の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
また、各マイクロフォンM1~M3とサーマルカメラ12とが配されたマイク・熱カメラアレイ15を用いるため、音源定位処理装置20による異常音の音源位置の推定や、サーマルカメラ12を利用した電動ポンプ11の熱画像のディスプレイ19への表示、および、推定された異常音の音源位置を異常音発生箇所表示処理装置22によってディスプレイ19上の熱画像に合成する処理が容易となる。
さらに、ここでは異常音強調合成処理手段24により、異常音発生箇所Pから各マイクロフォンM1~M3に達する異常音の入射波の位相が揃うように各受音信号を補正するため、電動ポンプ11のモータ後部の異常音を強調するように合成することができる。その結果、例えば、各マイクロフォンM1~M3に達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源Pの推定が容易となる。
本発明は、対象機器の異常音発生箇所を探査する技術として有用である。
10 異常音発生箇所探査システム
11 電動ポンプ(対象機器)
12 サーマルカメラ
15 マイク・熱カメラアレイ
18 記憶部
19 ディスプレイ
20 音定位処理装置
21 熱画像表示処理装置
22 異常音発生箇所表示処理装置
23 異常判定処理装置
24 異常音強調合成処理手段
M1~M3 マイクロフォン
P 異常音発生箇所(音源)
11 電動ポンプ(対象機器)
12 サーマルカメラ
15 マイク・熱カメラアレイ
18 記憶部
19 ディスプレイ
20 音定位処理装置
21 熱画像表示処理装置
22 異常音発生箇所表示処理装置
23 異常判定処理装置
24 異常音強調合成処理手段
M1~M3 マイクロフォン
P 異常音発生箇所(音源)
Claims (3)
- 対象機器の異常音を収集する複数の離間したマイクロフォンと、
前記対象機器を撮像して、熱画像データを得るサーマルカメラと、
前記各マイクロフォンの受音信号から、前記対象機器における前記異常音の音源位置を推定する音源定位処理装置と、
ディスプレイと、
前記サーマルカメラにより得られた熱画像データに基づき、前記対象機器の前記ディスプレイに前記対象機器の熱画像を表示させる熱画像表示処理装置と、
前記音源定位処理装置により推定された前記異常音の音源位置を、前記ディスプレイの熱画像に合成して、前記対象機器の異常音発生箇所を表示する異常音発生箇所表示処理装置とを備えたことを特徴とする異常音発生箇所探査システム。 - 前記サーマルカメラを中心にして前記各マイクロフォンを配置して、マイク・熱カメラアレイを構成し、
前記各受音信号に基づく各音データおよび前記熱画像データを記憶する記憶部と、
該記憶部に記憶された前記各音データおよび前記熱画像データから、前記対象機器の異常状態を判定する異常判定処理装置とを有したことを特徴とする請求項1に記載の異常音発生箇所探査システム。 - 前記異常音発生箇所から前記各マイクロフォンに達する前記異常音の入射波の位相が揃うように、前記各受音信号を補正することで、強調された前記異常音を合成する異常音強調合成処理手段を有したことを特徴とする請求項2に記載の異常音発生箇所探査システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021021354A JP2022123797A (ja) | 2021-02-12 | 2021-02-12 | 異常音発生箇所探査システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021021354A JP2022123797A (ja) | 2021-02-12 | 2021-02-12 | 異常音発生箇所探査システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022123797A true JP2022123797A (ja) | 2022-08-24 |
Family
ID=82940143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021021354A Pending JP2022123797A (ja) | 2021-02-12 | 2021-02-12 | 異常音発生箇所探査システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022123797A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024077462A (ja) * | 2022-11-28 | 2024-06-07 | 株式会社東芝 | 点検装置、および音源位置の推定方法 |
-
2021
- 2021-02-12 JP JP2021021354A patent/JP2022123797A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024077462A (ja) * | 2022-11-28 | 2024-06-07 | 株式会社東芝 | 点検装置、および音源位置の推定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1544635B1 (en) | Sound source search system | |
| CN110325835B (zh) | 用于振动和噪声映射的紧凑系统和方法 | |
| WO2009145310A1 (ja) | 音源分離及び表示方法並びにシステム | |
| KR102769497B1 (ko) | 이상 음원 결정 방법 및 ai 음향 영상 카메라 | |
| CN112205002A (zh) | 信号处理装置以及信号处理方法 | |
| Gala et al. | Realtime active sound source localization for unmanned ground robots using a self-rotational bi-microphone array | |
| CN114994607B (zh) | 一种支持变焦的声学成像方法 | |
| JPWO2006054599A1 (ja) | 音源方向判定装置及び方法 | |
| JP2017151076A (ja) | 音源探査装置、音源探査方法およびそのプログラム | |
| WO2021052020A1 (zh) | 振动检测系统 | |
| JP4248458B2 (ja) | 音圧測定方法 | |
| JP2022123797A (ja) | 異常音発生箇所探査システム | |
| Aizawa et al. | An acoustic-array based structural health monitoring technique for wind turbine blades | |
| US20170048498A1 (en) | Omnidirectional high resolution tracking and recording appratus and method | |
| CN119535358A (zh) | 一种阵列式多通道声学成像装置及异常声源定位显示方法 | |
| Wu et al. | Locating arbitrarily time-dependent sound sources in three dimensional space in real time | |
| JP4652191B2 (ja) | 複数音源の分離方法 | |
| CN115453300B (zh) | 一种基于声传感器阵列的局部放电定位系统及方法 | |
| CN113450769B (zh) | 语音提取方法、装置、设备和存储介质 | |
| KR102180229B1 (ko) | 음원 위치 추정장치 및 이를 포함하는 로봇 | |
| Silva et al. | Event-based phased array signal processing | |
| JP2001051039A (ja) | 信号処理方式 | |
| Fernandez Comesana et al. | Adapting beamforming techniques for virtual sensor arrays | |
| D'Andrea Fonseca et al. | Development and Evaluation of a Cost-Effective and Flexible 4-Microphone Linear Array for Beamforming and Sound Source Localization | |
| Morris et al. | Three-dimensional dislocations in a uniform linear array's isotropic sensors—Direction finding's hybrid Cramér-Rao bound |
