JP2023163356A - 損傷箇所特定装置、損傷箇所特定システム、損傷箇所特定方法及びプログラム - Google Patents

Abstract

【課題】部材の損傷箇所を検出することを可能とする損傷箇所特定装置を提供する。【解決手段】損傷箇所特定装置は、加振された部材を撮影した画像を取得する画像取得部と、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出する振動解析部と、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定する判定部と、を備える。【選択図】図１

Description

本開示は、損傷箇所特定装置、損傷箇所特定システム、損傷箇所特定方法及びプログラムに関する。

被測定対象にプローブを接触させて超音波を送信し、反射波が帰ってくるまでの時間や反射波の強度に基づいて、被測定対象の損傷箇所を特定する技術が知られている。特許文献１には、直接プローブを接触させることが難しい被測定対象に光ビームを照射し、その反射光から表面及び表面近傍内部の傷などを検出する非破壊検査装置が開示されている。超音波や光が到達する範囲に探傷範囲が限定されると、被測定対象が広範囲にわたる場合、検査を実施し終えるまでに時間や手間がかかる可能性がある。

特開２０００－２３８４９１号公報

広範囲を対象として効率よく損傷箇所を検出する技術が求められている。

本開示は、上記課題を解決することができる損傷箇所特定装置、損傷箇所特定システム、損傷箇所特定方法及びプログラムを提供する。

本開示の損傷箇所特定装置は、加振された部材を撮影した画像を取得する画像取得部と、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出する振動解析部と、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定する判定部と、を備える。

本開示の損傷箇所特定システムは、前記画像を撮影するカメラと、上記の損傷箇所特定装置と、を備える。

本開示の損傷箇所特定方法は、加振された部材を撮影した画像を取得するステップと、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、を有する。

本開示のプログラムは、コンピュータに、加振された部材を撮影した画像を取得するステップと、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、を実行させる。

上述の損傷箇所特定装置、損傷箇所特定システム、損傷箇所特定方法及びプログラムによれば、効率的に損傷箇所を検出することができる。

第一実施形態に係る損傷箇所特定システムの一例を示す図である。 第一実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。 第一実施形態に係る解析結果の一例を示す図である。 第二実施形態に係る損傷箇所特定システムの一例を示す図である。 撮影タイミングの一例を示す第１の図である。 撮影タイミングの一例を示す第２の図である。 第二実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。 第三実施形態に係る損傷箇所特定システムの一例を示す図である。 第三実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。 第四実施形態に係る損傷箇所特定システムの一例を示す図である。 各実施形態の損傷箇所特定装置のハードウェア構成の一例を示す図である。

＜第一実施形態＞
以下、本開示の第一実施形態に係る損傷箇所特定システム１００について、図１～図３を参照して説明する。
（構成）
図１は、実施形態に係る損傷箇所特定システムの一例を示す図である。損傷箇所特定システム１００は、プロジェクター１と、音響加振機２と、カメラ５と、損傷箇所特定装置１０と、を含む。プロジェクター１は、検査対象の部材２０の表面にランダムパターンの模様を投影する。投影する模様を格子柄などの周期的なパターン模様にすると、模様の変位を解析するときに、その変位が模様の繰り返し周期の１周期より小さい変位であるか、１周期（又はｎ周期）+αの変位であるのかの判別が難しくなるためランダムパターンの模様としている。音響加振機２は、部材２０へ向けて音を出力し、部材２０を加振する。部材２０は、例えば、板状の金属部材、複合材、ハニカム材等である。

カメラ５は、例えば、高速度カメラである。カメラ５は、加振前後の部材２０全体の様子を撮影する。カメラ５は、音響加振機２による加振周波数の２倍以上の周波数で連続的に画像を撮影する。損傷箇所特定装置１０は、カメラ５と接続されており、カメラ５が撮影した時系列の画像を取得する。損傷箇所特定装置１０は、カメラ５によって撮影された時系列の画像から、部材２０の振動を検出し、検出された振動についてモード解析を行う。また、損傷箇所特定装置１０は、部材２０のＦＥＭモデルを使ったモード解析を行って、画像解析から得られた振動のモード解析の結果と部材２０のＦＥＭモデルを使ったモード解析の結果を比較して、部材２０の損傷箇所を特定する。

損傷箇所特定装置１０は、画像取得部１１と、振動解析部１２と、ＦＥＭ解析部１３と、相関係数算出部１４と、判定部１５と、入力受付部１６と、出力部１７と、記憶部１８と、とを備える。

画像取得部１１は、カメラ５が部材２０を撮影した画像を取得する。画像には、時々刻々の部材２０が写っている。画像取得部１１は、取得した画像を記憶部１８に書き込んで保存する。
振動解析部１２は、画像を解析して、部材２０に設定された複数の計測位置の各々における時刻歴の振動（振動方向、振幅など）を検出する。複数の計測位置については、例えば、部材２０の全体をメッシュ状に区切ってできた各セルを1つの計測位置と定めてもよい。部材２０全体を含んだ画像から振動を検出することにより、部材２０全体を対象とする広範囲な振動の多点計測が可能となる。振動解析部１２は、検出された各計測位置の振動に対しモード解析を行って、固有振動数や固有モードなどのモード特性を算出する。

ＦＥＭ解析部１３は、部材２０の有限要素法による解析モデルであるＦＥＭ（Finite Element Method）モデル１８１を用いた数値解析によるモード解析を行って、固有振動数や固有モードなどのモード特性を算出する。ＦＥＭ解析部１３は、ＦＥＭモデル１８１上における、部材２０の各計測位置に対応する位置についてモード解析を行う。

相関係数算出部１４は、振動解析部１２によるモード解析の結果と、ＦＥＭ解析部１３によるモード解析の結果と、を用いて、計測位置ごとに座標モード相関係数（ＣｏＭＡＣ：Coordinate Modal Assurance Criterion）を算出する。座標モード相関係数の算出方法は公知である。座標モード相関係数は、モード解析で得られた複数のモード形同士の相関性を表しており、０～１の範囲の値をとる。この値が高くなるほど両者の相関性が高いことを示す。相関係数算出部１４が部材２０の各計測位置における座標モード相関係数を計算すると、部材２０全面における座標モード相関係数の分布が得られる。図３に座標モード相関係数の分布の一例を示す。部材２０のうちの領域２１は、座標モード相関係数が所定の第１閾値（例えば、０．９）以上のエリアである。第１閾値とは、正常な（損傷が無い）状態であることを判定するための閾値である。ＦＥＭモデル１８１は、正常な状態の部材２０をモデル化したものであるから、ＦＥＭモデル１８１のモード形と、部材２０のモード形の座標モード相関係数が第１閾値以上であれば、その領域は正常（損傷無し）と判定される。これに対し、領域２２、２３は、座標モード相関係数が所定の第２閾値（例えば、０．５）未満のエリアである。第２閾値とは、損傷が存在する状態であることを判定するための閾値であって、第１閾値＞第２閾値が成立する。正常な状態の部材２０をモデル化したＦＥＭモデル１８１のモード形と、部材２０のモード形の座標モード相関係数が低ければ（第２閾値未満）であれば、その領域には損傷があると判定される。

判定部１５は、部材２０の座標モード相関係数の分布と第１閾値および第２閾値に基づいて、部材２０に損傷があるか否かを判定し、損傷が存在する場合にはその箇所を特定する。例えば、図３に例示する座標モード相関係数の分布の場合であれば、判定部１５は、座標モード相関係数が第１閾値以上の領域２１については正常と判定し、第２閾値未満の領域２２、２３については損傷ありと判定する。損傷箇所については、判定部１５は、座標モード相関係数が第２閾値未満であることから領域２２を損傷箇所として特定する。あるいは、領域２３の座標モード相関係数が領域２２の座標モード相関係数よりもさらに低い場合、判定部１５は、座標モード相関係数が第２閾値未満で且つその値が最も低い範囲である領域２３を損傷箇所として特定してもよい。

入力受付部１６は、キーボード、マウス、タッチパネル、ボタン等の入力装置を用いて構成され、入力装置を用いたユーザによる入力を受け付ける。例えば、入力受付部１６は、損傷箇所特定処理の実行などの指示を受け付ける。

出力部１７は、判定部１５による判定結果や特定された損傷箇所、相関係数算出部１４によって算出された座標モード相関係数の分布図（例えば、図３）等を表示装置、電子ファイルなどへ出力する。
記憶部１８は、画像取得部１１が取得した画像、ＦＥＭモデル１８１、各種の処理における計算過程のデータや計算結果のデータ等を記憶する。ＦＥＭモデル１８１は、部材２０を有限要素法によって解析した解析モデルである。ＦＥＭモデル１８１は、予め作成され、記憶部１８に格納されている。

（動作）
次に図２を参照して、部材２０の損傷箇所を特定する処理について説明する。
図２は、第一実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。
プロジェクター１は、部材２０の表面にランダムパターンの模様を投影し、カメラ５は、部材２０の全体を撮影できる位置に配置されている。この状態で、ユーザが、音響加振機２を操作し、周波数、音圧等の加振条件が、予め定められた条件に合うような音を音響加振機２から出力させ、検査対象の部材２０を加振する（ステップＳ１）。カメラ５は、加振によって振動する部材２０全体を加振周波数の２倍以上の周波数で撮影する（ステップＳ２）。画像取得部１１は、各時刻にカメラ５が撮影した画像を取得し、記憶部１８に撮影時刻と対応付けて記録する。

加振後の部材２０の画像が撮影できると、ユーザは、損傷箇所の検出を損傷箇所特定装置１０へ指示する。振動解析部１２は、デジタル画像相関法（Digital Image Correlation）などの手法を用いて、カメラ５が撮影した時系列の画像に基づいて部材２０の各計測位置における振動を検出する。振動解析部１２は、部材２０内になるべく多くの計測位置を設けて、各計測位置の振動を検出する。振動解析部１２は、検出された各計測位置の振動についてモード解析を行う（ステップＳ３）。一方、ＦＥＭ解析部１３は、ＦＥＭモデル１８１に基づいて、各計測位置に対応する位置ごとにモード解析を行う（ステップＳ４）。次に相関係数算出部１４が、ステップＳ３とステップＳ４のモード解析の結果を用いて、画像から得られたモード形とＦＥＭモデル１８１から得られたモード形の座標モード相関係数（ＣｏＭＡＣ）を算出する（ステップＳ５）。相関係数算出部１４は、部材２０の計測位置ごとに座標モード相関係数を算出する。これにより、座標モード相関係数の分布が得られる。相関係数算出部１４は、計測位置ごとに算出した座標モード相関係数を記憶部１８に記録する。

次に判定部１５が、各計測位置における座標モード相関係数について判定を行う（ステップＳ６）。判定部１５は、座標モード相関係数が所定の第１閾値以上であれば、部材２０の当該計測位置は正常であると判定する（ステップＳ７）。判定部１５は、座標モード相関係数が所定の第２閾値未満であれば、部材２０の当該計測位置の近くには損傷があると判定する（ステップＳ８）。この場合、判定部１５は、損傷箇所を特定する（ステップＳ９）。例えば、判定部１５は、座標モード相関係数が第２閾値未満となる範囲の全体を、損傷箇所として特定してもよい。また、判定部１５は、座標モード相関係数が第２閾値未満となる範囲の中から、座標モード相関係数が最も小さい範囲を損傷箇所として特定してもよい。出力部１７は、特定された損傷箇所の情報を表示装置へ出力する。例えば、図３に例示する座標モード相関係数の分布図に対して、損傷箇所として特定した領域を強調して表示してもよい。

また、座標モード相関係数が第２閾値以上で第１閾値未満となる場合、判定部１５は、その測定位置の損傷の有無は不明であると判定する。この場合、例えば、出力部１７は、損傷の有無が不明な箇所とともに、加振周波数を変えて再度、損傷箇所特定処理を行うよう案内する情報を表示装置へ表示してもよい。ユーザは、音響加振機２の加振周波数を変更して（ステップＳ１０）、再度、ステップＳ１からの処理をやり直す。そして、部材２０の各計測位置が正常か損傷ありの何れかに判定されるようになると損傷箇所特定処理を終了する。

以上説明したように、本実施形態によれば、部材２０にランダムパターンを投影し、音響加振により部材２０を振動させて、画像撮影によりその振動を検出、解析する。これにより、広い範囲を対象として損傷箇所を検出する処理を効率的に実施することができる。初期段階の損傷の影響は局所的なものであるため、広範囲の中から損傷が疑われる箇所を見つけ出す必要がある。本実施形態によれば、広範囲を多点計測できる画像計測により、早期に損傷箇所を検出することができる。また、機械等を構成する構造物のうち、厚みのある頑強な部材よりも、複合材や金属でできた薄い板、ハニカム材などの部材が先に損傷することが多い。本実施形態の損傷箇所特定方法によれば、損傷が生じやすい部材を対象として、広範囲に損傷箇所の検査を行うことができる。

また、部材２０にランダムパターンを投影することにより、スプレー等を使ってランダムパターンを部材２０の表面に塗布する必要が無いため、コストや部材２０の重量を低減することができる。音響加振を用いることにより、部材２０全体を振動させることができる為、局所的に音波や光を照射して検査を行う場合と比べて一度に広範囲の検査が可能となる。その為、検査時間や労力を低減することができる。また、部材２０における座標モード相関係数の分布を算出することにより、広い検査対象範囲の中から損傷個所を特定することができる。なお、図２のフローチャートでは、ステップＳ４の処理は、ステップＳ３の後に行うこととしているが、事前に実行しておいてもよく、ステップＳ５の前であれば、任意のタイミングで実行することができる。

＜第二実施形態＞
以下、本開示の第二実施形態に係る損傷箇所特定システム１００Ａについて、図４～図６を参照して説明する。第一実施形態では、部材２０の座標モード相関係数の分布を算出して損傷箇所の特定を行った。これに対し、第二実施形態では、部材２０の変位分布を算出して損傷箇所の特定を行う。

（構成）
図４は、第二実施形態に係る損傷箇所特定システム１００Ａの一例を示す図である。
第二実施形態に係る構成のうち、第一実施形態に係る損傷箇所特定システム１００の構成と同じものには同じ符号を付し、それぞれの説明を省略する。損傷箇所特定システム１００Ａは、プロジェクター１と、音響加振機２と、カメラ５Ａと、損傷箇所特定装置１０Ａと、を含む。カメラ５Ａは、例えば１億画素の高分解能カメラである。カメラ５Ａは、音響加振機２が出力する音の周波数（加振周波数）に対して、ランダムな周期で部材２０を撮影する。図５Ａに、高速度カメラ（例えば、第一実施形態のカメラ５）の場合の撮影タイミングの一例を示す。図５Ａの曲線Ｌ１は音響加振による振動波形を示し、点Ｐ１～Ｐ９は高速度カメラによる撮影タイミングを示している。高速度カメラを用いる場合、ナイキスト周波数以上の周波数で撮影を行う。図５Ｂに第二実施形態のカメラ５Ａによる撮影タイミングの一例を示す。図５Ｂの曲線Ｌ１は音響加振による振動波形を示し、点Ｐ１´～Ｐ６´は高分解能カメラによる撮影タイミングを示している。図示するように、曲線Ｌ１の周期とは関係なく一定ではないタイミングで撮影を行う。例えば、一定の周期でバツ印をつけたタイミングで画像撮影を行うと、毎回、その計測位置では変位０が計測されることになるが、曲線Ｌ１の周期と連動しないタイミング（例えば、Ｐ１´～Ｐ６´）で画像撮影を行うことで、様々な変位の状態を計測することができる。

損傷箇所特定装置１０Ａは、画像取得部１１と、振動解析部１２Ａと、判定部１５Ａと、入力受付部１６と、出力部１７と、記憶部１８Ａと、判定モデル構築部１９Ａと、を備える。
振動解析部１２Ａは、画像取得部１１が取得した画像から、部材２０の変位分布を解析する。例えば、振動解析部１２Ａは、時系列の画像から各計測位置の変位量（振幅）を検出し、各計測位置における変位量のＲＭＳ（root mean square：二乗平均平方根）値を算出することにより、部材２０の変位分布を算出する。例えば、振動解析部１２Ａは、画像をＸ軸Ｙ軸からなる２次元平面とした場合の軸方向（ＸＹ方向）それぞれの変位量のＲＭＳ値を算出する。

判定部１５Ａは、振動解析部１２Ａが算出した部材２０の変位分布を判定モデル１８２Ａに基づいて判定する。例えば、判定モデル１８２Ａは、部材２０の正常な変位分布のＲＭＳ値を学習して構築されたモデルであって、判定部１５Ａは、判定モデル１８２Ａが示す変位分布のＲＭＳ値と、振動解析部１２Ａが算出した部材２０の変位分布のＲＭＳ値を計測位置ごとに比較する。判定部１５Ａは、ＲＭＳ値の乖離が閾値未満であれば、その計測位置は正常と判定し、閾値以上乖離していれば、その計測位置は損傷ありと判定する。
記憶部１８Ａは、ＦＥＭモデル１８１と判定モデル１８２Ａを記憶している。

判定モデル構築部１９Ａは、判定モデル１８２Ａを構築する。判定モデル１８２Ａの構築手法は限定されない。例えば、判定モデル構築部１９Ａは、ＦＥＭモデル１８１に音響加振機２によるものと同様の加振を与えた場合の、部材２０の各計測位置に対応するＦＥＭモデル１８１上の各位置における振動の算出値（ＦＥＭモデル１８１が算出する振動）に基づいて、各位置における変位量のＲＭＳ値（例えば、ＸＹ方向それぞれの変位量のＲＭＳ値）を算出する。判定モデル構築部１９Ａは、ＦＥＭモデル１８１に基づいて算出したＲＭＳ値を正常時の学習データとして学習し、例えば、各計測位置における変位量のＲＭＳ値の正常な範囲を定めた判定モデル１８２Ａを構築する。判定モデル構築部１９Ａは、構築した判定モデル１８２Ａを記憶部１８Ａに記録する。

（動作）
次に図６を参照して、第二実施形態における部材２０の損傷箇所を特定する処理について説明する。第一実施形態と同様の処理については簡単に説明する。
図６は、第二実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。
まず、音響加振により、検査対象の部材２０を加振する（ステップＳ１）。カメラ５Ａは、ランダムサンプリングで、加振の周期とは非同期に検査対象の部材２０を撮影し続ける（ステップＳ２Ａ）。振動解析部１２Ａは、デジタル画像相関法などを用いて、カメラ５Ａが撮影した時系列の画像に基づいて部材２０の各計測位置における振動を検出する。振動解析部１２Ａは、各計測位置における振動の変位量を算出することで、変位の分布を算出する（ステップＳ３Ａ）。例えば、振動解析部１２Ａは、各計測位置における変位量（振幅）を算出し、各計測位置の軸方向別の変位量のＲＭＳ値を算出する。一方、ＦＥＭ解析部１３は、ＦＥＭモデル１８１に音響加振機２によるものと同様の加振を与える処理を行って、ＦＥＭモデル１８１上で部材２０の各計測位置における振動を再現する。そして、再現された振動から変位量を算出し、例えば、軸方向別のＲＭＳ値を算出する。判定モデル構築部１９Ａは、ＦＥＭモデル１８１に基づいて算出した各計測位置の軸方向別の変位量のＲＭＳ値を学習データ（正常データ）として、機械学習等により判定モデル１８２Ａを構築する（ステップＳ４Ａ）。単純な例としては、ＦＥＭモデル１８１に基づいて算出された各計測位置における変位量のＲＭＳ値の集合（データセット）をそのまま判定モデルとしてもよい。

次に判定部１５Ａが、ステップＳ３Ａで画像に基づいて算出された各計測位置のＲＭＳ値を判定モデル１８２Ａに基づいて異常度を算出する（ステップＳ５Ａ）。例えば、判定部１５Ａは、ある計測位置におけるＸ軸方向の変位量のＲＭＳ値とＦＥＭモデル１８１に基づいて算出された当該計測位置に対応する位置のＸ軸方向の変位量のＲＭＳ値との差を算出して、この値を異常度とする。同様に判定部１５Ａは、Ｙ軸方向についても異常度を算出する。判定部１５Ａは、全ての測定位置について２軸方向それぞれの異常度を算出する。判定部１５Ａは、Ｘ軸方向、Ｙ軸方向それぞれについて算出した異常度に基づいて以下の処理を行ってもよいし、Ｘ軸方向およびＹ軸方向の異常度から１つの異常度を計測位置ごとに算出（例えば、Ｘ軸方向およびＹ軸方向の異常度の加重和を算出する等）して、以下の処理を行ってもよい。あるいは、変位量のＲＭＳ値を軸方向別に算出するのではなく、２次元平面上の変位量の大きさのみに注目して、各計測位置における変位量のＲＭＳ値を算出したり、２次元平面上の変位量の大きさのみに注目して判定モデル１８２Ａを構築したりして、各計測位置について１つの異常度を算出するようにしてもよい。以下の説明では一例として、各測定位置について１つの異常値を算出したときの判定例を示す。

次に判定部１５Ａは，１つずつの計測位置について、算出した異常度を所定の閾値と比較して判定を行う（ステップＳ６Ａ）。ここで、第３閾値を正常と判定するための閾値、第４閾値を損傷ありと判定するための閾値とする。判定部１５Ａは、異常度が第３閾値未満であれば、部材２０の当該計測位置は正常であると判定する（ステップＳ７Ａ）。判定部１５Ａは、異常度が第４閾値以上であれば、部材２０の当該計測位置付近には損傷があると判定する（ステップＳ８Ａ）。この場合、判定部１５Ａは、損傷箇所を特定する（ステップＳ９Ａ）。例えば、判定部１５Ａは、異常度が第４閾値以上となる範囲の全体を、損傷箇所として特定してもよい。また、判定部１５Ａは、異常度が第４閾値以上となる範囲の中から、異常度が最も大きい範囲を損傷箇所として特定してもよい。

また、異常度が第４閾値以上とはならず、且つ、何れかの異常度が第３閾値以上で第４閾値未満となる場合、判定部１５Ａは、その計測位置の損傷の有無は不明であると判定する。この場合、例えば、出力部１７は、不明な箇所とともに、加振の周波数を変えて再度、損傷箇所特定処理を行うよう案内する情報を表示装置へ表示してもよい。音響加振機２の加振周波数を変更して（ステップＳ１０）、再度、ステップＳ１からの処理をやり直す。そして、部材２０の各計測位置が正常か損傷ありの何れかに判定されるようになると損傷箇所特定処理を終了する。

以上説明したように、本実施形態によれば、モード解析を行うことなく、第一実施形態と同様の効果を得ることができる。一眼レフ等の高解像度カメラは高速度カメラより分解能が高いため、高解像度カメラを用いることにより、精度よく部材２０各所の振動を計測することができる。従って、モード解析が実施できるような周期で画像を撮影することができなくても、各計測位置における振動波形の変位の大きさから損傷箇所を検出することができる。なお、図６のフローチャートでは、ステップＳ４Ａの処理は、ステップＳ３Ａの後に行うこととしているが、事前に実行しておいてもよく、ステップＳ５Ａの前であれば、任意のタイミングで実行することができる。

＜第三実施形態＞
以下、本開示の第三実施形態に係る損傷箇所特定システム１００Ｂについて、図７～図８を参照して説明する。第三実施形態では、部材２０を音響加振したときに検出された振動のモード解析結果を学習モデルに基づいて判定する。
（構成）
図７は、第三実施形態に係る損傷箇所特定システム１００Ｂの一例を示す図である。
第三実施形態に係る構成のうち、第一実施形態に係る損傷箇所特定システム１００の構成と同じものには同じ符号を付し、それぞれの説明を省略する。損傷箇所特定システム１００Ｂは、プロジェクター１と、音響加振機２と、カメラ５と、損傷箇所特定装置１０Ｂと、を含む。損傷箇所特定装置１０Ｂは、画像取得部１１と、振動解析部１２と、判定部１５Ｂと、入力受付部１６と、出力部１７と、記憶部１８Ｂと、判定モデル構築部１９Ｂと、を備える。

判定部１５Ｂは、振動解析部１２が算出した部材２０の計測位置ごとのモード解析の結果を判定モデル１８２Ｂに基づいて判定する。例えば、判定モデル１８２Ｂは、ＦＥＭモデル１８１による解析モード結果を学習して構築されたモデルであって、判定部１５Ｂは、判定モデル１８２Ｂが示す解析モード結果と、振動解析部１２が算出した解析モード結果を計測位置ごとに比較する。判定部１５Ｂは、解析モード結果の乖離が閾値未満であれば、その計測位置は正常と判定し、閾値以上乖離していれば、その計測位置は損傷ありと判定する。
記憶部１８Ｂは、ＦＥＭモデル１８１と判定モデル１８２Ｂを記憶している。

判定モデル構築部１９Ｂは、判定モデル１８２Ｂを構築する。判定モデル１８２Ｂの構築手法は限定されない。例えば、判定モデル構築部１９Ｂは、ＦＥＭモデル１８１を用いて数値解析によるモード解析結果を行って、各計測位置に対応するモデル上の各位置おける固有振動数、固有モード等を算出する。判定モデル構築部１９Ｂは、ＦＥＭモデル１８１に基づいて算出した固有振動数、固有モードを正常時の学習データとして学習し、各計測位置における固有振動数、固有モードの正常な範囲を定めた判定モデル１８２Ｂを構築する。判定モデル構築部１９Ｂは、構築した判定モデル１８２Ｂを記憶部１８Ｂに記録する。

（動作）
次に図８を参照して、第三実施形態における部材２０の損傷箇所を特定する処理について説明する。第一実施形態、第二実施形態と同様の処理については簡単に説明する。
図８は、第三実施形態に係る損傷箇所特定処理の一例を示すフローチャートである。
まず、音響加振機２を用いて、検査対象の部材２０を加振する（ステップＳ１）。カメラ５は、検査対象の部材２０を撮影し続ける（ステップＳ２）。振動解析部１２は、カメラ５が撮影した時系列の画像に基づいて部材２０の各計測位置における振動を検出し、モード解析を行う（ステップＳ３）。一方、判定モデル構築部１９Ｂは、ＦＥＭモデル１８１に基づいてモード解析を行い、各計測位置の固有モード等を算出する。判定モデル構築部１９Ｂは、各計測位置の固有モード等を学習データ（正常データ）として、機械学習等により判定モデル１８２Ｂを構築する（ステップＳ４Ｂ）。単純な例としては、ＦＥＭモデル１８１に基づいて算出された各位置の固有振動数、固有モードのデータセットを判定モデル１８２Ｂとしてもよい。また、ＦＥＭモデル１８１に基づくモード解析結果だけではなく、部材２０と同質の損傷箇所が無い部材について、過去に図８のステップＳ１～Ｓ３の処理を実施したときに得られたモード解析結果を学習データとして加えて、判定モデル１８２Ｂを構築してもよい。

次に判定部１５Ｂが、ステップＳ３で算出された各計測位置のモード解析結果と判定モデル１８２Ｂに基づいて異常度を算出する（ステップＳ５Ｂ）。例えば、判定部１５Ｂは、ある計測位置における固有振動数および固有モードと判定モデル１８２Ｂが示す当該計測位置の固有振動数および固有モードとの差を算出して、この差を異常度とする。判定部１５Ｂは、全ての計測位置について正常データ（判定モデル１８２Ｂ）と計測データ（ステップＳ３の解析結果）の差（異常度）を算出する。

次に判定部１５Ｂは，１つずつの計測位置について、異常度を所定の閾値と比較して判定を行う（ステップＳ６Ｂ）。ここで、第５閾値を正常と判定するための閾値、第６閾値を損傷ありと判定するための閾値とする。判定部１５Ｂは、異常度が第５閾値未満であれば、部材２０の当該計測位置は正常であると判定する（ステップＳ７Ｂ）。判定部１５Ｂは、異常度が第６閾値以上であれば、部材２０の当該計測位置付近には損傷があると判定する（ステップＳ８Ｂ）。この場合、判定部１５Ｂは、損傷箇所を特定する（ステップＳ９Ｂ）。例えば、判定部１５Ｂは、異常度が第６閾値以上となる範囲の全体を、損傷箇所として特定してもよい。また、判定部１５Ｂは、異常度が第６閾値以上となる範囲の中から、異常度が最も大きい範囲を損傷箇所として特定してもよい。

また、異常度が第５閾値以上で第６閾値未満となる場合、判定部１５Ｂは、その計測位置の損傷の有無は不明であると判定する。この場合、例えば、出力部１７は、不明な箇所とともに、加振の周波数を変えて再度、損傷箇所特定処理を行うよう案内する情報を表示装置へ表示してもよい。ユーザは、音響加振機２の加振周波数を変更して（ステップＳ１０）、再度、ステップＳ１からの処理をやり直す。そして、部材２０の各計測位置が正常か損傷ありの何れかに判定されるようになると損傷箇所特定処理を終了する。

以上説明したように、第三実施形態によれば、座標モード相関係数を用いることなく、第一実施形態と同様の効果を得ることができる。なお、上記では、ＦＥＭモデル１８１を用いて算出した正常データを学習して判定モデル１８２Ｂを構築することとしたが、例えば、損傷箇所が存在する部材２０について、図８のステップＳ１～Ｓ３の処理を実施したときに得られたモード解析結果や、ＦＥＭモデル１８１を使って、各計測位置に損傷が発生したときのモード解析結果を算出して、異常データとして学習データに加え、正常データには正常のラベル、異常データには異常のラベルを付し、教師ありの機械学習手法によって、正常と異常を判別するような判定モデル１８２Ｂを構築してもよい。この場合、例えば、判定部１５Ｂは、ステップＳ３のモード解析結果を判定モデル１８２Ｂに基づいて、正常か異常の何れかに分類する。また、その際、正常又は異常の判定結果に対する確率（確信度）を算出し、その確信度が、正常と異常のどちらの可能性も含むような値の場合、加振周波数を変えて再度、損傷箇所特定処理を行うようにしてもよい。

以上説明したように、第一実施形態～第三実施形態によれば、カメラ５，５Ａを用いて、部材２０を撮影し、その画像を解析することにより、部材２０の振動を多点計測することができる。そして多点計測した各計測位置における振動の特徴（例えば、固有モード等のモード解析結果、又は、変位分布）を算出し、その振動の特徴が正常な部材２０をモデル化したＦＥＭモデル１８１から算出される振動の特徴と類似したものであれば、その計測位置は正常と判定し、乖離していれば損傷ありと判定する。これにより、音響加振機２による１回の加振で、広範囲を対象とする損傷箇所の検出を行うことができる。

＜第四実施形態＞
また、上記の第一実施形態～第三実施形態では、プロジェクター１と音響加振機２を用いることとしたが、プロジェクター１と音響加振機２については、必須の構成ではない。第四実施形態として、図９に、プロジェクター１と音響加振機２を使用しない場合の損傷箇所特定システム１００Ｃの一例を示す。例えば、部材２０の表面に元々ランダムパターンの模様が表示されていれば、プロジェクター１によるランダムパターン模様の投影は必要ない。また、プロジェクター１によるランダムパターン模様の投影に代えて、部材２０の表面にランダムパターン模様をスプレー等で塗布したり、ランダムパターン模様が印刷されたシールを部材２０の表面に張り付けたりしてもよい。また、音響加振機２については、図９に示すようにハンマ６による打撃や接触式の加振機３等で加振を行ったり、部材２０に圧電素子４を取り付けて電圧を加えることによって部材２０に振動を加えたりしてもよい。さらに、カメラ５に代えて、レーザを部材２０表面の各計測位置に照射し、その反射光を受光器で検出することにより、各計測位置の振動を検出するようにしてもよい。

図１０は、各実施形態に係る損傷箇所特定装置のハードウェア構成の一例を示す図である。コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の損傷箇所特定装置１０～１０Ｂは、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

損傷箇所特定装置１０～１０Ｂの全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

＜付記＞
各実施形態に記載の損傷箇所特定装置、損傷箇所特定システム、損傷箇所特定方法及びプログラムは、例えば以下のように把握される。

（１）第１の態様に係る損傷箇所特定装置１０～１０Ｂは、加振された部材２０を撮影した画像を取得する画像取得部１１と、時系列の前記画像に基づいて、前記部材２０に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量（固有振動数、固有モード、変位量など）を算出する振動解析部１２～１２Ａと、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定する判定部１５～１５Ｂと、を備える。
これにより、１回の試験で広範囲にわたる検査対象範囲に異常な箇所が存在するかどうかを検出することができる。

（２）第２の態様に係る損傷箇所特定装置１０～１０Ｂは、（１）の損傷箇所特定装置であって、前記判定部１５～１５Ｂは、異常と判定した前記計測位置を損傷箇所として特定する。
これにより、１回の試験で広範囲にわたる検査対象範囲の中から損傷箇所を検出することができる。

（３）第３の態様に係る損傷箇所特定装置１０は、（１）～（２）の損傷箇所特定装置であって、前記特徴量は、前記計測位置ごとのモード解析の結果であって、前記判定部１５は、前記計測位置ごとに算出された前記モード解析の結果と、前記計測位置ごとの前記モード解析の結果の正常値との相関係数に基づいて、前記相関係数（座標モード相関係数）が所定の第１閾値以上の場合、前記計測位置を正常と判定し、前記相関係数が前記第１閾値より小さい所定の第２閾値未満の場合、前記計測位置を異常と判定する。
これにより、部材２０の損傷箇所を検出することができる。

（４）第４の態様に係る損傷箇所特定装置１０Ａは、（１）～（３）の損傷箇所特定装置であって、前記特徴量は、前記計測位置ごとの変位量であって、前記判定部１５Ａは、前記計測位置ごとに算出された前記変位量と、前記計測位置ごとの前記変位量の正常値と差に基づいて、前記差が所定の第３閾値未満の場合、前記計測位置を正常と判定し、前記差が前記第３閾値より大きい所定の第４閾値以上の場合、前記計測位置を異常と判定する。
これにより、モード解析を行うことなく、部材２０の損傷箇所を検出することができる。

（５）第５の態様に係る損傷箇所特定装置１０Ｂは、（４）の損傷箇所特定装置であって、前記特徴量は、前記計測位置ごとのモード解析の結果であって、前記判定部１５Ｂは、前記計測位置ごとに算出された前記モード解析の結果を、前記計測位置ごとの前記モード解析の結果を学習して構築された判定モデルに基づいて、正常か否かの判定を行う。
これにより、座標モード相関係数を算出することなく、部材２０の損傷箇所を検出することができる。

（６）第６の態様に係る損傷箇所特定装置１０は、（１）～（５）の損傷箇所特定装置１０であって、前記計測位置ごとに算出された前記特徴量が、所定の正常条件と異常条件の何れも満たさない場合、前記部材の加振周波数の変更を指示するメッセージを出力する出力部１７、をさらに備える。
これにより、部材２０が正常か損傷箇所を含むかを判断できない場合には、条件を変えて損傷箇所特定処理をやり直すことができる。

（７）第７の態様に係る損傷箇所特定システム１００～１００Ｃは、前記画像を撮影するカメラ５、５Ａと、（１）～（６）の何れかに記載の損傷箇所特定装置と、を備える。

（８）第８の態様に係る損傷箇所特定システム１００Ａは、（７）の損傷箇所特定システムであって、前記カメラ５Ａが、前記加振の周期と非同期に前記部材を撮影する。
これにより、計測位置の変位を偏りなくサンプリングすることができる。

（９）第９の態様に係る損傷箇所特定システム１００Ａは、（７）～（８）の損傷箇所特定システムであって、前記部材の表面にランダムパターンの模様を投影するプロジェクター１をさらに備える。
これにより、部材２０の表面にランダムパターンの模様を塗布等する必要がなくなる。

（１０）第１０の態様に係る損傷箇所特定方法は、加振された部材を撮影した画像を取得するステップと、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、を有する。

（１１）第１１の態様に係るプログラムは、コンピュータ９００に、加振された部材を撮影した画像を取得するステップと、時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、を実行させる。

１００、１００Ａ、１００Ｂ、１００Ｃ・・・損傷箇所特定システム
１・・・プロジェクター
２・・・音響加振機
３・・・接触式の加振機
４・・・圧電素子
５・・・カメラ
１０・・・損傷箇所特定装置
１１・・・画像取得部
１２、１２Ａ・・・振動解析部
１３・・・ＦＥＭ解析部
１４・・・相関係数算出部
１５、１５Ａ、１５Ｂ・・・判定部
１６・・・入力受付部
１７・・・出力部
１８、１８Ａ、１８Ｂ・・・記憶部
１８１・・・ＦＥＭモデル
１８２Ａ、１８２Ｂ・・・判定モデル
１９Ａ、１９Ｂ・・・判定モデル構築部
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

Claims (11)

1. 加振された部材を撮影した画像を取得する画像取得部と、
   時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出する振動解析部と、
   算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定する判定部と、
   を備える損傷箇所特定装置。
2. 前記判定部は、異常と判定した前記計測位置を損傷箇所として特定する、
   請求項１に記載の損傷箇所特定装置。
3. 前記特徴量は、前記計測位置ごとのモード解析の結果であって、
   前記判定部は、前記計測位置ごとに算出された前記モード解析の結果と、前記計測位置ごとの前記モード解析の結果の正常値との相関係数に基づいて、前記相関係数が所定の第１閾値以上の場合、前記計測位置を正常と判定し、前記相関係数が前記第１閾値より小さい所定の第２閾値未満の場合、前記計測位置を異常と判定する、
   請求項１または請求項２に記載の損傷箇所特定装置。
4. 前記特徴量は、前記計測位置ごとの変位量であって、
   前記判定部は、前記計測位置ごとに算出された前記変位量と、前記計測位置ごとの前記変位量の正常値と差に基づいて、前記差が所定の第３閾値未満の場合、前記計測位置を正常と判定し、前記差が前記第３閾値より大きい所定の第４閾値以上の場合、前記計測位置を異常と判定する、
   請求項１または請求項２に記載の損傷箇所特定装置。
5. 前記特徴量は、前記計測位置ごとのモード解析の結果であって、
   前記判定部は、前記計測位置ごとに算出された前記モード解析の結果を、前記計測位置ごとの前記モード解析の結果を学習して構築された判定モデルに基づいて、正常か否かの判定する、
   請求項１または請求項２に記載の損傷箇所特定装置。
6. 前記計測位置ごとに算出された前記特徴量が、所定の正常条件と異常条件の何れも満たさない場合、前記部材の加振の周波数の変更を指示する情報を出力する出力部、
   をさらに備える請求項１または請求項２に記載の損傷箇所特定装置。
7. 前記画像を撮影するカメラと、
   請求項１または請求項２に記載の損傷箇所特定装置と、
   を備える損傷箇所特定システム。
8. 前記カメラが、前記加振の周期と非同期に前記部材を撮影する、
   請求項７に記載の損傷箇所特定システム。
9. 前記部材の表面にランダムパターンの模様を投影するプロジェクター、
   をさらに備える請求項７に記載の損傷箇所特定システム。
10. 加振された部材を撮影した画像を取得するステップと、
    時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、
    算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、
    を有する損傷箇所特定方法。
11. コンピュータに、
    加振された部材を撮影した画像を取得するステップと、
    時系列の前記画像に基づいて、前記部材に設けられた所定の計測位置ごとの振動を算出し、算出した前記振動の特徴量を算出するステップと、
    算出された前記特徴量を、前記計測位置ごとの前記特徴量の正常値と比較して、前記計測位置ごとに前記部材の状態を判定するステップと、
    を実行させるプログラム。

Images