JP2017207339A - 画像解析を用いた周波数の解析方法 - Google Patents

Abstract

【課題】橋梁等の検査対象の画像を解析することにより、検査対象の振動の周波数、具体的には、固有振動と振幅幅を特定し、橋梁の劣化の進行を把握できるようにする。【解決手段】検査対象の連続画像を撮影し、各連続画像に共通する、各連続画像中の同一位置の輝度成分を特定し、特定された画素の輝度成分の変化の周期を示す周波数を解析し、卓越周波数を生成し、卓越周波数を統計解析し、平均値を画像化し、卓越周波数画像を生成し、卓越周波数画像を解析し、検査対象の固有振動と振幅量とを特定する。【選択図】図１０

Description

本発明は、固有振動を有する橋梁や、倒木の恐れがある樹木など、固有の振動を伴う検査対象の周波数を画像解析を用いて解析する方法に関する。

例えば、鉄橋や高架橋など、列車や車両（以下、単に列車とする）が走行する橋梁は、列車の通過に伴い、橋梁固有の振動が発生する。
このような振動は、固有振動と振幅幅によって構成される周波数として出現するが、この周波数は、橋梁の劣化と共に変化する。
このため、橋梁に出現する周波数を、定点から定期的に所定の時期に観察することにより、橋梁の劣化の進行を検出することが可能である。

これとは別に、倒木の恐れのある樹木は、健常な樹木とは幹の強度が異なり、周辺の健常な樹木とは異なる揺れ方をする。
このため、樹木の振動成分を周波数として評価（比較評価）できれば、倒木前に、倒木の可能性のある樹木を特定することができ、その樹木の倒木前に、その樹木を伐採するなどの安全策を講じることができるようになる。

しかしながら、上記のような固有振動を計測するための検査は、橋梁等に予め測定器具を設置した上で、特殊な列車を用いる必要があるなど、非常に大掛かりなものであって、検査のための準備時間や、実施の時間的な制約があり、また、必要な作業人員の確保や、大掛かりな検査機材のコスト的な負担も大きく、さまざまな箇所で、短い間隔で定期的に実施することは難しい、という問題があった。

特開２０１５−１９０２７０

本発明は、上記の問題を解決するためになされたものであって、橋梁等の検査対象の画像を解析することにより、検査対象の振動の周波数、具体的には、固有振動と振幅幅を特定し、橋梁の劣化の進行を把握したり、倒木間近の樹木の特定をできるようにしたりすることを目的とする。

本発明にかかる画像解析を用いた周波数の解析方法は、
検査対象の連続画像を撮影するステップと、
各連続画像に共通する、各連続画像中の同一位置の輝度成分を特定し、特定された画素の輝度成分の変化の周期を示す周波数を解析し、卓越周波数を生成するステップと、
卓越周波数を統計解析し、平均値を画像化し、卓越周波数画像を生成するステップと、
卓越周波数画像を解析し、検査対象の固有振動と振幅量とを特定するステップと
を含むことを特徴とする。

本発明にかかる画像解析を用いた周波数の解析方法は、前記の解析方法において、
連続画像がカラー画像の場合、卓越周波数を生成するステップの前に、カラー画像をモノクロ化するステップを含むことを特徴とする。

本発明にかかる画像解析を用いた周波数の解析方法は、前記の解析方法において、
卓越周波数を生成するステップが、
輝度成分を特定すべき同一位置を、連続画像中の少なくとも１個所に設定するステップと、
前記、複数の同一位置の輝度値を、各位置ごとに、複数の連続データとして取り出すステップと、
連続データを予め定められた数の連続データのグループ単位に分割するステップと、
連続データのグループ単位で、連続データをフーリエ変換し、卓越周波数を生成するステップと
を含むことを特徴とする。

本発明にかかる画像解析を用いた周波数の解析方法は、前記の解析方法において、
卓越周波数画像を生成するステップが、
揺れている部分が白く、揺れていない部分が黒くなるよう、卓越周波数を解析し、平均値を画像化する
ことを含むことを特徴とする。

本発明では、橋梁や樹木などの検査対象を、検査対象の周囲からビデオカメラなどの撮影装置で撮影し、得られた画像を解析するだけで検査対象の振動の周波数、固有振動、振幅幅を特定することができ、得られた情報に基づいて、橋梁の劣化の進行を把握したり、樹木の倒木の可能性を事前に排除したりすることを、簡単かつ低コストで実現できるようになる。

図１は、第１実施例において撮影装置によって得られた連続画像の１フレームを示す画像である。 図２は、図１のフレームに特定された同一位置を示す説明図である。 図３は卓越周波数を生成する工程の説明図である。 図４は、図３の卓越周波数の情報から生成される卓越周波数画像の画像である。 図５は、図４の線Ａ−Ａの輝度の分布をしめすグラフである。 図６は、周波数１Ｈｚの検証画像の１フレームの画像である。 図７は図６のデータを含む卓越周波数画像である。 図８は、周波数２．３Ｈｚの検証画像の１フレームの画像である。 図９は、図８のデータを含む卓越周波数画像である。 図１０は、本発明に掛かる画像解析を用いた周波数の解析方法の一実施例の動作を示すフローチャートである。 図１１は、撮影装置によって得られた連続画像の１フレームを示す画像である。 図１２は、図１１のフレームに特定された同一位置を示す説明図である。 図１３は、卓越周波数を生成する工程の説明図である。 図１４は、図１３の卓越周波数の情報から生成される卓越周波数画像およびその画像内の輝度の分布を示すグラフである。 図１５は、図１３の卓越周波数画像の部分拡大説明図である。 図１６は、図１５の部分拡大説明図の線Ｃ上の輝度の分布を示すグラフである。 図１７は、図１５の部分拡大図の線Ｄ上の輝度の分布を示すグラフである。

本発明は、ビデオカメラなどの撮影装置で、橋梁などの検査対象を撮影し、得られた画像に含まれる特定位置の画素の輝度成分を特定し、その特定成分の変化の周期を示す周波数を解析し、卓越周波数を生成し、得られた卓越周波数から卓越周波数画像を生成し、生成された卓越周波数画像から検査対象の固有振動と振幅量とを特定する。
これにより、橋梁を利用する列車等の運用を停止することなく、平常の利用状態で、橋梁の劣化の進行の把握や、樹木の倒木の予想を簡単にできるようになる。

まず、図１から図５に基づき、本発明の前提となる卓越周波数画像の生成の原理について説明する。
図１は、第１実施例において撮影装置によって得られた連続画像の１フレームを示す画像、図２は、図１のフレームに特定された同一位置を示す説明図、図３は、卓越周波数を生成する工程の説明図、図４は、図３の卓越周波数の情報から生成される卓越周波数画像、図５は、図４の線Ａの輝度の分布をしめすグラフである。

図１の画像を撮影した撮影装置は、撮影画像の画素数がＨＤ２００万画素、撮影間隔２０Ｈｚであり、この実施例で得られた総画像数は１０００フレームである。
この実施例では、固有振動を有する検査対象を、前後左右に揺れ動く人物１とする。
この撮影装置で撮影された連続画像の１フレームは、図１に示されるとおりである。

まず、得られた連続画像はカラーであるので、これをモノクロ化する。
次に、得られた各連続画像に共通する、各連続画像中の同一位置を特定する。
例として、図２に示されるような位置、即ち、人物１上の一点を同一位置として特定する。
なお、この一点は、同一画角による撮影によって得られた連続画像中に特定されるため、各画像における画像上の同一位置は、画像上の同一のＸＹ座標位置となる。
以下、この同一位置での解析について説明する。

この位置は、１０００フレームの撮影画像上、全て同一位置として特定される。
なお、この同一位置は、例えば、撮影対象の構造や大きさに応じて設定された間隔や、予め設定された共通の間隔で、画面上一面に配置される。
また、本実施例においては、この処理は画像全体に対して実行されるが、画像の一部に限定して実行してもよい。

次に、全同一位置の輝度、即ち、１０００個の輝度値を取り出す。
この輝度値は、１０００個の連続データとして取り出される。
次に、図３に示されるように、１０００個の連続画像の連続データを、２００データのグループ単位に分割する。
このとき、窓の大きさは任意に設定することが可能である。
なお、窓の大きさとの窓とは、フーリエ変換において適用される窓関数のことを示す。

次に、各グループ単位でフーリエ変換を実行し、各グループの卓越周波数を生成する。
この卓越周波数は、統計解析することによって、平均値、標準偏差などの特徴が得られる。
この卓越周波数を統計解析することによって、１０００個の連続データにおける卓越周波数の平均値、標準偏差などの特徴が得られる。
次に、卓越周波数の統計解析によって得られた平均値を画像化し、図４に示されるような卓越周波数画像を生成する。

なお、上記の説明では、一点の同一位置について説明したが、通常、この同一位置は、画像中に複数個所、基本的に、画面全面に対して設定される。
図４に示される画像の線Ａ上の濃淡値は、図５に示されるが、窓の秒数、ここでは１０秒で除して周波数を求める。
フーリエの卓越周波数は、窓の大きさに対して算出される。
具体的には、ここでは、２００枚／２０Ｈｚまでの、１０秒とする。

この図５では、揺れている人物は白く表示され、動きのない背景は黒く表示される。
次に、卓越周波数画像を解析することにより、検査対象、ここでは人物の固有振動と振幅量とを特定する。

上記のように、撮影装置によって得られた連続した撮影画像から、フーリエ変換を介して卓越周波数画像を生成し、卓越周波数画像を解析することによって、検査対象の固有振動と振幅量とを特定することが可能になる。

次に、図６から図９に基づき、画像フーリエ変換を介した卓越周波数画像における周波数解析の精度について検証する。
図６は、周波数１Ｈｚの検証画像の１フレームの画像、図７は図６のデータを含む卓越周波数画像、図８は、周波数２．３Ｈｚの検証画像の１フレームの画像、図９は、図８のデータを含む卓越周波数画像である。

この検証では、所定の速度で動作するメトロノームを撮影してメトロノームの針の振幅量を推定し、実測値と比較した。
振幅の周期パターンは、１．０Ｈｚと、２．３Ｈｚに２種類とした。

この試験の撮影は、以下の条件で実施した。
撮影画像の画素数：ＨＤ２００万画素
撮影間隔：２５Ｈｚ
総画像数：１０００フレーム
窓の大きさ：１０００Ｈｚ

撮影から卓越周波数画像を生成するまでの工程は、上記の生成の原理で説明したものと同様であるので、重複する説明を省略する。
まず、１Ｈｚで振幅するメトロノーム２を用いた検証について説明する。

図６に示される画像を含む、撮影装置によって得られた連続した画像から、上記と同様の方法で卓越周波数を生成し、得られた卓越周波数から、上記と同様の方法で卓越周波数画像を生成する。

この１Ｈｚの場合の卓越周波数画像は、図７に示されるが、揺動するメトロノーム２の針は、扇状に表示される。
１Ｈｚの画像として表れるのは、図７の扇状の中央部分であり、この画像から、実際に、１Ｈｚの周波数で振幅することが確認できた。

次に、２．３Ｈｚで振幅するメトロノーム２を用いた検証について説明する。
図８に示される画像を含む、撮影装置によって得られた連続した画像から、上記と同様の方法で卓越周波数を生成し、得られた卓越周波数から、上記と同様の方法で卓越周波数画像を生成する。

この２．３Ｈｚの場合の卓越周波数画像は、図９に示されるが、揺動するメトロノーム２の針は、扇状に表示される。
２．３Ｈｚの画像として表れるのは、図９の扇状の中央部分であり、この画像から、実際には、２．３５Ｈｚの周波数で振幅することが確認できた。

上記の試験により、上記の試験による検証で、メトロノーム２の針の振幅の設定値と、実際に生成された卓越周波数画像で確認できた実測値とは、ほぼ一致しており、卓越周波数画像から卓越周波数を検出することが可能であることが確認できた。

次に、図１０から図１７に基づき、本発明にかかる画像解析を用いた周波数の解析方法の一実施例について説明する。
図１０は、本発明に掛かる画像解析を用いた周波数の解析方法の一実施例の動作を示すフローチャート、図１１は、撮影装置によって得られた連続画像の１フレームを示す画像、図１２は、図１１のフレームに特定された同一位置を示す説明図、図１３は、卓越周波数を生成する工程の説明図、図１４は、図１３の卓越周波数の情報から生成される卓越周波数画像およびその画像内の輝度の分布を示すグラフ、図１５は、図１３の卓越周波数画像の部分拡大説明図、図１６は、図１５の部分拡大説明図の線Ｃ上の輝度の分布を示すグラフ、図１７は、図１５の部分拡大図の線Ｄ上の輝度の分布を示すグラフである。

図１０の画像を撮影した撮影装置は、撮影画像の画素がＨＤ２００万画素、撮影間隔２０Ｈｚであり、この実施例で得られた総画像数は３２７フレームである。
この実施例では、解析対象を列車用の橋梁３とし、列車の通過前から通過後に至る時間、定点から橋梁３を撮影した（ステップＳ０１）。

この橋梁３は、列車の通過に伴い、微妙に振動する。
この実施例で、撮影層で撮影された連続画像の１フレームは、図１１に示されるとおりである。
この実施例で用いられた撮影装置によって得られる画像は、カラーであるため、まず、撮影された連続画像をモノクロ化する（ステップＳ０２）。

次に、得られた連続画像に共通する、各連続画像中の同一位置を特定する（ステップＳ０３）。
例として、図１２に示される位置、即ち、鉄橋上の一点を同一位置として特定する。
以下の説明では、この同一位置を中心に、解析方法について説明する。

この同一位置は、この実施例で得られた連続画像の３２７フレームの全てに共通する同一位置として特定される。
なお、この同一位置は、例えば、撮影対象の構造や大きさに応じて設定された間隔や、予め設定された共通の間隔で、画面上一面に配置され、他の同一位置でも、以下で説明する工程と同様の工程がなされる。

次に、図１３に示されるように、３２７個の連続画像の連続データを、順次、２００データのグループ単位に分割する（ステップＳ０４）。
このとき、窓の大きさは任意に設定することが可能である。

次に、各グループ単位でフーリエ変換を実行し（ステップＳ０５）、各グループの卓越周波数を生成する（ステップＳ０６）。
この卓越周波数は、統計解析することによって、平均値、標準偏差などの特徴が得られる。

次に、卓越周波数の統計解析によって得られた平均値を画像化し、図１４に示されるような卓越周波数画像を生成する（ステップＳ０７）。
このとき、画像一面にわたり、卓越周波数の統計解析が実行され、平均値の画像化が実行されるため、列車の通過により、橋梁が揺動すると、揺動した要素が白黒濃淡により表現され、図１４に示されるような白黒濃淡による鉄橋の画像が生成される。
なお、この図１４では、揺動する橋梁は白色で表示され、動きのない背景は黒く表示される。

図１４中の線Ｂ上の濃淡値は、図１４の右側のグラフに示されるが、窓の秒数、ここでは１０秒を除して周波数を求めた。
この結果、この実施例の橋梁３は、４Ｈｚ（４０／１０秒）の周波数で揺動していると特定された（ステップＳ０８）。

このように、卓越周波数を画像化することによって、揺動の周波数、即ち、固有振動を特定することができた。
次に、卓越周波数画像の解析により、解析対象である橋梁の振幅量を特定する（ステップＳ０９）。
この振幅量の特定は、既知の寸法を規準に１画素の大きさを特定する。

この実施例では、枕木の間隔が６５ｃｍであるので、図１５に示されるように、この間隔を基準に画像中の縮尺を設定した。
図１５の拡大画像の線Ｃ上の振幅分布は、図１６に示されるように、約７ｍｍである。
図１５の拡大画像の線Ｄ上の振幅分布は、図１７に示されるように、約１０〜１１ｍｍである。
上記の結果から、この実施例の橋梁３の場合、列車の通過により、４Ｈｚの固有振動が発生し、その振幅量は約９ｍｍ程度であることが判明した。

このように、本発明では、撮影装置で橋梁のような検査または解析対象を撮影するだけで、固有振動の周波数と、その振幅量を共に解析できる。
このため、定期的に、同じ箇所、同じ時間帯、または、類似の条件が再現される機会に、撮影を継続することにより、揺動の固有振動の周波数、および、その振幅量の変化を確認することができ、その変化に基づき、橋梁の劣化の進行を検出することが可能になる。

上記の実施例では、１つの橋梁の１箇所の揺動を解析対象としたが、例えば、同一形式の径間が連続する長い橋梁の場合、各径間における上記の解析を実施し、周辺の径間の解析結果同士を比較することで、周波数が低く、振幅量が大きい劣化径間を検出することが可能になる。

また、解析対象を樹木とした場合、複数の樹木を一度に撮影し、解析することにより、他の樹木に比べ、特異的な揺動をする樹木を特定することができる。
この特異的な揺動は、その樹木の劣化を意味ものとし、倒木する前に、その樹木を伐採したり、補強したり、といった対応をとることが可能になる。

なお、本発明は上記の実施例に限定されるものではなく、例えば、検査や解析の対象は、橋梁や樹木に限定されず、揺動するものであればどのようなものであってもよく、また、連続画像の画素や撮影間隔、一連の連続画像のフレーム総数などは、解析対象の応じて適宜設定を変更することが可能である。
また、フーリエ解析を実行するデータ数の単位は、上記の実施例に限定されず、卓越周波数画像は、卓越周波数を特定したグループ単位で作成しても、複数のグループのものを結合させても、全てのグループのものを結合させてもよい。

検査または解析対象となる橋梁等を単に動画撮影し、得られた画像を解析するだけで、橋梁等の揺動の固有振動の周波数、および、振幅量を特定することができ、時間、作業因数、コストを極めて抑制して橋梁等の劣化の進行を把握できるようになる。

１ 人物
２ メトロノーム
３ 橋梁

Claims (4)

1. 検査対象の連続画像を撮影するステップと、
   各連続画像に共通する、各連続画像中の同一位置の輝度成分を特定し、特定された画素の輝度成分の変化の周期を示す周波数を解析し、卓越周波数を生成するステップと、
   卓越周波数を統計解析し、平均値を画像化し、卓越周波数画像を生成するステップと、
   卓越周波数画像を解析し、検査対象の固有振動と振幅量とを特定するステップと
   を含む画像解析を用いた周波数の解析方法。
2. 連続画像がカラー画像の場合、卓越周波数を生成するステップの前に、カラー画像をモノクロ化するステップを含む請求項１に記載の画像解析を用いた周波数の解析方法。
3. 卓越周波数を生成するステップが、
   輝度成分を特定すべき同一位置を、連続画像中の少なくとも１個所に設定するステップと、
   前記、複数の同一位置の輝度値を、各位置ごとに、複数の連続データとして取り出すステップと、
   連続データを予め定められた数の連続データのグループ単位に分割するステップと、
   連続データのグループ単位で、連続データをフーリエ変換し、卓越周波数を生成するステップと
   を含む請求項１または２に記載の画像解析を用いた周波数の解析方法。
4. 卓越周波数画像を生成するステップが、
   揺れている部分が白く、揺れていない部分が黒くなるよう、卓越周波数を解析し、平均値を画像化する
   請求項１から３のいずれかに記載の画像解析を用いた周波数の解析方法。