JP6452923B1 - 振動検知装置、振動検知方法および振動検知プログラム - Google Patents

Abstract

正常特徴記憶部（１３１）が、正常な振動の特徴を表す正常特徴情報（３０１）を記憶する。ヒストグラム情報生成部（１１０）が、動画像データ（１０９）を取得し、動画像データから振動物の動きを表す動きベクトルを抽出する。また、ヒストグラム情報生成部（１１０）が、動き方向範囲ごとに動きベクトルの数量をカウントし、動き方向範囲ごとの動きベクトルの数量を用いて、動画像データ（１０９）のフレームごとのヒストグラム情報（２１）を生成する。また、周波数解析部（１２２）が、ヒストグラム情報（２１）を用いて、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを振動特徴情報（３０２）として算出する。そして、比較部が、振動特徴情報（３０２）と正常特徴情報（３０１）とを比較する。

Description

本発明は、振動検知装置、振動検知方法および振動検知プログラムに関する。

特許文献１に開示された映像による振動検知方式では、撮像部で撮像した撮像画像において、振動に伴って画像内で上下に移動する移動成分を特定し、特定した移動成分の移動履歴に対して周波数解析を行って、移動成分の振動周波数の強度を算出する。次に、振動検知方式は、算出した移動成分の振動周波数の強度のうち、所定範囲の振動周波数を抽出する。次に、振動検知方式は、抽出した所定周波数範囲内の周波数強度に基づいて、当該所定周波数範囲内における振動の平衡点で撮像された撮像画像を平衡画像として抽出する。次に、振動検知方式は、平衡画像における画像速度を算出し、算出した平衡画像における画像速度を用いて、定常的な振動によって発生する画像速度を撮像画像から排除する。次に、振動検知方式は、定常的な振動によって発生する画像速度を排除した撮像画像に基づいて、振動によって変位する画像内の変位の中心位置を検出する。そして、振動検知方式は、検出した変位の中心位置を監視して、撮像部で撮像した画像における振動に起因する画像の変位量の算出を行う。

特開２００６−１７０９６１号公報

特許文献１に開示された技術は、予め画面の上下方向に振動すると分かっていることから縦方向に濃度勾配を有する移動成分を特定しており、振動が画面のどの方向に対しても生じる場合に適用できないという課題があった。また、特許文献１に開示された技術は、振動を検知することのみを目的としており、その振動が正常振動か異常振動かを判断して異常振動の検知をすることができないという課題があった。

本発明は、振動検知対象がどの方向に振動していても映像から振動状態を検知し、更に振動状態の違いから正常振動か異常振動かを判断して、振動検知対象の異常振動を検知することを目的とする。

本発明に係る振動検知装置は、
振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報を記憶する正常特徴記憶部と、
前記振動物を撮影した動画像を表す動画像データを取得し、前記動画像データから前記振動物の動きを表す動きベクトルを抽出し、前記動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントし、前記動き方向範囲ごとの動きベクトルの数量を用いて、前記動画像データのフレームごとのヒストグラムをヒストグラム情報として生成するヒストグラム情報生成部と、
前記ヒストグラム情報を用いて、前記動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、前記振動物の振動の特徴を表す振動特徴情報として算出する周波数解析部と、
前記正常特徴記憶部から前記正常特徴情報を取得し、前記振動特徴情報と前記正常特徴情報とを比較し、前記振動特徴情報が前記正常特徴情報を有するか否かを判定する比較部と
を備えた。

本発明に係る振動検知装置では、正常特徴記憶部が、振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報を記憶する。ヒストグラム情報生成部が、振動物を撮影した動画像を表す動画像データを取得し、動画像データから振動物の動きを表す動きベクトルを抽出する。また、ヒストグラム生成部が、動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントし、動き方向範囲ごとの動きベクトルの数量を用いて、動画像データのフレームごとのヒストグラムをヒストグラム情報として生成する。また、周波数解析部が、ヒストグラム情報を用いて、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、振動物の振動の特徴を表す振動特徴情報として算出する。そして、比較部が、振動特徴情報と正常特徴情報とを比較し、振動特徴情報が正常特徴情報を有するか否かを判定する。よって、本発明に係る振動検知装置によれば、振動検知対象がどの方向に振動していても映像から振動状態を検知し、更に振動状態の違いから正常振動か異常振動かを判断して、振動検知対象の異常振動を検知することができる。

実施の形態１に係る振動検知装置１００の構成図。 実施の形態１に係る動画像圧縮データ１１について説明する図。 実施の形態１に係る振動検知方法６１０および振動検知プログラム６２０の振動検知処理Ｓ１００を示すフロー図。 実施の形態１に係る正常振動抽出処理Ｓ１０を示すフロー図。 実施の形態１に係る正常振動をしている振動物５０２を撮影した映像から抽出した動きベクトルのうち、特定の動き方向範囲の動きベクトルの数量を周波数解析して得られた周波数ごとの周波数成分を時系列に並べた例。 実施の形態１に係る振動特徴比較処理Ｓ２０を示すフロー図。 実施の形態１に係る異常振動をしている振動物５０２を撮影した映像から抽出した動きベクトルのうち、特定の動き方向範囲の動きベクトルの数量を周波数解析して得られた周波数ごとの周波数成分を時系列に並べた例。 実施の形態１の変形例に係る振動検知装置１００の構成図。 実施の形態２に係る振動検知装置１００ａの構成図。 実施の形態２に係るヒストグラム情報生成処理Ｓ１１０ａを示すフロー図。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係る振動検知装置１００の構成について説明する。
図１に示すように、振動検知装置１００は、コンピュータである。
振動検知装置１００は、プロセッサ９１０、記憶装置９２０、入力インタフェース９３０、および出力インタフェース９４０といったハードウェアを備える。記憶装置９２０は、メモリ９２１と補助記憶装置９２２とを含む。

振動検知装置１００は、機能構成として、ヒストグラム情報生成部１１０と、振動解析部１２０と、記憶部１３０とを備える。
ヒストグラム情報生成部１１０は、圧縮データ受信部１１１と、動きベクトル抽出部１１２と、動き方向計算部１１３と、動き数量カウント部１１４と、動きヒストグラム生成部１１５とを備える。
振動解析部１２０は、動き数量抽出部１２１と、周波数解析部１２２と、正常特徴抽出部１２３と、比較部１２４と、通知部１２５とを備える。
記憶部１３０は、正常特徴記憶部１３１を備える。正常特徴記憶部１３１は、振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報３０１が記憶される。また、記憶部１３０には、ヒストグラム情報２１が記憶される。動き数量抽出部１２１は、ヒストグラム情報２１を取得し、動き方向範囲ごとに動きベクトルの数量を抽出する。

圧縮データ受信部１１１と、動きベクトル抽出部１１２と、動き方向計算部１１３と、動き数量カウント部１１４と、動きヒストグラム生成部１１５と、動き数量抽出部１２１と、周波数解析部１２２と、正常特徴抽出部１２３と、比較部１２４と、通知部１２５のそれぞれの機能は、ソフトウェアで実現される。以下の説明において、圧縮データ受信部１１１と、動きベクトル抽出部１１２と、動き方向計算部１１３と、動き数量カウント部１１４と、動きヒストグラム生成部１１５と、動き数量抽出部１２１と、周波数解析部１２２と、正常特徴抽出部１２３と、比較部１２４と、通知部１２５を、ヒストグラム情報生成部１１０および振動解析部１２０の各部と称する。
記憶部１３０は、メモリ９２１により実現される。また、記憶部１３０は、補助記憶装置９２２のみ、あるいは、メモリ９２１および補助記憶装置９２２で実現されてもよい。記憶部１３０の実現方法は任意である。

プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、補助記憶装置９２２は、ＳＤ（登録商標）（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。

入力インタフェース９３０は、カメラ５０４といった撮像装置と接続されるポートである。入力インタフェース９３０は、カメラ５０４により撮影された動画像を表す動画像圧縮データ１１を取得し、圧縮データ受信部１１１に出力する。あるいは、入力インタフェース９３０は、マウス、キーボード、タッチパネルといった入力装置と接続されるポートである。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。

出力インタフェース９４０は、ディスプレイといった表示機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。

補助記憶装置９２２には、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能を実現するプログラムが記憶されている。ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能を実現するプログラムを振動検知プログラム６２０ともいう。このプログラムは、メモリ９２１にロードされ、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。また、補助記憶装置９２２はＯＳを記憶している。補助記憶装置９２２に記憶されているＯＳの少なくとも一部がメモリ９２１にロードされる。プロセッサ９１０はＯＳを実行しながら、振動検知プログラム６２０を実行する。

振動検知装置１００は、１つのプロセッサ９１０のみを備えていてもよいし、複数のプロセッサ９１０を備えていてもよい。複数のプロセッサ９１０が、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能を実現するプログラムを連携して実行してもよい。

ヒストグラム情報生成部１１０および振動解析部１２０の各部の処理の結果を示す情報、データ、信号値、および変数値は、振動検知装置１００の補助記憶装置９２２、メモリ９２１、または、プロセッサ９１０内のレジスタまたはキャッシュメモリに記憶される。

ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能を実現するプログラムは、可搬記録媒体に記憶されてもよい。可搬記録媒体とは、具体的には、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、あるいはＳＤ（登録商標）カードといったメモリカードである。
なお、振動検知プログラムプロダクトとは、振動検知プログラム６２０が記録された記憶媒体および記憶装置である。振動検知プログラムプロダクトは、外観に関わらず、コンピュータ読み取り可能なプログラムをロードしているものを指す。

図２を用いて、本実施の形態に係る動画像圧縮データ１１について説明する。図２では、動画像フレーム５０１内の振動物５０２と、この振動物を撮影するカメラ５０４と、このカメラ５０４から出力される動画像圧縮データ１１の例を示している。動画像圧縮データ１１は、振動物５０２を撮影した動画像を表す動画像データ１０９の例である。
図２に示す動画像フレーム５０１は、振動物５０２をカメラ５０４で撮影した映像のフレームである。振動物５０２の振動５０３は、近接する動画像フレーム５０１間での振動物５０２の位置の微小な変化として現れる。
本実施の形態に係るカメラ５０４は、振動５０３による振動物５０２の位置の微小な変化を動きベクトル５０６として動画像圧縮データ１１に記録する動画像圧縮機能を備えている。動きベクトル５０６は、近接する動画像フレーム５０１間での振動物５０２の位置の微小な変化をベクトルにより表している。

＊＊＊動作の説明＊＊＊
図３を用いて、本実施の形態に係る振動検知方法６１０および振動検知プログラム６２０の振動検知処理Ｓ１００について説明する。
振動検知処理Ｓ１００は、正常振動抽出処理Ｓ１０と、振動特徴比較処理Ｓ２０とを有する。

＜正常振動抽出処理Ｓ１０＞
図４を用いて、本実施の形態に係る正常振動抽出処理Ｓ１０について説明する。
正常振動抽出処理Ｓ１０は、動画像圧縮データ１１から、正常振動している振動物５０２の振動特徴を正常特徴情報３０１として抽出し、正常特徴記憶部１３１に記憶する処理である。正常特徴抽出処理Ｓ１０は、ヒストグラム情報生成処理Ｓ１１０と、周波数解析処理Ｓ１２０と、正常特徴抽出処理Ｓ１３０とを有する。

＜ヒストグラム情報生成処理Ｓ１１０＞
ヒストグラム情報生成処理Ｓ１１０では、ヒストグラム情報生成部１１０は、振動物５０２を撮影した動画像を表す動画像データ１０９を取得し、動画像データ１０９から振動物５０２の動きを表す動きベクトル５０６を抽出する。そして、ヒストグラム情報生成部１１０は、動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントする。そして、ヒストグラム情報生成部１１０は、動き方向範囲ごとの動きベクトルの数量を用いて、動画像データ１０９のフレームごとのヒストグラムをヒストグラム情報２１として生成する。なお、ヒストグラム情報生成部１１０は、動画像を圧縮した動画像圧縮データ１１であって動きベクトル５０６を含む動画像圧縮データ１１を動画像データ１０９として取得する。そして、ヒストグラム情報生成部１１０は、動画像圧縮データ１１から動きベクトル５０６を抽出する。

具体的には、まず、ステップＳ１１１において、動画像圧縮機能を有するカメラ５０４により、振動物５０２が撮影されている。
ステップＳ１１２において、圧縮データ受信部１１１は、カメラ５０４から出力された動画像圧縮データ１１を出力する。圧縮データ受信部１１１は、１動画像フレーム分の動画像圧縮データを出力する。ここで、動画像圧縮データ１１には、近接する動画像フレーム５０１間の情報から画素ブロック単位で計算される動きベクトル５０６が含まれる。具体例としては、動きベクトル５０６は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）フォーマットといった圧縮方式で規定される符号化動きベクトルである。この符号化動きベクトルは、近接する動画像フレーム５０１間の輝度勾配といった情報から画素ブロック単位で計算される。

ステップＳ１１３において、動きベクトル抽出部１１２は、圧縮データ受信部１１１で受信した動画像圧縮データ１１から動画像フレーム５０１ごとに含まれている全ての動きベクトル５０６を抽出する。
ステップＳ１１４において、動き方向計算部１１３は、動きベクトル抽出部１１２から動きベクトル５０６を取得する。動き方向計算部１１３は、動きベクトルごとに、Ｘ成分、Ｙ成分の逆正接を計算することにより、動きベクトルの動き方向を求める。また、動き方向計算部１１３は、動きベクトルごとに、Ｘ成分の２乗とＹ成分の２乗の和の平方根を計算して動きベクトルの大きさを求める。

ステップＳ１１５において、動き数量カウント部１１４は、動き方向計算部１１３で得られた動きベクトルごとの動き方向と大きさとを取得する。動き数量カウント部１１４は、動きベクトルの動き方向が、動きベクトルの方向の範囲である動き方向範囲のいずれに入るかを判定し、動きベクトルを動き方向範囲ごとに分類する。動き方向範囲とは、３６０°をｍ等分割した各角度範囲のことである。動き数量カウント部１１４は、動きベクトル抽出部１１２により抽出された全ての動きベクトルの各々が、どの動き方向範囲に入るかによって、動きベクトルを動き方向範囲１、動き方向範囲２、…、動き方向範囲ｍに分類する。動き数量カウント部１１４は、動き方向範囲ごとに、動き方向範囲に分類された動きベクトルの数量をカウントする。動き数量カウント部１１４は、カウントの際には動きベクトルの大きさに関わらず数量のみをカウントしても良いし、動きベクトルの大きさに応じて重み付けして数量をカウントしても良い。また、動き数量カウント部１１４は、動きベクトルの大きさが一定値以上の場合のみカウントしても良い。このとき、動きベクトルの大きさが一定値以上であるか否かを判定するための閾値が設けられても良い。

ステップＳ１１６において、動きヒストグラム生成部１１５は、動き数量カウント部１１４より動き方向範囲ごとにカウントされた動きベクトルの数量を取得する。動きヒストグラム生成部１１５は、動き方向範囲ごとの動きベクトルの数量を用いて、動画像データ１０９のフレームごとのヒストグラムを生成する。具体的には、動きヒストグラム生成部１１５は、横軸を動き方向範囲の番号１からｍとし、縦軸を動きベクトルの数量とした１動画像フレーム分のヒストグラムを生成する。動きヒストグラム生成部１１５は、生成された１動画像フレーム分のヒストグラムを記憶部１３０にヒストグラム情報２１として蓄積する。記憶部１３０のヒストグラム情報２１には、動画像を構成する動画像フレームごとに生成されてきたヒストグラムが時系列に蓄積されている。

＜周波数解析処理Ｓ１２０＞
周波数解析処理Ｓ１２０では、周波数解析部１２２は、ヒストグラム情報２１を用いて、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、振動物５０２の振動の特徴を表す振動特徴情報３０２として算出する。具体的には、周波数解析部１２２は、動き方向範囲ごとの動きベクトルの数量の時系列変化に対するフーリエ変換を行うことにより、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを振動特徴情報３０２として算出する。
より詳しくは、まず、ステップＳ１２１において、動き数量抽出部１２１は、ヒストグラム情報２１から周波数解析に必要な、連続した動画像フレーム数（＝ｎ）分の最新のヒストグラム情報２１を取り出し、動き方向範囲（１からｍ）ごとに連続したｎフレーム分の動きベクトルの数量を抽出する。
ステップＳ１２２において、周波数解析部１２２は、動き数量抽出部１２１から動き方向範囲ごとの連続したｎフレーム分の動きベクトルの数量を取得する。周波数解析部１２２は、それぞれの動き方向範囲において動きベクトル数量の時系列変化に対するフーリエ変換を行い、周波数ごとの周波数成分を得る。そして、周波数解析部１２２は、それぞれの動き方向範囲において動きベクトル数量の時系列変化に対する周波数と、周波数ごとの周波数成分とを振動特徴情報３０２として出力する。

＜正常特徴抽出処理Ｓ１３０＞
正常特徴抽出処理Ｓ１３０において、正常特徴抽出部１２３は、周波数解析部１２２により算出された振動特徴情報３０２から正常な振動の特徴を表す情報を正常特徴情報３０１として抽出する。
具体的には、まず、ステップＳ１２３において、正常特徴抽出部１２３は、周波数解析部１２２から、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と、周波数ごとの周波数成分を取得する。すなわち、正常特徴抽出部１２３は、周波数解析部１２２により算出された振動特徴情報３０２を取得する。正常特徴抽出部１２３は、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分を時系列に蓄積する。正常特徴抽出部１２３は、時系列に蓄積した動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分から、正常振動している振動物５０２の振動の特徴を正常特徴情報３０１として抽出する。
ステップＳ１２３において、正常特徴抽出部１２３は、正常特徴情報３０１を記憶部１３０の正常特徴記憶部１３１に記憶する。

図５は、本実施の形態に係る正常振動をしている振動物５０２を撮影した映像から抽出した動きベクトルのうち、特定の動き方向範囲の動きベクトルの数量を周波数解析して得られた周波数ごとの周波数成分を時系列に並べた例を示している。
図５は、特定の動き方向範囲において、動きベクトルの数量の時系列変化の特定の周波数の周波数成分の大きさが他の周波数の周波数成分の大きさよりも大きい状態が、時間が変化しても保たれているという正常振動の特徴の例を示している。正常振動の特徴は、動画像圧縮データから抽出した動きベクトルの、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分の大きさ、の複数の組み合わせに現れていても良い。また、その時系列変化のパターン、具体的には、周期的に特定周波数の周波数成分が増減するパターンあるいは周波数成分が他の周波数に比べて大きい周波数が周期的に変化するパターン、に現れていても良い。

＜振動特徴比較処理Ｓ２０＞
図６を用いて、本実施の形態に係る振動特徴比較処理Ｓ２０について説明する。
振動特徴比較処理Ｓ２０は、動画像圧縮データ１１から得られる振動物５０２の振動が正常振動か異常振動かを判定し、判定結果を通知する処理である。
振動特徴比較処理Ｓ２０は、ヒストグラム情報生成処理Ｓ１１０と、異常判定処理Ｓ２２０とを有する。ヒストグラム情報生成処理Ｓ１１０は、正常振動抽出処理Ｓ１０で説明したヒストグラム情報生成処理Ｓ１１０と同様の処理である。

＜ヒストグラム情報生成処理Ｓ１１０＞
まず、ヒストグラム情報生成処理Ｓ１１０は、ヒストグラム情報生成処理Ｓ１１０を実行する。
図６のステップＳ１１１からステップＳ１１６までは、図４のステップＳ１１１からステップＳ１１６までと同様である。

＜周波数解析処理Ｓ１２０＞
図６のステップＳ１２１からステップＳ１２２までは、図４のステップＳ１２１からステップＳ１２２までと同様である。

＜比較処理Ｓ１４０＞
比較部１２４は、正常特徴記憶部１３１から正常特徴情報３０１を取得し、振動特徴情報３０２と正常特徴情報３０１とを比較し、振動特徴情報３０２が正常特徴情報３０１を有するか否かを判定する。そして、通知部１２５は、比較部１２４により振動特徴情報３０２が正常特徴情報３０１を有しないと判定されると、振動の異常を通知する異常振動通知を出力する。また、通知部１２５は、比較部１２４により振動特徴情報３０２が正常特徴情報３０１を有すると判定されると、振動の正常を通知する正常振動通知を出力する。
具体的には、まず、ステップＳ２２３において、比較部１２４は、周波数解析部１２２から、動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分を取得する。すなわち、比較部１２４は、周波数解析部１２２により算出された振動特徴情報３０２を取得する。比較部１２４は、振動特徴情報３０２と、正常特徴記憶部１３１に記憶されている正常特徴情報３０１とを比較する。比較部１２４は、時系列に蓄積した動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分に、正常特徴情報３０１と一致する特徴があるかどうかを比較する。比較部１２４は、比較の際に、撮影中の振動物の傾きが正常振動抽出時の振動物の傾きとずれている可能性を考慮し、動き方向範囲の補正を行っても良い。
比較部１２４は、撮影中の振動物５０２の振動の特徴と、正常振動の特徴とを比較した比較結果を出力する。

図７は、本実施の形態に係る異常振動をしている振動物５０２を撮影した映像から抽出した動きベクトルのうち、特定の動き方向範囲の動きベクトルの数量を周波数解析して得られた周波数ごとの周波数成分を時系列に並べた例を示す図である。
図７は、図５に例を示した動き方向範囲と同一の動き方向範囲における動きベクトルの数量の時系列変化の周波数と周波数成分の時系列変化の例である。図５に例を示した正常振動の特徴では特定の周波数に他の周波数より多い周波数成分があり時間が変化しても保たれている。しかし、図７に例を示した周波数と周波数成分の時系列変化にはそのような正常振動の特徴は無い。よって、比較部１２４は、正常振動とは異なる特徴を持つ振動であると判断する。

比較部１２４は、時系列に蓄積した動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分に、正常特徴情報３０１と一致する特徴がある場合は、比較結果３０３として正常振動検知を設定する。また、比較部１２４は、時系列に蓄積した動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数ごとの周波数成分に、正常特徴情報３０１と一致する特徴がない場合は、比較結果３０３として異常振動検知を設定する。

ステップＳ２２４において、通知部１２５は、比較結果３０３が正常振動検知か異常振動検知かを判定する。正常振動検知の場合は、ステップＳ２４３に進む。異常振動検知の場合は、ステップＳ２４４に進む。
ステップＳ２２５において、通知部１２５は、正常振動検知を通知する。
ステップＳ２２６において、通知部１２５は、異常振動検知を通知する。

＊＊＊他の構成＊＊＊
また、本実施の形態に係る振動検知装置１００は、ネットワークを介して他の装置と通信する通信装置を有していてもよい。通信装置は、レシーバとトランスミッタとを有する。通信装置は、有線または無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。通信装置は、データを通信する通信部である。レシーバは、データを受信する受信部である。トランスミッタは、データを送信する送信部である。本実施の形態に係る振動検知装置１００は、動作記述および非機能要件を、通信装置を介して取得してもよい。また、本実施の形態に係る振動検知装置１００は、変換動作記述を、通信装置を介して他の装置に送信してもよい。

本実施の形態では、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能がソフトウェアで実現される。しかし、変形例として、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能がハードウェアで実現されてもよい。

図８を用いて、本実施の形態の変形例に係る振動検知装置１００の構成について説明する。
図８に示すように、振動検知装置１００は、処理回路９０９、入力インタフェース９３０、および出力インタフェース９４０といったハードウェアを備える。

処理回路９０９は、上述したヒストグラム情報生成部１１０および振動解析部１２０の各部の機能および記憶部１３０を実現する専用の電子回路である。処理回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。

ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能は、１つの処理回路９０９で実現されてもよいし、複数の処理回路９０９に分散して実現されてもよい。

別の変形例として、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能がソフトウェアとハードウェアの組合せで実現されてもよい。すなわち、振動検知装置１００の一部の機能が専用のハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。

振動検知装置１００のプロセッサ９１０、記憶装置９２０、および、処理回路９０９を、総称して「プロセッシングサーキットリ」という。つまり、振動検知装置１００の構成が図１および図８のいずれに示した構成であっても、ヒストグラム情報生成部１１０および振動解析部１２０の各部の機能および記憶部１３０は、プロセッシングサーキットリにより実現される。

「部」を「工程」または「手順」または「処理」に読み替えてもよい。また、「部」の機能をファームウェアで実現してもよい。

＊＊＊本実施の形態の効果の説明＊＊＊
以上のように本実施の形態に係る振動検知装置１００は、振動物を撮影する映像から振動の動きベクトルを抽出し、その動き方向範囲ごとに周波数解析を行う。また、本実施の形態に係る振動検知装置１００は、周波数解析の結果の時系列変化に基づいて、予め正常振動の特徴である正常特徴情報を抽出しておく。そして、本実施の形態に係る振動検知装置１００は、撮影された振動物の振動特徴情報と正常特徴情報とを比較する。
よって、本実施の形態に係る振動検知装置によれば、振動検知対象がどの方向に振動していても映像から振動状態を検知することができる。また、本実施の形態に係る振動検知装置によれば、振動状態の違いから正常振動か異常振動かを判断して、振動検知対象の異常振動を検知することができる。さらに、本実施の形態に係る振動検知装置によれば、カメラの振動および位置ずれ、振動物の位置および傾きのずれの影響を受けずに正常振動か異常振動かを判断することができる。

実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点について説明する。
実施の形態１では、動画像圧縮データ１１の動きベクトルを抽出する形態を説明した。本実施の形態では、近接する動画像フレーム３１間で振動物５０２の移動を検出して動きベクトルを抽出した場合に、振動物５０２の振動が正常か異常かを判定する形態について説明する。

図９を用いて、本実施の形態に係る振動検知装置１００ａの構成について説明する。図９において、実施の形態１で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。

図９において、振動検知装置１００ａは、図１のヒストグラム情報生成部１１０の代わりに、ヒストグラム情報生成部１１０ａを備える。ヒストグラム情報生成部１１０ａは、動画像を構成する動画像フレーム３１を動画像データ１０９として取得し、近接する動画像フレーム３１間で振動物の移動を検出することにより動きベクトル５０６を抽出する。なお、ヒストグラム情報生成部１１０ａは、隣接する動画像フレーム３１間で振動物の移動を検出することにより動きベクトル５０６を抽出してもよい。隣接する動画像フレーム３１は、近接する動画像フレーム３１に含まれる概念である。ヒストグラム情報生成部１１０ａは、図１の圧縮データ受信部１１１と、動きベクトル抽出部１１２の代わりに、動画像フレーム３１を受信するフレーム受信部３１１と、動体抽出部３１２と、動体動きベクトル抽出部３１３とを備える。
フレーム受信部３１１は、動画像圧縮機能を有しないカメラ５０５から出力される動画像フレーム３１を、入力インタフェース９３０を介して受信する。
本実施の形態に係る振動検知装置１００ａのその他の構成は、実施の形態１と同様である。

図１０を用いて、本実施の形態に係るヒストグラム情報生成処理Ｓ１１０ａについて説明する。図１０において、実施の形態１で説明した図４および図６と異なる点は、ステップＳ１１１からステップＳ１１３の処理である。
ステップＳ１１１ａにおいて、動画像圧縮機能を有さないカメラ５０５により、振動物５０２が撮影されている。
ステップＳ１１２ａにおいて、フレーム受信部３１１は、カメラ５０５から出力された動画像フレーム３１を出力する。
ステップＳ１１３ａにおいて、動体抽出部３１２は、フレーム受信部３１１より動画像フレームを順次入力され、近接する動画像フレーム間の差異から画面内の動体情報を抽出する。動体動きベクトル抽出部３１３は、動体抽出部３１２から動体情報を入力され、動きの方向と動きの大きさから動きベクトルを生成する。
以降の動作は実施の形態１と同等である。

以上のように本実施の形態に係る振動検知装置１００によれば、動画像圧縮機能を有しないカメラから出力される動画像フレームを用いて振動物の振動が正常振動か異常振動かを判断することができる。

以上、実施の形態１および２について説明した。実施の形態１および２では、振動検知装置１００の各部が独立した機能ブロックとして振動検知装置１００を構成している。しかし、上述した実施の形態のような構成でなくてもよく、振動検知装置１００の構成は任意である。振動検知装置１００の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、任意である。これらの機能ブロックを、他のどのような組み合わせ、あるいは任意のブロック構成で、振動検知装置１００を構成しても構わない。
また、振動検知装置１００は、１つの装置でなく、複数の装置から構成されたシステムでもよい。

実施の形態１および２について説明したが、これら実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これら実施の形態のうち、１つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
なお、上述した実施の形態は、本質的に好ましい例示であって、本発明、その適用物および用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。

１１ 動画像圧縮データ、２１ ヒストグラム情報、３１ 動画像フレーム、１０９ 動画像データ、１００，１００ａ 振動検知装置、１１０，１１０ａ ヒストグラム情報生成部、１１１ 圧縮データ受信部、１１２ 動きベクトル抽出部、１１３ 動き方向計算部、１１４ 動き数量カウント部、１１５ 動きヒストグラム生成部、１２０ 振動解析部、１２１ 動き数量抽出部、１２２ 周波数解析部、１２３ 正常特徴抽出部、１２４ 比較部、１２５ 通知部、１３０ 記憶部、１３１ 正常特徴記憶部、３０１ 正常特徴情報、３０２ 振動特徴情報、３０３ 比較結果、３１１ フレーム受信部、３１２ 動体抽出部、３１３ 動体動きベクトル抽出部、５０１ フレーム、５０２ 振動物、５０３ 振動、５０４，５０５ カメラ、５０６ 動きベクトル、６１０ 振動検知方法、６２０ 振動検知プログラム、９０９ 処理回路、９１０ プロセッサ、９２０ 記憶装置、９２１ メモリ、９２２ 補助記憶装置、９３０ 入力インタフェース、９４０ 出力インタフェース、Ｓ１００ 振動検知処理、Ｓ１０ 正常振動抽出処理、Ｓ２０ 振動特徴比較処理、Ｓ１１０，Ｓ１１０ａ ヒストグラム情報生成処理、Ｓ１２０ 周波数解析処理、Ｓ１３０ 正常特徴抽出処理、Ｓ１４０ 比較処理。

Claims (8)

1. 振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報を記憶する正常特徴記憶部と、
   前記振動物を撮影した動画像を表す動画像データを取得し、前記動画像データから前記振動物の動きを表す動きベクトルを抽出し、前記動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントし、前記動き方向範囲ごとの動きベクトルの数量を用いて、前記動画像データのフレームごとのヒストグラムをヒストグラム情報として生成するヒストグラム情報生成部と、
   前記ヒストグラム情報を用いて、前記動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、前記振動物の振動の特徴を表す振動特徴情報として算出する周波数解析部と、
   前記正常特徴記憶部から前記正常特徴情報を取得し、前記振動特徴情報と前記正常特徴情報とを比較し、前記振動特徴情報が前記正常特徴情報を有するか否かを判定する比較部と
   を備えた振動検知装置。
2. 前記振動検知装置は、
   前記周波数解析部により算出された前記振動特徴情報から前記正常な振動の特徴を表す情報を前記正常特徴情報として抽出する正常特徴抽出部を備えた請求項１に記載の振動検知装置。
3. 前記ヒストグラム情報生成部は、
   前記動画像を圧縮した動画像圧縮データであって前記動きベクトルを含む動画像圧縮データを前記動画像データとして取得し、前記動画像圧縮データから前記動きベクトルを抽出する請求項１または２に記載の振動検知装置。
4. 前記ヒストグラム情報生成部は、
   前記動画像を構成する動画像フレームを前記動画像データとして取得し、近接する動画像フレーム間で振動物の移動を検出することにより前記動きベクトルを抽出する請求項１または２に記載の振動検知装置。
5. 前記周波数解析部は、
   前記動き方向範囲ごとの動きベクトルの数量の時系列変化に対するフーリエ変換を行うことにより、前記動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを前記振動特徴情報として算出する請求項１から４のいずれか１項に記載の振動検知装置。
6. 前記振動検知装置は、
   前記比較部により前記振動特徴情報が前記正常特徴情報を有しないと判定されると、振動の異常を通知する異常振動通知を出力する通知部を備えた請求項１から５のいずれか１項に記載の振動検知装置。
7. 振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報を記憶する正常特徴記憶部を有する振動検知装置の振動検知方法であって、
   ヒストグラム情報生成部が、前記振動物を撮影した動画像を表す動画像データを取得し、前記動画像データから前記振動物の動きを表す動きベクトルを抽出し、前記動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントし、前記動き方向範囲ごとの動きベクトルの数量を用いて、前記動画像データのフレームごとのヒストグラムをヒストグラム情報として生成し、
   周波数解析部が、前記ヒストグラム情報を用いて、前記動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、前記振動物の振動の特徴を表す振動特徴情報として算出し、
   比較部が、前記正常特徴記憶部から前記正常特徴情報を取得し、前記振動特徴情報と前記正常特徴情報とを比較し、前記振動特徴情報が前記正常特徴情報を有するか否かを判定する振動検知方法。
8. 振動する振動物の振動のうち正常な振動の特徴を表す正常特徴情報を記憶する正常特徴記憶部を有する振動検知装置の振動検知プログラムであって、
   前記振動物を撮影した動画像を表す動画像データを取得し、前記動画像データから前記振動物の動きを表す動きベクトルを抽出し、前記動きベクトルの方向の範囲である動き方向範囲ごとに動きベクトルの数量をカウントし、前記動き方向範囲ごとの動きベクトルの数量を用いて、前記動画像データのフレームごとのヒストグラムをヒストグラム情報として生成するヒストグラム情報生成処理と、
   前記ヒストグラム情報を用いて、前記動き方向範囲ごとの動きベクトルの数量の時系列変化の周波数と周波数ごとの周波数成分とを、前記振動物の振動の特徴を表す振動特徴情報として算出する周波数解析処理と、
   前記正常特徴記憶部から前記正常特徴情報を取得し、前記振動特徴情報と前記正常特徴情報とを比較し、前記振動特徴情報が前記正常特徴情報を有するか否かを判定する比較処理と
   をコンピュータである前記振動検知装置に実行させる振動検知プログラム。

Images