JP2018138930A - 変位検出装置および変位検出方法 - Google Patents

Abstract

【課題】対象物全体の変位を示す全体変位を検出する。【解決手段】複数の時刻において対象物が撮像された複数の撮像画像を用いて、その対象物に設定された複数の計測点それぞれについて、時間経過に伴う空間的な変位を検出する検出部２３０と、検出部２３０によって検出された変位から、その対象物に特徴的な変位を示す特徴的変位を抽出する抽出部２４０と、抽出部４０によって抽出された特徴的変位から、その対象物全体の変位を示す全体変位を算出する算出部２５０とを備える。【選択図】図２

Description

本開示は、計測対象となる対象物の変位を検出する変位検出装置および変位検出方法に関する。

特許文献１は、計測対象物に格子パターンを複数設け、計測対象物を所定の時間間隔で撮影し、撮影した画像内に映る個々の格子パターンの時間的変位を算出することにより、単一画像列から複数点の変位を得る。

特開２０１５−１４１１５１号公報

本開示は、対象物を撮像した撮像画像から、対象物全体の変位を検出する変位出装置を提供する。

本開示における変異検出装置は、複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点それぞれについて、時間経過に伴う空間的な変位を検出する検出部と、前記検出部によって検出された変位から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出部と、前記抽出部によって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出部とを備えることを特徴とする。

本開示における変異検出方法は、検出部と抽出部と算出部とを備える変位検出装置が行う変位算出方法であって、前記検出部が、複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点について、時間経過に伴う空間的な変位を検出する検出ステップと、前記抽出部が、前記検出ステップによって検出された変化量から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出ステップと、前記算出部が、前記抽出ステップによって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出ステップとを有することを特徴とする。

本開示における変位検出装置および変位検出方法は、対象物を撮像した複数の撮像画像から対象物全体の変位を検出することができる。

実施の形態における変位検出システムの一構成例を示す外観図である。 実施の形態における変位検出装置の一構成例を示すブロック図である。 実施の形態における変位検出装置の他の構成例を示すブロック図である。 実施の形態における変位検出装置の動作を示すフローチャートである。 実施の形態における変位検出装置の他の動作を示すフローチャートである。 橋梁の撮像画像の一例を示す図である。 橋梁の撮像画像の他の一例を示す図である。 橋梁に設定された計測点の配置例を示す図である。 検出部が検出した変位の一例を示す図である。 第１主成分を可視化した一例を示す図である。 第２主成分を可視化した一例を示す図である。 第３主成分を可視化した一例を示す図である。 第４主成分を可視化した一例を示す図である。 第５主成分を可視化した一例を示す図である。 検出した変位と算出した対象物の全体変位を示す図である。 対象物が送電鉄塔である場合において主成分を可視化した一例を示す図である。

実施の形態の一態様に係る変位検出装置は、複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点それぞれについて、時間経過に伴う空間的な変位を検出する検出部と、前記検出部によって検出された変位から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出部と、前記抽出部によって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出部とを備えることを特徴とする。

上記変位検出装置によると、対象物全体の変位を検出することができる。

例えば、さらに、前記抽出部は、前記検出部によって検出された変位に対して、主成分分析を行って主成分を抽出することで、前記抽出を行うとしてもよい。

これにより、この変位検出装置は、抽出部によって抽出される特徴的変位を、互いに線形な相関を持たない物理量で表現することができるようになる。

例えば、さらに、前記算出部は、前記抽出部によって抽出された主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を合成することで、前記算出を行うとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、主要ではない主成分、すなわち、ノイズ成分が排除されてなる物理量とすることができるようになる。

例えば、さらに、前記算出部は、前記算出の対象となる各主成分に対して、当該主成分の時間的強度変化を算出することで、前記算出を行うとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、対象物における振動モードの解析に役立つ物理量とすることができるようになる。

例えば、さらに、前記算出部は、前記算出の対象となる各主成分に対して、当該主成分の時間的強度変化の周波数特性を算出することで、前記算出を行うとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、対象物における固有振動数の解析に役立つ物理量とすることができるようになる。

例えば、さらに、前記検出部によって検出された、前記複数の計測点のうちの少なくとも１つ以上の基準計測点についての変位に基づいて、前記検出部によって検出された、前記複数の計測点についての変位を補正する補正部を備え、前記抽出部は、前記補正部によって補正された変位を利用して、前記抽出を行うとしてもよい。

これにより、この変位検出装置は、撮像する際に利用する撮像装置の揺れの影響を補正することができるようになる。

例えば、さらに、前記検出部は、前記複数の撮像画像における変位を、前記変位として検出し、さらに、前記検出部によって検出された、前記複数の計測点それぞれについての変位を、前記複数の計測点において実際に変位した距離の比率が反映されるようにスケール補正するスケーリング部を備え前記算出部は、前記スケーリング部によってスケーリングされた変位を利用して、前記算出を行うとしてもよい。

これにより、この変位検出装置は、より精度よく全体変位を算出することができるようになる。

例えば、さらに、前記複数の撮像画像のそれぞれは、加速度を示す加速度画像であり、前記検出部は、検出する変位が加速度を用いて表現されるように前記算出を行い、前記抽出部は、抽出する特徴的変位が加速度を用いて表現されるように前記抽出を行うとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、対象物全体の空間的な加速度分布の解析に役立つ物理量とすることができるようになる。

例えば、さらに、前記複数の撮像画像のそれぞれは、速度を示す速度画像であり、前記検出部は、検出する変位が速度を用いて表現されるように前記算出を行い、前記抽出部は、抽出する特徴的変位が速度を用いて表現されるように前記抽出を行うとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、対象物全体の空間的な速度分布の解析に役立つ物理量とすることができるようになる。

例えば、さらに、前記複数の撮像画像のそれぞれは、距離を示す距離画像であり、前記検出部は、３次元空間における変位を、前記変位として検出するとしてもよい。

これにより、この変位検出装置は、算出する全体変位を、対象物全体の立体的変位の解析に役立つ物理量とすることができるようになる。

例えば、さらに、前記算出部によって算出された変位に基づく画像を、前記複数の撮像画像のうちの少なくとも１つに対して重畳させた重畳画像を生成する重畳画像生成部を備えるとしてもよい。

これにより、この変位検出装置を利用するユーザは、対象物の全体変位を、視覚的に把握することができるようになる。

例えば、さらに、前記複数の撮像画像は、複数の撮像装置によって、前記対象物が同期撮像された画像を含むとしてもよい。

これにより、この変位検出装置は、１つのカメラでは撮像できない形状や範囲の対象物についても、全体変位を算出できるようになる。

実施の形態の一態様に係る変位検出方法は、出部と抽出部と算出部とを備える変位検出装置が行う変位算出方法であって、前記検出部が、複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点について、時間経過に伴う空間的な変位を検出する検出ステップと、前記抽出部が、前記検出ステップによって検出された変化量から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出ステップと、前記算出部が、前記抽出ステップによって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出ステップとを有することを特徴とする。

上記変位検出方法によると、対象物全体の変位を検出することができる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
以下、図１〜９を用いて、実施の形態を説明する。

［１−１．構成］
［１−１−１．対象物の撮像］
図１は、実施の形態における変位検出システム１の一構成例を示す外観図である。変位検出システム１は、撮像装置１０１と変位検出装置２００で構成される。撮像装置１０１は対象物１０２を所定期間に複数回撮像する。撮像装置１０１は、例えば、所定の時間間隔で対象物１０２を撮像する。撮像装置１０１が撮像した複数の撮像画像は変位検出装置２００に入力される。変位検出装置２００は、入力された複数の撮像画像から対象物１０２全体の変位を示す全体変位を算出する。本実施の形態では、撮像装置１０１がカメラ、対象物１０２が橋梁である場合を例として説明を行う。

［１−１−２．変化量検出装置の構成］
図２は、実施の形態における変位検出装置２００の一構成例を示すブロック図である。図２に示すように、変位検出装置２００は、入出力Ｉ／Ｆ２１０、ＣＰＵ２２０、検出部２３０、抽出部２４０、算出部２５０及びメモリ２６０を備える。

入出力Ｉ／Ｆ２１０は、橋梁１０２を所定期間撮像した複数の撮像画像の入力を受け付ける。そして、算出部２５０が算出した橋梁１０２の全体変位を出力する。入出力Ｉ／Ｆ２１０は、カメラ１０１が撮像した複数の撮像画像について無線、有線、または記録媒体などを介して入力を受け付けて、メモリ２６０に格納する。また、入出力Ｉ／Ｆ２１０は、表示部（図示せず）等に無線、有線または記録媒体などを介して、算出部２５０が算出した橋梁１０２全体変位を出力する。表示部は、変位検出装置２００から出力された全体変位を表示する。

ＣＰＵ２２０は、各部の動作を制御する。ＣＰＵ２２０は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。

検出部２３０は、複数の時刻において対象物が撮像された複数の撮像画像を用いて、その対象物に設定された複数の計測点それぞれについて、時間経過に伴う空間的な変位を検出する。より具体的には、検出部２３０は、メモリ２６０に記憶されている、カメラ１０１によって撮像された複数の撮像画像に対して、撮像画像毎に、撮像画像内に存在する橋梁１０２を検出する。そして、検出部２３０は、橋梁１０２に設定した複数の計測点における空間的な変化量である変位を検出し、メモリ２６０に格納する。

抽出部２４０は、検出された変位から、対象物に特徴的な変位を示す特徴的変位を抽出する。より具体的には、抽出部２４０は、検出部２３０によって、複数の計測点で得られた複数時刻の変位に対し、空間的に同時変位する空間的変位主成分を主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いて抽出し、メモリ２６０に格納する。

算出部２５０は、抽出部２４０によって抽出された特徴的変位から、対象物全体の変位を示す全体変位を算出する。より具体的には、算出部２５０は、抽出部２４０が抽出した１つ以上の主成分から橋梁１０２の全体の変化量を算出し、メモリ２６０に格納する。ここでは、算出部２５０は、抽出部２４０によって抽出された主成分のうち、最上位側の５つの主成分を合成することで、上記算出を行うこととする。

メモリ２６０は、入出力Ｉ／Ｆ２１０から入力された撮像画像を記憶する。また、メモリ２６０は、各部のワークメモリとして用いられる。例えば、メモリ２６０は、検出部２３０が検出した変位を記憶する。メモリ２６０は、抽出部２４０が抽出した主成分を記憶する。メモリ２６０は、算出部２５０が算出した橋梁１０２の全体変位を記憶する。メモリ２６０は、例えば、ＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。

［１−１−３．変位検出装置の他の構成］
カメラ１０１が撮像した複数の撮像画像において、橋梁１０２が同じ位置に撮像されるとは限らない。このような場合、検出部２３０が検出した変位に誤差が生じる。それを解消するために、変位検出装置に検出部２３０が検出した変位を補正する機能を備えてもよい。

図３は、実施の形態における変位検出装置の他の構成を示すブロック図である。図３の変位検出装置２０１において、図２の変位検出装置２００と同じ動作を行う構成要素に関しては、同符号を付与し、説明を省略する。

ＣＰＵ２２１は、各部の動作を制御する。ＣＰＵ２２１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。

補正部２７０は、検出部２３０によって検出された、複数の計測点のうちの少なくとも１つ以上の基準計測点についての変位に基づいて、検出部２３０によって検出された、上記複数の計測点についての変位を補正する。より具体的には、補正部２７０は、撮像画像内の橋梁１０２に設定した固定計測点の変位を基準として、他の計測点の変位を補正し、メモリ２６０に格納する。固定計測点とは、例えば、計測点の中で、最も変化量が少ないと想定される点である。

抽出部２４１は、複数の計測点で得られた複数時刻の変位に対し、空間的に同時変位する空間的変位主成分を、主成分分析を用いて抽出し、メモリ２６０に格納する。

［１−２．動作］
［１−２−１．補正をしない場合の動作］
図４は、実施の形態における変位検出装置２００の動作を示すフローチャートである。

（ステップ３１０）
ＣＰＵ２２０は、撮像画像を取得する。ＣＰＵ２２０は、入出力Ｉ／Ｆ２１０を介して、カメラ１０１が橋梁１０２を所定期間撮像した撮像画像を取得してメモリ２６０に格納させる。

（ステップ３２０）
ＣＰＵ２２０は、検出部２３０に橋梁１０２上に設定された複数の計測点における時間的な変位を検出させる。検出部２３０は、メモリ２６０が記憶している複数の撮像画像を撮像時刻順に取出し、撮像画像毎に橋梁１０２の変位を検出する。検出部２３０は、検出した変位をメモリ２６０に記憶させる（検出ステップ）。

（ステップ３４０）
ＣＰＵ２２０は、抽出部２４０に、検出部２３０が検出した複数の計測点における変位に対して、空間的な主成分を抽出させる。抽出部２４０は、メモリ２６０が記憶している複数の計測点における変位を読み出し、空間的な主成分を抽出する。抽出部２４０は、抽出した主成分をメモリ２６０に記憶させる（主成分抽出ステップ）。

（ステップ３５０）
ＣＰＵ２２０は、算出部２５０に、抽出部２４０が抽出した主成分を用いて、橋梁１０２の全体変位を算出させる。算出部２５０は、メモリ２６０が記憶している主成分を読み出し、橋梁１０２の全体変位を算出し、メモリ２６０に記憶させる。ＣＰＵ２２０は、メモリ２６０が記憶している全体変位を入出力Ｉ／Ｆ２１０を介して、出力する（算出ステップ）。

［１−２−２．補正をする場合の動作］
図５は、実施の形態における変位検出装置の他の動作を示すフローチャートである。図５は、変位検出装置２０１の動作を示す。

図５において、図４のフローチャートと同じ動作を行うステップは同符号を付与し、説明を省略する。

（ステップ３３０）
ＣＰＵ２２０は、補正部２７０に、検出部２３０が検出した複数の計測点における変位を補正させる。補正部２７０は、メモリ２６０が記憶している複数の計測点における時間的な変位を読み出し、複数の撮像画像に含まれる構造物を基準にして、各変位を補正する。補正部２７０は、補正した変位をメモリ２６０に記憶させる。

（ステップ３４１）
ＣＰＵ２２０は、抽出部２４１に、補正部２７０が補正した複数の計測点における変位に対して、空間的な主成分を抽出させる。抽出部２４１は、メモリ２６０が記憶している複数の計測点における変位を読み出し、空間的な主成分を抽出する。抽出部２４１は、抽出した主成分をメモリ２６０に記憶させる。

なお、ステップ３３０、ステップ３４１の処理は数学的に同等な異なる手順を用いてもよく、結果として統合した手続きとして一括処理してもよい。

［１−２−３．動作例］
ここでは、変位検出装置２０１の動作例を説明する。

ＣＰＵ２２１は、図１で示すようにカメラ１０１が橋梁１０２を撮像した複数の撮像画像を、入出力Ｉ／Ｆ２１０を介して、メモリ２６０に記憶させる。

図６Ａは、橋梁１０２の撮像画像の一例を示す。また、図６Ｂは、橋梁１０２の撮像画像の他の一例を示す。撮像画像４００と撮像画像４０１は異なる時刻に橋梁１０２を撮像した撮像画像である。撮像画像４００、４０１は、橋梁１０２上に荷重となる車両４０２が存在することを示している。撮像画像４００では、車両４０２が橋梁１０２の支柱上にあり、橋梁１０２に変位は生じていない。これに対して、撮像画像４０１では、車両４０２が橋梁１０２の中央付近にあり、橋梁１０２に変位が生じている。このように、撮像画像には橋梁１０２と異なる物体（例えば車両４０２など）が撮像されていてもよい。

検出部２３０は、既存の画像認識技術を用いて、撮像画像内に存在する橋梁１０２を検出する。検出部２３０は、検出した橋梁１０２上に設定された複数の計測点の座標を検出する。

図７は、橋梁１０２に設定された計測点の配置例を示す図である。

図７において黒矩形５０１〜黒矩形５１１は、橋梁１０２に設定された計測点を示す。計測点は予めユーザが設定してもよいし、橋梁１０２を画像認識で自動検出した後に設定してもよい。図７では、各計測点をほぼ等間隔に設定しているが、非等間隔でも本実施形態の効果は得られる。ここで、本実施の形態においては、複数の計測点の中から少なくとも１つの計測点を固定計測点に設定する。固定計測点は、他の計測点に比べて、加重などの影響を最も受けにくく、変位が小さい計測点とする。実施の形態においては、固定計測点として、橋梁１０２の橋脚１０３において、橋脚１０３を支持する地盤内に設置されている橋台（図示せず）との接点近くに設けられた計測点５０１、計測点５１１を用いる。

検出部２３０は、メモリ２６０が記憶している複数の撮像画像を撮像時刻順に取出し、撮像画像毎に橋梁１０２の変位を検出する。検出部２３０は、例えば、撮像画像４００と撮像画像４０１間の各計測点における変位を検出する。なお、撮像画像中の変位検出方法として、検出部２３０はブロックマッチング、正規化相関法（ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）や位相相関法（ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ）などの相関法、サンプリングモアレ法、特徴点追跡法、レーザスペックル相関法など一般的な変位検出方法を用いることができる。変位検出の精度は、ピクセル単位でもサブピクセル単位でもよい。

図８は、検出部２３０が検出した変位の一例を示す図である。図８は、橋梁１０２を所定期間撮像した撮像画像（Ｆｒａｍｅ１、Ｆｒａｍｅ２、Ｆｒａｍｅ３、…、Ｆｒａｍｅ
ｎ）における計測点５０１〜計測点５１１の位置座標（ｘ，ｙ）を示す。

ここで、時刻ｔに撮像した撮像画像Ｆｒａｍｅ ｔにおけるｉ番目の計測点Ｐｉの位置座標（ｘ，ｙ）をＰｉ（ｘ，ｙ，ｔ）と表す。また、Ｆｒａｍｅ ｔにおけるｉ番目の計測点Ｐｉの変位をＤｉ（ｘ，ｙ，ｔ）と表す。変位Ｄｉ（ｘ，ｙ，ｔ）は、異なる撮像画像間の計測点の位置座標Ｐｉの差となる。本実施の形態では、ｉ＝１〜１１とし、計測点Ｐ１〜Ｐ１１は、計測点５０１〜計測点５１１に相当する。

例えば、変位Ｄｉ（ｘ，ｙ，ｔ）は、時間的に隣接する撮像画像間の位置座標Ｐｉ（ｘ、ｙ、ｔ）を用いて次式で算出できる。

（数１）
Ｄｉ（ｘ，ｙ，ｔ）＝Ｐｉ（ｘ，ｙ，ｔ）−Ｐｉ（ｘ，ｙ，ｔ−１）

また、変位Ｄｉ（ｘ，ｙ，ｔ）は、例えば先頭の撮像画像や、対象物が定常状態と見なせる撮像画像などを、基準撮像画像と定め、基準撮像画像と各撮像画像間の位置座標を用いて、次式で算出してもよい。

（数２）
Ｄｉ（ｘ，ｙ，ｔ）＝Ｐｉ（ｘ，ｙ，ｔ）−Ｐｉ（ｘ，ｙ，０）
ここで、Ｐｉ（ｘ、ｙ、０）は、基準撮像画像における位置座標である。

なお、検出部２３０は、必要に応じて撮像光学系の画像歪を補正する。また、検出部２３０は、撮像画像上の変位と実空間上の変位との比率が、カメラ１０１の撮像位置から橋梁１０２上の計測点までの実空間距離の違いによって生じる場合には、必要に応じて、この比率が等しくなるようにスケール補正を行う。このような補正は撮像画像に対して行ってもよいし、算出した変位に対して行ってもよい。

一例として、変位検出装置２０１は、検出部２３０によって検出された、複数の計測点それぞれについての変位を、複数の計測点において実際に変位した距離の比率が反映されるようにスケール補正するスケーリング部を備えている例等が考えらえる。この場合には、スケーリング部は、例えば、各計測点についての実空間上の座標を記憶し、記憶する実空間上の座標を用いて、上記スケール補正を行うとしてもよい。

補正部２７０は、メモリ２６０が記憶している各計測点の変位Ｄｉ（ｘ，ｙ，ｔ）を読み出す。補正部２７０は、計測点のうち、予め定めた固定計測点Ｐ１（計測点５０１）の変位Ｄ１（ｘ，ｙ，ｔ）を基準とし、各計測点の変位Ｄｉ（ｘ，ｙ，ｔ）から、固定計測点の変位Ｄ１（ｘ、ｙ、ｔ）を撮像画像ごとに差し引く。これにより、撮像中にカメラのｘ，ｙ方向の向きが変化した場合に生じる画像変位の影響を除去することができる。

更に、補正部２７０は、固定計測点Ｐ１とは異なる固定計測点Ｐ１１（計測点５１１）を設定し、固定計測点Ｐ１１の変位Ｄ１１（ｘ，ｙ，ｔ）の値が０に近づくように、固定計測点Ｐ１の位置を中心として各計測点の変位Ｄｉ（ｘ，ｙ，ｔ）のｘ，ｙ座標値を回転変換してもよい。これにより、撮像中にカメラの回転（ｒｏｌｅ）方向の変化により生じる各撮像画像の変位の影響を除去することができる。補正部２７０は補正した各計測点の変位をメモリ２６０に記憶させる。

なお、固定計測点は橋梁１０２上に設定してもよいし、橋梁１０２以外に設定してもよい。例えば、固定計測点を撮像画像の背景中の静止物（建造物等）に設定してもよい。また、固定計測点の数を増やし、各固定計測点の変位の合計が最小になるように各計測点のｘ，ｙ方向の平行移動補正と回転補正量を最適化してもよい。これにより、撮像中のカメラの回転や向きの変化による変位検出への影響を低減させることができる。また、異なる時刻のフレーム画像の動きを分析して画像全体の支配的な動き（グローバル動き）を検出し、この動きに従う画像内の点を固定計測点としてもよい。

なお、撮像画像においてカメラの向きや回転等に起因する変位が許容範囲と見込める場合には、補正部２７０による変位の補正を省いてもよい。

抽出部２４１は、時刻ｔの変位Ｄｉ（ｘ，ｙ，ｔ）に対して、複数の計測点の時刻ｔの変位を組にした特徴的変位をｕ（ｔ）とし、異なる複数時刻のｕ（ｔ）に対する主成分ｅｉ（ｉ＝１〜ｎ、ｎは主成分の数）を求める。そして、抽出部２４１は、抽出したｎ個の主成分のうちのｍ（ｍ≦ｎ）個の主成分をメモリに記憶させる。記憶させる主成分の数ｍは固有値の大きいものから指定してもよいし、累積寄与率を用いて設定してもよい。若しくは、予め定めた固有値順位の成分を選択してもよい。主成分の算出方法は共分散行列の対角化など一般的な方法を用いることができる。抽出部２４０は、算出したｍ個の主成分をメモリ２６０に記憶させる。
ここでは、例えば、ｍは５であり、抽出部２４１は、固有値の大きい順において上位５つの主成分をメモリに記憶させるとして説明する。

図９Ａ〜図９Ｅは、それぞれ、固有値の大きい順において上位５つの主成分（第１主成分〜第５主成分）を可視化した一例を示す図である。図９Ａ〜図９Ｅは、それぞれ、全体変位の第１主成分〜第５主成分のそれぞれを計測点毎に分けて、橋梁１０２が撮像された撮像画像上にベクトルを重畳表示したものである。

図９Ａにおいて、ベクトル９０２ａ〜９１０ａは計測点５０２〜５１０における第１主成分のベクトルを示す。同様に、図９Ｂにおいて、ベクトル９０２ｂ〜９１０ｂは計測点５０２〜５１１の第２主成分のベクトルを示す。同様に、図９Ｃにおいて、ベクトル９０２ｃ〜９１０ｃは計測点５０２〜５１１の第３主成分のベクトルを示す。同様に、図９Ｄにおいて、ベクトル９０２ｄ〜９１０ｄは計測点５０２〜５１１の第４主成分のベクトルを示す。同様に、図９Ｅにおいて、ベクトル９０２ｅ〜９１０ｅは計測点５０２〜５１１の第５主成分のベクトルを示す。但し、これらの図において、ベクトル表示がない計測点は、抽出したベクトルの大きさが０であることを示す。

これらの図からわかるように、これら５つの主成分には、対象物である橋梁１０２に特徴的な変位が示されている。

算出部２５０は、メモリ２６０に記憶されたｍ個の主成分から、全体変位ｕ’（ｔ）を合成する。算出部２５０は、ｕ’（ｔ）＝Σｉ｛ａｉ（ｔ）ｅｉ｝を用いて算出する。

ここで、ａｉ（ｔ）はｅｉに対する係数、ａｉ（ｔ）は｜ｕ’（ｔ）−ｕ（ｔ）｜＾２が最小になるように設定する。出力部２０７は、算出した全体変位ｕ’（ｔ）を橋梁１０２上の各計測点の変位Ｄｉ’（ｘ，ｙ，ｔ）として出力する。

ＣＰＵ２２０は、算出部２５０が算出した全体変位ｕ’（ｔ）を入出力Ｉ／Ｆ２１０を介して、表示部（図示せず）に表示する。

図１０は、検出した変位と算出した橋梁１０２の全体変位を示す図である。図１０において、点線Ｌ１が計測点における変位Ｄｉ（ｘ，ｙ，ｔ）を示す。また、実線Ｌ２は、橋梁１０２の全体の変化量である全体変位ｕ’（ｔ）を示す。図１０に示すように、車両４０２による橋梁１０２の全体変位は、点線Ｌ１より実線Ｌ２の方が、精度良く示す、すなわち、誤差成分の影響を減らして示すことができる。

なお、上記主成分抽出において突発的なノイズの影響がある場合、予めノイズ除去を行うかロバスト主成分分析を用いて、ノイズの影響を抑えてもよい。

［１−３．効果等］
以上のように、本実施の形態の変化量検出装置において、検出部２３０は、橋梁１０２を所定期間撮像した複数の撮像画像において、橋梁１０２上に設定された複数の計測点における時間的な変化量を検出し、抽出部２４０は複数の計測点における時間的な変化量に対して、空間的な主成分を抽出し、算出部２５０は抽出した主成分から橋梁１０２の全体の変化量を算出する。

これにより、同時計測した複数の計測点の変位を対象物の全体の変化量として捉え、変化量の空間的主成分を抽出することで、対象物の幾何学構造や力学的特性に関する事前知識を用いずに、対象物に特有な全体の変化量の特性を得ることができる。

従って、簡便かつ低コストな構成で、対象物の全体の変化量の特性をもとに変位を合成し、個々の計測点における変位の検出誤差を抑え、より高精度な変位検出が可能となる。

また、対象物上の計測点および固定計測点を含む広範囲をカメラで撮像することで、対象物の多数の変位をカメラブレの影響を抑えて検出することもできる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

撮像装置１０１は、図１に示すように、変位検出装置２００と別体でもよいし、変位検出装置２００内に備えられていてもよい。また、撮像画像はモノクロ画像でもカラー画像（マルチスペクトル含む）でもよい。また、撮像装置１０１は、通常のカメラではなく測距センサや加速度センサを用いて対象物をセンシングした配列データを画像として出力してもよい。すなわち、変位検出装置２００が利用する撮像画像は、例えば、加速度を示す加速度画像であってもよいし、速度を示す速度画像であってもよい。例えば、変位検出装置２００が利用する撮像画像が加速度画像である場合には、検出部２３０は、検出する変位が加速度を用いて表現されるように算出し、抽出部２４０は、抽出する特徴的変位が加速度を用いて表現されるように抽出を行ってもよい。例えば、変位検出装置２００が利用する撮像画像が速度画像である場合には、検出部２３０は、検出する変位が速度を用いて表現されるように算出し、抽出部２４０は、抽出する特徴的変位が速度を用いて表現されるように抽出を行ってもよい。

実施の形態では、撮像装置１０１は１つのカメラで構成されていたが、同一対象物を撮像する複数のカメラを用いてもよい。この場合、複数のカメラで同期撮像した撮像画像を用い、個々のカメラが撮像した撮像画像ごとにステップ３３０まで処理を行い、ステップ３４０以降を複数のカメラ画像から得られた変化量を全て組として同様の処理を行うことができる。これにより、１つのカメラでは撮像できない形状や範囲の対象物についても全体変位の算出を高精度に行うことができる。

また、実施の形態では２次元の変位Ｄｉ（ｘ，ｙ）を検出しているが、距離画像（ｄｅｐｔｈ ｉｍａｇｅ）を取得して３次元の変位Ｄｉ（ｘ，ｙ，ｚ）を検出してもよい。変位検出後は実施の形態と同様の手続きを実行することにより、高精度な３次元変位を得ることもできる。距離画像の取得方法は、複数カメラの同期撮像によるステレオカメラや多視点カメラステレオ法、パターン投影法、Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ（ＴＯＦ）カメラ、レーザ変位計など一般的な距離画像取得方法を用いることができる。

また、実施の形態では対象物として橋梁を例示したが、橋梁以外にビル等の建物や鉄塔、煙突、壁面、床材、板材、鉄骨足場、路面、線路、車体等でも同様の効果を得られる。

図１１は、対象物が送電鉄塔１１０である場合において、抽出部２４１によって抽出される主成分の内、固有値の大きい順位おいて上位５つの主成分（第１主成分〜第５主成分）を可視化した一例を示す図である。

同図において、第１主成分１１１は、全体変位の第１主成分を計測点（送電鉄塔１１０における黒矩形）毎に分けて可視化したベクトル群であり、第２主成分１１２は、全体変位の第２主成分を計測点毎に分けて可視化したベクトル群であり、第３主成分１１３は、全体変位の第３主成分を計測点毎に分けて可視化したベクトル群であり、第４主成分１１４は、全体変位の第４主成分を計測点毎に分けて可視化したベクトル群であり、第５主成分１１５は、全体変位の第５主成分を計測点毎に分けて可視化したベクトル群である。但し、同図において、ベクトル表示がない計測点は、抽出したベクトルの大きさが０であることを示す。

同図からわかるように、これら５つの主成分には、対象物である送電鉄塔１１０に特徴的な変位が示されている。

また、撮像装置１０１で撮像する光の波長帯は、可視光以外に紫外線、近赤外線、遠赤外線でもよい。

また、算出部２５０が算出した変化量の主成分を可視化してもよい。例えば、変位検出装置２００が、さらに、算出部２５０によって算出された変位に基づく画像を、複数の撮像画像のうちの少なくとも１つに対して重畳させた重畳画像を生成する重畳画像生成部を備えていてもよい。

重畳画像生成部は、例えば、図９Ａ〜図９Ｅで示されるように、各主成分のそれぞれを計測点毎に分けて、橋梁１０２が撮像された撮像画像上にベクトルを重畳表示する重畳画像を生成する。このように表示することで、対象物１０２の全体変位の空間分布を把握しやすくできる。３次元の場合は、３Ｄ表示を用いて同様の表示を実現できる。なお、特徴的変位の抽出のみが必要な場合、算出部２５０からの処理を省略してもよい。

また、各主成分別に成分強度の時間変化（ａｉ（ｔ）の時間変化）を表示してもよい。この場合、例えば、算出部２５０は、算出の対象となる各主成分に対して、その主成分の時間的強度変化を算出する。更に、これを周波数分析して表示してもよい。この場合、例えば、算出部２５０は、算出の対象となる各主成分に対して、その主成分の時間的強度変化の周波数特性を算出する。これにより、対象物全体としての挙動の時間特性を変化量の成分別に把握することが可能となる。このような表示のみが必要な場合、ステップ３５０以降の変化量の合成は省略してもよい。

また、撮像画像を用いて荷重源（例えば図６Ａの車両４０２）の位置、速度を検出し、荷重源の種類を画像認識してもよい。荷重源の種類を特定することで荷重源の荷重に対応付けることができる。これにより、荷重の大きさと位置と速度と変位の関係を画像のみから分析することが可能となる。

また、実施の形態では撮像画像から変位を検出して対象物の全体の変化量を求めたが、これを速度（変位の微分量）、加速度（変位の２階微分量）に置き換えて同様の手続きを適用してもよい。速度に置き換えた場合、対象物全体の速度の空間分布を求め、高精度な速度分布を得ることができる。加速度の場合も同様である。このような対象物の速度を算出した速度画像は、通常画像から得た変位を微分して求めてもよいが、レーザドップラー計を用いて直接取得することができる。また、対象物の加速度を算出した加速度画像は、通常画像から得た変位を微分して求めてもよいが、例えば、対象物上の計測点に加速度センサを設置し、各加速度センサの計測値から直接得ることができる。加速度画像を用いる場合は、変位検出装置２００の構成を適用する。

また、算出部２５０は、算出した対象物全体の変化量を空間的に補間し、計測点以外の点の変化量を推定してもよい。

また、補正部２７０は、撮像画像に含まれる構造物の実スケールが等しくなるように、撮像画像または検出部２３０が検出した変化量を補正してもよい。撮像画像を補正する場合は、検出部２３０が変化量を検出する前に補正部２７０が補正処理を行う。

なお、上記実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、構造体の動的挙動の計測・測定・分析・診断・検査等に利用可能である。

１ 変位検出システム
１０１ 撮像装置（カメラ）
１０２ 対象物（橋梁）
２００、２０１ 変位検出装置
２１０ 入出力Ｉ／Ｆ
２２０、２２１ ＣＰＵ
２３０ 検出部
２４０、２４１ 抽出部
２５０ 算出部
２６０ メモリ
２７０ 補正部

Claims (12)

1. 複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点それぞれについて、時間経過に伴う空間的な変位を検出する検出部と、
   前記検出部によって検出された変位から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出部と、
   前記抽出部によって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出部とを備える
   変位検出装置。
2. さらに、前記検出部によって検出された、前記複数の計測点のうちの少なくとも１つ以上の基準計測点についての変位に基づいて、前記検出部によって検出された、前記複数の計測点についての変位を補正する補正部を備え、
   前記抽出部は、前記補正部によって補正された変位を利用して、前記抽出を行う
   請求項１に記載の変位検出装置。
3. 前記検出部は、前記複数の撮像画像における変位を、前記変位として検出し、
   さらに、前記検出部によって検出された、前記複数の計測点それぞれについての変位を、前記複数の計測点において実際に変位した距離の比率が反映されるようにスケール補正するスケーリング部を備え
   前記算出部は、前記スケーリング部によってスケーリングされた変位を利用して、前記算出を行う
   請求項１又は２に記載の変位検出装置。
4. さらに、前記検出部によって検出された前記空間的な変位から前記撮像画像全体の支配的な動きを検出し、前記複数の計測点から前記動きに従う複数の基準計測点についての変位に基づいて、前記検出部によって検出された、前記複数の計測点についての変位を補正する補正部を備え、
   前記抽出部は、前記補正部によって補正された変位を利用して、前記抽出を行う
   請求項１に記載の変位検出装置。
5. 前記補正部は、前記複数の計測点の平行移動補正と回転補正量を最適化する
   請求項４に記載の変位検出装置。
6. 前記検出部は、ブロックマッチングにより前記空間的な変位を検出する
   請求項１〜５のいずれか１項に記載の変位検出装置。
7. 前記検出部は、前記複数の撮像画像のピクセル単位又はサブピクセル単位で検出する
   請求項６に記載の変位検出装置。
8. 前記複数の撮像画像のそれぞれは、速度を示す速度画像であり、
   前記検出部は、検出する変位が速度を用いて表現されるように前記検出を行い、
   前記抽出部は、抽出する特徴的変位が速度を用いて表現されるように前記抽出を行う
   請求項１〜７のいずれか１項に記載の変位検出装置。
9. 前記複数の撮像画像のそれぞれは、距離を示す距離画像であり、
   前記検出部は、３次元空間における変位を、前記変位として検出する
   請求項１〜７のいずれか１項に記載の変位検出装置。
10. さらに、前記算出部によって算出された変位に基づく画像を、前記複数の撮像画像のうちの少なくとも１つに対して重畳させた重畳画像を生成する重畳画像生成部を備える
    請求項１〜９のいずれか１項に記載の変位検出装置。
11. 前記複数の撮像画像は、複数の撮像装置によって、前記対象物が同期撮像された画像を含む
    請求項１〜１０のいずれか１項に記載の変位検出装置。
12. 検出部と抽出部と算出部とを備える変位検出装置が行う変位算出方法であって、
    前記検出部が、複数の時刻において対象物が撮像された複数の撮像画像を用いて、当該対象物に設定された複数の計測点について、時間経過に伴う空間的な変位を検出する検出ステップと、
    前記抽出部が、前記検出ステップによって検出された変化量から、前記対象物に特徴的な変位を示す特徴的変位を抽出する抽出ステップと、
    前記算出部が、前記抽出ステップによって抽出された特徴的変位から、前記対象物全体の変位を示す全体変位を算出する算出ステップとを有する
    変位検出方法。

Images