JP2019027890A

JP2019027890A - 構造物検査システム、構造物検査装置及び構造物検査方法

Info

Publication number: JP2019027890A
Application number: JP2017146882A
Authority: JP
Inventors: 航平笹田; Kohei Sasada; 裕介小林; Yusuke Kobayashi; 西岡　英俊; Hidetoshi Nishioka; 英俊西岡; 望長峯; Nozomi Nagamine; 慎也上野; Shinya Ueno; 野中　秀樹; Hideki Nonaka; 秀樹野中; 恭仁新名; Takakimi Niina
Original assignee: Railway Technical Research Institute; Asia Air Survey Co Ltd
Current assignee: Railway Technical Research Institute; Asia Air Survey Co Ltd
Priority date: 2017-07-28
Filing date: 2017-07-28
Publication date: 2019-02-21
Anticipated expiration: 2037-07-28
Also published as: JP6765353B2

Abstract

【課題】画像データの撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することの可能な構造物検査システム、構造物検査装置及び構造物検査方法を提供する。【解決手段】低解像度画像データ５１に基づいて三次元モデルを生成する際に除外すべき画像データ５０を特定する除外データ特定部３７と、特定された画像データ５０を除外した画像データ５０に基づいて画像データ５０が撮像された際の撮像装置に関する第一のパラメータ５２を取得する第一のパラメータ取得部３２と、特定された画像データ５０を除外した画像データ５０の第一の特徴点データ５４を取得する第一の特徴点取得部と、特定された画像データ５０を除外した画像データ５０、第一のパラメータ５２及び第一の特徴点データ５４に基づいて構造物の三次元モデルを生成する三次元モデル生成部３６とを有する。【選択図】図１

Description

本発明は、鉄道構造物、道路構造物などを含む構造物（以下、単に「構造物」と称する）を撮像装置により撮像して得られた複数の画像データを用いる構造物検査システム、構造物検査装置及び構造物検査方法に関するものである。

盛土、橋梁、橋脚や橋台などの構造物については、新設構造物であれば建設時に三次元ＣＡＤ図面を作成しており、この三次元ＣＡＤ図面を用いて、効率的な構造物の維持管理に関する取り組み（ＣＩＭ：Construction Information Managements）が行われている。

一方、構造物の中には建設から長年経過しているものも多く、このような構造物の図面については手書きデータ（ラスター画像データ）のみ保管されていることが多く、中には既に図面が保管されていないこともある。従って、このような構造物について効率的な維持管理を行うためにはＣＩＭとは異なる手法を採用することが必要とされている。

そこで、構造物を撮像した画像データに対する画像処理をベースとした三次元形状復元技術や撮影位置推定技術であるＳｆＭ：Structure from Motion（以下単にＳｆＭと称する）を用いて構造物の三次元モデルを生成し、この三次元モデルを用いて効率的な構造物の維持管理に関する取り組みを行う技術が提案されている（例えば特許文献１、非特許文献１参照）。

特開２０１１−１９２２７０号公報

小沼恵太郎, 西村正三、"多視点画像３Ｄ構築技術の橋梁調査への適用性について"、土木学会第６９回年次学術講演会、２０１４年、VI-511

上述したＳｆＭを用いた三次元モデル生成技術において、実際の構造物に対応した精確な三次元モデルを生成するためには、画像データの撮像及びモデル生成にノウハウを必要としていた。特に、橋梁のような複雑な形状の鉄道構造物について三次元モデルを生成すると、生成された三次元モデルと実際の鉄道構造物との間に形状上の乖離が大きくなることもあった。

そこで、本発明は、画像データの撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することの可能な構造物検査システム、構造物検査装置及び構造物検査方法を提供することを目的としている。

前記目的を達成するために、本発明の構造物検査システムは、構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶装置と、構造物検査装置と、この構造物検査装置に入力指示情報を出力する入力装置と、構造物検査装置から出力される表示信号に基づいて表示画面を表示する表示装置とを有し、構造物検査装置は、画像データの解像度を低下させた低解像度画像データを生成する低解像度化部と、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する除外データ特定部と、除外データ特定部により特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、除外データ特定部により特定された画像データを除外した画像データの第一の特徴点データを取得する第一の特徴点取得部と、除外データ特定部により特定された画像データを除外した画像データ、第一のパラメータ及び第一の特徴点データに基づいて構造物の三次元モデルを生成する三次元モデル生成部とを有することを特徴とする。

ここで、構造物検査装置が、低解像度画像データに基づいて画像データが撮像された際の撮像装置に関する第二のパラメータを取得する第二のパラメータ取得部と、低解像度画像データに基づいて画像データの第二の特徴点データを取得する第二の特徴点取得部とを有し、除外データ特定部が第二のパラメータ及び第二の特徴点データに基づいて三次元モデルの生成の際に除外すべき画像データを特定する構成とすることができる。

また、第一及び第二のパラメータが、画像データが撮像された際の撮像装置の撮像位置、姿勢及び画角を含む構成とすることができる。

さらに、除外データ特定部が、低解像度画像データあるいは画像データの手ブレ・合焦状態の判定結果に基づいて三次元モデルの生成の際に除外すべき画像データを特定する手ブレ・合焦判定部と、複数の画像データが撮像された際の撮像装置の撮像位置及び姿勢のそれぞれが所定距離以内に近接しているか否かに基づいて三次元モデルの生成の際に除外すべき画像データを特定するパラメータ判定部とを有する構成とすることができる。

さらに、構造物検査装置が、低解像度画像データに基づいて、画像データ内において空を撮像した領域を特定する空領域処理部を有し、三次元モデル生成部が、空領域処理部により特定された領域に関するデータを除外して構造物の三次元モデルを生成する構成とすることができる。

さらに、構造物検査装置が、入力装置からの選択入力情報に基づいて少なくとも２つの画像データを抽出し、これら画像データの第一のパラメータに基づいて同一の構造物を撮像した画像データを特定し、特定された画像データを一つのグループとして特定するグループ処理部を有し、三次元モデル生成部がグループ処理部により特定されたグループ単位で構造物の三次元モデルを生成する構成とすることができる。

そして、記憶装置に複数の日時において構造物を撮像装置により撮像して得られた複数の画像データが格納され、構造物検査装置が、複数の日時における三次元モデルを共通する座標系において比較した結果を表示装置に表示させる三次元モデル比較部を有する構成とすることができる。

また、本発明の構造物検査装置は、構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶部を有する構造物検査装置であって、画像データの解像度を低下させた低解像度画像データを生成する低解像度化部と、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する除外データ特定部と、除外データ特定部により特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、除外データ特定部により特定された画像データを除外した画像データの第一の特徴点データを取得する第一の特徴点取得部と、除外データ特定部により特定された画像データを除外した画像データ、第一のパラメータ及び第一の特徴点データに基づいて構造物の三次元モデルを生成する三次元モデル生成部とを有することを特徴とする。

さらに、本発明の構造物検査方法は、構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶部を有する構造物検査装置を用いた構造物検査方法であって、画像データの解像度を低下させた低解像度画像データを生成する工程と、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する工程と、特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する工程と、特定された画像データを除外した画像データの第一の特徴点データを取得する工程と、特定された画像データを除外した画像データ、第一のパラメータ及び第一の特徴点データに基づいて構造物の三次元モデルを生成する工程とを有することを特徴とする。

このように構成された本発明の構造物検査システムでは、構造物検査装置が、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する除外データ特定部と、除外データ特定部により特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、除外データ特定部により特定された画像データを除外した画像データの第一の特徴点データを取得する第一の特徴点取得部とを有する。

このようにすることで、データ容量が削減された低解像度画像データを用いた除外データ特定部による除外すべき画像データの特定作業を高速に行うことができるとともに、除外すべき画像データを特定してこの画像データを除外して第一のパラメータ取得部及び第一の特徴点取得部によるパラメータ取得処理及び特徴点データ取得処理を行うことができ、三次元モデル生成部による三次元モデル生成処理を高精度に行うことができる。これにより、画像データの撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することができる。

ここで、除外データ特定部が第二のパラメータ及び第二の特徴点データに基づいて三次元モデルの生成の際に除外すべき画像データを特定しているので、除外すべき画像データを的確に特定することができる。

また、第一及び第二のパラメータが、画像データが撮像された際の撮像装置の撮像位置、姿勢及び画角を含むので、除外すべき画像データの特定作業及び三次元モデル生成部による三次元モデル生成処理を簡易かつ高精度に行うことができる。

さらに、除外データ特定部が、低解像度画像データあるいは画像データの手ブレ・合焦状態の判定結果に基づいて三次元モデルの生成の際に除外すべき画像データを特定する手ブレ・合焦判定部と、複数の画像データが撮像された際の撮像装置の撮像位置及び姿勢のそれぞれが所定距離以内に近接しているか否かに基づいて三次元モデルの生成の際に除外すべき画像データを特定するパラメータ判定部とを有するので、除外すべき画像データを的確に特定することができる。

さらに、構造物検査装置が、低解像度画像データに基づいて、画像データ内において空を撮像した領域を特定する空領域処理部を有し、三次元モデル生成部が、空領域処理部により特定された領域に関するデータを除外して構造物の三次元モデルを生成するので、三次元モデル生成部による三次元モデル生成処理を簡易かつ高精度に行うことができる。

さらに、構造物検査装置が、入力装置からの選択入力情報に基づいて少なくとも２つの画像データを抽出し、これら画像データの第一のパラメータに基づいて同一の構造物を撮像した画像データを特定し、特定された画像データを一つのグループとして特定するグループ処理部を有し、三次元モデル生成部がグループ処理部により特定されたグループ単位で構造物の三次元モデルを生成するので、三次元モデル生成部による三次元モデル生成処理を簡易かつ高精度に行うことができるとともに、三次元モデルの管理を簡易に行うことができる。

そして、記憶装置に複数の日時において構造物を撮像装置により撮像して得られた複数の画像データが格納され、構造物検査装置が、複数の日時における三次元モデルを共通する座標系において比較した結果を表示装置に表示させる三次元モデル比較部を有するので、三次元モデル生成部により生成された三次元モデルを用いて、構造物の維持管理を簡易にかつ精密に行うことができる。

また、本発明の構造物検査装置は、構造物検査装置が、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する除外データ特定部と、除外データ特定部により特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、除外データ特定部により特定された画像データを除外した画像データの第一の特徴点データを取得する第一の特徴点取得部とを有するので、画像データの撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することができる。

さらに、本発明の構造物検査方法は、低解像度画像データに基づいて三次元モデルを生成する際に除外すべき画像データを特定する工程と、特定された画像データを除外した画像データに基づいて画像データが撮像された際の撮像装置に関する第一のパラメータを取得する工程と、特定された画像データを除外した画像データの第一の特徴点データを取得する工程とを有するので、画像データの撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することができる。

本実施の形態である構造物検査システムの概略構成を示すブロック図である。本実施の形態である構造物検査システムの動作の一例を示す図である。本実施の形態である構造物検査システムの動作の一例を示す図である。本実施の形態である構造物検査システムの全体動作の一例を示すフローチャートである。本実施の形態である構造物検査システムの空領域マスク処理動作の一例を示すフローチャートである。本実施の形態である構造物検査システムの第二のグループ化処理動作の一例を示すフローチャートである。本実施の形態である構造物検査システムの三次元モデル比較処理動作の一例を示すフローチャートである。本実施の形態である構造物検査システムにおける除外データ特定部の動作の一例を説明するための図である。本実施の形態である構造物検査システムにおける空領域処理部の動作の一例を説明するための図である。本実施の形態である構造物検査システムにおけるグループ処理部の動作の一例を説明するための図である。本実施の形態である構造物検査システムにおけるグループ処理部の動作の別の例を説明するための図である。本実施の形態である構造物検査システムにおける三次元モデル比較部の動作の一例を説明するための図である。本実施の形態である構造物検査システムにおける三次元モデル生成部により生成された三次元モデルの一例を説明するための図である。本実施の形態である構造物検査システムにおける三次元モデル比較部の動作の他の例を説明するための図である。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本実施の形態である構造物検査システムＳの概略構成を示すブロック図である。

本実施の形態の構造物検査システムＳは、構造物検査装置１０、入力装置１１及び表示装置１２を有する。

本実施の形態の構造物検査装置（以下、検査装置と省略する）１０は、例えばパーソナルコンピュータ等であり、制御部２０、記憶部（記憶装置）２１、入力インタフェース（Ｉ／Ｆ）２２及び出力インタフェース（Ｉ／Ｆ）２３を有する。

制御部２０はＣＰＵ等の演算素子を備える。記憶部２１内に格納されている図略の制御用プログラムが検査装置１０の起動時に実行され、この制御用プログラムに基づいて、制御部２０は記憶部２１等を含む検査装置１０全体の制御を行うとともに、表示制御部３０、低解像度化部３１、第一のパラメータ取得部３２、第二のパラメータ取得部３３、第一の特徴点取得部３４、第二の特徴点取得部３５、三次元モデル生成部３６、除外データ特定部３７、空領域処理部３８、グループ処理部３９及び三次元モデル比較部４０としての機能を実行する。これら各機能部の動作については後述する。

記憶部２１はハードディスクドライブ等の大容量記憶媒体、及びＲＯＭ、ＲＡＭ等の半導体記憶媒体を備える。この記憶部２１には上述の制御用プログラムが格納されているとともに、制御部２０の制御動作時に必要とされる各種データが一時的に格納される。

また、この記憶部２１には、画像データ５０、低解像度画像データ５１、第一のパラメータ５２、第二のパラメータ５３、第一の特徴点データ５４及び第二の特徴点データ５５が格納されている。これらデータのうち、画像データ５０を除くデータについては一時的に記憶部２１に格納されればよい。

画像データ５０は、鉄道構造物に代表される構造物を、デジタルカメラ等の撮像装置（図示は省略）により撮像することで得られる。本実施の形態では、複数の画像データ５０が記憶部２１に格納されている。一般的に、後述の三次元モデル生成部３６による三次元モデルの生成処理を簡易にかつ高精度に行うためには、重複領域が三次元モデル生成処理可能な範囲（例えば、６０％以上重複）においてできるだけ少なく、かつ鮮明な（合焦状態にある）画像データ５０を多数取得することが好ましいが、後述する本実施の形態による特徴的な処理に基づけば、かかる条件を緩めた画像データ５０によっても簡易かつ高精度な三次元モデルを取得することができる。
なお、画像データ５０を除くデータの詳細については後述する。

入力インタフェース２２は、検査装置１０に接続された入力装置１１からの各種入力を受け入れ、これを制御部２０に出力する。本実施例の入力装置１１は例えばキーボードやマウス等であり、後述する表示装置１２の表示画面に対して座標指定入力を行いうるものである。

出力インタフェース２３は、制御部２０、特に表示制御部３０から出力された出力信号を受け入れ、これを表示装置１２に出力する。本実施例の表示装置１２は例えば液晶ディスプレイ装置であり、出力インタフェース２３を介して出力された表示制御信号に基づいて図略の表示面に表示画面を表示する。

次に、制御部２０に構成される各機能部の説明をする。

表示制御部３０は、制御部２０及びこの制御部２０に構成される各機能部による処理の結果、表示装置１２に表示画面を生成するための表示制御信号を生成して、この表示制御信号を出力インタフェース２３を介して表示装置１２に出力する。

低解像度化部３１は、記憶部２１に格納された画像データ５０の解像度を低下させた低解像度画像データ５１を生成する。低解像度化部３１による低解像度画像データ５１の生成手法は周知であり、ここでは特段詳細な説明を行わない。通常、低解像度化部３１による画像データ５０の低解像度化処理は、画像データ５０の単位面積当たりの画素数（一例としてｄｐｉ：dots per inch）を削減することででき、さらに、画像データ５０が圧縮画像（例えばＪＰＥＧ画像）であるならば、低解像度化処理と圧縮率を上昇させる処理とを併用することができる。低解像度化部３１により生成された低解像度画像データ５１は、記憶部２１に一時的に格納されることが好ましい。

第二のパラメータ取得部３３は、低解像度化部３１により生成された低解像度画像データ５１に基づいて、画像データ５０が撮像された際の撮像装置に関する第二のパラメータ５３を取得する。第二のパラメータ取得部３３により取得された第二のパラメータ５３は、記憶部２１に一時的に格納されることが好ましい。ここで、第二のパラメータ５３は、画像データ５０が撮像された際の撮像装置の撮像位置、姿勢及び画角を含む。

なお、画像データ５０の第一及び第二のパラメータ５２、５３及び後述する第一及び第二の特徴点データ５４、５５は、画像データ５０に基づいて算出するか、あるいは低解像度画像データ５１に基づいて算出するかによって大きく異なることは考えにくい（より正確には、無視しうる誤差範囲内であると考えられる）ので、以下の説明では特段区別して説明しないことがある。

撮像装置の撮像位置は、構造物を基準とする相対座標系の座標値として与えられうる。あるいは、この相対座標系の原点の緯度、経度及び高度が与えられるならば、絶対座標系の座標値である緯度、経度及び高度として与えられうる。また、撮像装置の姿勢は、上述した撮像位置（相対座標系または絶対座標系の座標値）で特定される位置（座標点）において、撮像装置の撮像系の光軸と、この座標点を原点とする直交座標系の各座標軸とがなす角度として与えられうる。さらに、撮像装置の画角は、撮像装置の撮像位置と第二の特徴点データ５５から算出することができ、画像データ５０のフォーマットがＥｘｉｆ（Exchangeable image file format）であれば画像データ５０に付随するメタタグデータから算出することができる。

第二の特徴点取得部３５は、低解像度画像データ５１に基づいて画像データ５０の第二の特徴点データ５５を取得する。低解像度画像データ５１を含む画像データ５０の特徴点データを取得する手法は周知であり、ここでは特段詳細な説明を行わない。一例として、ＳＩＦＴ（Scale-Invariant Feature Transformation）法やＳＵＲＦ（Speed-Up Robust Features）法により画像データ５０、低解像度画像データ５１の特徴点を抽出し、この特徴点に関するデータ（画像データ５０、低解像度画像データ５１中の位置データなど）を取得することができる。第二の特徴点取得部３５により取得された第二の特徴点データ５５は、記憶部２１に一時的に格納されることが好ましい。

第二のパラメータ取得部３３による第二のパラメータ５３の取得処理及び第二の特徴点取得部３５による第二の特徴点データ５５の取得処理は、上述したＳｆＭにより行うことが好ましい。これら技術によれば、複数の画像データ５０を入力として、複数の画像データ５０に共通する構造物の特徴点を複数取得し、これら特徴点及び画像データ５０から、各画像データ５０を撮像した撮像装置の撮像位置、姿勢及び画角を含むパラメータを算出する一方、特徴点の三次元位置を算出することができる。

ＳｆＭそのものは周知の手法であるので、ここでは特段詳細な説明を行わない。これら技術は既にオープンソースとして公開されているものもあり（例えばＯｐｅｎＭＶＧ：http://imagine.enpc.fr/~moulonp/openMVG/）、本実施の形態の検査装置１０においても好適に適用可能である。

ここで、低解像度画像データ５１は画像データ５０の解像度を低下させたものであり、従って、そのデータ容量も低解像度化作業に伴って小さく（軽く）なっている。このため、第二のパラメータ取得部３３による第二のパラメータ５３の取得処理及び第二の特徴点取得部３５による第二の特徴点データ５５の取得処理そのものも軽量化かつ高速化される利点を有する。

除外データ特定部３７は、低解像度画像データ５１に基づいて、後述する三次元モデル生成部３６が三次元モデルを生成する際に除外すべき画像データ５０を特定する。特に、本実施の形態の除外データ特定部３７は、第二のパラメータ取得部３３により取得された第二のパラメータ５３、及び第二の特徴点取得部３５により取得された第二の特徴点データ５５に基づいて、三次元モデル生成部３６が三次元モデルを生成する際に除外すべき画像データ５０を特定する。

本実施の形態の除外データ特定部３７により三次元モデルを生成する際に除外すべき画像データ５０を特定する手法は任意であるが、本実施の形態の除外データ特定部３７は、低解像度画像データ５１あるいは画像データ５０の手ブレ・合焦状態の判定結果に基づいて三次元モデルの生成の際に除外すべき画像データを特定する手ブレ・合焦判定部３７ａと、複数の画像データ５０が撮像された際の撮像装置の撮像位置及び姿勢のそれぞれが所定距離以内に近接しているか否かに基づいて三次元モデルの生成の際に除外すべき画像データを特定するパラメータ判定部３７ｂとを有し、これら手ブレ・合焦判定部３７ａ及びパラメータ判定部３７ｂの動作により、三次元モデルを生成する際に除外すべき画像データ５０を特定している。

手ブレ・合焦判定部３７ａが低解像度画像データ５１あるいは画像データ５０の手ブレ・合焦状態の判定を行う、より詳細には、低解像度画像データ５１あるいは画像データ５０が手ブレしているか否か、あるいは合焦しているか否か（低解像度画像データ５１あるいは画像データ５０がピンボケであるか）の判定を行う手法は特段限定されず、種々の手法が好適に採用可能である。一例として、本実施の形態の手ブレ・合焦判定部３７ａでは、低解像度画像データ５１あるいは画像データ５０のエッジ検出を行った後の画像データの輝度値が閾値を超えていれば手ブレ・合焦状態にあると判定する。そして、手ブレ・合焦判定部３７ａは、手ブレしている、あるいは合焦状態にない低解像度画像データ５１あるいは画像データ５０を、三次元モデルを生成する際に除外すべき画像データ５０として特定する。

エッジ検出手法も周知の手法から好適に採用可能であり、一例として、ラプラシアンフィルタのような、画像データの各画素値に対して（二次）微分値を求める（画像微分）ことによりエッジ検出を行う手法などが好適に挙げられる。

本実施の形態であるパラメータ判定部３７ｂは、第二のパラメータ取得部３３が取得した低解像度画像データ５１の第二のパラメータ５３を低解像度画像データ５１毎に比較し、第二のパラメータ５３のうち、撮像装置の撮像位置及び姿勢が近接するか否かを判定することにより、三次元モデルを生成する際に除外すべき画像データ５０を特定している。具体的には、撮像装置の撮像位置及び姿勢のそれぞれに閾値を予め設定し、複数の低解像度画像データ５１において、それぞれの低解像度画像データ５１から得られた撮像装置の撮像位置及び姿勢が閾値を下回れば、撮像装置の撮像位置及び姿勢が近接すると判定している。そして、パラメータ判定部３７ｂは、撮像装置の撮像位置及び姿勢が近接する低解像度画像データ５１を、冗長あるいは重複する低解像度画像データ５１であると判定し、三次元モデルを生成する際に除外すべき画像データ５０として特定する。

あるいは、またはさらに、パラメータ判定部３７ｂは、第二の特徴点取得部３５により取得された第二の特徴点データ５５を低解像度画像データ５１毎に比較し、第二の特徴点データ５５が共通する特徴点が、予め定められた閾値を超えたか否かを判定することにより、三次元モデルを生成する際に除外すべき画像データ５０を特定している。そして、パラメータ判定部３７ｂは、共通する特徴点が閾値を超えたと判定した低解像度画像データ５１を、三次元モデルを生成する際に除外すべき画像データ５０として特定する。

手ブレ・合焦判定部３７ａ及びパラメータ判定部３７ｂを含む、除外データ特定部３７により特定された画像データ５０については、後述する三次元モデル生成部３６による三次元モデル生成処理がされない（除外される）ことを明記する処理が行われる。一例として、特定された画像データ５０についてはそのデータ中に特定のフラグを記入する。画像データ５０のファイル名等のＩＤを記入したテーブルを記憶部２１内に格納する、等の手法が挙げられる。

三次元モデル生成部３６による三次元モデル生成処理、あるいは第一の特徴点取得部３４による第一の特徴点データ５４取得処理において、画像データ５０が手ブレ状態にある、あるいは合焦状態にないと特徴点データ取得処理の精度が向上せず、また、実質的に重複する画像データ５０を用いた場合、三次元モデル生成処理が長時間になる傾向がある。本実施の形態である除外データ特定部３７によれば、上述の動作により三次元モデルを生成する際に除外すべき画像データ５０を特定しているので、三次元モデル生成部３６による三次元モデル生成処理を高速にかつ高精度に行うことができる。

また、低解像度画像データ５１はデータ容量が軽量化されているので、除外データ特定部３７による、三次元モデルを生成する際に除外すべき画像データ５０として特定する処理そのものも軽量化かつ高速化される利点を有する。

ここで、除外データ特定部３７による画像データ５０の特定作業に先立って、グループ処理部３９により低解像度画像データ５１のグループ処理を行うことが好ましい。ここでのグループ処理部３９によるグループ処理とは、上述した第二のパラメータ取得部３３により取得された第二のパラメータ５３及び第二の特徴点取得部３５により取得された第二の特徴点データ５５に基づいて、同一の構造物（例えば橋脚の一つの支柱といった単位）を撮像したと判断できる複数の低解像度画像データ５１を抽出し、抽出された低解像度画像データ５１を一つのグループとして特定することを指す。

グループ処理部３９により低解像度画像データ５１のグループ処理の一例について、図８を参照して説明する。画像１〜３として示されている３つの低解像度画像データ５１ａ〜５１ｃは、第二の特徴点取得部３５の処理の結果、図示するように複数の特徴点Ｃ１〜Ｃ３を有する。そして、画像１５１ａ及び画像２５１ｂの特徴点Ｃ１、Ｃ２は、図中点線で示す対応関係にあり、画像１５１ａ及び画像３５１ｃの特徴点Ｃ１、Ｃ３は、図中実践で示す対応関係にあるものとする。ここに、対応関係とは、画像１〜３に表示されている共通の構造物の同一の特徴点と判断される画像１〜３の特徴点相互の関係である。

図８に示すように、画像１５１ａ及び画像３５１ｃは、画像１５１ａ及び画像２５１ｂと比較して対応関係にある特徴点Ｃ１、Ｃ３の数が多い。そこで、グループ処理部３９は、対応関係が予め定められた閾値以上である低解像度画像データ５１（図示例では画像１５１ａと画像３５１ｃ）を抽出し、抽出された低解像度画像データ５１を一つのグループＧとして特定する。

グループ処理部３９により一つのグループＧとして特定された低解像度画像データ５１については、これら低解像度画像データ５１が一つのグループに属することを明記する処理が行われる。一例として、特定された低解像度画像データ５１についてはそのデータ中に特定のフラグを記入する。低解像度画像データ５１のファイル名等のＩＤを記入したテーブルを記憶部２１内に格納する、等の手法が挙げられる。

そして、除外データ特定部３７は、グループ処理部３９によりグループ化された個々のグループＧ単位で、三次元モデル生成部３６が三次元モデルを生成する際に除外すべき画像データ５０を特定する。これにより、少なくともパラメータ判定部３７ｂによる判定処理を合理的な規模に収めることができ、三次元モデルを生成する際に除外すべき画像データ５０として特定する処理そのものも軽量化かつ高速化される利点を有する。

つまり、グループ化せずに全ての低解像度画像データ５１についてパラメータ判定部３７ｂによる判定処理を行うとしたら、この判定処理が大規模なものになるが、グループ処理部３９により同一の構造物を撮像したと判断できる複数の低解像度画像データ５１を抽出してグループ化することにより、他の構造物を撮像したと判断できる低解像度画像データ５１を判定処理から除外することができ、処理そのものを合理的な規模に収めることができる。

空領域処理部３８は、低解像度画像データ５１に基づいて、画像データ５０内において空を撮像した領域（以下、単に「空領域」と称する）を特定する。一般的に、ＳｆＭでは画像データ５０中の空領域を特定して、特定した空領域については三次元モデル生成処理から除外しているが、本実施の形態である検査装置１０では、低解像度画像データ５１に基づいて空領域を特定し、後述するように、三次元モデル生成部３６による三次元モデル生成処理から除外している。

空領域処理部３８による空領域特定処理の具体的手法については、周知の手法が好適に適用可能であるが、本実施の形態である空領域処理部３８では、次の手法を採用している。

まず、（１）空領域処理部３８は、低解像度画像データ５１を構成する画素それぞれについて、その画像的特徴が空、または雲の特徴を満たすか否かを判定する。具体的には、画素の色情報を取得し、また、画素の空間周波数を（離散的または高速）フーリエ変換することで取得し、色情報または空間周波数が空、または雲のそれであるか否かを判定する。当然、他の手法により画素の画像的特徴が空、または雲の特徴を満たすか否かを判定してもよい。

次に、（２）空領域処理部３８は、低解像度画像データ５１を構成する、ある画素の周辺にある画素の全てが（１）の条件を満たすか否かを判定する。

さらに、（３）空領域処理部３８は、低解像度画像データ５１を構成する、ある画素の周辺にある画素の全てにおいて、特徴点が予め定められた閾値以上存在しないかどうかを判定する。

そして、条件（１）〜（３）のうち少なくとも一つ、あるいは所定の数の条件を満たすと判定されたら、空領域処理部３８は、この画素を空領域であると判定する。そして、空領域処理部３８は、空領域と判定した画素をマスク処理する。マスク処理する具体的な手法は任意であり、画像データ５０の該当画素の値を０にする、該当画素の座標値をテーブル化する等の手法が任意に採用可能である。

第一のパラメータ取得部３２は、除外データ特定部３７により特定された画像データ５０を除外した画像データ５０に基づいて、画像データが撮像された際の撮像装置に関する第一のパラメータ５２を取得する。ここに、第一のパラメータ５２も、画像データ５０が撮像された際の撮像装置の撮像位置、姿勢及び画角を含む。第一のパラメータ５２の取得手法は、第二のパラメータ取得部３３による第二のパラメータ５３の取得方法と同様であるので、再度の説明は行わない。

第一の特徴点取得部３４は、除外データ特定部３７により特定された画像データ５０を除外した画像データ５０の第一の特徴点データ５４を取得する。第一の特徴点データ５４の取得方法は、第二の特徴点取得部３５による第二の特徴点データ５５の取得方法と同様であるので、再度の説明は行わない。

第一のパラメータ取得部３２により取得された第一のパラメータ５２、及び第一の特徴点取得部３４により取得された第一の特徴点データ５４は、記憶部２１に一時的に格納されることが好ましい。

グループ処理部３９は、入力装置１１からの選択入力情報に基づいて少なくとも２つの画像データ５０を抽出し、これら画像データ５０の第一のパラメータ５２に基づいて同一の構造物を撮像した画像データ５０を特定し、特定された画像データ５０を一つのグループとして特定する。

グループ処理部３９による画像データ５０のグループ化処理動作は、上述した低解像度画像データ５１のグループ化処理動作と同様なものでもよいが、本実施の形態である検査装置１０では、一例として図１０及び図１１に図示するような手法を採用している。

まず、図１０に示すように、構造物ＳＴが比較的平坦な壁面を有し、この壁面に沿って撮影者が移動して撮像装置により画像データ５０を撮像した場合を考える。

グループ処理部３９は、画像データ５０に基づく画像、あるいは画像データ５０を縮小表示したサムネイル画像を表示装置１２に表示させ、入力装置１１による選択入力情報の入力を待つ。検査装置１０の操作者（オペレータ）は、表示装置１２に表示されている画像を見て、構造物ＳＴの端部を撮像した画像データ５０を入力装置１１を用いて選択する（図中における「指定画像」）。入力装置１１は、操作者による選択入力に基づき、選択入力情報を検査装置１０に出力する。

グループ処理部３９は、入力装置１１からの選択入力情報の入力に基づき、指定画像に対応する撮像装置の撮像位置を入手する。撮像装置の撮像位置は、第一のパラメータ取得部３２により取得された第一のパラメータ５２から入手すればよい。次に、グループ処理部３９は、指定画像である画像データ５０を包含するような画像データ５０を、指定画像を撮像した撮像装置の撮像位置に基づいて抽出する。この際、グループ処理部３９は、構造物ＳＴの両端を撮像した一対の指定画像（画像データ５０）に対応する撮像装置の撮像位置の距離（図中Ｌで示す）を算出し、距離Ｌに所定の増分ΔＬを加えた距離Ｌ１（＝Ｌ＋ΔＬ）内にある画像データ５０を抽出することが好ましい。

次に、図１１に示すように、構造物ＳＴが橋脚のような柱状体であり、この構造物ＳＴの周囲を撮影者が一周して移動して撮像装置により画像データ５０を撮像した場合を考える。

図１０と同様に、グループ処理部３９は表示装置１２に画像を表示し、操作者による選択入力に基づいて入力装置１１が選択入力情報を検査装置１０に出力する。この際、操作者は、３枚以上の画像データ５０を選択入力することが好ましい。２枚の画像データ５０が選択入力されると、図１０に示す例と区別することが困難である。

グループ処理部３９は、入力装置１１からの選択入力情報の入力に基づき、指定画像に対応する撮像装置の撮像位置を入手する。撮像装置の撮像位置は、第一のパラメータ取得部３２により取得された第一のパラメータ５２から入手すればよい。次に、グループ処理部３９は、指定画像である３枚（あるいはそれ以上）の画像データ５０の撮影方向（これは指定画像に対する法線で表され、図中矢印Ａで示す）が最も近接する位置ＣＥを求め、この位置ＣＥを中心とする半径ｒの球Ｂを仮想的に設定する。そして、撮影方向Ａがこの球Ｂを貫く画像データ５０を、指定画像を撮像した撮像装置の撮像位置に基づいて抽出する。

グループ処理部３９により画像データ５０をグループ化することにより、後述する三次元モデル比較部４０による三次元モデルの比較処理を同一の構造物単位で行うことができ、比較処理を高速かつ簡易に行うことができる。

ここで、図１０及び図１１に示すグループ処理部３９のグループ化処理動作はあくまで一例であり、他の手法によりグループ化処理動作が行われてもいいことは言うまでもない。

三次元モデル生成部３６は、除外データ特定部３７により特定された画像データ５０を除外した画像データ５０、第一のパラメータ５２及び第一の特徴点データ５４に基づいて、構造物の三次元モデルを生成する。三次元モデル生成部３６による三次元モデル生成処理の具体的手法は、既知のＳｆＭによればよいので、ここでは特段詳細な説明を行わない。三次元モデル生成部３６により生成された三次元モデルは、記憶部２１に一時的に格納されることが好ましい。三次元モデル生成部３６により生成された三次元モデルの一例を図１３（ａ）、（ｂ）に示す。

ここで、三次元モデル生成部３６は、空領域処理部３８により特定された領域に関するデータを除外して構造物の三次元モデルを生成することが好ましい。また、三次元モデル生成部３６は、グループ処理部３９により特定されたグループ単位で構造物の三次元モデルを生成することが好ましい。

三次元モデル比較部４０は、複数の日時における三次元モデルを共通する座標系において比較した結果を表示装置１２に表示させる。

三次元モデル比較部４０による三次元モデル比較処理の一例について、図３を参照して説明する。まず、異なる日時（図３においてはＴ₀、Ｔ₁、Ｔ₂）に撮影された３種類の画像データ５０に基づいて、三次元モデル生成部３６により生成された同一の構造物に関する３種類の三次元モデルＭ₀、Ｍ₁、Ｍ₂が記憶部２１に格納されているものとする。ここに、日時（時刻）Ｔ₀を基準時刻とし、Ｔ₁及びＴ₂はＴ₀より後の時刻であるとする。また、基準時刻Ｔ₀に撮影された画像データ５０に基づく三次元モデルＭ₀を基準モデルと称する。また、三次元モデルＭ₀、Ｍ₁、Ｍ₂の座標系は任意の（すなわち統一されていない）座標系であるものとする。

まず、三次元モデル比較部４０は、基準モデルＭ₀の座標系を特定の座標系（以下、これを基準座標系と称する）に変換する座標変換処理を行う。基準座標系の設定基準に特段の限定はないが、それぞれの三次元モデルＭ₀、Ｍ₁、Ｍ₂の任意座標系に対する座標変換処理が複雑にならない基準座標系であることが好ましい。基準座標系に座標変換された後の基準モデルをＭ₀ ⁿと称する。

次いで、三次元モデル比較部４０は、基準モデルＭ₀ ⁿ以外の三次元モデルＭ₁、Ｍ₂についても、基準座標系への座標変換処理を行う。基準座標系に座標変換された後の三次元モデルをＭ₁ ⁿ、Ｍ₂ ⁿと称する。

そして、三次元モデル比較部４０は、これら基準モデルＭ₀ ⁿ及び三次元モデルＭ₁ ⁿ、Ｍ₂ ⁿの画像データ５０、第一のパラメータ５２及び第一の特徴点データ５４を取得して、基準モデルＭ₀ ⁿ及び三次元モデルＭ₁ ⁿ、Ｍ₂ ⁿの比較動作を行う。

一例として、基準モデルＭ₀ ⁿ及び三次元モデルＭ₁ ⁿ、Ｍ₂ ⁿを、ボクセル（voxel）と呼ばれる微細な立方体により構成し、このボクセルの差分を取ることで構造物の変形を際立たせる動作が挙げられる。図１２に示す、ボクセルにより構成される三次元モデルの一般的な例を用いて、かかる動作を説明する。

変形前の三次元モデルをＶｉとし、変形後の三次元モデルをＶｊとすると、ボクセル単位でのこれら三次元モデルＶｉ、Ｖｊの差分Ｖｉｊを算出すると、変形した部分がボクセルの差分として視認可能な状態で表示されうる。構造物の三次元モデルについても、同様にボクセルで構成してその差分を算出することにより、構造物の変形を容易に視認可能な状態で表示することができ、これにより、構造物の維持管理に利用することができる。

また、他の例として、図１４に示すように、三次元モデル比較部４０が構造物を同一断面で切断した際の断面形状、言い換えれば断面輪郭を重ね合わせた結果を表示装置１２に表示させる。例えば、図１４に実線で示す輪郭ＳＩが基準モデルＭ₀ ⁿのものであり、破線で示す輪郭ＳＩが三次元モデルＭ₁ ⁿのものであるとする。輪郭ＳＩの重複の程度に基づいて、構造物の外形を的確に把握することができ、これにより、検査装置１０の検査結果を構造物の維持管理に利用することができる。また、構造物の図面データが保管されていれば、この図面データＤと輪郭ＳＩとを重複表示させることでも、構造物の維持管理に利用することができる。

次に、図２〜図３、及び図４〜図７のフローチャートを参照して、本実施の形態である構造物検査システムＳの動作について説明する。なお、制御部２０を構成する各部の説明について詳述した内容については繰り返しの説明を省略することがある。

図２及び図３は、本実施の形態である構造物検査システムＳの全体動作を説明するための図であり、図４は、本実施の形態である構造物検査システムＳの全体動作を説明するためのフローチャートである。構造物検査システムＳの動作が開始されると、まず、ステップＳ１０において、低解像度化部３１による低解像度画像データ５１の生成動作が行われる。

次に、ステップＳ１１において、第二のパラメータ取得部３３により、ステップＳ１０で生成された低解像度画像データ５１に基づく第二のパラメータ５３の取得動作が行われる。次に、ステップＳ１２において、第二の特徴点取得部３５により、ステップＳ１０で生成された低解像度画像データ５１に基づく第二の特徴点データ５５の取得動作が行われる。

ステップＳ１３では、グループ処理部３９により、ステップＳ１０で生成された低解像度画像データ５１に基づくグループ化処理動作が行われる。

次いでステップＳ１４では、ステップＳ１３によりグループ化処理動作がされたグループ単位で、除外データ特定部３７の手ブレ・合焦判定部３７ａにより低解像度画像データ５１あるいは画像データ５０の手ブレ・合焦状態が判定され、いわゆるピンボケ、手ブレした画像データ５０が、後述するステップＳ１８における三次元モデル生成部３６による三次元モデル生成処理で除外される画像データ５０として特定される。

ステップＳ１５では、ステップＳ１３によりグループ化処理動作がされたグループ単位で、除外データ特定部３７のパラメータ判定部３７ｂにより、冗長あるいは重複する画像データ５０が、後述するステップＳ１８における三次元モデル生成部３６による三次元モデル生成処理で除外される画像データ５０として特定される。

ステップＳ１６では、空領域処理部３８により、画像データ５０内に空領域が存在するか否かが判定され、空領域と判定された領域をマスク処理する。

ステップＳ１７では、グループ処理部３９により、画像データ５０に基づくグループ化処理動作が行われる。次いで、ステップＳ１８では、ステップＳ１４及びステップＳ１５の処理により特定された画像データ５０を除外して、ステップＳ１７によりグループ化処理動作がされたグループ単位で、画像データ５０に基づくグループ化処理動作が行われる。

ステップＳ１９では、三次元モデル比較部４０により複数の三次元モデルの比較処理が行われる。

次に、図５は、図４のステップＳ１６で示した、空領域処理部３８による空領域マスク処理動作を説明するためのフローチャートである。

まず、ステップＳ２０では、低解像度画像データ５１を構成する画素の中から注目画素を一つ選択する。ステップＳ２１では、注目画素の画像的特徴（色情報、空間周波数など）を算出する。ステップＳ２２では、注目画素の周辺の画素の画像的特徴を算出する。ステップＳ２３では、注目画素の周辺の画素の特徴点を取得する。

ステップＳ２４では、注目画素が空領域の条件を満たすか否かが判定され、空領域の条件を満たす（ステップＳ２４においてＹＥＳ）と判定されるとプログラムはステップＳ２５に移行し、空領域の条件を満たさない（ステップＳ２４においてＮＯ）と判定されるとプログラムはステップＳ２６に移行する。ステップＳ２４における判定基準は、上述した条件（１）〜（３）に基づく。

ステップＳ２５では、空領域と判定された注目画素をマスク領域として設定する。

ステップＳ２６では、低解像度画像データ５１を構成する全ての画素を注目画素として選択したか否かが判定され、全ての画像を注目画素として選択した（ステップＳ２６においてＹＥＳ）と判定されると、図５に示す空領域マスク処理動作が終了し、全ての画素を注目領域として選択していない（ステップＳ２６においてＮＯ）と判定されると、プログラムはステップＳ２７に移行して次の注目画素を選択する。その後、プログラムはステップＳ２１に戻って、ステップＳ２１〜Ｓ２６までの動作が繰り返し実行される。

次に、図６は、図４のステップＳ１７で示した、グループ処理部３９によるグループ化処理動作を説明するためのフローチャートである。

まず、ステップＳ３０では、画像データ５０の第一のパラメータ５２が取得される。次に、ステップＳ３１では、表示装置１２に表示された画像データ５０を示す画像に基づき、操作者が入力装置１１を操作することにより指定画像を選択したことによる選択入力情報の入力が行われる。

ステップＳ３２では、指定画像に対応する画像データ５０を包含する、グループ対象の画像データ５０が、ステップＳ３０で取得した第一のパラメータ５２に基づき抽出される。そして、ステップＳ３３では、ステップＳ３２で抽出された画像データ５０のグループ化処理動作が行われる。

そして、図７は、図４のステップＳ１９で示した、三次元モデル比較部４０による三次元モデル比較処理を説明するためのフローチャートである。

まず、ステップＳ４０では、基準時刻Ｔ₀の三次元モデル（基準モデルＭ₀）が記憶部２１から読み出される。次に、ステップＳ４１では、比較時刻Ｔ₁、Ｔ₂の三次元モデルＭ₁、Ｍ₂が記憶部２１から読み出される。

ステップＳ４２では、基準モデルＭ₀の基準座標系への座標変換処理が行われる。次いで、ステップＳ４３では、三次元モデルＭ₁、Ｍ₂の基準座標系への座標変換処理が行われる。

次いで、ステップＳ４４では、各三次元モデルＭ₀ ⁿ、Ｍ₁ ⁿ、Ｍ₂ ⁿの画像データ５０、第一のパラメータ５２及び第一の特徴点データ５４を取得して、ステップＳ４５では基準モデルＭ₀ ⁿ及び三次元モデルＭ₁ ⁿ、Ｍ₂ ⁿの比較動作を行う。

このように構成された本実施の形態である構造物検査システムＳでは、構造物検査装置１０が、低解像度画像データ５１に基づいて三次元モデルを生成する際に除外すべき画像データ５０を特定する除外データ特定部３７と、除外データ特定部３７により特定された画像データ５０を除外した画像データ５０に基づいて画像データ５０が撮像された際の撮像装置に関する第一のパラメータ５２を取得する第一のパラメータ取得部３２と、除外データ特定部３７により特定された画像データ５０を除外した画像データ５０の第一の特徴点データ５４を取得する第一の特徴点取得部３４とを有する。

このようにすることで、データ容量が削減された低解像度画像データ５１を用いた除外データ特定部３７による除外すべき画像データ５０の特定作業を高速に行うことができるとともに、除外すべき画像データ５０を特定して、この画像データ５０を除外して第一のパラメータ取得部３２及び第一の特徴点取得部３４によるパラメータ取得処理及び特徴点データ取得処理を行うことができ、三次元モデル生成部３６による三次元モデル生成処理を高精度に行うことができる。これにより、画像データ５０の撮像及びモデル生成に特段のノウハウを必要とせずに、簡易にかつ高精度な三次元モデルを生成することができる。

ここで、除外データ特定部３７が第二のパラメータ５３及び第二の特徴点データ５５に基づいて三次元モデルの生成の際に除外すべき画像データ５０を特定しているので、除外すべき画像データ５０を的確に特定することができる。

また、第一及び第二のパラメータ５２、５３が、画像データ５０が撮像された際の撮像装置の撮像位置、姿勢及び画角を含むので、除外すべき画像データ５０の特定作業及び三次元モデル生成部３６による三次元モデル生成処理を簡易かつ高精度に行うことができる。

さらに、除外データ特定部３７が、低解像度画像データ５１の手ブレ・合焦状態の判定結果に基づいて三次元モデルの生成の際に除外すべき画像データ５０を特定する手ブレ・合焦判定部３７ａと、複数の画像データ５０が撮像された際の撮像装置の撮像位置及び姿勢のそれぞれが所定距離以内に近接しているか否かに基づいて三次元モデルの生成の際に除外すべき画像データ５０を特定するパラメータ判定部３７ｂとを有するので、除外すべき画像データ５０を的確に特定することができる。

さらに、構造物検査装置１０が、低解像度画像データ５１に基づいて、画像データ５０内において空を撮像した領域を特定する空領域処理部３８を有し、三次元モデル生成部３６が、空領域処理部３８により特定された領域に関するデータを除外して構造物の三次元モデルを生成するので、三次元モデル生成部３６による三次元モデル生成処理を簡易かつ高精度に行うことができる。

さらに、構造物検査装置１０が、入力装置１１からの選択入力情報に基づいて少なくとも２つの画像データ５０を抽出し、これら画像データ５０の第一のパラメータ５２に基づいて同一の構造物を撮像した画像データ５０を特定し、特定された画像データ５０を一つのグループＧとして特定するグループ処理部３９を有し、三次元モデル生成部３６がグループ処理部３９により特定されたグループ単位で構造物の三次元モデルを生成するので、三次元モデル生成部３６による三次元モデル生成処理を簡易かつ高精度に行うことができるとともに、三次元モデルの管理を簡易に行うことができる。

そして、記憶装置２１に複数の日時において構造物を撮像装置により撮像して得られた複数の画像データ５０が格納され、構造物検査装置１０が、複数の日時における三次元モデルを共通する座標系において比較した結果を表示装置１２に表示させる三次元モデル比較部４０を有するので、三次元モデル生成部３６により生成された三次元モデルを用いて、構造物の維持管理を簡易にかつ精密に行うことができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、上述の実施の形態である構造物検査システムＳでは、検査装置１０内に記憶部２１を設けていたが、記憶部２１を検査装置１０とは別体に構成することも可能である。

また、上述の実施の形態である構造物検査システムＳでは鉄道構造物を含む構造物を撮像した画像データ５０が記憶部２１に格納されていたが、構造物の種類に特段の限定はなく、三次元的外形を管理すべき構造物であれば本発明の構造物検査システムＳ等の適用が可能である。

そして、上述の実施例において、検査装置１０を動作させるプログラムは記憶部２１に格納されて提供されていたが、不図示の光学ディスクドライブ等を用いて、プログラムが格納されたＤＶＤ（Digital Versatile Disc）、ＵＳＢ外部記憶装置、メモリーカード等を接続し、このＤＶＤ等からプログラムを検査装置１０に読み込んで動作させてもよい。また、インターネット上のサーバ装置内にプログラムを格納しておき、検査装置１０に通信部を設けてこのプログラムを検査装置１０に読み込んで動作させてもよい。さらに、上述の実施例において、検査装置１０は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作を制御部２０がプログラムの動作により実現することも可能である。

Ｓ構造物検査システム
１０構造物検査装置
１１入力装置
１２表示装置
２０制御部
２１記憶部（記憶装置）
３０表示制御部
３１低解像度化部
３２第一のパラメータ取得部
３３第二のパラメータ取得部
３４第一の特徴点取得部
３５第二の特徴点取得部
３６三次元モデル生成部
３７除外データ特定部
３７ａ手ブレ・合焦判定部
３７ｂパラメータ判定部
３８空領域処理部
３９グループ処理部
４０三次元モデル比較部
５０画像データ
５１低解像度画像データ
５２第一のパラメータ
５３第二のパラメータ
５４第一の特徴点データ
５５第二の特徴点データ

Claims

構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶装置と、構造物検査装置と、この構造物検査装置に入力指示情報を出力する入力装置と、前記構造物検査装置から出力される表示信号に基づいて表示画面を表示する表示装置とを有する構造物検査システムであって、
前記構造物検査装置は、
前記画像データの解像度を低下させた低解像度画像データを生成する低解像度化部と、前記低解像度画像データに基づいて三次元モデルを生成する際に除外すべき前記画像データを特定する除外データ特定部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データに基づいて前記画像データが撮像された際の前記撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データの第一の特徴点データを取得する第一の特徴点取得部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データ、前記第一のパラメータ及び前記第一の特徴点データに基づいて前記構造物の前記三次元モデルを生成する三次元モデル生成部とを有することを特徴とする構造物検査システム。
前記構造物検査装置は、
前記低解像度画像データに基づいて前記画像データが撮像された際の前記撮像装置に関する第二のパラメータを取得する第二のパラメータ取得部と、前記低解像度画像データに基づいて前記画像データの第二の特徴点データを取得する第二の特徴点取得部とを有し、
前記除外データ特定部は前記第二のパラメータ及び前記第二の特徴点データに基づいて前記三次元モデルの生成の際に除外すべき前記画像データを特定することを特徴とする請求項１に記載の構造物検査システム。
前記第一及び第二のパラメータは、前記画像データが撮像された際の前記撮像装置の撮像位置、姿勢及び画角を含むことを特徴とする請求項２に記載の構造物検査システム。
前記除外データ特定部は、前記低解像度画像データあるいは画像データの手ブレ・合焦状態の判定結果に基づいて前記三次元モデルの生成の際に除外すべき前記画像データを特定する手ブレ・合焦判定部と、複数の前記画像データが撮像された際の前記撮像装置の撮像位置及び姿勢のそれぞれが所定距離以内に近接しているか否かに基づいて前記三次元モデルの生成の際に除外すべき前記画像データを特定するパラメータ判定部とを有することを特徴とする請求項３に記載の構造物検査システム。
前記構造物検査装置は、前記低解像度画像データに基づいて、前記画像データ内において空を撮像した領域を特定する空領域処理部を有し、
前記三次元モデル生成部は、前記空領域処理部により特定された前記領域に関するデータを除外して前記構造物の前記三次元モデルを生成することを特徴とする請求項１〜４のいずれかに記載の構造物検査システム。
前記構造物検査装置は、前記入力装置からの選択入力情報に基づいて少なくとも２つの前記画像データを抽出し、これら画像データの前記第一のパラメータに基づいて同一の前記構造物を撮像した前記画像データを特定し、特定された前記画像データを一つのグループとして特定するグループ処理部を有し、
前記三次元モデル生成部は前記グループ処理部により特定されたグループ単位で前記構造物の前記三次元モデルを生成することを特徴とする請求項１〜５のいずれかに記載の構造物検査システム。
前記記憶装置には、複数の日時において前記構造物を前記撮像装置により撮像して得られた複数の前記画像データが格納され、
前記構造物検査装置は、前記複数の日時における前記三次元モデルを共通する座標系において比較した結果を前記表示装置に表示させる三次元モデル比較部を有することを特徴とする請求項１〜６のいずれかに記載の構造物検査システム。
構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶部を有する構造物検査装置であって、
前記画像データの解像度を低下させた低解像度画像データを生成する低解像度化部と、前記低解像度画像データに基づいて三次元モデルを生成する際に除外すべき前記画像データを特定する除外データ特定部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データに基づいて前記画像データが撮像された際の前記撮像装置に関する第一のパラメータを取得する第一のパラメータ取得部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データの第一の特徴点データを取得する第一の特徴点取得部と、前記除外データ特定部により特定された前記画像データを除外した前記画像データ、前記第一のパラメータ及び前記第一の特徴点データに基づいて前記構造物の前記三次元モデルを生成する三次元モデル生成部とを有することを特徴とする構造物検査装置。
構造物を撮像装置により撮像して得られた複数の画像データが格納された記憶部を有する構造物検査装置を用いた構造物検査方法であって、
前記画像データの解像度を低下させた低解像度画像データを生成する工程と、前記低解像度画像データに基づいて三次元モデルを生成する際に除外すべき前記画像データを特定する工程と、前記特定された前記画像データを除外した前記画像データに基づいて前記画像データが撮像された際の前記撮像装置に関する第一のパラメータを取得する工程と、前記特定された前記画像データを除外した前記画像データの第一の特徴点データを取得する工程と、前記特定された前記画像データを除外した前記画像データ、前記第一のパラメータ及び前記第一の特徴点データに基づいて前記構造物の前記三次元モデルを生成する工程とを有することを特徴とする構造物検査方法。