JP2019144191A - 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 簡単、迅速、正確かつ低コストにて、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムを提供すること。【解決手段】本発明は、カメラ１１と４個のレーザーポインタＬｐ１〜Ｌｐ４とそれらを一体的に保持する固定手段１２とからなる撮影装置１０と、データ処理装置２０とを備え、レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の画像データ中における座標位置を抽出する照射点抽出処理と、カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理と、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、複数枚の正面画像データを再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、を行う橋梁などの構造物を検査するための画像処理システム１、画像処理方法及びプログラムである。【選択図】図１

Description

本発明は、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムに関するものであって、特に橋梁についてのひび割れの有無や損傷についての点検作業を簡単、迅速、正確かつ低コストにて実施するのに適した橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムに関するものである。

従来、特に小規模の橋梁のコンクリート製の壁面などについての点検を行う際には、現場における目視にてひび割れの寸法をクラックスケールなどにて直接実測し、チョークによるマーキングを行うとともに、スケッチと写真にてその位置と大きさを記録する方法が一般的に行われているが、かかる作業には多くの時間と労力を要し、非常に効率が悪いものとなっている。
また、国内に存在し定期的にひび割れの有無や損傷についての点検が必要な橋梁の大多数を占めるものは、長さが２ｍ〜１５ｍ程度のものであり、桁下が数ｍ〜１０ｍ程度のものが多く、正面から撮影した複数の画像を取得するには、足場を組んで撮影位置を移動しながら撮影する必要があり、そのような作業は困難である。
なお、橋梁のコンクリート壁面に幅０．２ｍｍのひび割れが生じると、その深さは１０ｃｍ程度あることが予測され、内部の鉄筋に腐食が発生するおそれがある。
従って、正面画像から幅０．１ｍｍ程度のひび割れの存在とその位置を検出するには、構造物の詳細画像を取得する必要がある。

長さが２ｍ〜１５ｍ程度の小さな橋梁についてドローンを用いることは、木の枝などの障害物を避ける必要があるなど、高度な操縦テクニックを必要としたり、高価な装置が必要になるという問題がある。
従来、構造物を検査するために、移動体を用いて複数枚の画像データを取得し、それらを統合する方法が提案されているが（特許文献１〜４）、それらの方法には以下のような問題がある。
・小さな橋梁の下には通常通路が無く、移動体を適切に移動させることは困難である。
・統合する複数個の画像データは、構造物を正面から撮影したものでなければならない。・隣接する画像データに重複する部分が必要となっている。

また、上記従来の技術においては、小さな橋梁といったアクセスしにくい現場に存在する構造物について、微細なひび割れの存在と位置を特定できる簡易な画像処理システムを提供できるものではないという問題がある。

特開２０１２−１８０７３号公報 特開２００９−８５７８５号公報 特開２００４−３７４４０号公報 特開２０１２−１７７５６９号公報

本発明が解決しようとする課題は、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムにおいて、微細なひび割れの存在と位置を簡単、迅速、正確かつ低コストにて特定できる画像処理システム、画像処理方法及びプログラムを提供することである。
そして、本発明の目的は、アクセスしにくい現場に存在する構造物についても撮影作業を行い易く、かつ、得られた画像データを正確かつ迅速に処理できる橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムを提供することにある。

本発明の他の目的は、構造物を正面から撮影していない画像からも正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、隣接する画像データに重複する部分がなくても、複数の画像を統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、システムにおける誤差を修正できる高精度な画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、個々の画像に部分的に不鮮明な部分があっても、正確に正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。

（１）本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」を最も主要な特徴とするものである。

（２）本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」であっても良い。

（３）本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸を中心とする対角線上にて拡開するように配置して固定することができるものである撮影装置と、
Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
Ｂ１）前記撮影装置によって構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」であっても良い。

（４）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記データ処理装置は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタによる４個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる４個の照射点の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであっても良い。

（５）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラにより撮影された画像の画素分解能（１ピクセルあたりの実サイズ）は、０．１ｍｍ／ピクセル〜０．３ｍｍ／ピクセルの範囲内であると良い。
（６）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラにより撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物までの距離に応じて、前記カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能であるものであっても良い。

（７）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記レーザーポインタによる４個の照射点は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、前記データ処理装置は、前記位置姿勢推定処理において、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと４個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものであっても良い。
（８）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記データ処理装置は、前記画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものであっても良い。
（９）本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラは、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、前記位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものであっても良い。

（１０）さらに、本発明は、「請求項５に記載の画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
ａ）カメラと４個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
ｂ）前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
ｃ）前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出するステップと、
ｄ）前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
ｅ）前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
からなる構造物を検査するための画像処理方法。」である。

（１１）本発明の構造物を検査するための画像処理方法において、前記データ処理装置による位置姿勢推定処理は、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと４個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むものであっても良い。
（１２）本発明の構造物を検査するための画像処理方法において、撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むものであると良い。
（１３）さらに、本発明は、「請求項１０に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム。」である。

（１４）また、本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
Ａ）カメラと、３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記３個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の範囲内に照射されるように、３個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである撮影装置と、
Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる３個の照射点の画像データ中での座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる３個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる３個の照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」である。

（１）上記のように構成した本発明は、各レーザーポインタによるレーザー光とカメラの光軸とが固定された撮影装置を用いているため、レーザーポインタによる各照射点の座標位置と、撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中におけるレーザーポインタによる各照射点の座標位置との相対的な関係から、カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。この場合、３個の照射点についての相対的な関係を用いることで、前記距離データ及び傾きデータを算出することができるため、１個の照射点が不鮮明であっても画像処理を行うことができる。
さらに、前記位置姿勢推定処理において、予め対象との位置関係が特定された状態で撮影した画像データ中におけるレーザーポインタによる各照射点の座標位置を用いているため、撮影装置におけるカメラとレーザーポインタの実際の配置状況を正確に把握でき、カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを正確に算出することができる。
また、レーザーポインタによるレーザー光が、カメラによって撮影される画像の４隅付近に照射されることで、画像データ中の撮影範囲が適切なものであることを簡単に確認でき、個々の撮影作業を迅速に行うことができるばかりか、撮影以後の画像処理作業を迅速かつ適切に進めることができる。
さらに、複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合しているため、隣接する画像データに重複する部分がなくても、複数の画像を統合することができる。
本発明は、定位置から撮影することによって得られた複数枚の画像データから構造物の広範囲の正面画像を構築することができるため、撮影装置を移動させながら撮影する作業が必須のものでは無く、アクセスしにくい現場に存在する構造物についての検査を簡単、迅速、正確かつ低コストにて行うことができる。

（２）本発明の画像処理システムにおける位置姿勢推定処理において、撮影装置におけるカメラとレーザーポインタの配置位置データを用いる場合においては、簡単かつ迅速にカメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。
（３）本発明の画像処理システムにおける撮影装置において、４個のレーザーポインタをカメラの光軸を中心とする対角線上にて拡開するように配置して固定するようにした場合には、撮影装置を小型化することができ、機動性を高めることができる。
（４）本発明の画像処理システムの位置姿勢推定処理において、４個の照射点の座標位置の内から選択される異なる３点の２以上の組み合わせから、距離データ及び傾きデータを算出する場合には、それらのデータの精度を高め、画像処理の結果の信頼性を高めることができる。

（５）本発明の画像処理システムにおいて、カメラにより撮影された画像の画素分解能（１ピクセルあたりの実サイズ）が、０．１ｍｍ／ピクセル〜０．３ｍｍ／ピクセルの範囲内である場合には、橋梁などのコンクリート壁面に生じている補修又は監視が必要な微細なひび割れの存在とその位置を検出することができる。
（６）本発明の画像処理システムにおいて、カメラにより撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物までの距離に応じて、カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能である場合には、検査対象となるひび割れや剥離などの大きさに応じて適切な撮影装置を構成することができ、画像処理システムのコストを削減したり、作業効率を高めることができる。
（７）本発明の画像処理システムにおいて、レーザーポインタによる４個の照射点が、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものである場合には、撮影範囲を正確かつ容易に決定することができ、撮影をスムーズに行うことができる。そして、画像処理における効率と正確性を高めることができる。
さらに、データ処理装置が、位置姿勢推定処理において、撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、カメラとレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものである場合には、構造物のより一層正確な正面画像を得ることができる。

（８）本発明の画像処理システムにおいて、データ処理装置が、画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものである場合には、検査作業を容易にすることができ、補修の要否の決定や以後の監視を簡単に行うことができる。
（９）本発明の画像処理システムにおいて、カメラが、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものである場合には、アクセスしにくい場所にある構造物の撮影作業であっても簡単に行うことができ、検査作業を極めて効率的に行うことができる。

（１０）本発明の請求項５に記載の画像処理システムを用いた構造物を検査するための画像処理方法においては、構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を簡単、迅速、正確かつ低コストにて確認することができる。
（１１）本発明の構造物を検査するための画像処理方法において、データ処理装置による位置姿勢推定処理が、撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、カメラとレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むものである場合には、構造物のより一層正確な正面画像を得ることができる。

（１２）本発明の構造物を検査するための画像処理方法において、撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むものである場合には、定位置から多くの画像データを得ることができ、かつ、それらの画像を処理することで構造物の正確な正面画像を得ることができる。
（１３）本発明のプログラムは、請求項１０に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置によって実行可能であり、検査コストの削減、作業の効率化、画像処理システムのコンパクト化などを図ることができる。
（１４）本発明の画像処理システムにおいて、カメラと、３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置を用いる場合には、撮影装置を必要最小限なものとすることで簡素化及び小型化することができ、画像処理システムのコストを低減したり、撮影作業を容易にすることができる。

なお、橋梁などの構造物を検査するという目的のためには、本発明の画像処理システム、画像処理方法及びプログラムにおいて、ひび割れや損傷などの位置を厳密に特定する必要は無いため、撮影装置によって構造物を撮影する「定位置」とは、三脚によって撮影装置を支える場合に限らず、手持ちによって撮影する場合を含む。
即ち、本発明の画像処理システム、画像処理方法及びプログラムは、橋梁などの構造物を検査する際において、極めて扱い易く使い易いものとなっている。

図１は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの一実施形態の概要を示す斜視図及び撮影装置によって橋梁を撮影する様子を示す平面図である。 図２は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの撮影装置を示す正面図及び撮影装置によって得られる画像データの様子を示す図である。 図３は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの撮影装置によって橋梁を撮影する様子を示す側面図である。 図４は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの他の実施形態を示す斜視図である。 図５は本発明を具体化した橋梁などの構造物を検査するための画像処理システムによって得られる構造物の広範囲の正面画像を示す平面図である。 図６は本発明を具体化した橋梁などの構造物を検査するための画像処理システムによってカメラの位置姿勢推定処理を行う際の計算処理を説明するための図である。 図７は本発明を具体化した橋梁などの構造物を検査するための画像処理方法の手順を示すフローチャートである。 図８は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、適切な撮影位置を選定してから撮影を行う手順を示すフローチャートである。 図９は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、信頼性を高めた位置姿勢推定処理の手順を示すフローチャートである。 図１０は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、レーザーポインタが３個である場合の手順を示すフローチャートである。 図１１は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、得られる画像の解像度について説明するための図である。

本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
Ａ）カメラと、３個以上のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム」である。

さらに、本発明は、「上記のような画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
ａ）カメラと４個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
ｂ）前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
ｃ）前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出するステップと、
ｄ）前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
ｅ）前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
からなる構造物を検査するための画像処理方法」である。
また、本発明は、「上記のような構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム」である。
そして、本発明は、以下において説明する実施形態などによって好適に具体化することができるものである。

なお、本発明において、「正面画像」とは、構造物の鉛直方向の壁面については、水平方向から見た画像であり、構造物の水平方向の底面、天井面については、直下から見た画像であり、構造物の水平方向の床面、上面については、真上から見た画像である。

以下、本発明を具体化した橋梁などの構造物を検査するための画像処理システム１の一実施形態について説明する。
図１及び図２に示すように、本発明の一実施形態の橋梁などの構造物２を検査するための画像処理システム１は、撮影装置１０とデータ処理装置２０とから構成される。
そして、当該撮影装置１０は、１個のカメラ１１と、４個のレーザーポインタＬｐ１〜Ｌｐ４と、それらを一体的に保持することができる固定手段１２と、から構成されている。

前記カメラ１１は、画素数が１千万〜４千万程度のデジタルカメラを好適に用いることができるが、構造物２の検査に必要な画像解像度が低くても良い場合、又は、構造物２が小さくて接近した場所から複数枚の画像データを得られる場合には、数百万ピクセル程度の画像解像度を得られるデジタルカメラ又は携帯電話であっても良い。
前記カメラ１１としては、当該カメラ１１により撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物２までの距離に応じて、前記カメラ１１の有効画素数、光学ズーム倍率といったカメラ１１のスペックを選択可能である。
また、前記カメラ１１は、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、後述する位置姿勢推定処理によって得られた構造物２との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラ１１のズーム機構とシャッターを遠隔制御できるものであっても良い。
さらに、カメラ１１としては、動画を撮影できる機能を有するデジタルカメラ、携帯電話、又は、図４に示すようなビデオカメラ１１ａであっても良い。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。

前記固定手段１２は、前記４個のレーザーポインタＬｐ１〜Ｌｐ４によるレーザー光が、前記カメラ１１によって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタＬｐ１〜Ｌｐ４を前記カメラ１１の光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである。
この固定手段１２は、合成樹脂、軽金属又は木材などの剛性材料から構成することができ、前記カメラ１１の光軸と各レーザーポインタＬｐ１〜Ｌｐ４の光軸との位置関係が常時狂うことがないようにそれらを保持できれば良く、その形状は、長方形、正方形の他、他の四角形、Ｘ字形、円形、多角形、三角形、Ｖ字形、Ａ字形などの枠状のもの又は板状のものなど、適宜選択可能である。
また、撮影装置１０によって定位置から複数枚の画像データを得るために、固定手段１２に三脚１３を装着してカメラ１１による撮影を行っても良い。

本発明において、各レーザーポインタＬｐ１〜Ｌｐ４は、数メートル〜２０メートル程度離れた対象物までレーザー光を照射できる１ｍＷ程度のものを好適に使用でき、視認性に優れた緑色のものが好ましい。
また、各レーザーポインタＬｐ１〜Ｌｐ４による照射点Ｐ１〜Ｐ４の輝点形状は、真円で中心から正規分布に従うような輝度分布が好ましい。
なお、輝点の直径は、一例として、４ｍ離れたところで４ｍｍ程度のものを用いることができる。

前記データ処理装置２０としては、カメラ１１によって構造物２を撮影することによって得られた画像データを記録メディアを介して、あるいは、無線又は有線にて読み込むことができるノート型パソコン２１を好適に使用することができる。

次に、前記データ処理装置２０について説明する。
前記データ処理装置２０は、
Ｂ１）前記撮影装置１０によって定位置から構造物２を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の画像データ中における座標位置を抽出する照射点抽出処理と、
Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点の座標位置との相対的な関係から、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理と、
Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物２の正面画像データに変換する正面画像取得処理と、
Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物２の広範囲の正面画像（図５参照）を構築する画像統合処理と、
を行うことができるものである。

前記データ処理装置２０は、位置姿勢推定処理において、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の座標位置と、前記撮影装置１０におけるカメラ１１とレーザーポインタＬｐ１〜Ｌｐ４の配置位置データとから、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理を行うものであっても良い。
ここで、前記データ処理装置２０による位置姿勢推定処理は、前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の内の３個の照射点の座標位置が特定できれば、前記カメラ１１から構造物２までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。
従って、照射点Ｐ１〜Ｐ４の内の何れか１個が不鮮明で判別困難であっても、以後の画像処理を行うことができる。

さらに、前記データ処理装置２０は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ４による４個の照射点Ｐ１〜Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１〜Ｌｐ４による４個の照射点Ｐ１〜Ｐ４の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであっても良い。

また、本発明の好適な実施形態において、前記レーザーポインタＬｐ１〜Ｌｐ４による４個の照射点Ｐ１〜Ｐ４は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、前記データ処理装置２０は、前記位置姿勢推定処理において、前記撮影装置１０を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１と４個のレーザーポインタＬｐ１〜Ｌｐ４の光軸のズレを検出することで、構造物２の画像データ中における照射点Ｐ１〜Ｐ４の座標位置を補正することができるものであると良い。

さらに、本発明の好適な実施形態において、前記データ処理装置２０は、前記画像統合処理によって得られた構造物２の広範囲の正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷の計測処理を行うことができるものである。
かかる計測処理は、カメラ１１と対象物との距離データ及びカメラ１１の傾きデータ、並びに、画像データの解像度から、各画像データ中における損傷の座標位置（各照射点Ｐ１〜Ｐ４同士の距離）を特定できるため、可能となる。

次に、上記にて説明した本発明の「橋梁などの構造物を検査するための画像処理システム１」を用いて橋梁などの構造物２を検査するための画像処理方法について説明する。
本発明の橋梁などの構造物２を検査するための画像処理方法は、好適には、前記カメラ１１により撮影された画像の画素分解能（１ピクセルあたりの実サイズ）が、０．１ｍｍ／ピクセル〜０．３ｍｍ／ピクセルの範囲内である画像処理システム１を用いて構造物２の広範囲の正面画像から構造物２に生じている微細なひび割れ５の存在とその位置を確認することができる構造物２を検査するための画像処理方法であって、図７に示すように、以下のステップＳ１〜Ｓ６から構成されている。

カメラ１１と４個のレーザーポインタＬｐ１〜Ｌｐ４を有する撮影装置によって、構造物２から離れた定位置から構造物２の複数枚の画像データを取得するステップＳ１（撮影）。
前記データ処理装置２０による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の画像データ中での座標位置を抽出するステップＳ２（照射点抽出処理）。
前記データ処理装置２０による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１〜Ｌｐ４による各照射点Ｐ１〜Ｐ４の座標位置との相対的な関係又は前記撮影装置におけるカメラ１１とレーザーポインタＬｐ１〜Ｌｐ４の配置位置データとから、前記カメラ１１から構造物２までの距離データ及びカメラの３次元方向での傾きデータを算出するステップＳ３（位置姿勢推定処理）。

前記データ処理装置２０による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物２の正面画像データに変換するステップＳ４（正面画像取得処理）。この処理は、画像の歪みと大きさを補正する処理である。
前記データ処理装置２０による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物２の広範囲の正面画像を構築するステップＳ５（画像統合処理）。
前記画像統合処理によって得られた構造物２の広範囲の正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷の計測処理を行うステップＳ６（ひび割れ計測処理）。

なお、本発明の構造物を検査するための画像処理方法において、前記データ処理装置による位置姿勢推定処理は、前記撮影装置１０を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１と４個のレーザーポインタＬｐ１〜Ｌｐ４の光軸のズレを検出するステップＳ０（キャリブレーション）をさらに含むものであっても良い。これにより、構造物２の画像データ中における照射点Ｐ１〜Ｐ４の座標位置を補正することができる。
さらに、本発明の構造物を検査するための画像処理方法は、撮影のステップＳ１の前に、撮影位置から撮影される構造物２の範囲が、カメラ１１の光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物２から離れた定位置を選定するステップＳ１−０をさらに含むものであると良い（図８参照）。
なお、本発明の構造物を検査するための画像処理方法において、カメラ１１による撮影位置は、１箇所に限られるものではなく、構造物２が水平方向又は上下方向に長い場合には、複数箇所から複数枚の撮影を行い、その際の移動距離を元に、又は、画像データ中の特徴点を照合することで、構造物２の広範囲の正面画像を構築することもできる。

また、本発明の構造物を検査するための画像処理方法は、前記位置姿勢推定処理のステップＳ３において、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ４による４個の照射点Ｐ１〜Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１〜Ｌｐ４による４個の照射点Ｐ１〜Ｐ４の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるステップＳ３−１を採用しても良い（図９参照）。

次に、データ処理装置２０による位置姿勢推定処理の具体的手順（計算処理理論）について以下、説明する。
図６に示すように、構造物２をカメラ１１で撮影した画像データ（撮影画像）は、基準状態で撮影された画像からＸ軸（水平方向）及びＹ軸（上下方向）において回転しており、Ｚ軸（前後方向）において移動していると考えられる。
そこで、
ｉ）基準状態での輝点座標と回転・移動後の輝点座標の関係より、

ｉｉ）回転と移動による距離変化により、

上記ｉ）とｉｉ）より、距離に関する方程式

が成り立つので、以下のパラメータが既知であれば、方程式を解くことができる。

の「輝点座標のペア（組み合わせ）が３点以上」
「各レーザーポインタの傾き」：

「基準状態での撮影装置と壁面との距離」：Ｚ
「撮影時の焦点距離」：

ここで、本件発明の橋梁などの構造物２を検査するための画像処理システム１の一実施例について説明する（図２参照）。
＜点検対象の構造物と損傷の程度＞
橋梁のコンクリート壁面３における０．１ｍｍ以上の幅を有するひび割れを検出する検査のための画像処理を行う場合
＜使用するカメラ＞
ＳＯＮＹ社製のデジタルカメラ：Ｃｙｂｅｒ−ｓｈｏｔ ＤＳＣ−ＲＸ１０Ｍ４
解像度 ：５４７２ ｘ ３６４８
光学ズーム倍率：２５倍まで
＜画像スペック＞
画像分解能 ：０．２ｍｍ／ｐｉｘ
最大撮影可能範囲：１．１ｍ ｘ ０．７ｍ
最大撮影可能距離：０．７３ｍ（２５倍ズーム利用なら１８．２５ｍ）
＜レーザーポインタ＞
水平方向６０ｃｍ、上下方向４５ｃｍの長方形の頂点に配置
カメラはその長方形の中心位置に光軸が配置されるようにして固定
（この配置が、位置姿勢推定処理において利用される配置位置データとなる。）
＜撮影枚数＞
画像の統合を容易にするために、３割重ねながら撮影する場合
（壁面の幅／０．８）ｘ（壁面の高さ／０．５）枚

本発明において、照射点抽出処理、位置姿勢推定処理、正面画像取得処理、画像統合処理、ひび割れ計測処理を行う「データ処理装置２０」は、ＰＣ（コンピュータ）の他、タブレット、携帯電話（スマートフォン）などであってもよく、本発明のプログラムは、それらのデータ処理装置２０において動作し、本発明の画像処理方法（本明細書中において説明した各ステップにおけるデータ処理）をそれらのデータ処理装置において実行することができるものである。
ここで、照射点抽出処理、正面画像取得処理、ひび割れ計測処理の個々の処理については、従来公知の画像処理方法及びプログラムを用いて当業者において容易に理解でき、かつ、処理できるものであり、詳細な説明は省略する。

本発明は、橋梁の他、堤防、ダム、道路、トンネル、建物、橋脚などの柱状物、その他の構造物２の壁面３、床面、底面４、天井面上面などを検査するための画像処理システムとして使用することができるものであり、鉛直又は水平な平面の検査に限定されるものではなく、傾斜した平面についての画像データについても正面画像として再配置して統合することができる、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムである。

本発明は、本発明の趣旨を逸脱しない範囲で画像処理システム１に使用する撮影装置１０の各部の形状、寸法、角度、設置位置、大きさなどを適宜変更して実施しても良い。
一例として、本発明の構造物を検査するための画像処理システム１は、カメラ１１と、４個のレーザーポインタＬｐ１〜Ｌｐ４と、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタＬｐ１〜Ｌｐ４によるレーザー光が、前記カメラ１１によって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタＬｐ１〜Ｌｐ４を前記カメラ１１の光軸を中心とする対角線上にて「拡開する」ように配置して固定することができるものであっても良い。
ここで、「拡開する」とは、レーザーポインタＬｐ１〜Ｌｐ４による各レーザー光が、カメラ１１の光軸に対して一定の角度を以て広がっていくことである。
この実施形態においては、撮影装置を小型化することが可能となる。

さらに、本発明の図４に示す実施形態においては、カメラとしてのビデオカメラ１１ａと、３個のレーザーポインタＬｐ１〜Ｌｐ３を保持する固定手段（図示略）を備えた撮影装置１０を用いている。
この実施形態において、当該撮影装置１０を構成する固定手段は、前記３個のレーザーポインタＬｐ１〜Ｌｐ３によるレーザー光が、前記カメラ１１ａによって撮影される画像の範囲内に照射されるように、３個のレーザーポインタＬｐ１〜Ｌｐ３を前記カメラ１１ａの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである。
そして、３個のレーザーポインタＬｐ１〜Ｌｐ３の配置は、好適実施形態として、水平方向に沿った底辺を有する正三角形の頂点上であると良い。
この実施形態の場合、本発明の構造物を検査するための画像処理方法の一実施形態は、図１０に示すように、以下のステップＳ１０〜Ｓ１６から構成される。

撮影装置１０を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１ａと３個のレーザーポインタＬｐ１〜Ｌｐ３の光軸のズレを検出するステップＳ１０（キャリブレーション）。
これにより、構造物２の画像データ中における照射点Ｐ１〜Ｐ３の座標位置を補正することができる。
前記カメラ１１ａと３個のレーザーポインタＬｐ１〜Ｌｐ３を有する撮影装置１０によって、構造物２から離れた定位置から構造物２の複数枚の画像データを取得するステップＳ１１（撮影）。
前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタＬｐ１〜Ｌｐ３による各照射点Ｐ１〜Ｐ３の画像データ中での座標位置を抽出するステップＳ１２（照射点抽出処理）。

前記データ処理装置２０による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１〜Ｌｐ３による各照射点Ｐ１〜Ｐ３の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１〜Ｌｐ３による各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラ１１ａとレーザーポインタＬｐ１〜Ｌｐ３の配置位置データとから、前記カメラ１１ａから構造物２までの距離データ及びカメラ１１ａの３次元方向での傾きデータを算出するステップＳ１３（位置姿勢推定処理）。
前記データ処理装置２０による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物２の正面画像データに変換するステップＳ１４（正面画像取得処理）。
前記データ処理装置２０による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物２の広範囲の正面画像を構築するステップＳ１５（画像統合処理）。
前記画像統合処理によって得られた構造物２の広範囲の正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷の計測処理を行うステップＳ１６（ひび割れ計測処理）。

本発明の上記実施形態の構造物を検査するための画像処理方法においては、レーザーポインタＬｐ１〜Ｌｐ３を３個のみ有する撮影装置１０を用いているため、小型化及び軽量化することができ、システムの構築コストを低減することができる。
また、カメラとしてビデオカメラ１１ａを用いている場合には、撮影作業を迅速かつスムーズに行うことができる。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。

また、本発明の画像処理方法においては、カメラ１１のズーム機能を使用することで、得られる構造物２の平面画像の解像度を簡単に変更することができる。
さらに、部分的に解像度を上げるには、ズーム倍率を高め、照射点Ｐ１〜Ｐ４の位置を撮影範囲の４隅になるべく接近させれば良い。
逆に撮影効率を高め、解像度を低下させても良い場合には、ズーム倍率を低めて構造物２の広範囲を撮影するようにすれば良く、この場合、照射点Ｐ１〜Ｐ４は、撮影範囲の４隅付近において、中央部寄りの位置に配置されることになる（図１１参照）。

さらに、本発明は、画像処理システム１のカメラ１１，１１ａとして携帯電話又はタブレット（ＰＣ）を使用し、データ処理装置２０としても当該携帯電話又はタブレット（ＰＣ）を使用することで、撮影装置１０によってデータ処理装置２０を兼用することもできる。
その場合、本発明の橋梁などの構造物を検査するための画像処理システムを小型・軽量化でき、画像処理作業もスムーズに行うことができる。
また、本発明の画像処理システムに通信機能を持たせることができるため、遠隔地にある現場で得られたデータを無線通信にて速やかに事業所などの大きなモニタやＰＣの在る場所へ転送することもできる。

本発明は、信頼性及び操作性に優れ、撮影作業、画像解析作業などといった構造物の検査に要する作業及び処理を安価にて簡素化、迅速化、効率化することができる、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムとして産業上好適に利用可能である。

１ 画像処理システム
２ 構造物
３ 壁面
４ 底面
５ ひび割れ
１０ 撮影装置
１１ カメラ
１１ａ ビデオカメラ（カメラ）
１２ 固定手段
１３ 三脚
２０ データ処理装置
２１ ノート型パソコン（データ処理装置）
２２ 携帯電話（データ処理装置）
Ｌｐ１〜Ｌｐ４ レーザーポインタ
Ｐ１〜Ｐ４ 照射点

Claims (14)

1. 橋梁などの構造物を検査するための画像処理システムであって、
   Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
   Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
   当該データ処理装置は、
   Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
   Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
   Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
   Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
   を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
2. 橋梁などの構造物を検査するための画像処理システムであって、
   Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
   Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
   当該データ処理装置は、
   Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
   Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
   Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
   Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
   を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
3. 橋梁などの構造物を検査するための画像処理システムであって、
   Ａ）カメラと、４個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタを前記カメラの光軸を中心とする対角線上にて拡開するように配置して固定することができるものである撮影装置と、
   Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
   当該データ処理装置は、
   Ｂ１）前記撮影装置によって構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
   Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
   Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
   Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
   を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
4. 前記データ処理装置は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタによる４個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる４個の照射点の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであることを特徴とする請求項１〜３の何れか一項に記載の構造物を検査するための画像処理システム。
5. 前記カメラにより撮影された画像の画素分解能（１ピクセルあたりの実サイズ）は、０．１ｍｍ／ピクセル〜０．３ｍｍ／ピクセルの範囲内であることを特徴とする請求項１〜４の何れか一項に記載の構造物を検査するための画像処理システム。
6. 前記カメラにより撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物までの距離に応じて、前記カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能であることを特徴とする請求項１〜５の何れか一項に記載の構造物を検査するための画像処理システム。
7. 前記レーザーポインタによる４個の照射点は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、
   前記データ処理装置は、前記位置姿勢推定処理において、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと４個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものであることを特徴とする請求項１〜６の何れか一項に記載の構造物を検査するための画像処理システム。
8. 前記データ処理装置は、前記画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものであることを特徴とする請求項１〜７の何れか一項に記載の構造物を検査するための画像処理システム。
9. 前記カメラは、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、前記位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものであることを特徴とする請求項１〜８の何れか一項に記載の構造物の詳細画像を取得するための画像処理システム。
10. 請求項５に記載の画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
    ａ）カメラと４個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
    ｂ）前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
    ｃ）前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出するステップと、
    ｄ）前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
    ｅ）前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
    からなることを特徴とする構造物を検査するための画像処理方法。
11. 前記データ処理装置による位置姿勢推定処理は、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと４個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むことを特徴とする請求項１０に記載の構造物を検査するための画像処理方法。
12. 撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むことを特徴とする請求項１０又は１１に記載の構造物を検査するための画像処理方法。
13. 請求項１０に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム。
14. 橋梁などの構造物を検査するための画像処理システムであって、
    Ａ）カメラと、３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記３個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の範囲内に照射されるように、３個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである撮影装置と、
    Ｂ）当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
    当該データ処理装置は、
    Ｂ１）前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる３個の照射点の画像データ中での座標位置を抽出する照射点抽出処理と、
    Ｂ２）前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる３個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる３個の照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データから、前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出する位置姿勢推定処理と、
    Ｂ３）前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
    Ｂ４）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
    を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。

Images