JP2016223935A - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像部により対象物を撮像し、対象物の検出対象の面の状態を検出可能な画像を得る画像処理システムを提供する。
【解決手段】画像処理システム１は、異なる位置から撮像部２２０により撮像される対象物２の面２１には、撮像部の移動に影響されない位置に設けた投光部３１から投光された像による指標４１が描かれており、撮像部により撮像された画像から指標と対象物の面の特徴点５とを抽出する抽出部と、対象物の面に沿って位置を変える撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と対象物の面の特徴点とを基準にして、複数の画像の相対位置を検出する検出部とを備える。
【選択図】図１

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。

画像処理システムを利用して、建物や施設などの構造物（以下、建物等という。）を非破壊で検査することが試みられている。関連する技術に、施設を撮像した画像を基に当該施設の面の状態を取得するものが有る（例えば、特許文献１参照）。特許文献１の技術では、撮像された画像から鉄塔を成す鋼材の面を検出して、検出した面の辺の位置を基準にして面内の劣化箇所の位置を特定している。

特開平１１−１３２９６２号公報

しかしながら、建物等を評価対象にする場合、窓のような構造物が無い壁面や、単調で広範囲の壁面が点検の対象になることがある。このような壁面の画像からその面内の位置を特定可能な構造物等を抽出することは困難である。特許文献１の技術では、撮像された画像に、鉄塔を成す鋼材の面の辺が含まれていることが必要とされるが、建物の壁面の状態を検出するために特許文献１の手法を適用しても、辺から比較的離れた位置の状態を検出することは困難である。

本発明は、このような事情に鑑みてなされたもので、撮像部により対象物を撮像し、当該対象物の検出対象の面の状態を検出可能な画像を得る画像処理システム、画像処理方法及びプログラムを提供することを一つの目的とする。

上述した課題を解決するための本発明の一態様は、異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出する抽出部と、前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出する検出部とを備えることを特徴とする画像処理システムである。

また、上記発明の一態様は、前記抽出された指標と前記対象物の面の特徴点との距離、又は、前記抽出された指標と前記対象物の面の特徴点の大きさに基づいて、前記複数の画像の尺度が合うように一又は複数の画像を調整する補正部を備えることを特徴とする。

また、上記発明の一態様は、少なくとも前記抽出された指標に基づいて、前記画像の歪を補正する補正部を備えることを特徴とする。

また、上記発明の一態様は、前記検出部は、前記複数の指標を前記画像から抽出し、前記抽出した複数の指標に基づいて前記対象物の面に対する前記撮像部の光軸の向きを検出することを特徴とする。

また、上記発明の一態様は、前記補正部は、前記対象物の面に対する前記撮像部の光軸の向きの検出結果に基づいて、前記撮像部が撮像した画像の歪を補正することを特徴とする。

また、本発明の一態様は、異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出部が抽出するステップと、前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出するステップとを含むことを特徴とする画像処理方法である。

また、本発明の一態様は、異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出部が抽出するステップと、前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出するステップとを画像処理システムのコンピュータに実行させるためのプログラムである。

以上説明したように、本発明によれば、撮像部により対象物を撮像し、当該対象物の検出対象の面の状態を検出可能な画像を得る画像処理システム、画像処理方法及びプログラムを提供することができる。

本発明の第１の実施形態における画像処理システムの概略を示す説明図である。 本実施形態における画像処理システム１（１Ａ）の構成図である。 本実施形態の複数の画像の相対位置の調整について示す説明図である。 本実施形態の複数の画像の尺度の調整について示す説明図である。 本実施形態における本実施形態の画像処理システムにおける処理の手順を示すフローチャートである。 第２の実施形態における画像処理システムの概略を示す説明図である。 本実施形態における複数の画像の尺度の調整について示す説明図である。 本実施形態における画像の台形歪の補正について示す説明図である。 本実施形態の画像処理システムにおける処理の手順を示すフローチャートである。 第３の実施形態における画像処理システムの概略を示す説明図である。 上記実施形態に示す画像処理システムの変形例の概略を示す説明図である。

本発明の実施形態における画像処理システムの概要について説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像処理システムの概略を示す説明図である。同図に示す画像処理システム１は一例を例示するものであり、以下の説明において建物２の壁面２１の状況を点検する場合を例に挙げて説明する。なお、本実施形態の画像処理システム１は、建物２の壁面２１の状況を点検する以外の用途に用いることもできる。

本実施形態に示す撮像部２２０は、例えば、飛行体２００に搭載され、飛行体２００の移動により対象物の面に対して所望の位置に移動可能に構成されている。対象物には、建物や施設などの構造物が含まれる。以下、建物２を対象物とする場合を例示して説明する。建物２の壁面（面）２１の近傍には、飛行体２００と異なる位置、例えば、建物２の壁面２１の位置に対し相対的に固定された位置から投光する投光部３１が設けられている。飛行体２００に搭載された撮像部２２０により撮像される建物２の壁面２１（対象物の面）には、飛行体２００の移動に影響されないように設けた投光部３１から投光された像による指標４１が描かれている。

画像処理システム１（画像処理装置１００、抽出部）は、撮像部２２０により撮像された画像から指標４１と建物２の壁面２１（対象物の面）の特徴点５とを抽出する。撮像部２２０は、建物２の壁面２１（対象物の面）に沿って位置を変えて異なる位置から複数の画像を撮像する。画像処理装置１００は、撮像部２２０が撮像した複数の画像を取得する。画像処理装置１００（検出部）は、取得した複数の画像のそれぞれから抽出された指標４１と建物２の壁面２１（対象物の面）の特徴点５とを基準にして、前記複数の画像の相対位置を検出する。

なお、上記の指標は、線（線分を含む）、点、円又は多角形のように面積を有する図形にしてもよい。例えば、投光部３１は、光学式墨だし装置のように鉛直の線を対象物の面に描くものとしてもよい。本実施形態の以下の説明では、指標を線にした場合を例示して説明する。

図２を参照して、本実施形態における画像処理システム１（１Ａ）の構成について説明する。同図は、本実施形態における画像処理システム１（１Ａ）の構成図である。
画像処理システム１（１Ａ）は、画像処理装置１００と飛行体２００を備える。
画像処理装置１００は、取得部１１１、抽出部１１２、検出部１１３、補正部１１４、入出力部１１５、及び記憶部１２０を備える。

なお、画像処理装置１００は、飛行体２００を制御する場合には、飛行制御部１１９を備えて構成するようにしてもよい。例えば、飛行制御部１１９は、飛行体２００に対し、地理座標の２次元の位置を指定して、その位置を基準に鉛直方向に移動するように指令する。なお、地理座標の２次元の位置は、建物２の壁面２１の状態を検出するのに適した位置とする。

記憶部１２０は、撮像部２２０から取得した画像、所得した画像から生成した画像（合成画像）、各処理の過程で生成されるデータなどを記憶する。記憶部１２０は、撮像部２２０から取得した画像に、対象とする建物を識別する識別情報、画像の撮影日時、撮影順を示す画像の識別情報等のデータを関連付けて記憶する。

入出力部１１５は、画像処理装置１００の各処理の実施を指示する操作を受けつけて、画像処理装置１００を構成する各部に対して、前記受け付けた操作に応じて実施させる処理を指令する。入出力部１１５は、撮像部２２０から取得した画像、所得した画像から生成した画像（合成画像）などを備える表示部に表示する。
例えば、画像処理装置１００は、パーソナルコンピュータなどを含めて構成してもよく、その場合の入出力部１１５は、入力部としてキーボード、マウス、タッチパネルなどを備え、出力部として液晶表示パネルなどの表示デバイスを備えるものであってもよい。

画像処理装置１００を構成する各部の説明を続ける。
取得部１１１は、飛行体２００を飛行させて、撮像部２２０により撮像された画像を取得する。取得部１１１が画像を取得する際に利用する媒体等に制限はなく、通信回線を利用する手段、記憶媒体に記憶させて読み込む手段などの手段を適宜選択することができる。なお、取得部１１１が画像を取得する際には、画像を識別する識別情報を撮像順に応じた順に附しておき、当該識別情報により画像を識別するようにしてもよい。取得部１１１は、取得した画像を記憶部１２０に記憶させる。記憶部１２０に記憶させた画像は、以下に説明する各部から参照される。なお、以下の説明において、各部から記憶部１２０を参照する処理についての説明を省略する場合がある。

抽出部１１２は、撮像部２２０により撮像された画像から指標４１と建物２の壁面２１（対象物の面）の特徴点５とを抽出する。上記の概要の説明で示したように、建物２の壁面２１には、飛行体２００と異なる位置に設けた投光部３１から投光された像による指標４１が描かれている。撮像部２２０の光学系は、上記の指標４１が画角に入るように設定されており、所望の状況で撮影されて取得した画像には、上記の指標４１が映り込んでいるものとする。例えば、建物２の壁面２１の特徴点５とは、壁面２１に存在する構造物（ベランダ、庇、梁など）、壁面２１に設けられた窓等の付帯物、壁面２１を保護するタイルや塗装、などの形状や色などが挙げられる。恒久的なものではないが、建物２の壁面２１の特徴点５として、壁面２１の汚れ、劣化や損傷が画像から識別できる部分などを利用してもよい。上記のとおり、建物２の壁面２１の特徴点５を、建物２の壁面２１内の特徴を示す点としてもよい。

検出部１１３は、撮像部２２０が撮像して得た複数の画像のそれぞれから抽出された指標４１と建物２の壁面２１（対象物の面）の特徴点５とを基準にして、前記複数の画像の相対位置を検出する。撮像部２２０が撮像して得た複数の画像は、建物２の壁面２１（対象物の面）に沿って飛行体２００が移動して、前記移動した位置から撮像部２２０が撮像して得たものである。なお、検出部１１３は、画像に含まれている複数の指標を前記画像から抽出し、前記抽出した複数の指標４１に基づいて建物２の壁面２１（対象物の面）に対する撮像部２２０の光軸の向きを検出するようにしてもよい。

補正部１１４は、取得した画像に対する補正処理を実施する。補正部１１４は、補正した画像を組み合わせて合成画像を生成してもよい。補正処理の詳細は後述する。

（指標（線）と対象物の面の特徴点とを用いる複数の画像の相対位置の調整について）
図３を参照して、本実施形態の複数の画像の相対位置の調整について説明する。
同図は、本実施形態の複数の画像の相対位置の調整について示す説明図である。

前述の図１に示したように、壁面２１に指標４１が描かれている。壁面２１を撮像部２２０が異なる位置から撮影した際に、その画角に収まる範囲を符号６１１と符号６１２で示す。符号６１１と符号６１２とで示される範囲には互いに重なる領域がある。少なくとも上記の重なる領域に特徴点５がある。また、符号６１１と符号６１２とで示される範囲に、指標４１が描かれた部分がそれぞれ含まれる。
図３（ａ）は、符号６１１で示された範囲を撮像して得られた画像Ｐ６１１を示す。図３（ｂ）は、符号６１２で示された範囲を撮像して得られた画像Ｐ６１２を示す。図３（ａ）と図３（ｂ）に示す画像には、対象物の面（建物２の壁面２１）にある共通する特徴点が映っている。図３（ｃ）は、上記の複数の画像から生成される合成画像Ｐ６３１を示す。

補正部１１４は、指標４１（線）と対象物の面（建物２の壁面２１）の特徴点とを用いて、複数の画像（画像Ｐ６１１と画像Ｐ６１２）の相対位置を調整する。例えば、補正部１１４は、複数の画像（画像Ｐ６１１と画像Ｐ６１２）の相対位置を調整して、図３（ｃ）に示す合成画像Ｐ６３１を生成する。相対位置を調整は、画像Ｐ６１１と画像Ｐ６１２から抽出した指標４１と特徴点５とに基づいて、それぞれが重なるように画像の尺度の調整、回転歪の調整などを必要に応じて実施して、上記の各画像の相対位置を調整する。画像処理システム１では、上記のように互いの画像に指標４１が含まれていることにより、指標４１が示す位置と方向を基準にして調整することにより、調整の実施を容易にしている。

（複数の画像の尺度の調整について）
次に、上記の図３と図４とを参照して、本実施形態の複数の画像の尺度の調整について説明する。図４は、本実施形態の複数の画像の尺度の調整について示す説明図である。
図４（ａ）と図４（ｂ）と図４（ｃ）は、前述の図３（ａ）と図３（ｂ）と図３（ｃ）とにそれぞれ対応するものであるが、図４（ａ）に示す画像Ｐ６１１と図４（ｂ）に示す画像Ｐ６１２Ａは互いの尺度が異なっている。図４（ｂ）に、図４（ａ）に示す画像Ｐ６１１と同じ尺度の画像として所得していた画像の範囲、例えば図３（ｂ）に示した画像Ｐ６１２の範囲を点線です。

ここで、補正部１１４は、各画像から抽出された指標４１と特徴点５との距離ｄ１に基づいて、前記複数の画像（画像Ｐ６１１と画像Ｐ６１２Ａ）の尺度が合うように、画像Ｐ６１１又は／及び画像Ｐ６１２Ａの画像の尺度を調整する。
或いは、補正部１１４は、各画像から抽出された指標４１と特徴点５の大きさＷ１に基づいて、前記複数の画像（画像Ｐ６１１と画像Ｐ６１２Ａ）の尺度が合うように、画像Ｐ６１１又は／及び画像Ｐ６１２Ａの画像の尺度を調整する。
補正部１１４は、上記に示す方法で、例えば画像Ｐ６１２Ａの尺度を調整して、画像Ｐ６１３Ａを生成する。

（画像の回転歪の補正について）
上記の図３を参照して、画像の回転歪の補正について説明する。
図３（ａ）に示す画像Ｐ６１１と図３（ｂ）に示す画像Ｐ６１２において、それぞれの画像における指標４１の延伸方向が異なっている。壁面２１が平面であれば、指標４１は直線になるように壁面２１上に描かれる。撮像部２２０が壁面２１に沿って、指標４１の延伸方向に移動して、移動により定められる異なる位置から撮像した画像を合成する場合であれば、上記の指標４１の延伸方向を揃えるようにそれぞれの画像の相対角度を調整するとよい。
上記のように、補正部１１４は、少なくとも前記抽出された指標に基づいて、前記画像の歪（回転歪）を補正する。

図５を参照して、本実施形態の画像処理システムにおける処理について説明する。同図は、本実施形態の画像処理システムにおける処理の手順を示すフローチャートである。

まず、取得部１１１は、撮像部２２０が撮像した画像を取得する（ステップＳ１１）。抽出部１１２は、撮像部２２０により撮像された画像から指標を抽出し（ステップＳ１２）、更に特徴点を抽出する（ステップＳ１３）。

検出部１１３は、複数の画像の尺度が不揃いか否かを判定する（ステップＳ１４）。ステップＳ１４における判定により、複数の画像の尺度が不揃いではないと判定した場合（ステップＳ１４：Ｎｏ）、ステップＳ１７に進む。一方、ステップＳ１４における判定により、複数の画像の尺度が不揃いであると判定した場合（ステップＳ１４：Ｎｏ）、補正部１１４は、複数の画像の尺度を調整する（ステップＳ１５）。

上記ステップＳ１４における判定の後、又は、ステップＳ１５の処理を終えた後、補正部１１４は、複数の画像の相対位置を検出する（ステップＳ１７）。補正部１１４は、検出した相対位置に基づいて複数の画像の位置を調整して、調整した画像から新たな画像Ｐ６１３（合成画像）を生成する（ステップＳ１８）。

以上に示したように、本実施形態の画像処理システム１は、撮像部２２０により建物２（対象物）を撮像し、当該建物２（対象物）の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

なお、上記の説明では、説明を簡素化するために、撮像部２２０の光軸を壁面２１に対して略直交する場合を例示した。画像処理システム１は、飛行体２００の飛行状況を示す情報、撮像部２２０の光軸の方向を示す情報等を収集し、収集したそれぞれの情報を基に上記の画像を調整する処理を実施してもよく、或いは、上記の処理と分けた処理にして、それぞれの処理を組み合わせて実施するようにしてもよい。例えば、画像処理システム１は、飛行体２００の飛行状況を示す情報、撮像部２２０の光軸の方向を示す情報等を収集し、それぞれの情報を基に上記の画像を調整する処理を実施する。この場合、上記の画像を調整する処理では、飛行体２００に搭載されたジャイロや加速度センサなどの情報を用いて飛行体２００の飛行状況を特定し、特定した状況から撮像部２２０の光軸の方向を特定する。特定した結果の飛行体２００の飛行状況（位置）や撮像部２２０の光軸の方向に基づいた空間座標系を用いた演算を通して、上記の画像を補正する処理を実施することができる。このような処理を実施することにより、台形歪が生じた画像も補正することができる。

＜第２の実施形態＞
図６から図９を参照して、第２の実施形態について説明する。
図６は、第２の実施形態における画像処理システムの概略を示す説明図である。同図に示す構成は、画像処理システム１Ａを適用した一例を示すものであり、前述の画像処理システム１に相当する。前述の画像処理システム１と異なる点を中心に説明する。

建物２の壁面（面）２１の近傍には、飛行体２００と異なる位置、例えば、建物２の壁面２１の位置に対し相対的に固定された位置から投光する投光部３１と投光部３２が設けられている。

飛行体２００に搭載された撮像部２２０により、異なる位置から撮像される建物２の壁面２１（対象物の面）には、飛行体２００の移動に影響されないように設けた投光部３１から投光された像による指標４１が描かれ、同様に飛行体２００の移動に影響されないように設けた投光部３２から投光された像による指標４２が描かれている。
画像処理システム１Ａ（画像処理装置１００Ａ、抽出部）は、撮像部２２０により撮像された画像から指標４１と指標４２と建物２の壁面２１（対象物の面）の特徴点５とを抽出する。
撮像部２２０は、建物２の壁面２１（対象物の面）に沿って位置を変えて異なる位置から複数の画像を撮像する。画像処理装置１００Ａは、撮像部２２０が撮像した複数の画像を取得する。画像処理装置１００Ａ（検出部）は、取得した複数の画像のそれぞれから抽出された指標４１と建物２の壁面２１（対象物の面）の特徴点５とを基準にして、前記複数の画像の相対位置を検出する。
なお、上記の指標は、線（線分を含む）、点、円又は多角形のように面積を有する図形にしてもよい。例えば、投光部３１と投光部３２のそれぞれは、光学式墨だし装置のように鉛直の線を対象物の面に描くものとしてもよい。また、投光部３１と投光部３２がそれぞれ異なる特徴を有する指標を投光することにより、１つの画像内に複数の指標が含まれていたとしても、何れの投光部が投稿したものかを特定することが容易になる。さらに、３つ以上の指標が１つの画像に含まれる場合には、それぞれが異なるようにするほかに、壁面２１に沿って複数の投光部を並べた順に周期性を持って繰り返すように構成してもよい。
或いは、３つ以上の指標（線）が１つの画像に含まれる場合に、壁面２１に沿って複数の投光部を並べた順において、奇数番目の線と偶数番目の線で、線の特徴を変えるようにしてもよい。例えば、線の特徴には、線の色、明るさ、線種（実線、破線、一点鎖線など）、形（二重線、太さ、波線など）等のうちの何れか、又は、複数を組み合わせたものが挙げられる。本実施形態の以下の説明では、指標を同一の特徴を有する線にした場合を例示して説明する。

（指標（線）と対象物の面の特徴点とを用いる複数の画像の相対位置の調整について）
前述の図３と図６とを参照して、本実施形態の複数の画像の相対位置の調整について説明する。

前述の図６に示したように、壁面２１に指標４１と指標４２とが描かれている。壁面２１を撮像部２２０が異なる位置から撮影した際に、その画角に収まる範囲を符号６２１と符号６２２で示す。符号６２１と符号６２２とで示される範囲には互いに重なる領域がある。少なくとも上記の重なる領域に特徴点５がある。また、符号６２１と符号６２２とで示される範囲に、指標４１と指標４２とが描かれた部分がそれぞれ含まれる。

本実施形態では、複数の画像の相対位置の調整に先立って、後述する方法で画像の尺度の調整を実施する。また、この段階で、後述する方法で画像の台形歪の補正処理を必要に応じて実施してもよい。先に尺度の調整等を行った上で、尺度の調整等を実施した後の画像から、特徴点５を抽出する。
その後、前述の図３に示した処理と同様の処理により、複数の画像の相対位置を調整する。なお、複数の画像の相対位置を調整では、指標４１と指標４２の少なくとも何れかを用いることができる。
画像処理システム１Ａでは、上記のように互いの画像に指標４１と指標４２とが含まれていることにより、指標４１又は指標４２の何れかが示す位置と方向を基準にして調整することにより、調整の実施を容易にしている。

（複数の画像の尺度の調整について）
次に、図７を参照して、本実施形態の複数の画像の尺度の調整について説明する。同図は、本実施形態の複数の画像の尺度の調整について示す説明図である。
図７（ａ）は、符号６２１で示された範囲を撮像して得られた画像Ｐ６２１を示す。図７（ｂ）は、図７（ａ）を撮影した位置より壁面２１に近い位置から同様に撮像して得られた画像Ｐ６２１Ｎを示す。図７（ｃ）は、図７（ａ）を撮影した位置より壁面２１から遠い位置から同様に撮像して得られた画像Ｐ６２１Ｆを示す。
図７（ａ）と図７（ｂ）と図７（ｃ）とに示す画像には、指標４１と指標４２とが描かれた部分がそれぞれ含まれる。

補正部１１４は、指標４１（線）と指標４２（線）とを用いて、各画像の尺度が一律になるように、各画像の尺度を調整する。例えば、補正部１１４は、複数の画像における指標４１（線）と指標４２（線）の間隔が一律になるように各画像の拡大又は縮小する処理をする。例えば、上記の画像Ｐ６２１Ｎ（図７（ｂ））のように指標４１（線）と指標４２（線）の間隔が比較的広い画像であれば、画像Ｐ６２１のような指標４１（線）と指標４２（線）の間隔（基準間隔）になるように調整する。一方、上記の画像Ｐ６２１Ｆ（図７（ｃ））のように指標４１（線）と指標４２（線）の間隔が比較的狭い画像であれば、画像Ｐ６２１のような指標４１（線）と指標４２（線）の間隔（基準間隔）になるように調整する。上記の拡大又は縮小の処理により、指標４１（線）と指標４２（線）の間隔を、基準として定めた所望の間隔（基準間隔）に揃った画像が得られる。上記の処理により、画像処理装置１００は、複数の画像の尺度を補正することができる。

（撮像部の光軸の向きに応じて生じる画像の台形歪の補正について）
図８を参照して、本実施形態における画像の台形歪の補正について説明する。
同図は、本実施形態における画像の台形歪の補正について示す説明図である。
撮像部２２０の光軸の方向が壁面２１の法線方向に一致するとは限らない。また、複数の指標（指標４１又は指標４２）が壁面２１上に所望の間隔で描かれている。それゆえ、撮像部２２０の光軸と線状に描かれた指標とがねじれの位置にあれば、撮像部２２０の光軸に俯角又は迎角が生じると、得られた画像における指標が斜めの線として描かれる。
また、撮像部２２０自体が光軸周りに回転すると、得られた画像も回転したものとなり、上記のように得られた画像における指標が斜めの線として描かれる。後者の場合は、例えば指標が上下方向になるように補正することで、回転により生じた歪を解消できる。

前者の場合、撮像部２２０により撮像された画像が、図８（ａ）と図８（ｂ）とに示すように２つの指標（指標４１と指標４２）と画像の上辺ＴＬと下辺ＢＬとで囲まれる図形（４角形）になる。図８（ａ）は、撮像部２２０の光軸に俯角が生じた場合に取得された画像Ｐ６２１Ｌを示す。図８（ｂ）は、撮像部２２０の光軸に俯角が生じた場合に取得された画像Ｐ６２１Ｕを示す。補正部１１４は、上記の図形を台形として扱い、その台形を長方形に補正するように画面全体を補正する。上記の処理により、画像処理装置１００は、撮像部２２０の光軸の向きに応じて生じる画像の台形歪を補正することができる。

図９を参照して、本実施形態の画像処理システムにおける処理について説明する。同図は、本実施形態の画像処理システムにおける処理の手順を示すフローチャートである。

まず、取得部１１１は、撮像部２２０が撮像した画像を取得する（ステップＳ２１）。抽出部１１２は、撮像部２２０により撮像された画像から指標を抽出する（ステップＳ２２）。

検出部１１３は、複数の画像の尺度が不揃いか否かを判定する（ステップＳ２４）。ステップＳ２４における判定により、複数の画像の尺度が不揃いではないと判定した場合（ステップＳ２４：Ｎｏ）、ステップＳ２６に進む。一方、ステップＳ２４における判定により、複数の画像の尺度が不揃いであると判定した場合（ステップＳ２４：Ｎｏ）、補正部１１４は、複数の画像の尺度を調整する（ステップＳ２５）。

上記ステップＳ２４における判定の後、又は、ステップＳ２５の処理を終えた後、抽出部１１２は、撮像部２２０により撮像された画像から特徴点を抽出する（ステップＳ２６）。

補正部１１４は、複数の画像の相対位置を検出する（ステップＳ２７）。補正部１１４は、検出した相対位置に基づいて複数の画像の位置を調整して、調整した画像から新たな画像Ｐ６１３（合成画像）を生成する（ステップＳ２８）。

以上に示したように、本実施形態の画像処理システム１は、撮像部２２０により建物２（対象物）を撮像し、当該建物２（対象物）の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

このように、複数の指標を用いる画像処理システム１Ａは、前述の画像処理システム１の処理と異なる手順で上記の処理を実施するものであるが、画像処理システム１の処理と同様に、撮像部２２０により建物２（対象物）を撮像し、当該建物２（対象物）の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

＜第３の実施形態＞
図１０を参照して、第３の実施形態について説明する。同図は、第３の実施形態における画像処理システムの概略を示す説明図である。同図に示す構成は、画像処理システム１Ｂを適用した一例を示すものであり、前述の画像処理システム１と画像処理システム１Ａに相当する。前述の画像処理システム１と画像処理システム１Ａと異なる点を中心に説明する。

建物２の壁面２１の位置に対し相対的に固定された位置から投光する投光部３１Ａが設けられている。飛行体２００に搭載された撮像部２２０により、異なる位置から撮像される建物２の壁面２１（対象物の面）には、飛行体２００の移動に影響されないように設けた投光部３１Ａから投光された像による指標４３と指標４４とが描かれている。
上記のとおり、本実施形態の１つの投光部３１Ａから投稿された像は、壁面２１（面）において複数に分離するように描かれている。それらの像を指標４３と指標４４とする。
例えば、投光部３１Ａは、指標４３から指標４４をみなす方向を鉛直方向にするように投光する。
撮像部２２０は、上記の複数の指標を画角に含むように撮像する。
本実施形態の場合、撮像部２２０により撮像された画像には第１の実施形態等に示したような線状の指標を得ることはない。ただし、撮像された画像における指標４３と指標４４の像の位置から鉛直方向を読み取ることができる。このように、指標の特徴が上記の実施形態の構成と異なるものとして構成された場合であっても、画像処理システム１Ｂは、前述の画像処理システム１（１Ａ）と同様に、撮像部２２０により建物２（対象物）を撮像し、当該建物２（対象物）の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

＜第１から第３の実施形態の変形例＞
図１１を参照して、上記の第１から第３の実施形態の変形例としての画像処理システムについて説明する。同図は、画像処理システム１の変形例の概略を示す説明図である。本変形例は、本発明の第１から第３の実施形態に示した構成と異なり、飛行体２００を構成に含まずに構成する。例えば、同図に示すように、建物２の近傍に、建物の高さが建物２と同等又は建物２より高く、複数階からなる建物７が立っているものとする。
上記のように構成された建物２であれば、撮像部２２０は、建物７の各階又は一部の階から建物２の壁面２１を撮像することができる。撮像部２２０は、飛行体２００に依らずに建物２の高さ方向に移動して、建物２の壁面２１の画像を撮影する。また、建物７の同一階で当該階を水平方向に移動可能であれば、撮像部２２０は、建物７の同一階を水平方向に移動して画像を取得してもよい。
以上の変形例は、第１の実施形態の変形例として適用することに限られず、第２の実施形態と第３の実施形態の変形例として適用することができる。

以上に示したように、上記変形例の画像処理システムは、撮像部２２０により建物２（対象物）を撮像し、当該建物２（対象物）の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

以上、本発明の実施形態について説明したが、画像処理システム１は、内部にコンピュータシステムを有している。そして、上述した処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。また、ここでいう「コンピュータシステム」とは、ＯＳ等も含むものとする。

そして、画像処理システム１における画像処理装置１００、飛行体２００、撮像部２２０における各処理の全部又は一部の処理は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工、演算処理を実行することにより、実現されるものである。勿論、画像処理システム１を構成する各処理部は専用のハードウェアにより実現されるものであってもよい。

以上、本発明の実施の形態について説明したが、本発明の画像処理システムは、上述の図示例にのみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

（１）なお、本実施形態に示す画像処理システム１において、異なる位置から撮像部により撮像される対象物の面（壁面２１）には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれている。抽出部１１２が、撮像部２２０により撮像された画像から指標４１と前記対象物の面（壁面２１）の特徴点５とを抽出する。検出部１１３が、対象物の面（壁面２１）に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出する。
これにより、画像処理システム１は、撮像部２２０により対象物を撮像し、当該対象物の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

（２）また、上記の画像処理システム１によれば、補正部１１４は、前記抽出された指標（指標４１）と前記対象物の面（壁面２１）の特徴点５との距離ｄ１、又は、前記抽出された指標（指標４１）と前記対象物の面（壁面２１）の特徴点５の大きさＷ１に基づいて、前記複数の画像の尺度が合うように一又は複数の画像を調整する。
これにより、画像処理システム１は、撮像部２２０により対象物を撮像し、撮像された画像の尺度を調整して、当該対象物の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

（３）また、上記の画像処理システム１によれば、補正部１１４は、少なくとも前記抽出された指標に基づいて、前記画像の歪を補正する。
これにより、画像処理システム１は、撮像部２２０により対象物を撮像し、撮像された画像の歪が補正されて、当該対象物の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

（４）また、上記の画像処理システム１によれば、検出部１１３は、前記複数の指標（指標４１と指標４２、又は、指標４３と指標４４）を前記画像から抽出し、前記抽出した複数の指標に基づいて前記対象物の面（壁面２１）に対する撮像部２２０の光軸の向きを検出する。

（５）また、上記の画像処理システム１によれば、補正部１１４は、前記対象物の面（壁面２１）に対する撮像部２２０の光軸の向きの検出結果に基づいて、撮像部２２０が撮像した画像の歪を補正する。
これにより、画像処理システム１は、撮像部２２０により対象物を撮像し、撮像された画像の歪を補正して、当該対象物の検出対象の壁面２１（面）の状態を検出可能な画像（合成画像）を得ることができる。

１ 画像処理システム、２ 建物（対象物）、２１ 壁面（面）、７ 建物、
３１、３２ 投光部、４１、４２ 指標、５ 特徴点、
１００ 画像処理装置、１１１ 取得部、１１２ 抽出部、１１３ 検出部、１１４ 補正部、１１５ 入出力部、１２０ 記憶部、
２００ 飛行体、２２０ 撮像部、
６１１、６１２ 画角、
Ｐ６１１、Ｐ６１２、Ｐ６１２Ａ、Ｐ６１２Ｆ、Ｐ６１２Ｌ、Ｐ６１２Ｎ、Ｐ６１２Ｕ、Ｐ６１３、Ｐ６１３Ａ 画像

Claims (7)

1. 異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出する抽出部と、
   前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出する検出部と
   を備えることを特徴とする画像処理システム。
2. 前記抽出された指標と前記対象物の面の特徴点との距離、又は、前記抽出された指標と前記対象物の面の特徴点の大きさに基づいて、前記複数の画像の尺度が合うように一又は複数の画像を調整する補正部
   を備えることを特徴とする請求項１に記載の画像処理システム。
3. 少なくとも前記抽出された指標に基づいて、前記画像の歪を補正する補正部
   を備えることを特徴とする請求項１に記載の画像処理システム。
4. 前記検出部は、
   前記複数の指標を前記画像から抽出し、前記抽出した複数の指標に基づいて前記対象物の面に対する前記撮像部の光軸の向きを検出する
   ことを特徴とする請求項２又は請求項３に記載の画像処理システム。
5. 前記補正部は、
   前記対象物の面に対する前記撮像部の光軸の向きの検出結果に基づいて、前記撮像部が撮像した画像の歪を補正する
   ことを特徴とする請求項４に記載の画像処理システム。
6. 異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出部が抽出するステップと、
   前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出するステップと
   を含むことを特徴とする画像処理方法。
7. 異なる位置から撮像部により撮像される対象物の面には、前記撮像部の移動に影響されない位置に設けた投光部から投光された像による指標が描かれており、前記撮像部により撮像された画像から前記指標と前記対象物の面の特徴点とを抽出部が抽出するステップと、
   前記対象物の面に沿って位置を変える前記撮像部が前記異なる位置から撮像して得た複数の画像のそれぞれから前記抽出された指標と前記対象物の面の特徴点とを基準にして、前記複数の画像の相対位置を検出するステップと
   を画像処理システムのコンピュータに実行させるためのプログラム。

Images