JP2018031588A - 観察装置および観察方法 - Google Patents

Abstract

【課題】被観察位置（被観察点の位置）を高精度に導出する。【解決手段】観察装置１００は、被観察物を撮像して観察画像を取得する第１撮像部１１２と、第１撮像部と一体的に姿勢が変化し、被観察物の三次元形状を示す三次元情報を取得する三次元情報取得部１１６と、被観察物の三次元形状を示す三次元モデルを保持するモデル保持部と、三次元情報と三次元モデルとを比較して第１撮像部が観察している被観察位置を導出する位置導出部と、観察画像に、被観察位置を示す情報を付加する情報付加部と、を備える。【選択図】図１

Description

本発明は、被観察物の観察画像を取得するとともに、被観察点の位置（被観察位置）を特定可能な観察装置および観察方法に関する。

道路や橋梁といった建築物（インフラ）では、老朽化による倒壊や陥没等を防止すべく、所定の期間（例えば５年）が経過すると種々の点検が行われ、老朽化の程度に応じて補修がなされる。例えば、橋梁においては、近接目視の点検が実行され、その結果が点検カルテと呼ばれる帳票に記録される。具体的に、点検カルテには、橋梁の図面の各部位に対応させて損傷の状況や、被観察点の画像（写真）が付される。したがって、各部位の撮像も踏まえ、点検カルテの作成には長時間が費やされる。

特に、橋梁の床版の裏面における橋桁等の点検については、人が直接観察するのが困難な場合があり、人手を介さずに観察するとともに、その被観察位置を正確に特定できる手段が希求される。例えば、特許文献１には、上下方向および側壁方向にレーザを照射し、その到達時間および到達時間差から、上下方向および側壁方向の距離を導出して、空間内部の任意の位置を特定する技術が開示されている。

特開２０１０−７１８１８号公報

しかし、特許文献１の技術は、対象となる壁が平行であり、かつ、左右側壁と直角の関係であることを前提としており、傾斜した対傾構や横構を有する橋梁等の建築物には適用することができない。

なお、橋梁等、建築物が金属で構成されている場合、ＧＰＳ（Global Positioning System）の電波が届きにくく、ＧＰＳ衛星からの信号の到達時間に基づいて被観察位置を特定するのは困難となる。また、橋梁等、端部のみが地表に支持されている建築物では、振動によって不要な加速度や角加速度を拾ってしまったり、計測値がドリフトしてしまうので、アームの順運動を解くことで被観察位置を特定する方法では、特定精度を向上することができない。

このように、被観察位置の特定精度が低いと、損傷部分の面積や周囲との整合が明確にならず、その補修のために再点検を要することとなる。また、被観察位置が明確ではなく、観察状態を再現できないので、異なるタイミングで被観察物の同一部分を特定できず、同一部分の経年劣化を適切に判断することができなかった。

本発明は、このような課題に鑑み、被観察位置を高精度に導出することが可能な、観察装置および観察方法を提供することを目的としている。

上記課題を解決するために、本発明の観察装置は、被観察物を撮像して観察画像を取得する撮像部と、撮像部と一体的に姿勢が変化し、被観察物の三次元形状を示す三次元情報を取得する三次元情報取得部と、被観察物の三次元形状を示す三次元モデルを保持するモデル保持部と、三次元情報と三次元モデルとを比較して撮像部が観察している被観察位置を導出する位置導出部と、観察画像に、被観察位置を示す情報を付加する情報付加部と、を備えることを特徴とする。

三次元情報は、撮像部を基準に左右回転した場合の径方向に対応する三次元形状、および、撮像部を基準に上下回転した場合の径方向に対応する三次元形状を示してもよい。

位置導出部は、撮像部が位置している観察位置も導出し、情報付加部は、観察画像に、観察位置を示す情報も付加してもよい。

位置導出部は、三次元情報取得部が取得した三次元情報を、撮像部と三次元情報取得部との相対位置分だけオフセットさせて、被観察位置を導出してもよい。

三次元情報取得部は、三次元情報に基づいて三次元モデルを生成し、モデル保持部に保持させてもよい。

上記課題を解決するために、本発明の観察方法は、撮像部を通じ、被観察物を撮像して観察画像を取得し、被観察物の三次元形状を示す三次元情報を取得し、三次元情報と三次元モデルとを比較して撮像部が観察している被観察位置を導出し、観察画像に、被観察位置を示す情報を付加することを特徴とする。

本発明によれば、被観察物の観察画像を取得するとともに、被観察位置を高精度に導出することが可能となる。

観察装置の概略的な構成を示した斜視図である。 観察装置の概略的な構成を示した断面図である。 三次元情報取得部の機能を説明するための説明図である。 集計部の概略的な機能を示した機能ブロック図である。 位置導出部の処理を説明するための説明図である。 観察方法の処理の流れを示したフローチャートである。 観察方法の処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（観察装置１００）
図１は、観察装置１００の概略的な構成を示した斜視図であり、図２は、観察装置１００の概略的な構成を示した断面図である。図１、図２に示すように、観察装置１００は、可動機構１１０と、第１撮像部（撮像部）１１２と、第２撮像部１１４と、三次元情報取得部１１６と、伝送部１１８と、集計部１２０とを含んで構成され、建築物等の被観察物を点検するために用いられる。本実施形態では、被観察物として橋梁１を挙げて説明するが、他の様々な建築物に適用できるのは言うまでもない。

被観察物を橋梁１とした場合、観察装置１００は、図２のように、橋梁１における床版１ａの表面（鉛直上方）から垂設され、床版１ａの裏面（鉛直下方）における橋桁１ｂ等を観察する。具体的に、観察装置１００の可動機構１１０は、床版１ａの表面（例えば車道）に配置された移動体（車両）のブーム１１０ａから垂下されているロッド１１０ｂを鉛直方向にスライドさせ、第１撮像部１１２の鉛直位置（鉛直長Ｈ）を調整する。

また、可動機構１１０は、ロッド１１０ｂを、長手方向を中心軸にして回転させ、また、ロッド１１０ｂと垂直に係合するアーム１１０ｃを、ロッド１１０ｂとの係合点から水平方向にスライドさせて、第１撮像部１１２の水平面上の位置（回転角θ、水平長Ｌ）を調整する。

アーム１１０ｃにおけるロッド１１０ｂの反対側の端部には、雲台１１０ｄが配置され、雲台１１０ｄは、第１撮像部１１２を左右方向および上下方向に回転させる。また、第１撮像部１１２よりロッド１１０ｂ側に第２撮像部１１４が固定されている。

また、三次元情報取得部１１６は、第１撮像部１１２と一体的に形成され、第１撮像部１１２が回動すると、それと一体的に（連携して）姿勢が変化する。なお、ここでは、三次元情報取得部１１６が第１撮像部１１２と一体形成される例を挙げているが、かかる場合に限らず、例えば、リンク機構を通じて一体的に姿勢が変化すればよい。かかる第１撮像部１１２、第２撮像部１１４、三次元情報取得部１１６で得られた情報は伝送部１１８を通じて集計部１２０に伝達される。

ここで、第１撮像部１１２および第２撮像部１１４は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成される。そして、第１撮像部１１２は、雲台１１０ｄにより光軸が任意のヨー方向（左右回転した場合の径方向）およびピッチ方向（上下回転した場合の径方向）に回転された状態で、その方向に位置する被観察物を、少なくとも損傷の状況が把握可能な解像度で撮像する。第２撮像部１１４は、第１撮像部１１２およびその周囲を撮像し、第１撮像部１１２が床版１ａの裏面の各部位と衝突するのを防止する。

三次元情報取得部１１６は、例えば、光学式の測距装置で構成され、レーザを照射するとともに照射に対する散乱光を受光し、そのレーザ光を照射してから反射光が戻ってくるまでの時間に基づいてレーザを照射している被観察物の点（以下、三次元点と呼ぶ）までの距離や方向を検出する。

図３は、三次元情報取得部１１６の機能を説明するための説明図である。ここでは、被観察物として複数の面で構成される橋桁１ｂを挙げ、その面に対して三次元情報取得部１１６がレーザを照射する。三次元情報取得部１１６は、２つの測距装置で構成され、一方は、図３に一点鎖線で示したように、第１撮像部１１２を基準として、ヨー方向（左右回転した場合の径方向）に対応する三次元点の距離および方向を検出し、他方は、図３に二点鎖線で示したように、第１撮像部１１２を基準として、ピッチ方向（上下回転した場合の径方向）に対応する三次元点の距離および方向を検出する（ここでは、ロール方向の検出は行わない）。このとき、各測距装置は、左右２７０度または上下２７０度の範囲をスイープし、０．２５度の分解能で三次元点の距離および方向を検出している。

そして、三次元情報取得部１１６は、ヨー方向やピッチ方向の三次元点の距離および方向を収集し、被観察物の三次元形状を示す三次元情報を生成する。なお、三次元情報取得部１１６は、第１撮像部１１２と一体的に姿勢が変化するので、三次元情報取得部１１６が取得した三次元情報は、第１撮像部１１２に対応する三次元情報として置き換えることができる。

伝送部１１８は、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の電子回路で構成され、第１撮像部１１２および第２撮像部１１４が取得した観察画像、ならびに、三次元情報取得部１１６が取得した三次元情報を、所定のフォーマットに当て嵌めてシリアル化し、そのシリアル信号を有線で集計部１２０に送信する。橋梁等、建築物が金属で構成されている場合、無線通信により情報を伝送するのが困難な場合がある。しかし、その伝送路を単純に有線化すると、三次元情報取得部１１６のレーザ光を遮り、正確な三次元情報を得られない場合が生じる。ここでは、情報をシリアル化することにより、集計部１２０への信号の伝送路を確保しつつ、その占有領域を最小化して、レーザ光を遮断するのを極力防止する。

図４は、集計部１２０の概略的な機能を示した機能ブロック図である。集計部１２０は、Ｉ／Ｆ部１３０と、モデル保持部１３２と、制御部１３４とを含んで構成される。

Ｉ／Ｆ部１３０は、伝送部１１８を通じて、可動機構１１０、第１撮像部１１２、第２撮像部１１４、および、三次元情報取得部１１６との双方向の情報交換を行うためのインターフェースである。モデル保持部１３２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、被観察物の三次元形状を示す、例えば、橋梁１の設計時の三次元モデルを保持する。

制御部１３４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、Ｉ／Ｆ部１３０、モデル保持部１３２等を制御する。また、本実施形態において、制御部１３４は、位置導出部１４０、情報付加部１４２、衝突防止部１４４としても機能する。

図５は、位置導出部１４０の処理を説明するための説明図である。ここでは、図５（ａ）に示すような複数の面で構成される橋桁１ｂに対し、三次元情報取得部１１６が、図５（ｂ）に示すような、ヨー方向の三次元点の距離および方向を収集した三次元情報１５０、および、図５（ｃ）に示すような、ピッチ方向の三次元点の距離および方向を収集した三次元情報１５２を取得したとする。

位置導出部１４０は、モデル保持部１３２から、図５（ｄ）に示す三次元モデル１５４を読み出し、図５（ｂ）および図５（ｃ）に示す、三次元情報１５０、１５２と比較し、その三次元情報１５０、１５２が、三次元モデル１５４のどこにあたるかを判定する。

かかる、ヨー方向およびピッチ方向の三次元情報１５０、１５２と、三次元モデル１５４とのマッチングは、例えば、ＩＣＰ（Iterative Closest Points）等のパターンマッチング手法を用いて行う。かかる、ＩＣＰは、三次元情報１５０、１５２に対応する三次元モデル１５４の位置や姿勢を特定するため、それぞれの三次元点間の距離の合計（ノルム）が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。

かかるＩＣＰは、三次元情報１５０、１５２と三次元モデル１５４との三次元点群同士のパターンマッチングを目的としているので、三次元点が重なること等による三次元点の部分的な欠落に強く、ロバスト性に優れている。したがって、伝送路等の障害物によって被観察物（橋桁１ｂ）の表面が見通せない場合においても、的確に被観察物を抽出することができ、比較的高精度に三次元情報１５０、１５２と三次元モデル１５４とを対応付けることが可能となる。

具体的に、三次元情報１５０、１５２と三次元モデル１５４との一致度の評価は、各三次元点に最近接する点を三次元モデル１５４の三次元点群から取り出し、その距離の差分を蓄積して行う。ここで、差分の蓄積方法としては、２乗和（Ｌ１ノルム）をとったり、差の絶対値の和（Ｌ２ノルム）をとることができる。最終的に最も一致度が高くなった姿勢において、三次元情報１５０、１５２の三次元点群と三次元モデル１５４の三次元点群とがパターンマッチングしたとみなす。パターンマッチングの成否には、Ｌ１ノルムやＬ２ノルムの他に、パターンマッチングに寄与した点数などが考慮される。かかる演算処理は、後述するフローチャートにおいて詳細に説明する。

三次元情報１５０、１５２と三次元モデル１５４とが対応付けられると、位置導出部１４０は、その対応付けに基づいて、図５（ｄ）に示すように、第１撮像部１１２が観察している被観察位置１５６（ヨー方向の三次元情報とピッチ方向の三次元情報が交差している点）、および、第１撮像部１１２が位置している観察位置１５８を導出する。

このように被観察位置１５６が適切に導出されることで、損傷部分の面積や周囲との整合が明確になり、再点検を要することなく、被観察位置１５６の補修をすることが可能となる。また、被観察位置１５６が明確なので、異なるタイミングで観察状態を再現し、被観察物の同一部分を特定することができ、同一部分の経年劣化を適切に判断することが可能となる。

また、被観察位置１５６に加え、観察位置１５８が適切に導出されることで、観察位置１５８において被観察位置１５６を観察している第１撮像部１１２の観察姿勢、および、被観察位置１５６までの距離が明確になり、観察姿勢や距離までも再現することが可能となる。

なお、第１撮像部１１２と三次元情報取得部１１６とは、一体的に姿勢が変化するものの、所定の距離分オフセットしている場合、位置導出部１４０は、三次元情報取得部１１６が取得した三次元情報１５０、１５２を、第１撮像部１１２と三次元情報取得部１１６との相対位置分だけオフセットさせて、被観察位置１５６を導出する。かかる構成により、第１撮像部１１２を基準に適切な三次元情報１５０、１５２を得ることができるので、被観察位置１５６や観察位置１５８を正確に特定することが可能となる。

情報付加部１４２は、被観察物を撮像した観察画像に、被観察位置１５６および観察位置１５８を示す情報を付加する。こうして、撮像画像に、被観察位置１５６および観察位置１５８といった観察状況を関連付けることができる。

衝突防止部１４４は、第２撮像部１１４を通じ、第１撮像部１１２と被観察物との距離を判断し、衝突の可能性が高くなると、可動機構１１０の動作を停止する。

以上、説明した観察装置１００により、被観察物の観察画像を取得するとともに、被観察位置１５６および観察位置１５８を高精度に導出することが可能となる。例えば、第１撮像部１１２の位置を１０ｃｍ以内、その姿勢を１０度以内で特定することができる。以下では、そのような観察結果を得るまでの観察方法の流れを説明する。

（観察方法）
図６および図７は、観察方法の処理の流れを示したフローチャートである。まず、集計部１２０は、雲台１１０ｄを制御して、第１撮像部１１２を所望する方向に向ける（Ｓ２００）。そして、第１撮像部１１２は、被観察物を撮像して観察画像を取得する（Ｓ２０２）。

続いて、三次元情報取得部１１６は、被観察物の三次元形状を示す三次元情報を取得し（Ｓ２０４）、第１撮像部１１２が取得した観察画像とともに伝送部１１８を通じて集計部１２０に伝送する（Ｓ２０６）。

集計部１２０では、位置導出部１４０が、伝送された三次元情報と、モデル保持部１３２に保持された三次元モデルとを比較し、ＩＣＰによるパターンマッチングを通じて第１撮像部１１２が観察している被観察位置、および、第１撮像部１１２が位置している観察位置を導出する（Ｓ２０８）。そして、情報付加部１４２は、観察画像に、被観察位置および観察位置を示す情報を付加し（Ｓ２１０）、データを蓄積する。そして、予定している観察画像が全て集計されたか否か判定され（Ｓ２１２）、集計されていなければ（Ｓ２１２におけるＮＯ）、ステップＳ２００からを繰り返し、集計が完了していれば（Ｓ２１２におけるＹＥＳ）、当該観察方法を終了する。

続いて、図７を用い、位置導出部１４０によるＩＣＰの処理の流れを説明する。三次元情報取得部１１６から取得された三次元情報には、三次元点の三次元座標が示されている。三次元点の数は、三次元情報取得部１１６の分解能と、パターンマッチングの要求精度に応じて決定される。

位置導出部１４０におけるＩＣＰエンジンは、三次元モデルの初期姿勢を準備し、それに回転や水平変位などの姿勢変更処理を施す（Ｓ２５０）。このような姿勢変更処理Ｓ２５０は三次元情報に対して施すことも可能であり、三次元モデルに対して施すことも可能である。例えば、三次元点の点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の三次元モデルと三次元情報との間でそれぞれ対応する点（ペアリング）を求め（Ｓ２５２）、対応点間の距離合計（ノルム）を計算する（Ｓ２５４）。かかる計算式は、以下の数式１を用いることができる。

…（数式１）
ただし、ｍ_ｉは三次元モデル、Ｓ_ｉは三次元情報、ｄ（ａ，ｂ）はａとｂとの間の距離を求める関数、ｗは重み付け関数、Ｔは剛体変換である。

このノルムが小さいほうが形状の一致度合いが高いといえる。続いて、一致度合いが高かった姿勢を取り出して評価し（Ｓ２５６）、一致度がＩＣＰにおける閾値以下（ノルムが閾値以上）である間（Ｓ２５８におけるＮＯ）、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える（ノルムが閾値以下になる）まで（Ｓ２５８におけるＹＥＳ）、共役勾配法等を利用して数式１を反復的に更新し、パターンマッチングを遂行する。ノルムの取り方（メトリック）としては、上述したＬ１ノルムやＬ２ノルム等があり、用途に応じて適した取り方を採用する。

こうして導出された位置および姿勢によって実測した三次元情報と、設計時の三次元モデルとの対応付けがなされる。

以上、説明した観察装置や観察方法によれば、被観察位置や観察位置を示す情報を観察画像に自動的に付加することができるので、帳票の作成効率を高めることができ、点検カルテの作成時間の短縮化を図ることができる。

また、被観察位置が適切に導出されることで、損傷部分の面積や周囲との整合が明確になり、再点検を要することなく、被観察位置の補修をすることが可能となる。さらに、被観察位置が明確なので、異なるタイミングで観察状態を再現し、被観察物の同一部分を特定することができ、同一部分の経年劣化を適切に判断することが可能となる。また、被観察位置に加え、観察位置が適切に導出されることで、第１撮像部１１２の観察姿勢および被観察位置１５６までの距離が明確になり、観察姿勢や距離までも再現することが可能となる。

さらに、本実施形態では、被観察位置および観察位置を、被観察物の表面全ての三次元情報を導出することなく、１のヨー方向の三次元情報および１のピッチ方向の三次元情報のみから導出しているので、処理負荷の軽減および処理時間の短縮化を図ることが可能となる。

また、コンピュータを観察装置１００として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、三次元モデルとして、被観察物の設計時のものを用いる例を挙げて説明したが、かかる場合に限らず、三次元情報取得部１１６が、当該点検を行う前に、被観察物表面全ての三次元情報を取得し、その三次元情報に基づいて三次元モデルを生成して、モデル保持部１３２に保持させてもよい。こうすることで、被観察物の設計時のモデルを三次元モデルに適応させる処理が不要となる。

また、上述した実施形態においては、三次元情報取得部１１６が取得した三次元情報に基づいて被観察位置や観察位置を特定しているが、伝送路や、その他の障害物によって、レーザ光が遮断されてしまい、十分な三次元情報を得られない場合がある。この場合、内界センサを用い、ロッド１１０ｂやアーム１１０ｃの順運動を解くことで被観察位置や観察位置を特定し、三次元情報に基づく方法を補完してもよい。例えば、エンコーダを用いてロッド１１０ｂやアーム１１０ｃの回転量やスライド量を計測し、観察位置を導出したり、ジャイロまたは方位計を用いて第１撮像部１１２のヨー方向の回転量を計測し、また、傾斜計を用いて第１撮像部１１２のピッチ方向の回転量を計測して、被観察位置を導出することができる。

また、上述した実施形態においては、位置導出部１４０が、被観察位置と観察位置のいずれも導出する例を挙げているが、かかる場合に限らず、少なくとも被観察位置を導出できればよい。

なお、本明細書の観察方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、被観察物の観察画像を取得するとともに、被観察位置を特定可能な観察装置および観察方法に利用することができる。

１００ 観察装置
１１２ 第１撮像部（撮像部）
１１６ 三次元情報取得部
１２０ 集計部
１３２ モデル保持部
１４０ 位置導出部
１４２ 情報付加部

Claims (6)

1. 被観察物を撮像して観察画像を取得する撮像部と、
   前記撮像部と一体的に姿勢が変化し、前記被観察物の三次元形状を示す三次元情報を取得する三次元情報取得部と、
   前記被観察物の三次元形状を示す三次元モデルを保持するモデル保持部と、
   前記三次元情報と前記三次元モデルとを比較して前記撮像部が観察している被観察位置を導出する位置導出部と、
   前記観察画像に、前記被観察位置を示す情報を付加する情報付加部と、
   を備えることを特徴とする観察装置。
2. 前記三次元情報は、前記撮像部を基準に左右回転した場合の径方向に対応する三次元形状、および、前記撮像部を基準に上下回転した場合の径方向に対応する三次元形状を示すことを特徴とする請求項１に記載の観察装置。
3. 前記位置導出部は、前記撮像部が位置している観察位置も導出し、
   前記情報付加部は、前記観察画像に、前記観察位置を示す情報も付加することを特徴とする請求項１または２に記載の観察装置。
4. 前記位置導出部は、前記三次元情報取得部が取得した三次元情報を、前記撮像部と前記三次元情報取得部との相対位置分だけオフセットさせて、前記被観察位置を導出することを特徴とする請求項１から３のいずれか１項に記載の観察装置。
5. 前記三次元情報取得部は、前記三次元情報に基づいて前記三次元モデルを生成し、前記モデル保持部に保持させることを特徴とする請求項１から４のいずれか１項に記載の観察装置。
6. 撮像部を通じ、被観察物を撮像して観察画像を取得し、
   前記被観察物の三次元形状を示す三次元情報を取得し、
   前記三次元情報と三次元モデルとを比較して前記撮像部が観察している被観察位置を導出し、
   前記観察画像に、前記被観察位置を示す情報を付加することを特徴とする観察方法。

Images