JP2007240506A

JP2007240506A - ３次元形状と３次元地形計測法

Info

Publication number: JP2007240506A
Application number: JP2006100105A
Authority: JP
Inventors: Giyourin Cho; 暁林張; Kazutoshi Matsuzaki; 和敏松崎; Yoshihiko Kato; 芳彦加藤
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2007-09-20

Abstract

【課題】ヘリコプタなどの移動物体が異なる地点で撮影した基線長の長い画像を利用可能にするための撮像手段の運動制御法を提供し、その画像を用いた３次元形状または３次元地形測定法を提供する。
【解決手段】本発明の３次元地形計測法では、ヘリコプタなどの移動物体に装着し、被測定対象を撮影した画像情報を出力する撮像手段と、該撮像手段の撮像領域内にある点の距離を測定する装置と、該撮像手段を２自由度以上回転運動させるアクチュエータと、撮像手段の姿勢を測定する回転角センサと、移動物体の姿勢を測定するセンサを具備する測定装置を用いる。この装置を用いて、上記移動物体が移動しながら撮像手段の視線が被測定対象のある点を注視し続け、この点までの距離を測定する。その後，注視し始めるときの画像と、移動物体が所定の距離を移動した時点の画像と、注視点の３次元座標と、該撮像手段の姿勢情報を用いて画像上の各点の３次元座標を算出する。
【選択図】図２

Description

本発明は大型建築物の形状測定または３次元地形の計測法に関し、特に、ヘリコプタなどの移動物体に対し姿勢制御のできる撮像手段を用いて被計測対象のある特徴点を注視し続けることによって、二つの撮像手段の撮像素子間の距離（以下，基線長）の長い複数画像を得ると同時に、効率よく３次元画像を得る技術に関する。

これまでの地形計測は、広範囲を行う場合には衛星や航空機に搭載したカメラを用いて行い、三角測量法で立体地形情報を得る手法がある。

比較的小さい範囲の測定に対してはヘリコプタに搭載した複数のカメラからの同期画像を用いることで、立体地形を行う手法もある。

一方、ヘリコプタに搭載した同期カメラによる立体計測は、基線長が短いので、計測精度が低く、これまでは、地面でレーザなどの位置測定装置を用いてヘリコプタの地面に対する位置を測定する手法を用いられている。

衛星または航空機は安定した飛行ができるので、その上に搭載したカメラからの画像は地上の立体情報の作成には適している。しかし、衛星または航空機から撮影した画像を用いた地形測定はその地面までの距離が長いために、計測範囲が広いという利点があるが、測定精度が低いという欠点もある。

しかし、低空飛行可能なヘリコプタを用いる場合、ヘリコプタの飛行の不安定性から、異なる場所で撮影した画像の撮影地点のカメラの位置を定められず、地面に固定した測量装置の協力なしでは、これまでの技術では、異なる場所で撮影した画像を用いた立体計測は困難である。

また、ヘリコプタ機体に固定した複数カメラの同期画像を用いて立体計測する手法が現在最もよく使われる手法であるが、この手法の最大の問題点は短い基線長による測定精度の低さである。すなわち、ヘリコプタ上で二つカメラを固定する場合、カメラ間距離を長く設置することは物理的に困難である。

さらに、これまでの立体計測に用いる画像はほとんど移動物体の機体に固定したカメラから撮れたものであるため、それぞれの撮像領域が重ならない部分があり、この部分は立体情報の生成するための画像処理に困難をもたらすのみならず、立体情報取得の効率も悪くなる。特に、両撮像地点の距離が離れすぎると、撮像領域が完全に重ならない恐れもあり、望遠レンズを用いた基線長の長い画像を利用できない場合がある。

本発明は、斯かる実情に鑑み、ヘリコプタなどの移動物体が異なる時点で撮影した画像を利用可能にするために、ヘリコプタの運動を補償するためのカメラ視線の安定化、撮影地点の位置をヘリコプタ自身が搭載する装置を用いて測定するなどの手法を提供しようとするものである。
また、カメラの視線を安定化するために、ヘリコプタ自身の高周波数振動を補償する手法を提供しようとするものである。
さらに、基線長の長い画像でも効率よく利用可能にしようとするものである。
最終的に、これらの画像を用いた３次元形状または３次元地形測定法を提供しようとするものである。

上述した本発明の目的を達成するために、本発明の３次元地形計測法では、ヘリコプタなどの移動物体の上に装着し、被測定対象を撮影した画像情報を出力する少なくとも１つの撮像手段と、該撮像手段の撮像領域内のある点の距離を測定する装置と、該撮像手段を２自由度以上回転運動させるアクチュエータと、撮像手段の回転角を測定する回転角センサと、移動物体の姿勢を測定するセンサと、を具備する測定装置を用いて測定する。

上記移動物体が移動しながら前記撮像手段を用いて被測定対象のある点を注視し続ける過程と
上記移動物体の姿勢を測定する過程と
上記撮像手段が注視している点の距離を距離測定装置で計測する過程と
上記撮像手段の回転角と測定した注視点の距離によって三角測量法で注視点の移動物体に対する３次元座標を算出する過程と
上記注視点を注視し始めるときの画像と、注視し始めてから上記移動物体が所定の距離を移動したときの画像と、注視点の３次元座標と、移動物体の姿勢情報と、を用いて三角測量法で画像上の各特徴部位の３次元座標集合を算出する過程と
を具備することを特徴とする被測定対象の形状や３次元地形を測定する方法を用いる。

ここで、被測定対象のある点を注視し始めてから上記移動物体が所定の距離を移動したときまでに撮像手段が撮り続けた一連の画像の各特徴点を追跡し続けることによって、任意２画像の対応点を検出し、被測定対象の形状や３次元地形を測定すればよい。

上記被測定対象の形状や３次元地形を測定するために、撮像手段が注視し続ける点の距離を測定する装置として、レーザ距離測定計を用いればよい。

また、上記被測定対象の形状や３次元地形を測定するための撮像手段が注視し続ける点の距離を測定する装置は輻輳開散運動のできる二つのズーム機能付き撮像手段を用いて、当該両撮像手段が上記注視点を注視し、各撮像手段の回転角を用いて、三角測量法で距離を測定する手法を用いてもよい。

さらに、異なる地点で撮影する撮像手段の位置と姿勢を測定するためにＧＰＳを用いてもよい。

移動物体の姿勢を測定する装置はジャイロセンサを用いればよい。

また、移動物体の３自由度姿勢を測定する装置は水平度または垂直度を測定するセンサを用いて２自由度をはかり、重力方向の軸廻りの回転角は各撮像手段の画像から得る手法を用いてもよい。

さらに、移動物体の３自由度姿勢を測定する装置は上記撮像手段と距離測定装置を複数用いて、被測定対象上の少なくとも３つの点を測定することによって移動物体の３自由度姿勢を算出してもよい。

勿論、移動物体の３自由度姿勢を測定する装置は上記各種の手法の組合せによって、最良な精度と測定速度を得るという方法を使ってもよい。

ここで、前記各撮像手段からの画像及び各センサの情報を処理した結果を用いて、前記運動物体を能動的に制御することによって、最適な位置と姿勢で画像を撮りこむという手法も使ってよい。

また、前記撮像手段はズーム機能を有し、該ズーム機能を用いることによって測量精度を向上する手法を使ってもよい。

さらに、前記撮像手段はズーム機能を有し、該ズーム機能を用いることによって計測対象の画像上の大きさを一定に保つことによって、３次元立体認識処理を行いやすくする方法を使ってもよい。

ここで、撮像手段の視線を安定化するために、移動物体自身の一定周期範囲の高周波数振動を補償する手法として、移動物体の振動周波数を吸収できる材料またはバネおよびダンパを用いたものを、撮像手段の姿勢を制御する装置の基盤の下に装着することによって移動物体の振動を画像計測装置から遮断および軽減する手法を使ってもよい

また、移動物体自身の比較的に低い周波数の揺れを補償する手法として、移動物体に装着したジャイロや加速度センサの信号を用いて撮像手段の視線を移動物体の揺れの反対方向に運動させることによって撮像手段の視線を安定させることを特徴とする被測定対象の形状や３次元地形を測定する方法。

ここで、撮像手段の視線を視野の中のある特徴点を注視し続けるための手法として、撮像手段からの画像を用いて、リアルタイムで視線が注視点までの偏差を検出し、姿勢制御システムにフィードバックする制御を行ってもよい。

本発明は衛星や航空からの映像より高精度小範囲の３次元地形測定システムを開発することによって、機動性のよいヘリコプタや車などを用いて、任意の場所に３次元地形や町並みを撮影できると言う利点がある。また、本発明によってこれまでのヘリコプタの機体に複数同期カメラを装着する立体地形計測法と比べ、基線長の問題を解決でき、より精度のよい立体画像を得ることができる。さらに、撮像手段を３自由度運動制御可能であるので、ヘリコプタや車などの移動物体自身の振動や揺れを補償可能になるため、移動物体の運転の安定性などの要求が低くなり、悪天候などでの測定も可能になる。
一枚の立体図を作るために、撮像手段は一点を注視し続けるので、従来のような視線を平行にして撮影した画像と異なり，両画像が重ならない部分がなく、基線長の長い画像でも利用効率がよくなるので、より速く立体画像を形成できる。また、一枚の立体画像を作るのに連続撮影した画像を利用でき、対応点検出などの画像処理速度を向上でき、誤認識率を減らすことができる。さらに、ズームレンズを利用して、対象物の画像が常に一定の大きさに保持することができるので、画像処理が更に行いやすくなり、立体画像の質と生成速度をさらに向上できる。

提案するシステムは図１に示すようなヘリコプタに取り付ける構造になっており、最下部には下記カメラセットを装着している。すなわち、セットの両端に位置する２つの望遠ズームレンズ付カメラ（望遠カメラ）はそれぞれ装着しているモータによって輻輳開散運動を可能にしており、その間に広角ズームレンズ付カメラ（広角カメラ）を取り付けた。
このカメラセットは３つのモータによって３自由度の制御が可能であり、その基盤には水平センサが設置されている。距離測定は２台の輻輳運動可能なズームカメラを用い、３次元立体地形作成広角ズームレンズカメラを用いる。

まず、広角レンズカメラからの画像から一つ特徴点を選び、次にこの特徴点を画像の中心に来るように３自由度姿勢制御装置を制御する。両望遠レンズカメラの光軸の中心線が広角レンズカメラの光軸と重ねるように設計しているため、このとき、注視点が自然に望遠レンズの視野に入る。さらに、注視点が望遠カメラの画像の中心に来るように姿勢制御装置を微調整する。それ以後、望遠レンズカメラと広角レンズカメラからの連続画像を利用して、視線のズレを検出し、視覚フィードバック制御よりカメラ視線を注視点に注視し続け、安定した画像を得られる。

ヘリコプタのローターの回転などのような振動のある移動物体のカメラ視線を安定化させるためには二つ手法を用いることができる。その一つ目は、移動物体の振動周波数を吸収できる材料を用いて、３自由度姿勢制御装置の基盤の下に装着することによって移動物体の振動をカメラシステムから遮断および軽減する。

もう一つの手法は移動物体に装着するジャイロや加速度センサの信号を用いてカメラを移動物体の揺れの反対方向に運動させることによってカメラ視線を安定させることができる。この手法は本発明者が他の発明で開発しているため、その詳細の原理はここで説明しないことにする。

提案するシステムの特徴の一つは望遠カメラと広角カメラの併用である。輻輳運動可能な望遠カメラは地面の特徴点を注視し続け、その特徴点の位置を測定する。広角カメラは飛行中に画像を取り込み続けるが、基本的にある程度離れた２点の位置で撮った画像を立体地形計測の計算に用いる。この２点の中間で撮った画像を前述の２つの画像の対応点探索に利用する。

２つの望遠カメラは広角カメラの画像上のある特徴点に視軸を合わせることによって、両カメラの輻輳角（図１のθ_４、θ_５）から特徴点の距離を算出できる。この距離の精度はカメラの画素サイズとカメラの輻輳角の精度に依存するが、前者は望遠カメラを十分な倍率の光学ズームで用いることにより精度を高めることができ、後者は輻輳角を計測するエンコーダを十分に分解能の高いものにすることで精度を高めることができる。これを利用することで高い測定精度で距離測定ができる。更に、θ_１、θ_２、θ_３、を用いることで、ヘリコプタに対する特徴点の位置を求められる。

図２に提案する立体地形計測法の測定過程を示す。ヘリコプタは位置Ｏ_Ｌで上述の原理により広角カメラのレンズ中心から特徴点Ｇまでの距離ｌ_ｌを測定（図３）し、θ_１、θ_２、θ_３及び水平センサの値を用いて広角カメラの視線と飛行方向の水平線との成す角αを算出する。

視覚フィードバック制御によって、各カメラの視軸はＧを注視し続け、カメラシステムの撮影方向も最初の方向と同じように保つ。ヘリコプタが位置Ｏ_Ｒのときも同様にｌ_ｒとβを算出する。

説明を簡単にするために、図２のＯ_Ｌ、Ｏ_Ｒ、Ｇの３点を取り出した図３からその相互関係を求めると、

となる。

図４はＯ_Ｌ、Ｏ_Ｒで広角カメラが取り込んだ画像上の任意対応点Ｐ_Ｌ（ｘ_Ｌ、ｙ_Ｌ）とＰ_Ｒ（ｘ_Ｒ、ｙ_Ｒ）に対応する計測点Ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）をＯ_Ｌを原点、直線Ｏ_ＬＯ_Ｒをｘ軸、平面Ｏ_ＬＯ_ＲＧをｘｚ平面とする座標系での３次元座標を算出する原理を以下に示す。図４より、（以下の式ではｘ_Ｌ、ｙ_Ｌ、ｘ_Ｒ、ｙ_Ｒを実際の長さとする）

であるので、計測点Ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）の座標は以下のように求めることができる。

図５は上記システムと異なる設計の一例である。図５のシステムは両輻輳解散運動のできるズームレンズ付きカメラの変わりに、レーザ距離測定センサ６を用いる。この場合は３次元地形測定用カメラの中心付近の距離をレーザ６で測定する。

また、ヘリコプタの姿勢はＧＰＳ７で計測することによって、上記システムと同じ原理で３次元情報を算出できる。

図５のシステムはヘリコプタの高周波数振動（ロータの回転振動など）を吸収できる材料９を計測システムの基盤に装着することによって、ヘリコプタの機体の高周波数の振動をカメラシステムから遮断することができる。

図５のシステムはヘリコプタの高周波数振動を材料９で十分吸収できない場合。運動制御可能なレンズ１０を用いて、ハンディカムの手ブレ補償と同じ原理でカメラの振動を補償する手法も利用可能である。

図５のシステムはヘリコプタの低い周波数の揺れを補償するために、システムの基盤に装着したジャイロセンサ８の情報を用いて、カメラの視線をヘリコプタの揺れと反対方向に運動させることによって、ヘリコプタの揺れを補償する手法も利用可能である。

下記［符号の説明］の７乃至１０の装置は図１のシステムにも利用可能である。

図１は、立体地形計測システムの構成例である。図２は、立体地形計測システムを用いた画像取得法を説明するための図である。図３は、計測位置と注視点との関係を示す図である。図４は、注視点付近の立体計測の原理を示す図である。図５は、レーザ距離センサを用いた立体地形計測システムの構成例である

符号の説明

１３次元地形計測用カメラ
２Ｒ注視点の距離を測定する右側のズーム望遠カメラ
２Ｌ注視点の距離を測定する左側のズーム望遠カメラ
３Ｒ右側の望遠カメラの回転を駆動するためのモータ
３Ｌ左側の望遠カメラの回転を駆動するためのモータ
３Ａカメラセットの姿勢を制御するためのモータ
３Ｂカメラセットの姿勢を制御するためのモータ
３Ｃカメラセットの姿勢を制御するためのモータ
４Ｒ右側のカメラの回転角を測定するためのエンコーダ
４Ｌ左側のカメラの回転角を測定するためのエンコーダ
４Ａカメラセットの姿勢を測定するためのエンコーダ
４Ｂカメラセットの姿勢を測定するためのエンコーダ
４Ｃカメラセットの姿勢を測定するためのエンコーダ
５３次元地形計測装置の基盤の水平度を測定するための水平センサ
６レーザ距離計測センサ
７ＧＰＳ
８ジャイロセンサ
９高周波数振動吸収材料
１０撮像手段の高周波数振動を補償するためのアクティブレンズ

Claims

被測定対象の形状や３次元地形を測定する方法であって、該方法は、
移動物体の上に装着し、被測定対象を撮影した画像情報を出力する少なくとも１つの撮像手段と、該撮像手段の撮像領域内のある点の距離を測定する装置と、該撮像手段を２自由度以上回転運動させるアクチュエータと、撮像手段の回転角を測定する回転角センサと、移動物体の姿勢を測定するセンサとを、有する測定装置により、
上記移動物体が移動しながら前記撮像手段を用いて被測定対象のある点を注視し続ける過程と
上記移動物体の姿勢を測定する過程と
上記撮像手段が注視している点の距離を計測する過程と
上記撮像手段の回転角と、動物体の姿勢と、測定した注視点の距離と、によって注視点の移動物体に対する３次元座標を算出する過程と
上記注視点を注視し始めるときの画像と、注視し始めてから上記移動物体が所定の距離を移動したときの画像と、注視点の３次元座標と、移動物体の姿勢情報と、を用いて三角測量法で画像上の各特徴部位の３次元座標集合を算出する過程と
を具備することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、被測定対象のある点を注視し始めてから上記移動物体が所定の距離を移動したときまでに撮像手段が撮り続けた一連の画像の各特徴点を追跡し続けることによって、任意２画像の対応点を検出し、被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、上記被測定対象の形状や３次元地形を測定するための撮像手段が注視し続ける点の距離を測定する装置はレーザ距離測定計を用いることを特徴をする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、上記被測定対象の形状や３次元地形を測定するための撮像手段が注視し続ける点の距離を測定する装置は二つの輻輳開散運動のできるズーム機能付き撮像手段を用いて、当該両撮像手段が上記注視点へ注視し、各撮像手段の回転角を用いて、三角測量法で距離を測定することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、ＧＰＳを用いて移動物体の移動距離を測定することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、移動物体の姿勢を測定する装置はジャイロセンサを用いることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、移動物体の３自由度姿勢を測定する装置はＧＰＳを用いることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定方法において、移動物体の３自由度姿勢を測定する装置は水平度または垂直度を測定するセンサを用いて２自由度をはかり、重力方向の軸廻りの回転角は各撮像手段の画像から得ることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定方法において、移動物体の３自由度姿勢を測定する装置は地磁気センサを用いることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定法において、移動物体の３自由度姿勢を測定する装置は請求項１に記載する撮像手段と距離センサ複数を用いて、被測定対象上の少なくとも３つの点を測定することによって移動物体の３自由度姿勢を算出することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１に記載の測定方法において、移動物体の３自由度姿勢を測定する装置は請求項６乃至請求項１０の組合せによって測定することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１１の何れかに記載の測定方法において、さらに、前記各撮像手段からの画像及び各センサの情報を処理した結果を用いて、前記運動物体を能動的に制御することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１２の何れかに記載の測定方法において、さらに、ズーム機能を有した前記撮像手段を用いることによって、測量精度を向上することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１２の何れかに記載の測定方法において、さらに、ズーム機能を有した前記撮像手段を用いることによって、計測対象の画像上の大きさを一定にすることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１４の何れかに記載の測定方法において、撮像手段の視線を安定化するために、移動物体自身の一定周期範囲の高周波数振動を補償する手法として、移動物体の振動周波数を吸収できる材料を用いて、撮像手段の姿勢を制御する装置の基盤の下に装着することによって移動物体の振動を計測する装置から遮断および軽減することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１４の何れかに記載の測定方法において、撮像手段の視線を安定化するために、移動物体自身の一定周期範囲の高周波数振動を補償する手法として、移動物体の振動周波数を吸収できるバネ及びダンパを用いて、撮像手段の姿勢を制御する装置の基盤の下に装着することによって移動物体の振動を計測する装置から遮断および軽減することを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１６の何れかに記載の測定方法において、撮像手段の視線を安定化するために、移動物体自身の揺れを補償する手法として、移動物体に装着するジャイロや加速度センサの信号を用いて撮像手段の視線を移動物体の揺れの反対方向に運動させることによってカメラ視線を安定させることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１６の何れかに記載の測定方法において、撮像手段の視線を安定化するために、撮像手段自身の振動を補償するために運動制御可能なレンズ用いて、カメラの振動を補償する手法を用いることを特徴とする被測定対象の形状や３次元地形を測定する方法。
請求項１乃至請求項１８の何れかに記載の測定方法において、撮像手段の視線を視野の中のある特徴点を注視し続けるための手法として、撮像手段より得られた画像を用いて、リアルタイムで視線が注視点までの偏差を検出し、姿勢制御システムにフィードバック制御を行うことを特徴とする被測定対象の形状や３次元地形を測定する方法。