JP2014006148A - 航空写真撮像方法及び航空写真撮像システム - Google Patents

Abstract

【課題】高精度の３Ｄモデル画像を容易に作成し得る航空写真撮像方法及び航空写真撮像システムを提供する。
【解決手段】撮像装置１３を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の３次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像／精細画像マッチングを行う工程と、広域画像／精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像／精細画像マッチングし、前記測定範囲全域の測定範囲精細３Ｄモデルを作成する工程とを有する。
【選択図】図２

Description

本発明は、小型無人飛行体による航空写真撮像方法及び航空写真撮像システムに関するものである。

上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により、小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。又、予め設定した飛行スケジュールに従い、自律飛行も可能となっている。

航空写真により写真測量を行う場合、複数の画像により３Ｄモデルを作成する。３Ｄモデルを作成する場合、隣接する２画像をオーバラップさせ、オーバラップした部分で２画像に共通な接続点（パスポイント）を抽出し、パスポイントを基準として３Ｄモデル形成が行われる。

広範囲の航空写真（３Ｄモデル画像）を作成するには、小型飛行体がコースを変えながら予定した範囲を飛行し、飛行中に撮像画像が所定量オーバラップする様に撮像し、予定した全域を撮像する。

この場合、進行方向で隣接する画像間で一般的に６０％以上のオーバラップ率、隣接する航路の画像間で一般的に３０％以上のサイドラップ率を必要とする。この為、多数の画像を取得する必要があり、又３Ｄモデルを作成する為の画像処理等は膨大な処理量となる。

又、高精度の航空写真とするには、低高度での撮影となるが、低高度とした場合には、１枚の写真で撮影できる範囲が小さくなるので、更に撮像画像枚数が多くなり、更に処理量が増大するという問題を有していた。

特開２００２−６３５８０号公報 特開２００６−１８５４９号公報 特開２００６−１０３７６号公報 特開平８−１５９７６２号公報

本発明は斯かる実情に鑑み、高精度の３Ｄモデル画像を容易に作成し得る航空写真撮像方法及び航空写真撮像システムを提供するものである。

本発明は、撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の３次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像／精細画像マッチングを行う工程と、広域画像／精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像／精細画像マッチングし、前記測定範囲全域の測定範囲精細３Ｄモデルを作成する工程とを有する航空写真撮像方法に係るものである。

又本発明は、広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像／精細画像マッチングする工程とを更に有する航空写真撮像方法に係るものである。

又本発明は、精細画像／精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細３Ｄモデルを作成する航空写真撮像方法に係るものである。

又本発明は、高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像／広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域３Ｄモデルを作成する工程と、該広域３Ｄモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有する航空写真撮像方法に係るものである。

又本発明は、前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正する航空写真撮像方法に係るものである。

又本発明は、広域画像の特徴点、該特徴点に対応する精細画像のパスポイント及び精細画像の取得位置に基づき精細画像のバンドル調整を行う航空写真撮像方法に係るものである。

又本発明は、飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記ＧＰＳ装置により広域画像撮像位置の３次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記ＧＰＳ装置により精細画像撮像位置の３次元座標を取得し、前記基地制御装置は広域画像撮像位置の３次元座標と精細画像撮像位置の３次元座標に基づき広域画像と精細画像との広域画像／精細画像マッチングを行い、広域画像／精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせる航空写真撮像システムに係るものである。

又本発明は、前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正する航空写真撮像システムに係るものである。

又本発明は、前記飛行体は前記基地制御装置とデータ通信する第１通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第２通信部を有し、前記撮像装置で撮像した画像データ、前記ＧＰＳ装置で取得した撮像位置データが前記第１通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域３Ｄモデルを作成し、前記測定範囲で障害物を回避して飛行する飛行コースを演算する航空写真撮像システムに係るものである。

又本発明は、前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成する航空写真撮像システムに係るものである。

又本発明は、前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成する航空写真撮像システムに係るものである。

本発明によれば、撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の３次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像／精細画像マッチングを行う工程と、広域画像／精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像／精細画像マッチングし、前記測定範囲全域の測定範囲精細３Ｄモデルを作成する工程とを有するので、精細画像同士を直接マッチングしないので、精細画像同士の画像トラッキング等の画像処理を省略し得、又精細画像同士のオーバラップ率を少なくできるので、精細画像の撮像枚数が減少し、画像に関する処理が軽減される。

又本発明によれば、広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像／精細画像マッチングする工程とを更に有するので、精細画像同士間でパスポイントの画像トラッキングによる特定をする必要がなく、精細画像の撮像枚数を減少させることができ、画像処理量が減少する。

又本発明によれば、精細画像／精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細３Ｄモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細３Ｄモデルを作成することが可能である。

又本発明によれば、高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像／広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域３Ｄモデルを作成する工程と、該広域３Ｄモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有するので、障害物が存在する測定範囲でも自律飛行による航空写真の撮影が可能となり、更に障害物よりも低い高度で飛行させることでより精細な航空写真が取得でき、又高精度の精細３Ｄモデルの作成が可能となる。

又本発明によれば、前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正するので、飛行体が傾斜した状態で画像を取得した場合でも、撮像画像の正確な位置付けが可能となる。

又本発明によれば、広域画像の特徴点、該特徴点に対応する精細画像のパスポイント及び精細画像の取得位置に基づき精細画像のバンドル調整を行うので、精細３Ｄモデルの精度を向上させることができる。

又本発明によれば、飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記ＧＰＳ装置により広域画像撮像位置の３次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記ＧＰＳ装置により精細画像撮像位置の３次元座標を取得し、前記基地制御装置は広域画像撮像位置の３次元座標と精細画像撮像位置の３次元座標に基づき広域画像と精細画像との広域画像／精細画像マッチングを行い、広域画像／精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせるので、精細画像同士の画像トラッキング等の画像処理を省略し得、又精細画像同士のオーバラップ率を少なくできるので、精細画像の撮像枚数が減少し、画像に関する処理が軽減される。

又本発明によれば、前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正するので、飛行体が傾斜した状態で画像を取得した場合でも、撮像画像の正確な位置付けが可能となる。

又本発明によれば、前記飛行体は前記基地制御装置とデータ通信する第１通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第２通信部を有し、前記撮像装置で撮像した画像データ、前記ＧＰＳ装置で取得した撮像位置データが前記第１通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域３Ｄモデルを作成し、前記測定範囲で障害物を回避して飛行する飛行コースを演算するので、障害物が存在する測定範囲でも自律飛行による航空写真の撮影が可能となり、更に障害物よりも低い高度で飛行させることでより精細な航空写真が取得でき、又高精度の精細３Ｄモデルの作成が可能となる。

又本発明によれば、前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細３Ｄモデルを作成することが可能である。

又本発明によれば、前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成するので、少ない精細画像の枚数、少ないオーバラップ率で精細３Ｄモデルを作成することが可能であるという優れた効果を発揮する。

本発明の実施例に係る小型飛行体を示す概略図である。 前記飛行体に設けられた制御装置のブロック図である。 基地制御装置のブロック図である。 高高度撮影状態を示す説明図である。 低高度撮影状態を示す説明図である。 本実施例の作用を示すフローチャートである。 対応点を広域画像から精細画像へ逆投影する場合の説明図である。

以下、図面を参照しつつ本発明の実施例を説明する。

先ず、図１を参照して本発明の実施例に係る航空写真撮像システムの概略を説明する。

図１中、１は自律飛行可能な飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更を実行し、又前記飛行体１が収集した情報を保存、管理し、更に保存した情報に基づき測定対象範囲の３次元測定を実行する。

前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。

前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。

前記ヘリコプタ１の機体３には、ＧＰＳ装置１２、制御装置及び少なくとも１つの撮像装置１３が設けられている。又前記機体３の内部には鉛直センサ２４（図２参照）が設けられている。該鉛直センサ２４は、前記機体３が傾斜した場合に、鉛直線に対する光軸１５の傾斜角と傾斜方向を検出する。前記ＧＰＳ装置１２には、リアルタイムキネマティクＧＰＳ装置（ＲＴＫ−ＧＰＳ装置）が用いられるのが好ましい。ＲＴＫ−ＧＰＳ装置は、高精度の測定が可能であり、該ＲＴＫ−ＧＰＳ装置の測定精度は、地表で数ｃｍとなっている。

前記ＧＰＳ装置１２は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置１２は前記基準位置の絶対３次元座標を測定し、測定値は地心座標（絶対座標）系から求められる地上座標系及び高度を表す。

前記撮像装置１３はデジタル画像を取得し、画像信号としてデジタル信号を出力する。該撮像装置１３は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像する（動画像を撮像する）ビデオカメラであってもよい。又、ビデオカメラとした場合、任意の時点で静止画像を取得できる機能を有するものが用いられる。前記撮像装置１３の少なくも１つは前記機体３の下面に設けられている。又、撮像装置１３は前方を撮像するものが更に追加されてもよい。

又、前記撮像装置１３は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、撮像素子の中心（受光面の座標中心）と前記撮像装置１３の光軸１５とは合致している。前記撮像素子の各画素は撮像素子上の位置（座標）が特定でき、更に座標から各画素の画角（結像レンズを透して画素に入射する光線と前記光軸１５との成す角度）が分る様になっている。

前記光軸１５は、前記機体３の基準位置（例えば機械中心）を通過し、前記光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する様に設定されている。前記撮像装置１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。従って、前記撮像装置１３は、前記ヘリコプタ１直下の所要の視野角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。

又、前記飛行体１が傾いた場合は、傾斜角、傾斜方向を前記鉛直センサ２４が検出するので、前記光軸１５が到達する地表の地上座標は、前記鉛直センサ２４が検出する傾斜角に前記ＧＰＳ装置１２が測定した高度を掛けた分だけ、前記飛行体１の鉛直下方よりずれる。又、ずれ方向は前記鉛直センサ２４が検出した傾斜方向となる。又、前記撮像装置１３が撮像する範囲は、傾斜した前記光軸１５を中心に画角θの範囲となる。

前記撮像装置１３により画像が撮像された時の時間、撮像した時のＧＰＳ装置１２で測定した地心座標（３次元座標）が取得され、撮像された画像は時間、地心座標に関連付けられて、後述する記憶部１８に格納される。

図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に、演算制御部１７、記憶部１８、通信部１９、電源部２０、撮像コントローラ２１、モータコントローラ２２、ジャイロユニット２３、鉛直センサ２４から構成される。

前記記憶部１８は、前記演算制御部１７に一体化された半導体メモリ、或はメモリカード、ＨＤＤ等適宜な記憶手段を用いることができ、又前記制御装置１６に対して着脱可能であってもよい。前記記憶部１８には、前記撮像装置１３で取得した画像及び画像を取得した時刻が、前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置１２によって前記ヘリコプタ１の３次元座標が測定され、測定された３次元座標も画像を取得した時刻に関連付けられて前記記憶部１８に格納される様になっている。

又、該記憶部１８には、撮像制御プログラム、画像処理プログラム、トラッキング処理プログラム、パスポイント投影プログラム、マッチング処理プログラム、演算プログラム、飛行制御プログラム、飛行姿勢制御プログラム、３次元画像作成プログラム、飛行計画作成プログラム、通信制御プログラム、バンドル調整プログラム等の種々のプログラムが格納されている。

更に、前記記憶部１８には、前記撮像装置１３で撮像された画像及び、撮像時の時間、画像を取得した時の３次元座標が前記画像に関連付けられて格納され、又飛行計画データが格納されている。尚、飛行計画データに格納されているデータとしては、高高度撮影実行データ及び低高度撮影実行データであり、高高度撮影実行データ及び低高度撮影実行データにはそれぞれ、例えば飛行コース、飛行高度、撮影する場所、範囲等である。

前記バンドル調整プログラムは前記基地制御装置２側の基地記憶部２８（後述）に格納し、バンドル調整は、ヘリコプタ１が所定の飛行をし、所定のデータを取得した後、前記基地制御装置２で行う様にしてもよい。

前記撮像制御プログラムは、前記ＧＰＳ装置１２で測定された前記ヘリコプタ１の位置、前記ヘリコプタ１の飛行高度、飛行速度、要求される測定精度及び前記撮像装置１３の視野角θ等に基づき時間的に隣接する画像が所定の割合でオーバラップする様に、前記撮像装置１３で撮影する画像データの取得時期を制御する。尚、画像トラッキングを行う場合は、画像データ（静止画像データ）を取得し、次の画像データ（静止画像データ）を取得する間も所定時間間隔（画像トラッキングが可能な時間間隔）で撮像する様に前記撮像装置１３を制御している。尚、画像データと次の画像データ間で取得するトラッキング用の画像としては動画像を取得してもよい。

前記画像処理プログラムは、前記撮像装置１３で取得した画像から特徴点（パスポイント）を抽出する、或はパスポイントを基準として複数の画像間のマッチング（対応付け）を行う、或は複数の画像を合成する等の画像処理を行う。

又、前記トラッキング処理プログラムは時間的に隣接する画像間（動画像に於ける時間的に隣接するフレーム画像間）で特徴点の画像トラッキングを行い、前記画像の特徴点を順次、次画像中に特定する。尚、動画像トラッキングについては特許文献３又は特許文献４に示されている。

前記パスポイント投影プログラムは、後述する様に、高高度画像で特定したパスポイントを低高度画像中に特定するものであり、高高度画像と低高度画像間の画像探索、画像マッチング等の手段によりパスポイントが高高度画像を基に低高度画像中に特定される。

又、前記飛行制御プログラムは、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を制御し、前記ヘリコプタ１を設定された範囲で、所定の飛行コースに、設定された高度、速度で飛行させる為のプログラムであり、前記飛行姿勢制御プログラムは、飛行中のヘリコプタ１の姿勢を水平に保持させる様制御し、或は静止状態飛行（ホバリング）させる様制御するプログラムである。

前記マッチング処理プログラムは、時間的に隣接する静止画像を順次マッチング、或はステレオマッチングし、所定の測定範囲の画像を合成する。前記演算プログラムは、マッチング処理に必要な座標変換、相互標定計算等を実行する為のプログラムである。

前記バンドル調整プログラムは、画像から抽出した特徴点の画像座標（パスポイント）と、それに対応する既知或は測定して得られた３次元座標に基づき各画像の撮影位置と傾き（外部標定要素）を最小２乗法により同時に求める演算を行うプログラムである。

前記演算制御部１７は、前記撮像制御プログラムにより前記撮像コントローラ２１を介し、前記撮像装置１３の撮像を制御し、前記トラッキング処理プログラムにより画像トラッキングを行い、前記画像処理プログラムにより、パスポイントの抽出、複数の画像を合成する。又、前記バンドル調整プログラムによりバンドル調整を実行する。

又、前記演算制御部１７は、前記飛行制御プログラム及び前記飛行計画データに基づき、前記モータコントローラ２２を介し、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御し、前記ヘリコプタ１を所定の飛行コースに、設定された高度、速度で飛行させる。又前記演算制御部１７は、前記飛行姿勢制御プログラム、前記ジャイロユニット２３からの信号に基づき、前記モータコントローラ２２を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、前記ヘリコプタ１を飛行中水平に制御し、或は所定の位置で静止状態飛行（ホバリング）させる。

前記通信部１９はデータ通信可能であり、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記通信部１９は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から前記基地制御装置２に送信される。

前記電源部２０は、例えば交換可能な可充電電池であり、基地に着陸した際に充電済の電池と交換され、消耗した電池が次に交換される迄に充電される。前記電源部２０は、飛行中は、前記モータコントローラ２２を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１へ電力を供給し、又前記撮像装置１３、前記撮像コントローラ２１、前記演算制御部１７、前記通信部１９に必要な電力を供給する。

前記撮像装置１３が取得した画像、前記ＧＰＳ装置１２が測定した位置情報、パスポイントの情報は、前記通信部１９を介して前記基地制御装置２に通信される。該基地制御装置２では、前記画像から、広範囲の合成画像を作成し、又ステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。又、画像から抽出した特徴点の画像内での座標、画像を取得した位置の３次元座標、後述するパスポイントに基づきバンドル調整を行う。

図３は、前記基地制御装置２の概略構成を示しており、基地演算制御部（ＣＰＵ）２７、基地記憶部２８、基地通信部２９、表示部３０、操作部３１等から構成されている。前記基地記憶部２８としては、ＨＤＤ等の外部記憶手段を含み、或は着脱可能な記憶手段、例えばメモリカードを含み、着脱可能な記憶手段は、前記記憶部１８と互換性を有している。

前記基地記憶部２８には種々のプログラム、例えば、３次元画像作成プログラム、通信制御プログラム、飛行計画作成プログラム、画像表示プログラム、マン／マシンインタフェースプログラム、バンドル調整プログラム等の種々のプログラムが格納されている。

前記基地通信部２９は前記通信部１９との間でデータ通信可能であり、飛行に関するデータ（飛行計画等）、飛行、撮影に関する指令を送信し、或は前記通信部１９から送信される画像データ、マッチング情報等を受信する。尚、基地制御装置２により、飛行計画を作成する場合は、前記制御装置１６側の飛行計画作成プログラムを省略することができる。

前記操作部３１は、キーボード、マウス等から構成され、測定者から測定条件の設定等を行う様になっている。又、前記表示部３０をタッチパネルとしてキーボード等を省略してもよい。

前記３次元画像作成プログラムは、前記飛行体１が収集した画像データ、前記ＧＰＳ装置１２により取得した位置データに基づき、広域３Ｄモデルを作成し、或は精細３Ｄモデルを作成する。前記通信制御プログラムは前記基地通信部２９と前記通信部１９との間でデータ通信を実施する場合の制御を行う。前記飛行計画作成プログラムは測定範囲、測定精度等の測定条件が入力されると、高高度飛行の場合の飛行高度、飛行コース等を演算して決定し、又高高度飛行で得られた情報に基づき低高度飛行の場合の、測定範囲の演算をし、飛行高度、飛行コース等の演算をして、低高度飛行の飛行計画を作成する。

前記マン／マシンインタフェースプログラムは、前記表示部３０にメニュー画面を表示し、或は測定者の入力ガイダンスを表示し、或は測定者から情報が入力された場合に、前記基地演算制御部２７に情報を入力し、或は入力された情報が適切かどうかの表示、或は入力情報が不十分であった場合は、更に情報の入力を求める等の表示を行う。

図４、図５、図６を参照して本実施例の概略を説明する。

本実施例では、高高度と低高度の２つの高度で飛行体１を飛行させ、それぞれの高度で画像を撮像する。

先ず、前記飛行体１を高高度で飛行させ、広範囲の高高度画像（以下広域画像）を複数枚撮像し、広域画像に基づき広域３Ｄモデルを作成し、該広域３Ｄモデルに基づき低高度で撮影する撮像範囲（測定範囲）を設定し、設定された測定範囲を低高度で飛行させ、低高度画像（以下精細画像）を多数枚撮像し、精細画像と広域画像とをマッチングさせ、広域画像と精細画像とのマッチングで得られる相対関係情報を取得し、得られた相対関係情報に基づき精細画像上の特徴点のマッチングを行い、精細３Ｄモデルを作成する。

広域画像から得られる相対関係情報に基づき、精細画像上の特徴点のマッチングを行うので、精細画像間を動画像トラッキングすることに比べ画像処理量が大幅に低減する。

以下、図４〜図７を参照して具体的に説明する。尚、図４は高高度で撮像する状態、図５は低高度で撮影する状態をそれぞれ示している。

先ず、測定者は既存の地図、既に取得してある地形図等により、広域測定範囲を設定し、前記操作部３１を介して設定広域測定範囲を入力する。尚、広域測定範囲の設定は、地図或は地形図を前記表示部３０に表示させ、表示画面上から設定してもよい。

又、飛行高度、飛行速度等、前記飛行体１に、高高度で前記広域測定範囲を撮影させる為に必要な飛行条件を、前記操作部３１より入力する。高高度で撮影される広域画像は、前記広域測定範囲に対して複数枚とされる。図示の例では、広域画像を２枚撮像する状態を示している。

広域画像を撮像する場合の飛行高度は１００ｍ〜３００ｍ程度であり、広域測定範囲、及び撮像により取得する広域画像の枚数、或は前記撮像装置１３の画角θ等に基づき設定される。尚、高高度での飛行高度は１００ｍ〜３００ｍに限定されないが、地表の高低差が画像の平面座標系に影響を及さない様、充分高い高度に設定される。

前記操作部３１により入力された飛行条件、広域測定範囲は、前記基地記憶部２８に格納されると共に前記基地通信部２９を介して前記通信部１９に伝送され、前記記憶部１８に格納される。尚、前記基地記憶部２８をメモリカード等の着脱可能な記憶媒体とした場合は、記憶媒体を前記制御装置１６に前記記憶部１８として装填してもよい。

ＳＴＥＰ：０１ 前記演算制御部１７は、入力された飛行条件、広域測定範囲、及び撮像により取得する広域画像の枚数等の情報に基づき、高高度飛行計画を作成する。更に、前記演算制御部１７は高高度飛行計画に基づき、前記モータコントローラ２２を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１を制御し、更に前記基地制御装置２からの測定開始の指令に基づき飛行を開始する。

ＳＴＥＰ：０２ 所定の高高度で、撮影位置に到達すると、第１高高度位置３３ａで第１広域画像３４ａを撮像し、第１広域画像データ（静止画像データ）を取得する。取得した時点の位置情報（第１高高度位置３３ａの３次元位置情報：地心座標値）が、前記ＧＰＳ装置１２より取得され、又取得した時点の時間が取得され、第１広域画像データに位置情報、時間が関連付けられ、第１広域画像データが前記記憶部１８に格納される。

尚、前記鉛直センサ２４は、前記光軸１５の傾斜角と傾斜方向を検出する。検出された傾斜角と傾斜方向と広域画像取得時の高度（前記ＧＰＳ装置１２が測定）とに基づき広域画像３４の中心の平面座標（地心座標）を補正することができる。

前記第１広域画像３４ａについて特徴点抽出が行われる。

更に、前記飛行体１が所定距離Ｂ移動し、第２高高度位置３３ｂで第２広域画像３４ｂを撮像し、第２広域画像データ（静止画像データ）を取得する。取得した時点の位置情報（第２高高度位置３３ｂの３次元位置情報：地心座標値）が、前記ＧＰＳ装置１２より取得され、又取得した時点の時間が取得され、第２広域画像データに位置情報、時間が関連付けられ、第２広域画像データが前記記憶部１８に格納される。

前記所定距離Ｂは前記第１広域画像３４ａ、前記第２広域画像３４ｂに基づき写真測量する場合の精度に影響するので、要求される精度、飛行高度を考慮して決定される。

ＳＴＥＰ：０３ 前記第１高高度位置３３ａから前記第２高高度位置３３ｂに至る間、動画像が撮影され、時間的に隣接するフレーム画像間で前記特徴点（第１画像特徴点）についてトラッキング（動画像トラッキング）が行われ、前記第１広域画像３４ａの特徴点に対応する対応点（第２画像特徴点）を前記第２広域画像３４ｂに特定する。前記第１画像特徴点、第２画像特徴点が特定されると両特徴点はそれぞれ、パスポイントとされる。

ＳＴＥＰ：０４ 前記第１画像特徴点と前記第２画像特徴点に基づき、前記第１広域画像３４ａと前記第２広域画像３４ｂ間の相互標定が行われる。

ＳＴＥＰ：０５ 前記第１広域画像３４ａ、前記第２広域画像３４ｂそれぞれの取得地点の３次元座標が前記記憶部１８より読込まれ、３次元座標に基づき前記第１広域画像３４ａ、前記第２広域画像３４ｂの絶対標定が行われる。

ＳＴＥＰ：０６ 絶対標定により、前記第１広域画像３４ａ、前記第２広域画像３４ｂに基づき広域３Ｄモデル３５が作成される。

前記第１広域画像３４ａ、前記第２広域画像３４ｂ、前記広域３Ｄモデル３５は前記通信部１９より前記基地通信部２９に送信され、更に前記基地記憶部２８に格納される。

ＳＴＥＰ：０７ 前記基地演算制御部２７は、前記広域３Ｄモデル３５を前記表示部３０に表示させる。測定者は、表示された広域３Ｄモデル３５に基づき、精細測定を実行する精細測定範囲を指定する。又、精細測定の測定精度、低高度撮影の飛行高度を入力する。低高度撮影を行う際の飛行高度としては、図５に示される様に、１０ｍ〜３０ｍ程度である。

前記基地演算制御部２７は、精細測定範囲、測定精度、低高度撮影の飛行高度に基づき飛行計画を作成する。即ち、前記基地演算制御部２７は、設定された飛行高度及び前記広域３Ｄモデル３５から障害物を回避して飛行する飛行コースを演算し、更に設定された測定精度及び飛行高度から低高度画像（精細画像）を取得する距離間隔を演算する。

尚、飛行コースについて、予め飛行パターンを設定しておき、飛行パターンを基本として飛行コースを演算させる様にしてもよい。又、飛行パターンとしては、蛇行しながら前進するパターン、前後進しながら横行するパターン等である。

飛行計画は、前記基地通信部２９を介して前記制御装置１６に送信され、該制御装置１６は前記飛行計画に基づき、低高度飛行、低高度撮影を実行する。

尚、精細測定範囲は、地図、地形図等により、広域測定範囲を設定するのと同時に設定し、前記演算制御部１７で飛行計画を作成し、該飛行計画に基づき前記演算制御部１７が低高度飛行、低高度撮影を実行してもよい。この場合、測定途中に測定者の判断を必要としないので、能率よく行える。

ＳＴＥＰ：０８ 前記演算制御部１７は前記ＧＰＳ装置１２からの位置情報をリアルタイムで取得し、前記飛行体１の位置を把握し、又前記ジャイロユニット２３から前記飛行体１の飛行姿勢を把握しつつ、前記飛行体１を前記飛行コースに沿って飛行させる。

低高度飛行中、所定の距離間隔で精細画像を取得する。図５は低高度飛行中に精細画像を取得した状態を示しており、図中ピラミッド形状の頂点が撮像位置３６を示し、ピラミッド形状の底面が精細画像３７を示している。又、撮像位置（３次元座標（地心座標））は前記ＧＰＳ装置１２によって測定され、撮像時の位置情報及び時間が精細画像３７に関連付けられて前記記憶部１８に格納される。

尚、前記飛行体１が水平である場合は、前記ＧＰＳ装置１２が測定する平面座標は、前記精細画像３７の中心位置の平面座標と一致するが、前記飛行体１が水平でない場合は、前記光軸１５が傾斜するので、前記ＧＰＳ装置１２が測定する平面座標と、前記精細画像３７の中心位置の平面座標とは一致しない。前記鉛直センサ２４は、前記光軸１５の傾斜角と傾斜方向を検出する。従って、精細画像取得時の高度（前記ＧＰＳ装置１２が測定）と前記傾斜角と傾斜方向に基づき精細画像３７の中心の平面座標（地心座標）を補正することができる。

ＳＴＥＰ：０９ 前記広域画像３４と前記精細画像３７間で局部画像探索により概略の画像マッチング（広域画像／精細画像マッチング）を行う。前記広域画像３４の中心位置は、前記ＧＰＳ装置１２によって測定されている。従って、広域画像全範囲の任意の位置は、前記広域画像３４の中心を原点とする座標系で特定することができる。又、前記精細画像３７の中心位置は前記ＧＰＳ装置１２によって測定されており、又前記精細画像３７の中心位置を前記広域画像３４の座標系に特定できる。尚、前記広域画像３４と前記精細画像３７とをマッチングする場合に用いられる広域画像３４は、前記第１広域画像３４ａ、前記第２広域画像３４ｂのいずれが用いられてもよい。

前記精細画像３７の倍率を前記広域画像３４の倍率と同一となる様縮尺する。尚、縮尺率については、前記広域画像取得時の高度と前記精細画像取得時の高度により、容易に求められる。

縮尺された精細画像３７を前記広域画像３４に重合させ、所定の範囲で回転し、又平行移動して画像マッチングを行う。前記広域画像３４と前記精細画像３７との画像マッチングにより、広域画像と精細画像とを画像マッチングする為の相対関係情報が得られる。又、全ての精細画像３７と広域画像３４とを画像マッチングすることで、広域画像３４を介して全ての精細画像３７の傾きが一致される。従って、隣接する精細画像３７，３７間で共通のパスポイントが複数（例えば２又は３）得られれば、パスポイントに基づき隣接する精細画像３７，３７同士の対応付けをすることができる。

或は、前記広域画像３４と前記精細画像３７との画像マッチングにより、前記広域画像３４に対する前記精細画像３７の傾きが得られる。各精細画像３７と広域画像３４との画像マッチングを実行することで、広域画像３４に対する全ての精細画像３７の傾きが演算される。従って、広域画像を基準として精細画像間の相対的な傾斜が求められる。

ＳＴＥＰ：１０ 精細画像３７，３７間では画像トラッキングを行わない。図７に示される様に、前記精細画像３７，３７間で共通なパスポイントは、前記広域画像３４から前記精細画像３７への逆投影により取得する。

図７に於いて、ａ地点で撮像した精細画像の参照番号を３７ａとし、ｂ地点で撮像した精細画像の参照番号を３７ｂとする。広域画像３４について特徴点の抽出を行い、前記精細画像３７ａ、前記精細画像３７ｂに共通な特徴点ｏ，ｐ，ｑ，ｒを選択し、特徴点ｏ，ｐ，ｑ，ｒを前記精細画像３７ａ、前記精細画像３７ｂに逆投影する。

逆投影の過程で、前記特徴点ｏ，ｐ，ｑ，ｒの広域画像３４に於ける位置は、広域画像の座標系により特定される。又、前記広域画像３４、前記精細画像３７とのマッチングにより、前記広域画像３４、前記精細画像３７との相関関係は既知となっているので、前記特徴点ｏ，ｐ，ｑ，ｒは前記精細画像３７ａ、前記精細画像３７ｂ中にパスポイントｏ′，ｐ′，ｑ′，ｒ′として容易に特定できる。

前記精細画像３７ａと前記精細画像３７ｂは、それぞれ前記広域画像３４とのマッチングにより、前記広域画像３４に対して傾きは整列されているので、前記精細画像３７ａと前記精細画像３７ｂとの間も傾きは整列されている。従って、前記パスポイントｏ′，ｐ′，ｑ′，ｒ′を利用して前記精細画像３７ａと前記精細画像３７ｂとを簡単にマッチングさせることができる。

ＳＴＥＰ：１１ 前記精細画像３７と前記広域画像３４とのマッチング情報に基づき、及び前記広域画像３４から逆投影したパスポイントｏ′，ｐ′，ｑ′，ｒ′に基づき、全ての隣接する精細画像３７，３７同士について特徴点のマッチングを行う。

ＳＴＥＰ：１２ 前記広域画像３４から抽出した特徴点ｏ，ｐ，ｑ，ｒと、該特徴点ｏ，ｐ，ｑ，ｒに対応し、全ての精細画像３７について得られたパスポイントｏ′，ｐ′，ｑ′，ｒ′とを利用してバンドル調整を行い、精細画像３７を撮像した位置を高精度に決定する。

決定された撮像した位置（３次元座標）を各精細画像３７に関連付け、各精細画像３７について絶対標定を行う。

ＳＴＥＰ：１３ 全ての精細画像３７について測定領域内のステレオマッチングを行い、３次元データを計測し、精細画像３７の集合による精細３Ｄモデルが作成される。

飛行中に得られる画像データ、演算過程で得られた情報、広域３Ｄモデル、精細３Ｄモデル等は、前記通信部１９を介して前記基地制御装置２にリアルタイムで送信され、前記表示部３０に表示されてもよい。或は、測定完了後前記基地制御装置２に帰投後、取得した情報を前記基地制御装置２に伝送してもよい。

尚、バンドル調整、精細３Ｄモデルの作成については、上記した様に前記演算制御部１７（飛行体１の制御装置１６）で行ってもよく、或はデータ量が多い場合は、広域画像３４、精細画像３７、撮像位置情報等の情報は、一旦前記基地記憶部２８に格納し、前記広域画像３４、前記精細画像３７の取得が完了した後、前記基地演算制御部２７（前記基地制御装置２）が格納された情報に基づきバンドル調整、精細３Ｄモデルの作成を行ってもよい。

前記飛行体１は、予定された飛行が完了すると、前記基地制御装置２に帰投される。

１ ヘリコプタ
２ 基地制御装置
３ 機体
４，５，６，７ プロペラ
１２ ＧＰＳ装置
１３ 撮像装置
１５ 光軸
１６ 制御装置
１７ 演算制御部
１８ 記憶部
１９ 通信部
２０ 電源部
２１ 撮像コントローラ
２２ モータコントローラ
２３ ジャイロユニット
２４ 鉛直センサ
２７ 基地演算制御部
２８ 基地記憶部
２９ 基地通信部
３０ 表示部
３１ 操作部
３４ 広域画像
３５ 広域３Ｄモデル
３６ 撮像位置
３７ 精細画像

Claims (11)

1. 撮像装置を具備する飛行体が高高度を飛行し、測定範囲を含む広域画像を取得し、広域画像取得時の３次元位置を取得する工程と、該広域画像に基づき測定範囲を設定する工程と、飛行体が低高度を飛行し、所定距離間隔で精細画像を取得する工程と、精細画像取得時の位置を取得する工程と、広域画像と精細画像との倍率を合わせる工程と、広域画像取得時の位置、精細画像取得時の位置に基づき倍率を合わせた広域画像と精細画像とを広域画像／精細画像マッチングを行う工程と、広域画像／精細画像マッチングで得られる相対関係情報に基づき隣接する精細画像を精細画像／精細画像マッチングし、前記測定範囲全域の測定範囲精細３Ｄモデルを作成する工程とを有することを特徴とする航空写真撮像方法。
2. 広域画像から特徴点を抽出する工程と、特徴点を精細画像に逆投影する工程と、投影された特徴点をパスポイントとして隣接する精細画像同士を精細画像／精細画像マッチングする工程とを更に有する請求項１の航空写真撮像方法。
3. 精細画像／精細画像マッチングされた精細画像と各精細画像取得時の位置とを対応付け、前記測定範囲全域の精細３Ｄモデルを作成する請求項１又は請求項２の航空写真撮像方法。
4. 高高度飛行により複数の広域画像を取得する工程と、隣接する画像同士で広域画像／広域画像マッチングする工程と、マッチングされた広域画像と各広域画像取得時の位置に基づき広域３Ｄモデルを作成する工程と、該広域３Ｄモデルで得られる前記測定範囲の高さ情報に基づき障害物を回避する前記測定範囲での飛行コースを設定する工程と、該飛行コースに基づき前記飛行体を飛行させる工程を更に有する請求項１〜請求項３のいずれかの航空写真撮像方法。
5. 前記飛行体が鉛直センサを具備し、該鉛直センサにより前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、検出した傾き、傾斜方向と撮像位置の高度に基づき、画像中心位置の座標を補正する請求項１〜請求項４のいずれかの航空写真撮像方法。
6. 広域画像の特徴点、該特徴点に対応する精細画像のパスポイント及び精細画像の取得位置に基づき精細画像のバンドル調整を行う請求項１の航空写真撮像方法。
7. 飛行体と、基地制御装置とを具備する航空写真撮像システムであって、前記飛行体はＧＰＳ装置と、飛行体下方の画像を撮像する撮像装置と、前記飛行体の飛行、及び前記撮像装置の撮像を制御する制御装置とを具備し、該制御装置は、前記飛行体を高高度で飛行させて前記撮像装置により測定範囲を含む広域画像を取得すると共に前記ＧＰＳ装置により広域画像撮像位置の３次元座標を取得し、又前記飛行体を低高度で前記測定範囲を飛行させ、前記撮像装置により所定距離間隔で精細画像を取得すると共に前記ＧＰＳ装置により精細画像撮像位置の３次元座標を取得し、前記基地制御装置は広域画像撮像位置の３次元座標と精細画像撮像位置の３次元座標に基づき広域画像と精細画像との広域画像／精細画像マッチングを行い、広域画像／精細画像マッチングで得られる相対関係情報に基づき広域画像の特徴点を精細画像上に逆投影し、その特徴点を精細画像上で再マッチングさせることを特徴とする航空写真撮像システム。
8. 前記飛行体が鉛直センサを更に具備し、該鉛直センサは前記撮像装置の光軸と鉛直線との傾き、傾斜方向を検出し、前記制御装置は検出された傾き、傾斜方向及び撮像位置の高度に基づき取得画像中心位置の座標を補正する請求項７の航空写真撮像システム。
9. 前記飛行体は前記基地制御装置とデータ通信する第１通信部を有し、前記基地制御装置は前記飛行体とデータ通信する第２通信部を有し、前記撮像装置で撮像した画像データ、前記ＧＰＳ装置で取得した撮像位置データが前記第１通信部を介して前記基地制御装置に送信され、前記制御装置及び前記基地制御装置のいずれか一方は、前記撮像装置が取得した複数の広域画像同士のマッチングを行うと共にマッチングされた広域画像と撮像位置データに基づき広域３Ｄモデルを作成し、前記測定範囲で障害物を回避して飛行する飛行コースを演算する請求項７又は請求項８の航空写真撮像システム。
10. 前記制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成する請求項７又は請求項８の航空写真撮像システム。
11. 前記基地制御装置は、広域画像で求められた特徴点を逆投影し、精細画像上で再マッチングしたパスポイントと該精細画像の取得位置との対応付けを行い前記測定範囲の精細３Ｄモデルを作成する請求項９の航空写真撮像システム。