JP2019045425A - 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム - Google Patents

Abstract

【課題】航空写真測量に係り、標定用ターゲットの設置に係るコストを削減できる技術を提供する。【解決手段】トータルステーションによりカメラと反射プリズムを搭載した航空機の前記反射プリズムを追尾しつつその位置を測位した測位データを受け付ける測位データ受付部３００と、前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求める相互標定部３０２と、前記測位データと前記外部標定要素とに基づく絶対標定により前記外部標定要素に実スケールを与える絶対標定部３０３と、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記実スケールが与えられた前記外部標定要素を修正する演算部である調整計算２実行部３０５を有する測量データ処理装置４００。【選択図】図６

Description

本発明は、航空機に搭載したカメラの外部評定要素を求める技術に関する。

無人航空機（ＵＡＶ(Unmanned Aerial Vehicle)）を航空写真測量に用いる技術が知られている。この技術では、ＵＡＶから地表等の測量対象を撮影した写真画像を利用して測量対象の三次元モデル作成する。この技術では、まず撮影対象が重複した複数の写真画像を用いて標定を行い、ＵＡＶ搭載のカメラの外部標定要素（位置と姿勢）を求め、この外部標定要素を用いて三次元モデルの作成に係る処理が行なわれる。航空写真測量におけるカメラの外部標定要素を求める技術については、例えば特許文献１に記載されている。

特開２０１４―６１４８号公報

従来の技術では、地表に位置を予め測定した標定用ターゲットを複数配置し、航空写真の画像に写った標定用ターゲットを用いて後方交会法により各画像に対応したカメラの外部標定要素の算出が行われる。この技術では、標定用ターゲットの設置および測位に係るコストが問題となる。また、地形によっては標定用ターゲットの設置が困難であるという問題もある。

このような背景において、本発明は、航空写真測量に係り、標定用ターゲットの設置に係るコストを削減できる技術を得ることを目的とする。

請求項１に記載の発明は、カメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付ける測位データ受付部と、前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求め、前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を得、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正する演算部を有する測量データ処理装置である。

請求項２に記載の発明は、請求項１に記載の発明において、前記絶対標定では、前記相互標定で得られた前記カメラの撮影対象に対する前記カメラの相対的な移動経路を、前記測位データに基づく前記カメラの移動経路に座標変換することで、前記相対的な外部標定要素に前記絶対値が与えられることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記相互標定では、前記画像に写った撮影対象と前記画像の撮影時における前記カメラの外部標定要素との相対関係を決める相対三次元モデルが作成され、前記絶対標定では、前記相対三次元モデルにおける前記カメラの相対的な移動経路が前記測位データに基づく前記カメラの移動経路にフィッティングするように、前記三次元モデルの縮尺の調整、平行移動、回転が行われることを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれかに記載の発明において、前記反射プリズムに対する前記トータルステーションからの測距光および追尾光の入射角度に基づき、前記反射プリズムの測位データを補正する測位データ補正部を有することを特徴とする。

請求項５に記載の発明は、トータルステーションにより反射プリズムを搭載した航空機の前記反射プリズムを追尾しつつその位置を測位した測位データを扱う測量データ処理装置であって、前記反射プリズムに対する前記トータルステーションからの測距光および追尾光の入射角度に基づき、前記反射プリズムの測位データを補正する測位データ補正部を有する測量データ処理装置である。

請求項６に記載の発明は、請求項４または５に記載の発明において、前記測位データの補正は、前記トータルステーションの指向方向に基づき行われることを特徴とする。請求項７に記載の発明は、請求項６に記載の発明において、前記測位データの補正は、前記トータルステーションの前記指向方向に加えて、前記カメラの姿勢に基づき行われることを特徴とする。

請求項８に記載の発明は、カメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付け、前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求め、前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を得、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正する測量データ処理方法である。

請求項９に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータにカメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付けさせ、前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求めさせ、前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を算出させ、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正させる測量データ処理用プログラムである。

本発明によれば、航空写真測量に係り、標定用ターゲットの設置に係るコストを削減できる技術が得られる。

実施形態の全体概念図である。 標定の原理を示すイメージ図である。 標定の原理を示すイメージ図である。 反射プリズムにおけるＴＳの鉛直角と反射点の鉛直方向における位置の関係を示すグラフである。 反射プリズムにおけるＴＳの鉛直角と反射点の水平方向における位置の関係を示すグラフである。 実施形態における測量データ処理装置のブロック図である。 処理の手順の一例を示すフローチャートである。 入射角の違いに起因して反射プリズムで発生する反射点の変位（ズレ）を説明するイメージ図である。

１．第１の実施形態
（概要）
図１に実施形態の概要の全体図を示す。図１には、ＴＳ（トータルステーション）１００、ＵＡＶ２００、ＰＣ（パーソナルコンピュータ）を利用して構成した測量データ処理装置４００が示されている。ＵＡＶ２００は飛行しながらカメラ２０１による地上の撮影を行う。ＵＡＶ２００は、ＴＳ（トータルステーション）１００により追跡され、且つ、その三次元位置が逐次測定される。ＴＳ１００によるＵＡＶ２００の追跡は、ＵＡＶ２００に搭載した反射プリズム２０２を追尾光により追尾することで行われる。ＴＳ１００によるＵＡＶ２００の測位は、反射プリズム２０２を対象としたレーザー測距により、ＴＳ１００から見たＵＡＶ２００の方向と距離を求めることで行われる。

ＴＳ１００は、絶対座標系上における既知の三次元位置に設置されており、ＴＳ１００から見たＵＡＶ２００の方向と距離が計測されることで、絶対座標系におけるＵＡＶ２００の三次元位置が特定される。

絶対座標系というのは、地図情報を扱う地上に固定された座標系であり、地図座標系とも言える。通常、ＧＮＳＳで用いられる座標系が絶対座標系（地図座標系）である。絶対座標系における座標系の表記としては、緯度、経度、標高（平均海面からの高さ）が挙げられる。絶対座標系の座標軸の向きとしては、Ｘ軸が東の方向、Ｙ軸が北の方向、Ｚ軸が鉛直上方の方向とする例が挙げられる。

ＴＳ（トータルステーション）１００は、市場で入手可能なものを用いている。ＴＳ１００に関しては、例えば特開２００９−２２９１９２号公報、特開２０１２−２０２８２１号公報に記載されている。ＴＳ１００によりＵＡＶ２００を追跡し、測位する技術については、例えば特願２０１６−２４７９１７号や特願２０１７−００２４１９号等に記載されている。また、ＴＳによるターゲット（反射プリズム２０２）の検出および追跡に関する技術は、例えば日本国特許第５１２４３１９号公報に記載されている。

ＵＡＶ２００は、市販されているものにカメラ２０１と反射プリズム２０２を取り付けたものである。ＵＡＶ２００は、飛行制御装置、ＩＵＭ（慣性計測装置）、飛行計画や飛行ログ等を記憶する記憶装置、無線通信装置、ＧＮＳＳ位置特定装置を備えている。ここで、カメラ２０１、反射プリズム２０２、ＩＭＵ、ＧＮＳＳ位置特定装置の位置および姿勢の関係は予め調べられており既知とされている。

ＵＡＶ２００は、予め定めた飛行計画に従って飛行し、その際にカメラ２０１により測量対象（例えば地表）を撮影する。撮影は、１秒毎や２秒毎といった時間間隔で行われ、撮影対象が重複し、少しずつずれた画像が飛行経路に沿って多数撮影される。カメラ２０１が撮影した画像データは、撮影時刻、撮影時刻にＩＭＵによって計測されたＵＡＶ２００の姿勢（カメラ２０１の姿勢）、撮影時刻にＧＮＳＳ位置特定装置によって計測されたＵＡＶ２００の位置（カメラ２０１の位置）のデータと共に飛行ログに格納される。飛行ログのデータは、飛行終了後に回収され、測量データ処理装置４００で処理される。

航空写真測量の精度を高めるには、各画像の撮影時におけるカメラ２０１の外部標定要素（位置と姿勢）の精度が重要となる。本実施形態では、以下の手順によりカメラ２０１の外部標定要素の精度を高める。

（処理フローの概略）
（１）相互標定
航空写真画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ２０１の位置および姿勢の相対関係を特定する。

（２）絶対標定
ＴＳ１００が測位したカメラ２０１の位置（反射プリズムの位置を利用）を用いて上記（１）の相互標定で作成された相対三次元モデルにスケール（実際の値）を与え、カメラ２０１の絶対座標系における外部標定要素の絶対値を求める。

（３）調整計算１
バンドル調整計算および反射プリズム位置とカメラ位置の関係を考慮した調整計算を同時に行い、特徴点の位置およびカメラの外部標定用要素の最適化を行う。

（４）調整計算２
ＴＳ１００からの測距光および追尾光の入射角に依存する反射プリズム２０２における反射点位置の偏差を考慮した（３）の調整計算１を再度行い、特徴点の位置およびカメラの外部標定用要素の最適化を更に進める。

（各処理の詳細）
（１）相互標定
以下、説明を簡素にするために重複した対象を異なる位置から撮影した２枚の画像（以下ステレオ画像）を用いた相互標定について説明する。ＵＡＶ２００は、飛行しながらカメラ２０１により地表を連続して撮影し、多数の航空写真画像を得る。ここで、時間軸上で近接し、撮影範囲が重複した２枚の航空写真画像をステレオ画像として選択する。ＵＡＶ２００は飛行しながら撮影を刻々と行うので、上記のステレオ画像は、視点の位置が異なり、且つ、重複した対象が写った２枚の画像となる。

図２は、時刻ｔ１におけるカメラ２００を示すカメラ２０１ａ、時刻ｔ２（ｔ１＜ｔ２）におけるカメラ２００を示すカメラ２０１ｂが地表の重複した領域を撮影した場合のイメージ図である。

この処理では、まずカメラ２０１ａから撮影した第１の画像とカメラ２０１ｂから撮影した第２の画像のそれぞれから特徴点の抽出を行い、更に第１の画像と第２の画像における特徴点の対応関係の特定を行う。この技術については、例えば特開２０１３−１８６８１６号公報や特開２０１３−１７８６５６号公報に記載されている。なお、特開２０１３−１８６８１６号公報には、特徴点の抽出、２つの画像間における特徴点のマッチング、交会法、各種の標定、特徴点の三次元位置の算出、バンドル調整等について詳細に記載されている。

図２には、上記第１および第２の画像から抽出された共通の特徴点Ｐ_ｊが示されている。なお、２つの画像に共通な特徴点は多数抽出されるが、ここでは説明を簡素にするために１点の特徴点Ｐ_ｊのみが図２に図示されている。

相互標定では、カメラ２０１ａから撮影した第１の画像とカメラ２０１ｂから撮影した第２の画像の間における特徴点のずれが解消されるようにカメラ２０１ａと２０１ｂの向きと位置を探索（調整）し、カメラ２０１ａおよび２０１ｂの相対的な外部標定要素（位置と姿勢）を求める。この段階では、実スケール（絶対座標系における座標値や姿勢の値）が与えられておらず、この段階における外部標定要素は、カメラ２０１ａと２０１ｂの相対位置関係と相対的な姿勢（向き）の関係となる。

図２の場合でいうと、相互標定により、カメラ２０１ａ，２０１ｂ，特徴点Ｐ_ｊの相対的な位置関係と、カメラ２０１ａ，２０１ｂ，特徴点Ｐ_ｊを頂点とする三角形の形状（２つの角の角度）とが求まる。ただし、実スケールが与えられていないので、上記の三角形の大きさは定まらず、相対的な図形となる。

相互標定は、カメラ２０１が撮影した利用可能な全ての画像を対象に行われ、各画像に対応した各視点位置におけるカメラ２０１の相対的な外部標定要素を得る。上記の説明では、２枚の画像をステレオ画像として用いた相互標定の例を説明したが、実際には重複した対象が写った３枚以上の画像を用いて相互標定が行われる。

多数の画像に対応したカメラ位置に関して、上記の相対的な位置と姿勢の関係を求めることで、多数の特徴点とカメラの位置および姿勢との相対的な関係が特定された相対三次元モデルが得られる。図３には、複数の画像に係る各カメラの位置と向きの相対関係と、複数の画像で共通する特徴点の位置の相対関係を特定した相対三次元モデルを作成する原理が概念的に示されている。この相対三次元モデルは実スケールが与えられておらず、絶対座標系との関係は、相互標定の段階では判っておらず未知である。

（２）絶対標定
仮に、図３における複数の特徴点の絶対座標系における位置が判れば、図３の相対モデルに実スケールが与えられ、またカメラ２０１の絶対座標系における向きも特定される。これは、従来から行われている標定用ターゲットを用いた絶対標定の原理である。

本実施形態では、標定用ターゲットを用いずに相互標定によって得られた相対三次元モデルに実スケールを与え、図３に示す相対三次元モデルを絶対座標系上で記述できるようにする。以下、本実施形態における絶対標定ついて説明する。

この処理では、図３に例示する相対三次元モデルにおけるカメラ２０１の移動軌跡に着目する。図１に示すように、本実施形態では、ＵＡＶ２００のカメラ２０１（反射プリズム２０２）の移動軌跡は、ＴＳ１００により追跡および測位され、その軌跡は絶対座標系上で判明している。

そこで、反射プリズム２０２の位置をカメラ２０１の位置と見なして、相対三次元モデル上のカメラ２０２の移動軌跡がＴＳ１００で測位した絶対座標系上におけるカメラ２０２の移動軌跡にフィッティングするように、相対三次元モデルの縮尺調整、平行移動、回転移動を行う。

相対三次元モデルにおけるカメラ２０２の移動軌跡（各時刻における位置を追った軌跡）をＴＳ１００の測位データにフィッティングさせることで、相対三次元モデルにおけるカメラ２０１の移動軌跡が絶対座標系上で記述可能となる。こうして、相対三次元モデルにおけるカメラ位置に実スケール（実際の値）が与えられる。相対三次元モデルにおける各カメラ位置が与えられることで、相対三次元モデルにおける各カメラの姿勢も絶対座標系における値が得られる。また、当該相対三次元モデルにおける各特徴点の実位置も与えられる。こうして相互標定で得られた相対三次元モデルにおける各パラメータの絶対座標系上における実際の値（絶対値）が与えられる。

本明細書では、絶対座標系上における実際の値が絶対値として扱われる。例えば、緯度，経度，標高が位置の絶対値となる。また、北方向をＸ軸、東方向をＹ軸、鉛直上方向をＺ軸とするＸＹＺ座標系におけるベクトルの向きが姿勢の絶対値となる。なお、絶対座標系の代わりにＴＳ１００を原点する座標系（ＴＳ座標系）を採用することもできる。この場合、特徴点やカメラ２０１の外部標定要素の絶対値は、ＴＳ座標系におけるものとなる。

なお、図３の原理で得られる相対三次元モデルは、誤差を含んでおり、また上記の絶対標定において、カメラ２０１の位置を反射プリズム２０２の位置と見なすことに起因する誤差もあるので、上記絶対標定におけるカメラ位置の軌跡のフィッティングは完全ではなく誤差を含んでいる。よって、絶対標定で得られる特徴点とカメラ２０１の外部標定要素の値も誤差を含んでいる。

以上述べたように、本実施形態における絶対標定では、カメラ２０２の移動軌跡を足掛かりとして、相互標定において用いた相対三次元モデルにおけるカメラ２０２の移動軌跡に絶対座標系における値を付与し、当該相対三次元モデルに実スケールを与える。すなわち、相互標定で用いた相対三次元モデルをＴＳ１００で実測したカメラ位置に座標変換し、当該相対三次元モデルのスケールと向きを絶対座標系上で特定する。

上記の絶対標定により、各画像における特徴点の三次元位置、各画像に対応するカメラ２０１の外部標定要素（位置と姿勢）が求まる。

（３）調整計算１
上記（２）の絶対標定により得られた特徴点の位置、および外部標定要素は誤差を含んでいる。この誤差を低減するために以下に説明する調整計算を行う。この調整計算では、数１と数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)および外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i(回転行列)））の最適化が行われる。

ｃ：画面距離（焦点距離）
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘ_ij,ｙ_ij）：画像i上における点ｊの画像上の座標
（Ｘ_oi，Ｙ_oi，Ｚ_oi）：写真iの撮影時におけるカメラ２０１の位置
（ａ_11i〜ａ_33i）：写真iの撮影時におけるカメラ２０１の姿勢を示す回転行列

（Ｘ_pi,Ｙ_pi,Ｚ_pi）：画像iを撮影した時刻における反射プリズム２０２の位置
（Ｌ_Ｘ,Ｌ_Ｙ,Ｌ_Ｚ) ：カメラ位置（投影中心）と反射プリズム反射点との離間距離

上記の数１において、（Ｘj,Ｙj,Ｚj)の初期値は、上述した絶対標定で得られた三次元モデル（絶対座標系上における三次元モデル）における特徴点の三次元座標を用いる。（Ｘ_oi，Ｙ_oi，Ｚ_oi）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ２０１の位置を用いる。（ａ_11i〜ａ_33i）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ２０１の姿勢を示す回転行列の値を用いる。（Ｘ_pi,Ｙ_pi,Ｚ_pi）は、ＴＳ１００が測位した反射プリズム２０２の位置データを用いる。

数１は、バンドル調整計算を行うための観測方程式である。バンドル調整計算では、測定対象物の特徴点、画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に数１の観測方程式を立て、最小二乗法により特徴点の座標（Ｘj,Ｙj,Ｚj)と外部標定要素のパラメータ（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の同時調整が行われる。

数２は、カメラ２０１と反射プリズム２０２の位置のズレを考慮にいれた調整計算を行うための観測方程式である。（Ｌ_Ｘ,Ｌ_Ｙ,Ｌ_Ｚ)は、ＵＡＶ２００に固定された座標系におけるカメラ２０１と反射プリズム２０２の位置関係を決める既知のパラメータである。

数１と数２を用いた調整計算では、特徴点（Ｘj,Ｙj,Ｚj)および外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i(姿勢を示す回転行列)）をパラメータとして、数１および数２の残差を算出する。この際、最小二乗法により上記の残差が収束するような（Ｘj,Ｙj,Ｚj)，（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の組み合わせを探索する。具体的には、数１および数２で示される残差が小さくなるように、各パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）に補正量を加えて数１および数２の同時計算を行うことを繰り返す。そして、数１および数２が収束条件を満たす未知パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい（計算結果の変動が収束した状態）を用いる。

（４）調整計算２（プリズム反射位置を考慮した補正）
調整計算１を行い、収束条件を満たした（Ｘj,Ｙj,Ｚj)，（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）が得られたら、反射プリズム２０２の反射位置のズレを考慮した調整計算２を行う。調整計算２で用いる観測方程式は、調整計算１と同じ数１および数２である。

調整計算２では、数２における（Ｘ_pi,Ｙ_pi,Ｚ_pi）の値として、反射プリズム２０２における上記反射位置のズレを考慮した値を用いる。以下、反射プリズム２０２における反射位置のズレについて説明する。

理想的には、反射プリズム２０２における反射点の位置は不変であり、入射方向に関係なく、常に同じ位置で反射が生じるが、実際には反射プリズム２０２への入射光の入射角により、反射点の位置にズレが生じる。この現象およびそれに対応する技術については、例えば特願２０１６−１９３２１６号に記載されている。

例えば、反射プリズムとして、広い入射角度範囲に対応するために、四角錐（ピラミッド型）形状の反射プリズムを複数組み合わせた構造のものがある。この場合、四角錐形状の各反射プリズムそれぞれの反射原点の位置が一致しなので、原理的に入射角によって反射点位置にズレが生じる。また、上記の場合以外でも反射プリズムの材質や構造に起因して入射角によって反射点位置にズレが生じる場合が有り得る。これら反射点位置のズレも外部標定要素の精度に影響を与える。

図４には、ＴＳにより反射プリズムの測距を行った場合におけるＴＳから見た反射プリズムの方向の鉛直角（鉛直方向における水平面からの角度）と鉛直方向における反射点の位置の変位との関係の一例を示すグラフである。図５は、鉛直角と水平方向における反射点の位置の変位との関係の一例を示すグラフである。

図４および図５に示すように、僅かであるが、反射プリズムに入射する測距光の角度により、反射点の測位データには誤差が生じる。図８は、この際の誤差の発生を概念的に示すイメージ図である。図８には、ＴＳ１００の測距部の光学系を収めた可動部１０１の鉛直角が変化すると、反射プリズム２０２への測距光および追尾光の入射角が変化し、それにより反射プリズム２０２における実際の反射点が、設計上の位置からずれる様子が概念的に示されている。上記反射点のズレが数１および数２で調整されるＸ_oi，Ｙ_oi，Ｚ_oi、ａ_11i〜ａ_33i、Ｘj,Ｙj,Ｚjの誤差の要因となる。

そこで、上記の反射位置のズレを反射プリズム２０２への測距光および追尾光の入射角から予測し、反射プリズム２０２における反射点のズレの影響を補正する。例えば、四角錐の反射プリズムを複数組み合わせた複合反射プリズムを使用する場合、事前に入射角（追尾部の光学系の鉛直角、水平角）と反射点のズレとの関係を取得し、上述した校正データを作成しておく。そして、実際の測位時に当該校正データに基づく測位データの補正を行う。この手法は、他の形態の反射プリズムを採用する場合も同じである。

この処理では、予め反射プリズム２０２への鉛直方向における入射角θ_Vに対する反射位置のズレ、および水平方向における入射角θ_Hに対する反射位置のズレを補正用データとして測定しておく。この補正用データにより鉛直方向の補正量Δｖと水平方向の補正量Δｈと（θ_V，θ_H）の関係、すなわち（Δｖ，Δｈ）＝ｆ（θ_V，θ_H）を予め求めておく。（Δｖ，Δｈ）＝ｆ（θ_V，θ_H）は、テーブルデータであってもよいし、校正曲線であってもよいし、計算用の関数であってもよい。なお、θ_Vとθ_Hは、予め定めておいた反射プリズムの基準軸からの角度として定義される。

そして、画像ｉを撮影した時刻における反射プリズム２０２の位置（Ｘ_pi,Ｙ_pi,Ｚ_pi）を以下のようにして補正する。まず、画像ｉの撮影時における回転行列ａ_11i〜ａ_33iから、反射プリズム２０２の絶対座標系における姿勢を算出する。この反射プリズム２０２の姿勢と、画像iの撮影時におけるＴＳ１００の指向方向の水平角および鉛直角とから、当該時刻における反射プリズム２０２へのＴＳ１００からの測距光および追尾光の入射角の鉛直方向成分θ_Vと水平方向成分θ_Hとを算出する。

ここで、ＴＳ１００の指向方向の水平角は、北を０°とし、そこから時計回り方向の角度（例えば、東は９０°）として計測される。ＴＳ１００の指向方向の鉛直角は、水平方向を０°として、仰角方向を＋角度、俯角方向を−角度として計測する。勿論、これは一例であり、他の定義を採用することも可能である。

そして、上述した予め用意しておいた（Δｖ，Δｈ）＝ｆ（θ_V，θ_H）の関から、（θ_V，θ_H）に対応する反射位置の補正値（Δｖ，Δｈ）を取得する。そして、この取得した（Δｖ，Δｈ）を用いて（Ｘ_pi,Ｙ_pi,Ｚ_pi）の値を補正する。この（Ｘ_pi,Ｙ_pi,Ｚ_pi）の補正値を用いて、数１と数２を用いた計算調整２が行われ、Ｘ_oi，Ｙ_oi，Ｚ_oi、ａ_11i〜ａ_33i、Ｘj,Ｙj,Ｚjの更なる最適化（より精度を高める処理）が行われる。

例えば、鉛直角を水平面からの仰角（＋）、俯角（−）として計測し、水平角として北方向を０°として時計回り方向の角度で計測する場合を考える。ここで、画像ｉを撮影した時刻におけるＴＳ１００の鉛直角が４５°、水平角が０°であり、回転行列ａ_11i〜ａ_33iから求まる反射プリズム２０２の姿勢が鉛直角で捉えて０°（つまり水平）であり、水平角が１８０°（南方向）である場合、反射プリズム２０２への測距光および追尾光の入射角は、鉛直角で−４５°、水平角で０°となる。

（その他）
上述した方法では、標定用ターゲットを利用せずに航空写真測量におけるカメラの外部標定要素を取得できる。この技術において、標定用ターゲットを地表に配置し、画像から抽出した特徴点に対する拘束条件を加えることも可能である。この場合、数１および数２の同時計算において、数３の拘束条件を加える。

（Ｘ_Ｇｊ，Ｙ_Ｇｊ，Ｚ_Ｇｊ）：地上に設置された標定用ターゲットの位置（標定点）

（ハードウェアの構成）
図６には、上述した（１）相互標定，（２）絶対標定，（３）調整計算１，（４）調整計算２を行う測量データ処理装置４００のブロック図が示されている。測量データ処理装置４００は、コンピュータとして機能する。測量データ処理装置４００は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）を用いて構成されている。

測量データ処理装置４００を専用の電子回路で構成することもできる。例えば、ＦＰＧＡ等の電子回路を用いて測量データ処理装置４００の一部または全部を構成することもできる。ＰＣやＷＳを用いて測量データ処理装置４００を構成した場合、ユーザは、当該ＰＣやＷＳのユーザーインターフェース（ＧＵＩ（グラフィカルユーザインターフェース）等）を用いて、測量データ処理装置４００の操作を行う。測量データ処理装置４００は、測位データ受付部３００、画像データ受付部３０１、相互標定部３０２、絶対標定部３０３、調整計算実行部３０４、測位データ補正部３０５、処理制御部３０８、三次元モデル作成部３０９、通信部３１０、記憶部３１１を備えている。

測位データ受付部３００は、ＴＳ１００が測位したＵＡＶ２００の位置データ（反射プリズム２０２の位置データ）を受け付ける。この位置データは、画像iを撮影した時刻における反射プリズム２０２の絶対座標系における位置（Ｘ_pi,Ｙ_pi,Ｚ_pi）である。

画像データ受付部３０１は、カメラ２０１が撮影した画像の画像データを受け付ける。この画像データは、撮影時刻のデータと関連付けされている。なお、カメラ２０１が撮影した画像データと、ＵＡＶ２００の側で取得した撮影時のカメラ２０１の位置と姿勢のデータを画像データ受付部３０１で受け付ける形態も可能である。

相互標定部３０２は、画像データ受付部３０１が受け付けた画像データの中から、重複した対象が撮影された複数の画像を抽出し、それを対象に前述した相互標定を行う。この処理では、連続して多数枚が撮影された各画像から抽出した多数の特徴点、各画像を撮影したカメラ２０１の外部標定要素の相対関係が特定された相対三次元モデルが作成され、各画像に対応したカメラの相対的な外部標定要素が算出される。

絶対標定部３０３は、相互標定部３０２で行った相互標定の結果を用いて、上述した絶対標定を行う。この処理では、相互標定で得た相対三次元モデルにおけるカメラ２０１の移動経路Ｓと、ＴＳ１００が追尾したＵＡＶ２００（反射プリズム２０２）の移動経路Ｓ’とが比較され、移動経路Ｓと移動経路Ｓ’の差が最小となるように、相対三次元モデルの縮尺調整、平行移動、回転移動を行う。上記の差が最小となった段階で、相対三次元モデルに実スケールが与えられ、また絶対座標系（移動経路Ｓを記述する絶対座標系）における向きが決まる。

調整計算実行部３０４は、調整計算１と調整計算２の処理を行う。この処理では、数１のバンドル調整計算と、数２のカメラ位置と反射プリズムの位置の違いに起因する誤差を最小化する調整計算とが行われる。数１と数２は同時に行なわれ、画像中から抽出した特徴点の三次元座標、各画像に対応したカメラ２０１の外部標定要素が最適化される。

測位データ補正部３０５は、反射プリズム２０２における入射光の入射角度の違いによる反射位置（反射点）の違い（ズレ）を補正する処理を行う。具体的には、まず反射プリズム２０２への鉛直方向における入射角をθ_V、水平方向における入射角をθ_H、反射点の鉛直方向の補正量をΔｖ、水平方向の補正量Δｈとした場合に、予め（Δｖ，Δｈ）＝ｆ（θ_V，θ_H）を求めておき、そのデータを記憶部３１１や適当の記憶領域に記憶させておく。そして、実際の測位において、上記の予め取得した（Δｖ，Δｈ）＝ｆ（θ_V，θ_H）に基づき、（θ_V，θ_H）から（Δｖ，Δｈ）を算出し、ＴＳ１００の測位データを補正する。この処理が測位データ補正部３０５で行われる。

ここで、（θ_V，θ_H）は、ＴＳ１００の測距部の指向方向（鉛直方向角と水平角）およびカメラ２０１（反射プリズム２０２）の姿勢（回転行列ａ_11i〜ａ_33iから求まる）から算出される。

処理制御部３０８は、測量データ処理装置４００で行われる処理の手順やタイミングを制御する。処理制御部３０８の機能は、測量データ処理装置４００を構成するハードウェア（例えば、ＰＣやＷＳ）が備えるＣＰＵによって担われる。三次元モデル作成部３０９は、調整計算が行われた結果得られた特徴点の三次元座標を用いてカメラ２０１が撮影した画像に基づく三次元モデルの作成を行う。画像に基づく三次元モデルの作成については、例えば特開ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報等に記載されている。

通信部３１０は、外部の機器との間で通信を行う。ＰＣやＷＳを用いて測量データ処理装置４００を構成した場合、通信部３１０は、利用したＰＣやＷＳのインターフェース機能や通信機能を利用して構成される。記憶部３１１は、測量データ処理装置４００の動作に必要なプログラムやデータ、測量データ処理装置４００の動作の結果得られたデータ等を記憶する。ＰＣやＷＳを用いて測量データ処理装置４００を構成した場合、記憶部３１１として、利用したＰＣやＷＳの半導体メモリやハードディスク装置が利用される。

（処理の手順の一例）
図７は、測量データ処理装置４００で行われる処理の一例を示すフローチャートである。図７の処理を実行するプログラムは、測量データ処理装置４００の記憶部３１１に記憶され、処理制御部３０８によって実行される。当該プログラムは、適当な記憶媒体に記憶され、そこから提供される形態も可能である。

処理が開始されると、ＵＡＶ２００から撮影した画像に基づきスケールなしの三次元モデル（相対三次元モデル）の作成が行われる（ステップＳ１０１）。この処理において相互標定が行われ、各画像に対応したカメラ２０２の相対的な外部標定要素を求める。

次に、ステップ１０１で作成した相対三次元モデルにおけるカメラ２０１の移動経路Ｓが、ＴＳ１００が測位した反射プリズム２０２の位置の移動経路Ｓ’にフィッティングするように相対三次元モデルの縮尺調整、平行移動、回転移動を行い、相対三次元モデルに反射プリズム２０２の位置を基準とした座標変換を施す。（ステップＳ１０２）。これにより、ステップ１０１で作成した相対三次元モデルが絶対座標系上で記述される三次元モデルとなり、絶対座標系における各画像の特徴点の三次元座標（Ｘj,Ｙj,Ｚj)、および画像ｉに対応する絶対座標系におけるカメラの外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）が得られる。

次に調整計算１および２が行われる（ステップＳ１０３）。この処理では、数１および数２の最小二乗解を計算することで、（Ｘj,Ｙj,Ｚj)、（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の最適化を行う。ここで、ステップＳ１０４の判定を行い、収束条件を満たした場合に処理を終了し、特徴点の三次元座標（Ｘj,Ｙj,Ｚj)および外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の値を確定する。収束条件を満たさない場合、未知パラメータ（（Ｘj,Ｙj,Ｚj)、（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i））を更新し（ステップＳ１０５）、再度調整計算を行う。実際には、未知パラメータの更新が多数回繰り返し行われ、収束条件が満たされた段階で（Ｘj,Ｙj,Ｚj)、（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の値が確定される。

（優位性）
相互標定により、カメラ２０１の移動経路Ｓを記述する相対三次元モデルが作成される。他方でＵＡＶ２００搭載の反射プリズム２０２はＴＳ１００で測位され、その絶対座標系上における移動経路Ｓ’が実測値として特定される。

相互標定の後、絶対標定を行う。絶対標定では、絶対座標系上における実測値である移動経路Ｓ’に相対三次元モデル上の移動経路Ｓがフィッティングするように、相対三次元モデルの縮尺調整、平行移動、回転を行う。絶対座標系上において、移動経路Ｓ’に移動経路Ｓがフィッティングすることで、相互標定で得た相対三次元モデルの絶対座標系上における向きと実スケールが与えられる。

この方法では、標定用ターゲットを利用せずに各画像に対応するカメラ２０１の外部標定要素が得られる。

絶対標定の後、数１と数２の調整計算を同時に行ない（調整計算１）、撮影対象の特徴点の三次元座標（Ｘj,Ｙj,Ｚj)、およびカメラ２０１の外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の最適化を行う。この際、数１のバンドル調整計算と同時に、数２の調整計算を行うことで、カメラ２０１と反射プリズム２０２の位置のズレに起因する各パラメータへの誤差の影響が低減される。

調整計算１が収束した段階で、調整計算２を行う。調整計算２では、反射プリズム２０２へのＴＳ１００からの測距光および追尾光の入射角に依存した反射位置の偏差の情報を織り込んだ調整計算を調整計算１と同様に行う。この処理により、撮影対象の特徴点の三次元座標（Ｘj,Ｙj,Ｚj)、およびカメラ２０１の外部標定要素（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）の最適化が更に行われる。

調整計算２を行うことで、反射プリズム２０２への測距光および追尾光の入射角の違いよる測位誤差の影響が低減され、（Ｘj,Ｙj,Ｚj)と（Ｘ_oi，Ｙ_oi，Ｚ_oi，ａ_11i〜ａ_33i）が更に高い精度で得られる。これにより、ＵＡＶ１００を用いた航空写真測量の精度を高くでき、精度の高い測量対象に係る三次元モデルが得られる。

（発明の他の応用）
反射プリズム２０２への測距光および追尾光の入射角による測位位置の補正は、飛行するＵＡＶ２００をＴＳ１００で測位する技術一般に適用可能である。例えば、空撮目的で飛行するＵＡＶ２００をＴＳ１００で追尾する場合に、上記測位位置の補正技術を利用できる。

１００…ＴＳ（トータルステーション）、２００…ＵＡＶ、２０１…カメラ、２０２…反射プリズム。

Claims (9)

1. カメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付ける測位データ受付部と、
   前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求め、前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を得、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正する演算部を有する測量データ処理装置。
2. 前記絶対標定では、前記相互標定で得られた前記カメラの撮影対象に対する前記カメラの相対的な移動経路を、前記測位データに基づく前記カメラの移動経路に座標変換することで、前記相対的な外部標定要素に前記絶対値が与えられる請求項１に記載の測量データ処理装置。
3. 前記相互標定では、前記画像に写った撮影対象と前記画像の撮影時における前記カメラの外部標定要素との相対関係を決める相対三次元モデルが作成され、
   前記絶対標定では、前記相対三次元モデルにおける前記カメラの相対的な移動経路が前記測位データに基づく前記カメラの移動経路にフィッティングするように、前記三次元モデルの縮尺の調整、平行移動、回転が行われる請求項１または２に記載の測量データ処理装置。
4. 前記反射プリズムに対する前記トータルステーションからの測距光および追尾光の入射角度に基づき、前記反射プリズムの測位データを補正する測位データ補正部を有する請求項１〜３のいずれか一項に記載の測量データ処理装置。
5. トータルステーションにより反射プリズムを搭載した航空機の前記反射プリズムを追尾しつつその位置を測位した測位データを扱う測量データ処理装置であって、
   前記反射プリズムに対する前記トータルステーションからの測距光および追尾光の入射角度に基づき、前記反射プリズムの測位データを補正する測位データ補正部を有する測量データ処理装置。
6. 前記測位データの補正は、前記トータルステーションの指向方向に基づき行われる請求項４または５に記載の測量データ処理装置。
7. 前記測位データの補正は、前記トータルステーションの前記指向方向に加えて、前記カメラの姿勢に基づき行われる請求項６に記載の測量データ処理装置。
8. カメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付け、
   前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求め、前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を得、予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正する測量データ処理方法。
9. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータに
   カメラと反射プリズムを搭載した航空機の前記反射プリズムをトータルステーションにより追尾しつつその位置を測位した測位データを受け付けさせ、
   前記カメラが撮影した画像を用いて相互標定により前記カメラの相対的な外部標定要素を求めさせ、
   前記測位データと前記相対的な外部標定要素とに基づく絶対標定により前記相対的な外部標定要素の絶対値を算出させ、
   予め取得しておいた前記カメラと前記反射プリズムの位置関係に基づき前記外部標定要素の前記絶対値を修正させる測量データ処理用プログラム。

Images