JP2016138788A - 測量データ処理装置、測量データ処理方法およびプログラム - Google Patents

Abstract

【課題】撮影した画像中に写った基準点を特定する作業の効率を高める。【解決手段】第１の静止画像のデータおよび第２の静止画像のデータを受け付けるデータ受付部１０２、２つの静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける捜査情報受付部１０４、前記複数の基準点に基づいて第１の静止画像と第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出部１０６、前記指定を受けていない位置が既知の未指定基準点の座標系と前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置とカメラの位置とが記述される統合座標系を得る座標統合部１１０、前記統合座標系における未指定基準点を特定の位置におけるカメラの位置に逆投影し、逆投影画像を得る逆投影画像作成部１１１、前記逆投影画像における未指定基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における未指定基準点の位置を推定する推定部１１２を備える。【選択図】図２

Description

本発明は、測量技術に関する。

例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル（電子データとしてモデル化された三次元地形データ）を得る技術が知られている（例えば、特許文献１参照）。この技術では、得られた三次元モデルに実寸法を与える作業が必要である。この作業では、数十〜数百以上となる静止画像において、各静止画像中に映っている基準点で見つけ、それを各静止画像間で対応付けする作業が必要となる。

特開２０１３−９６７４５号公報

上記の基準点をソフトウェア処理によって自動検出する技術も研究されている。この技術では、基準点にターゲットを置き、ソフトウェア処理による基準点の検出が容易に行われるように工夫されている。しかしながら、画像中からのターゲットの自動検出は誤検出が生じ易く、実際には手作業で作業者が各静止画像を１枚１枚拡大縮小させながら目視で確認し、画像中におけるマーカの位置を特定する作業が行われているのが実情である。この作業は、数十〜数百以上となる静止画像において行わなくてはならず、煩雑で非効率であった。
このような背景において、本発明は、撮影した画像中に写った基準点を特定する作業の効率を高めることができる技術の提供を目的とする。

請求項１に記載の発明は、移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付部と、前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付部と、前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出部と、前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合部と、前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成部と、前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定部とを備えることを特徴とする測量データ処理装置である。

請求項１に記載の発明によれば、作業者（ユーザ）が選択しなかった基準点が逆投影画像を用いて推定される。このため、静止画像の拡大縮小を繰り返して基準点を目視で探す場合の作業に比較して、基準点を見つける作業の効率が高くなる。

請求項２に記載の発明は、請求項１に記載の発明において、前記第１の静止画像および／または前記第２の静止画像において、前記推定部で推定された前記指定を受けていない前記基準点の位置を含む領域を拡大した探索対象領域を設定する処理が行われることを特徴とする。請求項２に記載の発明によれば、静止画像の一部を拡大した探索対象領域を設定することで基準点を見つける領域が限定された領域となるので、基準点を見つける作業の効率を高めることができる。

請求項３に記載の発明は、請求項２に記載の発明において、前記探索対象領域から前記指定を受けていない位置が既知の基準点の位置に配置されたターゲットの検出が行われることを特徴とする。

請求項４に記載の発明は、請求項２または３に記載の発明において、前記検出が正常に行われなかった場合にその旨を報知する処理が行われることを特徴とする。

請求項５に記載の発明は、請求項４に記載の発明において、前記検出が正常に行われなかった場合に、対象となった探索対象領域を画面上に表示する制御が行われることを特徴とする。

請求項６に記載の発明は、請求項２〜５のいずれか一項に記載の発明において、前記探索対象領域の複数を縮小画像として画面上にサムネイル表示する共に、前記複数の縮小画像の一つが指定された場合に当該縮小画像に対応する前記探索対象領域の拡大画像を画面上に表示する制御が行われることを特徴とする。

請求項７に記載の発明は、請求項２〜６のいずれか一項に記載の発明において、前記探索対象領域から検出されたターゲットの既知の位置データと、異なる静止画像から公会法により算出された当該ターゲットの位置データとの差が特定の条件を満たす場合に、当該ターゲットをエラーターゲットと判定する判定部を備えることを特徴とする。

何らエラーや誤差が無い理想的な状況であれば、予め取得したターゲットの位置情報と、同一ターゲットに対する画像解析に基づく公会法により算出したターゲットの位置情報とは一致する。他方で、ターゲットの位置の特定や静止画像を用いた位置の特定処理に問題があれば、検出されたターゲットの既知の位置データと、異なる静止画像から公会法により算出された当該ターゲットの位置データとの間に差が生じる。請求項７に記載の発明は、この差を評価することで、エラーターゲットを検出する。

請求項８に記載の発明は、請求項７に記載の発明において、前記エラーターゲットのエラーの類型を判定するエラー類型判定部を備えることを特徴とする。エラーターゲットが検出された場合に、それが当該エラーターゲットに関するデータの消去や修正で済むのか、一部の情報の取得や見直しを再度行わなくてはならいのか、全体に影響が及ぶ問題があり、かなり前の段階に戻り、測量をやり直す必要があるのか、といった様なことについて見通しを得たい場合がある。後述するように、エラーを分類し、類型化することができる。また、エラーの類型は、エラーターゲットの判定において用いるパラメータを調べることで、ある程度予想することができる。エラーの類型を判定することで、作業者が上述した見通しを得ることができる。

請求項９に記載の発明は、請求項８に記載の発明において、前記差が複数のターゲットにおいて調べられ、前記複数のターゲットにおける前記差の違いが特定の条件を満たす場合に予め定めてある特定のエラーの類型が選択されることを特徴とする。なお、ここで差というのは、探索対象領域から検出されたターゲットの既知の位置データと、異なる静止画像から公会法により算出された当該ターゲットの位置データとの差のことである。

請求項１０に記載の発明は、請求項８または９に記載の発明において、前記差の時間軸上における推移に基づき、予め定めてある特定のエラーの類型が選択されることを特徴とする。

請求項１１に記載の発明は、請求項８〜１１のいずれか一項に記載の発明において、前記エラーの類型を画面上に表示する制御が行われることを特徴とする。

請求項１２に記載の発明は、移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付ステップと、前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付ステップと、前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出ステップと、前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合ステップと、前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成ステップと、前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定ステップとを備えることを特徴とする測量データ処理方法である。

請求項１３に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付部と、前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付部と、前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出部と、前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合部と、前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成部と、前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定部として機能させることを特徴とするプログラムである。

本発明によれば、撮影した画像中に写った基準点を特定する作業の効率を高めることができる技術が得られる。

撮影の状況を示す概念図である。 実施形態のブロック図である。 逆投影画像を得る原理を示す原理図である。 後方公会法の原理を示す原理図である。 テンプレートマッチングの原理を示す原理図である。 前方公会法の原理を示す原理図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 エラーの一例を示す説明図である。 エラーの一例を示す説明図である。 ＵＩ画像の一例を示す図面代用写真である。 ＵＩ画像の一例を示す図面代用写真である。 ＵＩ画像の一例を示す図面代用写真である。 ＵＩ画像の一例を示す図面代用写真である。 エラーの類型判定処理の一例を示すフローチャートである。

１．第１の実施形態
（概要）
以下、実施形態で行われる処理の原理について簡単に説明する。図１には、計測の原理が概念的に示されている。この例では、自律飛行可能な無人航空機（ＵＡＶ（Unmanned Air Vehicle）。）１０に写真撮影が可能なカメラを搭載した機材を用いる。ＵＡＶ１０は、ＧＮＳＳ装置（航法衛星を用いた位置特定装置）とＩＭＵ（慣性航法装置）を搭載しており、自律飛行が可能であるが、その精度は後述する三次元モデルを作成するには不足しているものとする。勿論、コスト増となるが、高精度のＧＮＳＳ装置とＩＭＵを備えたものを用いてもよい。なお、本実施形態における三次元モデルの作成では、ＵＡＶのＧＮＳＳ装置とＩＭＵは必須ではない。また、ＵＡＶではなく有人の航空機を用いることも可能である。

ＵＡＶ１０は、飛行しながら地表を連続的に撮影する。すなわち、飛行しながら、時刻ｔ１に第１の静止画像を撮影し、時刻ｔ２に第２の静止画像を撮影し、時刻ｔ３に第３の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば２秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻ｔ１に撮影した第１のフレーム画像、時刻ｔ２に撮影した第２のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。

上記の撮影では、飛行しながらの撮影であるので、視点の位置が少しずつずれ、また少しずつ撮影対象の範囲がずれた静止画像が多数得られる。また撮影の対象となる地表には、トータルステーション等により三次元位置を特定したターゲットが予め複数配置されている。撮影時刻が時間軸上で隣接あるいは近接する２つの静止画像を比較すると、２つの静止画像は重複した部分があり、またその重複した部分に複数のターゲットが写ったものが得られる。見方を変えると、上述した２つの静止画像に同じ複数のターゲットが映り込むように飛行計画やターゲットの配置状況が決められている。

作業者は、得られた画像データから上述した２つの静止画像を選択し、両者に共通する複数（最低４点）のターゲットをマニュアル操作で選択する。この作業は、例えば、パーソナルコンピュータやタブレットコンピュータ（タブレット端末）を操作することが行われる。ここで、三次元位置が特定された複数のターゲットが共通に映っていることを利用して後方公会法を用いてＵＡＶに搭載したカメラの当該静止画像の撮影時における外部標定要素（姿勢と三次元位置）が算出される。

図４には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：2010/4発行）182p,p184に記載されている。また、特開2013―186816号公報には公会法に関して具体的な計算方法の例が示されている。

ここで、第１の静止画像の撮影時刻をｔ１、第２の静止画像の撮影時刻をｔ２とすると、ｔ１におけるＵＡＶ１０（カメラ）の三次元位置と姿勢、およびｔ２におけるＵＡＶ１０（カメラ）の三次元位置と姿勢が算出されることになる。この処理では、作業者によって指定されたターゲットの位置を明確に分かっている基準点として用い、この基準点の三次元座標と静止画像中における画面座標値とに基づいて、後方公会法により、当該静止画像を撮影した時刻におけるカメラの三次元位置と姿勢が求められる。

簡単に説明すると、図４のＰ１〜Ｐ３が、位置が明確な基準点であり、ｐ_１〜ｐ_３がその画面座標値である。ここで、Ｐ１とｐ_１、Ｐ２とｐ_２、Ｐ３とｐ_３を結ぶ３つの線を設定すると、その交点Ｏがカメラの位置となる。また、点Ｏと画面中心を結ぶ線の延長する方向がカメラの光軸となる。こうして、位置が明確な複数の基準点を撮影した画像を用いて当該画像を撮影したカメラの外部標定要素（位置と姿勢）を求めることができる。

他方で画像処理により、第１の静止画像および第２の静止画像中から特徴点を抽出し、２つの静止画像間における特徴点の対応関係を求める。２つの静止画像間における特徴点同士の対応関係の特定は、テンプレートマッチングを用いて行われる。

テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図５は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。

ここで、先に時刻ｔ１およびｔ２におけるカメラの外部標定要素（位置と姿勢）を求めてあるので、前方公会法を用いて上述した位置が未知の特徴点の三次元位置を算出することができる。図６には、前方交会法の原理が示されている。前方交会法とは、既知の複数点（図６の場合は、Ｏ_１とＯ_２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。こうして、第１の静止画像および第２の静止画像中におけるターゲットと特徴点の三次元座標が取得される。

ここで、カメラ座標系と基準点の座標系とは、同じ座標系（例えば、ＧＮＳＳで利用される座標系）であるので、両者を統合することができ、この統合された座標系では、この時点で指定あるいは検出されているターゲット（基準点）の位置、未抽出である位置が既知の未確定のターゲット（基準点）の位置を記述することができる。

この統合座標系を特定の静止画像を撮影したカメラ位置に逆投影すると、図３に示す原理により特定の静止画像中において未確定のターゲットの位置（基準点の位置）を記述可能な逆投影画像が得られる。

この例では、逆投影画像中における未確定のターゲットの位置を拡大表示した拡大画像を用意する。そしてこの拡大画像に対して、画像識別機能を用いて当該画像中で未確定のターゲットを探索し、ソフトウェア的に未確定ターゲットの探索を行う。ここで、未確定ターゲットが探索できた場合、その識別コードを画像から取得し、データベースに記憶されている当該ターゲットの三次元位置のデータを取得する。

仮に、未確定ターゲットの三次元座標が取得できなかった場合、拡大表示された領域の画像を作業者が目視で観察し、ターゲットを見つける作業を行う。この場合、探索範囲が絞られているので、目視による探索の作業は、探索の範囲が絞られていない場合に比較して容易となる。こうして、第１の静止画像および第２の静止画像において、最初に作業者が指定しなかったターゲットが特定され、その位置情報が取得される。

次に、第２の静止画像と第３の静止画像が比較される。ここで、第３の静止画像には、第２の静止画像に映っていた特徴点およびターゲットが映っているものが選択される。この段階では、第３の静止画像を撮影した際のカメラの位置と姿勢は未知である。しかしながら、第２の静止画像と第３の静止画像とにおいて共通に映っている既に選択されたターゲットおよび特徴点の三次元位置は、第２の静止画像に関係して既に求めてある。よって、図４の後方公会法により、第３の静止画像を撮影した時刻におけるカメラの位置と姿勢を計算することができる。

第３の静止画像を撮影した時刻におけるカメラの位置と姿勢を計算できれば、第１および第２の静止画像に係る処理の場合と同様に第３の静止画像に係る逆投影画像を作成し、第３の静止画像に係る新たな未確定ターゲットの探索を行う。また、他方で第３の静止画像で新たな特徴点の抽出を行い、その三次元位置を算出する。

以上の処理を、第４の静止画像、第５の静止画像・・・に対しても行うことで、複数のターゲットにより実スケールが与えられ、多数の特徴点で構成される三次元モデル（測定対象の三次元モデル）が得られる。以上が本実施形態で行われる処理の原理および概要である。ここでは、地表の三次元モデルを作成する場合を説明するが、対象は地表に限定されず、建築物等の人工構造物であってもよい。

（ハードウェアの構成）
図２には、発明を利用した測量データ処理装置１００のブロック図が示されている。測量データ処理装置１００は、上述した処理を実行するハードウェアである。測量データ処理装置１００は、コンピュータとしての機能を有し、ＣＰＵ、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図２には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。

例えば、測量データ処理装置１００を専用のハードウェアで構成することも可能であるが、汎用のコンピュータを用いて図示する機能部の機能をソフトウェア的に実現する構成も可能である。汎用のコンピュータを用いた場合、当該コンピュータが備えた（あるいは当該コンピュータに接続された）ディスプレイ上に後述するサムネイル表示やターゲットの推定位置付近を拡大した画面表示が行われ、当該コンピュータで利用できるＵＩ（ユーザ・インターフェース）を用いて、作業者による各種の作業が行われる。また、測量データ処理装置１００の少なくとも一部の機能をタブレットコンピュータ（タブレット端末）やスマートフォンで行うことも可能である。

測量データ処理装置１００は、データ記憶部１０１、ＧＵＩ制御部１０２、データ受付部１０３、操作情報受付部１０４、ターゲット情報取得部１０５、外部標定要素算出部（外部標定要素取得部）１０６、特徴点抽出部１０７、対応点特定部１０８、特徴点位置算出部１０９、座標統合部１１０、逆投影画像作成部１１１、ターゲット位置推定部１１２、ターゲット検出部１１３、ターゲット良否判定部１１４、三次元モデル作成部１１５、超解像処理部１１６およびエラー類型判定部１１７を備えている。

データ記憶部１０１には、使用するターゲットの識別情報および三次元位置データが記憶されている。また、データ記憶部１０１には、測量データ処理装置１００の動作に必要な各種のデータが記憶されている。ＧＵＩ制御部１０２は、測量データ処理装置１００での処理の結果を表示するディスプレイ上でのＧＵＩ（グラフィカル・ユーザ・インターフェース）の動作を制御する。作業者は、このディスプレイ上でのＧＵＩを操作することで、ターゲットのマニュアルでの指定や確認等の作業を行う。ＧＵＩ制御部１０２の働きにより、後述する各種の画面表示が行われる。

データ受付部１０３は、ＵＡＶが搭載したカメラが撮影した静止画像の画像データを受け付ける。この画像データでは、静止画像と、その静止画像を撮影した時刻とが関連付けされている。操作情報受付部１０４は、作業者により指示された内容を受け付ける。例えば、上述したＧＵＩを用いての作業者による操作内容に関する情報が操作情報受付部１０４によって受け付けられる。

ターゲット情報取得部１０５は、作業者が指定したターゲットの位置情報（この位置情報はデータ記憶部１０１に記憶されている）の取得、後述するターゲット検出部１１３が検出したターゲットの位置情報の取得を行う。

外部標定要素算出部（外部標定要素取得部）１０６は、ＵＡＶに搭載されたカメラが撮影した静止画像に映っているターゲットおよび／または当該静止画像から抽出された特徴点の三次元座標を利用して図４の後方公会法を用いてカメラの当該静止画像の撮影時における三次元位置と姿勢を算出する。なお、外部標定要素算出部（外部標定要素取得部）１０６は、ＵＡＶが備えたＧＮＳＳ装置とＩＭＵが計測した位置データと姿勢のデータを取得してもよい。

特徴点抽出部１０７は、静止画像中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

対応点特定部１０８は、２枚の静止画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の静止画像中で抽出された特徴点と同じ特徴点を他方の静止画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図５に示すテンプレートマッチングを用いて行われる。特徴点位置算出部１０９は、異なる静止画像間での対応関係が特定された特徴点の三次元座標を図６の前方公会法を用いて算出する。

座標統合部１１０は、カメラ位置の座標系と基準点（ターゲット）の座標系とを統合する。各静止画像の撮影時刻におけるカメラの位置は、外部標定要素算出部１０６において算出される。カメラ位置の座標系というのは、カメラの位置を記述する座標系のことである。特徴点位置算出部で算出した特徴点の位置や作業者によって指定されたターゲットの位置もこのカメラ位置の座標系で記述される。

基準点の座標系というのは、予め取得されている複数のターゲットそれぞれの位置を記述する座標系である。カメラ位置の座標系と基準点の座標系とは、同じ地図座標系（地上の座標を扱う座標系：例えばＧＮＳＳで取得した位置情報を記述する座標系）を用いて記述されている。カメラ位置の座標系と基準点（ターゲットの位置）の座標系とを統合することで、同じ座標系（地図座標系）上でカメラの位置、特徴点の位置、作業者によって指定されたターゲットの位置および作業者によって指定されなかったターゲットの位置が記述される座標系（統合座標系）が得られる。

逆投影画像作成部１１１は、図３の原理により逆投影画像を得る。逆投影画像は、カメラ位置（視点）と、座標統合部１１０で得られた統合座標（実空間座標）における各点の座標位置とを直線で結び、その直線が当該カメラ位置から撮影した静止画像面と交差する点を静止画像中でプロットすることで得られる。例えば、時刻ｔ１に静止画像Ｌ１が得られた場合を考える。この場合、上記の統合座標系上における基準点（ターゲットの位置）と、時刻ｔ１におけるカメラの位置（視点）とを直線で結び、この直線が静止画像Ｌ１の画面と交差する点を静止画像Ｌ１に付与することで、時刻ｔ１における逆投影画像が得られる。

ターゲット位置推定部１１２は、静止画像中で特定していないターゲットの位置を、逆投影画像を用いて推定する。ターゲット検出部１１３は、上記の推定の結果を用い、上述した逆投影画像の中からこの時点で特定していないターゲットを検出する。

ターゲット良否判定部１１４は、作業者によって指定されたターゲットおよびターゲット検出部１１３が検出したターゲットが適切であるか否かの判定を行う。適切でないターゲットとしては、作業者が誤指定（入力情報の打ち間違え等）したターゲット、ステップＳ１１２（図８）において誤検出したターゲット（違うターゲットを検出した場合）、そもそも登録されている位置情報に誤りがあるターゲット、何らかの理由により位置データの信頼性が低いターゲット、本当はターゲットでなかったのに検出されたターゲットもどき（ターゲットと誤って認識された物体や模様等）が適切でないターゲットとして挙げられる。また、風により移動、人が動かした等の理由により、撮影の途中でターゲットの位置が動く場合もあり得る。このようなターゲットも基準点として用いるには、適切でないターゲットとなる。

ターゲットの良否の判定は、ステレオ計測されたターゲットの位置情報を用いて行われる。すなわち、装置側において画像中で特定したターゲットは、そもそもその位置情報が確定しているのであるが、他方で図６に示す原理により、時間軸上で隣接または近接する２枚の静止画像（逆投影画像）からその三次元位置の算出が行なえる。ターゲット良否判定部１１４は、ターゲットの位置（基準位置）に関して、上記の計算位置と予め取得されている位置とを比較し、その差が予め決めた閾値を超えている場合、判定対象のターゲットが適切でない、つまりエラーターゲットであると判定する。

以下、具体的な処理の一例を説明する。まず、第１の静止画像に対応する第１の逆投影画像と第２の静止画像に対応する第２の逆投影画像を考える。ここで、２つの逆投影画像は、撮影時間が近く、ほぼ同じ対象を撮影した場合のものであるとする。そして、上記第１の逆投影画像および上記第２の逆投影画像を用い、図６の前方公会法により、検出したターゲットの三次元位置を求める。次に、求めたターゲットの三次元位置と、当該ターゲットの予め記録してあった三次元位置とを比較する。この際、その差が予め定めた閾値を超えている場合、対象となるターゲットをエラーターゲットと判定する。

エラーの類型判定部１１７は、適切でないターゲットが検出された場合に予め定めておいたエラーの類型の中のどれに対応するかを判定する。エラーが生じた場合に、それが単なる誤検出なのか、装置全体の問題なのか、ターゲットの位置情報に誤りがあったのか、といった状況によって、取り得る対応は異なる。

例えば、図９には、図６の方法で算出したターゲットの位置と予め取得してあったターゲットの位置との差がずれている場合が示されている。この場合、作業者による指定が行われた際にミスがあった可能性やターゲットの誤検出があった可能性が考えられる。また、静止画像を追っていった場合の途中において、図９に示す結果が得られた場合、撮影中にターゲットが動いた可能性が考えられる。

図１０には、複数あるターゲットの中で一つだけ、計算値と既知の値とがずれている場合が示されている。この場合、３つの静止画像から求めたターゲット（基準点）の三次元位置は一致している。よって、予め取得した□印のターゲットの位置情報が誤りであった可能性が高い。ターゲットの位置は、トータルステーションや精密な位置情報が得られるＧＮＳＳ装置を用いて予め取得されているが、機器の操作ミスや航法衛星からの航法信号が正確に検出できなかったといった理由でターゲットの位置を誤測定し、誤った位置情報を取得してしまう場合がある。このような場合、図１０に示すような結果が得られる可能性が高い。

また、複数のターゲットに関して計算値と登録値が合わない場合、機器の動作不良が考えられる。また、複数のターゲットにおいて、計算値と登録値の差にバラツキが見られる場合、装置の動作不良や画像解析に問題がある（例えば、静止画像の一部の画質が暗く特徴点の抽出に支障がある等）場合が考えられる。

以下、エラーの類型一例を説明する。なお、選択される類型は１つであるとは限らず、複数であってもよい。
（１）入力ミス
基準点を打ち間違えた場合である。作業者が指定したターゲットに関して、図９に示すようなそのターゲットだけ他と異なり計算値と登録値の間にずれが見られ、更にそのずれが過度に大きい場合、そのターゲットの指定における作業者の入力ミスの可能性がある。

（２）ターゲット位置がなんらかの影響により撮影画像中で動いてしまった場合
例えば、特定のターゲットに着目した場合において、Ｎ枚目の静止画像とＮ＋１枚目の静止画像とを用いて計算した際には、計算値と登録値にずれがなく、Ｎ＋１０枚目の静止画像とＮ＋１１枚目の静止画像とを用いて計算した際には、計算値と登録値にずれが生じている場合、Ｎ＋２枚目以降にターゲットが動いてしまった可能性がある。

（３） 基準点の計測機器の問題
最初にターゲットの位置は、トータルステーション等を用いて特定し、その位置データを取得するが、その際に位置の特定にミスが生じる場合がある。例えば、機器の故障、航法衛星からの航法信号の受信が安定しておらず計測した位置情報の精度が低かった、機器の操作のミス、といった問題がある場合、その問題が生じたターゲットは、計算値と登録値との間の不一致が生じる。特に、図１０に示すような場合はその可能性がある。

（４）基本的に問題がある場合
全体で計算値と登録値との一致が見られない場合や計算値が収束しない場合、装置の故障やデータに基本的な問題が生じている事態が想定される。

（５）信頼性
利用するデータの信頼性や得られた静止画像の画質等に起因して、計算結果の信頼性が安定しない場合がある。この場合、再度の基準点の位置決めや撮影のやり直しを行うのか、それとも信頼性の高いデータを用いるようにして処理を続行するのか、といった判断を作業者の側で行わなくてはならない場合がある。

例えば、天候の影響等により、特定の領域を撮影した静止画像の画質が暗く、ターゲットの検出精度が低下していた等の問題がある場合、当該領域から検出された複数のターゲットに関して、計算位置と既知の位置との差が生じ易くなる傾向が表れる。同様の傾向は、特定の領域のターゲットの測定精度が低い場合にも表れる。例えば、ある領域でのターゲットの位置計測時に天候が悪く、精度が確保できなかったような場合にこのような状況があり得る。

また、当該領域から検出されたターゲットに関する計算により求めたターゲットの位置（基準点の位置）と予め取得していたターゲットの位置との差のバラツキを評価し、得られたバラツキの程度によって警告のレベルを変える処理が考えられる。この場合、誤差が計測分解能のσ、２σ、３σ、それ以上といったランクに分け、警告のレベルを設定する。計測分解能は、ｆ：カメラの焦点距離、Ｂ：カメラ間距離、δｐ：画像分解能、Ｈ：撮影距離または撮影高度として、Δxy＝Ｈ・δｐ／ｆ、Δz＝Ｈ・Ｈδｐ／（ｆ・Ｂ）で与えられる。

三次元モデル作成部１１５は、多数の静止画像を解析することで得られた複数のターゲットおよび多数の特徴点からなる三次元モデルを作成する。例えば、得られた特徴点を点群位置データとして用いてtin（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。この際、複数のターゲットにより得られた三次元モデルの実寸法が与えられる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、特開２０１２−２３０５９４号公報や特開２０１４−３５７０２号公報に記載されている。

超解像処理部１１６は、静止画像の解像度を高める処理を行う。この例では、超解像処理として以下の処理を行う。まず、対象となる静止画像が選択されたら、当該静止画像に時間軸上で隣接あるいは近接する過去の複数の画像を選択する。例えば、ｎ−１個前、ｎ−２個前、ｎ−３個前、・・といった複数の静止画像を選択する。

同じ場所を映した静止画像であっても、移動しながらの撮影で得られたものであるので、時間軸上で隣接または近接するとはいえ、異なる静止画像間では撮影対象に対する光軸の角度が微妙に異なる。この撮影対象に対する光軸の角度のズレを補正するためのオルソ処理を行う。オルソ処理については、「国土地理院技術資料 A・1-No.289 ディジタルオルソ作成の公共測量作業マニュアル 平成 16 年 1 月 国土交通省国土地理院」に記載されている。オルソ処理は対象となる複数の画像に対して行う。オルソ処理を行ったら、対象となる複数の画像を重ね合わせる。この際、この時点で既知のターゲットで決められる基準点を位置決めマーカとして各画像が精度よく重なるようにする。

重ねた複数の静止画像において、各静止画像を構成する画素が完全に重なることはまずなく、微妙に画素の位置は、ずれたものとなる。すなわち、大抵の場合、第１の静止画像の画素間の隙間に第２の静止画像の画素が存在する状態となる。これは、各静止画像を撮影したカメラの位置がずれていることに起因する。上記の画素がずれる状態は、重ねる画像が増える程顕著となる。すなわち、重ねる画像が増える程、画素の隙間が少ない緻密な画像、言い換えるとより画素密度が高く、高解像度の画像が得られる。超解像処理を行うことで、拡大表示した際のぼけの程度が低くなり、高い解像度の画像が得られる。そして、高い解像度の画像を用いることで、ターゲットの検出精度を高めることができる。

（処理の一例）
図７および図８には、測量データ処理装置１００で行われる処理の手順の一例が示されている。図７および図８に示す手順の処理を実行するためのプログラムは、測量データ処理装置１００内部または外部の適当な記憶領域に記憶され、測量データ処理装置１００のＣＰＵにより読み出されて実行される。このプログラムは、適当な記憶媒体に記憶させることが可能である。ここでは、ＵＡＶが得た位置データと姿勢のデータを利用しない場合を説明する。勿論、ＵＡＶが得た位置データと姿勢のデータを利用することも可能である。

まず、事前の処理として、ＵＡＶを計測対象となる土地の上空で飛行させ、その際にカメラを用いて特定に時間間隔でもって計測対象となる土地の静止画像を撮影する。そして、その撮影データを測量データ処理装置１００に入力しておく。カメラは、基準時間を計測する時計機能を有しており、得られた撮影データでは、撮影時刻と撮影した静止画像とが関連付けされている。

処理が開始されると（ステップＳ１００）、作業者が見ているディスプレイ上に撮影した多数の静止画像が時系列順にサムネイル表示される。作業者は、このサムネイル表示された多数の静止画像の中から、時間軸上で隣接または近接する２枚の静止画像を選択する（ステップＳ１０１）。例えば、時刻ｔ１とｔ２（ｔ２＞ｔ１）における２枚静止画像Ｌ１，Ｌ２を取得する。この操作内容は、図１の操作情報受付部１０４で受け付けられ、ＧＵＩ制御部１０２において対応した処理が実行される。

次に、選択された２枚の静止画像がディスプレイ上に表示される（ステップＳ１０２）。作業者は、この２枚の静止画像から両画像で共通する４点以上のターゲットを目視で探し出し、それらを指定する。この作業は、例えば作業者が測量データ処理装置１００を構成するコンピュータを操作することで行われる。なお、４つ以上の共通のターゲットが見つからない場合、選択する画像を変更する。

測量データ処理装置１００の側では、基準点となる４点以上のターゲットの指定が行われた否かを判定し（ステップＳ１０３）、４点以上のターゲットの指定が行われた場合は、指定されたターゲットの位置情報を図１のデータ記憶部１０１から取得し（ステップＳ１０４）、４点以上のターゲットの指定が行われなかった場合は、ステップＳ１０３の処理を繰り返す。ステップＳ１０４の処理は、図１のターゲット情報取得部１０５において行われる。

ステップＳ１０４の後、ステップＳ１０１で選択された２枚の静止画像のそれぞれを撮影したカメラの位置と姿勢を図４の後方公会法を用いて算出する（ステップＳ１０５）。この処理は、図１の外部標定要素算出部（外部標定要素取得部）１０６において行われる。すなわち、図４において、作業者にとって指定された４点以上のターゲットの位置情報をＰ１，Ｐ２，Ｐ３（図４では３点だが、実際には４点以上となる）、各ターゲットの静止画像中での画面座標位置をｐ１、ｐ２、ｐ３（同様に、図４では３点だが、実際には４点以上となる）として、該当する静止画面を撮影したカメラの位置Оを図４の原理により求める。またОが求まれば、ｐ１、ｐ２、ｐ３と静止画像の画像中心の位置関係から、当該静止画像を撮影した際におけるカメラの光軸の方向が判明するので、その際のカメラの姿勢が分かる。こうして、ステップＳ１０５において、ステップＳ１０２で選択した２枚の静止画像を撮影した時刻におけるカメラの外部標定要素（位置と姿勢）を求める。

次に、この時点で選択されている２つの静止画像から特徴点の抽出を行う（ステップＳ１０６）。この処理は、図１の特徴点抽出部１０７において、ソフトウェア的に構成されたソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いて行われる。なお、抽出した特徴点にターゲットが含まれていてもよい。

次に、ステップＳ１０６で抽出された特徴点に関して、対象となった２枚の静止画像の間で対応する特徴点（対応点）を特定する（ステップＳ１０７）。この処理は、図１の対応点特定部１０８において、例えばテンプレートマッチングを用いて行われる。ここで、誤って対応させた特徴点を検出する誤対応点の検出処理を行ってもよい。誤対応点の検出処理については、例えば特開２０１３−１８６８１６号公報に記載されている。

選択された２つの静止画像で対応する特徴点を特定したら、該特定した対応点の三次元位置を算出する（ステップＳ１０８）。この処理は、図１の特徴点位置算出部１０９において行われる。例えば、時刻ｔ１において静止画像Ｌ１が撮影され、時刻ｔ２において静止画像Ｌ２が撮影されたとする。また、時刻ｔ１におけるカメラの位置と姿勢、時刻ｔ２におけるカメラの位置と姿勢は、ステップＳ１０５において求められているとする。

この場合、図６の点Ｏ１が時刻ｔ１におけるカメラの位置、ｐ_１が静止画像Ｌ１における着目した特徴点Ｐの画面中の位置、点Ｏ２が時刻ｔ２におけるカメラの位置、ｐ_２が静止画像Ｌ２における着目した特徴点Ｐの画面中の位置となる。ここで、Ｏ１とｐ_１を結ぶ線およびＯ２とｐ_２を結ぶ線を設定し、この２つの線の交点の座標を求めることで特徴点Ｐの座標が得られる。この計算を対象となる特徴点の全てにおいて行うことで、ステップＳ１０８の処理が行われる。

ステップＳ１０８の後、ステップＳ１０９に進む。ステップＳ１０９では、ステップＳ１０５で取得されたカメラの位置を記述する座標系（カメラの位置の座標系）とターゲットの位置を記述する座標系とが統合される。この結果、カメラの位置、ステップＳ１０８で算出された特徴点の位置、その時点で指定あるいは検出されているターゲットの位置、さらにその時点で指定あるいは検出されていないターゲットの位置が一つの座標系上で記述される。カメラの位置および特徴点の位置は地図座標系を用いて記述され、ターゲットの位置は、地図座標系上でトータルステーション等を用いて予め特定されているので、両者の座標系の統合は、カメラ位置の座標系にターゲットの座標を書き込むことで行われる。

例えば、第１の静止画像と第２の静止画像において、共通の複数のターゲットＡｉ（ｉ＝１，２，３・・）と複数の特徴点Ｂｊ（ｊ＝１，２，３・・）が特定され、それらの三次元位置も取得されているとする。ここで、第１の静止画像および第２の静止画像中で特定されていない他のターゲットＣｋ（ｋ＝１，２，３・・）は、その３次元位置が既知である（そもそも全てのターゲットは三次元位置を特定した上で設置されている）。そこで、上記特定された複数のターゲットＡｉ（ｉ＝１，２，３・・）と複数の特徴点Ｂｊ（ｊ＝１，２，３・・）が存在する実空間を想定し、その実空間に特定されていないターゲットＣｋ（ｋ＝１，２，３・・）を配置することができる。この場合、ＡｉとＢｊを記述する座標系とＣｋを記述する座標系と統合することで、統合された一つの座標系の中でＣｋを記述することができる。

カメラ位置の座標系と基準点の座標系とを統合したら、ステップＳ１１０に進む。ステップＳ１１０では、この時点で選択されている静止画像の一方または両方に対応する逆投影画像を作成する。この処理は、図１の逆投影画像作成部１１１において行われる。すなわち、ステップＳ１０９で得た統合座標には、ステップＳ１０４で取得しておらず、またこの段階で検出されていないターゲット（未特定ターゲット）の位置がデータとしてプロットされている。そして、この統合された座標系を特定の静止画像Ａを得た視点（カメラ位置）に逆投影し、逆投影画像を作成すると、上記の静止画像Ａでは認知されていなかった上記のターゲットＣｋ（ｋ＝１，２，３・・・）が当該逆静止画像中に現れる。

ステップＳ１１０の後、逆投影画像を用いた未選択ターゲットの位置を推定する処理が行われる（ステップＳ１１１）。この処理は、図１のターゲット位置推定部１１２において行われる。この処理では、逆投影画像中の現れた未特定のターゲット（ステップＳ１０４で位置情報を取得しておらず、且つ、未検出のターゲット）の位置をターゲットの推定位置として取得する。すなわち、逆投影画像に現れた新たなターゲットの位置を「計算によれば、たぶんそこに存在する」という意味で推定位置として認識する処理がステップＳ１１１において行われる。

未特定のターゲットを推定したら、位置を推定したターゲットを検出する処理が行われる（ステップＳ１１２）。以下、ステップＳ１１２で行われる処理について説明する。この処理では、まず逆投影画像の未特定ターゲットの推定位置の付近を拡大した探索対象領域を設定する。例えば、この探索対象領域は、未特定のターゲットの位置を中心とした数ｍ〜１０ｍ程四方程度の領域として選択される。この探索対象領域は、静止画像の一部を拡大した拡大画像となる。こうして、静止画像中に、未確定のターゲットがあるはずであると推定された領域が設定される。

次に、設定された探索対象領域に着目し、その中から推定の対象となったターゲットをソフトウェア処理により検出する。ターゲットは、画像的に認識し易いように、例えば白い円盤の中心に丸印が表示され、またその位置を特定する２次元コード（コードを読み取るための模様）が表示されている。このターゲットを画像解析により上記の探索対象領域中から検出する。

具体的にいうと、まず図１のデータ記憶部１０１には、ターゲットのリファレンス画像が記憶されており、このリファレンス画像を比較画像として用いることで、探索対象領域中からの新規のターゲットの検出が行われる。この技術は、公知の画像認識技術を用いて行うことができる。

また、ステップＳ１１２において、超解像処理を行ってもよい。例えば、超解像処理として以下の処理を行う。まず、ステップＳ１１２で対象となる静止画像に時間軸上で隣接あるいは近接する過去の複数の静止画像を選択する。例えば、ｎ−１個前、ｎ−２個前、ｎ−３個前、・・といった静止画像を選択する。そして得られた複数の静止画像に対してオルソ補正を施し、更にオルソ補正を施した複数の静止画像を位置合わせして重ね合わせ重畳静止画像を得る。この際、この時点で既知のターゲットで決められる基準点を位置決めマーカとして各画像が精度よく重なるようにする。重畳静止画像を得たら、重畳静止画像における対象となる未確定ターゲットの付近を拡大した拡大重畳静止画像を得る。拡大重畳静止画像を得たら、それを対象に画像認識処理を用いてターゲットの検出を行う。

ステップ１１２で行われる画像処理によるターゲットの検出は、ターゲットと似たような形状や模様を誤検出する可能性がある。この可能性は、解像度が低い場合により高くなる。超解像処理を行うことで、拡大しても鮮明な画像が得られるので、ターゲットの検出精度を高めることができる。この優位性は、目視で観察を行う場合も同様である。よって、上記の超解像処理は、後述するステップＳ１１６においても有効である。

ステップＳ１１２の処理は、対象となる領域が限定されているので、効率よく行うことができる。こうして、作業者の操作によらない静止画像中からのターゲットの検出が行われる。この処理は、逆投影画像中に現れた未確定のターゲットの全てに対して行われる。なお、ステップＳ１１２においてターゲットが検出できない場合もあり得る。この場合、見つからなかったターゲットを無視する処理も可能であるが、探索対象領域を画面表示し、作業者がそれを見て目視でターゲットを探す作業を行ってもよい。この場合、ターゲットの検出ができなかった旨を表示し、当該探索対象領域を拡大した画像であり、更にターゲットの推定位置をマーキングされた拡大画像を表示する制御が行われる。この場合、作業者が目視で探索する領域が限定されるので、作業者の負担は比較的小さなもので済む。

新たなターゲットを検出したら、検出したターゲットの中に不適切なターゲット（エラーターゲット）があるか否かを判定する処理が行われる（ステップＳ１１３）。この処理では、作業者に指定されたターゲットの中に不適切なものがあるのか否かも同時に判定される。この処理は、図１のターゲット良否判定部１１４において行われる。この処理では、この時点で選択されている（例えば、ステップＳ１０１で選択された）第１の逆投影画像および第２の逆投影画像を用い、図６の前方公会法により、検出したターゲットの三次元位置を求める。次に、前方公会法で求めたターゲットの三次元位置と、当該ターゲットの予め記録してあった三次元位置とを比較する。この際、その差が予め定めた閾値を超えている場合、対象となるターゲットがエラーターゲットである旨の判定が行われる。

エラーターゲットがない場合、ステップＳ１１９に進み、検出したターゲットの位置情報をデータ記憶部１０１から取得する。エラーターゲットがある場合、前述したエラーの類型の判定が行われる（ステップＳ１１５）。この処理は、エラー類型判定部１１７において行われる。

図１５にエラーの類型を判定する処理の手順の一例を示す。判定で用いる規定値（閾値）は、何段階か用意しておき、現場の状況に合わせて選択することが可能である。図１５の処理において、エラーの類型を判定する処理が開始されると、複数の静止画像を対象とした処理において、エラー発生の頻度が規定値以上であるか否か、が判定される（ステップＳ３０１）。この処理では、例えば、エラーの頻度が特定のパーセンテージ以上であるか否か、の判定が行われる。エラーの頻度が多い場合、使用しているデータ自体の信頼性や精度に問題がある可能性、機器の動作不良の可能性が疑われる。この場合、データエラーの可能性や機器のエラーの可能性が判定される。

次に、特定の静止画像に関連してエラーの頻度が規定値を超えるか否か、が判定される（ステップＳ３０２）。特定の静止画像に関連してエラーの頻度が規定値を超える場合、コントラストや解像度に問題があるといった当該静止画像の問題が疑われる。この場合、当該静止画像にエラーのある可能性が判定される。

次に、図１０の場合のように、予め取得した基準位置（ターゲット）の位置が計算値と一致せず、複数の静止画像に基づく計算値に信頼性がある場合、基準点のデータの信頼性が疑われるので、基準点のデータエラーの可能性が判定される（ステップＳ３０３）。

次に、時間軸上でエラーとなる基準点があるか否か、が判定される（ステップＳ３０４）。例えば、特定のターゲットに着目した場合において、Ｎ枚目の静止画像とＮ＋１枚目の静止画像とを用いて計算した際には、計算値と予め取得した値にずれがなく、Ｎ＋１０枚目の静止画像とＮ＋１１枚目の静止画像とを用いて計算した際には、計算値と予め取得した値にずれが生じる場合がある。このような場合、Ｎ＋２枚目以降にターゲットが動いてしまった可能性が考えられるので、撮影中にターゲットが移動した可能性が判定される。

次に、報知処理が行なわれる（ステップＳ１１６）。報知処理では、エラーと判定されたターゲットがある旨の報知、およびステップＳ１１５で判定されたエラーの類型の報知が行われる。報知は、作業者が使用している端末のディスプレイ上に行われる。この処理は、図２のＧＵＩ制御部１０１において行われる。

例えば、ステップＳ１１６の報知処理では、エラーと判定されたターゲットの付近を表示したサムネイル画像の一覧が表示される。作業者が、このサムネイル画像の一覧の中から、特定のサムネイル画像を選択すると、それが拡大表示される。例えば、探索対象領域が拡大画像として表示される。作業者は、拡大画像を目視し、ターゲットを探す作業を行う。この作業でターゲットが見つかった場合、作業者はＧＵＩを用いてそれを指定する。誤検出されたターゲットが複数ある場合、この作業を対象となる全てのターゲットに対して行う。また、誤検出ターゲットの存在を作業者に報知するだけに止め、サムネイル画像一覧の表示の有無を作業者が選択できるようにしてもよい。推定された付近からターゲットが検出されなかった場合に、当該領域を検出ミス領域として判定する処理を行ってもよい。この場合、検出ミス領域が画面上にサムネイル表示される。これらの処理は、図１のＧＵＩ制御部１０２において行われる。

図１１には、エラーと判定されたターゲットが写ったサムネイル画像、その拡大画像、そのリストが表示されたＵＩ画像の一例が示されている。このＵＩでは、作業者が特定の画像を指定すると、その画像が拡大され、探索対象領域が拡大された拡大画像が表示される。作業者は、この拡大画像を見て、エラーの確認や修正を行う。また、図１１には、ターゲットの探索に失敗した探索対象領域の情報も表示（unfixedの表示）される。作業者は、ターゲットの探索に失敗した探索対象領域の画像を見ることで、当該ターゲットの目視での探索を行うことができる。図１２には、基準点の座標の計測に問題あるいは基準点の誤指定の可能性のある点の一覧が表示されたＵＩ表示の一例が示されている。

ステップＳ１１７では、作業者によりステップＳ１１６で拡大表示された拡大画像中で新たなターゲットが選択されたか否か、が判定される。ターゲットが指定された場合、ステップＳ１１８に進み、そうでない場合は、ステップＳ１１７を繰り返す。ステップＳ１１８では、作業者による確認作業が行われていない他のエラーターゲットがあるか否か、すなわち表示されたサムネイル画像一覧の中で未だ選択されていないものがあるか否か、が判定され、未だ対象となるものがあれば、ステップＳ１１６以下の処理を繰り返し、そうでなければ、ステップＳ１１９に進み、ステップＳ１１６の後に作業者によって指定されたターゲットの位置情報を取得する。指定されたターゲットの位置情報の取得は、図１のデータ記憶部１０１からターゲット位置情報取得部１０５により行われる。

ステップＳ１１９の後、ステップＳ１２０に進む。ステップＳ１２０では、次の静止画像があるか否か、が判定される。次の静止画像がある場合、ステップＳ１２１に進み、次の静止画像を取得する。次の静止画像がない場合、この段階で得られている三次元座標が特定された特徴点およびターゲットに基づいて三次元モデルの作成が行われる（ステップＳ１２５）。ステップＳ１２５の処理は、図１の三次元モデル作成部１１５において行われる。三次元モデルを作成したら、処理を終了する（ステップＳ１２６）。

ステップＳ１２１で次の静止画像を取得した場合、ステップＳ１２１で取得した静止画像と一つ前の静止画像との間で共通する特徴点の特定を行う（ステップＳ１２２）。この処理では、まずステップＳ１２１で取得した静止画像から特徴点を抽出する。この処理は、ステップＳ１０６の処理と同じ出である。次いで一つ前の静止画像との間で対応する特徴点の特定を行う。この処理は、ステップＳ１０７の処理と同じ出である。

例えば、ステップＳ１２２では、以下の処理が行われる。仮に、ステップＳ１２１において、第３の静止画像Ｌ３が取得されたとする。この場合、ステップＳ１２２において、第２の静止画像Ｌ２と第３の静止画像Ｌ３との間で共通する特徴点が特定される。ここで、静止画像Ｌ２から抽出された特徴点の三次元座標は、ステップＳ１０８で算出済である。よって、ステップＳ１２２で特定された静止画像Ｌ２と静止画像Ｌ３との間で共通する特徴点の位置は、この時点で既知である。

ステップＳ１２２の後、ステップＳ１０５に進む。ここでは、ステップＳ１２１で取得した静止画像を撮影したカメラの位置と姿勢（カメラの外部標定要素）を算出する。この段階において、一つ前の静止画像とステップＳ１２１で取得した静止画像で対応する特徴点の位置は判明している。そこで、図４に示す原理によりステップＳ１２１で取得した静止画像を撮影した時刻におけるカメラの位置と姿勢の算出が可能となる。

例えば、ステップＳ１２１において、第３の静止画像Ｌ３が取得されたとする。この場合、ステップＳ１２２→ステップＳ１０５と進んだ処理において、静止画像Ｌ３を撮影した時刻におけるカメラの位置と姿勢が算出される。この際の処理の一例を以下に説明する。まず、図４において、静止画像Ｌ３における静止画像Ｌ２との間で共通する特徴点の位置をＰ１，Ｐ２，Ｐ３とする。また、これら特徴点の静止画像Ｌ３における画面座標の位置をｐ_１，ｐ_２，ｐ_３とする。ここで、Ｐ１とｐ_１、Ｐ２とｐ_２、Ｐ３とｐ_３を結ぶ３つの線を設定すると、その交点Ｏが静止画像Ｌ３を撮影したカメラの位置となる。また、点Ｏと画面中心を結ぶ線の延長する方向が静止画像Ｌ３を撮影したカメラの光軸となり、この光軸の向きから静止画像Ｌ３を撮影した時刻におけるカメラの姿勢が得られる。

なお、ステップＳ１２１で取得された静止画像に対するステップＳ１０６の処理では、その時点で未抽出の特徴点（新たにステップＳ１２１で取得された静止画像で現れた特徴点を含む）が抽出される。

その後、ステップＳ１０７以下の処理が実行され、ステップＳ１２１で取得された静止画像から新たに抽出された特徴点の三次元位置の算出（ステップＳ１０８）やステップＳ１２１で取得した静止画像を対象としたターゲットの検出（ステップＳ１１２）が行われる。すなわち、一つ前の静止画像に対するのと同様にステップＳ１０７以下の処理がステップＳ１２１で取得された静止画像を対象に行われる。

こうして、Ｎ番目の静止画像、Ｎ＋１番目の静止画像、Ｎ＋２番目の静止画像・・・・に対する特徴点の抽出およびその三次元位置の特定、更にターゲットの検出が次々に行われる。

そして、複数の静止画像中における特徴点の三次元座標を算出することで、特徴点で構成される三次元モデルが得られる。例えば、土木工事現場を三次元モデルとしてデータ化したものを得ることができる。

上記の処理において、作業者が必要とするタイミングで、取得したターゲットの一覧を表示させることができる。この際、一覧の中から特定のターゲットを選択すると、そのターゲットの付近の拡大画像を表示することができる。この処理は、図２のＧＵＩ制御部により行われる。図１３および図１４は、検出したターゲットのリスト、サムネイル画像の一覧、その段階的な拡大画像を表示したＵＩ表示画面の一例が示されている。

（優位性）
仮に、エラーターゲットが検出されなければ、作業者が行う作業は、最初の１枚目と２枚目の静止画像におけるターゲットの指定のみである。そして、エラーターゲットが検出された場合には、その旨を報知する処理を受け、作業者が当該ターゲットの正誤を確認する作業、およびターゲット手作業で指定する作業を行う。この作業は、従来の作業と同じであるが、周囲の特徴点や既に指定されたターゲットとの相対位置関係は判明しているので、未知のターゲットを探す範囲は限定され、作業は行い易い。総じて、ターゲットを手作業で指定する作業は減り、作業の煩雑さは大きく軽減される。

（その他）
なお、衛星測位システム等により位置情報を高精度に計測しながら飛行を行う無人航空機（ＵＡＶ（Unmanned Air Vehicle）を利用した場合に、カメラ位置を求める演算は行わずにＵＡＶ側で得た位置情報を用いることも可能である。勿論、ＵＡＶから得られる位置情報と画像解析に基づき演算により求めた位置情報の両方を用いてカメラの位置を得る方法も可能である。この場合、両者の平均値を採用する、重み付けを行い加重平均の値を採用する、条件によってより精度の高い方と判定される方を採用する、といった方法が可能である。

また、上記の例では、ＵＡＶが必ずしも自律飛行する必要はなく、遠隔操作で飛行する形態であってもよい。コスト、用意できるＵＡＶの種類、現場の状況、あるいは測定対象の規模等によっては、この形態の可能性もあり得る。

また、ステップＳ１１１の推定した位置の領域の一覧をサムネイル画像表示し、その中から作業者が探索対象領域を選択し、この選択した探索対象領域を対象に作業者の目視によるターゲットの検出作業を行う態様も可能である。この場合、ターゲットの自動検出は行われないが、作業者が目視により探索する領域が限定されているので、探索対象領域を絞り込む処理を行わない場合に比較して、作業者の負担は大きく軽減される。特に、拡大表示された探索対象領域の中にターゲットの推定位置を表示することで、目視によるターゲットの検出がより容易となる。

以上説明した技術は、撮影した画像中から基準点を検出する技術に利用することができる。例えば、車両、航空機、船舶といった移動体の移動経路の算出を行う技術に利用できる。この場合、ステップＳ１０５の処理により移動体の外部標定要素が静止画像毎に得られるので、静止画像を得た時刻における移動体の位置の算出が行える。この処理は、移動しつつリアルタイムに行うこともできる。

ターゲットとして道路標識や位置が既知の建物、鉄塔、各建築物や工作物を利用することもできる。また、公共道路や鉄道のレール、送電線、送電線を支持する鉄塔といったものも位置が既知のターゲットとして利用することができる。

２．第２の実施形態
本発明において、カメラ付きのトータルステーションやレーザスキャナが得た３次元点群位置データ（あるいは当該三次元点群位置データに基づく三次元モデル）を併用することも可能である。この場合、基準点を用いずに第１の実施形態で説明した方法により第１の三次元モデルを作成する。この三次元モデル（その１）は、第１の実施形態のような基準点の指定を行っていないので、特徴点間の相対的な位置関係を特定した相対モデルとなる。

他方でレーザ測距装置に加えてカメラを備えたトータルステーション（例えば、特開２０１４−１７３９９０号公報参照）やレーザスキャナを用いて、三次元モデル（その１）と重複する地域の点群位置データ取得し、その点群位置データに基づく三次元モデル（その２）を作成する。

ここで、三次元モデル（その２）に関して、カメラを備えたトータルステーションを用いた場合は、実スケールを備えた三次元モデルが得られる。レーザスキャンを用いた場合は、スキャナの位置を予め特定しておくことで実スケールを備えた三次元モデルが得られる。

そして、三次元モデル（その１）と三次元モデル（その２）をマッチングさせ、両者の対応関係を求める。例えば、三次元モデル（その１）を拡大、縮小、回転および平行移動させて三次元モデルその２とマッチングする条件を探索する。両者のマッチングが取れた段階で、三次元モデルその１に実スケールが与えられる。この方法によれば、作業者が基準点を指定する作業を省くことができる。

３．第３の実施形態
第１の実施形態において、最初に指定する基準点を画像認識により自動検出する形態も可能である。この場合、最初に選択する２つの静止画像に共通に写る複数の位置（４点以上の位置）に極めて画像認識が行い易い基準ターゲットを設置する。この基準ターゲットは、画像認識が行われ易いように、背景となる地表の状態等に注意して設置場所を決める。なお、この基準ターゲット以外のターゲットは、第１の実施形態の場合と同様にして配置する。

この例の場合、ステップＳ１０２で選択される静止画像中からソフトウェア処理によりターゲットの検出が行われる。後は、第一に実施形態と同様の処理が行われる。本実施形態では、最初に検出されるターゲットを自動検出し易い特殊なターゲットとする必要があるが、実施形態１で必要とされる作業者が最初にターゲットを指定する作業を行う必要がない優位性がある。本実施形態においてもターゲットとして、道路標識、位置が既知の建物、鉄塔、各建築物や工作物、公共道路、鉄道のレール、送電線、送電線を支持する鉄塔といったものを利用できる。

１０…無人航空機（ＵＡＶ）。

Claims (13)

1. 移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付部と、
   前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付部と、
   前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出部と、
   前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合部と、
   前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成部と、
   前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定部と
   を備えることを特徴とする測量データ処理装置。
2. 前記第１の静止画像および／または前記第２の静止画像において、前記推定部で推定された前記指定を受けていない前記基準点の位置を含む領域を拡大した探索対象領域を設定する処理が行われることを特徴とする請求項１に記載の測量データ処理装置。
3. 前記探索対象領域から前記指定を受けていない位置が既知の基準点の位置に配置されたターゲットの検出が行われることを特徴とする請求項２に記載の測量データ処理装置。
4. 前記検出が正常に行われなかった場合にその旨を報知する処理が行われることを特徴とする請求項２または３に記載の測量データ処理装置。
5. 前記検出が正常に行われなかった場合に、対象となった探索対象領域を画面上に表示する制御が行われることを特徴とする請求項４に記載の測量データ処理装置。
6. 前記探索対象領域の複数を縮小画像として画面上にサムネイル表示する共に、前記複数の縮小画像の一つが指定された場合に当該縮小画像に対応する前記探索対象領域の拡大画像を画面上に表示する制御が行われることを特徴とする請求項２〜５のいずれか一項に記載の測量データ処理装置。
7. 前記探索対象領域から検出されたターゲットの既知の位置データと、異なる静止画像から公会法により算出された当該ターゲットの位置データとの差が特定の条件を満たす場合に、当該ターゲットをエラーターゲットと判定する判定部を備えることを特徴とする請求項２〜６のいずれか一項に記載の測量データ処理装置。
8. 前記エラーターゲットのエラーの類型を判定するエラー類型判定部を備えることを特徴とする請求項７に記載の測量データ処理装置。
9. 前記差が複数のターゲットにおいて調べられ、
   前記複数のターゲットにおける前記差の違いが特定の条件を満たす場合に予め定めてある特定のエラーの類型が選択されることを特徴とする請求項８に記載の測量データ処理装置。
10. 前記差の時間軸上における推移に基づき、予め定めてある特定のエラーの類型が選択されることを特徴とする請求項８または９に記載の測量データ処理装置。
11. 前記エラーの類型を画面上に表示する制御が行われることを特徴とする請求項８〜１０のいずれか一項に記載の測量データ処理装置。
12. 移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付ステップと、
    前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付ステップと、
    前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出ステップと、
    前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合ステップと、
    前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成ステップと、
    前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定ステップと
    を備えることを特徴とする測量データ処理方法。
13. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    移動しながら同一の対象を第１の時刻に撮影することで得た第１の静止画像のデータおよび前記第１の時刻の後の第２の時刻に撮影することで得た第２の静止画像のデータを受け付けるデータ受付部と、
    前記第１の静止画像および前記第２の静止画像において共通に映っており、位置が既知の複数の基準点の指定を受け付ける指定受付部と、
    前記複数の基準点に基づいて前記第１の静止画像を撮影したカメラの外部標定要素および前記第２の静止画像を撮影したカメラの外部標定要素を算出する外部標定要素算出部と、
    前記指定を受けていない位置が既知の基準点の座標系と前記外部標定要素算出部が算出した前記カメラの位置の座標系とを統合し、一つの座標系上で前記基準点の位置と前記カメラの位置とが記述される統合座標系を得る座標統合部と、
    前記統合座標系における前記指定を受けていない位置が既知の基準点を特定の位置における前記カメラの位置に逆投影し、逆投影画像を得る逆投影画像作成部と、
    前記逆投影画像における前記指定を受けていない前記基準点の画面中の位置に基づき、前記特定の位置から前記カメラが撮影した静止画像中における前記指定を受けていない前記基準点の位置を推定する推定部と
    して機能させることを特徴とするプログラム。

Images