JP2022023592A - 測量システム、測量方法および測量用プログラム - Google Patents

Abstract

【課題】ＵＡＶを用いた点検や監視において、対象に対するＵＡＶの適切な航路の設定および適切な位置からのＵＡＶの撮影を可能とする。【解決手段】第１のカメラ、レーザースキャナ部２０２およびトータルステーションを複合化した測量装置２００、第２のカメラ３０１を搭載したＵＡＶ３００、第１のカメラおよび第２のカメラ３０１が撮影した画像データを受け付ける画像データ受付手段と、レーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付手段と、レーザースキャンデータに基づきＵＡＶ３００の飛行経路を設定する飛行経路設定手段と、ＵＡＶの飛行経路における第２のカメラ３０１の向きを設定するカメラの向き設定部とを備える処理装置４００により構成される測量システム。【選択図】図１

Description

本発明は、レーザースキャナが得た情報を利用する技術に関する。

特許文献１には、レーザー測距技術を用いてＵＡＶの飛行制御を行う技術が記載されている。

特開２０１９－１１７１２７号公報

例えば、ＵＡＶ(Unmanned Aerial Vehicle)を用いて橋梁の目視点検を行う技術がある。この場合、ＵＡＶの飛行経路の設定が重要となる。この技術では、橋脚や支柱等とＵＡＶが接触せず、またそれらが撮影の障害とならず、更に要求された箇所を撮影し易い位置にＵＡＶを飛行させる必要がある。

特許文献１の技術では、橋梁にＵＡＶが接触しないようにする点が記載されている。しかしながら、ＵＡＶからの撮影を行うのに適した航路の設定については特許文献１に記載されておらず、また示唆されていない。

このような背景において、本発明は、ＵＡＶからの撮影を用いた点検や監視において、ＵＡＶから撮影した画像を有効に利用できる技術の提供を目的とする。

本発明は、それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載し、自律飛行が可能なＵＡＶが取得した測量データを処理する測量データ処理システムであって、前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付手段と、前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定手段と、前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定手段とを備える測量システムである。

本発明によれば、測量装置からのレーザースキャンの結果に基づき、ＵＡＶの飛行経路と飛行中のＵＡＶ搭載のカメラの向きが設定される。このため、ＵＡＶとレーザースキャン対象との干渉の防止、ＵＡＶによる最適な撮影位置の設定、飛行中における撮影に適したＵＡＶ搭載のカメラの向きの設定が可能となる。

本発明において、前記ＵＡＶにより、前記特定の部分の撮影が行われ、前記視点の位置は、前記特定の部分を正面から見る位置である態様は好ましい。正面から見る視点をとることで、対象物の検査や劣化診断に適した画像を得ることができる。

本発明において、前記レーザースキャンデータに基づき、前記特定の部分の法線が算出され、前記視点の位置は、前記法線に基づき算出される態様は好ましい。特定の部分の法線上に視点をとることで、当該特定の部分を正面から見る視点が得られる。

本発明において、前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成部と、前記第２のカメラが撮影した画像に基づき、立体写真計測の原理により被撮影対象の３Ｄモデルを作成する第２の３Ｄモデル作成部とを備える態様が挙げられる。

本発明において、前記ＵＡＶの飛行中において、前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、前記第２の３Ｄモデル作成部が作成する３Ｄモデルは、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成する３Ｄモデルと同じ座標系上で作成される態様が挙げられる。

この態様によれば、当該対象物に対するＵＡＶ搭載の第２のカメラを用いたＳＦＭ(Structure from Motion:多視点ステレオ写真測量)におけるカメラの位置と姿勢が、測量装置で利用する座標系上で定義される。これにより、第２の３Ｄモデルが第１の３Ｄモデルと同じ座標系で定義される。このため、複雑な後処理なしで、第１の３Ｄモデルと第２の３Ｄモデルの比較および統合が可能となる。

また、測量装置のトータルステーション機能を用いてＵＡＶの測位を行うことで、ＵＡＶでのＧＮＳＳの受信を必要としない。そのため、誤差の大きいＵＡＶ搭載のＧＮＳＳを利用しなくて済む。またＧＮＳＳが利用できない橋梁の下やＧＮＳＳの利用に障害が生じ易い山間部や高層ビル群等の市街地でも高い精度の計測が可能となる。

本発明において、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成した３Ｄモデルに前記第１のカメラが撮影した画像をマッピングするマッピング処理部を備える態様が挙げられる。

ＳＦＭの原理により、第２のカメラの位置と第２のカメラが撮影した画像中における多数の特徴点との相対位置の関係が求められ、相対的な三次元モデルが得られる（相互標定）。ここで、前記トータルステーションによる前記ＵＡＶの測位を行いことで、ＵＡＶに搭載した第２のカメラの位置が特定される。これにより、当該相対的な三次元モデルにスケールが与えられ（絶対標定）、利用する測量装置で用いる座標系上で、第２のカメラが撮影した画像中の特徴点の位置が特定される。すなわち、第１の３Ｄモデルを定義する座標系において、第２のカメラが撮影した画像中の特徴点の位置が特定される。

その結果、第１の３Ｄモデルと第２のカメラが撮影した画像の関係、すなわち第１の３Ｄモデルのどの部分が、第２のカメラが撮影したどの画像に対応するのか、が判明する。これにより、第２のカメラで撮影した対象物の詳細画像を第１の３Ｄモデルに関連付けることができ、第１の３Ｄモデルに第２のカメラで撮影した対象物の詳細画像をマッピングできる。例えば、第１の３Ｄモデルに、第２のカメラが得たより詳細なテクスチャを貼り付けることができる。

本発明において、前記マッピングとして、前記第１の３Ｄモデル作成部が作成した３Ｄモデルへの前記第２のカメラが撮影した画像の埋め込みまたは重畳が行われる態様が挙げられる。マッピングとしては、貼り付け、データ上での関連付け、吹出しや引き出し線を用いた画面表示上での関連付け等も可能である。

本発明において、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１のカメラが撮影した画像に前記第２のカメラが撮影した画像をマッピングするマッピング処理部を備える態様が挙げられる。前記マッピングとして、前記第１のカメラが撮影した画像への前記第２のカメラが撮影した画像の埋め込みまたは重畳が行われる態様が挙げられる。

本発明において、前記レーザースキャナによる測量対象物に対するレーザースキャンを行い、前記第２のカメラは、前記レーザースキャンの結果生じる前記測量対象物におけるレーザースキャン光の輝点を検出し、前記輝点に基づき、前記第２のカメラの姿勢が算出される態様が挙げられる。

例えば、レーザースキャン光の輝点の１点を第２のカメラが撮影した画像中で特定したとする。ここで、当該画像中におけるこの輝点の位置（画像中での２次元位置）、第２のカメラの焦点距離、撮影対象の３Ｄ位置が判れば、第２のカメラの姿勢を求めることができる。また、当該輝点の２点以上を特定することで、第２のカメラの位置と姿勢を求めることができる。

また、第２のカメラによる多視点ステレオ写真測量における３次元計測では、相互標定、絶対標定、バンドル調整計算が行なわれる。このバンドル調整計算時に上記の輝点を拘束点として用いることで、計算時の負担を低減させ、また計算の精度を高めることができる。

本発明は、それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載し、自律飛行が可能なＵＡＶが取得した測量データを処理する測量データ処理方法であって、前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付ステップと、前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付ステップと、前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付ステップと、前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定ステップと、前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定ステップとを有する測量方法として把握することもできる。

本発明は、それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置と、第２のカメラを搭載し、自律飛行が可能なＵＡＶとを用いた測量を実行するためのプログラムであって、コンピュータに前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付ステップと、前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付ステップと、前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付ステップと、前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定ステップと、前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定ステップとを実行させる測量用プログラムとして把握することもできる。

本発明は、それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載したＵＡＶが取得した測量データを処理する測量データ処理システムであって、前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成部と、マッピング処理部とを備え、前記ＵＡＶの飛行中において、前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、前記マッピング処理部は、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成した３Ｄモデルに前記第１のカメラが撮影した画像をマッピングする測量システムとして把握することもできる。

本発明は、それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載したＵＡＶが取得した測量データを処理する測量データ処理システムであって、前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成部と、マッピング処理部とを備え、前記ＵＡＶの飛行中において、前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、前記マッピング処理部は、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１のカメラが撮影した画像に前記第２のカメラが撮影した画像をマッピングする測量システムとして把握することもできる。

本発明のマッピングにおいて、前記第２のカメラは、前記ＵＡＶが飛行している状態において、前記レーザースキャンの対象に対して複数回の写真撮影を行い、前記複数回の写真撮影によって得た複数の画像中の多数の特徴点と前記第２のカメラの位置の関係および前記トータルステーションによる前記ＵＡＶの測位データに基づき、前記複数の画像それぞれにおける前記第２のカメラの位置と姿勢が求められ、前記レーザースキャンデータと前記第２のカメラの位置と姿勢の関係に基づき、前記マッピングが行われる態様は好ましい。

本発明によれば、ＵＡＶからの撮影を用いた点検や監視において、ＵＡＶから撮影した画像を有効に利用できる技術が得られる。

実施形態の概要図である。 測量装置のブロック図（Ａ）とＵＡＶのブロック図（Ｂ）である。 処理装置のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。

（概要）
図１に発明を利用したシステムの概要を示す。図１には、橋梁１００、測量装置２００、ＵＡＶ３００および処理装置４００が示されている。橋梁１００は、目視メンテナンスの対象となるインフラ設備の一例である。測量装置２００は、トータルステーションとレーザースキャナを複合化した構成を有する。ＵＡＶ３００は、橋梁１００の詳細画像の撮影を行うための飛行を行う。

処理装置４００は、測量装置２００が得た測量データに基づき、ＵＡＶ３００の飛行計画を作成する。この飛行計画には、飛行ルートと飛行中におけるＵＡＶ３００からの撮影方向（カメラ３０１の向き）の計画が含まれる。また、処理装置４００は、測量装置２００が得た橋梁１００の画像および３Ｄモデルと、ＵＡＶ３００から撮影した橋梁の詳細画像を統合して処理する。カメラ３０１の向き（姿勢）は、飛行するＵＡＶ３００の向きから求められる。よって、飛行中におけるＵＡＶ３００の姿勢を決めることで、カメラ３０１の向きを決めることができる。なお、ＵＡＶ３００の向きは、ＩＭＵにより計測される。

処理装置４００は、市販のＰＣ（パーソナル・コンピュータ)を用いて構成され、無線ＬＡＮ等の適当な通信手段により、測量装置２００とデータのやり取りが行われる。測量装置２００は、レーザースキャンデータ、内蔵するカメラが撮影した画像データ、およびＵＡＶ３００を対象に行った測位データを処理装置４００に送る。また、ＵＡＶ３００が撮影した撮影データおよび飛行ログのデータは、処理装置４００に送られる。

（測量装置）
図１には、測量装置２００の外観が示され、図２（Ａ）には、測量装置２００のブロック図が示されている。測量装置２００は、トータルステーションとレーザースキャナを複合化させた構造を有する。この形態の測量装置としては、特開２０１９－１１７１２７号公報、特開２０１９－１００９１５号公報、特開２０１９－９０６５３号公報に記載されたものが公知である。

図２（Ａ）に示すように、測量装置２００は、カメラ２０１、レーザースキャナ部２０２、トータルステーション部２０３を備える。図１に示すように、測量装置２００は、三脚２１０の上部に固定されたベース部２１１、ベース部２１１に水平回転が可能な状態で結合された水平回転部２１２、水平回転部２１２に鉛直面内での回転（仰角および俯角方向への回転）が可能な状態で結合した鉛直回転部２１３、水平回転部２１２の上部に固定されたレーザースキャナ部２０２を備えている。

カメラ２０１は、鉛直回転部２１３の内部に納められている。カメラ２０１の光学系は、後述する望遠鏡２１４とは別に配置されている。カメラ２０１の向きは、望遠鏡２１４と同じ方向を向き、望遠鏡２１４の光軸中心（トータルステーション部２０３の光軸中心）中心とした広角画像を撮影する。カメラ２０１の撮像部は、ＣＣＤやＣＭОＳイメージセンサにより構成されている。

鉛直回転部２１３は、光学系である望遠鏡２１４を備えている。望遠鏡２１４は、トータルステーション部２０３の光学系としても利用されている。ユーザは、望遠鏡２１４を介して、トータルステーション部２０３の視準作業を行うことができる。この例では、カメラ２０１の光学系は、望遠鏡２１４と別に用意されているが、望遠鏡２１４を介してカメラ２０１による撮像を行う形態も可能である。この場合、カメラ２０１、望遠鏡２１４およびトータルステーション部２０３で光学系が一部共用される。

レーザースキャナ部２０２は、望遠鏡２１４の光軸を含む鉛直面内におけるレーザースキャンを行う。レーザースキャナ部２０２は、水平方向を回転軸として回転するミラーを備え、このミラーを回転させながら、このミラーで発光部からの連続パルス光を反射させることで、上記の鉛直面内におけるレーザースキャン光の放射が行われる。また、反射物から反射されてきたスキャンパルス光は、上記のミラーに入射し、受光部で受光される。水平回転部２１１を回転させながら上記のレーザースキャンを行うことで、全周スキャンや特定の対象物に対するレーザースキャンが行われる。

トータルステーション部２０３は、レーザー測距光を発光する発光部、発光部からの光の分岐光が導かれる基準光路、測位対象物から反射されたレーザー測距光および基準光路を伝搬した基準光を受光する受光部、測距光と基準光の受光タイミングの差（位相差）に基づき、測距を行う測距部を備える。また、水平回転部２１１の水平回転角と鉛直回転部２１３の鉛直回転角は、エンコーダーにより精密に計測され、その計測値と測距値に基づき、トータルステーション部２０２による測位対象物の測位が行われる。

レーザースキャナ部２０２の基本構造およびレーザースキャン点群の取得の原理、更にトータルステーション部２０３の基本構造および測位の原理は、特開２０１９－１１７１２７号公報、特開２０１９－１００９１５号公報、特開２０１９－９０６５３号公報に記載されたトータルステーションとレーザースキャナを複合化させた測量装置と基本的に同じである。

カメラ２０１、レーザースキャナ部２０２およびトータルステーション部２０３の外部標定要素（位置と姿勢）の関係は、事前に取得されており、既知とされている。測量装置２００では、カメラ２０１のカメラ座標系の原点（カメラ２０１の投影原点）が機械原点として設定されている。この機械原点を原点とするローカル座標系において、レーザースキャナ部２０２が得たレーザースキャン点群、およびトータルステーション部２０２により測位した点の３次元座標が記述される。

（ＵＡＶ）
図２（Ｂ）には、ＵＡＶ３００のブロック図が示されている。ＵＡＶ３００は、カメラ３０１、ＧＮＳＳ位置測定装置３０２、ＩＭＵ３０３、飛行制御装置３０４、飛行計画記憶部３０５、カメラの向き制御部３０６、飛行ログ記憶部３０７および画像データ記憶部３０８を備えている。またＵＡＶ３００は、飛行に必要なプロペラ、該プロペラを駆動するモータ、該モータに電力を供給するバッテリーおよび無線通信装置を備える。ＵＡＶ３００の基本的な構成は、通常のＵＡＶと同じである。

カメラ３０１は、静止画および動画の撮影が可能である。ＵＡＶ３００の機体本体に対するカメラ３０１の外部標定要素（位置と姿勢）は予め求められ、既知である。また、カメラ３０１と後述の反射プリズム３０９の位置関係（オフセット位置関係）も予め求められ既知となっている。

この例では、ＵＡＶ３００の機体の姿勢を変えることで、カメラ３０１の向きを制御する。ＵＡＶ３００の機体に対して、モータ等の駆動機構を利用してカメラ３０１の向き（姿勢）を可変する構造も可能である。

ＧＮＳＳ位置測定装置３０２は、ＧＰＳ衛星に代表される航法衛星からの航法信号に基づいた測位を行う。測位は、絶対測位または相対測位により行われる。ＩＭＵ３０３は、慣性計測装置であり、ＵＡＶ３００に加わる加速度、およびＵＡＶ３００の姿勢の変化を検出する。

飛行計画記憶部３０５は、飛行に先立って設定した飛行計画を記憶する。飛行計画には、ＵＡＶ３００の飛行経路、および該飛行経路におけるＵＡＶ３００の姿勢（カメラ３０１の姿勢）が含まれている。ＵＡＶ３００の飛行経路と姿勢は、測量装置２００の機械原点を原点としたローカル座標系で記述される。座標系として、絶対座標系を用いることもできる。絶対座標系は、ＧＮＳＳで利用される座標系であり、例えば、緯度、経度、標高によって三次元位置が記述される。飛行計画に時間情報を加えることも可能である。

飛行制御装置３０４は、飛行計画記憶部３０５に記憶された予定飛行ルートに従って飛行するＵＡＶ３００の飛行制御を行う。ＵＡＶ３００は、飛行計画に従った自立飛行が可能である。勿論、オペレータが行うマニャアル操作による飛行も可能である。

カメラの向き制御部３０６は、飛行計画記憶部３０５に記憶された飛行ルートとカメラの向きの関係を定めた飛行計画に従って、カメラ３０１の向きの制御を行う。オペレータが行うマニャアル操作によるカメラ３０１の向きの制御も可能である。

飛行ログ記憶部３０７は、飛行の記録に係るデータ、具体的には、時刻と飛行位置および機体の姿勢の関係が記憶される。画像データ記憶部３０８には、カメラ３０１が撮影した画像の画像データが記憶される。画像データは、撮影時刻、撮影時のカメラ３０１の位置および撮影時のカメラ３０１の向きと関連付けられて、画像データ記憶部３０８に記憶される。

ＵＡＶ３００は、ジンバル機構を備え、そこにカメラ３０１および反射プリズム３０９を備える。ＵＡＶ３００における反射プリズム３０９の位置、および反射プリズム３０９とカメラ３０１の位置の関係は、既知である。このため、測量装置２００のトータルステーション部２０３によって、反射プリズム３０９の位置を測位することで、ＵＡＶ３００の位置およびカメラ３０１の位置を求めることができる。反射プリズム３０９をターゲットとして、測量装置２００のトータルステーション部２０３によるＵＡＶ３００の追尾と測位を行う技術については、例えば特開２０１９－４５４２５号公報、特開２０１９－１３８８４２号公報に記載されている。

（処理装置）
図３には、処理装置４００のブロック図が示されている。この例において、処理装置４００は、市販のＰＣ（パーソナル・コンピュータ）を用いて構成されている。利用するＰＣは、ＣＰＵ、メモリ、ハードディスク装置、液晶表示装置等のディスプレイ、キーボードやマウス等の各種のユーザーインターフェース、各種の入出力インターフェース、その他通常のＰＣが備える装置や機能を有している。

このＰＣには、図３に示す機能部を実現するためのアプリケーションソフトウェアプログラムがインストールされ、図３に示す処理装置４００がソフトウェア的に実現されている。処理装置４００の一部または全部を専用の電子回路で構成することも可能である。例えば、ＦＰＧＡを用いて、処理装置４００の一部または全部を構成することも可能である。また、インターネット回線に接続されたデータ処理サーバを用いて処理装置４００の一部または全部を構成することも可能である。

処理装置４００は、画像データ受付部４０１、レーザースキャンデータ受付部４０２、レーザースキャンデータに基づく３Ｄモデル作成部４０３、指定位置受付部４０４、指定された位置の三次元座標の取得部４０５、飛行計画設定部４０６、カメラの向き設定部４０７、トータルステーションによる測位データ受付部４０８、ＵＡＶ３００から撮影した画像に基づく３Ｄモデル作成部４０９、測量装置取得画像へのＵＡＶ取得画像の埋め込み（重畳）処理部４１０、および測量装置が得た３ＤモデルへのＵＡＶ取得画像の埋め込み（重畳）処理部４１１を有する。

画像データ受付部４０１は、測量装置２００のカメラ２０１が撮影した画像の画像データ、およびＵＡＶ３００のカメラ３０１が撮影した画像の画像データを受け付ける。カメラ３０１が撮影した画像のデータは、撮影時刻、撮影時におけるカメラ３０１の向き、測量装置２００が測位したＵＡＶ３００の位置、およびＩＭＵ３０３が計測したＵＡＶ３００の姿勢のデータに関連付けされて処理装置４００内の適当な記憶領域に記憶される。レーザースキャンデータ受付部４０２は、測量装置２００のレーザースキャナ部２０２が得たレーザースキャンデータ（レーザースキャン点群のデータ）を受け付ける。

レーザースキャンデータに基づく３Ｄモデル作成部４０３は、レーザースキャナ部２０２が得たレーザースキャンデータに基づき、レーザースキャン対象の３Ｄモデル（測量装置視点（ローカル座標系）３Ｄモデル）を作成する。この例では、レーザースキャナ部２０２が得たレーザースキャンデータに基づき、橋梁１００の３Ｄモデルを作成する。

レーザースキャンデータに基づく３Ｄモデルの作成については、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。レーザースキャン点により構成される点群データ（レーザースキャン点群）を３Ｄモデルとして扱うことも可能である。

指定位置受付部４０４は、測量装置２００が取得した画像中からユーザにより指定された指定位置の情報を受け付ける。この例では、処理装置２００を構成するＰＣのディスプレイにカメラ２０１が撮影した橋梁１００の画像が表示される。これを見て、ユーザは、当該ＰＣの入力インターフェースを利用して、測量装置２００が取得した画像中における特定の位置を指定する。この指定された画像中の特定の位置の情報（画面座標値）が指定位置受付部４０４で受け付けられる。

例えば、上記の指定により、ユーザが詳細画像を所望する橋梁１００の特定の部分が指定される。この指定を受け、後述するように、上記詳細画像を得るための飛行経路がレーザースキャンによって得た３Ｄモデルに基づき作成される。そして、上記指定された箇所の詳細画像の撮影がＵＡＶ３００を利用して行われる。

指定された位置の三次元座標の取得部４０５は、指定位置受付部４０４で受け付けられた特定の位置の三次元座標を取得する。カメラ２０１とレーザースキャナ部２０２の外部標定要素の関係は既知であり、カメラ２０１が撮像した画像中に、レーザースキャナ部２０２が取得したレーザースキャンデータ（レーザースキャン点群）を重畳し、画像と点群の合成画像を得ることができる。この合成画像中の特定の位置が指定された場合、この指定位置に最も近いレーザーキャン点の３次元座標を、当該指定位置の３次元座標として取得する。この処理が指定された位置の三次元座標の取得部４０５で行われる。

ユーザによる位置の指定は、１ポイントに限定されず、複数ポイントであってもよい。また、広がりを持った領域（エリア）を指定することもできる。

飛行計画設定部４０６は、ＵＡＶ３００の飛行計画を設定する。この飛行計画には、ＵＡＶ３００の飛行予定ルートと、該飛行予定ルートにおけるカメラ３０１の向きに係る設定が含まれる。

飛行ルートの設定は、以下のようにして行われる。まず、指定された位置の三次元座標の取得部４０５が取得したユーザが指定した特定の位置の３次元座標を取得する。次に、当該指定された位置の撮影に適したＵＡＶ３００の位置（カメラ３０１の位置）を撮影位置として算出する。

所定のエリアを対象に飛行ルートの設定を行うこともできる。例えば、橋梁１００の特定のエリアが撮影対象として指定された場合に、この指定されたエリアを不足無く撮影できる飛行ルートの設定が可能である。また、例えば対象の特定の部位（例えば、橋梁の脚部）を指定し、そこを撮影する飛行ルートを設定する形態も可能である。

撮影を行うためのＵＡＶ３００の位置の精度は大凡で良い。なぜなら、ＵＡＶ３００は、搭載する反射プリズム３０９の位置がトータルステーション部２０３によって精密に継続して測位され、そこからカメラ３０１の光学位置がオフセットパラメータから算出されるからである。勿論、撮影を行うためのＵＡＶ３００の位置を高い精度で定めてもよい。

例えば、指定された位置を正面に見る視点の位置を撮影位置として算出する。この際、飛行するＵＡＶ３００が橋梁１００と干渉せず、且つ、予め定めた解像度の詳細画像が得られるＵＡＶ３００の位置（カメラ３０１の位置）を撮影位置として算出する。ここで、撮影位置は、カメラ３０１の光学原点の位置とする。

詳細画像は、コンクリート面の腐食、はがれ、割れといった現象を把握するための画像であり、測量装置２００が撮影した画像に比較すると、接写画像となる。カメラ３０１による撮影の撮影距離の目安としては、５ｍ～１０ｍ程度が選択される。勿論、もっと近接してもよいし、離れてもよい。

カメラ３０１の向きの設定に当たっては、指定された位置を正面から見る撮影位置（視点の位置）を求める。具体的には、３Ｄモデル作成部４０３が作成した３Ｄモデルに基づき、指定された位置の法線を求め、この法線上で撮影位置を決める。なお、橋梁１００との干渉が問題となる場合は、干渉が問題とならず、且つ、上記法線に極力近い位置を撮影位置として定める。

例えば、３Ｄモデルは、レーザースキャンデータから面およびＴＩＮを算出することで作成されている。上記の法線は、上記３Ｄモデルの面の法線、あるいはＴＩＮで表現される対象にフィッティングする面を算出し、その面の法線を求めることで得られる。

そして、算出したＵＡＶ３００の撮影位置を通る飛行ルートを予定飛行ルートとして設定する。撮影位置が複数ある場合は、それをつないで飛行ルートを設定する。以上の処理が飛行計画設定部４０６で行われる。

また、飛行計画設定部４０６は、ＵＡＶ３００の飛行中におけるカメラ３０１の向きの設定も行う。この処理がカメラの向き設定部４０７で行われる。

カメラの向き設定部４０７では、まず、予定飛行ルート上の点とその点から見た橋梁の方向を算出する。この際、指定位置受付部４０４が受け付けた位置が撮影範囲に入るように留意する。

予定飛行ルートの座標と橋梁の３次元モデルの座標は、同一の座標系（この例では、測量装置２００を原点とするローカル座標系）上で記述されている。よって、ＵＡＶ３００（正確にはカメラ３０１）から見た橋梁１００の方向は、ＵＡＶ３００（カメラ３０１）を始点、撮影対象位置を終点とするベクトルを求めることで数学的に算出することができる。この処理により、飛行するＵＡＶ３００が飛行中にどの方向にカメラ３０１を向ければよいのかが設定される。

トータルステーションによる測位データ受付部４０８は、トータルステーション部２０３が測位したＵＡＶ３００の測位データを受け付ける。この例では、ＵＡＶ３００の飛行中において、トータルステーション部２０３は、ＵＡＶ３００が備える反射プリズム３０９を追尾し、測位し続ける。この測位データが、飛行中のＵＡＶ３００の位置として、トータルステーションによる測位データ受付部４０８で受け付けられる。

ＵＡＶから撮影した画像に基づく３Ｄモデル作成部４０９は、ＳＦＭ(Structure from Motion:多視点ステレオ写真測量)や写真測量の原理に基づき、カメラ３０１が撮影した画像に基づく撮影対象の３Ｄモデルの作成を行う。

ＵＡＶ画像から３Ｄモデルを作成する場合、ステレオ写真画像が得られるように撮影間隔を設定する。具体的には、時間軸上で隣接または近接する画像において、重複する撮影部分があるように撮影の間隔が設定される。これは、通常の航空写真測量における撮影の仕方と同じである。なお、動画を撮影し、この動画のフレーム画像を静止画像として利用することもできる。なお、ステレオ写真計測を行わず、ＵＡＶからの撮影だけを行う場合は、撮影ポイントでシャッターが切られるように撮影のタイミングが設定される。

上記の連続写真画像において、時間軸上で隣接または近接する複数の画像（基本は、２枚の画像）をステレオ写真画像として選択する。そして、このステレオ写真画像からオルソ画像を作成し、オルソ画像とされたステレオ写真画像からの特徴点の抽出、該ステレオ写真画像間の特徴点の対応関係の特定を行う。更に、交会法を用いた上記対応点の三次元座標の算出、三次元座標が特定された対応点を利用した３Ｄモデルの作成が行われる。この処理が「ＵＡＶから撮影した画像に基づく３Ｄモデル作成部４０９」で行われる。

上記の前方交会法では、カメラ３０１の位置として、トータルステーションによる測位データ受付部４０８が受け付けた反射プリズム３０９の測位データが用いられ、カメラ３０１の姿勢（向き）のデータとして、ＵＡＶ３００に搭載のＩＭＵ３０３のデータが用いられる。

以下、「ＵＡＶから撮影した画像に基づく３Ｄモデル作成部４０９」で行われる処理についてその詳細な一例を説明する。まず、得られた画像群からレンズ歪等の補正を施したステレオ写真を抽出する。次に、このステレオ写真画像から特徴点を抽出し、更にステレオ写真画像間で抽出した特徴点の対応関係の特定を行う。ステレオ写真画像の組は多数あり、これら全てについて同様な処理を行う。

そして、カメラ３０１の位置（視点位置）と各特徴点の位置の相対位置を特定する相互標定が行なわれる。相互標定により、カメラ３０１の位置と各特徴点によって構成される相対３次元モデルが得られる。ここで、ＵＡＶ３００は移動しているので、各画像に対応してカメラ３０１の位置は複数ある。このカメラ３０１の複数の位置それぞれに、トータルステーション部２０３が測位したＵＡＶ３００の測位データ（反射プリズム３０９の測位データ）を入力する。この際、カメラ３０１と反射プリズム３０９の位置関係が既知であるので、その関係をオフセットパラメータとして計算式に組み入れておく。

上記の処理により、相互標定により得られた相対３次元モデルにスケール（実寸法）が与えられ、相対３次元モデルが寸法をもった三次元モデルとなる。この結果、カメラ３０１の複数の位置と各特徴点の座標値が与えられた３次元モデルが得られる。この処理が絶対標定である。

この絶対標定で与えられるカメラ位置の座標値は、トータルステーション部２０３が測位したＵＡＶ３００の測位データ（反射プリズム３０９の測位データ）であり、それは、測量装置２００が扱う座標系（測量装置２００の機械原点を原点とするローカル座標系）を用いている。よって、上述したカメラ３０１の複数の位置と各特徴点の座標値が与えられた３次元モデルは、測量装置２００が扱う座標系、すなわち測量装置２００の機械原点を原点とするローカル座標系で記述される。

また、この絶対標定により、各画像の撮影時における当該座標系（測量装置２００の機械原点を原点とするローカル座標系）におけるカメラ３０１の外部標定要素（位置と姿勢）が確定する。絶対標定の後、バンドル調整計算が行なわれ、パラメータの最適化が行なわれる。

そして、位置が特定された多数の特徴点に基づき、ＵＡＶ視点の３Ｄモデルが作成される。このＵＡＶ視点の３Ｄモデルは、測量装置２００の機械原点を原点とするローカル座標系で記述される。

ステレオ写真画像から撮影対象の３Ｄモデルを作成する技術については、例えば、特開2013-186816号公報に記載されている。また、カメラを搭載したＵＡＶをトータルステーションを用いて測位し、当該ＵＡＶから撮影した画像を利用したＳＦＭ(Structure from Motion:多視点ステレオ写真測量)を行う技術については、特開2019-45425や特開2019-138842号公報に記載されている。位置が特定された多数の特徴点は、点群データと呼ばれるが、この点群データをＵＡＶ視点の３Ｄモデルとして取り扱うこともできる。

なお、予め設置状態における測量装置２００の絶対座標系での位置が特定されていれば、上記のＵＡＶ視点の３Ｄモデルは、絶対座標系で記述される。また、ローカル座標系の原点が測量装置２００の機械原点でない場合も有り得る。

上述のように、ＵＡＶ視点の３Ｄモデルは、レーザースキャナ部２０２が得たレーザースキャンデータに基づく３Ｄモデル（測量装置視点３Ｄモデル）と同一座標系上で記述される。それ故、これら２つの３Ｄモデルを比較する際に、座標系の位置合わせに係る後処理を必要としない。ただし、ＵＡＶ視点の３Ｄモデルと測量装置視点３Ｄモデルの整合性の精度向上のために微調整をすることは可能である。

測量装置取得画像へのＵＡＶ取得画像の埋め込み処理部４１０は、カメラ２０１が撮影した測量装置取得画像に、カメラ３０１が撮影したＵＡＶ取得画像をマッピングする処理を行う。ここでは、測量装置取得画像に、ＵＡＶ取得画像を埋め込む処理および／または重畳させる処理を行う。

以下、上記のマッピングの原理について説明する。ここでカメラ３０１（第２のカメラ）は、ＵＡＶ３００が飛行している状態において、レーザースキャナ部２０２によるレーザースキャンの対象である橋梁１００に対して複数回の写真撮影を行う。ここで、この複数回の写真撮影によって得た複数の画像を用いた多視点ステレオ写真測量を行うことで、当該複数の画像中における多数の特徴点とカメラ３０１の位置および姿勢の相対関係が定まる（相互標定）。そしてこの相対関係に、トータルステーション部２０３によるＵＡＶ３００の測位データを与えることで（絶対標定）、前記複数の画像それぞれにおけるカメラ３０１の位置と姿勢が求められる。そして、このカメラ３０１の位置および姿勢と、前記レーザースキャンにより得たレーザースキャンデータとの関係に基づき、マッピングが行われる。この原理は、後述する測量装置が得た３ＤモデルへのＵＡＶ取得画像のマッピングも同じである。

例えば、特定のあるＵＡＶ取得画像に着目する。このＵＡＶ取得画像の撮影時におけるカメラ３０１光軸の方向は、当該画像の撮影時におけるカメラ３０１の外部標定要素から判る。ここで、この外部標定要素は、カメラ３０１が撮影したステレオ写真画像中の多数の特徴点とカメラ３０１の相対位置関係に、トータルステーション部２０３が測位したＵＡＶ３００の位置のデータを与えることで求められる。

また、レーザースキャナ部２０２が得たレーザースキャンデータから、カメラ２０１が撮影した測量装置取得画像の３次元位置は判る。よって、カメラ３０１の光軸とカメラ２０１が撮影した測量装置取得画像の交点の位置を求めることができる。これにより、測量装置取得画像のどの部分に上記ＵＡＶ取得画像が位置するのかが判る。このことを利用して、測量装置取得画像にＵＡＶ取得画像をマッピングすることができる。

測量装置取得画像へのＵＡＶ取得画像の埋め込みを行うことで、例えば、測量装置取得画像の表示画面中において、ユーザが測量装置取得画像の特定の部分を指定すると、その部分のＵＡＶ取得画像が詳細画像あるいは拡大画像として表示される。この表示形態を利用することで、拡大画像を用いた橋梁１００の目視点検を効率よく、且つ、効果的に行うことができる。

測量装置が得た３ＤモデルへのＵＡＶ取得画像の埋め込み（重畳）処理部４１１は、レーザースキャナ部２０２が得たレーザースキャンデータに基づく３Ｄモデル（測量装置視点３Ｄモデル）へのＵＡＶ取得画像のマッピングを行う。ここでは、マッピングとして、測量装置視点３ＤモデルへのＵＡＶ取得画像の埋め込み、および／または重畳を行う。

以下、具体的な一例を説明する。例えば、特定のあるＵＡＶ取得画像に着目する。このＵＡＶ取得画像の撮影時におけるカメラ３０１光軸の方向は、ＵＡＶ取得画像を用いたＳＦＭ(Structure from Motion:多視点ステレオ写真測量)や写真測量での処理の過程で得られるカメラ３０１の外部標定要素から判る。すなわち、この外部標定要素は、カメラ３０１が撮影したステレオ写真画像中の多数の特徴点とカメラ３０１の相対位置関係に、トータルステーション部２０３が測位したＵＡＶ３００の位置のデータを与えることで求められる。

ここで、カメラ３０１の光軸と、レーザースキャナ部２０２が得たレーザースキャンデータに基づく３Ｄモデル（測量装置視点３Ｄモデル）の交点を求めることができる。これにより。測量装置視点３Ｄモデルのどの部分にＵＡＶ取得画像が対応するのかが判る。このことを利用して、測量装置取得画像にＵＡＶ取得画像をマッピングすることができる。

測量装置視点３ＤモデルへのＵＡＶ取得画像のマッピングとしては、（１）データ上で関連付けさせておき、ＵＩが操作されることで、測量装置視点３Ｄモデルに関連付けさせてＵＡＶ取得画像を表示できるようにしておく形態、（２）測量装置視点３Ｄモデルの表示画面の各部に吹き出しや引き出し線を設け、そこにＵＡＶ取得画像を関連させて表示させる形態、（３）測量装置視点３Ｄモデルの表示画面上におけるカーソルの部分に当該部分に対応するＵＡＶ取得画像を表示させる形態等が挙げられる（カーソルを動かすと、対応するＵＡＶ取得画像が次々と表示される）。

（処理の一例）
ここでは、橋梁のメンテナンスに係り、画像から目視で検査や劣化診断を行う場合に、本発明を適用する例を説明する。この例では、最終的にＵＡＶから橋梁細部の詳細画像を撮影し、それをユーザ（メンテナンスを担当する作業者）が目視で確認することで、橋梁の目視点検が行われる。

図１には、処理が行なわれる状況の一例が記載されている。ここでは、測量装置２００を利用して橋梁１００のレーザースキャンおよび撮影による画像の取得を行う。次に、測量装置２００が得た橋梁１００のレーザースキャンデータおよび画像データが処理装置４００で処理され、処理装置４００において、ＵＡＶ３００の飛行ルートの設定およびＵＡＶ３００からの橋梁１００の撮影に必要な各種の設定が行われる。この設定に基づき、ＵＡＶ３００は、飛行を行い、橋梁１００のメンテナンスに必要な詳細画像（拡大画像）の取得を行う。その後、処理装置４００において、ＵＡＶ３００から撮影した画像に基づく３Ｄモデルの作成、この３Ｄモデルと測量装置２００が得たレーザースキャンデータに基づく３Ｄモデルとの対応関係の特定、更にＵＡＶ３００から撮影した画像の測量装置２００から撮影した画像へのマッピング、更に測量装置２００が得た橋梁１００のレーザースキャンデータに基づく３ＤモデルへのＵＡＶ３００から撮影した画像のマッピングが行われる。

（詳細画像の撮影までの処理）
以下、ＵＡＶ３００から橋梁１００の詳細画像を撮影するまでの処理の概要を説明する。図４は、測量装置２００による橋梁１００のレーザースキャンから、ＵＡＶ３００による橋梁１００の詳細画像を取得するまでの処理の流れを示すフローチャートである。

なお、処理装置４００において行われる処理を実行するためのプログラムは、適当な記憶領域や記憶媒体に記憶され、処理装置４００のＣＰＵによって実行される。これは、図４以外のフローチャートについても同じである。

まず、橋梁１００を見渡せる場所に測量装置２００を設置する。そして、測量装置２００のレーザースキャン機能を用いて橋梁１００に対するレーザースキャンを行う。この処理により、橋梁１００のレーザースキャンデータ（レーザースキャン点群）が得られる。ここで得られるレーザースキャンデータの三次元座標は、測量装置２００の機械原点を原点とするローカル座標系で記述される。もちろん、絶対座標系（グローバル座標系）における測量装置２００に係る外部標定要素が既知であれば、上記レーザースキャン点群を、絶対座標系で記述することも可能である。

測量装置２００で得られたレーザースキャンデータは、処理装置４００に送られ、処理装置４００のレーザースキャンデータ受付部４０１で受け付けられる（ステップＳ１０１）。

次に、ユーザ（メンテナンス実施担当者）は、測量装置２００を操作し、その望遠鏡２１４を用いて、橋梁１００における目視メンテナンスを行いたい場所を視準し、カメラ２０１による撮影を行う。

カメラ２０１が得た画像データは、処理装置４００に送られ、処理装置４００の画像データ受付部４０１で取得される（ステップＳ１０２）。

次に、処理装置４００は、ステップＳ１０１で得たレーザースキャンデータに基づき、橋梁１００の３Ｄモデルを作成する（ステップＳ１０３）。この処理は、レーザースキャンデータに基づく３Ｄモデル作成部４０３で行われる。

また、処理装置４００は、ステップＳ１０２で得た画像とステップＳ１０１で得たレーザースキャンデータを重畳した合成データを得、両者の対応関係を特定する（ステップＳ１０４）。これにより、カメラ２０１が撮影した画像中の画面座標（画面中の２次元位置）の３次元位置を、レーザースキャンデータに含まれる点の３次元座標値から知ることができる。

ステップＳ１０２で得た画像は、処理装置４００のディスプレイ、あるいは適当なディスプレイ上に表示される。ユーザは、この表示された画像を見て、詳細画像を得たい部分を指定する。例えば、カーソルやタッチペンを用いて、上記の表示された橋梁１００の画像の特定の部分を指定する。この指定に係る情報は、処理装置４００を構成するＰＣのＵＩ（ユーザーインターフェース）により読み取られ、処理装置４００の指定位置受付部４０４で受け付けられる（ステップＳ１０５）。ユーザに指定される位置は、一カ所でもよいし、複数個所であってもよい。また、連続した広がりを持った領域が指定される形態も可能である。

ユーザが要求する詳細画像の位置の指定を受けた処理装置４００は、この指定された位置の情報に基づき、ＵＡＶ３００の飛行計画の設定を行う。飛行計画の設定では、飛行ルートの設定（ステップＳ１０６）と、飛行中におけるカメラ２０１の向きの設定（ステップＳ１０７）が行われる。

ステップＳ１０６では、ユーザにより指定された橋梁１００の特定の位置を撮影する視点（カメラ位置）の点を通過点あるいは到達点とするＵＡＶ３００の予定飛行ルートの設定が行われる。この処理は、飛行経路設定部４０６で行われる。

ステップＳ１０７では、ステップＳ１０６で設定された予定飛行ルートに関連付けさせて、ＵＡＶ３００のカメラ３０１の向き（撮影方向）の設定が行われる。つまり、飛行中にどの方向にカメラ３０１を向ければよいのかについての設定が行われる。この処理は、カメラの向き設定部４０７で行われる。

ＵＡＶ３００の予定飛行ルートおよび飛行中におけるカメラ３０１の向き（撮影方向）の設定が済んだら、この設定に従ってＵＡＶ３００を飛行させる（ステップＳ１０８）。この飛行中において、設定された方向にカメラ３０１が向けられ、特定の間隔で静止画像の撮影が連続して行われる。飛行中におけるカメラ３０１の撮影動作は、ユーザが操作することもできる。

この例において、ＵＡＶ３００は、飛行しながら、カメラ３０１により、橋梁１００を対象に、０．５秒間隔や１秒間隔といった特定の間隔で静止画像の撮影を繰り返し行う。撮影のタイミングは、時間軸上で隣接または近接する画像中で重複する部分が写るように設定される。これは、通常の航空写真測量における撮影の仕方と同じである。

カメラ３０１により動画を撮影する形態も可能である。例えばＵＡＶ３００を飛行させながら、カメラ３０１を用いて３０フレーム／秒や６０フレーム／秒の動画の撮影を行う。この場合、時間軸上から適当な間隔で複数のフレーム画像が抽出され、この抽出した複数のフレーム画像を利用してステレオ画像を作成する。

（３Ｄデータに係る処理）
以下、測量装置２００が得た３ＤデータとＵＡＶ３００が撮影した画像から得た３Ｄデータに係る処理を説明する。図５は、処理の手順の一例を示すフローチャートである。

まず、処理装置４００は、ＵＡＶ３００のカメラ３０１が撮影した画像の画像データを取得する（ステップＳ２０１）。この処理は、画像データ受付部４０１で行われる。この画像データの取得は、ＵＡＶ３００の飛行終了後に行われる。この画像データを飛行中のＵＡＶ３００から無線で伝送する形態も可能である。

カメラ３０１からの画像データを取得したら、この画像データに基づき、ＳＦＭ(Structure from Motion:多視点ステレオ写真測量)や写真測量により、撮影対象である橋梁１００の３Ｄモデルを作成する（ステップＳ２０２）。この処理は、ＵＡＶから撮影した画像に基づく３Ｄモデル作成部４０９で行われる。動画像を用いたＳＦＭにより、３Ｄモデルを作成することもできる。この場合、動画像を構成する多数のフレーム画像を利用して、ＳＦＭが行なわれる。

ステップＳ２０２を行うことで、橋梁１００の３Ｄモデルが作成される。ここで、この３Ｄモデルとなる画像は、橋梁１００に近づいて撮影した画像であり、作成される３Ｄモデルは、橋梁１００の部分的な３Ｄモデルとなる。

また、ここでは、少しずつ位置がずれた多数の３Ｄモデルが得られる。そして、それらを繋げることで、ＵＡＶ３００の飛行経路に沿った、橋梁１００における帯状の領域の３Ｄモデルが得られる。この３ＤモデルがＵＡＶ視点の３Ｄモデルとなる。

ＵＡＶ視点の３Ｄモデルは、ステップＳ１０３で作成した３Ｄモデル（以下、測量装置視点３Ｄモデル）と同じ座標系で記述されている。これは、ＵＡＶ３００（カメラ３０１の位置）の測位が測量装置２００で行われ、それを用いてＳＦＭによるＵＡＶ視点の３Ｄモデルの作成が行なわれるからである。２つの３Ｄモデルは同じ座標系上で定義されるので、測量装置視点３Ｄモデルとの対応関係が特定された状態でＵＡＶ視点の３Ｄモデルが得られる。また、ＵＡＶ視点の３Ｄモデルを作成することで、ＵＡＶ視点の３Ｄモデルと測量装置視点３Ｄモデルを統合したものが自動的に得られる。

よって、これら２つの３Ｄモデルの間の対応関係の特定に係る処理は特に必要とされない。なお、オプションとして、誤差の大きい点などの削除等による微調整を行い、両３Ｄモデルの対応関係の精度を高めてもよい。

次に、測量装置２００から撮影した橋梁１００の画像に、ＵＡＶ３００から撮影した橋梁１００の画像（ＵＡＶ取得画像）を埋め込む処理を行う（ステップＳ２０３）。この処理は、「測量装置取得画像へのＵＡＶ取得画像の埋め込み（重畳）処理部４１０」によって行われる。埋め込みでなく、重畳する処理も可能である。

前述したように、特段の後処理なしで、測量装置２００から撮影した橋梁１００の画像（測量装置取得画像）と、ＵＡＶ３００から撮影した橋梁１００の画像（ＵＡＶ取得画像）との対応関係は特定できる。

一般に、前者の画像（測量装置取得画像）は、相対的に遠距離から橋梁１００撮影したワイド画像（広角画像）であり、後者の画像（ＵＡＶ取得画像）は、相対的に近接した位置から橋梁１００を撮影した拡大画像である。そこで、上記の対応関係を利用して、前者のワイド画像に後者の拡大画像を埋め込む。この処理がステップＳ２０３において行われる。

なお、測量装置２００から撮影した橋梁１００の画像と、ＵＡＶ３００から撮影した橋梁１００の画像との対応関係の微調整を行い、その精度をさらに高める処理も可能である。

この埋め込み画像を得ることで、例えば、地上に設置した測量装置２００から撮影した画像中の特定の部分をユーザが指定した場合に、その拡大画像（ＵＡＶ取得画像）をＰＣ画面上に表示させるといったＵＩ（ユーザーインターフェース）を実現できる。このＵＩを利用することで、橋梁１００の目視点検を効率よく、また的確に行うことができる。

また、ステップＳ２０３で得られた画像を用いることで、測量装置取得画像を表示させている状態で、特定の部分の拡大倍率を上げてゆくと、ある段階からＵＡＶ取得画像に切り替わるＵＩを実現することもできる。

ステップＳ２０３の後、測量装置２００によるレーザースキャンによって得た３Ｄモデル（測量装置視点３Ｄモデル）へのＵＡＶ取得画像の埋め込み（または重畳）が行われる（ステップＳ２０４）。この処理では、当該３Ｄモデル各部と、そこに対応するＵＡＶ取得画像とを関連付けさせたデータが得る。この処理は、「測量装置が得た３ＤモデルへのＵＡＶ取得画像の埋め込み（重畳）処理部４１１」において行われる。当該３ＤモデルへのＵＡＶ取得画像の貼り付けも可能である。

例えば、測量装置２００が得た３ＤモデルにＵＡＶ取得画像を埋め込んだデータを得たとする。この場合、当該３Ｄモデルを画面に表示させた状態において、ユーザにより、当該３Ｄモデルの特定の場所が指定されると、その場所のＵＡＶ取得画像が表示されるＵＩを実現することができる。

（適用対象）
本発明が利用できる対象は、橋梁に限定されず、建物、高架橋、プラント設備、コンクリートで補強された崖や法面、ダム、高速道路、鉄道、アミューズメント設備、スポーツ関連設備（各種競技場や球技場）、その他各種のインフラ設備等が挙げられる。

（レーザースキャン光の利用形態）
測量装置２００のトータルステーション機能を用いてのＵＡＶの追尾および測位と同時に、測量装置２００のレーザースキャン機能を実行することができる。ここでは、このレーザースキャンの輝点（対象物におけるスキャンレーザー光の反射点）をＵＡＶ３００に搭載したカメラ３０１の位置と姿勢の算出に利用する例を説明する。

例えば、カメラ３０１のシャッタースピードが１秒／１００で、レーザースキャンのスキャン周波数が１ｋＨｚの場合、カメラ３０１が撮影した１枚の撮影画像中で最大で１０点のレーザースキャン点が写ることが可能である（撮影範囲とスキャンスピードの関係で、１０点以下となる場合も有り得る）。

なお、この形態は、レーザースキャナ部２０２によるレーザースキャンの範囲がカメラ３０１の撮影範囲と重なる場合に限定される。また、カメラ３０１は、測量装置２００からのレーザースキャン光の波長を検出でき、また短パルス光である当該レーザースキャン光の輝点を画像中で捉えることができる機能が必要となる。

具体的には、以下の処理が行われる。まず、ＵＡＶ取得画像の撮影時刻から、当該撮影時のシャッターが開いている時間（露光している時間）におけるレーザースキャン点の情報を得る。この情報から、ＵＡＶ取得画像に写っているレーザースキャン点の輝点の情報を特定する。すなわち、ＵＡＶ取得画像に写っているレーザースキャン点の位置情報を特定する。そして、レーザースキャン点を基準点として、カメラの位置と姿勢が求められる。

また、レーザースキャン点を、測量装置取得画像とＵＡＶ取得画像の間の対応関係の特定に利用することもできる。まず、測量装置取得画像は、カメラ２０１が撮像した画像であり、レーザースキャナ部２０２が取得したレーザースキャン点群との関係は判明している。よって、カメラ３０１が撮像したＵＡＶ取得画像中に写ったレーザースキャン点の輝点を介して、測量装置取得画像とＵＡＶ取得画像の関係を求めることができる。

レーザースキャン点の他の利用形態としては、撮影画像にもし1列に輝点が写っていない場合に、シャッタースピードが十分でない、ＵＡＶの移動スピードが速い等の可能性を判定する形態が挙げられる。

このように、測量装置２００のレーザースキャナを点群データの取得以外の用途に利用する形態が可能である。

（その他）
ＵＡＶ３００にレーザースキャナを搭載してもよい。ＵＡＶ３００にレーザースキャナを搭載することで、ＵＡＶ３００からレーザースキャン点群を得ることができる。

（優位性）
地上に設置された測量装置２００から得たレーザースキャンデータに基づき、目視検査の対象である橋梁１００の３Ｄモデルを得、この３Ｄモデルに基づき、ＵＡＶ３００の飛行コースを設定することで、橋梁１００と干渉しない飛行をＵＡＶ３００に行わすことができる。また、上記３Ｄモデルに基づき、飛行中におけるＵＡＶ３００搭載のカメラ３０１の向きを設定することで、効率よく橋梁１００の細部の詳細画像を得ることができる。

また、測量装置２００が得た橋梁の画像（または３Ｄモデル）にＵＡＶ３００が得た詳細画像をマッピングすることで、橋梁１００の画像を用いた目視点検を効率良く、且つ、効果的に行うことができる。

以上説明した技術によれば、測量装置２００を基準とした座標系上において、（１）ＵＡＶ３００の飛行ルートおよび飛行時のカメラ２０１の向きの設定、（２）ＵＡＶ３００から撮影した画像に基づく３Ｄモデルの作成が可能となる。そして、（３）測量装置２００から撮影した画像へのＵＡＶ３００から撮影した画像のマッピング、（４）測量装置２００が得た３ＤモデルへのＵＡＶ３００から撮影した画像のマッピングが可能となる。

以上説明した技術では、測量装置２００からの計測データから作成した３Ｄデータと、ＵＡＶ３００から得たデータに基づき作成した３Ｄデータの位置合わせ（レジストレーション)の作業が不要となる。異なる座標系間のレジストレーションは、煩雑であり、負担が大きく、また、誤レジストレーションの問題もある。この作業が不要となることで、作業効率と精度の追求が可能となる。

例えば、設計データのない建築物の検査、劣化診断に対して、後処理での対象物データとＵＡＶ飛行時の座標系のレジストレーション作業が不要となり、効率の良い、欠陥検査、測定が可能となる。

本発明は、トータルステーションの機能とレーザースキャナの機能を複合化した測量装置とＵＡＶを用いたインフラ設備のメンテナンスや測量に利用することができる。

１００…橋梁、２００…測量装置、２０２…レーザースキャナ部、２１０…三脚、２１１…ベース部、２１２…水平回転部、２１３…鉛直回転部、２１４…望遠鏡、３００…ＵＡＶ、３０１…カメラ、３０９反射プリズム、４００…処理装置。

Claims (15)

1. それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載し、自律飛行が可能なＵＡＶが取得した測量データを処理する測量データ処理システムであって、
   前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、
   前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、
   前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付手段と、
   前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定手段と、
   前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定手段と
   を備える測量システム。
2. 前記ＵＡＶにより、前記特定の部分の撮影が行われ、
   前記視点の位置は、前記特定の部分を正面から見る位置である請求項１の記載の測量システム。
3. 前記レーザースキャンデータに基づき、前記特定の部分の法線が算出され、
   前記視点の位置は、前記法線に基づき算出される請求項１または２に記載の測量システム。
4. 前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成部と、
   前記第２のカメラが撮影した画像に基づき、立体写真計測の原理により被撮影対象の３Ｄモデルを作成する第２の３Ｄモデル作成部と
   を備える請求項１～３のいずれか一項に記載の測量システム。
5. 前記ＵＡＶの飛行中において、
   前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、
   前記第２の３Ｄモデル作成部が作成する３Ｄモデルは、前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成する３Ｄモデルと同じ座標系上で作成される請求項４に記載の測量システム。
6. 前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成した３Ｄモデルに前記第１のカメラが撮影した画像をマッピングするマッピング処理部を備える請求項４または５に記載の測量システム。
7. 前記マッピングとして、前記第１の３Ｄモデル作成部が作成した３Ｄモデルへの前記第２のカメラが撮影した画像の埋め込みまたは重畳が行われる請求項６に記載の測量システム。
8. 前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１のカメラが撮影した画像に前記第２のカメラが撮影した画像をマッピングするマッピング処理部を備える請求項４または５に記載の測量システム。
9. 前記マッピングとして、前記第１のカメラが撮影した画像への前記第２のカメラが撮影した画像の埋め込みまたは重畳が行われる請求項８に記載の測量システム。
10. 前記レーザースキャナによる測量対象物に対するレーザースキャンを行い、
    前記第２のカメラは、前記レーザースキャンの結果生じる前記測量対象物におけるレーザースキャン光の輝点を検出し、
    前記輝点に基づき、前記第２のカメラの姿勢の算出が行われる請求項４または５に記載の測量システム。
11. それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載し、自律飛行が可能なＵＡＶが取得した測量データを処理する測量データ処理方法であって、
    前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付ステップと、
    前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付ステップと、
    前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付ステップと、
    前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定ステップと、
    前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定ステップと
    を有する測量方法。
12. それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載し、自律飛行が可能なＵＡＶが取得した測量データを実行するためのプログラムであって、
    コンピュータに
    前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付ステップと、
    前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付ステップと、
    前記第１のカメラが撮影した画像の中における特定の部分の指定を受け付ける指定部分受付ステップと、
    前記レーザースキャンデータに基づき、前記指定部分を視界に収める視点の位置を含む前記ＵＡＶの飛行経路を設定する飛行経路設定ステップと、
    前記レーザースキャンデータに基づき、前記ＵＡＶの前記飛行経路における前記第２のカメラの向きを設定するカメラの向き設定ステップと
    を実行させる測量用プログラム。
13. それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載したＵＡＶが取得した測量データを処理する測量データ処理システムであって、
    前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、
    前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、
    前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成手段と、
    マッピング処理手段と
    を備え、
    前記ＵＡＶの飛行中において、
    前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、
    前記マッピング処理手段は、
    前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１の３Ｄモデル作成部が作成した３Ｄモデルに前記第１のカメラが撮影した画像をマッピングする測量システム。
14. それぞれの外部標定要素の関係が既知の第１のカメラ、レーザースキャナおよびトータルステーションを複合化した測量装置が取得した測量データ、および第２のカメラを搭載したＵＡＶが取得した測量データを処理する測量データ処理システムであって、
    前記第１のカメラおよび前記第２のカメラが撮影した画像の画像データを受け付ける画像データ受付手段と、
    前記レーザースキャナにより得たレーザースキャンデータを受け付けるレーザースキャンデータ受付手段と、
    前記レーザースキャンによって得たレーザースキャンデータに基づき前記レーザースキャンの対象の３Ｄモデルを作成する第１の３Ｄモデル作成手段と、
    マッピング処理手段と
    を備え、
    前記ＵＡＶの飛行中において、
    前記測量装置は、前記トータルステーションによる前記ＵＡＶの測位を行い、
    前記マッピング処理手段は、
    前記トータルステーションによる前記ＵＡＶの測位の結果に基づき、前記第１のカメラが撮影した画像に前記第２のカメラが撮影した画像をマッピングする測量システム。
15. 前記第２のカメラは、前記ＵＡＶが飛行している状態において、前記レーザースキャンの対象に対して複数回の写真撮影を行い、
    前記複数回の写真撮影によって得た複数の画像中の多数の特徴点と前記第２のカメラの位置の関係および前記トータルステーションによる前記ＵＡＶの測位データに基づき、前記複数の画像それぞれにおける前記第２のカメラの位置と姿勢が求められ、
    前記レーザースキャンデータと前記第２のカメラの位置と姿勢の関係に基づき、前記マッピングが行われる請求項６～９、１３，１４のいずれか一項に記載の測量システム。
    
    

Images