JP2016138826A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2016138826A5 JP2016138826A5 JP2015014293A JP2015014293A JP2016138826A5 JP 2016138826 A5 JP2016138826 A5 JP 2016138826A5 JP 2015014293 A JP2015014293 A JP 2015014293A JP 2015014293 A JP2015014293 A JP 2015014293A JP 2016138826 A5 JP2016138826 A5 JP 2016138826A5
- Authority
- JP
- Japan
- Prior art keywords
- still image
- flight path
- moving body
- displayed
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 29
- 230000000875 corresponding Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 241000219793 Trifolium Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001360 synchronised Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002596 correlated Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003111 delayed Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Description
本発明は、測量技術に関する。
例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル(電子データとしてモデル化された三次元地形データ)を得る技術が知られている(例えば、特許文献1参照)。この技術では、撮影データに撮影位置の情報を関連付けする必要がある。
上述した技術において、カメラを搭載した自律飛行可能な無人航空機(UAV(Unmanned Air Vehicle)。)を用いる方法がある。この場合、得られた静止画像(動画の場合はフレーム画像)とカメラ(UAV)の位置および姿勢との関係を取得する必要がある。しかしながら、コストや機器の精度に起因してUAVの位置データと静止画像との同期が完全にとれない場合も多々あり、最終的には作業者が目視で確認する作業が必要となる。ところで、静止画像は数百枚以上ある場合もあり、上記の確認作業は煩雑であり、作業者への負担も大きい。このような背景において、本発明は、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減する技術を提供することを目的とする。
請求項1に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部とを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理装置である。
請求項1に記載の発明によれば、飛行経路と静止画像の対応関係が視覚的に把握し易いUI画面が得られる。また、静止画像中に当該静止画像を撮影した移動体の移動方向が表示されるので、この表示と移動経路の軌跡とを視覚的に比較することで、データ表示の基となる測量データ、すなわち飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データにおける飛行経路のデータと静止画像のデータとの同期が正しくとれているのか否かを判断することができる。この作業は、容易であり、測量データの確認にあたる作業者の負担を軽減することができる。
請求項2に記載の発明は、請求項1に記載の発明において、画面表示された前記飛行経路には、前記静止画像を撮影した時刻の位置を特定する印が表示されていることを特徴とする。請求項2に記載の発明によれば、飛行経路と静止画像の関係をより容易に認識することができる
請求項3に記載の発明は、請求項2に記載の発明において、前記静止画像を撮影した時刻の位置を特定する前記印が指定されると、当該時刻に撮影された静止画像が選択されることを特徴とする。請求項3に記載の発明によれば、飛行経路と静止画像の関係を作業者が確認し易いUI(ユーザ・インターフェース)が得られる。
請求項4に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶するステップと、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するステップとを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理方法である。
請求項5に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部として動作させ、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とするプログラムである。
請求項6に記載の発明は、請求項1に記載の発明において、前記移動体の前記移動方向は、前記静止画像と撮影時刻が異なる他の静止画像の間における特徴点の動きから算出され、前記移動体の前記移動方向の表示が前記静止画像に埋め込まれることを特徴とする。請求項7に記載の発明は、請求項6に記載の発明において、前記静止画像と前記他の静止画像とは、時間軸上で隣接していることを特徴とする。請求項8に記載の発明は、請求項6または7に記載の発明において、前記静止画像と撮影時刻の異なる前記他の静止画像の間における特徴点の動きから前記移動体の前記移動方向に加えて、前記移動体の移動量が算出され、前記静止画像中に、当該静止画像を撮影した前記移動体の前記移動方向と前記移動量がベクトル表示されることを特徴とする。
請求項9に記載の発明は、請求項6〜8のいずれか一項に記載の発明において、前記静止画像と撮影時刻の異なる前記他の静止画像の間における特徴点の動きから前記移動体の前記移動方向に加えて、前記移動体の移動量が算出され、前記移動体の前記移動方向と前記移動量に基づき、前記移動体の移動軌跡を推定することを特徴とする。請求項10に記載の発明は、請求項9に記載の発明において、前記移動体は、慣性航法装置と航法衛星を用いた位置特定装置を搭載し、前記慣性航法装置と前記航法衛星を用いた位置特定装置に基づく前記移動体の第1の移動軌跡と前記推定された前記移動体の第2の移動軌跡との対応関係を求めることを特徴とする。請求項11に記載の発明は、請求項10に記載の発明において、前記第1の移動軌跡と前記第2の移動軌跡との前記対応関係に基づき、前記複数の静止画像の撮影時刻と撮影位置の情報を得ることを特徴とする。
本発明によれば、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減できる。
1.第1の実施形態
(概要)
この例では、自律飛行可能な無人航空機(UAV(Unmanned Air Vehicle)。)にカメラを搭載した機材を用いる。UAVは、GNSS装置(航法衛星を用いた位置特定装置)とIMU(慣性航法装置)を搭載しており、自律飛行が可能である。UAVは、飛行しながらカメラによって地表を連続的に撮影する。すなわち、飛行しながら、時刻t1に第1の静止画像を撮影し、時刻t2に第2の静止画像を撮影し、時刻t3に第3の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば2秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻t1に撮影した第1のフレーム画像、時刻t2に撮影した第2のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。
(概要)
この例では、自律飛行可能な無人航空機(UAV(Unmanned Air Vehicle)。)にカメラを搭載した機材を用いる。UAVは、GNSS装置(航法衛星を用いた位置特定装置)とIMU(慣性航法装置)を搭載しており、自律飛行が可能である。UAVは、飛行しながらカメラによって地表を連続的に撮影する。すなわち、飛行しながら、時刻t1に第1の静止画像を撮影し、時刻t2に第2の静止画像を撮影し、時刻t3に第3の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば2秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻t1に撮影した第1のフレーム画像、時刻t2に撮影した第2のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。
上記の撮影では、飛行しながらの撮影であるので、視点の位置が少しずつずれ、また少しずつ撮影対象の範囲がずれた静止画像が多数得られる。カメラは時計を持っており、撮影時刻は記録され、撮影した静止画像との関連付けがされた画像データが得られる。UAVは、GNSS装置とIMUが計測した飛行経路に係るデータを記録する機能を有する。この例において、UAVは、GNSSを利用して0.2秒間隔で飛行経路の位置情報を記録している。この飛行経路を記録したデータは、ログデータとして飛行後にUAV外部に出力することができる。他方でカメラは2秒間隔で静止画像の撮影を行い、その画像データを記録している。そして、UAVとカメラは、それぞれ時計を持っているが、それは同期していない、したがって、飛行が終了し、カメラから画像データを、UAVから飛行経路に係るログデータを得た段階で、画像データと飛行経路に関するログデータとの関連付けは行われていない。本実施形態は、上記の画像データと飛行経路の関連付けをソフトウェア処理により行う技術に関する。
(構成)
カメラから得られる画像データとUAVから得られる飛行経路のデータとの関係を求める処理が図1の測量データ処理装置100において行われる。図1の測量データ処理装置100は、コンピュータとしての機能を有し、CPU、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図1には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
カメラから得られる画像データとUAVから得られる飛行経路のデータとの関係を求める処理が図1の測量データ処理装置100において行われる。図1の測量データ処理装置100は、コンピュータとしての機能を有し、CPU、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図1には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
例えば、測量データ処理装置100を専用のハードウェアで構成することも可能であるが、汎用のコンピュータを用いて図示する機能部の機能をソフトウェア的に実現する構成も可能である。汎用のコンピュータを用いた場合、当該コンピュータが備えた(あるいは当該コンピュータに接続された)ディスプレイ上に後述する画面表示が行われ、当該コンピュータで利用できるUI(ユーザ・インターフェース)を用いて、作業者による各種の作業が行われる。また、三次元モデル計測装置100の少なくとも一部の機能をタブレットコンピュータ(タブレット端末)やスマートフォンで行うことも可能である。
測量データ処理装置100は、入力部101、画像処理部102、同期処理部103、表示部104、UI(ユーザ・インターフェース)制御部105、記憶部106および出力部107を備えている。入力部101には、UAVが飛行中にカメラが撮影した画像の画像データ、UAVのログデータ(飛行経路を記録したデータ)およびIMUが計測したUAVの傾きに関するデータが入力される。画像処理部102は、UAVが飛行中に撮影した複数の静止画像に基づき、UAVの飛行経路を推定する処理を行う。図2には、画像処理部102のブロック図が示されている。画像処理部102は、特徴点抽出部111、対応点特定部112、移動方向ベクトルの特徴抽出部113、飛行経路推定部114および正規化処理部115を備えている。
特徴点抽出部111は、静止画像中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
対応点特定部112は、2枚の静止画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の静止画像中で抽出された特徴点と同じ特徴点を他方の静止画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図4に示すテンプレートマッチングを用いて行われる。
テンプレートマッチングとしては、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithm)、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、2つの座標系における画像の座標データを相互に比較し、両者の相関関係により、2つの画像の対応関係を求める方法である。テンプレートマッチングでは、2つの視点それぞれから見た画像の特徴点の対応関係が求められる。図4は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、N1×N1画素のテンプレート画像を、それよりも大きいM1×M1画素の入力画像内の探索範囲(M1−N1+1)2上で動かし、下記数1で示される相互相関関数C(a,b)が最大となるような(つまり相関の程度が最大となるような)テンプレート画像の左上位置を求める。
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
テンプレートマッチングを用いることで、比較する2つの画像の一致する部分が特定でき、2つの画像の対応関係を知ることができる。この方法では、2つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。2つの画像の相関関係は、両画像の特徴点によって決まる。
移動方向ベクトルの特徴抽出部113は、時間の経過に従って生じる静止画像の変化に基づき、UAV(カメラ)の移動に相関するベクトルの特徴を抽出する。このベクトルを移動方向ベクトルと呼ぶ。時間の経過に伴う移動方向ベクトルの軌跡を求めることでUAVの相対的な飛行経路を求めることができる。
以下、移動方向ベクトルの特徴抽出部113で行われる処理について説明する。まず、予備的な知識として、各時刻にえられた静止画像と実際の飛行経路との関係を説明する。図8には、静止画像の遷移と、UAVのログデータから得た移動ベクトルの対応関係が示されている。図8には、飛行に従って刻々と映っている場所がずれてゆく様子が示された連続静止画像No1〜No4が示されている。連続静止画像No1〜No4の下には、UAVのログデータから得た飛行経路(移動ベクトルの遷移)が示されている。
図8に示すように静止画像の変化は、飛行経路の動きに対応している。この現象を利用して、移動方向ベクトルの特徴抽出部113では、静止画像を解析することで、カメラに対する静止画像の相対的な動きを特徴づける移動方向ベクトルを得る処理を行う。
図5には、t1→t2→t3と経過した場合における時刻t1に得られた静止画像、時刻t2に得られた静止画像および時刻t3に得られた静止画像が模式的に示されている。図5に示す静止画像には、十字路と角に立つ建築物が簡素化された状態で示されている。図5には、時刻t1から時刻t2にかけて特徴点×が左に移動し、更に時刻t2から時刻t3にかけて特徴点×が左下に移動した場合が示されている。
この場合、移動方向ベクトルの特徴抽出部113は、特徴点×に着目し、その位置の変化を抽出する。例えば、この場合、時刻t1の静止画像と時刻t2の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルAを得る。また、時刻t2の静止画像と時刻t3の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルBを得る。そして、移動方向ベクトルAとBを接続することで、移動方向ベクトルCを得る。このようにして時間軸上で隣接する静止画像を比較することで、静止画像の変化を特徴づける移動方向ベクトル(例えば、図5の移動方向ベクトルC)を得る。
飛行経路推定部114は、移動方向ベクトルに基づいてUAVの飛行経路(カメラの移動経路)を推定する。例えば、図5の移動ベクトルCに着目した場合、大地を基準にするとUAVの動きは、移動ベクトルAおよびBと逆の経路になるので、時刻t1〜t3におけるUAVの飛行経路は、飛行経路Lのようになる。以上は、時刻t1,t2,t3の3つの時刻の場合であるが、更に複数の時刻に得られた静止画像を対象に同様な処理を行うことで、UAVの飛行経路の軌跡が推定される。以上の処理が飛行経路推定部114において行われる。
ただし、この段階で得られる推定された飛行軌跡は、スケールが与えられていないので相対的なものとなる。すなわち、図5に示す原理に従って得られた飛行経路は、飛行距離に関するデータは得られていない。
図2の正規化処理部115は、飛行経路推定部114が推定したUAVの推定飛行経路の軌跡を拡大縮小させ、UAVのログデータから得られたUAVの実際の飛行経路との間のスケールの差を調整する。すなわち、飛行経路推定部が得たUAVの推定飛行経路は、実スケールが与えられていない相対的な飛行の軌跡であるので、ログデータから得られる実際の飛行経路とスケールを合わせるために、上記のスケールの調整を行う。
一般にUAVの飛行は、図9に示すような軌跡で行われる。そこで、図9に示すような実際の軌跡と同じ程度のスケールになるように推定された飛行軌跡を拡大縮小させる。こうして、スケールが同程度に調整された推定飛行経路の軌跡が得られる。以上が正規化処理部115で行われる処理の内容である。
図1に戻り、同期処理部103は、画像処理部102が推定したUAVの飛行経路のデータとUAVが実際に記録した飛行経路のデータ(ログデータ)とを比較し、両者を同期させる(対応させる)処理を行う。
同期処理部103において行われる処理の具体的な一例を以下に示す。同期処理部103は、画像処理部102が推定したUAVの飛行経路Aの軌跡を回転、平行移動、拡大および縮小させ、実際に記録した飛行経路Bとのマッチングを行う。このマッチングが行われることで、飛行経路Aと飛行経路Bの対応関係が明らかになり、飛行経路のどの位置でどのような静止画像が撮影されたのかを特定することができるようになる。
すなわち、飛行経路Bでは、位置と時刻の関係が特定されているから、飛行経路Aと飛行経路Bとがマッチングした段階で、飛行経路A(画像解析から推定した飛行経路)に実スケールが与えられ、さらに飛行経路Aにおける位置と時刻の関係が判明する。そして、飛行経路Aにおける位置と時刻の関係が判明することで、飛行経路Aの元となった静止画像の撮影時刻と撮影位置の情報が得られる。すなわち、カメラから得られた画像データにおける特定の静止画像の撮影時刻と撮影位置が判明する。判明した撮影時刻と撮影位置のデータおよび当該撮影時刻におけるUAVの傾きに関するデータは、ヘッダー情報(例えば、ジオタグ)として、それぞれの画像ファイルに付加される。
表示部104は、図9〜図14に示すような各種のGUI(グラフィカル・ユーザ・インターフェース)画像を表示する。また、表示部104は、測量データ処理装置100の操作に必要な表示、各種データの表示を行う。測量データ処理装置100としてノートパソコンを用いた場合、当該ノートパソコンのディスプレイが表示部104として用いられる。
UI制御部105は、図9〜図14に示すようなGUIの機能を制御する。図3には、UI制御部105のブロック図が示されている。UI制御部105は、経路点指示受付部121、対応静止画像取得部122、移動方向表示埋め込み部123および移動方向表示付き静止画像の表示制御部124を備えている。
経路点指示受付部121は、ログデータから得られた飛行経路の特定の点(経路点)が作業者によって指定された際にそれを受け付ける。例えば、図10には、表示部104に表示されるGUI画像の一例が示されている。図10の右側には、ログデータから得られた飛行経路が示され、左側に画像データから得られた静止画像が表示されている。ここで、右側の飛行経路の特定の点(四葉のクローバ型のマーカ点)の位置で撮影した静止画像が左側に表示されている。四葉のクローバ型のマーカの位置は、作業者がGUIを操作して指定することができる。この操作の内容が経路点指示受付部121で受け付けられる。
対応静止画像取得部122は、経路点指示受付部121が受け付けた飛行経路の特定の位置に対応した静止画像(カメラが撮影した静止画像)を画像データから取得する。移動方向表示埋め込み部123は、対応静止画像取得部122が取得した静止画像の中にUAV(カメラ)の移動方向を示す印(図10の場合、緑の矢印)を埋め込む処理を行う。UAVの移動方向は、図5に示す原理から算出される。すなわち、時間軸上で隣接する静止画像を比較することで、当該画像間における特徴点の相対的な動きを検出し、この特徴点の相対的な動きから、UAVの移動方向と移動量を算出する。この処理により、一つ前の静止画像を起点としたUAVの移動方向と移動量が算出され、それを矢印(ベクトル表示)として当該静止画像中に表示する。この処理が移動方向表示埋め込み部123において行われる。
移動方向表示付き静止画像の表示制御部124は、UAVの移動方向を示す印を埋め込んだ静止画像を表示部104に表示するための制御を行う。図10の左側には、移動方向表示付き静止画像の表示制御部124によって表示部104に表示された静止画像の一例が示されている。
図1に戻り、記憶部106は、測量データ処理装置100の動作に必要な各種のデータや動作の結果得られた各種のデータを記憶する。例えば、カメラが得た画像データ、UAVのログデータ、測量データ処理装置を動作させるための各種のプログラム、および測量データ処理装置100で処理する中間データや処理の結果得られたデータが記憶部106に記録される。出力部107は、測量データ処理装置100が得た各種のデータや測量データ処理装置100が扱う各種のデータを外部に出力する。
(処理の一例)
図6には、処理手順の一例が示されている。処理が開始されると、画像データの入力が行われ(ステップS101)、さらにログデータの入力が行われる(ステップS102)。画像データが入力されたら、各静止画像において特徴点の抽出が行われる(ステップS103)。この処理は、図2の特徴点抽出部111において行われる。特徴点を抽出したら、時間軸上で隣接する静止画像間において対応する特徴点の特定が行なわれる(ステップS104)。この処理は、図2の対応点特定部112において行われる。
図6には、処理手順の一例が示されている。処理が開始されると、画像データの入力が行われ(ステップS101)、さらにログデータの入力が行われる(ステップS102)。画像データが入力されたら、各静止画像において特徴点の抽出が行われる(ステップS103)。この処理は、図2の特徴点抽出部111において行われる。特徴点を抽出したら、時間軸上で隣接する静止画像間において対応する特徴点の特定が行なわれる(ステップS104)。この処理は、図2の対応点特定部112において行われる。
対応点を特定したら、図5に例示した方法を用いて移動方向ベクトルの特徴を抽出する(ステップS105)。この処理は、図2の移動方向ベクトルの特徴抽出部113において行われる。次に、ステップS106に進み、図5下部に示す原理により、移動方向ベクトルに基づくUAVの飛行経路の算出を行う。この処理は、図2の飛行経路推定部114において行われる。
飛行経路を推定したら、正規化処理(ステップS107)を行い、ログデータ102から得られる飛行経路とステップS106で推定した飛行経路とのスケールを合わせる。次に、推定した飛行経路を平行移動、回転、拡大、縮小させ、ログデータ102から得られる飛行経路とのマッチングを行う(ステップS108)。マッチングの判定は、最小二乗法を用いて行う。
この処理では、図5の方法により得られた推定飛行経路を示すベクトルと、ログデータから得られる飛行経路を示すベクトルとの間の距離の総和が最小となる推定飛行経路の位置を最小二乗法により求める。勿論、他の方法により、推定飛行経路とログデータから得た飛行経路とのマッチングをとることもできる。ステップS108により、撮影した複数の静止画像とUAV側で取得した飛行経路とが関連付けされた測量データが得られる。この測量データは、図1の記憶部106に記憶される。
ログデータ102から得られる飛行経路とステップS106で推定した飛行経路とのマッチングを取ることで、飛行経路と撮影した静止画像との対応関係が判明する。この結果、図9〜図14に例示するGUI画像の表示が可能となる(ステップS109)。
以下、図9〜図14について説明する。図9の右側には、飛行前に指定した指定位置Wとログデータから得た実際の飛行経路が示され、左側には、右側の飛行経路中で四葉のクローバ型のマーカで指定された位置に対応する(当該位置で撮影されたとされる)静止画像が表示されている。
図10の右側には、ログデータから得た実際の飛行経路が示されている。ここで、矢印の表示が、静止画像の撮影位置に対応している。この矢印表示を作業者が指定すると、その点が四葉のクローバ型のマーカとなり、対応する静止画像が左側に表示される。この際、左側に表示される静止画像中には、UAVの向き(飛行する方向)を示す矢印が表示される。この処理は、図11〜図14においても同様に行われる。
上記の図10〜図14に係る処理の手順の一例を説明する。ここでは、図10を対象に説明を行う。図7には、この際の処理の手順の一例が示されている。まず、前提として図6の処理が行なわれ、画像データとログデータとの同期(対応関係)が得られた状態であるとする。
図10のGUI画面上において、作業者により右側の飛行経路の特定の撮影位置(特定の矢印位置)が指定されると(ステップS111)、対応する静止画像が取得される(ステップS112)。ここで、ステップS111は、図3の経路点指定受付部121で実行され、ステップS112は、図3の対応静止画像取得部122で行われる。
ステップS112の後、ステップS113に進み、ステップS112で取得した静止画像の中にUAVの飛行方向を示す矢印(移動方向表示)を埋め込む処理を行う。この処理は、図3の移動方向表示埋め込み部123において行われる。次に、ステップS114に進み、UAVの飛行方向を示す矢印(移動方向表示)が表示された静止画像を図1の表示部104に表示する処理が行なわれる。この処理は、図3の移動方向表示付き静止画像の表示制御部124において行われる。
UAVが搭載するGNSS装置やIMUの性能にもよるが、往々にしてUAVが取得するログデータには誤差が含まれている。特に低コストである装置を用いた場合、この傾向が大となる。また、UAV側における位置情報の取得間隔とカメラの撮影間隔とは必ずしも一致しない。そもそも汎用の製品を組み合わせた場合、ログデータの時刻情報と画像データの時刻情報とがずれている場合もあり得る。したがって、図10において、作業者が指定した位置と左側に表示される静止画像とが一致しない場合がありうる。すなわち、マッチングにずれがあり、指定した位置と数コマずれた静止画像(指定した位置と少し異なる位置から撮影された静止画像)が選択され、表示される可能性がある。
図10〜図14の画像を用いることで上記のずれを検出することができる。この場合、作業者のマニュアル操作によりずれが補正される。このずれの検出は、以下のようにして行われる。図10〜図14に示すように、作業者は、飛行経路に沿って飛行位置を指定し、その際に表示される左側の静止画像を確認する。この際、静止画像中には、UAVの飛行方向を示す矢印が示される。また、この矢印には、一つ前の静止画像からの移動距離が示される。
ここで、図11→図12→図13の経緯を見ると、UAVの旋回に従って静止画像中に表示される矢印の向きが変化することが分かる。この旋回時における右側の経路の変化と左側の静止画像中における矢印の変化とを対比することで、飛行経路と静止画像との対応関係の正誤を調べることができる。例えば、隣接あるいは近接する2つの時刻において、右側の飛行経路では、明らかにUAVの向きが変わっているのに、左側の静止画像中での矢印の変化が見られない場合、飛行経路と静止画像との対応関係がずれていることが判る。また、両者の変化の現れるタイミングのずれから、ずれの方向が判る。
例えば、時系列に従って、図11〜図14のGUI画像を表示させていった場合において、右側の飛行経路におけるUAVの向きの変化が観察されてから、少し遅れて左側の静止画像中での矢印の変化が見られる場合、飛行経路上の本来の位置より後ろの位置の静止画像が対応付けされていることが判る。この場合、ずれた時刻分、対応関係をずらすことで、画像データとログデータとの正しい対応関係が得られる。
上述したように、静止画像と飛行経路との同期を確認する作業は、画面上で視覚的に行うことが可能であり、その操作も簡単である。したがって、作業者への負担も軽い。特に同期のずれは、UAVが旋回した部分に着目することで、容易にしかも正確に認識することができる。このため、精度の高い作業を低い負担で行うことができる。
Claims (11)
- 飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部と
を備え、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理装置。 - 画面表示された前記飛行経路には、前記静止画像を撮影した時刻の位置を特定する印が表示されていることを特徴とする請求項1に記載の測量データ処理装置。
- 前記静止画像を撮影した時刻の位置を特定する前記印が指定されると、当該時刻に撮影された静止画像が選択されることを特徴とする請求項2に記載の測量データ処理装置。
- 飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶するステップと、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するステップと
を備え、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部として動作させ、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とするプログラム。 - 前記移動体の前記移動方向は、前記静止画像と撮影時刻が異なる他の静止画像の間における特徴点の動きから算出され、
前記移動体の前記移動方向の表示が前記静止画像に埋め込まれることを特徴とする請求項1に記載の測量データ処理装置。 - 前記静止画像と前記他の静止画像とは、時間軸上で隣接していることを特徴とする請求項6に記載の測量データ処理装置。
- 前記静止画像と撮影時刻の異なる前記他の静止画像の間における特徴点の動きから前記移動体の前記移動方向に加えて、前記移動体の移動量が算出され、
前記静止画像中に、当該静止画像を撮影した前記移動体の前記移動方向と前記移動量がベクトル表示されることを特徴とする請求項6または7に記載の測量データ処理装置。 - 前記静止画像と撮影時刻の異なる前記他の静止画像の間における特徴点の動きから前記移動体の前記移動方向に加えて、前記移動体の移動量が算出され、
前記移動体の前記移動方向と前記移動量に基づき、前記移動体の移動軌跡を推定することを特徴とする請求項6〜8のいずれか一項に記載の測量データ処理装置。 - 前記移動体は、慣性航法装置と航法衛星を用いた位置特定装置を搭載し、
前記慣性航法装置と前記航法衛星を用いた前記位置特定装置に基づく前記移動体の第1の移動軌跡と前記推定された前記移動体の第2の移動軌跡との対応関係を求めることを特徴とする請求項9に記載の測量データ処理装置。 - 前記第1の移動軌跡と前記第2の移動軌跡との前記対応関係に基づき、前記複数の静止画像の撮影時刻と撮影位置の情報を得ることを特徴とする請求項10に記載の測量データ処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014293A JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
CA2918550A CA2918550A1 (en) | 2015-01-28 | 2016-01-22 | Survey data processing device, survey data processing method, and program therefor |
EP16152534.0A EP3051254B1 (en) | 2015-01-28 | 2016-01-25 | Survey data processing device, survey data processing method, and program therefor |
US15/007,414 US9736360B2 (en) | 2015-01-28 | 2016-01-27 | Survey data processing device, survey data processing method, and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014293A JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016138826A JP2016138826A (ja) | 2016-08-04 |
JP2016138826A5 true JP2016138826A5 (ja) | 2018-03-08 |
JP6506032B2 JP6506032B2 (ja) | 2019-04-24 |
Family
ID=55229609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015014293A Active JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9736360B2 (ja) |
EP (1) | EP3051254B1 (ja) |
JP (1) | JP6506032B2 (ja) |
CA (1) | CA2918550A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10867377B2 (en) * | 2016-12-21 | 2020-12-15 | Massachusetts Institute Of Technology | Determining soil state and controlling equipment based on captured images |
JP6930840B2 (ja) * | 2017-03-08 | 2021-09-01 | 株式会社トプコン | 測量システム |
JP7050425B2 (ja) | 2017-05-01 | 2022-04-08 | 株式会社トプコン | 測量システム |
US10761544B2 (en) * | 2017-10-13 | 2020-09-01 | Deere & Company | Unmanned aerial vehicle (UAV)-assisted worksite operations |
US11308735B2 (en) | 2017-10-13 | 2022-04-19 | Deere & Company | Unmanned aerial vehicle (UAV)-assisted worksite data acquisition |
US11099012B2 (en) * | 2018-03-19 | 2021-08-24 | Honda Motor Co., Ltd. | Aerial vehicle and control method for aerial vehicle |
JP7188687B2 (ja) * | 2018-07-17 | 2022-12-13 | エアロセンス株式会社 | 情報処理方法、プログラム、および情報処理システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4805121A (en) * | 1986-05-30 | 1989-02-14 | Dba Systems, Inc. | Visual training apparatus |
US5555018A (en) * | 1991-04-25 | 1996-09-10 | Von Braun; Heiko S. | Large-scale mapping of parameters of multi-dimensional structures in natural environments |
JP2000000005A (ja) | 1999-06-21 | 2000-01-07 | Seirei Ind Co Ltd | 自走式根菜収穫機 |
GB2418558B (en) * | 2003-06-20 | 2007-07-04 | Mitsubishi Electric Corp | Image display apparatus |
JP2010016805A (ja) * | 2008-06-04 | 2010-01-21 | Sanyo Electric Co Ltd | 画像処理装置、運転支援システム、及び画像処理方法 |
JP2013096745A (ja) | 2011-10-28 | 2013-05-20 | Hokuriku Kosoku Co Ltd | 三次元モデルの作成方法 |
US8954853B2 (en) * | 2012-09-06 | 2015-02-10 | Robotic Research, Llc | Method and system for visualization enhancement for situational awareness |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
EP3541071A1 (en) * | 2013-08-02 | 2019-09-18 | Xactware Solutions Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
-
2015
- 2015-01-28 JP JP2015014293A patent/JP6506032B2/ja active Active
-
2016
- 2016-01-22 CA CA2918550A patent/CA2918550A1/en not_active Abandoned
- 2016-01-25 EP EP16152534.0A patent/EP3051254B1/en active Active
- 2016-01-27 US US15/007,414 patent/US9736360B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6506032B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
JP2016138826A5 (ja) | ||
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
US10810734B2 (en) | Computer aided rebar measurement and inspection system | |
CN105825498B (zh) | 测量数据处理装置、测量数据处理方法以及程序 | |
JP6543520B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
JP4800163B2 (ja) | 位置測定装置及びその方法 | |
KR102664900B1 (ko) | 드론을 이용한 지상기준점 측량장치 및 그 방법 | |
JP6516558B2 (ja) | 位置情報処理方法 | |
EP1986154A1 (en) | Model-based camera pose estimation | |
KR20150096922A (ko) | 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법 | |
JP6433200B2 (ja) | 演算装置、演算方法、およびプログラム | |
JP2007278845A (ja) | 画像処理装置及びその処理方法 | |
WO2004113836A1 (ja) | 撮影映像表示方法 | |
JP6460700B2 (ja) | トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム | |
JP2014013147A5 (ja) | ||
Brunetto et al. | Fusion of inertial and visual measurements for rgb-d slam on mobile devices | |
CN105100600A (zh) | 用于全景可视系统中的自动校准的方法和装置 | |
JP6506031B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
JP4550081B2 (ja) | 画像測定方法 | |
KR100956446B1 (ko) | 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법 | |
JP2016218626A (ja) | 画像管理装置、画像管理方法およびプログラム | |
JP6861592B2 (ja) | データ間引き装置、測量装置、測量システム及びデータ間引き方法 | |
JP2003083744A (ja) | 航空機搭載撮像装置および航空撮像データ処理装置 |