JP2021104802A - 飛行体の飛行経路表示方法及び情報処理装置 - Google Patents
飛行体の飛行経路表示方法及び情報処理装置 Download PDFInfo
- Publication number
- JP2021104802A JP2021104802A JP2020112346A JP2020112346A JP2021104802A JP 2021104802 A JP2021104802 A JP 2021104802A JP 2020112346 A JP2020112346 A JP 2020112346A JP 2020112346 A JP2020112346 A JP 2020112346A JP 2021104802 A JP2021104802 A JP 2021104802A
- Authority
- JP
- Japan
- Prior art keywords
- flight
- flight path
- information
- image
- display method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000002131 composite material Substances 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/83—Electronic components structurally integrated with aircraft elements, e.g. circuit boards carrying loads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】本発明は、現実の飛行範囲の状況と飛行体の飛行経路を照らし合わせることにより、当該飛行経路の適性が確認可能となる撮像方法及び情報処理装置を提供すること。【解決手段】本発明は、飛行体の飛行経路をユーザ端末に表示するための飛行経路表示方法であって、前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得するステップと、前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成するステップと、前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成するステップと、を含む、ことを特徴とする飛行経路表示方法。【選択図】図7
Description
本発明は、飛行体の飛行経路表示方法及び情報処理装置に関する。
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、点検等を目的とした飛行経路を表示する飛行経路表示方法が開示されている。
しかしながら、上記特許文献1の開示技術では、地図M上に俯瞰的に飛行経路Rを示しているが、当該技術では立体的な視点で飛行体がどのような飛行経路を飛行するかは確認できなかった。特に点検等の対象が立体物である場合には、立体的な視点で飛行体が立体物の周囲をどのような飛行経路で飛行するか確認できないことが、飛行経路の適切性を判断することを難しくしていた。
さらに、事前に様々な視点から飛行範囲の画像を取得して、飛行経路と照らし合わせるなどして確認することや、実際に現地で飛行させることで確認することは可能であったが、前者の場合には、飛行経路が現実空間に重畳されるわけではないため正確性に乏しく、且つ、画像取得時からの変化に対応することも難しい。後者の場合には、現地で飛行させるためのユーザの労力や、飛行経路の適性が未確認の状態で飛行させるリスクがあり得た。
本発明はこのような背景を鑑みてなされたものであり、現実の飛行範囲の状況と飛行体の飛行経路とを照らし合わせることにより、当該飛行経路の適性が確認可能となる飛行経路表示方法及び情報処理装置を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、飛行体の飛行経路をユーザ端末に表示するための飛行経路表示方法であって、前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得するステップと、前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成するステップと、前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成するステップと、を含む、ことを特徴とする飛行経路表示方法、である。
本発明によれば、現実の飛行範囲の状況と飛行体の飛行経路を照らし合わせることにより、当該飛行経路の適性が確認可能となる飛行経路表示方法及びサーバを提供することができる。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行経路表示方法及び情報処理装置は、以下のような構成を備える。
[項目1]
飛行体の飛行経路をユーザ端末に表示するための飛行経路表示方法であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得するステップと、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成するステップと、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成するステップと、を含む、
ことを特徴とする飛行経路表示方法。
[項目2]
項目1に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、ウェイポイントに関する情報をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目3]
項目1または2に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想飛行体の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。
[項目4]
項目1乃至3に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想撮像対象物の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。
[項目5]
項目1乃至4に記載の飛行経路表示方法であって、
前記ユーザ端末は、AR機能を有するウェアラブルデバイスである、
ことを特徴とする飛行経路表示方法。
[項目6]
項目1乃至5に記載の飛行経路表示方法であって、
前記合成画像を表示させながら飛行経路を編集するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目7]
項目1乃至6に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を表示するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目8]
項目7に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を前記合成画像よりも大きく表示するように切り替え可能である、
ことを特徴とする飛行経路表示方法。
[項目9]
飛行体の飛行経路をユーザ端末に表示するための情報処理装置であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得する撮影状態情報取得部と、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成する飛行経路画像生成部と、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成する合成画像生成部と、を備える、
ことを特徴とする情報処理装置。
[項目1]
飛行体の飛行経路をユーザ端末に表示するための飛行経路表示方法であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得するステップと、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成するステップと、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成するステップと、を含む、
ことを特徴とする飛行経路表示方法。
[項目2]
項目1に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、ウェイポイントに関する情報をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目3]
項目1または2に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想飛行体の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。
[項目4]
項目1乃至3に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想撮像対象物の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。
[項目5]
項目1乃至4に記載の飛行経路表示方法であって、
前記ユーザ端末は、AR機能を有するウェアラブルデバイスである、
ことを特徴とする飛行経路表示方法。
[項目6]
項目1乃至5に記載の飛行経路表示方法であって、
前記合成画像を表示させながら飛行経路を編集するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目7]
項目1乃至6に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を表示するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。
[項目8]
項目7に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を前記合成画像よりも大きく表示するように切り替え可能である、
ことを特徴とする飛行経路表示方法。
[項目9]
飛行体の飛行経路をユーザ端末に表示するための情報処理装置であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得する撮影状態情報取得部と、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成する飛行経路画像生成部と、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成する合成画像生成部と、を備える、
ことを特徴とする情報処理装置。
<実施の形態の詳細>
以下、本発明の実施の形態による飛行体の撮像方法及び情報処理装置についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
以下、本発明の実施の形態による飛行体の撮像方法及び情報処理装置についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
図1に示されるように、本実施の形態における管理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4と、一以上の飛行体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、飛行体4と、飛行体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
図1に示されるように、本実施の形態における管理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4と、一以上の飛行体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、飛行体4と、飛行体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ1は、複数のユーザ端末2と、飛行体4、飛行体格納装置5と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
送受信部13は、管理サーバ1をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24、撮影部26、撮影状態情報取得部27等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24、撮影部26、撮影状態情報取得部27等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。
撮影部26は、例えばカメラであり、撮影画像を取得する。撮影状態情報取得部27は、例えばGPSやジャイロセンサ、気圧センサ、温度センサなどのセンサ類、端末の撮影部26に関する情報(例えば、撮影画角情報など)を記憶した記憶部(メモリ21やストレージ22の一部であってもよい)などを含み、撮影画像を取得した際のユーザ端末の撮影画角情報や撮影角度情報、撮影方位情報、ユーザ端末位置情報(例えば、緯度経度情報と高度情報など)などが撮影状態情報として取得される。これらの取得した画像及び情報は、管理サーバ1に送信され、後述の記憶部160に記憶される。なお、ユーザ端末位置情報に含まれる高度情報は、上述の気圧センサや温度センサに基づき算出された高度情報や、ユーザに設定させた高度情報でもよいが、例えば、ユーザに設定させた身長情報、または、ユーザの性別に応じた平均的な身長情報から、想定されるユーザ端末位置に応じて所定の高さだけ上下方向にオフセットした値を高度情報としてもよい。
<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2、飛行体格納装置5のいずれかに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置される。
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ1は、通信部110、フライトミッション生成部120、撮影画像・撮影状態情報受信部130、飛行経路画像生成部140、合成画像生成部150、記憶部160を備えている。フライトミッション生成部120は、飛行経路生成部121を含む。また、記憶部160は、飛行経路情報記憶部162、フライトログ記憶部164、撮影情報記憶部166を含む。なお、記憶部160は、撮像を行うために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報(例えば、飛行速度やウェイポイント間隔など)や、撮像対象物に関する情報(例えば、位置座標や高さ情報など)、対象物の周辺環境に関する情報(例えば、地形や周辺の構造物に関する情報)を記憶する記憶部(不図示)をそれぞれ有していてもよい。
図5は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ1は、通信部110、フライトミッション生成部120、撮影画像・撮影状態情報受信部130、飛行経路画像生成部140、合成画像生成部150、記憶部160を備えている。フライトミッション生成部120は、飛行経路生成部121を含む。また、記憶部160は、飛行経路情報記憶部162、フライトログ記憶部164、撮影情報記憶部166を含む。なお、記憶部160は、撮像を行うために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報(例えば、飛行速度やウェイポイント間隔など)や、撮像対象物に関する情報(例えば、位置座標や高さ情報など)、対象物の周辺環境に関する情報(例えば、地形や周辺の構造物に関する情報)を記憶する記憶部(不図示)をそれぞれ有していてもよい。
通信部110は、ユーザ端末2や、飛行体4、飛行体格納装置5と通信を行う。通信部110は、ユーザ端末2から、フライト依頼を受け付ける受付部としても機能する。
フライトミッション生成部120は、フライトミッションを生成する。フライトミッションは、少なくとも撮像ポイント(いわゆる、ウェイポイントであり、例えば緯度経度情報及び飛行高度情報を含む)情報及び撮像方向情報、撮像日時情報を含む飛行経路を含む情報である。飛行経路の設定は既知の方法で行われてもよく、例えば、手動で撮像ポイント及び撮像方向を設定されたものを参照したり、撮像対象物の位置座標と撮像対象物からの撮影距離を設定するなどして飛行経路生成部121により自動で撮像ポイント及び撮像方向を算出して設定したりしてもよい。生成された飛行経路に関する情報は、飛行経路情報記憶部162に記憶されていてもよい。
なお、飛行経路は、例えば、飛行体格納装置5を有さずに、ユーザにより機体を持ち運びされた位置を飛行開始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ1により管理された飛行体格納装置5の情報(例えば、位置情報や格納状態情報、格納機体情報など)を基に、飛行開始位置、途中経由地または飛行終了位置として選択された飛行体格納装置5の位置も含めた飛行経路として生成される構成でもよい。
撮影画像・撮影状態情報受信部130は、ユーザ端末2から送信された撮影画像及び撮影状態情報を受信し、必要に応じて撮影情報記憶部166へ記憶する。
飛行経路画像生成部140は、例えば、仮想的な三次元座標空間(いわゆるVR空間)を構築し、飛行経路情報記憶部162などに格納された飛行経路情報に基づき、VR空間に飛行経路を描画する。そして、撮影状態情報に基づいて、VR空間内の仮想カメラにより、描画された飛行経路を、撮影部26の撮影状態と同じ撮影状態(例えば、撮影画角、撮影角度、撮影方位、撮影位置など)において撮影し、飛行経路画像を取得する(例えば図8の左図参照)。なお、VR空間内には、飛行経路が描画されるだけに限らず、撮像対象物の三次元モデルや、飛行体4の三次元モデル、周辺環境(例えば、建物、木々など)に関する三次元モデル、ウェイポイント番号などの飛行経路などに関する情報を描画してもよく、飛行経路画像には、これらの描画されたものが撮影されていてもよい。
合成画像生成部150は、例えば、撮影部26の撮影画像及び飛行経路画像を取得し、撮影画像に飛行経路画像を重ね合わせることで合成画像を生成してもよい。
飛行経路情報記憶部162は、フライトミッション生成部120で生成された飛行体の撮像ポイント情報及び撮像方向情報、撮像日時情報を記憶している。フライトログ記憶部164は、例えば、フライトミッションにて設定された飛行経路上にて、飛行体4により取得された情報(例えば、離陸から着陸までに経由した位置の情報、静止画像、動画像、音声その他の情報)を記憶している。
撮影情報記憶部166は、図6に示すように、撮影画角情報記憶部1661、撮影角度情報記憶部1662、撮影方位情報記憶部1663、ユーザ端末位置情報記憶部1664を少なくとも含み、撮影画像・撮影状態情報受信部130が取得した撮影状態情報をそれぞれ記憶する。
なお、本実施の形態においては、管理サーバ1上の情報処理装置の機能として、撮影画像・撮影状態情報受信部130、飛行経路画像生成部140、合成画像生成部150、記憶部160を備えている例を基に説明しているが、これに限らず、これらの構成(ただし、撮影画像・撮影状態情報受信部130に代えて、撮影部26及び撮影状態情報取得部27)をユーザ端末2自体の情報処理装置の機能として備え、ユーザ端末2上で設定された飛行経路情報または管理サーバ1で生成された飛行経路情報を取得し、上述の合成画像を生成してもよい。これにより、ユーザ端末2の処理負荷は高まるが、管理サーバ1とのデータ通信量・通信頻度を減少させることができる。
<飛行経路表示方法の一例>
図7−15を参照して、本実施形態にかかる飛行経路表示方法について説明する。図7には、本実施形態にかかる飛行経路表示方法のフローチャートが例示されている。図8−13は、本発明の実施の形態にかかる飛行経路表示のための合成画像の生成について説明する例である。
図7−15を参照して、本実施形態にかかる飛行経路表示方法について説明する。図7には、本実施形態にかかる飛行経路表示方法のフローチャートが例示されている。図8−13は、本発明の実施の形態にかかる飛行経路表示のための合成画像の生成について説明する例である。
まず、情報処理装置は、飛行体の撮影部26で撮影した撮影画像S及び撮影状態情報取得部27により取得された撮影状態情報を取得する(SQ101)。
次に、情報処理装置は、管理サーバ1またはユーザ端末2において生成された飛行経路情報に基づき、VR空間内に飛行経路を描画し、撮影状態情報に基づき、VR空間内の仮想カメラにより描画された飛行経路を撮影して飛行経路画像Hを取得する(SQ102)。
次に、情報処理装置は、合成画像生成部150により撮影画像Sに飛行経路画像Hを重ね合わせて、合成画像Gを生成し(SQ103)、ユーザ端末2の画面に当該合成画像Gを表示する(SQ104)。
次に、情報処理装置は、撮影条件が変更されたかどうかを判定し(SQ105)、変更されている場合には、再度撮影画像及び撮影状態情報の取得(SQ101)から開始する。また、撮影条件が変更されていないと判定された場合に、撮影が終了されたかどうかを判定し(SQ106)、終了していない場合には、同様に、再度撮影画像及び撮影状態情報の取得(SQ101)から開始するが、この時には撮影状態情報を取得しない構成としてもよい。
なお、本フローに関する動作については、一例として所定のサンプリングレートに応じて随時行われていてもよく、例えばユーザ端末2により撮影した画面に飛行経路等が表示され、いわゆるARとして機能する。また、撮像対象物が存在する場合には、例えば撮像対象物を撮影すると、取得した静止画像または動画像に飛行経路が重畳された合成画像が取得されるように構成されていてもよい。
<合成画像G例1>
図8に例示されるように、飛行経路画像Hには、例えば飛行経路FRやウェイポイントWP及びそれに関する情報(例えばウェイポイント番号)、仮想飛行体VDが含まれる。そして、図9に例示されるように、撮影画像Sと飛行経路画像Hを合成して合成画像Gを得る。これにより、撮影画像Sを取得した撮影範囲内における飛行経路FR等が仮想的に現実世界の空間に重畳されるため、飛行経路FRの適性などについて確認しやすくなる。
図8に例示されるように、飛行経路画像Hには、例えば飛行経路FRやウェイポイントWP及びそれに関する情報(例えばウェイポイント番号)、仮想飛行体VDが含まれる。そして、図9に例示されるように、撮影画像Sと飛行経路画像Hを合成して合成画像Gを得る。これにより、撮影画像Sを取得した撮影範囲内における飛行経路FR等が仮想的に現実世界の空間に重畳されるため、飛行経路FRの適性などについて確認しやすくなる。
また、撮影日時情報もさらに用いてVR空間に仮想飛行体VDを配置することにより、ユーザが指定した時間において飛行体4がどの位置を飛行するかが確認しやすくなる。この時、飛行が終了している部分(図8、図9における飛行経路FRの実線部分)と飛行予定部分(図8、図9における飛行経路FRの点線部分)とが判別しやすいように、線の形状や太さを変更したり、色を分けたりするなどしてもよい。
<合成画像G例2>
図10に例示されるように、撮像対象物Tを含めた撮影画像Sを取得してもよい。この場合、図11に例示されるように、撮像対象物Tと飛行経路FRとの位置関係を視認することができるため、飛行経路FRの適性などについて確認しやすくなる。
図10に例示されるように、撮像対象物Tを含めた撮影画像Sを取得してもよい。この場合、図11に例示されるように、撮像対象物Tと飛行経路FRとの位置関係を視認することができるため、飛行経路FRの適性などについて確認しやすくなる。
<合成画像G例3>
図12に例示されるように、撮像対象物T及び飛行体4を含めた撮影画像Sを取得してもよい。この場合、図13に例示されるように、飛行体4と飛行経路FRとの位置関係を視認することができるため、特に現時点以降の飛行経路FRの適性などについて確認しやすくなる。さらに、図14に例示されるように、合成画像Gを表示する際に、飛行体4から取得した映像を表示するための表示領域Wを備えることで、撮像の適性も踏まえて飛行経路の適性を確認可能にしてもよい。なお、図14においては、合成画像Gが表示領域Wよりも大きく表示されているが、これに代えて表示領域Wを合成画像Gよりも大きく表示するようにしてもよく、これらを切り替え可能に構成してもよい。
図12に例示されるように、撮像対象物T及び飛行体4を含めた撮影画像Sを取得してもよい。この場合、図13に例示されるように、飛行体4と飛行経路FRとの位置関係を視認することができるため、特に現時点以降の飛行経路FRの適性などについて確認しやすくなる。さらに、図14に例示されるように、合成画像Gを表示する際に、飛行体4から取得した映像を表示するための表示領域Wを備えることで、撮像の適性も踏まえて飛行経路の適性を確認可能にしてもよい。なお、図14においては、合成画像Gが表示領域Wよりも大きく表示されているが、これに代えて表示領域Wを合成画像Gよりも大きく表示するようにしてもよく、これらを切り替え可能に構成してもよい。
<合成画像G例4>
図15に例示されるように、仮想撮像対象物VTを含めた飛行経路画像Hを取得してもよい。この場合、図16に例示されるように、仮想撮像対象物VTと実際の撮像対象物Tを重ね合わせて比較することができるため、例えば撮像対象物Tに予期せぬ構成Oが存在している場合に、予定していた飛行経路FRと実際の撮像対象物Tの構成とを比較しやすくすることができるため、より飛行経路FRの適性などについて確認しやすくなる。
図15に例示されるように、仮想撮像対象物VTを含めた飛行経路画像Hを取得してもよい。この場合、図16に例示されるように、仮想撮像対象物VTと実際の撮像対象物Tを重ね合わせて比較することができるため、例えば撮像対象物Tに予期せぬ構成Oが存在している場合に、予定していた飛行経路FRと実際の撮像対象物Tの構成とを比較しやすくすることができるため、より飛行経路FRの適性などについて確認しやすくなる。
さらに、ユーザ端末2において合成画像Gを表示させながら、飛行経路FRの編集を可能にしてもよい。これにより、合成画像Gにより飛行経路を確認しながら、より適切な飛行経路FRを設定しやすくなる。
なお、撮像対象物は、本例においては鉄塔である場合を図示して説明するが、これに限らず、カメラ42で撮影可能な物であればどのようなものであってもよく、例えば高層マンション、家、煙突、アンテナ塔、灯台、風車、樹木、観音像等の造形物、さらには人や動物などの生き物や火事等の煙などであってもよい。また、撮像対象物は実際に存在しているものに限らず、建設予定の物など任意の三次元モデルを配置可能である。
また、ユーザ端末2は、スマートフォンのような携帯通信端末を例示しているが、これに限らず、例えばAR機能を備えるウェアラブルデバイス(例えば、ARグラスのようなウェアラブルデバイスなど)であってもよく、これにより、飛行経路の視認性が向上し、飛行経路の適性がより確認しやすくなる。
このように、現実の飛行範囲の状況と飛行体の飛行経路を照らし合わせることにより、当該飛行経路の適性が確認可能となる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 管理サーバ
2 ユーザ端末
4 飛行体
2 ユーザ端末
4 飛行体
Claims (9)
- 飛行体の飛行経路をユーザ端末に表示するための飛行経路表示方法であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得するステップと、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成するステップと、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成するステップと、を含む、
ことを特徴とする飛行経路表示方法。 - 請求項1に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、ウェイポイントに関する情報をさらに含む、
ことを特徴とする飛行経路表示方法。 - 請求項1または2に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想飛行体の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。 - 請求項1乃至3に記載の飛行経路表示方法であって、
前記飛行経路を示す画像は、仮想撮像対象物の三次元モデルをさらに含む、
ことを特徴とする飛行経路表示方法。 - 請求項1乃至4に記載の飛行経路表示方法であって、
前記ユーザ端末は、AR機能を有するウェアラブルデバイスである、
ことを特徴とする飛行経路表示方法。 - 請求項1乃至5に記載の飛行経路表示方法であって、
前記合成画像を表示させながら飛行経路を編集するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。 - 請求項1乃至6に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を表示するステップ、をさらに含む、
ことを特徴とする飛行経路表示方法。 - 請求項7に記載の飛行経路表示方法であって、
前記飛行体から取得した映像を前記合成画像よりも大きく表示するように切り替え可能である、
ことを特徴とする飛行経路表示方法。 - 飛行体の飛行経路をユーザ端末に表示するための情報処理装置であって、
前記ユーザ端末の位置情報及び撮影画角情報、撮影角度情報、撮影方向情報を含む撮影状態情報を取得する撮影状態情報取得部と、
前記飛行経路に関する飛行経路情報に基づき、仮想空間内に描写された前記飛行経路を含む飛行経路画像を生成する飛行経路画像生成部と、
前記撮影状態情報に基づき取得された撮影画像上に、前記飛行経路画像を重畳することで得られる合成画像を生成する合成画像生成部と、を備える、
ことを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020112346A JP2021104802A (ja) | 2019-12-26 | 2020-06-30 | 飛行体の飛行経路表示方法及び情報処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020511544A JP6730764B1 (ja) | 2019-12-26 | 2019-12-26 | 飛行体の飛行経路表示方法及び情報処理装置 |
PCT/JP2019/051213 WO2021130980A1 (ja) | 2019-12-26 | 2019-12-26 | 飛行体の飛行経路表示方法及び情報処理装置 |
JP2020112346A JP2021104802A (ja) | 2019-12-26 | 2020-06-30 | 飛行体の飛行経路表示方法及び情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511544A Division JP6730764B1 (ja) | 2019-12-26 | 2019-12-26 | 飛行体の飛行経路表示方法及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021104802A true JP2021104802A (ja) | 2021-07-26 |
Family
ID=71738538
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511544A Active JP6730764B1 (ja) | 2019-12-26 | 2019-12-26 | 飛行体の飛行経路表示方法及び情報処理装置 |
JP2020112346A Pending JP2021104802A (ja) | 2019-12-26 | 2020-06-30 | 飛行体の飛行経路表示方法及び情報処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511544A Active JP6730764B1 (ja) | 2019-12-26 | 2019-12-26 | 飛行体の飛行経路表示方法及び情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6730764B1 (ja) |
WO (1) | WO2021130980A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022155628A (ja) * | 2021-03-31 | 2022-10-14 | 住友重機械建機クレーン株式会社 | 表示装置及び経路表示プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6662720B2 (ja) * | 2015-07-17 | 2020-03-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置 |
WO2018123747A1 (ja) * | 2016-12-28 | 2018-07-05 | Necソリューションイノベータ株式会社 | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 |
JP6866203B2 (ja) * | 2017-03-28 | 2021-04-28 | 株式会社ゼンリンデータコム | ドローンナビゲーション装置、ドローンナビゲーション方法、ドローンナビゲーションプログラム、探索用データ形成装置及び探索用データ形成プログラム |
JP7055324B2 (ja) * | 2017-08-08 | 2022-04-18 | 株式会社プロドローン | 表示装置 |
US10532814B2 (en) * | 2017-09-11 | 2020-01-14 | Disney Enterprises, Inc. | Augmented reality travel route planning |
JP6875269B2 (ja) * | 2017-12-22 | 2021-05-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 |
-
2019
- 2019-12-26 JP JP2020511544A patent/JP6730764B1/ja active Active
- 2019-12-26 WO PCT/JP2019/051213 patent/WO2021130980A1/ja active Application Filing
-
2020
- 2020-06-30 JP JP2020112346A patent/JP2021104802A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2021130980A1 (ja) | 2021-12-23 |
JP6730764B1 (ja) | 2020-07-29 |
WO2021130980A1 (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
CN115220475A (zh) | 用于uav飞行控制的系统和方法 | |
JP6829513B1 (ja) | 位置算出方法及び情報処理システム | |
JP6675537B1 (ja) | 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法 | |
JP6583840B1 (ja) | 検査システム | |
WO2021251441A1 (ja) | 方法、システムおよびプログラム | |
JP6966810B2 (ja) | 管理サーバ及び管理システム、表示情報生成方法、プログラム | |
US20210185235A1 (en) | Information processing device, imaging control method, program and recording medium | |
JP6730764B1 (ja) | 飛行体の飛行経路表示方法及び情報処理装置 | |
WO2021079516A1 (ja) | 飛行体の飛行経路作成方法及び管理サーバ | |
JP6800505B1 (ja) | 飛行体の管理サーバ及び管理システム | |
JP6991525B1 (ja) | ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム | |
JP6818379B1 (ja) | 飛行体の飛行経路作成方法及び管理サーバ | |
JP6684012B1 (ja) | 情報処理装置および情報処理方法 | |
WO2021124579A1 (ja) | 飛行体の撮像方法及び情報処理装置 | |
JP2021100234A (ja) | 飛行体の撮像方法及び情報処理装置 | |
JP6786138B1 (ja) | 飛行体の管理サーバ及び管理システム | |
JP7370045B2 (ja) | 寸法表示システムおよび寸法表示方法 | |
JP6715541B1 (ja) | 飛行体の管理サーバ及び管理システム | |
JP6934646B1 (ja) | 飛行制限領域設定方法、ウェイポイント設定方法及び管理サーバ、情報処理システム、プログラム | |
JP6810498B1 (ja) | 飛行体の飛行経路作成方法及び管理サーバ | |
JP6810497B1 (ja) | 飛行体の飛行経路作成方法及び管理サーバ | |
JP6771253B1 (ja) | 飛行体の管理サーバ及び管理システム | |
JP6604681B1 (ja) | 寸法表示システムおよび寸法表示方法 | |
JP2023083072A (ja) | 方法、システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240412 |