JP2023083072A - 方法、システムおよびプログラム - Google Patents

Abstract

【課題】現場での飛行体の飛行制限区域を容易に確認することができる。
【解決手段】本方法は飛行制限区域を設定し利用するためのものであり、カメラ２８等により撮像されて得られる撮像画像をタッチパネル１２に表示させることと、撮像画像は、カメラ２８等の三次元空間における位置およびカメラ２８等の姿勢に係る情報が紐付けられ、三次元空間に設定される無人飛行体２０の飛行制限区域の位置に係る情報を取得することと、飛行制限区域内を飛行する無人飛行体から得られる撮像画像に、飛行制限区域に係るオブジェクトを重畳して、タッチパネル１２に表示することと、を含む。
【選択図】図４

Description

本開示は、方法、システムおよびプログラムに関する。

ドローン等の無人飛行体を用いた点検や撮影等のニーズが高まっている。そのため、無人飛行体を容易に操作する技術の開発が進められている。例えば、特許文献１には、タッチパネルを用いて無人飛行体を操作するための技術が開示されている。

特開２０１９－８５０４１号公報

点検や撮影を行う現場においては、可能な限り飛行体を飛行させる領域を制限する作業を行うことがある。その飛行を制限する区域は、例えば無人飛行体の飛行経路等を設定する際に設定されていたとしても、実空間では視覚的に捉えることが困難である。

本開示はこのような背景を鑑みてなされたものであり、その目的は、現場での飛行体の飛行制限区域を容易に確認することが可能な、方法、システムおよびプログラムを提供することである。

本開示によれば、撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、を含む、方法が提供される。

また、本開示によれば、表示制御に関するシステムであって、撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、を備えるシステムが提供される。

また、本開示によれば、コンピュータを、撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、として機能させるプログラムが提供される。

本発明によれば、現場での飛行体の飛行制限区域を容易に確認することができる。

本開示の一実施形態に係るシステム１の概略を示す図である。 同実施形態に係る情報処理端末１０の構成を示すブロック図である。 同実施形態に係る無人飛行体２０の機能構成の一例を示すブロック図である。 同実施形態に係る制御部１１の機能構成を示すブロック図である。 同実施形態に係るシステム１における一連の制御に係るフローチャート図である。 同実施形態に係るシステム１による飛行制限区域の設定方法に係るタッチパネル１２の第１の画面例を示す図である。 同実施形態に係るシステム１による飛行制限区域の設定方法に係るタッチパネル１２の第２の画面例を示す図である。 同実施形態に係るシステム１を用いた飛行制限区域に係る情報の出力方法における一連の制御に係るフローチャート図である。 同実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第１の画面例を示す図である。 同実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第２の画面例を示す図である。 同実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第３の画面例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜システム概要＞
図１は、本開示の一実施形態に係るシステム１の概略を示す図である。図示のように、システム１は、情報処理端末１０と、無人飛行体２０とを備える。本実施形態に係るシステム１は、例えば、建造物Ｓ１等を含む区域ＦＲＡ１の撮影等のために用いられ得る。かかるシステム１においては、情報処理端末１０を使用するユーザＵが、情報処理端末１０のタッチパネルに対して、無人飛行体２０の飛行を制御するための操作を行う。その際に、タッチパネルには、無人飛行体２０に搭載されるカメラ２８により撮影される、上記の区域を含む画像が表示される。本実施形態では、例えば、タッチパネルに映る画像に重畳して、無人飛行体２０の飛行制限区域の情報が表示され得る。かかる表示により、無人飛行体２０が飛行可能／飛行不可能な区域を、ユーザＵはタッチパネルを見ることで把握することができる。

本実施形態に係る情報処理端末１０は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理端末１０は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末１０は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。

図２は、本実施形態に係る情報処理端末１０の構成を示すブロック図である。図示のように、情報処理端末１０は、制御部１１及び表示部の一例であるタッチパネル１２を備える。

プロセッサ１１ａは、制御部１１の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサ１１ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ１１ｃに格納されてメモリ１１ｂに展開されたプログラムを実行して各処理を行う。

メモリ１１ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ１１ｂは、プロセッサ１１ａの作業領域として使用される一方、制御部１１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。

ストレージ１１ｃは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、建造物Ｓ１等を含む区域を撮像するための飛行体を、情報処理端末１０を介してユーザが操作する場合、ストレージ１１ｃには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。

送受信部１１ｄは、制御部１１をインターネット網等のネットワークに接続するものであって、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

入出力部１１ｅは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル１２が接続される。

バス１１ｆは、接続したプロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ及び入出力部１１ｅの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

タッチパネル１２は、表示部の一例であり、取得した映像や画像が表示される表示面を備える。この表示面は、本実施形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。

タッチパネル１２の表示面には、例えば、無人飛行体２０により撮像された画像が表示され得る。該表示面には、無人飛行体２０に撮像された画像に重畳して、無人飛行体２０の飛行制限区域に関する情報が表示され得る。また、該表示面には、無人飛行体２０の飛行制御や撮像装置の制御のためのボタンやオブジェクト等が表示され得る。また、ユーザは、該表示面に表示された画像やボタン等に対して、タッチパネル１２を介して入力情報を入力し得る。

なお、本実施形態では表示部の一例としてタッチパネル１２を挙げているが、本技術はかかる例に限定されない。例えば、表示部は、他のディスプレイ、モニタまたはスマートフォン等の表示機器により実現されてもよい。また、入力情報を取得するための入力装置としては、タッチパネル１２以外の方法で実現されていてもよい。例えば、入力装置として、タッチパネル１２の代わりに、マウス、キーボード、音声認識デバイス、視線認識デバイス等の様々な入力デバイスにより実現されていてもよい。また、タッチパネル１２等の表示機器および入力装置の少なくともいずれかとは独立して、情報処理端末１０が実現されてもよい。この場合、例えば、情報処理端末１０は、クラウドサーバ等の一又は複数のサーバにより実現され、タッチパネル１２と通信可能に設けられてもよい。

図３は、本実施形態に係る無人飛行体２０の機能構成の一例を示すブロック図である。図３に示すように、一実施形態に係る無人飛行体２０は、本体２１において、送受信部２２、フライトコントローラ２３、バッテリ２４、ＥＳＣ２５、モータ２６、プロペラ２７およびカメラ２８を備える。なお、無人飛行体２０は飛行体の一例である。飛行体の種類は特に限定されず、例えば、図３に示すようなマルチローター式のいわゆるドローンであってもよい。

フライトコントローラ２３は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサ２３Ａを有することができる。

フライトコントローラ２３は、メモリ２３Ｂを有しており、メモリ２３Ｂにアクセス可能である。メモリ２３Ｂは、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。

メモリ２３Ｂは、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。センサ類２３Ｃから取得したデータは、メモリ２３Ｂに直接に伝達されかつ記憶されてもよい。例えば、カメラ２８で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。

フライトコントローラ２３は、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために飛行体の推進機構（モータ２６等）をＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）２５を介して制御する。制御モジュールは、カメラ２８やセンサ類２３Ｃ等のうち１つ以上を制御することができる。

フライトコントローラ２３は、１つ以上の外部のデバイス（例えば、情報処理端末１０等の端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２２と通信可能である。例えば、送受信部２２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部２２は、カメラ２８やセンサ類２３Ｃで取得したデータ、フライトコントローラ２３が生成した処理結果、所定の制御データ、情報処理端末１０または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施形態によるセンサ類２３Ｃは、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

バッテリ２４は、例えばリチウムポリマー電池等の公知のバッテリであり得る。なお、無人飛行体２０を駆動させる動力は、バッテリ２４等から供給される電力に限定されず、例えば内燃機関等の動力によるものであってもよい。

カメラ２８は撮像装置の一例である。カメラ２８の種類は特に限定されず、例えば通常のデジタルカメラ、全天球カメラ、赤外線カメラ、サーモグラフィ等のイメージセンサ等であってもよい。カメラ２８は、本体２１と不図示のジンバル等により独立変位可能に接続されていてもよい。

図４は、本実施形態に係る制御部１１の機能構成を示すブロック図である。図４に示すように、制御部１１は、マップ取得部１１１、画像取得部１１２、表示制御部１１３、入力情報取得部１１４、飛行制限区域決定部１１５、座標変換部１１６および出力制御部１１７を備える。これらの各機能部は、プロセッサ１１ａがストレージ１１ｃに記憶されているプログラムをメモリ１１ｂに読み出して実行することにより実現され得る。また、マップ情報１１８は、例えばストレージ１１ｃや外部のストレージまたはクラウドサーバ等に格納され得る。

マップ取得部１１１は、マップ情報１１８を取得する機能を有する。マップ情報１１８は、マップに係る情報を有する。マップに係る情報とは、例えば、地図や航空写真（無人飛行体２０により撮像されるものを含んでも良い）に、位置情報（経度情報、緯度情報および高度情報の少なくともいずれかを含む）が関連付けられている情報である。かかるマップ情報１１８は、地理的な情報だけでなく、構造物や区域の種類（住宅、公園、公共施設、商業施設、工業施設、河川等）の情報を含んでいてもよい。マップ情報１１８は、例えば、地図に係るサービスが提供するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて取得されるものであってもよい。この場合、例えばユーザは、マップが表示されるタッチパネル１２に対する入力により飛行制限区域を設定すべき場所を探索する操作を行うことで、マップ情報１１８が適宜更新されていてもよい。取得したマップ情報１１８は、表示制御部１１３に出力される。

画像取得部１１２は、無人飛行体２０が撮像した画像の情報を取得する機能を有する。画像取得部１１２は、無人飛行体２０の搭載するカメラ２８が撮像した画像を適宜取得する。取得する画像は、リアルタイムで得られる動画像であってもよいし、任意のタイミングで撮像された静止画像であってもよい。取得した画像の情報は、表示制御部１１３に出力される。なお、かかる画像の情報には、撮影時の無人飛行体２０の位置情報（経度情報、緯度情報および高度情報の少なくともいずれかを含む）や、姿勢情報（カメラ２８および／または無人飛行体２０の姿勢の角度、向き等の情報）が含まれうる。なお、画像には必ずしもかかる情報が含まれていなくてもよい。例えば、システム１は、ある撮像画像を撮像したときの位置情報、姿勢情報等を含む飛行パラメータの情報を取得してもよい。その場合に、システム１は、撮像画像と、かかる飛行パラメータの情報とを紐づけてもよい。

表示制御部１１３は、取得した画像や情報をタッチパネル１２に表示させる機能を有する。また、表示制御部１１３は、本システム１を利用するユーザに情報を提供するための、およびユーザによる操作に基づく入力情報を取得するためのボタンやオブジェクト、テキスト等の情報を前記画像に含めて表示させる機能を有する。また、後述する入力情報取得部１１４により得られた入力情報に基づく表示をタッチパネル１２に表示させるための機能も有し得る。

例えば、表示制御部１１３は、取得したマップ情報１１８に係るマップを表示する機能を有し得る。これによりタッチパネル１２にはマップが表示される。また、表示制御部１１３は、画像取得部１１２が取得した撮像画像を表示する機能を有し得る。

入力情報取得部１１４は、タッチパネル１２に表示された画像に対する操作に基づいて生成される入力情報を取得する機能を有する。ここでいう入力情報は、例えば、タッチパネル１２に表示された画像上の位置に関する情報を含む。画像上の位置とは、例えば、該画像を構成する画素の位置である。すなわち、入力情報には、ユーザが画像上のどの位置に対する操作を行ったかを示す情報が含まれる。このような操作として、例えば、タップ、タッチ、スワイプ、スライド等の操作が含まれる。

このような入力情報は、例えば、飛行制限区域の設定に係る入力情報を含みうる。詳しくは後述するように、飛行制限区域の設定に係る入力情報は、例えば、タッチパネル１２に無人飛行体２０が飛行し得る区域がマップ上に表示されている場合、無人飛行体２０の飛行制限区域に対応する指定領域を該マップに対して設定する操作により生成される情報（指定領域情報）である。かかる入力情報は、例えば、飛行制限区域の登録、変更または削除に関する情報を含みうる。

また、入力情報は、無人飛行体２０の飛行を制御するための入力情報を含みうる。例えば、表示制御部１１３により無人飛行体２０の飛行を操作するためのボタンやオブジェクト等がタッチパネル１２に表示されている場合、無人飛行体２０の飛行を制御するための入力情報は、該ボタンやオブジェクトに対する操作により生成される情報である。かかる入力情報は、例えば、無人飛行体２０の離陸、着陸、上昇、下降、並進、回転および速度等にかかる制御、並びに、カメラ２８の撮像処理、ズームおよび撮影方向に関する制御のための情報を含みうる。

飛行制限区域決定部１１５は、飛行制限区域の設定に係る入力情報に基づいて、実空間上の飛行制限区域を決定する機能を有する。例えば、飛行制限区域決定部１１５は、上記の入力情報に含まれる指定領域情報に基づいて、実空間上の飛行制限区域を決定する。飛行制限区域は、例えば、マップ上の指定領域の位置情報（緯度情報および経度情報）等により特定され得る。

座標変換部１１６は、飛行制限区域を、無人飛行体２０により撮像された画像における位置座標に変換する機能を有する。例えば、座標変換部１１６は、飛行制限区域決定部１１５により決定された飛行制限区域の緯度情報および経度情報に基づいて、撮像画像上における飛行制限区域の座標を得る。これにより、例えば、後述するタッチパネル１２に表示される撮像画像上において、飛行制限区域がどの部分にあたるのかを認識することができる。

出力制御部１１７は、実空間上の飛行制限区域に係る情報を出力する機能を有する。出力制御部１１７による当該情報の出力態様は特に限定されない。例えば、出力制御部１１７は、タッチパネル１２に当該情報を出力してもよい。当該情報は、例えば、無人飛行体２０により撮像された撮像画像に重畳して表示されてもよい。より具体的には、出力制御部１１７は、当該情報をＡＲ（拡張現実）のように、飛行制限区域の内側または外側の少なくともいずれかに対応する位置（例えば領域）を示す表示を、撮像画像に重畳してタッチパネル１２に表示してもよい。

また、出力制御部１１７は、無人飛行体２０を移動させるためのオブジェクトを、無人飛行体２０が撮像した撮像画像に重畳して表示する場合に、かかるオブジェクトの表示を制御してもよい。具体的には、出力制御部１１７は、かかるオブジェクトが、撮像画像における飛行制限区域の外側（すなわち飛行不可区域）に対応する位置にある場合に、移動目標位置として設定不可であることに対応する態様により前記オブジェクトの表示を制御してもよい。設定不可であることに対応する態様とは、例えば、オブジェクトの色や形状等が変化したり、移動目標の設定を完了するためのオブジェクトが選択できないような態様となることを含みうる。また、出力制御部１１７は、移動目標位置を設定するためのオブジェクトが、撮像画像における飛行制限区域の内側になる位置のみに、タッチパネル１２に対する操作に基づいて移動可能となるようにかかるオブジェクトの表示を制御してもよい。

また、出力制御部１１７は、実空間上の飛行制限区域にかかる情報を無人飛行体２０に出力してもよい。例えば、出力制御部１１７は、飛行制限区域の内側の領域のみを飛行するように無人飛行体２０を制御してもよい。これにより、例えば、無人飛行体２０は、かかる飛行制限区域に対応する領域のみを飛行可能とすることができる。

次に、本実施形態に係るシステム１を用いた飛行制限区域の設定方法の一例について、フローチャートに沿って説明する。図５は、本実施形態に係るシステム１を用いた飛行制限区域の設定方法における一連の制御に係るフローチャート図である。

まず、マップ取得部１１１は、マップ情報１１８を取得する（ステップＳＱ１０１）。そして、取得されたマップは表示制御部１１３によりタッチパネル１２により表示される（ステップＳＱ１０３）。

図６は、本実施形態に係るシステム１による飛行制限区域の設定方法に係るタッチパネル１２の第１の画面例を示す図である。図６に示すように、タッチパネル１２の画面Ｖ１には、マップＭ１が表示されている。また、画面Ｖ１には、指定領域を修正するためのボタン１０１が表示されている。ユーザのタッチパネル１２に対する操作により、かかるマップＭ１に対して指定領域を設定する操作が可能となっている。また、マップＭ１に対してスライドやピンチ等の入力を行うことにより、マップＭ１の表示する領域を変更または拡縮等行うことが可能である。

次に、入力情報取得部１１４は、タッチパネル１２に対する入力により、指定領域に係る情報を取得する（ステップＳＱ１０５）。図７は、本実施形態に係るシステム１による飛行制限区域の設定方法に係るタッチパネル１２の第２の画面例を示す図である。図７に示すように、ユーザのタッチパネル１２に対する操作により、マップＭ１上において、複数箇所のピン２０１が設定され得る。そして、各ピン２０１を頂点として、指定領域２０２が設定され得る。なお、指定領域２０２の設定方法については特に限定されず、例えば、フリーハンドにより指定領域が設定されてもよい。また、過去に同様の領域が設定されている場合、過去に設定した情報を呼び出すことにより、指定領域が設定されてもよい。指定領域２０２は、例えば、ピン２０１の指定が完了して囲われた領域が生成された時点で確定され得る。

次に、飛行制限区域決定部１１５は、確定した指定領域２０２に基づいて、実空間上の飛行制限区域を決定する（ステップＳＱ１０７）。かかる飛行制限区域に係る情報は、例えば、一時的にストレージ１３等に記憶されていてもよい。

次に、本実施形態に係るシステム１を用いた飛行制限区域に係る情報の出力方法の一例について、フローチャートに沿って説明する。図８は、本実施形態に係るシステム１を用いた飛行制限区域に係る情報の出力方法における一連の制御に係るフローチャート図である。

まず、無人飛行体２０は、積載するカメラ２８により、飛行制限区域およびその近傍を含む区域を撮像する（ステップＳＱ２０１）。かかる撮像処理により得られた撮像画像は、画像取得部１１２により取得される（ステップＳＱ２０３）。その際、撮像画像を撮像した際の無人飛行体２０等の位置も合わせて取得される。位置に係る情報は、後述する撮像画像上の座標と実空間上の座標との間における変換処理に用いられ得る。

次に、表示制御部１１３は、撮像画像をタッチパネル１２に表示させる（ステップＳＱ２０５）。なお、かかる撮像画像は、無人飛行体２０からリアルタイムで受信する動画像であってもよいし、静止画像であってもよい。

次に、座標変換部１１６は、撮像画像上の座標と実空間座標との対応付けを行う（ステップＳＱ２０７）。かかる処理は、後述する撮像画像上への飛行制限区域に対応する領域の表示を行うための処理である。かかる撮像画像上の座標（ローカル座標）と実空間座標（グローバル座標）との対応付けは、公知の写像変換等の技術により行われ得る。

次に、座標変換部１１６は、上記の対応付けに基づいて、飛行制限区域の撮像画像上の座標への変換を行う（ステップＳＱ２０９）。かかる処理により、撮像画像上における飛行制限区域に対応する領域が一意に定まる。

次に、出力制御部１１７は、飛行制限区域の外側の領域をタッチパネル１２に撮像画像に重畳して表示する（ステップＳＱ２１１）。

図９は、本実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第１の画面例を示す図である。図９に示すように、タッチパネル１２の画面Ｖ１には、無人飛行体２０から撮像される撮像画像Ｐ１が表示されている。かかる撮像画像Ｐ１は、無人飛行体２０のカメラ２８の撮影方向を真下方向として撮像して得られるものである。そして、撮像画像Ｐ１に重畳して、飛行制限区域の内側の領域ＦＲＡ１０と、飛行制限区域のソロ側の領域ＦＲＡ１１とが、飛行制限区域の境界線２０３を挟んで表示されている。また、画面Ｖ１には、無人飛行体２０を着陸させるためのボタン１０３、無人飛行体２０を上下方向に移動させるためのボタン１０４、無人飛行体２０をヨー軸まわりに回転させるためのボタン１０５、無人飛行体２０に積載されているカメラ２８の撮影方向を調整するためのオブジェクト１０６、カメラ２８の広角／望遠の程度を調整するためのオブジェクト１０７、無人飛行体２０の移動目標位置の位置決めのためのオブジェクト１０８および無人飛行体２０の移動を開始するためのボタン１０９が、併せて表示されている。

図９に示すように、飛行制限区域の内側の領域ＦＲＡ１０と、飛行制限区域の外側の領域ＦＲＡ１１は、他の態様により表示され得る。図９に示す例では、飛行制限区域の内側の領域ＦＲＡ１０に対しては何も画像処理がされていないのに対し、飛行制限区域の外側の領域ＦＲＡ１０に対しては、オブジェクトが表示され得る。このように、タッチパネル１２上において、飛行制限区域の内外を無人飛行体２０の視点から視覚的に認識することが可能となる。すなわち、ユーザ自身がタッチパネル１２のインターフェースに対して設定した飛行制限区域に対応する実空間上の位置を、無人飛行体２０の飛行中において視認することが可能となる。なお、無人飛行体２０の移動に応じて、かかる飛行制限区域の内外の領域の表示位置も変更され得る。

図１０は、本実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第２の画面例を示す図である。図１０に示す例では、撮像画像Ｐ２は、無人飛行体２０のカメラ２８の撮像方向を真下ではなく斜めとして撮像して得られるものである。このように、撮像方向が斜めである場合も、撮像画像Ｐ２上に飛行制限区域に係る情報として、飛行制限区域の内側の領域ＦＲＡ１０と、飛行制限区域の外側の領域ＦＲＡ１１とを区別して表示させることが可能である。この場合は、例えば、撮像画像に含まれる位置情報として、カメラ２８の撮像角度に係る情報が含まれ得る。かかる撮像角度に係る情報に基づいて、座標変換部１１６が飛行制限区域の座標と撮像画像の座標との対応付けを行うことで、撮像画像Ｐ２上にかかる領域を表示させることができる。このとき、飛行制限区域の位置情報としては、所定の高度情報が含まれていてもよい。これにより、撮像画像Ｐ２上に重畳させる飛行制限区域の位置を一意に決めることができる。

図１１は、本実施形態に係るシステム１による飛行制限区域に係る情報の出力方法に係るタッチパネル１２の第３の画面例を示す図である。図１１に示す撮像画像Ｐ１は、図９に示した撮像画像Ｐ１と同一である。ここでは、無人飛行体２０の移動目標位置の位置決めのためのオブジェクト１０８を、飛行制限区域の外側の領域ＦＲＡ１１上に移動させる操作を行った場合について説明する。図１１に示すように、オブジェクト１０８を飛行制限区域の外側の領域ＦＲＡ１１上に移動させようとすると、オブジェクト１０８の態様が変化してオブジェクト１０８ａのような表示が画面Ｖ１に現れる。特にオブジェクト１０８ａは、この位置に設定できないような態様として表示され得る。これにより、ユーザはかかる区域に無人飛行体２０を移動させることができないことが直感的に理解することができる。なお、他の例としては、オブジェクト１０８が飛行制限区域の外側の領域ＦＲＡ１１に含まれる位置にある場合に、無人飛行体２０の移動を開始するためのボタン１０９が選択不可となるような態様に変更されて表示されていてもよい。これにより、ユーザが飛行制限区域の外に無人飛行体２０を移動させることができなくなる。

以上、本実施形態に係るシステム１による無人飛行体２０の制御方法の一例について説明した。なお、上記実施形態においては、無人飛行体２０の実際の飛行における制御方法の例について説明したが、本技術はかかる例に限定されない。例えば、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間における仮想のドローンを飛行させた場合におけるシミュレーションに、本技術を用いることが可能である。かかる無人飛行体２０の飛行制御による飛行挙動のシミュレーションをＶＲやＡＲにより行うことで、実際に無人飛行体２０を飛行させたときのカメラ２８の撮像方向等を事前に確認することができる。なお、ＶＲ空間やＡＲ空間を用いたシミュレーションの技術は、公知のものを用いることができる。

以上説明したように、本実施形態に係るシステム１によれば、タッチパネル１２に対して飛行制限区域を設定し、かかる飛行制限区域に関する情報を、タッチパネル１２を介して得ることができる。例えば、飛行制限区域を、無人飛行体２０が撮像する撮像画像に重畳してＡＲ的に表示させることができる。これにより、タッチパネル１２を操作するユーザは無人飛行体２０の飛行可能な飛行制限区域を自身で設定し、かつその位置を直感的に把握することが可能となる。かかる表示は、例えば無人飛行体２０のカメラ２８の撮影角度が変わっていても、追随して撮像画像の適切な位置に飛行制限区域を示すオブジェクトを重畳して表示させることが可能である。

なお、上記実施形態では、飛行制限区域の内側および外側をオブジェクト等によりＡＲ的に表示するものとしたが、本技術はかかる例に限定されない。例えば、飛行制限区域の境界に無人飛行体２０が近接している場合に、該境界に近接していることのアラートをタッチパネル１２により出力することがなされてもよい。また、無人飛行体２０が飛行制限区域の外側に飛行してしまったり、無人飛行体２０が所定時間以内に飛行制限区域の境界を超えるような飛行制御がされていると判断される場合は、無人飛行体２０は自動的に飛行制限区域の内側に向かうように制御されてもよい。

以下、上記実施形態の変形例について説明する。上記実施形態では、無人飛行体２０の飛行による目的地や飛行経路を設定する際に、あらかじめ定められた（または上記実施形態による機能により設定された）飛行制限区域を、無人飛行体２０により撮像された撮像画像に重畳して表示させるものとした。本変形例では、無人飛行体２０がかかる飛行経路等に従って飛行しながら、上記の飛行制限区域に対応する領域を、無人飛行体２０により撮像画像に重畳させて表示させ続けることができる。

本変形例に係るシステム１は、例えば、図４に記載した制御部１１の構成を有してもよい。また、本変形例に係るシステム１は、図８に示したステップＳＱ２０１～ステップＳＱ２１１に示す一連の処理を、繰り返し行う。すなわち、システム１は、無人飛行体２０のカメラ２８により撮像されて得られる撮像画像をタッチパネル１２に表示させることと、三次元空間（実空間）に設定される無人飛行体２０の飛行制限区域の位置に係る情報を取得することと、カメラ２８（または無人飛行体２０）の三次元空間における位置およびカメラ２８（または無人飛行体２０）の姿勢に係る情報、および三次元空間における飛行制限区域の位置に係る情報に基づいて、タッチパネル１２に、飛行制限区域を示す情報（例えば飛行制限区域の境界を示すオブジェクト）を、撮像画像上の三次元空間に対応する位置に表示させることを実行する。なお、撮像画像は、カメラ２８（または無人飛行体２０）の三次元空間における位置および姿勢に係る情報が紐付けられる。このように、システム１は、無人飛行体２０の飛行中（移動中及びホバリング中の少なくともいずれかを含む）において、無人飛行体２０による連続的又は断続的な撮像処理により得られる撮像画像および無人飛行体２０の位置情報を取得して、かかる一連の処理を実行する。これにより、無人飛行体２０の飛行中においても、飛行制限区域が撮像画像とともに重畳されて表示される。

なお、タッチパネル１２により表示される撮像画像および飛行制限区域の重畳画面には、無人飛行体２０の位置を示すオブジェクトが表示されていてもよい。かかるオブジェクトは、例えば、無人飛行体２０の平面座標系（例えば緯度および経度により定義される座標系）の位置を示すものであってもよい。これにより、無人飛行体２０の自機の位置と、飛行制限区域との距離等を視覚的に把握することができる。また、撮像画像が所定の条件を満たす撮影角度（例えば斜めからの撮影）である場合には、飛行制限区域は、三次元的に表示されてもよい。この場合、飛行制限区域に係る情報は境界上の高度情報を含み、飛行制限区域の境界を示すオブジェクトは、壁面の態様で表示されるものであってもよい。これにより、高さ方向においても飛行制限区域を把握することができる。

また、無人飛行体２０が飛行制限区域の外側に飛行してしまったり、無人飛行体２０が所定時間以内に飛行制限区域の境界を超えるような飛行制御がされていると判断される場合は、無人飛行体２０は自動的に飛行制限区域の内側に向かうように制御されてもよい。すなわち、システム１（具体的には出力制御部１１７）は、無人飛行体２０の自機位置の情報と飛行制限区域の情報とに基づいて、無人飛行体２０の自機位置と飛行制限区域との距離を判定し、かかる距離に基づいて無人飛行体２０に関する制御を行ってもよい。かかる制御は、例えば、タッチパネル１２を介したアラート（音声等の聴覚的情報、振動等の触覚的情報や注意画面等の視覚的情報）を出力する制御、無人飛行体２０の飛行制御（ホバリング、帰還、ルート変更等）であってもよい。どのような制御を行うかは、例えば、無人飛行体２０の位置が飛行制限区域の内側であって、所定の距離以内である場合や、距離の情報と無人飛行体２０の速度情報とから推定される無人飛行体２０の飛行制限区域の境界への接近情報（例えば飛行制限区域を脱出する時間等の情報）とに基づくものであってもよい。

なお、本変形例に係るシステム１は、上述した飛行制限区域の設定の処理および／または飛行制限区域に基づく飛行位置の設定の処理を行えるように構成されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置等により実現されてもよい。例えば、情報処理端末１０の制御部およびストレージは、互いにネットワークで接続された異なるサーバにより実現されてもよい。

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理端末１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
表示部にマップを表示することと、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得することと、
前記マップ上の指定領域に基づいて実空間上の飛行体の飛行制限区域に係る情報を出力することと、
を含む方法。
（項目２）
項目１に記載の方法であって、
前記実空間上の飛行制限区域に係る情報を、前記表示部に出力する、方法。
（項目３）
項目２に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体に積載される撮像画像を前記表示部に表示することと、
前記飛行制限区域に係る情報を、前記撮像画像に重畳して前記表示部に表示することと、をさらに含む、方法。
（項目４）
項目３に記載の方法であって、
前記撮像画像における前記飛行制限区域の内側または外側の少なくともいずれかに対応する位置を示す表示を、前記撮像画像に重畳して前記表示部に表示する、方法。
（項目５）
項目４に記載の方法であって、
前記撮像画像が撮像されたときの前記実空間上の位置に係る情報に基づき、前記飛行制限区域の内側または外側の少なくともいずれかに対応する領域を前記撮像画像に重畳して表示する、方法。
（項目６）
項目２～５のいずれか１項に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体により撮像される撮像画像を前記表示部に表示することを含み、
前記飛行体の移動目標位置を設定するためのオブジェクトが、前記撮像画像を表示する表示部に表示され、
前記オブジェクトの位置が、前記撮像画像における前記飛行制限区域の外側に対応する位置である場合に、前記移動目標位置として設定不可であることに対応する態様により前記オブジェクトを前記表示部に表示する、方法。
（項目７）
項目２～６のいずれか１項に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体により撮像される撮像画像を前記表示部に表示することを含み、
前記飛行体の移動目標位置を設定するためのオブジェクトが、前記撮像画像を表示する表示部に表示され、
前記オブジェクトが、前記撮像画像における前記飛行制限区域の内側になる位置にのみ前記表示部に対する操作に基づいて移動可能となるように、前記オブジェクトの表示が制御される、方法。
（項目８）
項目１～７のいずれか１項に記載の方法であって、
実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
（項目９）
項目８に記載の方法であって、
前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
（項目１０）
項目１～９のいずれか１項に記載の方法であって、
前記実空間上の飛行制限区域に係る情報は、前記飛行制限区域の外側である飛行不可区域に関する情報を含む、方法。
（項目１１）
飛行体の飛行制御に関するシステムであって、
表示部にマップを表示させる表示制御部と、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得する入力情報取得部と、
前記マップ上の指定領域に基づいて実空間上の飛行制限区域に係る情報を出力する出力制御部と、
を備えるシステム。
（項目１２）
コンピュータを、
表示部にマップを表示させる表示制御部と、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得する入力情報取得部と、
前記マップ上の指定領域に基づいて実空間上の飛行体の飛行制限区域に係る情報を出力する出力制御部と、
として機能させるプログラム。
（項目１３）
撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、
を含む、方法。
（項目１４）
項目１３に記載の方法であって、
前記撮像画像における、前記飛行体の位置を示す表示を、前記撮像画像に重畳して前記表示装置に表示する、方法。
（項目１５）
項目１３または１４に記載の方法であって、
実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
（項目１６）
項目１５に記載の方法であって、
前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
（項目１７）
項目１３～１６のいずれか１項に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とに基づいて、前記飛行体に関する制御の情報を出力する、方法。
（項目１８）
項目１７に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とから得られる前記飛行体と前記飛行制限区域の境界との距離に基づいて、前記飛行体に関する制御の情報を出力する、方法。
（項目１９）
項目１７または１８に記載の方法であって、
前記飛行体の速度情報に基づいて、前記飛行体に関する制御の情報を出力する、方法。
（項目２０）
項目１７～１９のいずれか１項に記載の方法であって、
前記飛行体に関する制御は、前記表示装置による視覚的情報、触覚的情報および／または聴覚的情報の出力に関する制御を含む、方法。
（項目２１）
項目１７～２０のいずれか１項に記載の方法であって、
前記飛行体に関する制御は、前記飛行体の飛行制御を含む、方法。
（項目２２）
項目１３～２１のいずれか１項に記載の方法であって、
前記撮像装置は前記飛行体に積載され、または前記飛行体である、方法。
（項目２３）
表示制御に関するシステムであって、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
を備えるシステム。
（項目２４）
コンピュータを、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
として機能させるプログラム。

１ システム
１０ 情報処理端末
１１ 制御部
１２ タッチパネル
２０ 無人飛行体
２８ カメラ
１１１ マップ取得部
１１２ 画像取得部
１１３ 表示制御部
１１４ 入力情報取得部
１１５ 飛行制限区域決定部
１１６ 座標変換部
１１７ 出力制御部
１１８ マップ情報

Claims (12)

1. 撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
   前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、
   前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記撮像画像における、前記飛行体の位置を示す表示を、前記撮像画像に重畳して前記表示装置に表示する、方法。
3. 請求項１または２に記載の方法であって、
   実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
4. 請求項３に記載の方法であって、
   前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
5. 請求項１～４のいずれか１項に記載の方法であって、
   前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とに基づいて、前記飛行体に関する制御の情報を出力する、方法。
6. 請求項５に記載の方法であって、
   前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とから得られる前記飛行体と前記飛行制限区域の境界との距離に基づいて、前記飛行体に関する制御の情報を出力する、方法。
7. 請求項５または６に記載の方法であって、
   前記飛行体の速度情報に基づいて、前記飛行体に関する制御の情報を出力する、方法。
8. 請求項５～７のいずれか１項に記載の方法であって、
   前記飛行体に関する制御は、前記表示装置による視覚的情報、触覚的情報および／または聴覚的情報の出力に関する制御を含む、方法。
9. 請求項５～８のいずれか１項に記載の方法であって、
   前記飛行体に関する制御は、前記飛行体の飛行制御を含む、方法。
10. 請求項１～９のいずれか１項に記載の方法であって、
    前記撮像装置は前記飛行体に積載され、または前記飛行体である、方法。
11. 表示制御に関するシステムであって、
    撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
    前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
    前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
    を備えるシステム。
12. コンピュータを、
    撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
    前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
    前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
    として機能させるプログラム。

Images