JP2017228111A - 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム - Google Patents

無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム Download PDF

Info

Publication number
JP2017228111A
JP2017228111A JP2016124278A JP2016124278A JP2017228111A JP 2017228111 A JP2017228111 A JP 2017228111A JP 2016124278 A JP2016124278 A JP 2016124278A JP 2016124278 A JP2016124278 A JP 2016124278A JP 2017228111 A JP2017228111 A JP 2017228111A
Authority
JP
Japan
Prior art keywords
flight
image
history
feature amount
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016124278A
Other languages
English (en)
Other versions
JP6275202B2 (ja
Inventor
幸良 笹尾
Yukiyoshi Sasao
幸良 笹尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2016124278A priority Critical patent/JP6275202B2/ja
Publication of JP2017228111A publication Critical patent/JP2017228111A/ja
Application granted granted Critical
Publication of JP6275202B2 publication Critical patent/JP6275202B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】目的地の周辺では、UAVは、建物などの構造物、電柱、電線、および木などの障害物が多い地点を飛行するのでUAVが障害物に衝突してしまうリスクが高まる。構造物の影響により、GNSS衛星からの電波が遮られてしまう場合があるのでGNSSの精度が悪くなる。【解決手段】無人航空機は、目的地までの第一の飛行の履歴を取得する。第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する。履歴の所定の地点に対応する特徴量を履歴に関連付ける。無人航空機は、特徴量と履歴とに基づいて第二の飛行の制御をする。【選択図】図4

Description

本発明は、無人航空機に関する技術である。より詳細には、目的地まで自動飛行を行う技術に関する。
近年、無人航空機(UAV:Unmanned aerial vehicle)を用いて配達を行う技術が提案されている。離陸地点においてUAVに荷物を搭載し、配達先である目的地までUAVを自動飛行させる。UAVは目的地に到着すると荷物を降す。そして、受取人は、UAVが降ろしたその荷物を受け取るという技術である。
一般的に、UAVは、GNSS(Global Navigation Satellite System)と呼ばれる測位衛星システムを用いて目的地を認識したり、目的地までの経路を認識したりする。経路の大半においては、UAVは地上数十メートルを飛行するので障害物が少なくGNSSによって安定的に飛行することができる。非特許文献1では、目的地(着陸地点)を明確にするために、マーカーを用いる技術が開示されている。非特許文献1では、マーカーが目的地に設置される。UAVは、カメラを用いてそのマーカーを検出し、マーカーが設置されている地点に着陸するという技術である。
"Amazon Prime Air"、[online]、[平成28年5月17日検索]、インターネット<URL:http://www.amazon.com/b?node=8037720011>
目的地の周辺では、UAVは、建物などの構造物、電柱、電線、および木などの障害物が多い地点を飛行するのでUAVが障害物に衝突してしまうリスクが高まる。構造物の影響により、GNSS衛星からの電波が遮られてしまう場合があるのでGNSSの精度が悪くなる。マーカーを用いたとしても障害物に衝突するリスクは残る。目的地の周辺において安定した自動飛行が行われることが求められている。
本発明の一実施形態は、無人航空機とすることができる。無人航空機は、第一の地点までの第一の飛行の履歴を取得する取得部と、第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出部と、履歴の所定の地点に対応する特徴量を履歴に関連付ける処理部とを有するものとすることができる。
本発明の一実施形態によれば、第一の飛行の履歴の所定の地点に対応する特徴量を履歴に関連付けることができる。かかる構成によれば、履歴に沿って無人航空機の第二の飛行を制御する場合に、所定の地点に対応する履歴と特徴量とを取得することができる。したがって、所定の地点に対応する履歴と特徴量とに基づいて無人航空機の第二の飛行を制御することができる。
本発明の一実施形態においては、無人航空機は、履歴に基づいて、第一の地点までの第二の飛行の経路を決定する決定部と、決定した第二の飛行の経路に沿った飛行を制御する制御部とをさらに有してもよい。
本発明の一実施形態においては、抽出部は、第二の飛行中に撮像して得られた少なくとも1つの第二の画像の特徴量を抽出し、所定の地点における、少なくとも1つの第一の画像の特徴量と少なくとも1つの第二の画像の特徴量とを比較する比較部と、比較結果に基づいて、第二の飛行の経路を補正する補正部とをさらに有してもよい。
本発明の一実施形態によれば、第一の画像群の画像の特徴量と第二の画像群の画像の特徴量とを比較した結果に基づいて第二の飛行の経路を補正することができる。かかる構成によれば、第一の飛行を実施した経路と同じ経路を自動飛行するように無人航空機を制御することができる。
本発明の一実施形態においては、特徴量は、複数の特徴点の情報を含んでもよい。比較部は、比較される2つの画像に対応する特徴量の中から、対応する特徴点を検出してよい。補正部は、検出された特徴点のうち、少なくとも1つの第二の画像に対応する検出された特徴点が、少なくとも1つの第一の画像に対応する検出された特徴点に近づくように第二の飛行の経路を補正してよい。
本発明の一実施形態においては、補正部は、検出された特徴点のうち、少なくとも1つの第二の画像に対応する検出された特徴点から、少なくとも1つの第一の画像に対応する検出された特徴点へのベクトルを算出し、ベクトルを用いて第二の飛行の経路を補正してよい。
本発明の一実施形態においては、所定の地点は、第一の飛行の開始から所定の時間が経過した時点での地点であってよい。
本発明の一実施形態においては、所定の地点は、第二の飛行の開始から所定の時間が経過した時点での地点であってよい。
本発明の一実施形態においては、特徴量は、画像を特徴づける情報を記述したデータであってよい。
本発明の一実施形態においては、抽出部は、SIFT(Scale invariant feature transform)によって特徴量を抽出してよい。
本発明の一実施形態においては、抽出部は、SURF(Speeded Up Robust Features)によって特徴量を抽出してよい。
本発明の一実施形態においては、取得部は、リモートコントローラからの制御に従って飛行が行われる場合に履歴を取得してよい。
本発明の一実施形態においては、履歴は、リモートコントローラの操作履歴に基づく情報であってよい。
本発明の一実施形態においては、無人航空機は、加速度センサ及び角速度センサをさらに有してよい。履歴は、加速度センサ及び角速度センサから得られるデータに基づく情報であってよい。
本発明の一実施形態は、無人航空機であってよい。無人航空機は、第一の地点までの第一の飛行の履歴を取得する履歴取得部と、取得した履歴に基づいて、第一の地点までの第二の飛行の経路を決定する決定部と、決定した第二の飛行の経路に沿った飛行を制御する制御部と、第一の飛行中に撮像して得られた少なくとも1つの第一の画像の履歴の所定の地点に対応する画像の特徴量と、第二の飛行中に撮像して得られた少なくとも1つの第二の画像の所定の地点に対応する画像の特徴量とを取得する特徴量取得部と、少なくとも1つの第一の画像の特徴量と少なくとも1つの第二の画像の特徴量とを比較する比較部と、比較結果に基づいて第二の飛行の経路を補正する補正部とを有してよい。
本発明の一実施形態は、無人航空機の制御方法であってよい。無人航空機の制御方法は、第一の地点までの第一の飛行の履歴を取得する取得ステップと、第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出ステップと、履歴の所定の地点に対応する特徴量を履歴に関連付ける処理ステップとを有してよい。
本発明の一実施形態は、無人航空機の制御方法であってよい。無人航空機の制御方法は、第一の地点までの第一の飛行の履歴を取得する履歴取得ステップと、取得した履歴に基づいて、第一の地点までの第二の飛行の経路を決定する決定ステップと、決定した第二の飛行の経路に沿った飛行を制御する制御ステップと、第一の飛行中に撮像して得られた少なくとも1つの第一の画像の履歴の所定の地点に対応する画像の特徴量と、第二の飛行中に撮像して得られた少なくとも1つの第二の画像の所定の地点に対応する画像の特徴量とを取得する特徴量取得ステップと、少なくとも1つの第一の画像の特徴量と少なくとも1つの第二の画像の特徴量とを比較する比較ステップと、比較結果に基づいて第二の飛行の経路を補正する補正ステップとを有してよい。
本発明の一実施形態は、無人航空機の制御プログラムであってよい。無人航空機の制御プログラムは、第一の地点までの第一の飛行の履歴を取得する取得ステップと、飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出ステップと、履歴の所定の地点に対応する特徴量を履歴に関連付ける処理ステップとをコンピュータに実行させるプログラムであってよい。
本発明の一実施形態は、無人航空機の制御プログラムであってよい。無人航空機の制御プログラムは、第一の地点までの第一の飛行の履歴を取得する履歴取得ステップと、取得した履歴に基づいて、第一の地点までの第二の飛行の経路を決定する決定ステップと、決定した第二の飛行の経路に沿った飛行を制御する制御ステップと、第一の飛行中に撮像して得られた少なくとも1つの第一の画像の履歴の所定の地点に対応する画像の特徴量と、第二の飛行中に撮像して得られた少なくとも1つの第二の画像の所定の地点に対応する画像の特徴量とを取得する特徴量取得ステップと、少なくとも1つの第一の画像の特徴量と少なくとも1つの第二の画像の特徴量とを比較する比較ステップと、比較結果に基づいて第二の飛行の経路を補正する補正ステップとをコンピュータに実行させるプログラムであってよい。
本発明によれば、目的地の周辺においても安定した自動飛行を行うことができる。
実施形態の概要を説明する図である。 UAVの外観の一例を示す図である。 UAVの構成の例を示すブロック図である。 UAV制御部の構成の例を示すブロック図である。 画像特徴量を説明するための図である。 第1の飛行シーケンスにおけるフローチャートである。 補正ベクトルを説明するための図である。 第2の飛行シーケンスにおけるフローチャートである。
以下、図面を参照しながら本発明の実施形態について詳細に説明する。なお、以下の実施形態において説明する構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
図1は、実施形態の概要を説明する模式図である。実施形態においては、UAV101を目的地103に自動飛行で到達させるための処理を説明する。目的地103の付近の位置を起点102とする。起点102は任意の地点とすることができる。起点102は、GNSSによって安定的に自動飛行で到達できる位置であるとよい。起点102は、GNSS衛星電波を受けやすい地点であるとよい。起点102は、GNSS衛星電波を受信可能な衛星の個数が多い地点であるとよい。
図1は、概要を説明するための簡略図であり、UAV101の大きさ、起点102と目的地103との間の距離及び経路などは、任意のものとすることができる。図1に示すスケールに限定されることはない。
図1に示すように、起点102から目的地103までの間には、木や構造物などの障害物が存在する。UAV101は、離陸地点から起点102までの間は、例えばGNSSなどに従って自動飛行する。UAV101は例えば地上数十メートルを自動飛行するので離陸地点から起点102までの間は障害物が少ない。したがって、UAV101は、離陸地点から起点102までの間は、安定的に自動飛行することができる。
一実施形態においては、大きく2つの飛行シーケンスに分けたオペレーションが行われる。第1の飛行シーケンスにおけるオペレーションにおいては、操作者がリモートコントローラを操作する。操作者は、UAV101を起点102から目的地103までマニュアル飛行させるオペレーションを行う。この第1の飛行シーケンスにおいてUAV101は、マニュアル飛行におけるUAV101の動き情報と、UAV101に搭載されている撮像装置によって撮像された画像から得られる画像特徴量と、を対応付けてUAV101に記憶する。UAV101の動き情報は、例えばリモートコントローラの操作履歴(操作ログ)であってよい。UAV101の動き情報は、UAV101に備えられた加速度センサおよび角速度センサから得られる動き情報(UAV101の進行方向、速度など)であってもよい。動き情報は、起点102から目的地103までの飛行の履歴と呼んでもよい。目的地103のことを第一の地点と呼んでもよい。
例えば、起点102と目的地103との間の任意の地点Pを想定する。UAV101は、この地点Pにおける動き情報と、その地点Pにおいて撮像した画像から得られる画像特徴量とを関連づけてUAV101に記憶する。動き情報と画像特徴量との記憶は所定の間隔で行われてもよい。例えば0.5秒おきなどのように、所定の時間間隔で行われてもよいし、例えば50cmおきなどのように、所定の距離間隔で行われてもよい。
第2の飛行シーケンスにおけるオペレーションにおいては、第1の飛行シーケンスにおいて記憶された情報を用いて起点102から目的地103までUAV101を自動飛行させる制御が行われる。第2の飛行シーケンスは、第1の飛行シーケンスのUAV101の自動飛行のリプレイを再現するオペレーションとも言うことができる。
第1の飛行シーケンスにおける飛行と第2の飛行シーケンスにおける飛行とでは、風速などの飛行条件が異なる場合がある。同じオペレーションを指示しても、UAV101の動作自体が第1の飛行シーケンスと第2の飛行シーケンスとで完全に一致しない場合もある。このため、動き情報に基づいて第1の飛行シーケンスにおける飛行を再現しようとしても、期待した地点をUAV101が飛行しない場合がある。起点102を出発直後ではわずかなズレであっても、目的地まで飛行するまでにズレが蓄積されてしまい、期待した地点をUAV101が飛行しない場合がある。一実施形態では、第2の飛行シーケンスにおいてUAV101は、第1の飛行シーケンスで記憶された画像特徴量と第2の飛行シーケンスにおいて抽出された画像特徴量とに基づいて、第1の飛行シーケンスで記憶された動き情報を補正する。補正した動き情報に基づいてUAV101は自動飛行をする。換言すれば、第2の飛行シーケンスにおいてUAV101は、第1の飛行シーケンスの飛行の履歴に基づいて経路を決定する。UAV101は、第1の飛行シーケンスで記憶された画像特徴量と第2の飛行シーケンスにおいて抽出された画像特徴量とに基づいて、経路を補正する。かかる制御により、第1の飛行シーケンスでの飛行のリプレイを第2の飛行シーケンスで実現することができる。
図2は、実施形態に係るUAV101の外観の一例を示す図である。UAV101は、UAV本体210、複数の回転翼220、ジンバル230、および撮像装置240、250を備える。
複数の回転翼220の回転が制御されることにより、UAV本体210の飛行が制御される。一実施形態においては回転翼を有するUAV101を例に挙げて説明する。例えばUAV101は、4つの回転翼を有する構成とすることができる。回転翼の数は4つに限定されるものではない。回転翼の数は任意の数であってもよい。UAV101は、回転翼を有さない固定翼を有するUAVであってもよい。UAV101は、回転翼および固定翼のどちらも有するUAVであってもよい。
ジンバル230は、撮像装置240をUAV本体210に回転可能に支持する。ジンバルは、例えばヨー軸、ピッチ軸、及びロール軸を中心に撮像装置240を回転制御することができる。
撮像装置240は、UAV本体210の周囲の被写体を撮像して画像データを得る。撮像装置240は、ジンバル230によって回転可能に制御される。
複数の撮像装置250は、UAV101の飛行を制御するためのセンシングカメラとすることができる。例えば、UAV本体210の機首である正面に2つの撮像装置250が備えられていてもよい。UAV本体110の底面に2つの撮像装置250が備えられていてもよい。2つの撮像装置250のペアによって撮像された画像の視差を用いることにおって、UAV本体210の周囲の距離を求めることができる。撮像装置250のペアは、機首、機尾、側面、底面、及び天井面の少なくとも1つに備えられていてもよい。
図3は、実施形態に係るUAV101の構成のブロック図の一例を示す図である。UAV101は、UAV全体の制御を行うUAV制御部310とメモリ320と通信インタフェース330とを有する。UAV制御部310は、回転翼機構340、ジンバル230、および撮像装置240、250を制御可能である。
UAV制御部310は、例えばメモリ320に格納されたソフトウェアプログラムに従ってUAV全体の制御を行う。UAV制御部310は、通信インタフェース330を通じてリモートコントローラ端末などから受信した指示に従って、UAV全体の制御を行う。例えばUAV制御部310は、UAVの飛行の制御を行ったり、撮像装置240の撮像制御を行ったりする。UAV制御部310は、例えばCPU、MPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成することができる。
メモリ320は、UAV全体の制御を行うソフトウェアプログラムを格納してもよい。メモリ320は、UAV101の各種のログ情報、撮像装置240、250が撮像した画像データなどの各種のデータおよび情報を格納してもよい。メモリとしては、コンピュータ読み取り可能な記憶媒体を用いることができる。例えば、SRAM、DRAM、EEPROM、USBメモリなどのフラッシュメモリを用いることができる。メモリ320は、UAV101の筐体に備えられてもよい。メモリ320はUAV101から取り外し可能であってもよい。
通信インタフェース330は、無線通信によってリモートコントローラ端末からの指示を受信したり、UAV101のメモリに格納されている各種のデータおよび情報を送信したりすることができる。通信インタフェース330は、GNSS測位システムからの信号を受信することもできる。
撮像装置240、250は、レンズおよび撮像センサを少なくとも含む構成とすることができる。撮像装置240、250は、UAV101の周囲の被写体を撮像して画像データを得る。
回転翼機構340は、複数の回転翼220と、複数の回転翼220を回転させる複数の駆動モータとを含む構成とすることができる。
UAV101は、気圧計や、レーザ、加速度、ジャイロ等の各種のセンサを有してもよい。UAV101はその他の装置、機構などを備えることができる。
図4は、実施形態に係るブロック図の一例を示す図である。UAV制御部310は、撮像制御部410、画像特徴量抽出部420、飛行制御部430、動き情報取得部440、飛行情報書き込み部450、飛行情報読み出し部470、画像特徴量比較部490、および動き情報設定部480を有する。メモリ320は、飛行情報記憶部460を有する。UAV制御部310が、メモリ320に格納されているソフトウェアプログラムまたはリモートコントローラから受信する指示に従って動作することで図4に記載されている各部として機能してよい。
撮像制御部410は、撮像装置240を制御して撮像された画像(静止画像)を取得する。撮像制御部410は、所定の時間単位または所定の距離単位で撮像装置240に被写体を撮像させてよい。ここでは静止画像を撮像する形態を例に挙げて説明するが、撮像制御部410は、撮像装置240が撮像した動画像から静止画像を抽出してもよい。撮像制御部240は、撮像装置240を制御して、起点102から目的地103までの飛行中に複数回撮像を行う。撮像は、一定間隔で行われてもよい。撮像が行われる間隔は、不定間隔を含んでもよい。第1の飛行シーケンスにおいて撮像して得られた複数の画像を総称して第一の画像群と呼んでもよい。第1の飛行シーケンスにおいて撮像して得られた画像のことを第一の画像と呼んでもよい。第2の飛行シーケンスにおいて撮像して得られた複数の画像を総称して第二の画像群と呼んでもよい。第2の飛行シーケンスにおいて撮像して得られた画像のことを第二の画像と呼んでもよい。
画像特徴量抽出部420は、撮像制御部410が取得した画像を解析して画像特徴量を抽出することができる。画像特徴量とは、例えば画像を特徴づける情報を記述したデータである。画像特徴量抽出部420は、それぞれの画像について画像特徴量を抽出する。図5を用いて画像特徴量を説明する。
図5は、撮像制御部410が取得した画像500の一例を示す図である。画像特徴量抽出部420は、画像500において画像を特徴づける特徴点501を検出する。図5では、特徴点501a〜501fが抽出された例を示している。特徴点501は、例えば画像500に含まれる物体の境界部分などのようなエッジ部分において検出される。画像特徴量抽出部420は、検出した特徴点501a〜501fの周囲領域502a〜502fを特定する。画像特徴量抽出部402は、特徴点501の周囲領域502の局所特徴量記述子を求め、これを正規化し特徴ベクトルのようにデータ表現する。局所特徴量記述子は、例えば周囲領域502をブロックに分け、ブロック毎の輝度勾配などを記述したデータとしてよい。かかる処理はSIFT(Scale invariant feature transform)やSURF(Speeded Up Robust Features)と呼ばれる周知の技術を用いて行うことができる。SIFTやSURFといった技術は、画像内の特徴点の位置検出とその記述方法に関する技術である。位置検出では、画像内において特徴のある位置(キーポイントやコーナーポイントと呼ばれる)が自動で検出される。周囲領域502の局所特徴量は、画像内のある局所的な領域が回転もしくはスケール変化(拡大縮小)しても、安定して同じような局所領域に特徴量を算出(検出)することができる特徴量である。
図5では特徴点の例示として6つの特徴点を示しているが、これに限られるものではない。画像内で検出され得る数の特徴点についての記述がされてよい。特徴点の数は多ければ多いほどノイズにロバストになるが、処理量が増大する。特徴点はより広い範囲に分布された方が、UAV101が現在位置を高精度に認識することができる。このため、撮像装置240の画角はより広角であることが好ましい。
飛行制御部430は、UAV101の飛行を制御する。例えば、複数の回転翼220の回転数を制御して所望の方向に所望の速度でUAV101の飛行を制御することができる。飛行制御部430は、メモリ320に格納されている第一の目的地(本実施形態では、起点102とする)に向けてGNSSにしたがって自動飛行の制御をすることができる。飛行制御部430は、通信インタフェース330を介して受信したリモートコントローラからの指示に基づいてUAV101の飛行を制御してもよい。いわゆるマニュアル飛行を行う制御をしてもよい。飛行制御部430は、後述する動き情報設定部480によって設定される動き情報に沿って飛行を制御してもよい。換言すれば、飛行制御部430は、後述する動き情報設定部480によって決定される経路に沿って飛行を制御してもよい。
動き情報取得部440は、UAV101の動き情報を取得する。動き情報は、前述のように、例えばリモートコントローラの操作ログであってよい。動き情報は、UAV101に備えられた加速度センサ及び角速度センサから得られる動き情報(UAV101の進行方向、速度など)であってもよい。動き情報は、ある時点T1からある時点T2までの間のUAV101の動きの軌道を示すベクトルまたは関数などでもよい。動き情報は、起点102から目的地103までの飛行の履歴と呼んでもよい。
飛行情報書き込み部(処理部)450は、画像特徴量抽出部420で抽出された画像特徴量と動き情報取得部440で取得された動き情報とを関連付けて飛行情報記憶部460に書き込む。飛行情報書き込み部450は、例えば、地点Pにおける動き情報と地点Pにおける画像特徴量とのペアを関連付けて記憶する。
画像特徴量と動き情報とは、例えばUAV101が有する時計情報取得部(不図示)が取得する時間情報に基づいて関連付けがされてよい。時間情報は、起点102から飛行を開始した時点からの時間としてよい。画像特徴量抽出部420は、画像特徴量を抽出した画像が撮像された時間を時計情報取得部から取得してよい。画像特徴量抽出部420は、取得した時間を画像特徴量に関連付けてよい。動き情報取得部440は、時計情報取得部から取得される時間を動き情報に関連付けてよい。飛行情報書き込み部450は、関連付けられている時間が所定の範囲内である画像特徴量と動き情報とをペアとする飛行情報を、飛行情報記憶部460に書き込んでよい。ペアとする画像特徴量と動き情報とは、時間が厳密に一致していなくてよい。所定の範囲内とは、N-1番目の動き情報の取得または画像特徴量の抽出が行われた時間からN番目の動き情報の取得または画像特徴量の抽出が行われた時間までの間としてよい。
説明を簡便にする趣旨で、画像特徴量と動き情報とをペアとする飛行情報が飛行情報記憶部460に記憶される例を説明したが、これに限られるものではない。
飛行情報書き込み部450は、起点102から目的地103までの間の所定の地点における動き情報と特徴量とを関連付けて飛行情報記憶部460に書き込む処理を行っている処理部であるともいえる。この所定の地点は、繰り返し抽出または取得される時間毎に変わることになる。飛行情報書き込み部450は、起点102から目的地103までの飛行の履歴の所定の地点(例えば起点102を出発してから経過した時間)に対応する画像特徴量を履歴に関連付けて飛行情報記憶部460に書き込む処理を行っているともいえる。
時間に基づいて画像特徴量と動き情報とを関連付ける形態を説明したが、これに限られるものではない。撮像制御部410による制御によって撮像された画像と、そのときの動き情報とが関連付けられる構成であれば、いずれの形態を採用してもよい。例えば、起点102からの相対位置が、画像特徴量と動き情報とに関連付られる構成としてもよい。
飛行情報記憶部460は、飛行情報書き込み部450によって書き込まれた飛行情報を記憶する。例えば、飛行情報記憶部460には、前述のように、起点102から目的地103までの飛行中に得られる画像特徴量と動き情報とが、一定時間単位ごとまたは一定距離単位ごとに記憶される。
飛行情報記憶部460には画像特徴量抽出部420によって抽出された画像特徴量が飛行情報として記憶される例を説明したが、これに限られるものではない。飛行情報記憶部60は、画像特徴量の代わりに撮像制御部410による制御によって撮像された画像データそのものを記憶する形態でもよい。後述する第2の飛行シーケンスのオペレーションが行われる場合には、UAV制御部310は、飛行情報記憶部460から画像特徴量抽出部420に画像を送ってよい。画像特徴量抽出部420は、飛行情報記憶部460から送られた画像特徴量を抽出してもよい。
飛行情報記憶部460には、画像特徴量抽出部420によって抽出された画像特徴量と、撮像制御部410による制御によって撮像された画像とのいずれもが記憶される構成でもよい。
飛行情報記憶部460には、画像特徴量抽出部420によって抽出された画像特徴量に、その画像が撮像装置240によって撮像された際の姿勢、画角などの撮像条件の情報が記憶されてよい。
図6は、第1の飛行シーケンスで行われるオペレーションのフローチャートの一例を示す図である。
ステップS610において飛行制御部430はUAV101を目的地103の周辺の地点X(起点102)に飛行させる。そして、その地点X(起点102)のGNSS位置をメモリ320に記憶する。飛行制御部430は、GNSSを用いた自動飛行で起点102までUAV101を飛行させてもよい。飛行制御部430は、マニュアル飛行に従って起点102までUAV101を飛行させてもよい。
ステップS620において、飛行制御部430は、通信インタフェース330を介して受信するリモートコントローラからの指示に従ってUAV101を移動する。リモートコントローラからの指示は、UAV101の姿勢、回転翼の回転数、撮像装置240の姿勢などを含む。
ステップS630において、動き情報取得部440は、UAVの動き情報(移動方向及び移動量)を取得する。そして、飛行情報書き込み部450が飛行情報記憶部460に取得した動き情報(移動方向及び移動量)を書き込む。動き情報取得部440は、コントローラからの操作ログを書き込んでもよい。
ステップS640において、撮像制御部410は、起点102から移動した直後からの画像を取得する。画像特徴量抽出部420は、画像から画像特徴量を抽出する。飛行情報書き込み部450は抽出された画像特徴量を飛行情報記憶部460に書き込む。
図6においてはステップS630とステップS640とに分けて説明したが、この順序で処理が行われる必要はなく、これらの処理は並列して行われてよい。
先に説明したように、ある地点Pにおける動き情報と画像特徴量とが関連付けられて飛行情報として記憶されることが好ましい。したがって、動き情報と画像特徴量とのペアをセットとして記憶してよい。後述する第2の飛行シーケンスの際に飛行情報が読み出される際に、ある地点Pにおける動き情報と画像特徴量との関連付けができればよい。したがって、必ずしも動き情報と画像特徴量とのペアがセットで記憶されていなくてもよい。例えば時間が関連付けられていれば、時間を参照して関連する動き情報と画像特徴量とが読み出されることができるからである。動き情報取得部440で取得する動き情報や、画像特徴量抽出部で抽出される画像特徴量にGNSS位置情報がそれぞれ関連付けられてもよい。
あるいは、動き情報及び画像特徴量は、時間とGNSS位置情報との両方と関連付けられた態様で飛行情報記憶部460に記憶されてよい。
飛行情報記憶部460から飛行情報読み出し部470が動き情報と画像特徴量とを読み出す際に、所定の地点(例えばある地点P)における動き情報と画像特徴量とを読み出すことが可能であればいずれの形態で記憶されていてもよい。
ステップS650においてUAV制御部310は目的地103にUAV101が到着したかを判定する。到着していない場合には、ステップS620に戻り処理を繰り返す。一方、到着している場合には、ステップS660に進み、飛行情報書き込み部450による飛行情報記憶部460への書き込み処理を終了する。
以上が第1の飛行シーケンスで行われる処理である。このような処理により、起点102から目的地103までの経路をリモートコントローラによるマニュアル飛行に従って飛行が行われたUAV101の動き情報と画像特徴量とが記憶される。
次に、第2の飛行シーケンスに関連するUAV制御部310の構成の説明を、図4を参照しながら行う。第2の飛行シーケンスでは、第1の飛行シーケンスのオペレーションにおいて行われたUAV101の動作を自動飛行によりリプレイする処理を行う。
飛行情報読み出し部470は、起点102から目的地103までの経路に関する飛行情報を飛行情報記憶部460から順次読み出す。飛行情報は、動き情報と画像特徴量とを含む。飛行情報は、飛行の履歴とその履歴に関連付けられた画像特徴量とを含むものと表現してもよい。
動き情報設定部480は、動き情報補正部(不図示)を含んでよい。動き情報補正部は、飛行情報読み出し部470によって読み出された飛行情報に含まれる動き情報を、画像特徴量比較部490から送信される補正ベクトルに基づいて補正する。動き情報設定部480は、補正した動き情報を飛行制御部430に設定する。詳細は後述する。動き情報設定部480は、飛行の履歴に基づいて第2の飛行シーケンスでUAV101が飛行する経路を決定してもよい。決定した経路を飛行制御部430に設定してもよい。
飛行制御部430は、動き情報設定部480によって設定された動き情報(経路)に沿って、UAV101が自動飛行するように制御をする。例えば、第2の飛行シーケンスにおいて飛行制御部430は、起点102から飛行を開始する時点の時間を第1の飛行シーケンスと合わせる。第2の飛行シーケンスにおいて飛行制御部430は、動き情報に関連付けられている時間に従って、動き情報に基づく飛行をする。詳細は後述する。
撮像制御部410は、飛行情報記憶部460に記憶された撮像装置240の撮像条件に一致するように、撮像装置240の姿勢や画角を制御してよい。第2の飛行シーケンスにおける撮像装置240の姿勢や画角が第1の飛行シーケンスにおける撮像装置240の姿勢や画角と異なっていると、第2の飛行シーケンスにおいて適切な画像特徴量が得られない場合があるからである。
第2の飛行シーケンスにおいて画像特徴量抽出部420は、第1の飛行シーケンスと同様に撮像制御部410によって取得された画像の画像特徴量を抽出する。つまり、第2の飛行シーケンスにおいて得られる第二の画像群の画像の画像特徴量を抽出する。
画像特徴量比較部490は、飛行情報読み出し部470によって読み出された画像特徴量と、画像特徴量抽出部420によって抽出された画像特徴量とを比較する。画像特徴量抽出部420は、例えば動作モードを切り替え可能に構成することができる。第1の飛行シーケンスの動作モードの場合には、抽出した画像特徴量を飛行情報書き込み部450に送信する。第2の飛行シーケンスの動作モードの場合には、抽出した画像特徴量を画像特徴量比較部490に送信する。動作モードの切り替えは、リモートコントローラからの指示に基づいて行われてよい。
第2の飛行シーケンスにおいて動き情報を用いてUAV101の飛行制御を行ったとしても、飛行条件の違い(例えば風向き、風速の違い)により、UAV101の動きが第1の飛行シーケンスからズレてしまう場合がある。一実施形態においては、第1の飛行シーケンスにおけるUAV101の動きと第2の飛行シーケンスにおけるUAV101の動きとの誤差が小さくなるように第2の飛行シーケンスにおけるUAV101の動きを補正する。第2の飛行シーケンスにおけるUAVの動きが第1の飛行シーケンスにおけるUAVの動きと一致することが好ましいが、完全に一致しなくてもよく、第1の飛行シーケンスのUAVの動きと第2の飛行シーケンスにおけるUAVの動きとの誤差が小さくなればよい。
画像特徴量比較部490は、このような誤差を小さくする補正をするため、画像特徴量による誤差推定を行う。具体的には、画像特徴量比較部490は、飛行情報読み出し部470から読み出された画像特徴量と画像特徴量抽出部420で抽出された画像特徴量とを比較し、特徴点の対応付けを行う。比較されるそれぞれの画像特徴量は、起点102からの飛行時間または飛行距離の差が所定の範囲内である地点における画像の特徴量である。つまり、地点P(あるいは時間T)における第1の飛行シーケンスにおいて抽出された画像特徴量と地点P(あるいは時間T)における第2の飛行シーケンスにおいて抽出された画像特徴量とが比較される。ある地点における画像の特徴量は、起点102を出発してからある時間が経過した地点における画像の特徴量ということもできる。
2つの画像の画像特徴量における特徴点の対応付けは、例えば2つの画像間の3次元的な位置関係および回転を表した基礎行列(Fundamental Matrix)を求めることで行われる。
画像特徴量比較部490は、2つの画像の画像特徴量の間で対応する特徴点のペアを検出する。特徴点のペアの検出は、例えば一方の画像内の各特徴点に対し、似た記述内容を持つ、他方の画像内の特徴点を探すマッチング処理によって行われる。この特徴点のペア群に対し、画像特徴量比較部490は、最も尤もらしい基礎行列を算出する。この算出には、例えばRANSAC(Random sample consensus)やLeast Median Squaresといった技術が使用される。基礎行列は2つの画像の位置及び角度の相対関係を表している。この基礎行列は、第2の飛行シーケンスにおいて現在の飛行制御が行われているUAV101の位置から、第1の飛行シーケンスにおいて記憶された画像特徴量の位置への補正ベクトルである。前記第二の画像群の画像(第二の画像)に対応する特徴点が前記第一の画像群の画像(第一の画像)に対応する特徴点に近づくための移動量を規定したベクトルともいえる。画像特徴量比較部490は、この補正ベクトルを動き情報設定部480に送信する。先に説明したように、画像特徴量は、画像内のある局所的な領域が回転もしくはスケール変化(拡大縮小)しても、安定して同じような局所領域に特徴量を算出(検出)することができる特徴量である。
動き情報設定部480は、飛行情報読み出し部470によって読み出された動き情報を画像特徴量比較部490から送信された補正ベクトルを用いて補正する。動き情報設定部480は、補正した動き情報を、飛行制御部430に設定する。
図7は、補正ベクトルを用いて動き情報を補正する例を説明する概念図である。第1の飛行シーケンスにおいて、出発時から時間t1が経過した際のUAV101が位置701に位置していたと想定する。第1の飛行シーケンスにおいて、出発時から時間t2が経過した際のUAV101が位置704に位置していたと想定する。この時間t1からt2までの動き情報は、ベクトル751で表すことができる。第2の飛行シーケンスにおいて出発時から時間t1が経過した際のUAV101が、風などの影響により、所望する位置701ではなく、位置702に位置していたと想定する。この位置のズレは、画像特徴量を用いた特徴点の比較処理によって求められ、補正ベクトル752として表すことができる。時間t1からt2までの動き情報(ベクトル751)を、補正ベクトル752で補正することで、補正後の動き情報(ここではベクトル753)が算出される。飛行制御部430は、時間t1から時間t2までのUAV101の飛行制御を、この補正された動き情報(ベクトル753)を用いて制御する。かかる制御により、第1の飛行シーケンスにおけるUAV101の動きと第2の飛行シーケンスにおけるUAV101の動きとの誤差が小さくなる。仮に、図7の例において動き情報のみに基づいて引き続きUAV101の飛行制御を行うと、第2の飛行シーケンスにおいてUAV101は時間t2において位置703に位置してしまうことになる。実施形態に係る処理に従えば、時間t2においてUAV101が位置703よりも位置704に近い位置にいるようにUAV101を制御することができる。
時間t1から時間t2までの間の間隔をなるべく短くするとよい。かかることにより、累積されるズレ量を少なくすることができる。ズレ量が少なくなれば、仮に第1の飛行シーケンスと第2の飛行シーケンスとで誤差が完全に解消されなくても、目的地までの経路で障害物に衝突する可能性は、画像特徴量を用いた補正を行わない場合に比べて低減する。
以上の処理が、飛行情報読み出し部470によって飛行情報が読み出される度に繰り返し行われる。かかる処理を行うことで、UAV101は目的地103に自動飛行によって到着することが可能である。この処理は、一定時間単位(例えば0.5秒ごと)、または、一定距離単位(例えば50cm)、あるいはこれらの両方を組み合わせた単位で実行することができる。この第2の飛行シーケンスの自動飛行は、第1の飛行シーケンスのマニュアル飛行との誤差が小さくなるようなリプレイ飛行が行われることになる。
第2の飛行シーケンスにおいて画像特徴量抽出部420で抽出される画像特徴量は、第1の飛行シーケンスに比べて少なくてもよい。第2の飛行シーケンスでは、第1の飛行シーケンスよりもリアルタイム性が求められるので、処理に要する時間を短くするように構成してもよい。
目的地103の周辺では、荷物を配達するようなユースケースの場合には、荷物を正確な位置に運ぶ必要がある。例えば画像マーカーを着陸ポートに設置し、撮像装置240で画像マーカーを認識することで高精度に着陸ポートに荷物を運んでもよい。
図8は、第2の飛行シーケンスの処理の一例を示すフローチャートである。
ステップS810において飛行制御部430は、第1の飛行シーケンスにおける開始地点X(起点102)まで、GNSSによってUAV101を自動飛行させる。UAV101は、マニュアル飛行によって開始地点X(起点102)まで飛行してもよい。
ステップS820において、飛行情報読み出し部470は、飛行情報記憶部460に記憶されている動き情報を読み出す。例えば記憶されたUAV101の移動量及び移動方向を読み出す。
ステップS830において動き情報設定部480は、ステップS820で読み出された移動量及び移動方向にしたがってUAV101の動き情報を飛行制御部430に設定する。飛行制御部430は設定された動き情報に沿ってUAVの飛行制御を行う。
ステップS840において画像特徴量抽出部420は、撮像制御部410が取得した画像の画像特徴量を抽出する。
ステップS850において飛行情報読み出し部470は、飛行情報記憶部460に記憶されている飛行情報に含まれる画像特徴量を読み出す。
ステップS860において画像特徴量比較部490は、ステップS840で抽出された画像特徴量と、ステップS850において読み出された画像特徴量とを比較する。そして、2つの画像の画像特徴量の差分から補正ベクトルを算出する。動き情報設定部480は、算出された補正ベクトルを用いて動き情報を補正する。動き情報設定部480は、補正した動き情報を飛行制御部430に設定する。飛行制御部430は、補正された動き情報に基づいてUAVの飛行制御を行う。
実施形態においては、動き情報設定部480が補正ベクトルを算出し、補正された動き情報を飛行制御部430に設定する例を説明した。飛行制御部430に補正ベクトルと補正前の(すなわち、飛行情報記憶部460で記憶されている)動き情報とが入力されてよい。飛行制御部430が、入力された補正ベクトルと動き情報とを用いて、補正された動き情報を算出してもよい。
ステップS870においてUAV制御部310は、UAV101が目的地103に到着したかを判定する。目的地103に到着していない場合、ステップS820に戻り処理を繰り返す。目的地103に到着している場合、ステップS880に進み、飛行制御部430は飛行を終了する。
本実施形態のUAV101によれば、目的地近辺から目的地までの間の安定飛行が難しいような状況においても安定した自動飛行が可能となる。
例えば、UAV101を用いた配達を行うような場合に、配達先に一旦マニュアル飛行を行っておけば、その後の配達の際には自動飛行で配達先まで安定して飛行することができる。
配達に限られるものではなく、GNSS衛星の信号が届きにくい例えば構造物やトンネルなどの内部の検査を行うような場合にも有用である。すなわち、一旦マニュアル飛行によって構造物の中の検査目的の地点までUAVを飛行させておけば、その後の飛行においては、画像特徴量に基づいて動き情報を補正しながら、マニュアル飛行と同様の動きを再現することができる。
映像撮像用の撮像装置を別途搭載したUAVを用いて映像を撮像しようとする場合にも、マニュアル飛行した場合と同様の飛行を再現することができるので、UAVの用途をさらに広げることができる。
上述した実施形態においては、第1の飛行シーケンスと第2の飛行シーケンスとで同じUAV101を用いる形態を説明したが、これに限られるものではない。第1のUAVを用いて第1の飛行シーケンスで飛行情報記憶部460に飛行情報を記憶しておく。飛行情報が記憶されたメモリ320を第1のUAVとは異なる第2のUAVに取り付ける。第2のUAVが、取り付けられたメモリ320の飛行情報記憶部460から飛行情報を読み出して、第2の飛行シーケンスを実施してもよい。第1のUAVと第2のUAVとは同じタイプのUAVであることが好ましい。
上述した実施形態においては、第1の飛行シーケンスでUAV101の飛行情報記憶部460に飛行情報を記憶する形態を説明したが、これに限られるものではない。UAV101は、通信インタフェース330を介して外部の装置に飛行情報を送信し、外部の装置で飛行情報を記憶してもよい。第2の飛行シーケンスでUAV101の飛行情報読み出し部470は、外部の装置から飛行情報を通信インタフェース330を介して読み出してもよい。
上述した実施形態の機能を実現するための各部は、例えばハードウェアまたはソフトウェアによって実装することができる。ソフトウェアによって実装される場合、ハードウェアを制御するプログラムコードをCPU、MPUなどの各種のプロセッサによって実行されてもよい。プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。プログラムコードの一部をハードウェアで実現し、残りの部分を各種プロセッサが実行してもよい。
101 UAV
210 UAV本体
220 回転翼
230 ジンバル
240 撮像装置
250 撮像装置
310 UAV制御部
320 メモリ
330 通信インタフェース
340 回転翼機構
410 撮像制御部
420 画像特徴量抽出部
430 飛行制御部
440 動き情報取得部
450 飛行情報書き込み部
460 飛行情報記憶部
470 飛行情報読み出し部
480 動き情報設定部
490 画像特徴量比較部

Claims (18)

  1. 第一の地点までの第一の飛行の履歴を取得する取得部と、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出部と、
    前記履歴の所定の地点に対応する前記特徴量を前記履歴に関連付ける処理部と
    を有する、無人航空機。
  2. 前記履歴に基づいて、前記第一の地点までの第二の飛行の経路を決定する決定部と、
    決定した前記第二の飛行の経路に沿った飛行を制御する制御部と
    をさらに有する、請求項1に記載の無人航空機。
  3. 前記抽出部は、前記第二の飛行中に撮像して得られた少なくとも1つの第二の画像の特徴量を抽出し、
    所定の地点における、前記少なくとも1つの第一の画像の特徴量と前記少なくとも1つの第二の画像の特徴量とを比較する比較部と、
    前記比較結果に基づいて、前記第二の飛行の経路を補正する補正部と
    をさらに有する、請求項2に記載の無人航空機。
  4. 前記特徴量は、複数の特徴点の情報を含み、
    前記比較部は、比較される2つの画像に対応する特徴量の中から、対応する特徴点を検出し、
    前記補正部は、検出された特徴点のうち、前記少なくとも1つの第二の画像に対応する検出された特徴点が、前記少なくとも1つの第一の画像に対応する検出された特徴点に近づくように前記第二の飛行の経路を補正する、請求項3に記載の無人航空機。
  5. 前記補正部は、検出された特徴点のうち、前記少なくとも1つの第二の画像に対応する検出された特徴点から、前記少なくとも1つの第一の画像に対応する検出された特徴点へのベクトルを算出し、前記ベクトルを用いて前記第二の飛行の経路を補正する、請求項4に記載の無人航空機。
  6. 前記所定の地点は、前記第一の飛行の開始から所定の時間が経過した時点での地点である、請求項2から5のいずれか一項に記載の無人航空機。
  7. 前記所定の地点は、前記第二の飛行の開始から前記所定の時間が経過した時点での地点である、請求項6に記載の無人航空機。
  8. 前記特徴量は、画像を特徴づける情報を記述したデータである、請求項1から7のいずれか一項に記載の無人航空機。
  9. 前記抽出部は、SIFT(Scale invariant feature transform)によって前記特徴量を抽出する、請求項1から8のいずれか一項に記載の無人航空機。
  10. 前記抽出部は、SURF(Speeded Up Robust Features)によって前記特徴量を抽出する、請求項1から8のいずれか一項に記載の無人航空機。
  11. 前記取得部は、リモートコントローラからの制御に従って飛行が行われる場合に前記履歴を取得する、請求項1から10のいずれか一項に記載の無人航空機。
  12. 前記履歴は、リモートコントローラの操作履歴に基づく情報である、請求項11に記載の無人航空機。
  13. 加速度センサ及び角速度センサをさらに有し、
    前記履歴は、前記加速度センサ及び角速度センサから得られるデータに基づく情報である、請求項1から10のいずれか一項に記載の無人航空機。
  14. 第一の地点までの第一の飛行の履歴を取得する履歴取得部と、
    取得した前記履歴に基づいて、前記第一の地点までの第二の飛行の経路を決定する決定部と、
    決定した前記第二の飛行の経路に沿った飛行を制御する制御部と、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の前記履歴の所定の地点に対応する画像の特徴量と、前記第二の飛行中に撮像して得られた少なくとも1つの第二の前記所定の地点に対応する画像の特徴量とを取得する特徴量取得部と、
    前記少なくとも1つの第一の画像の特徴量と前記少なくとも1つの第二の画像の特徴量とを比較する比較部と、
    前記比較結果に基づいて前記第二の飛行の経路を補正する補正部と
    を有する、無人航空機。
  15. 第一の地点までの第一の飛行の履歴を取得する取得ステップと、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出ステップと、
    前記履歴の所定の地点に対応する前記特徴量を前記履歴に関連付ける処理ステップと
    を有する、無人航空機の制御方法。
  16. 第一の地点までの第一の飛行の履歴を取得する履歴取得ステップと、
    取得した前記履歴に基づいて、前記第一の地点までの第二の飛行の経路を決定する決定ステップと、
    決定した前記第二の飛行の経路に沿った飛行を制御する制御ステップと、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の前記履歴の所定の地点に対応する画像の特徴量と、前記第二の飛行中に撮像して得られた少なくとも1つの第二の前記所定の地点に対応する画像の特徴量とを取得する特徴量取得ステップと、
    前記少なくとも1つの第一の画像の特徴量と前記少なくとも1つの第二の画像の特徴量とを比較する比較ステップと、
    前記比較結果に基づいて前記第二の飛行の経路を補正する補正ステップと
    を有する、無人航空機の制御方法。
  17. 第一の地点までの第一の飛行の履歴を取得する取得ステップと、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の特徴量を抽出する抽出ステップと、
    前記履歴の所定の地点に対応する前記特徴量を前記履歴に関連付ける処理ステップと
    をコンピュータに実行させる、無人航空機の制御プログラム。
  18. 第一の地点までの第一の飛行の履歴を取得する履歴取得ステップと、
    取得した前記履歴に基づいて、前記第一の地点までの第二の飛行の経路を決定する決定ステップと、
    決定した前記第二の飛行の経路に沿った飛行を制御する制御ステップと、
    前記第一の飛行中に撮像して得られた少なくとも1つの第一の画像の前記履歴の所定の地点に対応する画像の特徴量と、前記第二の飛行中に撮像して得られた少なくとも1つの第二の前記所定の地点に対応する画像の特徴量とを取得する特徴量取得ステップと、
    前記少なくとも1つの第一の画像の特徴量と前記少なくとも1つの第二の画像の特徴量とを比較する比較ステップと、
    前記比較結果に基づいて前記第二の飛行の経路を補正する補正ステップと
    をコンピュータに実行させる、無人航空機の制御プログラム。
JP2016124278A 2016-06-23 2016-06-23 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム Expired - Fee Related JP6275202B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016124278A JP6275202B2 (ja) 2016-06-23 2016-06-23 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016124278A JP6275202B2 (ja) 2016-06-23 2016-06-23 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム

Publications (2)

Publication Number Publication Date
JP2017228111A true JP2017228111A (ja) 2017-12-28
JP6275202B2 JP6275202B2 (ja) 2018-02-07

Family

ID=60891696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016124278A Expired - Fee Related JP6275202B2 (ja) 2016-06-23 2016-06-23 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム

Country Status (1)

Country Link
JP (1) JP6275202B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405114A (zh) * 2018-10-22 2019-03-01 张振花 一种基于农业种植的智能城市净化方法及其系统
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
WO2019184874A1 (zh) * 2018-03-30 2019-10-03 深圳市大疆创新科技有限公司 发送器、飞行体、飞行控制指示方法、飞行控制方法、程序及存储介质
JP2020057225A (ja) * 2018-10-02 2020-04-09 パイオニア株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021039788A (ja) * 2020-12-02 2021-03-11 楽天株式会社 管理装置、管理方法及び管理システム
WO2021070253A1 (ja) * 2019-10-08 2021-04-15 楽天株式会社 処理システム、無人で飛行可能な航空機、及び粉塵状態推定方法
DE102020205552A1 (de) 2020-04-30 2021-11-04 Siemens Mobility GmbH Dynamische Routenplanung einer drohnenbasierten Überprüfung von Streckeneinrichtungen einer Strecke
CN114661067A (zh) * 2022-05-06 2022-06-24 广东汇天航空航天科技有限公司 飞行控制方法、装置及电子设备
CN117157241A (zh) * 2021-04-13 2023-12-01 三菱电机楼宇解决方案株式会社 对电梯的井道的内部进行检查的飞行体、飞行体的控制装置以及飞行体的飞行方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221123A (ja) * 1995-02-10 1996-08-30 Kawasaki Heavy Ind Ltd 移動体の走行制御方法および装置
WO2005038402A1 (ja) * 2003-10-21 2005-04-28 Waro Iwane ナビゲーション装置
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2008105591A (ja) * 2006-10-26 2008-05-08 Hiroboo Kk 自律制御無人飛行体の飛行管理方法
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2015181726A (ja) * 2014-03-24 2015-10-22 日機装株式会社 血液浄化システム
WO2016049905A1 (zh) * 2014-09-30 2016-04-07 深圳市大疆创新科技有限公司 一种飞行任务处理方法、装置及系统
JP2016110210A (ja) * 2014-12-02 2016-06-20 株式会社日立製作所 変化検出装置、変化検出方法、および、変化検出プログラム
US20170076613A1 (en) * 2015-09-15 2017-03-16 Optim Corporation System and method of controlling uninhabited airborne vehicle

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221123A (ja) * 1995-02-10 1996-08-30 Kawasaki Heavy Ind Ltd 移動体の走行制御方法および装置
WO2005038402A1 (ja) * 2003-10-21 2005-04-28 Waro Iwane ナビゲーション装置
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2008105591A (ja) * 2006-10-26 2008-05-08 Hiroboo Kk 自律制御無人飛行体の飛行管理方法
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2015181726A (ja) * 2014-03-24 2015-10-22 日機装株式会社 血液浄化システム
WO2016049905A1 (zh) * 2014-09-30 2016-04-07 深圳市大疆创新科技有限公司 一种飞行任务处理方法、装置及系统
JP2017502397A (ja) * 2014-09-30 2017-01-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行ミッション処理方法、装置及びシステム
JP2016110210A (ja) * 2014-12-02 2016-06-20 株式会社日立製作所 変化検出装置、変化検出方法、および、変化検出プログラム
US20170076613A1 (en) * 2015-09-15 2017-03-16 Optim Corporation System and method of controlling uninhabited airborne vehicle
JP2017058829A (ja) * 2015-09-15 2017-03-23 株式会社オプティム 無人航空機制御システム、無人航空機制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
CN110300991A (zh) * 2018-01-23 2019-10-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
WO2019184874A1 (zh) * 2018-03-30 2019-10-03 深圳市大疆创新科技有限公司 发送器、飞行体、飞行控制指示方法、飞行控制方法、程序及存储介质
JP2019179507A (ja) * 2018-03-30 2019-10-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JP2020057225A (ja) * 2018-10-02 2020-04-09 パイオニア株式会社 情報処理装置、情報処理方法、及びプログラム
CN109405114A (zh) * 2018-10-22 2019-03-01 张振花 一种基于农业种植的智能城市净化方法及其系统
WO2021070253A1 (ja) * 2019-10-08 2021-04-15 楽天株式会社 処理システム、無人で飛行可能な航空機、及び粉塵状態推定方法
DE102020205552A1 (de) 2020-04-30 2021-11-04 Siemens Mobility GmbH Dynamische Routenplanung einer drohnenbasierten Überprüfung von Streckeneinrichtungen einer Strecke
JP2021039788A (ja) * 2020-12-02 2021-03-11 楽天株式会社 管理装置、管理方法及び管理システム
CN117157241A (zh) * 2021-04-13 2023-12-01 三菱电机楼宇解决方案株式会社 对电梯的井道的内部进行检查的飞行体、飞行体的控制装置以及飞行体的飞行方法
CN114661067A (zh) * 2022-05-06 2022-06-24 广东汇天航空航天科技有限公司 飞行控制方法、装置及电子设备

Also Published As

Publication number Publication date
JP6275202B2 (ja) 2018-02-07

Similar Documents

Publication Publication Date Title
JP6275202B2 (ja) 無人航空機、無人航空機の制御方法、および無人航空機の制御プログラム
JP6029446B2 (ja) 自律飛行ロボット
JP5990453B2 (ja) 自律移動ロボット
US20190265735A1 (en) Flight control device, unmanned aerial vehicle, flight control method, and computer-readable recording medium
US10732298B2 (en) Operating device, operating method, operating system, and operating program
CN111433818A (zh) 目标场景三维重建方法、系统及无人机
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US10146230B2 (en) Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor
Menozzi et al. Development of vision-aided navigation for a wearable outdoor augmented reality system
JP6912281B2 (ja) 飛行体、飛行制御システム、飛行制御方法、プログラム及び記録媒体
Li et al. Monocular Snapshot‐based Sensing and Control of Hover, Takeoff, and Landing for a Low‐cost Quadrotor
US10642272B1 (en) Vehicle navigation with image-aided global positioning system
JP6469492B2 (ja) 自律移動ロボット
JP6478177B2 (ja) 制御装置、撮像システム、移動体、制御方法、およびプログラム
JP2016181178A (ja) 自律移動ロボット
JP6630939B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP7351609B2 (ja) 経路探索装置及びプログラム
KR101911353B1 (ko) Gnss 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체
WO2020062255A1 (zh) 拍摄控制方法和无人机
CN111433819A (zh) 目标场景三维重建方法、系统及无人机
JP7352908B2 (ja) 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
WO2020079309A1 (en) Obstacle detection
CN111788457A (zh) 形状推断装置、形状推断方法、程序以及记录介质
WO2018100744A1 (ja) 制御装置、撮像装置、移動体、決定方法、およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R150 Certificate of patent or registration of utility model

Ref document number: 6275202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees