JP2020149640A - 飛行システム及び着陸制御方法 - Google Patents

飛行システム及び着陸制御方法 Download PDF

Info

Publication number
JP2020149640A
JP2020149640A JP2019049140A JP2019049140A JP2020149640A JP 2020149640 A JP2020149640 A JP 2020149640A JP 2019049140 A JP2019049140 A JP 2019049140A JP 2019049140 A JP2019049140 A JP 2019049140A JP 2020149640 A JP2020149640 A JP 2020149640A
Authority
JP
Japan
Prior art keywords
landing
unmanned aerial
aerial vehicle
takeoff
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019049140A
Other languages
English (en)
Other versions
JP7190699B2 (ja
Inventor
山内 直樹
Naoki Yamauchi
直樹 山内
有本 和民
Kazutami Arimoto
和民 有本
研作 木下
Kensaku Kinoshita
研作 木下
憲昭 吉川
Kensho Yoshikawa
憲昭 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cyber Creative Institute Co Ltd
Techno Axel Networks Co Ltd
Original Assignee
Cyber Creative Institute Co Ltd
Techno Axel Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cyber Creative Institute Co Ltd, Techno Axel Networks Co Ltd filed Critical Cyber Creative Institute Co Ltd
Priority to JP2019049140A priority Critical patent/JP7190699B2/ja
Publication of JP2020149640A publication Critical patent/JP2020149640A/ja
Application granted granted Critical
Publication of JP7190699B2 publication Critical patent/JP7190699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】本発明は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる飛行システムの提供を目的とする。【解決手段】本発明の飛行システムは、無人航空機と、上記無人航空機が離着陸可能な離着陸台を有する移動体とを備え、上記離着陸台が、上空から識別可能な表示装置を有し、上記移動体が、着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、上記無人航空機が、カメラと、上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部とを有する。【選択図】図1

Description

本発明は、飛行システム及び着陸制御方法に関する。
無人航空機(いわゆるドローン)は、近年、配送システム、監視システム、農薬散布等の農業支援などその応用範囲が飛躍的に広がっている。
この無人航空機は、例えば無人航空機の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等から構成される機体センサ、安全な着陸を脅かす地上の脅威を捉える探知センサ、気象予報や他機の移動情報等を地上設備や他機から取得する通信部を有し、この機体センサ、探知センサ、通信部より得られる情報を元に着陸する(例えば特開2018−165870号公報参照)。
例えば上記公報に記載の無人航空機では、上記センサ等から得られる情報により、地上に設定された複数の着陸候補地点から最も安全な着陸地点を選択し、安全に着陸することができる。
一方、近年は移動体、例えば自動車と連携したドローンの活用が注目されている。この移動体及びドローンを備える飛行システムでは、例えば自動車のルーフが離着陸台となり、飛行中のドローンをこの離着陸台に着陸させることが必要となる。この離着陸台は、一般に地上に設定される静止した着陸場所よりも面積が狭い。また、離着陸台そのものが移動を伴うため、その着陸環境が変化し易い。上記従来の無人航空機では、静止した着陸場所を前提とした着陸制御が行われているため、このような移動体に設けられた離着陸台への着陸制御は容易ではない。
さらに、移動体に設けられた離着陸台に着陸したドローンに対して、再飛行に備えて充電が行われる。この充電方法として、離着陸台に設けられた非接触充電システムが用いられるのが一般的である。このような非接触充電システムでは、離着陸台に設けられたコイルに対するドローンに設けられたコイルの相対位置が充電効率に大きく影響する。この充電効率を高めるため、ドローンを高い位置精度で着陸させることが求められている。
特開2018−165870号公報
本発明は、上述のような事情に基づいてなされたものであり、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる飛行システム及び着陸制御方法の提供を目的とする。
上記課題を解決するためになされた本発明の飛行システムは、無人航空機と、上記無人航空機が離着陸可能な離着陸台を有する移動体とを備え、上記離着陸台が、上空から識別可能な表示装置を有し、上記移動体が、着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、上記無人航空機が、カメラと、上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部とを有する。
当該飛行システムでは、移動体に設けられた離着陸台が上空から識別可能な表示装置を有し、着陸環境情報を含む画像を上記表示装置に表示する。このため、当該飛行システムでは、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機は上記表示装置に表示された画像を上記カメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該飛行システムでは、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
上記着陸環境情報が、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含むとよい。上記着陸環境情報として、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含めることで、移動体が移動することで変化し易い情報を無人航空機の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。
上記移動体が、複数の上記離着陸台を有し、それぞれの上記離着陸台の表示装置に着陸台識別子が表示されるとよい。このように複数の上記離着陸台を有する移動体にあっては、それぞれの上記離着陸台の表示装置に離着陸台識別子を表示することで、より確実に無人航空機の着陸誘導ができる。
上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報が実質的にリアルタイムで更新されるとよい。このように上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。
上記表示制御部が表示する画像が、二次元バーコードを含むとよい。二次元バーコードは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように上記表示制御部が表示する画像に二次元バーコードを含めることで、移動体及び無人航空機間で同時に多くの情報を伝達できるうえに、市販の情報変換プログラム等を利用できるので、当該飛行システムの開発及び製造コストを低減できる。なお、本明細書で「二次元バーコード」とは、QRコード(登録商標)を指す。以降、「二次元バーコード」を単に「QRコード」ともいう。
上記課題を解決するためになされた本発明の着陸制御方法は、カメラを有する無人航空機を、移動体が有する離着陸台に着陸させる着陸制御方法であって、上記離着陸台が、上空から識別可能な表示装置を有し、上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップとを備える。
当該着陸制御方法では、無人航空機のカメラが離着陸台の表示装置の画像を認識できる位置まで移動体が上記無人航空機を誘導した後、着陸環境情報を含む画像を上記表示装置に上記移動体が表示する。また、当該着陸制御方法では、無人航空機は上記表示装置に表示された画像をカメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該着陸制御方法では、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
ここで、「無人航空機」とは、人が搭乗せず、無線による遠隔操縦又は搭載コンピュータにあらかじめプログラムされたパターンで自律飛行をする航空機の総称であり、典型的には自律航法装置を備えた小型のマルチロータヘリコプタ(ドローン)を指す。また、「移動体」とは、陸地又は水上を自走可能な車両を指し、自動車、オートバイ、船舶等が含まれる。「上空」とは、地上の基準点から天頂となす角度が45度以内かつ基準点からの相対高度が5m以内の範囲を指すものとする。「実質的にリアルタイムで更新される」とは、所定の間隔をおいて更新作業を行う場合を含み、上記所定の間隔は、10分以下、好ましくは5分以下とされる。
以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。
図1は、本発明の飛行システムの構成を示す模式図である。 図2は、図1の無人航空機の構成を示すブロック図である。 図3は、図1の自動車の構成を示すブロック図である。 図4は、図3の自動車が有する離着陸台の表示装置に表示される画像の一例である。 図5は、図1の飛行システムの着陸制御を示すシーケンス図である。 図6は、無人航空機のカメラの画像の倍率の算出を説明する説明図である。
以下、本発明の一実施形態に係る飛行システム及び着陸制御方法について適宜図面を参照しつつ説明する。
〔飛行システム〕
図1に示す飛行システムは、無人航空機1と、移動体である自動車2とを備える。無人航空機1は、また、自動車2は無人航空機1が離着陸可能な離着陸台3を有する。離着陸台3の設置位置は、無人航空機1が着陸可能であれば特に限定されず、図1に示すように自動車2のルーフや、荷台、ボンネット等適宜の位置とできる。また、離着陸台3の広さは、無人航空機1が着陸可能な大きさとされる。
当該飛行システムでは、無人航空機1が自動車2の離着陸台3に搭載されて目的地まで運搬される。目的地に到着後、無人航空機1は離着陸台3から離陸し、所定の位置まで移動する。所定の位置まで移動した無人航空機1Aは、所定の活動、例えば配送、監視、農薬散布等を行う。その間、自動車2は移動している。所定の活動を終えた無人航空機1Aは、移動後の自動車2Bまで移動し、その離着陸台3へ着陸する。図1で無人航空機1Bは、離着陸台3へ着陸した状態を表している。
[無人航空機]
無人航空機1は、図2に示すように、記憶部11と、カメラ12と、画像認識部13と、センサ部14と、着陸制御部15と、機体制御用信号送受信部16と、映像データ用無線送受信部17と、通信制御部18とを備える。
<記憶部>
記憶部11は、各種情報を一時的あるいは恒久的に記憶する。記憶部11は、例えば半導体メモリ、固定ディスク、リムーバルディスク等で構成される。
記憶部11が記憶する情報としては、例えば無人航空機1(自機)のID情報、着陸すべき自動車2のID情報などを挙げることができる。また、例えば画像認識部13が画像処理を行う際、記憶部11は、その処理データを一時記憶するために用いてもよい。
<カメラ>
カメラ12は、図1に示すように、無人航空機1が着陸時に下方を撮像できるように設置されている。具体的な位置は特に限定されないが、例えば図1に示すように無人航空機1の胴体の下面にレンズが下方に向くように取り付けられている。
カメラ12としては、無人航空機に搭載可能な公知のカメラを用いることができる。カメラ12は、例えば風景や地形の撮影、飛行時の周囲の監視等を行うカメラと共通としてもよい。
カメラ12は、後述する離着陸台3の表示装置31に表示された着陸環境情報を含む画像を撮影することができる。撮影した画像は後述する通信制御部18を介して記憶部11に格納される。
<画像認識部>
画像認識部13は、表示装置31に表示された画像の着陸環境情報をカメラ12により認識する。この画像認識部13は、例えばCPU(Central Processing Unit)等の演算処理装置により構成することができる。上記演算処理装置として、DSP(Digital Signal Processor)等の画像処理専用のプロセッサを用いてもよい。
具体的には、画像認識部13は、記憶部11に格納されているカメラ12の撮影画像を後述する通信制御部18を介して読み出し、その画像に対して演算処理(いわゆる画像処理)を行うことで着陸環境情報を抽出する。抽出される着陸環境情報については、後述する。
<センサ部>
センサ部14は、無人航空機1の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等の公知の機体センサを有する。
また、センサ部14は、無人航空機1の周辺の環境を測定する環境センサを備えてもよい。上記環境センサとしては、例えば無人航空機1から見た自動車2の相対運動(位置、速度や進行方向)を検出するセンサや、無人航空機1と離着陸台3との間の障害物等を検出するセンサを挙げることができる。無人航空機1は、離着陸台3に着陸するまでの間、離着陸台3とは高度差がある。特に高度差が大きい段階においては、地上にある離着陸台3とは風速や気流の方向が異なる。無人航空機1は飛行しているため、これら風速や気流により着陸のための飛行制御に誤差が生じ得るが、上記環境センサとして、自動車2の相対運動を検出する環境センサを備えることで、この誤差を補正し易くなる。また、障害物等を検出するセンサを備えることで、安全な着陸径路を探索し易くできる。
<着陸制御部>
着陸制御部15は、画像認識部13、センサ部14、及び後述する機体制御用信号送受信部16等から得られる情報に基づき、飛行経路を決定し、安全に無人航空機1を離着陸台3へ着陸できるよう無人航空機1の姿勢や速度、進行方向を制御する。
着陸制御部15は、飛行経路や無人航空機1の取るべき姿勢を算出する例えばCPU等の演算処理装置と、無人航空機1の飛行制御装置とにより構成される。上記演算処理装置は、例えば画像認識部13の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。無人航空機1の飛行制御装置は公知であるため、詳細説明を省略する。
<機体制御用信号送受信部>
機体制御用信号送受信部16は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。
上記機体制御用信号としては、無人航空機1が着陸を行う場合であれば、例えば無人航空機1から自動車2への着陸要求信号や、自動車2から無人航空機1への着陸許可信号など、公知の着陸動作に必要な信号が挙げられる。
また、機体制御用信号送受信部16は、無人航空機1の位置情報を確認するためのGPS(Global Positioning System)衛星との通信を行うこともできるよう構成されている。
<映像データ用無線送受信部>
映像データ用無線送受信部17は、カメラ12で撮影した映像データを自動車2へ送信し、また自動車2で撮影した映像データを受信するためのアンテナである。
この映像データ用無線送受信部17は、機体制御用信号送受信部16と兼ねて1つのアンテナとしてもよいが、データ送受信の効率化の観点から別に設けられることが好ましい。また、映像データ用無線送受信部17を別体とすることで、既存の無人航空機1に対して映像データ用無線送受信部17を取り付けることで容易に機能を追加できるので、当該飛行システムを実現し易いという利点もある。
<通信制御部>
通信制御部18は、機体制御用信号送受信部16及び映像データ用無線送受信部17で自動車2と通信を行うための変復調、符号化及び復号化を行うとともに、記憶部11、カメラ12、画像認識部13、センサ部14、着陸制御部15、機体制御用信号送受信部16及び映像データ用無線送受信部17の間でのデータのやり取りを制御する。
この通信制御部18は、例えばCPU等の演算処理装置により構成することができる。上記演算処理装置は、例えば画像認識部13や着陸制御部15の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。
また、通信制御部18が自動車2と通信を行う回線は、特に限定されず公知の回線、例えばモバイルに用いられる3G帯や4G帯、WiFi(IEEE 802.11規格の無線LAN)、ITS(Intelligent Transport Systems:高度道路交通システムで利用されているDSRC(Dedicated Short Range Communications)などを利用することができる。
[自動車]
自動車2は、無人航空機1を制御するための車載機4を備える。車載機4は、表示制御部40と、記憶部41と、カメラ42と、画像認識部43と、センサ部44と、距離方位演算部45と、コマンド生成部46と、機体制御用信号送受信部47と、映像データ用無線送受信部48と、通信制御部49とを有する。また、上述のように自動車2は、離着陸台3を備え、離着陸台3は表示装置31を有する。
<表示制御部>
表示制御部40は、着陸環境情報を含む画像を表示装置31に表示する。具体的には、表示制御部40は、後述する離着陸台3の表示装置31に表示する画像情報データを作成し、表示装置31に送信する。この表示制御部40は、例えばCPU等の演算処理装置により構成することができる。
<記憶部>
記憶部41は、各種情報を一時的あるいは恒久的に記憶する。記憶部41は、無人航空機1の記憶部11と同様に構成できる。
記憶部41には、その領域の一部にデータベースが格納されていてもよい。このデータベースには、無人航空機1のIDや制御のためのシーケンス手順等の各種情報、HMI(Human Machine Interface)に必要な音声認識データなど格納され、複数種の無人航空機1の制御を実現したり、乗員からの声による指示を認識したりすることが可能とする。
<カメラ>
カメラ42は、自動車2の離着陸台3へ着陸体勢に入っている無人航空機1を自動車2側から撮影するために用いられる。
このカメラ42は、無人航空機1を撮影できる限り、その種類は特に限定されない。また、カメラ42は、無人航空機1を撮影できるように自動車2の上部、好ましくは離着陸台3に上空を撮影できるように設置される。
カメラ42が撮影した画像は、後述する通信制御部49を介して記憶部41に格納される。
<画像認識部>
画像認識部43は、上述のようにカメラ42で撮影された無人航空機1を認識する。この画像認識部43は、認識対象が無人航空機1である点を除き、無人航空機1の画像認識部13と同様に構成できる。
<センサ部>
センサ部44は、離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を取得するための測定装置等を有する。
離着陸台3の位置は、GPS衛星からの情報に基づいて取得可能である。離着陸台3の高度は、GPS衛星からの情報に基づいてもよいが、センサ部44として高度計を備えてもよい。離着陸台3の風速や照度は、センサ部44として風速計や照度計を備えることで取得できる。自動車2の速度は、自動車2が自走のために有する速度計を用いることで取得できる。自動車2の進行方向は、GPS衛星からの情報に基づいてもよいが、センサ部44として方位計を備えてもよい。
<距離方位演算部>
距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とを算出する。距離方位演算部45は、例えばCPU等の演算処理装置により構成することができる。この演算処理装置は、例えば画像認識部43の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。以下、演算処理装置で構成されるものについては、同様である。
無人航空機1は比較的小さいため、距離方位を測定するための基点は、例えば無人航空機1の重心位置等で代表できる。一方、自動車2は比較的大きいため、距離方位を測定するための基点は、無人航空機1が実際に着陸する離着陸台3に設定することが好ましく、離着陸台3の中心付近(無人航空機1が実際に着陸する際の中心位置)に設定することがさらに好ましい。このように基点を決定することで、着陸に必要な距離及び方位の精度を高めることができる。
無人航空機1と自動車2との距離及び方位の算出は、カメラ42により撮影されたドローンの画像データとカメラ42の撮影方位とを用いて行うことができる。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる画像データを用いてもよい。さらに、GPS衛星からの無人航空機1や自動車2の位置情報を用いることもできる。これらは単独で用いてもよいし、2つ以上を組み合わせて用いてもよい。組み合わせて用いることで、距離及び方位の算出精度を向上させることができる。
<コマンド生成部>
コマンド生成部46は、離着陸台3の表示装置31に表示すべき着陸環境情報を含む情報の生成と、その情報に対応した無人航空機1への制御コマンドとを生成する。コマンド生成部46は、例えばCPU等の演算処理装置により構成することができる。
上記着陸環境情報を含む情報は、後述する通信制御部49を介して表示制御部40へ送信され、表示制御部40により画像情報データが作成され、表示装置31に表示される。コマンド生成部46は、この着陸環境情報としてセンサ部44で取得した情報である離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を用いる。つまり、上記着陸環境情報は、離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向のうちの少なくとも1つを含む。上記着陸環境情報として、これらのうちの少なくとも1つを含めることで、自動車2が移動することで変化し易い情報を無人航空機1の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。
また、コマンド生成部46は、距離方位演算部45が算出した自動車2から見た無人航空機1の距離に応じて表示する画像の大きさを変えるように、表示装置31に対してコマンドを生成してもよい。具体的には、上記距離が大きいほど画像を大きくするとよい。このように上記距離に応じて画像の大きさを変えることで、着陸時の無人航空機1からの画像の視認性を高めることができる。また、上記距離が小さい場合に画像を小さくすることで、無人航空機1での画像の認識速度を向上できる。
画像の大きさは上記距離に応じて連続的に変化させてもよいが、一定の距離ごとに段階的に画像の大きさを変えてもよい。段階的に画像の大きさを変える方法としては、例えば予め決定された上記距離の閾値に対し、上記距離が閾値を下回ると(上記距離が小さくなると)、画像の面積を1/4(長さを1/2)とする方法を挙げることができる。
コマンド生成部46は、無人航空機1の着陸時には、実質的にリアルタイムで表示装置31に表示すべき情報の生成を行う。コマンド生成部46からの情報に基づいて表示制御部40により画像情報データが作成され、表示装置31に表示されるから、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。このように表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。
一方、上記制御コマンドは、通信制御部49を介して機体制御用信号送受信部47から無人航空機1へ送信される。無人航空機1へ送信された制御コマンドは、無人航空機1の機体制御用信号送受信部16で受信され、着陸制御部15へ送られる。なお、この制御コマンドは、主として機体制御用のコマンドであるが、他のコマンドを含んでもよい。
<機体制御用信号送受信部>
機体制御用信号送受信部47は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。この機体制御用信号送受信部47は、無人航空機1の機体制御用信号送受信部16と同様に構成される。
<映像データ用無線送受信部>
映像データ用無線送受信部48は、カメラ42で撮影した映像データを無人航空機1へ送信し、また無人航空機1で撮影した映像データを受信するためのアンテナである。この映像データ用無線送受信部48は、無人航空機1の映像データ用無線送受信部17と同様に構成される。
<通信制御部>
通信制御部49は、機体制御用信号送受信部47及び映像データ用無線送受信部48で無人航空機1と通信を行うための変復調、符号化及び復号化を行うとともに、表示制御部40、記憶部41、カメラ42、画像認識部43、センサ部44、距離方位演算部45、コマンド生成部46、機体制御用信号送受信部47、及び映像データ用無線送受信部48の間でのデータのやり取りを制御する。
この通信制御部49は、例えばCPU等の演算処理装置により構成することができる。また、通信を行う回線としては、無人航空機1の通信制御部18と対応する回線が用いられる。
<表示装置>
表示装置31は離着陸台3の上面側に配設されている。表示装置31を離着陸台3の最表面に配設し、表示装置31自体に無人航空機1を着陸させることもできるが、離着陸台3を表面がメッシュ状で、かつ表面側から流入する空気を側方へ流出する空気孔を有する中空板状の部材で構成し、表示装置31を上記部材の中空部で、空気の側方への流出を妨げない位置に配設することが好ましい。このような構成にあっては、無人航空機1は上記部材のメッシュ状部分に着陸する。無人航空機1は着陸時には下方に向かって強い気流を発生するが、この下方気流はメッシュを通過し、上記空気孔を介して側方へ流出する。このため、無人航空機1の着陸直前に発生し易い離着陸台3からの反射気流の影響を低減でき、無人航空機1の着陸制御の安定性を高められる。また、表示装置31を上記部材の中空部に配設することで、無人航空機1が直接着陸することがないため、表示装置31の故障や破損の発生を低減できる。なお、この構成では、メッシュの径は、表示装置31の表示を上空から識別可能な程度に粗くされる。
表示装置31としては、公知の液晶ディスプレイ等を用いることができるが、中でもフレキシブルディスプレイが好ましい。フレキシブルディプレイを用いることで、画像表示が必要な際に離着陸台3に適宜配設することができるので、不要時は格納することで表示装置31の故障や破損の発生を低減できる。また、フレキシブルディスプレイは薄いので、無人航空機1の着陸時の下方気流に影響を与え難い。
図4に表示装置31が表示する画像を例示する。図4の表示装置31が表示する画像は、ヘリポートマーク31aと、一対の着陸環境情報(QRコード31b)とを含む。
ヘリポートマーク31aは、Hマークであり、本実施形態では、無人航空機1が着陸する目標となるマークとして用いられている。無人航空機1は、このヘリポートマーク31aの着陸中心点Mに向かって着陸する。
一対の着陸環境情報は、着陸中心点Mを中心に点対称に置かれている。一対の着陸環境情報の距離(着陸環境情報を表示する領域の中心間の距離)は、上空からその距離を識別可能な距離とされる。このように一対の着陸環境情報を構成することで、無人航空機1は一対の着陸環境情報を直線で結んだ線の中点を目指して降下することで、着陸中心点Mに着陸することができる。
一対の着陸環境情報は、図4ではQRコード31bとして表示されている。つまり、表示制御部40が表示する画像が、QRコード31bを含む。QRコード31bは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように表示制御部40が表示する画像にQRコード31bを含めることで、自動車2及び無人航空機1の間で同時に多くの情報を伝達できるうえに、既存の情報変換プログラム等の資産を活用できるので、当該飛行システムの開発及び製造コストを低減できる。
QRコード31bには、その仕様からファインダーパターンA(位置検出用パターン)が、3コーナーに配置されている。例えば図4ではファインダーパターンAは、図4のQRコード31bの右下以外に配置されている。ここで、ファインダーパターンAを配置しない位置を例えば自動車2の進行方向に対して右後方と決めておけば、無人航空機1はQRコード31bのファインダーパターンAの位置を認識することで、自動車2の進行方向が図4の矢印の方向であることを読み取ることができる。なお、自動車2の進行方向を表示する方法は、これに限定されず、QRコード31bのデータ部のデータとして表示してもよい。
また、上記着陸環境情報には、離着陸台3の位置、高度、及び照度、並びに自動車2の速度が含まれ得るが、QRコード31bの場合、これらはデータ部のデータとして表示することができる。
QRコード31bは数字で最大7089字の情報を格納できるので、必要に応じて他の情報を含めることも可能である。このような他の情報としては、自動車2のIDや着陸すべき無人航空機1のIDを挙げることができる。これらの情報はリアルタイムで変化する情報ではないが、表示装置31に直接表示し、無人航空機1側でIDを照合することで、例えば無人航空機1が誤った移動体へ着陸することを防止できる。
以下、図4に示す画像が表示される表示装置31をもとに説明するが、表示装置31が表示する画像等はこれに限定されるものではない。例えば、着陸環境情報はQRコード31bで表示されるものに限定されるものではなく、一部又は全部が他の表示方法で表示されるものであってもよい。ヘリポートマーク31aはHマークに限定されるものではなく、他の表示であってもよい。また、ヘリポートマーク31aは必ずしも表示装置31に表示される必要はなく、離着陸台3に直接描画しておくことも可能である。さらに、ヘリポートマーク31aは必須の表示ではなく省略することもできる。
<利点>
当該飛行システムでは、移動体である自動車2に設けられた離着陸台3が上空から識別可能な表示装置31を有し、着陸環境情報を含む画像を表示装置31に表示する。このため、当該飛行システムでは、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該飛行システムでは、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
〔着陸制御方法〕
次に、着陸制御方法について図5を用いて説明する。当該着陸制御方法は、当該飛行システムで用いられる。つまり、当該着陸制御方法は、カメラ12を有する無人航空機1を、移動体(自動車2)が有する離着陸台3に着陸させる着陸制御方法である。また、離着陸台3が、上空から識別可能な表示装置31を有している。
まず、当該着陸制御方法を用いる無人航空機1の飛行について簡単に説明する。無人航空機1は、配送システム、監視システム、農業支援などに用いられる。例えば監視システムとして、自動車2から無人航空機1を用いて自動車2の周囲の風景画像を取得する場合、無人航空機1は、自動車2を離陸し上昇後、自動車2の上空でホバリングする。次に、水平飛行により目的地へ速やかに移動後、目的地近傍の上空でホバリングしつつ、最終の撮影ポイントへ高度や位置を調整しながら比較的低速で移動する。撮影ポイントで風景画像を取得した後、再び水平飛行する高度に復帰し、着陸地近傍へ速やかに移動する。着陸地近傍に移動した後は、下降及び着陸を行う。なお、上述では撮影ポイントのみで撮影する場合で説明しているが、水平飛行中に画像取得することも可能である。
当該着陸制御方法は、水平飛行する高度に復帰した後、着陸地近傍へ速やかに移動し下降及び着陸を行う過程で用いられる。
当該着陸制御方法は、図5に示すように、誘導ステップ(STEP1)と、画像表示ステップ(STEP2)と、画像取得ステップ(STEP3)と、着陸制御ステップ(STEP4)とを備える。
<誘導ステップ>
誘導ステップ(STEP1)では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで自動車2が無人航空機1を誘導する。
具体的には、自動車2の車載機4のコマンド生成部46が生成した着陸指示に関する制御コマンドを、機体制御用信号送受信部47を介して無人航空機1に送信する。この制御コマンドには、例えば自動車2のID(以下、「車両ID」)、無人航空機1のID(以下、「航空機ID」)、着陸地点位置、到着予定時間が含まれる。
車両IDは、自動車2の固有IDであり無人航空機1はこの車両IDにより自機が着陸すべき自動車2を特定することができる。また、航空機IDは無人航空機1の固有IDであり、無人航空機1はこの航空機IDにより自機への制御コマンドであるか否かの認識をすることができる。
着陸地点位置は、無人航空機1の着陸を予定している地点であり、自動車2が無人航空機1を収容するための移動先でもある。この着陸地点位置は、GPSで規定される位置情報を用いてもよく、予め無人航空機1及び自動車2間で定められ、無人航空機1の記憶部11及び自動車2の記憶部41に格納されたスポット名を用いてもよい。また、到着予定時間は、自動車2が着陸地点位置への移動を完了する予測時間である。
当該着陸制御方法では、無人航空機1の作業中に、無人航空機1が離着陸する自動車2が移動可能である。従って、無人航空機1を離陸させた位置と、着陸させる位置とが同一とは限らない。また、この制御コマンドを送信した時点で自動車2が、無人航空機1の着陸位置にいるとは限らない。このため、着陸地点位置及び到着予定時間の情報を無人航空機1との間で共有する必要がある。
この着陸指示に関する制御コマンドについて、機体制御用信号送受信部16を介して受け取った無人航空機1は、通信制御部18で車両ID及び航空機IDを確認し、自機への指示であること及び着陸すべき自動車2及び自機の着陸地点位置を認識する。
無人航空機1は、例えばセンサ部14の情報から取得した現在の自機位置及び着陸見込時間を車両ID及び航空機IDに加え、機体制御用信号送受信部16を介して自動車2へ送信する。例えば着陸見込時間は、現在の自機位置、着陸予定地点及び自機の予定飛行速度を用いて算出することができる。なお、これらの情報を自動車2へ送信することは必須ではなく、例えば着陸指示の制御コマンドを受信した旨の信号のみを送ってもよい。
これらの制御コマンドのやり取りを行った後、無人航空機1及び自動車2は上記着陸予定地点へ向かう。着陸地点位置及び到着予定時間等の情報は、移動中に変化し得る情報であるため、定期的に更新されてもよく、あるいは一定の変化が生じた際にその都度更新してもよい。この情報の更新は、誘導ステップ(STEP1)を再度行うことによりすることができる。
<画像表示ステップ>
画像表示ステップ(STEP2)では、誘導ステップ(STEP1)後に、着陸環境情報を含む画像を表示装置31に自動車2が表示する。
このステップは、自動車2及び無人航空機1が着陸地点位置に移動した後に行う。無人航空機1が着陸地点位置に移動しているか否かは、例えば誘導ステップ(STEP1)で無人航空機1から送信された到着予定時間をもとに判断してもよいし、自動車2のカメラ42で撮影された映像に無人航空機1が認められるか否かを画像認識部43により判断してもよい。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる無人航空機1のカメラ12の画像データを用いて判断してもよい。
まず、自動車2は、車載機4のセンサ部44により離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向を取得する。また、距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とをカメラ42から得られる情報等をもとに算出する。
離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向と、無人航空機1と自動車2との距離及び方位は、表示制御部40を介して表示装置31に一対のQRコード31bとして表示される。一対のQRコード31bに表示される情報は、上記情報のうちの一部又は全部が重複表示されもよい。また、QRコード31bは、上記情報以外の情報、例えば車両IDや航空機IDを挙げることができる。
上記画像は、実質的にリアルタイムで更新されるとよい。つまり、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。
<画像取得ステップ>
画像取得ステップ(STEP3)は、誘導ステップ(STEP1)後に、表示装置31に表示された画像をカメラ12により無人航空機1が取得する。
この画像取得ステップ(STEP3)は、画像表示ステップ(STEP2)の前から行われ、表示装置31に画像が表示されるまで待機していてもよいが、画像表示ステップ(STEP2)が行われてから開始してもよい。画像表示ステップ(STEP2)が行われたか否かは、例えば自動車2の表示制御部40から通信制御部49及び機体制御用信号送受信部47を介して、画像表示ステップ(STEP2)が行われているという情報を送信する方法を用いることができる。
また、画像取得ステップ(STEP3)の開始を決定する別の方法としては、自機の位置と着陸地点位置との距離が一定距離以下(例えば5m以下)となった際に開始する方法が挙げられる。上記距離は平面視での距離でもよいが、実距離(高度差を考慮した実空間での距離)とすることが好ましい。着陸地点位置は地表であることが分かっているので、着陸地点位置での標高と、自機の高度とを加味することで、容易に実距離を算出できる。
無人航空機1は、画像認識部13によりカメラ12で映像から着陸環境情報を抽出する。以下、その手順の例を示すが、この例に限定されるものではない。
(倍率調整)
無人航空機1は、まず着陸環境情報を好適に抽出できるようカメラ12の倍率を調整する。カメラ12の倍率を高めるほど着陸環境情報を抽出し易くなると考えられるが、一方倍率が高過ぎると、カメラ12の視野内に表示装置31が入りきらないおそれがある。このため、無人航空機1は、画像認識部13により認識される画像をもとに、必要な情報を全て取得可能な高倍率を選択するとよい。このようにカメラ12の倍率を調整することで、画像認識を容易に行えるようになるので、認識処理時間を小さくすることができ、精度の高い着陸制御を可能とする。
(実距離の算出)
カメラ12で撮影された映像内の距離と実空間での距離は異なるため、まず映像と実空間との距離の倍率を算出する。具体的な算出方法ついて、無人航空機1のカメラ12から離着陸台3を撮影している図6を用いて説明する。無人航空機1のカメラ12の視野角θは既知であり、選択された倍率により決まる。また、無人航空機1のカメラ12に撮影される画像Sの大きさ(例えば図6のL)も既知である。この場合、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の高度と自機の高度との差(図6のH)を用いて、無人航空機1のカメラ12の画像に対する実空間の倍率は、H×tan(θ/2)/Lで算出できる。この倍率を用いて、カメラ12で撮影された画像上の距離を実空間の距離に変換する。
(ID照合)
QRコード31bに車両IDや航空機IDの情報が含まれる場合、画像認識部13は、この車両ID及び航空機IDの情報から、自機が着陸すべき対象であるか否かを照合する。照合できない場合は、例えば自動車2の車載機4と通信することで、誘導ステップ(STEP1)を再実行し、正しい着陸場所へ移動する。照合できた場合は、着陸環境情報の抽出を継続する。
(無人航空機と自動車との距離及び方位)
無人航空機1と離着陸台3の着陸中心点Mとの距離及び方位は、無人航空機1のカメラ12により撮影された映像に基づいた画像解析により算出する。この算出において、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の照度を用い、カメラ12の映像を調整することで、着陸中心点Mの認識精度を高めることができる。また、自動車2の基準点を特定するため、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の位置を用いる。さらに、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の風速により着陸地点の実際の風速に基づいた着陸態勢の微修正を行うことができる。
無人航空機1と自動車2との距離及び方位は、無人航空機1のカメラ12により撮影された映像のみで算出することもできるが、大気の状態等により誤差が生じる場合がある。着陸環境情報として送信されてくるQRコード31bに含まれる自動車2側から測定した無人航空機1と自動車2との距離及び方位の情報を参照することで、この誤差を低減する。これにより無人航空機1の着陸精度を向上させることができる。
(自動車の速度及び進行方向)
自動車2の速度及び進行方向は、無人航空機1のカメラ12の映像の経時変化から求めることもできるが、着陸環境情報として送信されてくるQRコード31bに含まれる自動車2の速度及び進行方向を用いることで、その精度を高めることができる。
<着陸制御ステップ>
着陸制御ステップ(STEP4)では、画像取得ステップ(STEP3)で取得した画像の着陸環境情報に基づいて、無人航空機1が着陸制御を行う。
図5に示すように、無人航空機1が着陸体勢に入った段階では、その位置は必ずしも離着陸台3の着陸中心点Mの直上にあるとは限らない。また、無人航空機1の姿勢も自動車2の進行方向に対して適切な姿勢となっているとは限らない。着陸制御ステップ(STEP4)では、無人航空機1の位置や姿勢を制御しつつ降下を行う。
(姿勢の制御)
図4に示すように、表示装置31では一対のQRコード31b(着陸環境情報)が着陸中心点Mを中心に点対象に配置されている。このQRコード31bを結ぶ直線が自動車2の進行方向に対してなす角度は常に一定であるので、自機から見た上記直線の角度が所定の角度となるように姿勢を制御することで、自動車2の進行方向に対して適切な姿勢とすることができる。なお、上記所定の角度は既知であるので、例えば自動車2の車載機4から機体制御用信号送受信部47を介して送信する方法や、予め無人航空機1の記憶部11に格納しておく方法を用いることで、無人航空機1は参照することができる。
(着陸位置の制御)
上述のように一対のQRコード31bを結ぶ線分の2等分点が着陸中心点Mとなるので、一対のQRコード31bを結ぶ線分の2等分点の直上に移動するように無人航空機1を制御するとよい。この際、自動車2の速度及び進行方向の補正も併せて行うとよい。また、無人航空機1のセンサ部14から得られる風速や気流等の影響を考慮するとよい。これらを考慮することで、着陸精度を高めることができる。
着陸の制御は、実距離で行う必要があるが、カメラ12の映像から得られる距離を画像取得ステップ(STEP3)で算出した倍率に従って補正することで、実距離での制御が可能となる。具体的な制御は、無人航空機1の着陸制御部15を用いて、公知の手法で行うことができる。
また、必要に応じて自動車2の乗員が適切な指示を与えてもよい。このような指示を与える方法としてはHMIによる音声入力が好適である。緊急時に速やかに指示を出すことができる。
なお、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)は一度の実行で無人航空機1を着陸させてもよいが、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行いつつ、無人航空機1を着陸させることが好ましい。このように繰り返し行うことで、無人航空機1の着陸精度をさらに高められる。画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行う場合の繰り返しは、画像表示ステップ(STEP2)の更新と同期するように制御してもよいが、画像表示ステップ(STEP2)の更新とは非同期であってもよい。
<利点>
当該着陸制御方法では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで移動体である自動車2が無人航空機1を誘導した後、着陸環境情報を含む画像を表示装置31に自動車2が表示する。また、当該着陸制御方法では、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該着陸制御方法では、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
[その他の実施形態]
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
上記実施形態では、移動体が自動車である場合を説明したが、移動体は自動車に限定されない。上記移動体は、陸地又は水上を自走可能な車両であればよく、例えば自動車、オートバイ、船舶等であってもよい。
上記実施形態では、無人航空機が映像データ用無線送受信部を備える場合を説明したが、例えば自動車で撮影した映像データがない、あるいは無人航空機側で利用しない場合は、送信機能のみを有するものであってもよい。同様に、受信機能のみを有するものであってもよく、さらには映像データ用無線送受信部を備えないものであってもよい。
また、上記実施形態では、自動車がカメラを有する車載機を備える場合を説明したが、自動車のカメラは必須の構成要素ではなく、省略してもよい。自動車のカメラで撮影した画像に代えて、無人航空機のカメラから送信されてくる画像のみを用いて、無人航空機と自動車との距離を算出してもよい。なお、自動車がカメラを有さない場合、画像認識部も省略可能である。
上記実施形態では、無人航空機及び自動車がGPS衛星と通信を行える構成を有する場合を説明したが、本発明はGPS衛星との通信を行わない飛行システムにも適用可能である。このような飛行システムとしては、例えば無人航空機が自動車から発信される電波を受信することで、自動車の位置(方位や距離)を認識しつつ飛行するシステムを挙げることができる。
上記実施形態では、自動車のセンサ部が離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向を取得し、着陸環境情報としてこれらの情報全てを離着陸台の表示装置に表示する場合を説明したが、上記表示装置に表示する着陸環境情報は、これらの情報の一部であってもよい。なお、着陸環境情報として、離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向の一部又は全部を着陸環境情報として使用しない場合、使用しない情報に該当するセンサは省略することができる。
上記実施形態では、距離方位演算部により算出された無人航空機と自動車との距離と方位とを、着陸環境情報として画像に表示する場合を説明したが、無人航空機と自動車との距離と方位との表示は必須ではなく、省略可能である。
当該飛行システムで、無人航空機と移動体とは一対一で対応する必要はなく、いずれか一方又は両方が複数であってもよい。例えば複数の無人航空機と複数の移動体とを有する飛行システムである場合にあっては、個々の無人航空機は、自身の識別子により移動体からの制御コマンドの有効性(自己の無人航空機への制御であること)を判断できる。また、移動体からは、自身の識別子と対象となる無人航空機の識別子の組合せにより、個別の無人航空機を自身の移動体へ着陸するように誘導することができる。なお、複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信され得るが、このような事態は複数の移動体間の通信制御を行うことが回避できる。あるいは、複数の無人航空機の集合体と複数の移動体の集合体を予め準備し、それぞれから選択した任意の1機の無人航空機と1台の移動体とを組み合わせて当該飛行システムを構成してもよい。このように組み合わせて当該飛行システムを構成する方法によっても複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信されることを回避し得る。
上記実施形態では、移動体が1つの離着陸台を有する場合を説明したが、移動体が複数の離着陸台を有する場合も本発明の意図するところである。このような移動体にあっては、1台の移動体に対して複数機の無人航空機を同時にあるいは時間差をおいて次々と着陸させることができる。このような構成では、狭い範囲に複数の離着陸台が存在することとなるため、個々の無人航空機に対しどの離着陸台に着陸すべきか適確に制御できるよう離着陸台識別子を用いるとよい。つまり、個々の離着陸台に対し異なる離着陸台識別子を付与し、この離着陸台識別により個々の離着陸台を区別する。無人航空機は、移動体からの制御コマンドにより着陸すべき離着陸台の離着陸台識別を取得し、指定された離着陸台識別を有する離着陸台に着陸する。このとき、それぞれの離着陸台の表示装置に着陸台識別子が表示されるとよい。このように離着陸台の表示装置に着陸台識別子が表示されることで、無人航空機はその画像から実際に着陸しようとしている離着陸台が正しいものであることを容易に認識できるので、より確実に無人航空機の着陸誘導ができる。
以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。
1、1A、1B 無人航空機
11 記憶部
12 カメラ
13 画像認識部
14 センサ部
15 着陸制御部
16 機体制御用信号送受信部
17 映像データ用無線送受信部
18 通信制御部
2、2B 自動車
3 離着陸台
31 表示装置
31a ヘリポートマーク
31b QRコード
4 車載機
40 表示制御部
41 記憶部
42 カメラ
43 画像認識部
44 センサ部
45 距離方位演算部
46 コマンド生成部
47 機体制御用信号送受信部
48 映像データ用無線送受信部
49 通信制御部
M 着陸中心点
A ファインダーパターン
S 画像
L 画像の大きさ
H 高度差

Claims (6)

  1. 無人航空機と、
    上記無人航空機が離着陸可能な離着陸台を有する移動体と
    を備え、
    上記離着陸台が、上空から識別可能な表示装置を有し、
    上記移動体が、
    着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、
    上記無人航空機が、
    カメラと、
    上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、
    上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部と
    を有する飛行システム。
  2. 上記着陸環境情報が、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含む請求項1に記載の飛行システム。
  3. 上記移動体が、複数の上記離着陸台を有し、
    それぞれの上記離着陸台の表示装置に離着陸台識別子が表示される請求項1又は請求項2に記載の飛行システム。
  4. 上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される請求項1、請求項2又は請求項3に記載の飛行システム。
  5. 上記表示制御部が表示する画像が、二次元バーコードを含む請求項1から請求項4のいずれか1項に記載の飛行システム。
  6. カメラを有する無人航空機を、移動体が有する離着陸台に着陸させる着陸制御方法であって、
    上記離着陸台が、上空から識別可能な表示装置を有し、
    上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、
    上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、
    上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、
    上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップと
    を備える着陸制御方法。
JP2019049140A 2019-03-15 2019-03-15 飛行システム及び着陸制御方法 Active JP7190699B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019049140A JP7190699B2 (ja) 2019-03-15 2019-03-15 飛行システム及び着陸制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049140A JP7190699B2 (ja) 2019-03-15 2019-03-15 飛行システム及び着陸制御方法

Publications (2)

Publication Number Publication Date
JP2020149640A true JP2020149640A (ja) 2020-09-17
JP7190699B2 JP7190699B2 (ja) 2022-12-16

Family

ID=72430666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049140A Active JP7190699B2 (ja) 2019-03-15 2019-03-15 飛行システム及び着陸制御方法

Country Status (1)

Country Link
JP (1) JP7190699B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643923A (zh) * 2020-12-18 2022-06-21 乐天集团股份有限公司 行驶控制系统、控制方法、及控制装置
KR20220100768A (ko) * 2021-01-08 2022-07-18 아주대학교산학협력단 이미지 학습 기반의 착륙 제어 장치 및 방법
WO2023127289A1 (ja) * 2021-12-27 2023-07-06 三菱重工業株式会社 垂直離着陸機の自動発着システム、垂直離着陸機および垂直離着陸機の発着制御方法
WO2024069700A1 (ja) * 2022-09-26 2024-04-04 株式会社Subaru 空陸両用移動体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010445A (ja) * 2015-06-25 2017-01-12 三菱自動車工業株式会社 運転支援制御装置
KR20170027618A (ko) * 2015-09-02 2017-03-10 옥윤선 차량 연계형 드론 장치를 포함한 시스템, 그리고 차량 정보 제공 및 차량 외부 정보 수집 방법
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
WO2017198696A2 (en) * 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
US20180130008A1 (en) * 2016-11-06 2018-05-10 Yan Liu System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery
US20180173245A1 (en) * 2015-03-27 2018-06-21 Planck Aerosystems Inc. Unmanned aircraft navigation system and method
US20180251234A1 (en) * 2014-05-30 2018-09-06 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
JP2019031164A (ja) * 2017-08-07 2019-02-28 日本電気株式会社 離発着装置、離発着装置の制御方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180251234A1 (en) * 2014-05-30 2018-09-06 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
US20180173245A1 (en) * 2015-03-27 2018-06-21 Planck Aerosystems Inc. Unmanned aircraft navigation system and method
JP2017010445A (ja) * 2015-06-25 2017-01-12 三菱自動車工業株式会社 運転支援制御装置
KR20170027618A (ko) * 2015-09-02 2017-03-10 옥윤선 차량 연계형 드론 장치를 포함한 시스템, 그리고 차량 정보 제공 및 차량 외부 정보 수집 방법
WO2017198696A2 (en) * 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
US20180130008A1 (en) * 2016-11-06 2018-05-10 Yan Liu System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
JP2019031164A (ja) * 2017-08-07 2019-02-28 日本電気株式会社 離発着装置、離発着装置の制御方法、およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643923A (zh) * 2020-12-18 2022-06-21 乐天集团股份有限公司 行驶控制系统、控制方法、及控制装置
JP2022097065A (ja) * 2020-12-18 2022-06-30 楽天グループ株式会社 走行制御システム、制御方法、及び制御装置
JP7174748B2 (ja) 2020-12-18 2022-11-17 楽天グループ株式会社 走行制御システム、制御方法、及び制御装置
KR20220100768A (ko) * 2021-01-08 2022-07-18 아주대학교산학협력단 이미지 학습 기반의 착륙 제어 장치 및 방법
KR102441563B1 (ko) * 2021-01-08 2022-09-07 아주대학교산학협력단 이미지 학습 기반의 착륙 제어 장치 및 방법
WO2023127289A1 (ja) * 2021-12-27 2023-07-06 三菱重工業株式会社 垂直離着陸機の自動発着システム、垂直離着陸機および垂直離着陸機の発着制御方法
WO2024069700A1 (ja) * 2022-09-26 2024-04-04 株式会社Subaru 空陸両用移動体

Also Published As

Publication number Publication date
JP7190699B2 (ja) 2022-12-16

Similar Documents

Publication Publication Date Title
EP3077879B1 (en) Imaging method and apparatus
JP7190699B2 (ja) 飛行システム及び着陸制御方法
AU2021202509B2 (en) Image based localization for unmanned aerial vehicles, and associated systems and methods
US11046430B1 (en) Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
EP3077760B1 (en) Payload delivery
CN108255190B (zh) 基于多传感器的精确着陆方法及使用该方法的系留无人机
EP3077880B1 (en) Imaging method and apparatus
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
CN111465556A (zh) 信息处理系统、信息处理方法及程序
GB2522327A (en) Determining routes for aircraft
GB2522328A (en) Payload delivery
EP2881827A1 (en) Imaging method and apparatus
EP2881697A1 (en) Capturing and processing images
WO2015082594A1 (en) Determining routes for aircraft
JP6393157B2 (ja) 宇宙機の探索回収システム
KR102231574B1 (ko) 이동하는 랜딩패드에 안전하게 착륙 가능한 무인 항공기 착륙방법 및 이를 이용한 무인 항공기 착륙시스템
EP2881825A1 (en) Imaging method and apparatus
JP2020135327A (ja) 飛行体システム、飛行体、位置測定方法、プログラム
JP2023175386A (ja) 飛行システム
CN111492326B (zh) 用于无人飞行器的基于图像的定位以及相关系统和方法
EP2881698A1 (en) Payload delivery
EP2881826A1 (en) Imaging method and apparatus
EP2881709A1 (en) Determining routes for aircraft
EP2881824A1 (en) Imaging method and system
WO2015082311A1 (en) Imaging method and apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7190699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150