JP2023119306A - 情報処理装置、着陸適否判定方法、及びプログラム - Google Patents

情報処理装置、着陸適否判定方法、及びプログラム Download PDF

Info

Publication number
JP2023119306A
JP2023119306A JP2022022131A JP2022022131A JP2023119306A JP 2023119306 A JP2023119306 A JP 2023119306A JP 2022022131 A JP2022022131 A JP 2022022131A JP 2022022131 A JP2022022131 A JP 2022022131A JP 2023119306 A JP2023119306 A JP 2023119306A
Authority
JP
Japan
Prior art keywords
landing
candidate
feature
degree
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022022131A
Other languages
English (en)
Other versions
JP7213374B1 (ja
Inventor
満 中澤
Mitsuru Nakazawa
順 滝澤
Jun Takizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2022022131A priority Critical patent/JP7213374B1/ja
Application granted granted Critical
Publication of JP7213374B1 publication Critical patent/JP7213374B1/ja
Priority to EP23154076.6A priority patent/EP4230962A1/en
Priority to US18/163,419 priority patent/US20230260410A1/en
Priority to CN202310108020.XA priority patent/CN116612399A/zh
Publication of JP2023119306A publication Critical patent/JP2023119306A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025Navigation or guidance aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0091Surveillance aids for monitoring atmospheric conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Abstract

【課題】吹きおろしの風が地物にあたって跳ね返ることによる影響が考慮された適切な着陸場所の選定を可能とする情報処理装置、着陸適否判定方法、及びプログラムを提供する。【解決手段】情報処理装置は、UAV1の着陸候補場所の周辺に存在する地物を検出し、UAV1が着陸する際に発生する吹きおろしの風が当該地物にあたって跳ね返ることによる着陸への影響度であって、着陸候補場所における影響度を推定し、当該推定された影響度に基づいて、当該着陸候補場所が着陸に適しているか否かを判定する。【選択図】図9

Description

本発明は、無人飛行体の着陸時の地面効果の影響を低減することが可能な方法等の技術分野に関する。
ドローンなどの無人飛行体が着陸するとき、無人飛行体のプロペラの回転により発生する吹きおろしの風(ダウンウォッシュ)が着陸場所の地面にあたって跳ね返ることによる影響で無人飛行体の着陸制御が難しくなることがあり、この影響は地面効果として知られている。特許文献1には、機体の着陸時における地面効果の影響を低減するために、着陸想定領域の面積が機体の投影面積よりも大きいか否かを判断するとともに、着陸想定領域が水平または水平に近い面であるか否かを判断することで着陸に適した領域を判断する技術が開示されている。
特開2019-64280号公報
しかし、上述の吹きおろしの風は着陸場所の地面だけでなく、着陸場所の周辺に存在する地物にあたって跳ね返ることがある。そのため、着陸場所が水平であったとしても、吹きおろしの風が着陸場所の周辺に存在する地物にあたって跳ね返ることによる影響で無人飛行体の着陸制御が難しくなるという問題がある。
そこで、本発明は、上記問題等に鑑みてなされたものであり、吹きおろしの風が地物にあたって跳ね返ることによる影響が考慮された適切な着陸場所の選定を可能とする情報処理装置、着陸適否判定方法、及びプログラムを提供することを課題の一つとする。
上記課題を解決するために、請求項1に記載の発明は、無人飛行体の着陸候補場所の周辺に存在する地物を検出する検出手段と、前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定する推定手段と、前記推定手段により推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定する判定手段と、を備えることを特徴する。これにより、吹きおろしの風が地物にあたって跳ね返ることによる影響が考慮された適切な着陸場所を選定することができる。
請求項2に記載の発明は、請求項1に記載の情報処理装置において、前記推定手段は、地物の属性と地物の空気の流れ易さまたは流れ難さとの関係を示すデータと、前記検出手段により検出された地物の属性とに基づいて、前記影響度を推定することを特徴とする。これにより、着陸候補場所における着陸への影響度をより効率良く推定することができる。
請求項3に記載の発明は、請求項2に記載の情報処理装置において、前記推定手段は、前記着陸候補場所の周辺が仮想的に所定の第1区画に細分化された場所ごとに前記地物の空気の流れ易さまたは流れ難さを特定し、当該場所ごとの空気の流れ易さまたは流れ難さに基づいて、前記影響度を推定することを特徴とする。これにより、空気の流れ易さまたは流れ難さ特定の際のノイズの発生を低減することができ、その結果、着陸候補場所における着陸への影響度の推定精度を高めることができる。
請求項4に記載の発明は、請求項2または3に記載の情報処理装置において、前記推定手段は、前記検出手段により検出された地物の属性に加えて、前記検出手段により検出された地物の3次元サイズと3次元形状との少なくとも何れか一方に基づいて、前記影響度を推定することを特徴とする。これにより、着陸候補場所における着陸への影響度の推定精度を高めることができる。
請求項5に記載の発明は、請求項1乃至4の何れか一項に記載の情報処理装置において、前記着陸候補場所は、着陸候補エリアが仮想的に所定の第2区画に細分化された場所であることを特徴とする。これにより、着陸候補エリアの中でも、吹きおろしの風が地物にあたって跳ね返ることによる影響が小さい着陸候補場所を着陸場所に選定することができる。
請求項6に記載の発明は、請求項5に記載の情報処理装置において、前記推定手段は、複数の前記着陸候補場所ごとに前記影響度を推定し、前記判定手段は、前記着陸候補場所ごとの前記影響度に基づいて、前記着陸候補場所ごとに着陸に適しているか否かを判定することを特徴とする。これにより、複数の着陸候補場所の中から、より適切な着陸候補場所を着陸場所に選定することができる。
請求項7に記載の発明は、請求項5または6に記載の情報処理装置において、予め定められた着陸対象エリアから、少なくとも障害物がなく且つ所定サイズ以上の平坦な領域を前記着陸候補エリアとして特定する特定手段を更に備えることを特徴とする。これにより、予め着陸対象エリアを絞ることで、無駄な探索を省けて、着陸場所を選定するまでの演算量を削減することができる。
請求項8に記載の発明は、請求項5または6に記載の情報処理装置において、予め定められた着陸対象エリアから、少なくとも障害物がなく且つ所定サイズ以上の平坦な領域で、さらに地表面の属性が着陸に適している領域を前記着陸候補エリアとして特定する特定手段を更に備えることを特徴とする。これにより、予め着陸対象エリアを絞ることで、無駄な探索を省けて、着陸場所を選定するまでの演算量を削減することができる。
請求項9に記載の発明は、請求項1乃至8の何れか一項に記載の情報処理装置において、前記検出手段は、前記無人飛行体により前記着陸候補場所の周辺がセンシングされることで得られたセンシング情報に基づいて、当該着陸候補場所の周辺に存在する地物を検出することを特徴とする。これにより、着陸予定の無人飛行体のセンシングにより得られたセンシング情報が用いられるため、着陸候補場所における着陸への影響度の推定精度を高めることができる。
請求項10に記載の発明は、1または複数のコンピュータにより実行される着陸適否判定方法であって、無人飛行体の着陸候補場所の周辺に存在する地物を検出するステップと、前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定するステップと、前記推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定するステップと、を含むことを特徴とする。
請求項11に記載の発明は、コンピュータを、無人飛行体の着陸候補場所の周辺に存在する地物を検出する検出手段と、前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定する推定手段と、前記推定手段により推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定する判定手段として機能させることを特徴とする。
本発明によれば、吹きおろしの風が地物にあたって跳ね返ることによる影響が考慮された適切な着陸場所を選定することができる。
飛行管理システムSの概要構成例を示す図である。 UAV1の概要構成例を示す図である。 管理サーバ2の概要構成例を示す図である。 制御部23における機能ブロック例を示す図である。 着陸対象エリアAR0、及び着陸候補エリアAR1,AR2の一例を示す概念図である。 着陸候補場所(1)の周辺に存在する地物の属性の一例を示す概念図である。 地物の属性と地物の空気の流れ易さとの関係を示すデータの一例をテーブル形式で示す図である。 着陸候補場所(1)の周辺に存在する地物の空気の流れ易さの一例を示す概念図である。 飛行管理システムSにおいてUAV1及び管理サーバ2の間で実行される処理の一例を示すシーケンス図である。 飛行管理システムSにおいてUAV1及び管理サーバ2の間で実行される処理の一例を示すシーケンス図である。
以下、図面を参照して本発明の一実施形態について説明する。なお、以下の実施形態は、無人航空機を所定の目的のために飛行させる飛行管理システムに対して本発明を適用した場合の実施形態である。所定の目的の例として、例えば、運搬(配送)、測量、撮影、点検、監視等が挙げられる。
1.飛行管理システムSの構成及び動作概要
先ず、図1を参照して、本実施形態に係る飛行管理システムSの構成及び動作概要について説明する。図1は、飛行管理システムSの概要構成例を示す図である。図1に示すように、飛行管理システムSは、無人航空機(以下、「UAV(Unmanned Aerial Vehicle)」と称する)1、及び管理サーバ2(情報処理装置の一例)を含んで構成され、これらは、通信ネットワークNWに接続可能になっている。ここで、通信ネットワークNWは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。UAV1は無人飛行体の一例であり、ドローン、またはマルチコプタとも呼ばれる。UAV1は、着陸対象エリアに向けて、地上からオペレータによる遠隔操縦に従って飛行、または空中を自律的に飛行することが可能になっている。管理サーバ2は、着陸対象エリア及びUAV1を管理するサーバである。
本実施形態に係る飛行管理システムSは、UAV1のプロペラの回転により発生する吹きおろしの風が周辺(後述する着陸候補場所の周辺)に存在する地物にあたって跳ね返ることによる影響が小さい(換言すると、着陸制御が難しくならない)場所をUAV1の着陸場所として選定(決定)することができる。これにより、予め整備された離着陸施設(離着陸ポート)がない場所であってもUAV1を安定して着陸させることができる。ここで、着陸場所は、例えば、住宅の敷地、駐車場、公園、物流倉庫の敷地、建物の屋上、被災した建物の近辺、または崖や土手等の隣接地の中に選定される。地物は、自然物や人工物など、特に地面に接して存在する物であり、平面的な物であってもよいし、立体的な物であってもよい。地物の属性(換言すると、種類)の例として、建物の壁、塀(例えば、ブロック塀、金網フェンス)、垣根(例えば、生垣、竹垣)、樹木、物品(例えば、パレットに積載された荷物)、自動車や自転車等の移動体、瓦礫、道路などが挙げられる。また、地物は、障害物ということもできる。なお、本明細書において、地面には、建物の屋上面が含まれてもよい。
1-1.UAV1の構成及び機能
次に、図2を参照して、UAV1の構成及び機能について説明する。図2は、UAV1の概要構成例を示す図である。図2に示すように、UAV1は、駆動部11、測位部12、通信部13、センサ部14、記憶部15、及び制御部16(コンピュータの一例)等を備える。さらに、UAV1は、UAV1の各部へ電力を供給するバッテリ(図示せず)、及び水平回転翼であるロータ(プロペラ)を備える。なお、UAV1は、運搬対象となる物品を保持するための保持機構等を備えてもよい。かかる保持機構には、物品を格納する格納部が設けられてもよい。この場合、例えば、格納部の下面には開閉扉が設けられるとよい。なお、保持機構には、ワイヤ、及びワイヤの送り出しまたは巻き取りを行うリール(ウインチ)が備えられてもよい。
駆動部11は、モータ及び回転軸等を備える。駆動部11は、制御部16から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。測位部12は、電波受信機及び高度センサ等を備える。測位部12は、例えば、GNSS(Global Navigation Satellite System)の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUAV1の水平方向の現在位置(緯度及び経度)を検出する。なお、UAV1の水平方向の現在位置は、センサ部14のカメラにより撮像された画像に基づいて補正されてもよい。また、UAV1の水平方向の現在位置は、設置位置が特定されている基準局(UAV1と通信可能な基準局)により受信された上記電波を利用するRTK(Real Time Kinematic)手法により補正されてもよい。測位部12により検出された現在位置を示す位置情報は、制御部16へ出力される。さらに、測位部12は、気圧センサ等の高度センサによりUAV1の垂直方向の現在位置(高度)を検出してもよい。この場合、位置情報には、UAV1の高度を示す高度情報が含まれる。
通信部13は、無線通信機能を備え、通信ネットワークNWを介して行われる通信の制御を担う。センサ部14は、UAV1の飛行制御に用いられる各種センサを備える。各種センサには、例えば、光学センサ、気象センサ、3軸角速度センサ、3軸加速度センサ、及び地磁気センサ等が含まれる。光学センサは、カメラ(例えば、RGBカメラ、デプスカメラ)を含んで構成され、センシング範囲(例えば、カメラの画角に収まる範囲)内の実空間を連続的にセンシングする。ここで、センシングとは、例えば何等かの量(例えば、物理量)を測定、撮像、または感知することなどを意味する。
また、光学センサには、地物の形状や地物までの距離を測定するLiDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)センサが含まれてもよい。また、光学センサには、地物を含む地面の温度(赤外線)を非接触で感知するサーモセンサが含まれてもよい。また、気象センサは、UAV1の周辺環境における風速(風の強さ)及び風向きなどの気象をセンシングするためのセンサである。センサ部14によりセンシングされることで得られたセンシング情報は、制御部16へ出力される。センシング情報には、例えば、光学センサによりセンシングされたRGB画像、デプス画像、距離画像、及びサーモ画像の少なくとも何れか1つの画像が含まれる。また、センシング情報には、気象センサによりセンシングされた気象情報(例えば、風速及び風向き)が含まれてもよい。
記憶部15は、不揮発性メモリ等から構成され、各種プログラム及びデータを記憶する。また、記憶部15は、UAV1を識別するための機体ID(識別情報)を記憶する。制御部16は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を備え、ROM(または、記憶部15)に記憶されたプログラムに従って各種制御を実行する。例えば、制御部16は、着陸対象エリアへ向けてUAV1を飛行させる飛行制御を行う。この飛行制御においては、測位部12から取得された位置情報、センサ部14から取得されたセンシング情報、及び着陸対象エリアを示す着陸対象エリア情報等が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。これにより、UAV1は自律的に着陸対象エリアの上空まで移動することができる。
着陸対象エリア情報には、例えば、着陸対象エリアの中心位置(緯度及び経度)、及び着陸対象エリアの広さが含まれる。ここで、着陸対象エリアの広さは、例えば、中心位置を基準として半径数十mの面積、または縦数十m×横数十mの面積で表される。着陸対象エリア情報は、UAV1に出発地点(飛行開始地点)で設定されてもよいし、管理サーバ2から送信されて設定されてもよい。なお、UAV1の飛行中に、UAV1の位置情報、及びUAV1の機体IDは、通信部13により管理サーバ2へ逐次送信される。
UAV1が着陸対象エリアの上空(例えば、高度30m)に到着すると、制御部16は、当該上空から着陸対象エリアを含む範囲をセンサ部14にセンシング(例えば、第1段階として遠距離センシング)させ、当該センシングにより得られたセンシング情報(以下、「第1センシング情報」という)を取得する。かかるセンシングは、時系列で連続的に行われてもよい。センサ部14により着陸対象エリアを含む範囲がセンシングされることで得られた第1センシング情報は、UAV1の位置情報及びUAV1の機体IDとともに、通信部13により管理サーバ2へ送信される。
そして、制御部16は、管理サーバ2により第1センシング情報に基づいて着陸対象エリアから特定された着陸候補エリア(つまり、着陸対象エリアに含まれる着陸候補エリア)を示す着陸候補エリア情報を、通信部13を介して受信すると、当該着陸候補エリアへの飛行制御を行う。ここで、着陸候補エリア情報には、例えば、着陸候補エリアの中心位置(緯度及び経度)、及び着陸候補エリアの広さが含まれる。着陸候補エリアの広さは、着陸対象エリアと同じように表されるとよい。その後、UAV1が着陸候補エリア情報の受信から高度を下げつつ着陸候補エリアの上空(例えば、高度10m)に到着すると、制御部16は、当該上空から着陸候補エリアを含む範囲をセンサ部14にセンシング(例えば、第2段階として近距離センシング)させ、当該センシングにより得られたセンシング情報(以下、「第2センシング情報」という)を取得する。かかるセンシングは、時系列で連続的に行われてもよい。センサ部14により着陸候補エリアを含む範囲がセンシングされることで得られた第2センシング情報は、UAV1の位置情報及びUAV1の機体IDとともに、通信部13により管理サーバ2へ送信される。
その後、制御部16は、管理サーバ2により第2センシング情報に基づいて最終的に選定された着陸場所を示す着陸場所情報を、通信部13を介して受信すると、当該着陸場所への着陸制御を行う。かかる着陸場所情報には、例えば、着陸場所の位置(緯度及び経度)、及び着陸場所の2次元サイズ(例えば、縦ym×横xm)が含まれる。着陸制御においては、当該着陸場所情報、測位部12から取得された位置情報、及びセンサ部14から取得されたセンシング情報等が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。
ここで、制御部16は、着陸場所の周辺の障害物(例えば、着陸の障害になりうる地物)の配置に応じた着陸方法で着陸制御を行ってもよい。例えば、着陸場所の周囲(例えば、周辺四方)に障害物が存在する場合、制御部16は、UAV1を着陸場所の真上から垂直に降下させる。一方、着陸場所の周囲のうちの何れかの方位に障害物が偏って存在する場合、制御部16は、当該障害物が存在しない方位(方向)からUAV1を着陸場所に向けて斜めに降下させる。このとき、風の煽りの影響を長時間受けることを避けるため、制御部16は、UAV1の速度を加速させて降下させてもよい。障害物の配置に応じた着陸方法は、制御部16により決定されてもよいし、管理サーバ2により決定されてもよい。着陸方法が管理サーバ2により決定される場合、障害物の配置に応じた着陸方法を示す着陸方法情報が、着陸場所情報とともに管理サーバ2からUAV1に送信される。この場合、制御部16は、受信された着陸方法情報に基づいて、着陸場所の周囲の障害物の配置に応じた着陸方法で着陸制御を行う。
なお、着陸制御により、UAV1が着陸することには、UAV1が着陸場所の地面に接することのほか、UAV1が着陸場所の地面から垂直方向に数十cm~2m程度離れた位置(空中)で停止(ホバリング)することが含まれてもよい。後者は、UAV1が物品の運搬に利用される場合を想定している。この場合、UAV1がホバリング状態でUAV1の保持機構から物品が切り離されることで解放されるか、或いは保持機構の格納部の開閉扉が開放されることで物品が解放され、その後、UAV1は着陸場所の地面に接することなく帰還する。また、この場合において、UAV1のリールによってワイヤの送り出しが行われることで、物品またはその格納部が垂直方向に降下されて地面に接したときに物品が解放されてもよい。
1-2.管理サーバ2の構成及び機能
次に、図3を参照して、管理サーバ2の構成及び機能について説明する。図3は、管理サーバ2の概要構成例を示す図である。図3に示すように、管理サーバ2は、通信部21、記憶部22、及び制御部23(コンピュータの一例)等を備える。通信部21は、通信ネットワークNWを介して行われる通信の制御を担う。UAV1から送信されたセンシング情報、位置情報及び機体IDは、通信部21により受信される。管理サーバ2は、UAV1の位置情報によりUAV1の現在位置を認識することができる。記憶部22は、例えば、ハードディスクドライブ等から構成され、各種プログラム及びデータを記憶する。また、記憶部22には、飛行管理データベース221等が構築される。飛行管理データベース221は、UAV1の飛行に関する情報を管理するためのデータベースである。飛行管理データベース221には、着陸対象エリア情報、着陸場所情報、及び機体情報等が対応付けられて格納(登録)される。ここで、機体情報には、着陸対象エリアへ飛行させるUAV1の機体ID及び機体サイズ等が含まれる。機体サイズは、例えば、UAV1の2次元サイズ(縦ym×横xm)である。なお、飛行管理データベース221には、着陸方法情報が格納されてもよい。
制御部23は、CPU、ROM、及びRAM等を備える。図4は、制御部23における機能ブロック例を示す図である。制御部23は、例えばROMまたは記憶部22に記憶されたプログラム(プログラムコード群)に従って、図4に示すように、センシング情報取得部231、着陸候補エリア特定部232(特定手段の一例)、着陸候補場所特定部233、地物特定部234(検出手段の一例)、影響度推定部235(推定手段の一例)、着陸適否判定部236(判定手段の一例)、着陸場所選定部237、及び情報提供部238等として機能する。
センシング情報取得部231は、UAV1により着陸対象エリアを含む範囲がセンシングされることで得られた第1センシング情報をUAV1から通信部21を介して取得する。また、センシング情報取得部231は、UAV1により着陸候補エリアを含む範囲がセンシングされることで得られた第2センシング情報をUAV1から通信部21を介して取得する。ここで、着陸候補エリアを含む範囲には、後述する着陸候補場所の周辺が含まれる。
着陸候補エリア特定部232は、センシング情報取得部231により取得された第1センシング情報に基づいて、予め定められた着陸対象エリア(例えば、縦50m×横50m)から、少なくとも障害物がなく且つ所定サイズ以上の平坦な領域(平面性を有する領域)を着陸候補エリアとして特定する。このように予め着陸対象エリアを絞ることで、無駄な探索を省けて、着陸場所を選定するまでの演算量を削減することができる。所定サイズは、少なくともUAV1の機体サイズよりも広いサイズに設定される。平坦な領域とは、例えば、勾配(水平面に対する傾き)が閾値以下である領域である。平坦な領域は、着陸対象エリアの3次元形状から特定されるとよい。着陸対象エリアの3次元形状は、例えば、第1センシング情報をSLAM(Simultaneous Localization and Mapping)処理することで特定することができる。なお、着陸候補エリアにおける各地点の位置は、例えば、第1センシング情報を送信したUAV1の位置情報及びUAV1から各地点までの距離に基づいて特定することができる。
また、着陸候補エリア特定部232は、予め定められた着陸対象エリアから、障害物がなく且つ所定サイズ以上の平坦な領域で、さらに地表面の属性が着陸に適している領域を着陸候補エリアとして特定してもよい。ここで、地表面とは、上空から着陸対象エリアを俯瞰したときの表面であり、上述の地面とは区別して表記する。地表面の属性の例として、コンクリート、水、木、土、草地、道路などが挙げられる。例えば、コンクリート、土、及び草地は着陸に適していると判定される一方、水、木及び道路は着陸に適していないと判定されるとよい。また、地表面の属性は、事前に学習しておいたセマンティックセグメンテーションモデルαから推定されるとよい。セマンティックセグメンテーションは、画像における各画素(ピクセル)をその周辺の画素の情報に基づいてカテゴリ分類する手法である。セマンティックセグメンテーションモデルαは、例えば、第1センシング情報に含まれるRGB画像を入力とし、当該RGB画像における画素ごとの属性値を出力とする学習済みモデルである。かかる属性値は、地表面の属性を示す値であり、地表面の属性ごとに異なる。
図5は、着陸対象エリアAR0、及び着陸候補エリアAR1,AR2の一例を示す概念図である。なお、図5の例では、着陸対象エリアAR0の3次元形状を省略している。図5の例では、着陸対象エリアAR0がUAV1の着陸に必要な2次元サイズ(例えば、縦5m×横5m)に相当する区画BLx(所定の第2区画の一例)に仮想的に細分化されており、区画BLxごとの地表面の属性(この例では、コンクリート、草、水、木、及び道路)が絵柄の違いで表わされている。ここで、区画BLxの形状は、矩形であってもよいし、円形または楕円形であってもよい。セマンティックセグメンテーションモデルαを用いる場合、1つの区画BLxに含まれる各画素に対応付けられた地表面の属性のうち、例えば最も出現頻度の高い属性が、当該区画BLxにおける地表面の属性として設定されるとよい。このように、区画BLxごとに地表面の属性を表すようにすれば、地表面の属性特定の際のノイズの発生を低減することができる。そして、図5の例では、着陸対象エリアAR0から、着陸対象エリアAR0よりも狭い範囲の2つの着陸候補エリアAR1,AR2が特定されている。このように着陸候補エリアAR1,AR2が複数特定された場合、連結性を踏まえ、より広い範囲の着陸候補エリアAR1が優先され、後の処理で使用されるとよい。
なお、着陸候補エリア特定部232は、センシング情報取得部231により取得された第1センシング情報に基づいて、着陸対象エリアから、障害物がなく且つ所定サイズ以上の平坦な領域で、さらに第1センシング情報に含まれる風速が閾値以下の領域を着陸候補エリアとして特定してもよい。これにより、着陸に必要な平面性を有する領域で、且つ着陸対象エリアにおいて吹いている風が強くない領域を着陸候補エリアとして特定することができる。
着陸候補場所特定部233は、着陸候補エリア特定部232により特定された着陸候補エリアから、UAV1の着陸候補場所を1または複数特定する。ここで、UAV1の着陸候補場所の2次元サイズは、UAV1の着陸に必要な2次元サイズ(UAV1の機体サイズ以上)である。例えば、図5に示すように、着陸候補エリアAR1が仮想的に細分化された各区画BLxがUAV1の着陸候補場所(1)~(15)として特定されるとよい。これにより、着陸候補エリアAR1の中でも、吹きおろしの風が地物にあたって跳ね返ることによる影響が相対的に小さい着陸候補場所((1)~(15)の何れか)を着陸場所に選定することができる。
地物特定部234は、センシング情報取得部231により取得された第2センシング情報に基づいて、着陸候補場所の周辺に存在する地物を検出し、当該地物の属性(地物の材質であってもよい)を特定する。このとき、地物の3次元サイズ及び地物の3次元形状のうち少なくとも何れか1つが特定されてもよい。ここで、着陸候補場所の周辺は、着陸候補場所の周囲(例えば、周辺全方位または周辺四方)であることが望ましいが、着陸候補場所の周囲のうちの何れかの方位であってもよい(何れか1の方位に存在する地物だけが検出されることもある)。例えば、地物特定部234は、地物の外観特徴と地物の属性との関係を示すデータを用いた画像解析により着陸候補場所の周辺に存在する地物の属性を特定することができる。なお、地物の3次元サイズ及び3次元形状は、例えば、第2センシング情報をSLAM処理することで特定することができる。また、着陸候補場所特定部233により複数の着陸候補場所が特定されている場合、着陸候補場所ごとに、その周辺の地物が検出され、当該地物の属性と、当該地物の3次元サイズ及び3次元形状のうち少なくとも何れか1つとが特定されるとよい。
また、地物の属性は、事前に学習しておいたセマンティックセグメンテーションモデルβから特定(推定)されてもよい。この場合、地物特定部234は、セマンティックセグメンテーションモデルβを用いて、着陸候補場所の周辺に存在する地物を検出し、当該地物の属性を特定する。例えば、セマンティックセグメンテーションモデルβに、第2センシング情報に含まれるRGB画像が入力されることで地物が検出され、セマンティックセグメンテーションモデルβから当該RGB画像の画素ごとの属性値が出力される。かかる属性値は、地物の属性を示す値であり、地物の属性ごとに異なる。かかる属性値が同一の隣り合う画素が複数集まって1つの地物が構成されることになる。セマンティックセグメンテーションモデルβを用いることで、複数の着陸候補場所それぞれの周辺に存在する地物の属性を一度に特定することができる。なお、セマンティックセグメンテーションモデルβには、RGB画像だけでなく、デプス画像やサーモ画像が入力されることで、地物の推定精度を高めることができる。また、セマンティックセグメンテーションモデルβには、第2センシング情報に含まれるRGB画像等の画像に加えて、第1センシング情報に含まれるRGB画像等の画像が入力されてもよい。
図6は、着陸候補場所(1)の周辺に存在する地物の属性の一例を示す概念図である。図6の例では、着陸候補場所(1)の周囲が仮想的に区画BLy(所定の第1区画の一例)に細分化されており、地物が検出された各区画BLyには地物の属性が表されている。ただし、地物が検出されていない区画BLyには地物の属性は表されていない。ここで、区画BLyの形状は、矩形であってもよいし、円形または楕円形であってもよい。また、区画BLyのサイズは、図示よりも縮小することができ、区画BLyのサイズが小さいほど属性の特定精度を高めることができる。一方、図6に示すように、一定の広さの区画BLyごとに地物の属性を特定するようにすれば、属性特定の際のノイズの発生を低減することができる。なお、図6の例では、区画BLyのサイズ(例えば、縦1m×横1m)は区画BLxのサイズ(例えば、縦5m×横5m)よりも狭くなっているが、区画BLyと区画BLxのサイズは同一であってもよい。また、図6の例では、着陸候補場所(1)の周辺は、着陸候補場所(1)の境界BOから外側に2つ分の区画BLyに相当する距離(例えば、2m)の範囲としているが、当該範囲は特に限定されるものではなく、これより狭い範囲(例えば、区画BLy1つ分)であってもよいし、これより広い範囲(例えば、区画BLy3つ分)であってもよい。
影響度推定部235は、UAV1が着陸する際に発生する吹きおろしの風が当該地物にあたって跳ね返ることによる着陸への影響度を推定する。かかる影響度は、着陸候補場所における影響度(つまり、着陸候補場所における着陸への影響度)であり、例えば、当該影響の度合いを表す値である。複数の着陸候補場所が特定されている場合、着陸候補場所ごとに当該影響度が推定される。なお、着陸候補場所における着陸への影響度は、着陸候補場所における着陸適正度ということもできる。例えば、着陸候補場所における着陸への影響度が大きい(高い)ほど当該着陸候補場所における着陸制御が難しくなるので着陸適正度が小さく(低く)なる。
好適な例として、影響度推定部235は、地物の属性と地物の空気の流れ易さとの関係を示すデータと、地物特定部234により検出された地物の属性とに基づいて、着陸候補場所における着陸への影響度を推定するとよい。これにより、着陸候補場所における着陸への影響度をより効率良く推定することができる。ここで、空気の流れ易さは、数値で表されるとよく、空気が流れ易いほど数値が高くなるように設定される。図7は、地物の属性と地物の空気の流れ易さとの関係を示すデータの一例をテーブル形式で示す図である。図7の例では、壁(建物の壁)に対して空気の流れ易さが“0”ポイントに設定され、樹木に対して空気の流れ易さが“5”ポイントに設定され、道路に対して空気の流れ易さが最大値である“10”ポイントに設定されている。そして、着陸候補場所の周辺に存在する地物それぞれ(或いは、1つの地物)の空気の流れ易さが特定され、特定された空気の流れ易さの総和が大きいほど小さい影響度が算出される。なお、図7の例では、地物の属性は、壁(建物の壁)、金網フェンス、垣根、樹木、物品、移動体、瓦礫、及び道路に分類等されているが、ここに記載の属性を更に細かく分類し、当該分類された属性ごとに空気の流れ易さが設定されてもよい。例えば、物品、移動体、及び瓦礫は、サイズに応じて、大、中、小に分類されてもよい。
図8は、着陸候補場所(1)の周辺に存在する地物の空気の流れ易さの一例を示す概念図である。図8の例では、図6と同様、着陸候補場所(1)の周囲が仮想的に区画BLyに細分化され、区画BLyごとに地物の空気の流れ易さが表されている。なお、地物が検出されていない区画BLyは、例えばユーザやシステム管理者の設定に応じてポイントを定めるものとし、図8は、ユーザが空気の流れ易さが最大値である“10”ポイントを設定した例を示している。図8の例では、区画BLyごとに地物の空気の流れ易さが特定され、当該区画BLyごとの空気の流れ易さに基づいて、着陸候補場所(1)における着陸への影響度が推定されることになる。例えば、空気の流れ易さの総和の逆数が着陸候補場所(1)における影響度として算出される。区画BLyのサイズが小さいほど空気の流れ易さの特定精度を高めることができる。一方、図8に示すように、一定の広さの区画BLyごとに空気の流れ易さを特定するようにすれば、空気の流れ易さ特定の際のノイズの発生を低減することができ、その結果、着陸候補場所(1)における着陸への影響度の推定精度を高めることができる。なお、区画BLyごとの空気の流れ易さは、第2センシング情報に含まれる風速及び風向きが考慮されて特定されてもよい。例えば、地物の属性に基づいて特定された空気の流れ易さが、当該地物が存在する区画BLyにおける風速及び風向きに応じて補正されるとよい。例えば、着陸候補場所(1)に向かって吹いている風が強いほど空気の流れ易さが低下するように補正される。
また、同一の地物の属性であっても、当該地物の3次元サイズや3次元形状によって、空気の流れ易さが異なる場合もある。そのため、影響度推定部235は、地物特定部234により検出された地物の属性に加えて、地物特定部234により検出された地物の3次元サイズと3次元形状との少なくとも何れか一方に基づいて、着陸候補場所における着陸への影響度を推定してもよい。これにより、着陸候補場所における着陸への影響度の推定精度を高めることができる。例えば、地物の属性に基づいて特定された空気の流れ易さが、当該地物の3次元サイズに応じて補正され、補正された空気の流れ易さの総和が大きいほど小さい影響度が算出される。例えば、地物の高さが高いほど空気の流れ易さが低下するように補正される。また、地物の属性に基づいて特定された空気の流れ易さが、当該地物の3次元形状に応じて補正され、補正された空気の流れ易さの総和が大きいほど小さい影響度が算出される。例えば、地物に丸み(曲線)があるほど空気の流れ易さが上昇するように補正される。
なお、影響度推定部235は、地物の属性と地物の空気の流れ難さとの関係を示すデータと、地物特定部234により検出された地物の属性とに基づいて、着陸候補場所における着陸への影響度を推定してもよい。ここで、空気の流れ難さは、数値で表されるとよく、空気が流れ難いほど数値が高くなるように設定される。例えば、地物の属性と地物の空気の流れ難さとの関係を示すデータにおいて、壁に対して空気の流れ難さが“10”ポイントに設定され、樹木に対して空気の流れ難さが“5”ポイントに設定され、道路に対して空気の流れ難さが“0”ポイントに設定される。そして、着陸候補場所の周辺に存在する地物それぞれ(或いは、1つの地物)の空気の流れ難さが特定され、特定された空気の流れ難さの総和が大きいほど大きい影響度が算出される。この場合、図8の例では、区画BLyごとに地物の空気の流れ難さが特定され、当該区画BLyごとの空気の流れ難さに基づいて、着陸候補場所(1)における着陸への影響度が推定されることになる。例えば、空気の流れ難さの総和が着陸候補場所(1)における影響度として算出される。なお、区画BLyごとの空気の流れ難さは、第2センシング情報に含まれる風速及び風向きが考慮されて特定されてもよい。例えば、地物の属性に基づいて特定された空気の流れ難さが、当該地物が存在する区画BLyにおける風速及び風向きに応じて補正されるとよい。例えば、着陸候補場所(1)に向かって吹いている風が強いほど空気の流れ難さが上昇するように補正される。
また、地物の空気の流れ難さを用いる場合も、空気の流れ易さと同様、影響度推定部235は、地物特定部234により検出された地物の属性に加えて、地物特定部234により検出された地物の3次元サイズと3次元形状との少なくとも何れか一方に基づいて、着陸候補場所における着陸への影響度を推定してもよい。例えば、地物の属性に基づいて特定された空気の流れ難さが、当該地物の3次元サイズに応じて補正され、補正された空気の流れ難さの総和が大きいほど大きい影響度が算出される。例えば、地物の高さが高いほど空気の流れ難さが上昇するように補正される。また、地物の属性に基づいて特定された空気の流れ難さが、当該地物の3次元形状に応じて補正され、補正された空気の流れ難さの総和が大きいほど大きい影響度が算出される。例えば、地物に丸みがあるほど空気の流れ難さが低下するように補正される。
なお、地物の属性と地物の空気の流れ易さ(または空気の流れ難さ)との関係を示すデータは、地物の属性と、地物の空気の流れ易さ(または空気の流れ難さ)に応じた影響度との関係を示すデータであってもよい。この場合、地物の空気の流れ易さ(または空気の流れ難さ)と影響度との関係は事前に設定される。そして、当該データから、地物特定部234により検出された地物の属性に対応する影響度が、着陸候補場所における着陸への影響度として推定されることになる。
着陸適否判定部236は、影響度推定部235により推定された影響度に基づいて、着陸候補場所が着陸に適しているか否かを判定する。例えば、当該影響度が閾値未満である(換言すると、着陸適正度が大きい)場合、着陸候補場所が着陸に適していると判定される。一方、当該影響度が閾値以上である(換言すると、着陸適正度が小さい)場合、着陸候補場所が着陸に適していないと判定される。また、影響度推定部235により複数の着陸候補場所それぞれの影響度が推定された場合、着陸適否判定部236は、着陸候補場所ごとの影響度に基づいて、当該着陸候補場所ごとに着陸に適しているか否かを判定する。
着陸場所選定部237は、着陸適否判定部236により着陸に適していると判定された着陸候補場所を、UAV1の着陸場所として選定する。なお、着陸に適していると判定された着陸候補場所が複数ある場合、これらの着陸候補場所のうち、例えば、影響度推定部235により推定された影響度が最も小さい(換言すると、着陸適正度が最も大きい)着陸候補場所が着陸場所として選定されるとよい。これにより、複数の着陸候補場所の中から、より適切な着陸候補場所を着陸場所に選定することができる。或いは、着陸に適していると判定された複数の着陸候補場所のうち、UAV1を利用するユーザ(例えば、UAV1を遠隔操縦するオペレータ)により選択された着陸候補場所が着陸場所として選定されてもよい。
情報提供部238は、着陸対象エリア情報を通信部21を介してUAV1へ提供(送信)する。また、情報提供部238は、着陸候補エリア特定部232により特定された着陸候補エリアを示す着陸候補エリア情報を通信部21を介してUAV1へ提供する。また、情報提供部238は、着陸場所選定部237により選定された着陸場所を示す着陸場所情報を通信部21を介してUAV1へ提供する。
2.飛行管理システムSの動作
次に、図9及び図10を参照して、飛行管理システムSの動作について説明する。図9及び図10は、飛行管理システムSにおいてUAV1及び管理サーバ2の間で実行される処理の一例を示すシーケンス図である。図9において、管理サーバ2は、着陸対象エリアのセンシング命令を含む着陸対象エリア情報を、通信ネットワークNWを介してUAV1へ送信する(ステップS1)。
次いで、UAV1は、管理サーバ2からの着陸対象エリア情報を取得(受信)すると、出発地点から着陸対象エリアへ向けて飛行を開始する(ステップS2)。次いで、UAV1は、着陸対象エリアの上空(例えば、高度30m)に到着すると(ステップS3)、センサ部14を起動して着陸対象エリアを含む範囲のセンシングを開始し、当該センシングにより得られた第1センシング情報を取得する(ステップS4)。かかるセンシングは、UAV1が移動しながら連続的に行われてもよいし、ホバリングしながら連続的に行われてもよい。次いで、UAV1は、ステップS4で取得された第1センシング情報及びUAV1の機体IDを、通信ネットワークNWを介して管理サーバ2へ送信する(ステップS5)。
次いで、管理サーバ2は、UAV1からの第1センシング情報及び機体IDをセンシング情報取得部231により取得すると、当該第1センシング情報に基づいて、着陸対象エリアから着陸候補エリアを着陸候補エリア特定部232により特定する(ステップS6)。次いで、管理サーバ2は、ステップS7で特定された着陸候補エリアのセンシング命令を含む着陸候補エリア情報を、通信ネットワークNWを介してUAV1へ送信する(ステップS7)。
次いで、UAV1は、管理サーバ2からの着陸候補エリア情報を取得すると、高度を下げながら着陸候補エリアの上空へ移動する(ステップS8)。次いで、UAV1は、着陸候補エリアの上空(例えば、高度10m)に到着すると(ステップS9)、センサ部14を起動して着陸候補エリアを含む範囲のセンシングを開始し、当該センシングにより得られた第2センシング情報を取得する(ステップS10)。かかるセンシングは、UAV1が移動しながら連続的に行われてもよいし、ホバリングしながら連続的に行われてもよい。次いで、UAV1は、ステップS10で取得された第2センシング情報及びUAV1の機体IDを、通信ネットワークNWを介して管理サーバ2へ送信する(ステップS11)。
次いで、管理サーバ2は、UAV1からの第2センシング情報及び機体IDをセンシング情報取得部231により取得すると、UAV1の着陸に必要な2次元サイズの着陸候補場所を着陸候補場所特定部233により特定する(ステップS12)。なお、UAV1の着陸に必要な2次元サイズは、飛行管理データベース221においてUAV1の機体IDに対応付けられた機体サイズに基づいて設定されるとよい。次いで、管理サーバ2は、ステップS12で特定された着陸候補場所を1つ選択する(ステップS13)。
次いで、管理サーバ2は、取得された第2センシング情報に基づいて、ステップS13で選択された着陸候補場所の周辺に存在する地物を地物特定部234により検出する(ステップS14)。次いで、管理サーバ2は、ステップS14で検出された地物の属性を地物特定部234により特定する(ステップS15)。このとき、ステップS14で検出された地物の3次元サイズ及び3次元形状のうち少なくとも何れか1つが特定されてもよい。
次いで、管理サーバ2は、ステップS13で選択された着陸候補場所における着陸への影響度を影響度推定部235により推定する(ステップS16)。例えば、影響度推定部235は、地物の属性と地物の空気の流れ易さ(または、空気の流れ難さ)との関係を示すデータを参照して、ステップS15で特定された、地物の属性に対応付けられた空気の流れ易さ(または、空気の流れ難さ)を特定し、特定した空気の流れ易さ(または、空気の流れ難さ)に基づいて、所定の計算式から、ステップS13で選択された着陸候補場所における着陸への影響度を推定する。こうして推定された影響度は、当該着陸候補場所に対応付けられて記憶される。
なお、ステップS13で選択された着陸候補場所の周辺に複数の地物が検出されている場合、それぞれの地物ごとに空気の流れ易さ(または、空気の流れ難さ)が集計されることで当該着陸候補場所における着陸への影響度が推定される。さらに、影響度推定部235は、ステップS15で特定された、地物の属性に加えて、ステップS15で特定された、地物の3次元サイズと3次元形状との少なくとも何れか一方に基づいて、着陸候補場所における着陸への影響度を推定してもよい。
次いで、管理サーバ2は、ステップS16で推定された影響度に基づいて、ステップS13で選択された着陸候補場所が着陸に適しているか否かを着陸適否判定部236により判定する(ステップS17)。着陸候補場所が着陸に適していると判定された場合(ステップS17:YES)、当該着陸候補場所の情報(例えば、位置及び2次元サイズ)が候補リストに登録され(ステップS18)、処理はステップS19へ進む。一方、着陸候補場所が着陸に適していないと判定された場合(ステップS17:NO)、処理はステップS19へ進む。
次いで、図10に示すステップS19では、管理サーバ2は、ステップS12で特定された着陸候補場所のうち、まだ選択されていない着陸候補場所があるか否かを判定する。まだ選択されていない着陸候補場所があると判定された場合(ステップS19:YES)、処理はステップS13に戻り、まだ選択されていない着陸候補場所が選択され、上記と同様に、ステップS14の処理が行われる。一方、まだ選択されていない着陸候補場所がないと判定された場合(ステップS19:NO)、処理はステップS20へ進む。
ステップS20では、管理サーバ2は、候補リストに着陸候補場所が登録されているか否かを判定する。候補リストに着陸候補場所が登録されていないと判定された場合(ステップS20:NO)、処理は終了する。この場合、例えば、別の着陸候補エリアが特定され、上記と同様の処理が行われてもよい。一方、候補リストに着陸候補場所が登録されていると判定された場合(ステップS20:YES)、処理はステップS21へ進む。
ステップS21では、管理サーバ2は、候補リストに登録されている着陸候補場所の中からUAV1の着陸場所を着陸場所選定部237により選定する。例えば、候補リストに1つの着陸候補場所が登録されている場合、当該着陸候補場所がUAV1の着陸場所として設定される。一方、例えば、候補リストに複数の着陸候補場所が登録されている場合、当該複数の着陸候補場所のうち、ステップS16で推定された影響度が最も小さい着陸候補場所がUAV1の着陸場所として選定される。
なお、管理サーバ2は、候補リストに登録されている複数の着陸候補場所それぞれの位置及びそれらの周辺に存在する地物を示す3次元マップデータを、UAV1を利用するユーザ(例えば、UAV1を遠隔操縦するオペレータ)の端末へ送信してもよい。この場合、当該ユーザの端末には、候補リストに登録されている複数の着陸候補場所それぞれの位置及びそれらの周辺に存在する地物を示す3次元マップが表示される。そして、3次元マップに示される複数の着陸候補場所のうち所望の着陸候補場所がユーザにより指定されると、当該指定された着陸候補場所を示す情報が当該ユーザの端末から管理サーバ2へ送信される。そして、当該ユーザにより指定された着陸候補場所が着陸場所選定部237によりUAV1の着陸場所として選定される。
次いで、管理サーバ2は、ステップS21で選定された着陸場所を示す着陸場所情報を、通信ネットワークNWを介してUAV1へ送信する(ステップS22)。なお、ステップS21において、管理サーバ2は、ステップS14で検出された地物を障害物として設定し、当該障害物の配置に応じた着陸方法を決定してもよい。この場合、管理サーバ2は、上記着陸場所情報とともに、当該決定された着陸方法を示す着陸方法情報を、通信ネットワークNWを介してUAV1へ送信する。
次いで、UAV1は、管理サーバ2からの着陸場所情報を取得すると、当該着陸場所情報に示される着陸場所への着陸制御を行う(ステップS23)。なお、UAV1は、管理サーバ2から着陸場所情報とともに着陸方法情報を取得した場合、当該着陸場所情報に示される着陸場所の周辺の障害物の配置に応じた着陸方法で着陸制御を行う。その後、UAV1は、例えば出発地点へ帰還する。
以上説明したように、上記実施形態によれば、管理サーバ2は、UAV1の着陸候補場所の周辺に存在する地物を検出し、UAV1が着陸する際に発生する吹きおろしの風が当該地物にあたって跳ね返ることによる着陸への影響度であって、着陸候補場所における影響度を推定し、当該推定された影響度に基づいて、当該着陸候補場所が着陸に適しているか否かを判定するように構成したので、当該吹きおろしの風が地物にあたって跳ね返ることによる影響が考慮された適切な着陸場所(つまり、ダウンウォッシュの影響が小さい着陸場所)を選定することができる。すなわち、着陸候補場所が地物に囲まれており、当該地物からの距離が近い場合であっても、ダウンウォッシュの影響が小さければ、その場所を着陸場所に選定することが可能となる。例えば、従来は地物からの距離が近く着陸不可となるところ、本実施形態によれば、その地物が樹木や金網など風通しがよければ着陸可と判定でき、着陸候補場所の2次元サイズが狭い場合であっても着陸可と判定することができる。さらに、上記実施形態によれば、着陸対象エリアに地物が存在する場合であっても、より安全な着陸場所に加えて適切な着陸計画を選定することも可能となる。
なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においては、管理サーバ2がUAV1の着陸候補場所の周辺に存在する地物を検出し、UAV1が着陸する際に発生する吹きおろしの風が当該地物にあたって跳ね返ることによる着陸への影響度を推定し、当該推定された影響度に基づいて当該着陸候補場所が着陸に適しているか否かを判定する処理を行うように構成したが、かかる処理はUAV1により行われるように構成してもよい。この場合、UAV1の制御部16が、上述した着陸候補エリア特定部232、着陸候補場所特定部233、地物特定部234、影響度推定部235、着陸適否判定部236、及び着陸場所選定部237として機能し、図9に示すステップS6、S12~S18、及び図10に示すステップS19~S21の処理が制御部16により行われることになる。また、この場合、上述したセマンティックセグメンテーションモデルα及びセマンティックセグメンテーションモデルβが事前に記憶部15に記憶されてもよい。
また、上記実施形態においては、着陸予定のUAV1が飛行して着陸対象エリアを含む範囲及び着陸候補エリアを含む範囲のセンシングを行うように構成することで、UAV1の着陸直前のセンシングにより得られたセンシング情報が用いられるため、着陸候補場所における着陸への影響度の推定精度を高めることができる。ただし、かかるセンシングは着陸予定のUAV1以外の飛行体により事前に(例えば、UAV1が飛行開始する前に)行われても構わない。この場合、着陸対象エリア情報に対応付けられて第1センシング情報がデータベースに格納され、着陸候補エリア情報に対応付けられて第2センシング情報がデータベースに格納され、第1センシング情報及び第2センシング情報が当該データベースから管理サーバ2またはUAV1により取得されることになる。また、上記実施形態においては、無人飛行体としてUAVを例にとって説明したが、UAV以外の飛行ロボットなどに対しても本発明は適用可能である。
1 UAV
2 管理サーバ
11 駆動部
12 測位部
13 通信部
14 センサ部
15 記憶部
16 制御部
21 通信部
22 記憶部
23 制御部
231 センシング情報取得部
232 着陸候補エリア特定部
233 着陸候補場所特定部
234 地物特定部
235 影響度推定部
236 着陸適否判定部
237 着陸場所選定部
238 情報提供部
S 飛行管理システム

Claims (11)

  1. 無人飛行体の着陸候補場所の周辺に存在する地物を検出する検出手段と、
    前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定する推定手段と、
    前記推定手段により推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定する判定手段と、
    を備えることを特徴する情報処理装置。
  2. 前記推定手段は、地物の属性と地物の空気の流れ易さまたは流れ難さとの関係を示すデータと、前記検出手段により検出された地物の属性とに基づいて、前記影響度を推定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記推定手段は、前記着陸候補場所の周辺が仮想的に所定の第1区画に細分化された場所ごとに前記地物の空気の流れ易さまたは流れ難さを特定し、当該場所ごとの空気の流れ易さまたは流れ難さに基づいて、前記影響度を推定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記推定手段は、前記検出手段により検出された地物の属性に加えて、前記検出手段により検出された地物の3次元サイズと3次元形状との少なくとも何れか一方に基づいて、前記影響度を推定することを特徴とする請求項2または3に記載の情報処理装置。
  5. 前記着陸候補場所は、着陸候補エリアが仮想的に所定の第2区画に細分化された場所であることを特徴とする請求項1乃至4の何れか一項に記載の情報処理装置。
  6. 前記推定手段は、複数の前記着陸候補場所ごとに前記影響度を推定し、
    前記判定手段は、前記着陸候補場所ごとの前記影響度に基づいて、前記着陸候補場所ごとに着陸に適しているか否かを判定することを特徴とする請求項5に記載の情報処理装置。
  7. 予め定められた着陸対象エリアから、少なくとも障害物がなく且つ所定サイズ以上の平坦な領域を前記着陸候補エリアとして特定する特定手段を更に備えることを特徴とする請求項5または6に記載の情報処理装置。
  8. 予め定められた着陸対象エリアから、少なくとも障害物がなく且つ所定サイズ以上の平坦な領域で、さらに地表面の属性が着陸に適している領域を前記着陸候補エリアとして特定する特定手段を更に備えることを特徴とする請求項5または6に記載の情報処理装置。
  9. 前記検出手段は、前記無人飛行体により前記着陸候補場所の周辺がセンシングされることで得られたセンシング情報に基づいて、当該着陸候補場所の周辺に存在する地物を検出することを特徴とする請求項1乃至8の何れか一項に記載の情報処理装置。
  10. 1または複数のコンピュータにより実行される着陸適否判定方法であって、
    無人飛行体の着陸候補場所の周辺に存在する地物を検出するステップと、
    前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定するステップと、
    前記推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定するステップと、
    を含むことを特徴とする着陸適否判定方法。
  11. コンピュータを、
    無人飛行体の着陸候補場所の周辺に存在する地物を検出する検出手段と、
    前記無人飛行体が着陸する際に発生する吹きおろしの風が前記地物にあたって跳ね返ることによる着陸への影響度であって、前記着陸候補場所における影響度を推定する推定手段と、
    前記推定手段により推定された影響度に基づいて、前記着陸候補場所が着陸に適しているか否かを判定する判定手段として機能させることを特徴とするプログラム。
JP2022022131A 2022-02-16 2022-02-16 情報処理装置、着陸適否判定方法、及びプログラム Active JP7213374B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022022131A JP7213374B1 (ja) 2022-02-16 2022-02-16 情報処理装置、着陸適否判定方法、及びプログラム
EP23154076.6A EP4230962A1 (en) 2022-02-16 2023-01-30 Information processing device, landing suitability determining method, and program
US18/163,419 US20230260410A1 (en) 2022-02-16 2023-02-02 Information processing device, landing suitability determining method, and non-transitory computer readable memory
CN202310108020.XA CN116612399A (zh) 2022-02-16 2023-02-06 信息处理装置、着陆适合性判定方法、及存储媒介

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022022131A JP7213374B1 (ja) 2022-02-16 2022-02-16 情報処理装置、着陸適否判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP7213374B1 JP7213374B1 (ja) 2023-01-26
JP2023119306A true JP2023119306A (ja) 2023-08-28

Family

ID=85035376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022022131A Active JP7213374B1 (ja) 2022-02-16 2022-02-16 情報処理装置、着陸適否判定方法、及びプログラム

Country Status (4)

Country Link
US (1) US20230260410A1 (ja)
EP (1) EP4230962A1 (ja)
JP (1) JP7213374B1 (ja)
CN (1) CN116612399A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
JP2019064280A (ja) * 2017-09-28 2019-04-25 株式会社Soken 飛行装置
US20210125515A1 (en) * 2019-10-25 2021-04-29 Joby Aero, Inc. Method And System For Modeling Aerodynamic Interactions In Complex eVTOL Configurations For Realtime Flight Simulations And Hardware Testing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215706B6 (ja) * 2018-07-11 2023-02-14 メトロウェザー株式会社 飛行経路算出システム、飛行経路算出プログラム、および無人航空機経路制御方法
CN110077595B (zh) * 2019-04-28 2021-04-30 北京理工大学 复杂动态颠簸条件下无人自主飞行器自动降落及回收系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
JP2019064280A (ja) * 2017-09-28 2019-04-25 株式会社Soken 飛行装置
US20210125515A1 (en) * 2019-10-25 2021-04-29 Joby Aero, Inc. Method And System For Modeling Aerodynamic Interactions In Complex eVTOL Configurations For Realtime Flight Simulations And Hardware Testing

Also Published As

Publication number Publication date
US20230260410A1 (en) 2023-08-17
JP7213374B1 (ja) 2023-01-26
CN116612399A (zh) 2023-08-18
EP4230962A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
AU2020289790B2 (en) Drop-off location planning for delivery vehicle
US10872534B2 (en) Aerial vehicle inspection path planning
US8340438B2 (en) Automated tagging for landmark identification
US8996171B2 (en) Pheromone for robotic boundary
KR102313827B1 (ko) 산림 센서 배치 및 모니터링 시스템
US20200258400A1 (en) Ground-aware uav flight planning and operation system
US20180122246A1 (en) Autonomous mission action alteration
WO2018108159A1 (zh) 无人机作业的方法及装置
US20170329351A1 (en) Apparatus-assisted sensor data collection
CN110679584B (zh) 自动驱鸟装置及方法
WO2020115902A1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
US11905012B2 (en) Determining method of arrangement place, transport system, and information processing device
US20180350244A1 (en) Autonomous mission action alteration
WO2020166350A1 (ja) 無人航空機、通信方法、およびプログラム
US20220024582A1 (en) Information processing system, information processing device, and information processing method
JP7213374B1 (ja) 情報処理装置、着陸適否判定方法、及びプログラム
TWI813077B (zh) 行駛控制系統、控制方法、及控制裝置
TWI771231B (zh) 感測系統、感測資料取得方法及控制裝置
JP7307867B1 (ja) 無人機及び配送システム
US20230349697A1 (en) Method and system for referencing aircraft-related position data to an earth-related coordinate system
Aguilar Results of the drone survey for Ngaitupoto Ki Motokaraka Trust

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150