JP2017206072A - 飛行制御装置及び飛行制御方法 - Google Patents

Abstract

【課題】降下の際に、人間や動物に危害を加えることを回避することができる飛行制御装置及び飛行制御方法を提供すること。【解決手段】飛行制御装置１は、降下目標領域Ａの画像を取得する画像取得手段７と、画像に含まれる物体１０２〜１０８を認知する物体認知手段と、物体認知手段によって認知した物体に基づいて、降下適合性を示す安全度を判断する安全度判断手段と、安全度に基づいて、機体を降下させる機体制御手段と、を有する。【選択図】図１

Description

本発明は、飛行制御装置及び飛行制御方法に関する。

従来、指定された着陸点へ精度よく着陸するための技術が提案されている（特許文献１）。

特許第２６６２１１１号公報

しかし、指定された着陸点の近傍に、人間や動物などが位置する場合に、精度良く着陸点へ降下すると、それらに危害を加える場合がある。

本発明はかかる問題の解決を試みたものであり、降下の際に、人間や動物に危害を加えることを回避することができる飛行制御装置の提供を目的とする。

第一の発明は、降下目標領域の画像を取得する画像取得手段と、前記画像に含まれる物体を認知する物体認知手段と、前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断手段と、前記安全度に基づいて、機体を降下させる機体制御手段と、を有する飛行制御装置である。

第一の発明の構成によれば、必ずしも、指定された着陸点に精度良く降下するのではなく、所定の領域において、安全度に基づいて降下する点において、従来の技術とは根本的に異なる。これにより、降下の際に、人間や動物に危害を加えることを回避することができる。

第二の発明は、第一の発明の構成において、前記物体認知手段は、深層学習（ディープラーニング）によって生成された物体識別プログラムを含むことを特徴とする飛行制御装置である。

第三の発明は、第一または第二のいずれかの発明の構成において、前記飛行制御装置は、前記機体を降下させつつ、複数回にわたって、前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段を作動させることを特徴とする飛行制御装置である。

第四の発明は、第一乃至第三のいずれかの発明の構成において、前記物体認知手段は、前記画像に含まれる物体の移動状態を判断する移動状態判断手段を有し、前記安全度判断手段は、前記物体の移動状態に基づいて、前記安全度を判断することを特徴とする飛行制御装置である。

第五の発明は、第一乃至第四のいずれかの発明の構成において、前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段のうち、少なくとも一つを、前記機体とは異なる場所に位置し、前記機体を管理する管理装置が有する飛行制御装置である。

第六の発明は、降下目標領域の画像を取得する画像取得ステップと、前記画像に含まれる物体を認知する物体認知ステップと、前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断ステップと、前記安全度に基づいて、機体を降下させる機体制御ステップと、を有する飛行制御方法である。

以上のように、本発明によれば、降下の際に、人間や動物に危害を加えることを回避することができる。

本発明の一実施形態の概略を示す図である。 本発明の実施形態の概略構成図である。 本発明の実施形態のフローチャートである。 本発明の一実施形態の概略を示す図である。 本発明の実施形態のフローチャートである。 本発明の一実施形態の概略を示す図である。 本発明の実施形態のフローチャートである。

本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。

＜第一の実施形態＞
無人飛行体１は、いわゆる、マルチコプター、あるいは、ドローンであり、複数の回転翼を有する。図１の例では、無人飛行体１は、本体３及び４つの回転翼５を有する。各回転翼５は、それぞれ、モーターに連結されている。本体３には、通信装置、自律飛行制御装置、ＧＰＳ装置、加速度センサーやジャイロセンサーなどの慣性センサーや気圧計、電池等が配置されている。また、本体３には、カメラ７が接続されている。カメラ７は、デジタル画像を撮像するデジタルカメラ、あるいは、ビデオカメラ等である。無人飛行体１は、通信装置によって、基地局５０（図２参照）と通信可能になっている。無人飛行体１は機体の一例である。

無人飛行体１は、建物１００の前方の目標地点Ｘを目標に飛行する。ただし、必ずしも、目標地点Ｘに精度良く降下するものではない。目標地点Ｘを含む所定範囲の領域Ａが目標領域である。領域Ａには、犬１０２、自動車１０４、子供１０６及び大人１０８が位置するものとする。無人飛行体１は、これらの物体、特に、人間と動物を回避しつつ、領域Ａ内におけるいずれかの位置を目指して降下するようになっている。

図２に示すように、無人飛行体１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、記憶部１２、無線通信部１４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）部１６、慣性センサー部１８、画像処理部２０、駆動制御部２２、電源部２４を有する。無人飛行体１のこれらの構成が、飛行制御装置の一例である。

無線通信部１４によって、無人飛行体１は基地局５０と通信可能になっている。基地局５０は、無人飛行体の離陸及び着陸を監視及び管理する管理装置の一例であり、適宜、飛行に関する指示を与えるようになっている。

ＧＰＳ部１６と慣性センサー部１８によって、無人飛行体１は機体の位置を測定することができる。ＧＰＳ部１６は、３つ以上のＧＰＳ衛星からの電波を受信して無人飛行体１の位置を計測する。慣性センサー部１８は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人飛行体１の移動を積算して、無人飛行体１の位置を計測する。

画像処理部２０によって、無人飛行体１は、カメラ７を作動させて画像を取得することができる。

駆動制御部２２によって、無人飛行体１は、各回転翼５の作動を制御するようになっている。

電源部２４は、例えば、交換可能な可充電電池であり、無人飛行体１の各部に電力を供給するようになっている。

記憶部１２には、出発点から目的位置まで自律飛行するための飛行計画を示すデータ等の無人飛行に必要な各種データ及びプログラムや、以下の各プログラムが格納されている。

記憶部１２には、画像取得プログラム、物体認知プログラム、安全度判断プログラム、航路決定プログラム及び降下制御プログラムが格納されている。

ＣＰＵ１０及び画像取得プログラムは、画像処理部１８を作動させて、画像を取得するための画像取得手段の一例である。無人飛行体１は、目標地点Ｘの近傍に至ったと判断した場合に、継続的に画像を取得するようになっている。例えば、無人飛行体１は、目標地点Ｘから水平面における距離が１００ｍ（メートル）以内に入った場合に、降下予定地点である目標地点Ｘの近傍に至ったと判断し、目標領域Ａの画像取得を開始する。

ＣＰＵ１０及び物体認知プログラムは、物体認知手段の一例である。物体認知プログラムは、深層学習（ディープラーニング）によって生成されており、取得した画像に含まれる物体の特徴を識別して、物体を認知できるようになっている。なお、深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。

図１に示すように、領域Ａの部分領域を、例えば、領域ａ１，領域ａ２，領域ａ３，領域ａ４及び領域ａ５とする。そして、領域ａ２には犬１０２が位置し、領域ａ４には自動車１０４が位置し、領域ａ５には子供１０６及び大人１０８が位置するものとする。

無人飛行体１は、領域ａ１及び領域ａ３には地面以外の物体は位置せず、領域ａ２には犬１０２が位置し、領域ａ４には自動車１０４が位置し、領域ａ５には子供１０６及び大人１０８が位置することを認知する。具体的には、無人飛行体１は、犬１０２に対応する物体について、特徴を抽出し、それが犬である可能性が高いことを認知する。無人飛行体１は、各物体について、同様の処理を行う。無人飛行体１は、ＧＰＳ部１６と慣性センサー部１８によって機体の絶対位置や姿勢を示す情報を継続的に生成し、保持している。目標地点Ｘの絶対位置は既知であり、カメラ７によって領域Ａの画像を継続的に取得し、同一の物体について複数の画像を取得しており、犬１０２等について、目標地点Ｘに対する位置や、無人飛行体１に対する位置を計測することができる。なお、位置計測についての詳細な説明は、省略する。

記憶部１２には、また、物体認知プログラムによって認知した物体に基づいて、降下する位置の適性を示す安全度を判断する安全度判断プログラムを格納している。ＣＰＵ１０と安全度判断プログラムは安全度判断手段の一例である。安全度判断プログラムは、安全度定義データを有する。安全度定義データは、降下した場合に人間や動物に危害を加える可能性が低い順に、安全度を規定している。危害を加える可能性が低い場合には安全度が高く、危害を加える可能性が高い場合には安全度が低い。安全度は、例えば、低い方から高い方へ、５段階で評価するものとする。最も安全度が低い場合には安全度１であり、最も安全度が高い場合には安全度５である。安全度定義データは、例えば、人間は安全度１（正確には、人間が位置する領域の安全度）、動物は安全度２、乗物は安全度２、地面以外の物体がない場合には安全度５というように、物体の種類と安全度を関連付けたデータである。無人飛行体１は、安全度判断プログラムの安全度定義データを参照して、降下する位置の安全度を判断するようになっている。

領域ａ１及び領域ａ３は、地面以外の物体は位置しないから、無人飛行体１が降下しても危害を加える対象は存在せず、危害を加える可能性は低いから、安全度が最も高く、安全度は５である。領域ａ２には犬１０２が位置するから、安全度がやや低く、安全度は２である。領域ａ３には、自動車１０４が位置するから、安全度がやや低く、安全度は２である。領域１０６には子供１０６及び大人１０８が位置するから、安全度は最も低く、安全度は１である。

記憶部１２には、また、安全度に基づいて、機体を降下させる機体降下プログラムを格納している。ＣＰＵ１０と機体降下プログラムは機体制御手段の一例である。無人飛行体１は、領域ａ１及びａ３が安全度５であり、領域ａ２及び領域ａ４が安全度２であり、領域ａ５が安全度１であることに基づいて、安全度が高い領域ａ１または領域ａ３に向かう航路を決定し、降下する。領域ａ１と領域ａ３は安全度が同一であるから、目標地点Ｘに近い領域ａ１を選択して降下する。

以下、無人飛行体１の動作をフローチャートで説明する。図３に示すように、無人飛行体１は、予定地点（目標地点）近傍に到達したか否かを判断し（ステップＳＴ１）、予定地点近傍に到達した場合には、カメラ３を作動させて画像を取得し、物体を認知する（ステップＳＴ２）。ステップ２においては、物体の種類を認知し、さらに、物体と関連づけてその位置を計測する。続いて、無人飛行体１は、安全度を判断し（ステップＳＴ３）、安全度に基づいて航路を決定し（ステップＳＴ４）、降下し（ステップＳＴ５）、業務を実施する（ステップＳＴ６）。業務は、例えば、荷物の配達等のサービスである。

＜第二の実施形態＞
第二の実施形態においては、無人飛行体１は、機体を降下させつつ、複数回にわたって、画像取得プログラム、物体認知プログラム、安全度判断プログラム及び機体制御プログラムに基づく処理を行う。

最初に安全度を判断した時刻ｔ１から所定の時間が経過した時刻ｔ２において、物体の数や位置が変化している場合があり、第二の実施形態においては、そのような変化も踏まえて、降下を制御するようになっている。また、無人飛行体１が物体に近づくほど、画像は鮮明になる。このため、降下しつつ複数回にわたって、物体認知を行うことによって、より鮮明な画像に基づく精度が高い認知を行い、安全度の判断の精度を向上させることができる。

例えば、時刻ｔ１においては、図１に示すように、領域ａ１と領域ａ３の安全度は５であったが、時刻ｔ２においては、図４に示すように、犬１０２が領域ａ１に移動したため、領域ａ１の安全度は２となり、領域ａ２の安全度は５に変化している。また、時刻ｔ１には存在しなかった新たな物体として、子供１１０が領域ａ３に位置しており、領域ａ３の安全度は１に変化した。

この場合、無人飛行体１は、安全度が５の領域ａ２を選択して降下する。

図５に示すように、無人飛行体１は、降下しつつ、ステップＳＴ２〜ステップＳＴ５を繰り返す。

＜第三の実施形態＞
第三の実施形態においては、無人飛行体１の記憶部１２には、移動ベクトル算出プログラムが格納されており、物体認知と共に、物体の移動方向及び移動速度を計算する。

最初に安全度を判断した時刻ｔ１において、物体が移動している場合がある。第三の実施形態においては、そのような移動状態も踏まえて、降下航路を決定するようになっている。すなわち、時刻ｔ１において予想した時刻ｔ２の状態を踏まえて、時刻ｔ１における降下航路を決定する。移動ベクトルは、時刻ｔ１における画像と、時刻ｔ１からわずかに時間が経過した時刻ｔ１＋αにおいて取得した画像とを参照して算出することができる。なお、移動ベクトル測定中には、無人飛行体１はホバリングして、機体位置を固定するようにすれば、物体の移動を簡易に測定できる。あるいは、無人飛行体１が移動している場合には、物体の見かけの移動から無人飛行体１の移動を相殺することによって、物体の真の移動を計測することができる。

例えば、図６に示すように、時刻ｔ１において、領域ａ２に位置する犬１０２がベクトルｖ１で示す移動方向及び移動速度で移動し、時刻ｔ２においては領域ａ１に位置すると予想され、領域ａ５の子供１０６がベクトルｖ２で示す移動方向及び移動速度で移動し、時刻ｔ２においては領域ａ２に位置すると予想される場合には、時刻ｔ２において、領域ａ３だけが安全度５である。この場合、無人飛行体１は、領域ａ３を選択して、降下するようになっている。

図７に示すように、無人飛行体１は、ステップＳＴ２において、物体認知とともに、認知した物体の移動ベクトルを算出し、移動予測を行う。しかも、無人飛行体は、機体を降下させつつ、複数回にわたって、画像取得プログラム、物体認知プログラム、及び安全度判断プログラムに基づく処理を行う。これにより、物体の移動状態も踏まえつつ、降下にするに連れて、より精度の高い画像及び移動ベクトルに基づいて処理を行い、航路を修正し、人間や動物に危害を加えることを回避しつつ、降下することができる。

上述の実施形態１乃至実施形態３においては、無人飛行体１の記憶部１２に、画像取得プログラム、物体認知プログラム、安全度判断プログラム、航路決定プログラム及び降下制御プログラムが格納されているものとして説明したが、一部又はすべての上記プログラムを基地局５０のサーバ内の記憶部に格納し、基地局５０で処理した結果を無人飛行体１に送信することによって、無人飛行体１を制御するように構成してもよい。この場合、無人飛行体１の記憶部１２は、基地局５０からの指示を処理する処理プログラムを格納すれば足りる。

なお、本発明の飛行制御装置及び飛行制御方法は、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。

１ 無人飛行体
１０ ＣＰＵ
１４ 無線通信部
１６ ＧＰＳ部
１８ 慣性センサー部
２０ 画像処理部
２２ 駆動制御部
２４ 電源部

Claims (6)

1. 降下目標領域の画像を取得する画像取得手段と、
   前記画像に含まれる物体を認知する物体認知手段と、
   前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断手段と、
   前記安全度に基づいて、機体を降下させる機体制御手段と、
   を有する飛行制御装置。
2. 前記物体認知手段は、深層学習（ディープラーニング）によって生成された物体識別プログラムを含む請求項１に記載の飛行制御装置。
3. 前記飛行制御装置は、前記機体を降下させつつ、複数回にわたって、前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段を作動させる請求項１または請求項２に記載の飛行制御装置。
4. 前記物体認知手段は、前記画像に含まれる物体の移動状態を判断する移動状態判断手段を有し、
   前記安全度判断手段は、前記物体の移動状態に基づいて、前記安全度を判断する請求項１乃至請求項３のいずれかに記載の飛行制御装置。
5. 前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段のうち、少なくとも一つを、前記機体とは異なる場所に位置し、前記機体を管理する管理装置が有する請求項１乃至請求項４のいずれかに記載の飛行制御装置。
6. 降下目標領域の画像を取得する画像取得ステップと、
   前記画像に含まれる物体を認知する物体認知ステップと、
   前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断ステップと、
   前記安全度に基づいて、機体を降下させる機体制御ステップと、
   を有する飛行制御方法。