JP2019159850A - 無人飛行体、無人飛行方法及び無人飛行プログラム - Google Patents

Abstract

【課題】航法衛星からの測位用電波を使用しなくても、所定の経路を飛行することができる無人飛行体、無人飛行方法及び無人飛行プログラムを提供すること。【解決手段】自律飛行可能な無人飛行体１は、飛行しつつ、画像を撮影する画像撮影手段と、画像中の特徴点を抽出する特徴点抽出手段と、往路における複数の特徴点との関係で無人飛行体の位置１を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶手段と、復路における複数の特徴点との関係で無人飛行体１の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成手段と、往路特徴点情報に示される無人飛行体１の位置と復路特徴点情報に示される無人飛行体１の位置の相違を最小化しつつ、帰還する帰還手段と、を有する。【選択図】図４

Description

本発明は、無人飛行体、無人飛行方法及び無人飛行プログラムに関する。

従来、小型無人飛行体（「ドローン」とも呼ばれる）の利用が提案されている。このようなドローンを利用して、映像情報を取得する技術が提案されている（例えば、特許文献１）。

特開２００６−２７３３１号公報

ドローンの操縦者は、「プロポ」呼ばれる操縦装置からドローンに対して無線信号を送信することによって、ドローンを操縦する。ドローンがプロポから所定距離以上離れると、プロポからの無線信号がドローンに到達しなくなる。この場合、ドローンは、予め設定した飛行経路を自律飛行するようになっている。ドローンがプロパから所定距離以上離れて自律飛行している間において、ドローンは、ドローン自体の位置を、ＧＰＳ衛星（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の航法衛星からの測位用電波を受信して測位しつつ、飛行する。ところが、衛星軌道などの条件によっては、測位に必要な数の航法衛星からの測位用電波を受信することができない場合がある。

本発明はかかる問題の解決を試みたものであり、航法衛星からの測位用電波を使用しなくても、所定の経路を飛行することができる無人飛行体、無人飛行方法及び無人飛行プログラムを提供することを目的とする。

第一の発明は、自律飛行可能な無人飛行体であって、飛行しつつ、画像を撮影する画像撮影手段と、前記画像中の特徴点を抽出する特徴点抽出手段と、往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶手段と、復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成手段と、前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還手段と、を有する無人飛行体である。

第一の発明の構成によれば、無人飛行体は、往路特徴点情報と復路特徴点情報に基づいて、無人飛行体の往路における位置と復路における位置との相違を最小化しつつ、帰還することができる。すなわち、画像から抽出した特徴点に基づいて、往路をたどって帰還できるから、航法衛星からの測位用電波を使用しなくても、所定の経路を飛行することができる。

第二の発明は、第一の発明の構成において、前記往路特徴点情報及び前記復路特徴点情報は、仮想座標系において、前記無人飛行体の位置と複数の前記特徴点とが関連づけられて生成されている、無人飛行体である。

第三の発明は、自律飛行可能な無人飛行体が、飛行しつつ、画像を撮影する画像撮影ステップと、前記画像中の特徴点を抽出する特徴点抽出ステップと、往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶ステップと、復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成ステップと、前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還ステップと、を実施する無人飛行方法である。

第四の発明は、自律飛行可能な無人飛行体を制御するコンピュータを、飛行しつつ、画像を撮影する画像撮影手段、前記画像中の特徴点を抽出する特徴点抽出手段、往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶手段、復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成手段、前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還手段、として機能させるための無人飛行プログラムである。

本発明によれば、航法衛星からの測位用電波を使用しなくても、所定の経路を飛行することができる。

本発明の実施形態に係る無人飛行体の作用を示す概略図である。 本発明の実施形態に係る無人飛行体を示す概略図である。 無人飛行体の機能構成を示す概略図である。 特徴点等を示す概念図である。 無人飛行体の動作を示すフローチャートである。

以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。

図１に示す無人機１は、プロペラの回転によって推力を得て、所定の経路を自律飛行する無人飛行体の一例である。無人機１は、無人機１を管理する基地局５０（図３参照）からの指示で飛行を開始し、また、基地局５０において充電等を行うようになっている。

無人機１は、所定領域３００において、基地局５０から与えられた所定の経路（往路）Ｒ１を自律飛行する。往路Ｒ１の飛行の際には、ＧＰＳ衛星（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の航法衛星からの測位用電波を受信して、無人機１の位置を継続的に測位し、往路Ｒ１を外れないように飛行位置を制御しつつ、飛行する。

無人機１は、往路Ｒ１の飛行中に、下方を撮影して画像を取得し、画像中の多数の特徴点を特定（抽出）し、複数の特徴点との関係で無人機１の位置（画像の中心とする）を規定し、往路特徴点情報として生成し、記憶する。すなわち、往路特徴点情報は、多数の特徴点との関係において、往路Ｒ１を示す情報である。往路特徴点情報に示される無人機１の位置を「往路相対位置」と呼ぶ。

無人機１の帰還時には、上述の測位用電波を使用しない。無人機１は、帰還経路（復路）Ｒ２においても、下方を撮影して画像を取得し、画像中の多数の特徴点を特定（抽出）し、複数の特徴点との関係で無人機１の位置を規定し、復路特徴点情報を生成する。復路特徴点情報に示される無人機１の位置を「復路相対位置」と呼ぶ。

無人機１は、往路相対位置と復路相対位置との相違を最小化するように飛行位置を調整しつつ、帰還のための飛行を実施する。以下、詳細に説明する。

図１に示すように、往路Ｒ１を含む所定領域３００には、様々な地形や構造物がある。所定領域３００には、例えば、山２００Ａ〜２００Ｆ、ゴルフ場２０２、動物園２０４、田畑２０６、池２０８、道路２１０、家屋や公共施設などの建造物２１２Ａ〜２１２Ｆがある。無人機１は、往路Ｒ１において、下方を撮影して画像を取得し、その画像中に映るこれらの地形や構造物について、多数の特徴点を抽出する。ここで、特徴点とは、物体の点や角など、周囲と比べて特徴的な点であり、画像において、明るさが変わっているなどのため、他の部分と区別し易い部分である。特徴点は、画像を撮影後に周知のアルゴリズムによって特定（抽出）される。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれるものであり、画像中の各画素に対して回転・スケール・照明環境の変化の中に不変な特徴量を見出す技術である。

例えば、建造物２１２Ａ〜２１２Ｆの角部２１２Ａａ〜２１２Ｆａや、田畑２０６の端部２０６ａ及び２０６ｂ、池２０８の縁部２０８ａなどが、特徴点の一例である。無人機１は、複数の特徴点を、帰還の際の飛行位置の決定に利用する。

図２に示すように、無人機１は、筐体２を有する。筐体２には、無人機１の各部を制御するコンピュータ、自律飛行装置、無線通信装置、ＧＰＳなどの航法衛星システムからの測位用電波を利用する測位装置、慣性センサー、気圧センサー、バッテリー等が配置されている。また、筐体２には、固定装置１２を介して、カメラ１４が配置されている。

無人機１は、カメラ１４によって、下方の画像を取得する。カメラ１４は、可視光カメラであるが、これとは異なり、マルチスペクトルカメラであってもよい。固定装置１２は、カメラ１４による撮影画像のぶれを最小化し、かつ、カメラ１４の光軸を任意の方向に制御することができる３軸の固定装置（いわゆる、ジンバル）である。

筐体２には、丸棒状のアーム４が接続されている。各アーム４にはモーター６が接続されており、各モーター６にはプロペラ８が接続されている。各モーター６は、直流モーター（ブラシレスＤＣモーター）である。各モーター６は、筐体２内の自律飛行装置によってそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。

アーム４には保護枠１０が接続され、プロペラ８が外部の物体に直接接触することを防止している。アーム４及び保護枠１０は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。

図３は、無人機１の機能構成を示す図である。図３に示すように、無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００、記憶部１０２、無線通信部１０４、衛星測位部１０６、慣性センサー部１０８、駆動制御部１１０、画像処理部１１２、及び、電源部１１４を有する。

無人機１は、無線通信部１０４によって、基地局５０と通信可能になっている。無人機１は、無線通信部１０４によって、基地局５０から、発進等の指示を受信する。基地局５０は、コンピュータで構成されている。

無人機１は、衛星測位部１０６と慣性センサー部１０８によって、無人機１自体の位置を測定することができる。衛星測位部１０６は、基本的に、４つ以上の航法衛星からの測位用電波を受信して無人機１の位置を計測する。慣性センサー部１０８は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人機１の移動を積算して、無人機１の位置を計測する。無人機１自体の位置情報は、無人機１の移動経路の決定及び自律移動のために使用するほか、画像処理部１１２によって撮影した画像データと座標（位置）とを紐づけするために使用する。

駆動制御部１１０によって、無人機１は各モーター６（図２参照）に接続されたプロペラ８（図２参照）の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。

画像処理部１１２によって、無人機１はカメラ１４（図１参照）を作動させて外部の画像を取得することができる。

電源部１１４は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。

記憶部１０２には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、以下のログラムが格納されている。

記憶部１０２には、画像撮影プログラム、特徴点抽出プログラム、往路特徴点情報記憶プログラム、進路反転プログラム、復路特徴点情報生成プログラム、及び、帰還プログラムが格納されている。ＣＰＵ１００と画像撮影プログラムは、画像撮影手段の一例である。ＣＰＵ１００と特徴点抽出プログラムは、特徴点抽出手段の一例である。ＣＰＵ１００と往路特徴点情報記憶プログラムは、往路特徴点情報記憶手段の一例である。ＣＰＵ１００と進路反転プログラムは、進路反転手段の一例である。ＣＰＵ１００と復路特徴点情報生成プログラムは、復路特徴点情報生成手段の一例である。ＣＰＵ１００と帰還プログラムは、帰還手段の一例である。

無人機１は、画像撮影プログラムによって、往路Ｒ１及び復路Ｒ２等（図１参照）を飛行しつつ、カメラ１４によって下方を継続的に撮影し、画像ＰＨｘ（ｘは正の整数であり、画像を取得した順番を示す）を取得する。往路Ｒ１は、座標（緯度、経路、及び高度）によって与えられている。無人機１は、往路Ｒ１の飛行は、航法衛星からの測位用電波を受信して、自律的に行う。

無人機１は、特徴点抽出プログラムによって、カメラ１４で取得した画像（以下、「カメラ画像」という。）中の特徴点を抽出する。図４は、無人機１が往路Ｒ１を飛行しつつ撮影した画像から抽出する特徴点等を示す概念図である。図４に示すように、無人機１は、カメラ画像から、多数の特徴点ＦＰ１〜ＦＰ１７を抽出する。なお、図４は、所定領域を上空から視た領域を多数の矩形からなるメッシュによって区分して示している。各画像において、無人機１の位置は、画像の中心である。画像ＰＨ１において、特徴点ＦＰ１及びＦＰ２が抽出されている。画像ＰＨ１において、無人機１の位置は、特徴点ＦＰ１とＦＰ２の間である。複数の画像の中心を結ぶと、往路Ｒ１となる。すなわち、往路Ｒ１は、基地局５０から座標（緯度、経度、及び高度）で与えられるのであるが、無人機１において、多数の特徴点と無人機１の相対的な位置関係として記憶する。無人機１が往路において取得する情報は、多数の特徴点と無人機１の相対的な位置関係であり、緯度及び経度のような座標を取得する必要はない。例えば、無人機１は、往路Ｒ１を多数の特徴点との相対的な位置関係を後述の仮想座標系において記述する。特徴点の抽出は、復路Ｒ２等においても実施する。

無人機１は、往路特徴点記憶プログラムによって、複数の特徴点ＦＰ１等との関係で無人機１を規定した往路特徴点情報を生成し、記憶部１０２に記憶する。例えば、無人機１は、図４に示すメッシュ座標（Ａ〜Ｘ、１〜２３）を内部的に生成し、特徴点ＦＰ１等の位置との関係で無人機１の相対的位置を規定する。メッシュ座標は、仮想座標系の一例である。無人機１の位置（座標）が画像ＰＨ１等の中心となるようにカメラ１４を配置すると、例えば、画像ＰＨ１において、無人機１の位置は座標（ｐ，５）であり、特徴点ＦＰ１の位置は座標（Ｑ，７）であり、特徴点ＦＰ２の位置は座標（Ｐ，４）であるというように、メッシュ座標によって関連付けることによって、特徴点ＦＰ１等の位置との関係で無人機１の位置が規定される。往路Ｒ１における、特徴点ＦＰ１等の位置との関係で規定された無人機１の位置が上述の「往路相対位置」である。無人機１は、往路特徴点情報を記憶部１０２に記憶する。カメラ１４によって撮影された画像から抽出される特徴点ＦＰ１等の態様は、無人機１と特徴点ＦＰ１等との距離によって異なる。無人機１と特徴点ＦＰ１等との距離は、水平方向の距離と鉛直方向の距離を含む。鉛直方向の距離を無人機１の高度と見做すと、無人機１の高度が高いときには特徴点ＦＰ１等は相対的に小さくなり、無人機１の高度が低いときには相対的に大きくなる。「往路相対位置」は、無人機１と特徴点ＦＰ１等との３次元的な位置関係を示す位置情報である。

無人機１は、進路反転プログラムによって、往路Ｒ１によって進行していた方向を反転する。無人機１は、往路Ｒ１の終点に達した場合や、所定の飛行時間が経過した場合などの帰還条件を満たす場合に、進行していた方向を反転する。進行方向の反転が完了したか否かは、慣性センサー部１０８からの出力によって判断する。

無人機１は、復路特徴点情報生成プログラムによって、復路Ｒ２等において、複数の特徴点ＦＰ１等との関係で無人機１の位置を規定した復路特徴点情報を生成し、記憶部１０２に記憶する。復路Ｒ２等における特徴点ＦＰ１等の多くは、往路Ｒ１において抽出した特徴点ＦＰ１等と共通である。無人機１自体の位置は、カメラ画像の中心位置である。復路Ｒ２における、特徴点ＦＰ１等の位置との関係で規定された無人機１の位置が上述の「復路相対位置」である。復路Ｒ２は、往路Ｒ１と同一であるのが望ましい。図１及び図４に示す復路Ｒ２は、表示の便宜上、往路Ｒ１からずれているが、往路Ｒ１と復路Ｒ２は一致すしているものとする。そして、復路Ｒ２が往路Ｒ１と乖離する場合の経路を、図４の復路Ｒ２ｒとして例示している。

無人機１は、帰還プログラムによって、往路相対位置に示される無人機１の位置と復路相対位置に示される無人機１の相違を最小化しつつ、所定の出発位置へ帰還する。無人機１は、帰還の際には、航法衛星からの測位用電波を使用する必要はない。無人機１は、往路において特定した多数の特徴点をたどって、所定の出発位置へ帰還する。これは、無人機１が、往路をたどって、所定の出発位置へ帰還することを意味する。往路においては、無人機１の飛行に対する障碍物がなかったから、これをたどる復路においても障碍物はない。このため、無人機１は、障碍物に衝突することなく、安全に所定の出発位置へ帰還することができる。

無人機１は、復路相対位置が往路相対位置と乖離した場合には、飛行経路を修正する。例えば、図４に示すように、往路Ｒ１における往路相対位置の一つは、特徴点ＦＰ１４とＦＰ１５の間であり、無人機１の復路相対位置が、点線で示す復路Ｒ２ｒ上の位置のように、特徴点ＦＰ１４とＦＰ１５の双方の北である場合を想定する。この場合、無人機１は、復路相対位置と往路相対位置の相違を最小化するために、飛行経路を南方に変更する。

以下、無人機１の動作を、図５のフローチャートを参照して説明する。無人機１は、飛行を開始すると、航法衛星からの測位用電波を使用して測位しつつ往路Ｒ１を進行し、下方の画像を撮影する（図５のステップＳＴ１）。そして、無人機１は、画像中の特徴点を抽出し（ステップＳＴ２）、複数の特徴点との関係で無人機１の位置を規定して記憶する（ステップＳＴ３）。無人機１は、往路Ｒ１の終点に到達したなどの帰還条件を満たすと判断すると（ステップＳＴ４）、進行方向を反転し、下方の画像中の複数の特徴点との関係で無人機１の位置を規定し（ステップＳＴ５）、往路相対位置と復路相対位置の相違を最小化するように調整しつつ（ステップＳＴ６）、帰還する（ステップＳＴ７）。

なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

１ 無人機
２ 筐体
６ モーター
１４ カメラ
５０ 基地局
１０２ 記憶部
１０６ 衛星測位部

Claims (4)

1. 自律飛行可能な無人飛行体であって、
   飛行しつつ、画像を撮影する画像撮影手段と、
   前記画像中の特徴点を抽出する特徴点抽出手段と、
   往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶手段と、
   復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成手段と、
   前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還手段と、
   を有する、無人飛行体。
2. 前記往路特徴点情報及び前記復路特徴点情報は、仮想座標系において、前記無人飛行体の位置と複数の前記特徴点とが関連づけられて生成されている、
   請求項１に記載の無人飛行体。
3. 自律飛行可能な無人飛行体が、
   飛行しつつ、画像を撮影する画像撮影ステップと、
   前記画像中の特徴点を抽出する特徴点抽出ステップと、
   往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶ステップと、
   復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成ステップと、
   前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還ステップと、
   を実施する無人飛行方法。
4. 自律飛行可能な無人飛行体を制御するコンピュータを、
   飛行しつつ、画像を撮影する画像撮影手段、
   前記画像中の特徴点を抽出する特徴点抽出手段、
   往路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、往路特徴点情報を生成及び記憶する往路特徴点情報記憶手段、
   復路における複数の前記特徴点との関係で前記無人飛行体の位置を規定することによって、復路特徴点情報を生成する復路特徴点情報生成手段、
   前記往路特徴点情報に示される前記無人飛行体の位置と前記復路特徴点情報に示される前記無人飛行体の位置の相違を最小化しつつ、帰還する帰還手段、として機能させるための無人飛行プログラム。