JP2022015978A

JP2022015978A - 無人航空機の制御方法、無人航空機、および、無人航空機の制御プログラム

Info

Publication number: JP2022015978A
Application number: JP2020119207A
Authority: JP
Inventors: 裕廣石; Yutaka Hiroishi; 真樋口; Makoto Higuchi
Original assignee: NTT AT Systems Corp
Current assignee: NTT AT Systems Corp
Priority date: 2020-07-10
Filing date: 2020-07-10
Publication date: 2022-01-21

Abstract

【課題】無人航空機の自律飛行を可能とする技術を提供する。【解決手段】無人航空機１は、飛行ルートの傍らに配置された位置マーカを撮影可能な位置で自機を離陸させるステップと、撮影した位置マーカの位置情報を基に自機の基準位置を求め、上記飛行ルートの飛行中に上記基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、位置測定システムからの信号に含まれる位置情報の精度が閾値よりも低い場合、その信号の位置情報の代わりに上記推定計算した現在の飛行位置の位置情報をフライトコントローラへ送信するステップと、を行う。【選択図】図１１

Description

本発明は、無人航空機の制御方法、無人航空機、および、無人航空機の制御プログラムに関する。

無人航空機は、予め自機内に複数のウェイポイント（経由地点の緯度、経度、高度）を保持しておき、GPS（Global Positioning System）から受信したGPS信号の位置情報を基に、そのウェイポイントを経由しながら所望の飛行ルートを自律飛行する機能を備えている。

"SLAM技術による自律飛行を活用した風力発電設備向け点検サービスを開始～従来比約８倍の点検効率、点検後のデータ管理の簡易化、安全性の向上を実現～"、テラドローン株式会社、［online］、［令和2年6月24日検索］、＜URL: https://www.terra-drone.net/blog/page-5860/＞ "PF1-Vision、FEATURE01 Visual SLAM"、株式会社自律制御システム研究所、［online］、［令和2年6月24日検索］、＜URL: https://www.acsl.co.jp/products/vision/＞ "非SLAM屋内型ドローン自律飛行システム"、株式会社 Spiral、［online］、［令和2年6月24日検索］、＜URL: https://spiral-robotics.com/product＞

従来の無人航空機は、所望の飛行ルートを自律飛行する機能を備えている。しかし、GPS信号の位置情報を用いてルート飛行を行っていたため、GPS信号（位置情報）の精度が低い屋内などの飛行エリアでは自律飛行が困難であった。

この点、ロボット及び自動車の技術分野では自動運転・自律移動に関する研究が行われており、SLAM（Simultaneous Localization and Mapping）を用いることで、移動体の周囲の環境状況・環境状態を取得し、自己位置の推定と地図の生成とを同時に行う技術がある（非特許文献１，２参照）。しかし、SLAMで生成される地図内の距離の単位は現実世界の単位と異なるため、SLAMを無人航空機に適用しても現実世界内での位置を正確に把握できず、飛行ルートの自律飛行は困難である。

また、無人航空機に位置情報を提供するためのツールであるAR（Augmented Reality）マーカを壁面に貼り、無人航空機に搭載されたカメラで撮影して指示情報を受け取り、その指示情報を飛行制御に活用する技術がある（非特許文献３参照）。しかし、ARマーカの指示情報のみでは自己位置の推定ができず、無人航空機の正確な自律飛行には不十分であった。

本発明は、上記事情を鑑みてなされたものであり、本発明の目的は、GPSなどの位置測定システムから受信した信号（位置情報）の精度が低い飛行エリアであっても、無人航空機の自律飛行を可能とする技術を提供することにある。

本発明の一態様の無人航空機の制御方法は、無人航空機の制御方法において、前記無人航空機が、飛行ルートの傍らに配置された位置マーカを撮影可能な位置で自機を離陸させる第１のステップと、撮影した前記位置マーカの位置情報を基に自機の基準位置を求め、前記飛行ルートの飛行中に前記基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、位置測定システムからの信号に含まれる位置情報の精度が閾値よりも低い場合、前記信号の位置情報の代わりに前記推定計算した現在の飛行位置の位置情報をフライトコントローラへ送信する第２のステップと、を行う。

本発明の一態様の無人航空機は、自機の周囲を撮影する撮像部と、飛行ルートの傍らに配置され撮影された位置マーカの位置情報を基に自機の基準位置を求め、前記飛行ルートの飛行中に前記基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、位置測定システムからの信号に含まれる位置情報の精度が閾値よりも低い場合、前記信号の位置情報の代わりに前記推定計算した現在の飛行位置の位置情報をフライトコントローラへ送信する制御部と、を備える。

本発明の一態様の無人航空機の制御プログラムは、上記無人航空機の制御方法をコンピュータに実行させる。

本発明によれば、位置測定システムから受信した信号（位置情報）の精度が低い飛行エリアであっても、無人航空機の自律飛行を実現できる。

図１は、システム構成を示す構成図である。図２は、無人航空機のハードウェア構成を示す構成図である。図３は、ARマーカ情報の登録方法を示すシーケンス図である。図４は、ARマーカとVisual SLAMとを組み合わせて行う位置情報の補正方法を示すシーケンス図である。図５は、ARマーカとLiDAR SLAMとを組み合わせて行う位置情報の補正方法を示すシーケンス図である。図６は、無人航空機の基準位置の決定方法を示すフロー図である。図７は、スケーリング係数の計算方法を示すフロー図である。図８は、SLAM座標からGPS座標への変換方法を示すフロー図である。図９は、SLAM座標系とARマーカ座標系との相関を示す図である。図１０は、相対する座標系間の角度を示す図である。図１１は、無人航空機のルート飛行例を示す図である。図１２は、位置補正マイコンのハードウェア構成を示す構成図である。

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

［１．発明の概要］
本発明は、無人航空機及び無人航空機の制御方法に関する。本発明の目的は、位置測定システムから信号が届かない飛行エリア又は当該信号（位置情報）の精度が低い飛行エリアであっても、無人航空機の自律飛行を可能とし、位置測定システムから信号が届く飛行エリア又は当該信号（位置情報）の精度が高い飛行エリアであっても、無人航空機のより正確な自律飛行を可能とし、以って屋内や屋外における無人航空機の利用分野を拡大させることにある。例えば、GPSからGPS信号の届かない室内でも無人航空機の自律飛行が可能となるよう、GPS信号に変わる無人航空機の誘導方法を確立する。

上記目的を実現するため、本発明は、ARマーカなどの位置マーカと移動体の自己位置推定技術とを組み合わせて用いて、無人航空機のグローバル座標系での位置を推定する。移動体の自己位置推定技術については、飛行中の撮像画像を用いてSLAM又は画像内のARマーカで推定計算する方法、自機の計測センサを用いて推定計算する方法、を用いる。

例えば、第１のパターンとして、飛行ルート上の要所に設置したARマーカを無人航空機のカメラで捉えてGPS座標系での基準位置を求め、その基準位置に対してSLAMで推定計算したSLAM座標系での位置情報を適用することで、無人航空機のGPS座標系での正確な現在の飛行位置を把握し位置調整できるようにする。

例えば、第２のパターンとして、飛行ルート上の要所に設置したARマーカを無人航空機のカメラで捉えてGPS座標系での基準位置を求め、そのARマーカをカメラで捉え続けながらカメラ映像に含まれるARマーカとの相対的な位置を推定計算し、上記基準位置に対して当該推定計算した相対的な位置情報を適用することで、無人航空機のGPS座標系での正確な現在の飛行位置を把握し位置調整できるようにする。

例えば、第３のパターンとして、飛行ルート上の要所に設置したARマーカを無人航空機のカメラで捉えてGPS座標系での基準位置を求め、その基準位置に対して自機の計測センサを用いて推定計算した非GPS座標系での位置情報を適用することで、無人航空機のGPS座標系での正確な現在の飛行位置を把握し位置調整できるようにする。

具体的には、第１のパターン～第３のパターンにおいて、ARマーカが見える位置（基準位置）で自機を離陸させる。次に、SLAM又はカメラ映像内のARマーカを基に、若しくは、自機の計測センサを用いて、基準位置からの位置ズレを推定し、現在の飛行位置を推定計算する。そして、GPS信号（位置情報）の精度が低いことが想定される場合、GPS信号の位置情報の代わりに、推定計算していた位置情報を自機内のフライトコントローラへ送信する。

つまり、本発明は、位置マーカと移動体の自己位置推定技術とを用いて推定計算した無人航空機の位置情報を基に、位置測定システムからの信号を疑似することに特徴がある。これにより、例えばGPS信号を受信しにくい環境下においても、無人航空機の備える既存のルート飛行機能をそのまま利用できる。その結果、工場内などの人が容易に立ち入れないエリアであっても、無人航空機を自動で自律巡回させることができる。

［２．システム構成及び装置構成］
図１は、本実施形態に係るシステム構成を示す構成図である。このシステムは、一般にドローンと呼ばれる１つの無人航空機１と、複数のARマーカ２ａ～２ｃと、を備える。なお、図１に示すGPSは、位置測定システムの一例である。航空機、車両、船舶などの位置を測定可能なシステムであれば、任意のシステムを利用可能である。

複数のARマーカ２ａ～２ｃは、予め設定された無人航空機１の飛行ルートＲの傍らに、その飛行ルートＲに沿って任意の間隔で配置されている。飛行ルートＲとは、複数のウェイポイントＰ１～Ｐ４を順に経由することで形成される無人航空機１の飛行経路である。ウェイポイントＰとは、経由地点の緯度、経度、高度の組である。図１では、屋内のルート飛行を想定しており、３つのARマーカ２ａ～２ｃが、建物内の左壁面、奥壁面、右壁面に配置・設置されている。なお、ARマーカ２の個数は、１つ以上であればよい。

ARマーカ２は、無人航空機１のARマーカ座標系及びGPS座標系での位置合わせを行うために用いる位置マーカであり、自マーカを識別するID（Identity）を復号可能に変換した矩形の二値画像を備える。例えば、３つのARマーカ２ａ～２ｃには、それぞれ、ID＝１を図形に変換した二値画像、ID＝２を図形に変換した二値画像、ID＝３を図形に変換した二値画像が紙面の表面に描画されている。なお、IDは、各ARマーカをそれぞれ識別可能であればよい。また、ARマーカ２は、位置マーカの一例である。自身の位置情報又は位置番号を一意に記録したマーカであれば、任意のマーカを利用可能である。

次に、無人航空機１について説明する。図２は、無人航空機１のハードウェア構成を示す構成図である。

無人航空機１は、従来、GPS信号の位置情報を基に無人航空機１の飛行を制御するフライトコントローラ１１と、電力供給用のバッテリ１２と、フライトコントローラ１１からの制御信号に基づき複数のプロペラ１４ａ～１４ｄの回転を制御させる複数のモータ／ESC（Electric Speed Controller）１３ａ～１３ｄと、自機を上下方向・左右方向・斜め方向へ並進させ、自機を上下軸（図１の垂直軸）の周りで回転させる複数のプロペラ１４ａ～１４ｄと、GPS（Global Positioning System）からGPS信号を受信するGPS通信モジュール１５と、を備える。

上記従来の構成に対し、無人航空機１は、図２に示したように、フライトコントローラ１１とGPS通信モジュール１５との間に位置補正マイコン２１を接続する。更に、無人航空機１は、カメラ（撮像部）２２と、LiDAR（Light Detection and Ranging）センサ２３と、ネットワーク通信モジュール２４と、を備える。

カメラ２２は、単眼カメラであり、ルート飛行時に無人航空機１の周囲を撮影するために用いる。カメラ２２は、位置補正マイコン２１に接続されており、ルート飛行中に上空から撮影したカメラ映像（撮像画像・カメラ画像）を位置補正マイコン２１へ出力する。このカメラ映像は、位置補正マイコン２１でSLAM（Visual SLAM、LiDAR SLAM）を行う際に用いられる。

LiDARセンサ２３は、ルート飛行時に無人航空機１の周囲の対象物にレーザ光を照射し、その反射光を観測することで当該対象物までの距離を計測するセンサである。LiDARセンサ２３は、位置補正マイコン２１に接続されており、ルート飛行中に計測した距離データの点群データを位置補正マイコン２１へ出力する。この点群データは、位置補正マイコン２１でLiDAR SLAMを行う際に用いられる。LiDAR SLAMを行わない場合、LiDARセンサ２３は不要であり、LiDARセンサ２３を無人航空機１の構成要素に含まなくてもよい。

ネットワーク通信モジュール２４は、ユーザのユーザ端末が無人航空機１と通信を行うために用いる。ネットワーク通信モジュール２４は、位置補正マイコン２１、フライトコントローラ１１などに接続されており、ユーザ端末から送信されたルート飛行制御用の各種データなどを位置補正マイコン２１へ出力する。各種データとは、例えば、ウェイポイント情報、ARマーカ情報などである。ウェイポイント情報とは、ウェイポイントの位置情報（緯度、経度、高度の組）であり、フライトコントローラ１１に記憶される。ARマーカ情報とは、ARマーカの位置情報、方位情報などであり、位置補正マイコン２１に記憶される。

位置補正マイコン２１について説明する。

無人航空機１は、通常、GPS信号の位置情報を参照して飛行する。つまり、フライトコントローラ１１は、GPS信号の位置情報を基にルート飛行を行う。しかし、電波状況などによってGPS信号の位置情報が信頼できなくなる場合がある。そこで、位置補正マイコン２１は、ARマーカとSLAMとを組み合わせて用いて無人航空機１の現在の飛行位置を推定計算し、その推定計算した位置情報でGPS信号の位置情報を補正（位置情報の更新・変更）する。

このとき、フライトコントローラ１１への位置情報の未入力により自機の飛行不安定になる状況を回避するため、位置補正マイコン２１は、GPS信号の信頼性又は受信状況に関係なく、飛行開始から飛行終了まで常に何らかの位置情報を送信し続ける。この何らかの位置情報とは、信頼性の低いGPS信号の位置情報、推定計算した位置情報、その他、任意の位置情報である。

また、位置補正マイコン２１は、カメラ２２に映ったARマーカのID、位置、方位（向き）を解析する。位置補正マイコン２１は、ARマーカがカメラ２２に映っていない場合、映っていないという情報を常に認識し続ける。

位置情報の推定・更新には、本実施形態では、Visual SLAM又はLiDAR SLAMを用いる。Visual SLAMとは、カメラ２２のカメラ映像を基に自己位置推定と地図作成とを同時に行う技術である。LiDAR SLAMとは、カメラ２２のカメラ映像及びLiDARセンサ２３の距離の点群データを基に自己位置推定と地図作成とを同時に行う技術である。但し、Visual SLAM又はLiDAR SLAMは、無人航空機１の自己位置を推定する技術の一例である。無人航空機１は、Visual SLAMやLiDAR SLAMなどのSLAMを用いる代わりに、他の技術（後述の第２のパターン及び第３のパターン）を用いて自機の自己位置を推定してもよい。無人航空機１は、非GPS座標系での自己位置を推定可能な任意の自己位置推定技術を利用可能である。

上記位置情報の補正処理を実現するため、位置補正マイコン２１は、図２に示したように、記憶部２１１と、制御部２１２と、を備える。

記憶部２１１は、ARマーカ情報を読み出し可能に記憶しておく機能を備える。ARマーカ情報とは、ARマーカ２の実サイズ、位置情報（緯度、経度、高度の組）、方位情報（GPS座標系内の基準点（真北など）に対するARマーカの表示面の向き・角度）である。

制御部２１２は、ARマーカ２の位置情報を基に自機の基準位置を求め、ルート飛行中に撮影しているカメラ映像や距離の点群データを用いてSLAM（Visual SLAM又はLiDAR SLAM）で当該基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、GPS信号の位置情報の精度が高い場合には、そのGPS信号の位置情報をそのままフライトコントローラ１１へ送信し、GPS信号の位置情報の精度が低い場合、GPS信号の位置情報の代わりに上記推定計算した位置情報をフライトコントローラ１１へ送信する機能を備える。

［３．無人航空機の動作］
［３．１．ARマーカ情報の登録方法］
無人航空機１のGPS座標系での位置合わせを行うにあたり、無人航空機１は、ARマーカがGPS座標上でどの位置に配置され、GPS座標系に対してどの方位に向いているかを予め把握しておく必要がある。そこで、それらに関するARマーカ情報の登録方法について説明する。図３は、ARマーカ情報の登録方法を示すシーケンス図である。

ステップＳ１０１；
位置補正マイコン２１の制御部２１２は、ネットワーク通信モジュール２４を介してユーザ端末から送信されたARマーカ情報に関する各種データを受信し、その各種データを基にARマーカテーブルを作成する。

ステップＳ１０２；
制御部２１２は、作成したARマーカテーブルを記憶部２１１に登録する。ARマーカテーブルには、ARマーカのID、実サイズ、位置情報、方位情報などが含まれる。ARマーカの実サイズとは、ARマーカの縦横の各実寸値である。ARマーカの位置情報とは、ARマーカの緯度、経度、高度である。ARマーカの方位情報とは、GPS座標系内の基準点（真北など）に対するARマーカ表示面の向き・角度である。例えば、地軸上の北側のある点を特定点とした場合、その特定点とARマーカの表示面の中央点とを結ぶ直線と、ARマーカの表示面と、のなす角度である。

［３．２．位置情報の補正方法］
位置補正マイコン２１で行う無人航空機１の位置情報の補正方法について説明する。ARマーカとVisual SLAMとを組み合わせて行う第１補正方法と、ARマーカとLiDAR SLAMとを組み合わせて行う第２補正方法と、について、それぞれ説明する。なお、第１補正方法及び第２補正方法は、上記第２のパターン（SLAMを用いないパターン）にも流用可能である。

［３．２．１．第１補正方法］
図４は、第１補正方法を示すシーケンス図である。なお、無人航空機１は、ルート飛行中にOpen VSLAMを実行しているものとする。Open VSLAMとは、カメラ映像の画像から自己位置・姿勢推定と周囲の地図作成とを同時に行うVisual SLAMの一実装技術である。

ステップＳ２０１；
位置補正マイコン２１の制御部２１２は、ルート飛行中にカメラ２２で撮影されたカメラ映像の動画データを定期的に受信する。

ステップＳ２０２；
制御部２１２は、受信中の動画データに含まれるARマーカの画像を用いて、無人航空機１のGPS座標系での位置を計算して基準位置とする。また、制御部２１２は、その基準位置と、受信中の動画データを基にVisual SLAMで推定されているSLAM座標系の自己位置（移動距離、移動方向）と、を用いて、無人航空機１のGPS座標系での現在の飛行位置を推定計算する。

ステップＳ２０３；
制御部２１２は、GPS通信モジュール１５を介してGPSからGPS信号を定期的に受信する。なお、制御部２１２は、このタイミングに限らず、常にGPS信号を受信している。

ステップＳ２０４；
制御部２１２は、受信中のGPS信号に含まれる位置情報の精度を判定する。例えば、制御部２１２は、GPS信号のUBXフォーマットに含まれるGPS機数が閾値以上である場合、GPS信号の位置情報を高精度と判定し、そのGPS機数が閾値よりも低い場合、GPS信号の位置情報を低精度と判定する。なお、制御部２１２は、UBXフォーマットに含まれる他のデータを用いてGPS信号の精度判定を行ってもよい。また、UBXフォーマットは、フォーマットの一例である。例えば、制御部２１２は、NMEA（National Marine Electronics Association）フォーマットに含まれるデータを用いてGPS信号の精度判定を行ってもよい。

ステップＳ２０５；
制御部２１２は、GPS信号の位置情報の精度が高い場合、GPS信号の位置情報をそのままフライトコントローラ１１へ送信し、GPS信号の位置情報の精度が低い場合、GPS信号の位置情報を上記推定計算した位置情報で更新してフライトコントローラ１１へ送信する。

［３．２．２．第２補正方法］
図５は、第２補正方法を示すシーケンス図である。

ステップＳ３０１；
位置補正マイコン２１の制御部２１２は、ルート飛行中にカメラ２２で撮影されたカメラ映像の動画データを定期的に受信する。

ステップＳ３０２；
制御部２１２は、受信中の動画データに含まれるARマーカの画像を用いて、無人航空機１のGPS座標系での位置を計算して基準位置とする。

ステップＳ３０３；
制御部２１２は、ルート飛行中にLiDARセンサ２３で測定された周囲の各任意の対象物までの距離に関する点群データを定期的に受信する。なお、制御部２１２は、このタイミングに限らず、常に点群データを受信している。

ステップＳ３０４；
制御部２１２は、受信中の点群データを基にLiDAR SLAMで推定されているSLAM座標系の自己位置（移動距離、移動方向）を上記基準位置に適用することで、無人航空機１のGPS座標系での現在の飛行位置を推定計算する。

ステップＳ３０５；
制御部２１２は、GPS通信モジュール１５を介してGPSからGPS信号を定期的に受信する。なお、制御部２１２は、このタイミングに限らず、常にGPS信号を受信している。

ステップＳ３０６；
制御部２１２は、受信中のGPS信号に含まれる位置情報の精度を判定する。判定方法は、第１補正方法と同様に、GPS信号内のGPS機数を閾値と比較することで行う。

ステップＳ３０７；
制御部２１２は、GPS信号の位置情報の精度が高い場合、GPS信号の位置情報をそのままフライトコントローラ１１へ送信し、GPS信号の位置情報の精度が低い場合、GPS信号の位置情報を上記推定計算した位置情報で更新してフライトコントローラ１１へ送信する。

［３．３．自機の基準位置の決定方法］
無人航空機１の基準位置の決定方法について説明する。図６は、自機の基準位置の決定方法を示すフロー図である。

ステップＳ４０１；
位置補正マイコン２１の制御部２１２は、カメラ映像に含まれるARマーカの画像からARマーカのIDを解析し、解析したIDに対応するARマーカの実サイズ、位置情報、方位情報を記憶部２１１から取得する。

ステップＳ４０２；
制御部２１２は、ARマーカからカメラ２２（≒自機）までの距離を計算する。例えば、制御部２１２は、ArUcoライブラリを用いて計算する。ArUcoライブラリとは、カメラ画像内からARマーカ画像を取得し、カメラからARマーカまでの距離及びカメラ画像内でのARマーカの傾きを測定するARライブラリである。ここで言う「距離」とは、現実世界の距離である。「傾き」とは、ARマーカ２の表示面とカメラ２２のレンズ面とのなす角度である。ARマーカ２に対してカメラ２２が転回している場合（自機の上下軸回りでの転回によりヨー角がある場合）、ARマーカ２の画像には奥行感があり、例えば矩形画像の左辺側から右辺側へ奥行方向に次第に小さくなる「傾き」を持つ。制御部２１２は、このような測定機能を備えるArUcoライブラリにARマーカの実サイズを指定入力することで、カメラ２２（≒自機）からARマーカまでの現実の距離を得る。

ステップＳ４０３；
制御部２１２は、ARマーカとカメラ２２との間の現実世界での距離情報、記憶部２１１から読み出したARマーカの位置情報及び方位情報、更には画像内でのARマーカの座標位置及び形状を用いて、カメラ２２（≒自機）のGPS座標系での位置（緯度、経度、高度）を計算し、無人航空機１の基準位置とする。

ARマーカとカメラ２２との間の現実世界での距離情報、ARマーカの位置情報及び方位情報（GPS座標系に対するARマーカの向き）、画像内での座標位置及び形状が得られているので、三角関数の公式を活用すれば、自機の基準位置を計算可能である。既存のライブラリを用いてもよい。

例えば、制御部２１２は、ArUcoライブラリの「estimatePoseSingleMarkers関数」を用いて、ARマーカの位置情報を基にカメラ２２から見たARマーカ２の回転ベクトル及び並進ベクトルを得る。次に、制御部２１２は、ArUcoを含む画像処理ライブラリであるOpenCVの機能の備える「cv::Rodrigues関数」を用いて、得た回転ベクトルから式（１）に示す３×３の回転行列を得る。

さらに、制御部２１２は、その回転行列に上記並進ベクトル（Tx,Ty,Tz）を加えて、式（２）に示す回転並進行列を作成する。

その後、制御部２１２は、OpenCVの機能の備える「cv::Mat::inv関数」を用いて、上記回転並進行列の逆行列を生成する。生成した逆行列に対してARマーカの位置を掛け合わせることで、無人航空機１の基準位置を算出できる。

［３．４．位置推定計算方法（第１のパターン）］
第１のパターンでは、SLAMの備える自己位置推定技術を用いる場合について説明する。具体的には、SLAMで作成された無人航空機１のSLAM座標系での位置情報をGPS座標系での位置情報へ変換する変換方法について説明する。

［３．４．１．スケーリング］
本実施形態では、１つのカメラ２２でSLAMを行う単眼SLAMを用いる。単眼SLAMの場合、カメラレンズの個数が１つであるため、単眼SLAMが作成する地図上の距離の単位は不明であり、SLAM内で進む長さと現実世界で進む長さとの単位は一致しない。そこで、SLAM内の距離単位を現実世界の距離単位に変換するためのスケーリング係数を計算する。図７は、スケーリング係数の計算方法を示すフロー図である。

ステップＳ５０１；
位置補正マイコン２１の制御部２１２は、ルート飛行中にSLAMにより作成される仮想的な地図から、２つの地点A，Bの位置を取得する。最も単純には、例えば、制御部２１２は、自機の位置とARマーカの位置とを取得する。

ステップＳ５０２；
制御部２１２は、上記２つの地点A,Bにそれぞれ対応するARマーカ座標系における２つの地点A’，B’の位置を取得する。例えば、これまでに求めた自機の基準位置と、その基準位置の計算時に用いたARマーカの位置と、を取得する。

ステップＳ５０３；
制御部２１２は、SLAM座標系における地点A，B間のX軸，Y軸，Z軸の各距離と、ARマーカ座標系におけるA’，B’間のX’軸，Y’軸，Z’軸の各距離とのそれぞれの比を、SLAMと現実世界とのX軸，Y軸，Z軸の距離の比とし、いずれかの軸の距離が０にならないように、その比を基にGPS座標系へのスケーリング係数を計算する。なお、ARマーカ座標系の距離はGPS座標系（現実世界）の距離であるため、SLAM座標系からARマーカ座標系へのスケーリング係数を計算すれば十分である。

［３．４．２．SLAM座標からGPS座標への変換］
SLAM座標からGPS座標へ変換する方法について説明する。図８は、SLAM座標からGPS座標への変換方法を示すフロー図である。

ステップＳ６０１；
SLAM座標系のARマーカの方位（向き）を現実世界のGPS座標系の方位（向き）に補正するためには、SLAM座標系の方向をARマーカの座標系の方向、更には、GPS座標系の方向に合わせる必要がある。

そこで、位置補正マイコン２１の制御部２１２は、SLAM座標系とARマーカ座標系との差異である角度を求める。その角度は、図９に示すように、ARマーカ座標系においてARマーカ２の表示面に平行なX軸と、SLAM座標系においてカメラ２２のレンズ面に平行なX’軸と、の間の角度αである。

この角度αは、ARマーカ２からみたカメラ２２の角度βと、カメラ２２から見たARマーカ２の角度γと、の差で計算可能である（図１０参考）。角度βは、カメラ画像を用いて、カメラ２２から見たARマーカ２の画像の形状より推定計算する。角度γは、カメラ画像を用いて、ARマーカ２の中心座標と画像の中心座標との座標位置のズレより計算する。

ステップＳ６０２；
制御部２１２は、ヨー角（SLAM座標系上での傾き）から上記角度αをオフセットすることでGPS座標系での方位をARマーカ座標系での方位に変換し、変換したARマーカ座標系での方位から現実世界での方位を計算する。例えば、角度αが３０度、SLAM座標系でのヨー角が１０度であれば、差し引いた２０度がSLAM座標系とARマーカ座標系との角度の正確な差異となる。そして、ARマーカ２の方角が真北でない場合には、SLAM座標系から上記２０度の角度を除去したARマーカ座標系に対して、更に、ARマーカ座標系とGPS座標系との差異である角度を加算する。ARマーカ２の方角が真北である場合には、SLAM座標系から上記２０度の角度を除去すればよい。制御部２１２は、ここで生成したARマーカ座標系からGPS座標系への座標変換式を保持しておく。

ステップＳ６０３；
制御部２１２は、SLAM上で自機が進んだ距離を求め、その距離に対して上記スケーリング係数を乗算することで、現実世界で進んだ距離を求める。

ステップＳ６０４；
制御部２１２は、SLAM上で自機が進んだ方位（角度）を求め、上記座標変換式を用いて、その方位を現実世界での方位に変換する。

ステップＳ６０５；
制御部２１２は、ステップＳ４０３で求めていた自機の基準位置から、ステップＳ６０４で求めた現実世界での方位に、ステップＳ６０３で求めた現実世界での距離分進んだ位置を求める。この位置が、無人航空機１の現実世界における現在の飛行位置となる。制御部２１２は、GPS信号の位置情報の精度が低いことが想定される場合、GPS信号の位置情報の代わりに、ここで計算した位置情報をフライトコントローラ１１へ送信する。

なお、ある緯度・経度（基準位置）から指定された距離を進んだ地点の緯度・経度を求めるには、通常、Vincenty法が用いられる。Vincenty法とは、楕円体上の２点間の距離を計算する測地法の反復計算アルゴリズムである。しかし、このアルゴリズムは計算量が大きく、かつ、その計算は収束しない可能性がある。そこで、本実施形態では、ステップＳ６０４で求めた方位を基に、ステップＳ６０３で求めた現実世界の距離を緯度方向と経度方向とに分解し、緯度方向の距離分の位置を計算してから、経度方向の距離分の位置を更に計算する。例えば、分解計算した距離分北上してから、分解計算した距離分東進させる。

［３．５．位置推定計算方法（第２のパターン）］
第２のパターンでは、カメラ映像内のARマーカを用いる場合について説明する。

制御部２１２は、ARマーカをカメラで捉え続けながらカメラ映像に含まれるARマーカとの相対的な位置（距離、方位）を随時推定計算する。ARマーカとの相対的な位置は、上記「自機の基準位置の決定方法」と同じ方法で推定計算可能である。推定計算される位置は、GPS座標系での位置である。制御部２１２は、自機が移動する毎に、上記基準位置に対して当該推定計算した位置を適用することで、現実世界での自機の位置を得る。そして、制御部２１２は、GPS信号の位置情報の精度が低いことが想定される場合、GPS信号の位置情報の代わりに、ここで計算した位置情報をフライトコントローラ１１へ送信する。

［３．６．位置推定計算方法（第３のパターン）］
第１のパターンでは、カメラ映像を用いてSLAMでSMAL座標系での現在の飛行位置を推定計算する方法を説明した。第２のパターンでは、ARマーカをカメラで捉え続けながらカメラ映像内のARマーカ画像を用いて現在の飛行位置を推定計算する方法を説明した。

一方、本発明は、既に説明した通り、ARマーカと移動体の自己位置推定技術とを組み合わせて用いて、無人航空機のGPS座標系での位置を推定し、GPS信号を疑似する点に特徴がある。それ故、自己位置推定技術については、カメラ映像を用いて行う自己位置推定方法に限らず、任意の自己位置推定方法を用いることができる。

そこで、第３のパターンでは、無人航空機１の備える計測センサ（図２において不図示）を用いる場合について説明する。計測センサとは、例えば、高度計、速度計、加速度計、ジャイロセンサなどである。制御部２１２は、ルート飛行中に計測センサから出力される各種データ（例えば、高度、速度、加速度、角速度など）を基に非GPS座標系での位置（距離、方位）を随時推定計算する。制御部２１２は、自機が移動する毎に、上記基準位置に対して当該推定計算した位置を適用することで、現実世界での自機の位置を得る。そして、制御部２１２は、GPS信号の位置情報の精度が低いことが想定される場合、GPS信号の位置情報の代わりに、ここで計算した位置情報をフライトコントローラ１１へ送信する。

［３．７．自律飛行の例］
無人航空機１の自律飛行の例について説明する。図１１は、無人航空機１のルート飛行例を示す図である。

ステップＳ７０１；
無人航空機１は、第１のARマーカ２ａの見える位置（基準位置）で自機を離陸させる。少なくとも１つのARマーカ２がカメラ映像に含まれていればよいため、第２のARマーカ２ｂ又は第３のARマーカ２ｃの見える位置で自機を離陸させてもよい。

ステップＳ７０２；
無人航空機１は、第１のARマーカ２ａに関する情報と、SLAMの推定位置情報、ARマーカ画像を用いて求めた推定位置情報、又は、計測センサを用いて求めた推定位置情報と、を基に、上記基準位置からのルート飛行中の自機の位置ズレを推定し、現在の飛行位置を推定計算する。

ステップＳ７０３；
無人航空機１は、予め自機に設定された飛行ルートに従って、上記推定計算した位置情報を基に自律飛行を継続する。

ステップＳ７０４；
無人航空機１は、ルート飛行中に第２のARマーカ２ｂを確認した場合、第２のARマーカ２ｂに関する情報を基に自機の基準位置を再計算（リセット；キャリブレーション）し、再計算後の基準位置と、SLAMの推定位置情報、ARマーカ画像を用いて求めた推定位置情報、又は、計測センサを用いて求めた推定位置情報と、を基に現在の飛行位置を推定計算する。

ステップＳ７０５；
無人航空機１は、ステップＳ７０４の飛行位置を基に自律飛行を継続する。

ステップＳ７０６；
無人航空機１は、ルート飛行中に第３のARマーカ２ｃを確認した場合、第３のARマーカ３ｂに関する情報を基に自機の基準位置を再び再計算（再リセット）し、再び再計算後の基準位置と、SLAMの推定位置情報、ARマーカ画像を用いて求めた推定位置情報、又は、計測センサを用いて求めた推定位置情報と、を基に現在の飛行位置を推定計算する。

ステップＳ７０７；
無人航空機１は、予め自機に設定された飛行ルートに従って、自機を着陸させる。

［４．実施形態の効果］
本実施形態によれば、無人航空機１は、飛行ルートの傍らに配置されたARマーカを撮影可能な位置で自機を離陸させるステップと、そのARマーカの位置情報を基に自機の基準位置を求め、上記飛行ルートの飛行中に撮影しているカメラ映像を用いてSLAM、ARマーカ、又は、計測センサを用いて上記基準位置からの位置ズレを推定することにより自機の現在位置を推定計算し、GPSからのGPS信号に含まれる位置情報の精度が低い場合、そのGPS信号の位置情報の代わりに上記推定計算した位置情報をフライトコントローラへ送信するステップと、を行うので、GPS信号を受信しにくい環境下においても、無人航空機を自律飛行させることができる。すなわち、GPS信号が届かない飛行エリア又はGPS信号の精度が低い飛行エリアであっても、無人航空機の自律飛行が可能となり、GPS信号が届く飛行エリア又はGPS信号の精度が高い飛行エリアであっても、無人航空機のより正確な自律飛行が可能となる。それ故、屋内や屋外における無人航空機の利用分野を拡大させることができる。

［５．その他］
本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。

上記位置補正マイコン２１は、例えば、図１２に示すように、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、位置補正マイコン２１の各機能が実現される。

位置補正マイコン２１は、１つのコンピュータで実装されてもよい。位置補正マイコン２１は、複数のコンピュータで実装されてもよい。位置補正マイコン２１用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD（Compact Disc）、DVD（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記憶できる。位置補正マイコン２１用のプログラムは、通信ネットワークを介して配信することもできる。

１：無人航空機
２：ARマーカ
１１：フライトコントローラ
１２：バッテリ
１３：モータ／ESC
１４：プロペラ
１５：GPS通信モジュール
２１：位置補正マイコン
２２：カメラ
２３：LiDARセンサ
２４：ネットワーク通信モジュール
２１１：記憶部
２１２：制御部
９０１：CPU
９０２：メモリ
９０３：ストレージ
９０４：通信装置
９０５：入力装置
９０６：出力装置

Claims

無人航空機の制御方法において、
前記無人航空機が、
飛行ルートの傍らに配置された位置マーカを撮影可能な位置で自機を離陸させる第１のステップと、
撮影した前記位置マーカの位置情報を基に自機の基準位置を求め、前記飛行ルートの飛行中に前記基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、位置測定システムからの信号に含まれる位置情報の精度が閾値よりも低い場合、前記信号の位置情報の代わりに前記推定計算した現在の飛行位置の位置情報をフライトコントローラへ送信する第２のステップと、
を行う無人航空機の制御方法。
前記第２のステップでは、
前記飛行ルートの飛行中に撮影している撮像画像を用いて前記基準位置からの位置ズレを推定する請求項１に記載の無人航空機の制御方法。
前記第２のステップでは、
自機の計測センサを用いて前記基準位置からの位置ズレを推定する請求項１に記載の無人航空機の制御方法。
自機の周囲を撮影する撮像部と、
飛行ルートの傍らに配置され撮影された位置マーカの位置情報を基に自機の基準位置を求め、前記飛行ルートの飛行中に前記基準位置からの位置ズレを推定することにより自機の現在の飛行位置を推定計算し、位置測定システムからの信号に含まれる位置情報の精度が閾値よりも低い場合、前記信号の位置情報の代わりに前記推定計算した現在の飛行位置の位置情報をフライトコントローラへ送信する制御部と、
を備える無人航空機。
請求項１乃至３のいずれかに記載の無人航空機の制御方法をコンピュータに実行させる無人航空機の制御プログラム。