JP2020138681A - 無人飛行体の制御システム - Google Patents

Abstract

【課題】車両上の着陸地点に無人飛行体を精度よく着陸させる。
【解決手段】任意の方向に飛行可能なドローン100を、車両200に設けられた離着陸ポート401の上方から降下して着陸させるドローン100の制御システムであって、ドローン100に設けられ当該ドローン100の下方を撮影するカメラ101と、ドローンの飛行制御を行う機体制御コントローラ103と、カメラ101によって撮影した画像より着陸地点の画像上の位置を抽出し、ドローン100を着陸地点の上方から、カメラ101の下方位置に対応する撮影画像の中心Ｃと着陸地点の画像上の位置Ｑとの差を減少しつつ降下させ、着陸地点Ｐに着陸するように機体制御コントローラ103を制御する。
【選択図】図２

Description

本発明は、無人飛行体の飛行制御技術に関する。

近年、ドローン（無人飛行体）の利用方法として、車両とドローンとを連携する技術が各種提案されている。例えば、ドローンを搭載した車両を災害場所等の近くまで派遣し、車両で到達できない場所や危険な場所の撮影、探索等に、ドローンを使用する方法が提案されている。
ドローンを搭載可能とした車両においては、ドローンの使用後に車両に格納する際に、自動的にドローンの飛行制御をして、車両上に設けた着陸地点に着陸させることが望ましい。

また、搭載する電池の容量の制約によりドローンの飛行可能時間は比較的短時間であるので、付近に待機している車両上にドローンを着陸させて充電する場合もあり、このような場合にも、自動的にドローンの飛行制御をして車両上に着陸させることが望ましい。
このように、格納や充電のために自動的に車両にドローンを着陸させる方法として、例えば特許文献１には、ドローンにＧＰＳセンサを搭載し、ドローンの位置情報を逐時取得して、車両の位置と一致させるようにドローンを誘導する技術が開示されている。

特開２０１０−２５０４７８号公報

しかしながら、特許文献１のようにＧＰＳによるドローンの位置情報を使用した着陸制御では、比較的狭い範囲である車両上の着陸地点に精度よくドローンを誘導することは困難である。特に車両が移動している場合には、ＧＰＳによるドローン及び車両の位置情報の誤差だけでなく、位置情報を取得するタイムラグによっても相対的な位置情報の誤差が発生するので、車両上にドローンを着陸させることが困難となってしまう。

本発明はこのような問題点を解決するためになされたもので、車両上の着陸地点に無人飛行体を精度よく着陸させることが可能となる無人飛行体の制御システムを提供することにある。

上記の目的を達成するために、本発明は、任意の方向に飛行可能な無人飛行体を、車両に設けられた着陸地点に着陸させる無人飛行体の制御システムであって、前記無人飛行体に設けられ当該無人飛行体の周囲を撮影するカメラと、前記無人飛行体の飛行制御を行う機体制御部と、前記カメラの撮影画像より前記着陸地点の前記撮影画像での位置を抽出し、前記無人飛行体を前記着陸地点から、前記カメラの位置に対応する前記撮影画像の中心位置と前記着陸地点の前記撮影画像での位置との差を減少するように前記機体制御部を制御して、前記無人飛行体を前記着陸地点に着陸させる第１の着陸制御を実行する制御部と、を備えたことを特徴とする。

これにより、無人飛行体を着陸地点の上方位置から着陸地点に近づくように降下させて、着陸地点に着陸させることができる。このように無人飛行体を着陸させる際に、カメラの撮影画像に基づいて無人飛行体の着陸制御を行うので、精度よく無人飛行体を着陸させることができる。
また、好ましくは、前記制御部は、前記車両に配置され、前記無人飛行体は、前記カメラの撮影画像を無線通信を介して前記機体制御部に送信し、前記制御部は、前記無人飛行体の機体を飛行制御する制御コマンドを無線通信を介して前記機体制御部に送信するとよい。

これにより、車両に配置された制御部において、無人飛行体の機体を飛行制御する制御コマンドを演算し、無線通信を介して機体制御部に送信して、無人飛行体を飛行制御するので、無人飛行体側での演算、制御負荷を低減させることができる。
また、好ましくは、前記制御コマンドは、少なくとも前記車両の識別情報、前記無人飛行体の前記着陸地点への着陸予定時刻情報及び着陸予定位置情報を有する着陸指令情報を含むとよい。

これにより、特に車両の識別情報を含むことで、カメラの撮影画像に複数の車両が存在したり、着陸制御中に車両が移動したりしても着陸目標となる車両を容易に特定することができ、迅速な着陸を可能にすることができる。
また、好ましくは、前記無人飛行体は、プロポーショナルシステムによって飛行制御可能であり、前記制御コマンドは、前記プロポーショナルシステムによる制御情報と互換性のあるロール、ピッチ、ヨーとＸＹＺ直交座標軸上の移動量に関する情報を含むとよい。

これにより、プロポーショナルシステムからの制御情報と互換性のあるロール、ピッチ、ヨーとＸＹＺ直交座標軸上の移動量に関する情報を含むことにより、従来のドローンの制御システムであるプロポーショナルシステムを利用して本発明の制御システムを容易に実現させることができる。
また、好ましくは、前記無人飛行体の位置を検出する第１のＧＰＳセンサと、前記車両の位置を検出する第２のＧＰＳセンサと、を備え、前記制御部は、前記第１のＧＰＳセンサ及び前記第２のＧＰＳセンサの検出値に基づいて前記着陸地点と前記無人飛行体との相対位置及び相対距離を演算し、前記相対位置に基づいて、前記無人飛行体を前記着陸地点に向けて移動するように前記機体制御部を制御する第２の着陸制御を実行可能であり、前記無人飛行体を前記着陸地点に着陸させる際に、前記相対距離が所定距離以上の場合には前記第２の着陸制御により前記機体制御部を制御し、前記相対距離が所定距離未満の場合には前記第１の着陸制御により前記機体制御部を制御するとよい。

これにより、無人飛行体を着陸地点に着陸させる際に、無人飛行体と着陸地点との距離が所定距離に近づくまでは、ＧＰＳによる無人飛行体と車両の位置情報に基づいて、広い範囲で無人飛行体を制御することが可能となる。そして、無人飛行体と着陸地点との距離が所定距離未満に近づいてから、カメラによる撮影画像に基づいて、無人飛行体を精度よく着陸地点まで飛行制御することができる。

また、好ましくは、前記制御部は、前記第１の着陸制御の際に、前記着陸地点と前記無人飛行体との相対距離に基づいて、前記カメラによって撮影する画像の画素数を変更するとよい。
これにより、第１の着陸制御の際に、例えば相対距離が大きい場合に画素数を低くすることで、カメラによって撮影した画像を認識する制御の負荷を低減させることができる。

また、好ましくは、前記無線通信は、複数の周波数帯のうち、干渉の少ない周波数帯を自動的に選択して用いられるとよい。
これにより、車両の制御部と無人飛行体との通信を安定させることができる。

本発明の無人飛行体の制御システムによれば、無人飛行体を着陸させる際に、カメラの撮影画像に基づいて飛行体の着陸制御を行うので、無人飛行体を車両の着陸地点に精度よく着陸させることができる。

本発明の実施形態のドローン制御システムにおけるドローンの運用イメージ図である。 本実施形態のドローン制御システムの構成を示すブロック図である。 本実施形態のドローン制御システムにおける飛行制御要領を示すフローチャートである。 ドローンの着陸時のイメージ図である。 本実施形態のドローン制御システムにおける自動着陸制御要領を示すフローチャートである。 ドローンの着陸時における撮影画像の一例を示す図である。 カメラ撮影画像と実空間との関係を示す説明図である。 ドローンの制御軸を示す説明図である。 回転角度からの制御入力値の算出用のマップの一例である。 移動距離からの制御入力値の算出用のマップの一例である。 認識対象画像のリサイズ化による処理時間の変化の一例を示すグラフである。 認識対象画像の色による処理時間の変化の一例を示すグラフである。 着陸地点のマーカーの配置例を示す図である。

以下、図面に基づき本発明の実施形態について説明する。
図１は、本発明の実施形態のドローン制御システムにおけるドローンの運用イメージ図である。
本発明のドローン制御システムは、車両及び当該車両に搭載可能としたドローンを含むドローンシステムに適用され、ドローンの飛行制御を実行するシステムである。

図１に示すように、ドローンシステムは、ドローン１００（無人飛行体）、車両２００、車両２００に搭載した制御機器である車載機３００、車両２００のルーフ上に設けられドローン１００を格納する車頂架台４００から構成される。
車頂架台４００には、ドローン１００の離着陸を行う基地としての離着陸ポート４０１、ドローン１００のバッテリ１０９を非接触充電するための充電部４０２が備えられている。

ドローン１００は、図示しない電気モータによりプロペラを駆動して上下左右方向に移動可能であり、また上空で停止可能であるとともに、上空より下方を撮影可能である。本実施形態のドローン制御システムは、車載機３００において目的地の位置を指示することで、ドローン１００が目的地上空まで自動的に飛行して撮影を行い、撮影後に自動的に車両２００に戻り、車頂架台４００に自動的に着陸可能となっている。

なお、ドローン１００が車両２００に搭載可能となっているので、ドローン１００を搭載した状態で車両２００を目的地付近まで走行させることで、目的地が遠隔地であってもドローン１００によって撮影可能である。また、ドローン１００の移動用の飛行時間を短縮させ、ドローン１００の目的地付近での撮影時間を増加させることが可能となっている。

図２は、本実施形態に係るドローン制御システムの構成を示すブロック図である。
ドローン１００は、カメラ１０１、第１のＧＰＳセンサ１０２、機体制御コントローラ１０３（機体制御部）、通信制御部１０４、映像データ用無線送信部１０５、送信アンテナ１０６、機体制御用無線受信部１０７、受信アンテナ１０８、バッテリ１０９を備えている。

カメラ１０１は、ドローン１００の下部に設置され、少なくともドローン１００の下方を撮影可能となっている。
第１のＧＰＳセンサ１０２は、ドローン１００の位置を取得する機能を有する。
機体制御コントローラ１０３は、ドローン１００の各プロペラの回転制御により飛行制御を行うものであり、後述するように、プロポーショナルシステム（プロポ）を用いたドローン１００の機体制御信号に基づいて飛行制御を行う機能を有する。

通信制御部１０４は、映像情報や機体制御情報を車載機３００と通信するための情報の変復調、符号化・復号化を行う機能を有する。
映像データ用無線送信部１０５は、カメラ１０１で撮影した画像情報を、送信アンテナ１０６を介して無線によって車載機３００に送信する機能を有する。
機体制御用無線受信部１０７は、受信アンテナ１０８を介して車載機３００から発信した機体制御信号を受信する機能を有する。

バッテリ１０９は、ドローン１００に搭載したプロペラ駆動用の電気モータ等の電気機器に電力を供給する機能を有するとともに、充電可能な構成となっている。
車両２００には、車載機３００（制御部）及び車頂架台４００が備えられている。車頂架台４００は車両２００の上部に設置され、ドローン１００の離着陸を行う基地としての離着陸ポート４０１、ドローン１００のバッテリ１０９を非接触充電するための充電部４０２が備えられている。

車載機３００は、受信アンテナ３０１、映像データ用無線受信部３０２、機体制御用無線送信部３０３、送信アンテナ３０４、通信制御部３０５、ＡＩパターン認識部３０６、表示部３０７、音声認識部３０８、マイクロフォン３０９、コマンド生成部３１０、制御部３１２を備えている。
映像データ用無線受信部３０２は、受信アンテナ３０１を介してドローン１００からの映像データを受信する機能を有する。

機体制御用無線送信部３０３は、機体制御信号をドローン１００に送信する機能を有する。
通信制御部３０５は、送信アンテナ３０４を介してドローン１００との無線通信を行うための情報の変復調、符号化・復号化を行う機能を有する。
ＡＩパターン認識部３０６は、ドローン１００のカメラ１０１で撮影した画像データのパターンを認識・分析し、ドローン１００の機体制御情報を得る機能を有する。

表示部３０７は、ＡＩパターン認識部３０６による認識結果をグラフィック表示する機能を有する。
音声認識部３０８は、マイクロフォン３０９を介して入力した作業者等の音声から指示を認識する機能を有する。
コマンド生成部３１０は、ＡＩパターン認識部３０６や音声認識部の認識結果に基づいてコマンドテーブル３１１を参照してドローン１００を制御するための制御コマンドを生成する機能を有する。なお、制御コマンドは、少なくとも車両２００の識別情報、ドローン１００の離着陸ポート４０１への着陸予定時刻情報及び着陸予定位置情報を有する着陸指令情報を含む。

制御部３１２は、入出力装置、記憶装置（ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ等）、時計、タイマ及び中央演算処理装置（ＣＰＵ）等を含んで構成され、通信制御部３０５を介して後述するドローン１００の飛行制御を行う機能を有する。
また、車載機３００には、車両２００に設けられた第２のＧＰＳセンサ３１３より、車両２００の現在位置情報が入力される。なお、第２のＧＰＳセンサ３１３については、例えば車両２００に搭載したナビゲーションシステムから車両２００の現在位置情報を取得してもよい。

図３は、本実施形態のドローン制御システムにおける飛行制御要領を示すフローチャートである。
本制御は、車載機３００及びドローン１００が共同して実行する。図３には、車両２００にドローン１００が格納された状態からドローン１００の離陸、撮影、車両２００への着陸までの制御要領が示されている。なお、図３の右側に記載したフローはドローン１００が実行する制御であり、図３の左側に記載したフローは車載機３００が実行する制御である。

車載機３００及びドローン１００の電源がオン状態で飛行制御を開始し、図３に示すステップＳ１０１に進む。
ステップＳ１０１では、車載機３００は、マイクロフォン３０９より離陸指令が入力した場合に、離陸指令情報をドローン１００に送信する。離陸指令情報は、離陸時刻、撮影場所、撮影時間等を含む。本ステップにおいて、音声認識部３０８は、マイクロフォン３０９から入力した作業者による音声を認識する。コマンド生成部３１０は、通信制御部３０５経由で音声認識部３０８より入力した音声認識情報に基づいて、コマンドテーブル３１１を用いて例えば撮影場所の緯度経度情報を取得し、制御コマンドを生成する。制御コマンドは、通信制御部３０５、機体制御用無線送信部３０３、送信アンテナ３０４を介して、ドローン１００に無線による離陸指令情報として送信される。そして、ステップＳ１０２に進む。

ステップＳ１０２では、ドローン１００の通信制御部１０４は、ステップＳ１０１において車載機３００側から送信した離陸指令情報を受信する。例えばポケットＷｉＦｉを使用してドローン１００と車載機２００間の通信用のＩＰアドレスは事前に固定しておき、同じネットワークとして常時接続可能状態としておくとよい。ドローン１００の通信制御部１０４は、離陸指令情報を受信するまで待機し、離陸指令情報を受信した場合には、ステップＳ１０３に進む。

ステップＳ１０３では、ドローン１００は、離陸指令情報として受信した離陸時刻に車両２００から離陸する。そして、ステップＳ１０４に進む。
ステップＳ１０４では、ドローン１００は、ステップＳ１０２で受信した離陸指令情報の撮影場所に向けて移動する。なお、本ステップにおいては、第１のＧＰＳセンサ１０２によって検出したドローン１００の位置が、離陸指令情報における撮影場所の上方位置となるように、機体制御コントローラ１０３を作動制御すればよい。そして、ステップＳ１０５に進む。

ステップＳ１０５では、ドローン１００は、目的地である撮影場所の上方位置に到着後に、カメラ１０１を用いて撮影場所の撮影を行う。そして、ステップＳ１０６に進む。
ステップＳ１０６では、ドローン１００は、カメラ１０１により撮影した画像データを通信制御部１０４、映像データ用無線送信部１０５、送信アンテナ１０６を経由して車載機３００に送信する。そして、ステップＳ１０７に進む。なお、本ステップにおける画像データ用の無線周波数は、例えば電波干渉の少ない５ＧＨz帯を使用するとよい。また、後述するステップＳ１１０において使用する機体制御用情報用の無線周波数は、例えば電波障害物に強い９２０ＭＨz帯や２ＧＨz帯を使用するとよい。また、これらの無線通信は、複数の周波数帯のうち、干渉の少ない周波数帯を自動的に選択して用いるとよい。これにより機体制御用情報通信用のエリアを映像データ通信用のエリアより大きく設定できドローン１００の機体制御を安定して可能となる一方、映像データについてはデータ量の多い鮮明な映像を受信することが可能となる。

ステップＳ１０７では、車載機３００は、受信アンテナ３０１を介して映像データ用無線受信部３０２によって映像データを受信する。映像データは通信制御部３０５を経由して表示部３０７に表示される。そして、ステップＳ１０８に進む。
ステップＳ１０８では、車載機３００は、離陸指令情報に含まれる撮影時間を経過した時点で着陸指令情報をドローン１００に送信する。着陸指令情報は、車両２００のＩＤ情報、ドローン１００の着陸予定時刻情報、着陸予定位置情報、車両２００の移動経路、移動速度を含み、機体制御用無線送信部３０３及び送信アンテナ３０４を介して送信される。そして、ステップＳ１０９に進む。

ステップＳ１０９では、ドローン１００は、受信アンテナ１０８を介して機体制御用無線受信部１０７によって、着陸指令を受信する。そして、ステップＳ１１０に進む。
ステップＳ１１０では、ドローン１００を自動的に離着陸ポート４０１に着陸させる自動着陸制御を行う。自動着陸制御の詳細は後述する。そして、ドローン１００の着陸が完了したら、ステップＳ１１１に進む。

ステップＳ１１１では、ドローン１００から車載機３００に、着陸完了したことを知らせる着陸完了信号を送信する。そして、ステップＳ１１２に進む。
ステップＳ１１２では、車載機３００が着陸を受信する。そして、本ルーチンを終了する。
以上の制御により、ドローン１００の離陸から、撮影、着陸までの制御が完了する。なお、本制御の後、即ちドローン１００の離着陸ポート４０１への着陸の後に、車両充電部４０３によってドローン１００のバッテリ１０９を自動的に充電させるとよい。

次に、図４〜図１３を用いて、上記ステップＳ１１０にて実行する自動着陸制御について詳細に説明する。
図４は、自動着陸制御時のドローン１００及び離着陸ポート４０１のイメージ図である。図４に示すように、離着陸ポート４０１には、着陸地点として、例えばＨマークが記載されている。本実施形態の自動着陸制御では、ドローン１００は着陸指令情報に基づいて第１のＧＰＳセンサ１０２及び第２のＧＰＳセンサ３１３の情報を用いて離着陸ポート４０１の上方まで移動する（第２の着陸制御）。そして、着陸位置の上方位置からドローン１００に搭載したカメラ１０１により撮影した画像を解析して離着陸ポート４０１のＨマーク上に自動着陸させる（第１の着陸制御）。

図５は、自動着陸制御の制御要領を示すフローチャートである。
図５に示すように、自動着陸制御は、始めにステップＳ２０１で、第１のＧＰＳセンサ１０２によるドローン１００の現在位置情報と、第２のＧＰＳセンサ３１３による車両２００の現在位置情報を使用して、離着陸ポート４０１の上方の所定高度(例えば５ｍ)まで移動する。本ステップでは、車載機３００において離着陸ポート４０１とドローン１００との相対位置及び相対距離を演算し、離着陸ポート４０１とドローン１００との相対位置に基づいて、ドローン１００の機体制御コントローラ１０３を制御して、ドローン１００を離着陸ポート４０１の上方の所定高度に向けて移動させる。そしてステップＳ２０２に進む。なお、本ステップにおいて第１のＧＰＳセンサ１０２による現在位置情報を使用して所定高度(所定距離)までドローンを移動させる制御が、本発明の第２の着陸制御に該当する。

ステップＳ２０２では、まず、ＡＩパターン認識部３０６において、ドローン１００に搭載したカメラ１０１によって撮影した下方の映像から着陸地点を認識する。
図６は、離着陸ポート４０１上の所定高度でのドローン１００のカメラ１０１による撮影画像の一例を示す
ドローン１００の撮影画像４１０は例えば写真のＬ版サイズ（89×127mm）とし、画素数は３０００×４０００（px）とする。そして、車載機３００は、図６に示すように、ドローン１００を、規定の位置（Ｈマーク上）に自動着陸させる際に、撮影画像内で認識された離着陸ポート４０１のＨマークのＱと撮影画像４１０の中心Ｃが重なるように移動させる。

なお、ドローン１００の移動距離は撮影画像４１０内と実空間とで異なるため、車載機３００は、以下のように、撮影画像４１０における画像内距離から実距離へ変換する演算を行う。
図７にカメラ撮影画像と実空間の関係を示す。
ドローン１００に搭載したカメラ１０１の位置Ａから離着陸ポート４０１上の実空間ＭＮＲＳを撮影した画像をＩＪＫＬとする。カメラ１０１の視野角をθ、実空間ＭＮＲＳ内の中心をＦ（本発明のカメラの下方位置に該当する）、撮影画像４１０（ＩＪＫＬ）内の中心をＣ（本発明の撮影画像の中心位置に該当する）、実空間ＭＮＲＳ内の着陸地点をＰ、撮影画像４１０内の着陸地点をＱとする。また、撮影画像ＩＪＫＬにおけるＩＪの中心をＢ、ＬＫの中心をＤ、実空間ＭＮＲＳにおけるＭＮの中心をＥ、ＲＳ方向の中心をＧとする。また、撮影画像ＩＪＫＬにおけるＣを中心とした直交座標を（ｘ,ｙ,ｚ）とする。

図７に示すように、中心と着陸地点との間の
実距離/画像内距離＝ＦＰ/ＣＱ＝ＥＧ/ＢＤ＝ＡＦ/ＡＣ・・・(1)
となる。一方、
ＢＣ/ＡＣ=tan(θ/２)・・・(2)
となる。(2)式より、
ＡＣ＝ＢＣ/tan(θ/２)・・・(3)
となる。上記式(1)、(3)より、
実距離ＦＰ＝画像内距離ＣＱ×（ＡＦ/ＡＣ）
＝画像内距離ＣＱ×（ＡＦ/ＢＣ）tan(θ/２)
＝画像内距離ＣＱ×２ＡＦ/(ＢＤ×tan(θ/２))・・・(4)
式(4)により、画像内距離ＣＱを実距離ＦＰに変換することができる。

例えばＡＦ＝５ｍ、ＢＤ＝１２７ｍｍ、ＡＣ＝５ｃｍとすれば、式(2)より、
θ=２Arctan(ＢＣ/ＡＣ)=１３７（度）
実距離ＦＰ＝画像内距離ＣＱ×６２・・・(5)
となる。なおＡＦ=２ｍの場合は、
実距離ＦＰ＝画像内距離ＣＱ×２４．８・・・(6)
となる。

このように、画像内距離ＣＱから実距離ＦＰを演算して、ドローン１００の高度ＡＦが０となるようにドローン１００を降下させながら、実距離ＦＰが０となるようにドローン１００を飛行制御する。なお、本ステップにおいてカメラ１０１の画像に基づいてドローン１００を着陸地点に向けて移動させる制御が、本発明の第１の着陸制御に該当する。そして、ステップＳ２０３に進む。

ステップＳ２０３では、ドローン１００の高度ＡＦが０以下であるか否かを判別する。高度ＡＦが０以下である場合には、ステップＳ２０４に進む。高度ＡＦが０より大きい場合には、ステップＳ２０２に戻る。
ステップＳ２０４では、ドローン１００の着陸完了とし、図３に示すステップＳ１１１に進む。

以上のように、本実施形態のドローン制御システムでは、離着陸ポート４０１の上方５ｍの所定位置まで、即ちドローン１００と離着陸ポート４０１との相対距離が５ｍ(所定距離)以上では、第１のＧＰＳセンサ１０２の情報を用いて離着陸ポート４０１の上方まで移動し、当該所定位置からはカメラ１０１により撮影した画像を解析して離着陸ポート４０１に自動着陸させる。これにより、離着陸ポート４０１の上方の所定位置から離着陸ポート４０１に着陸するまでは、カメラ１０１の撮影画像に基づいてドローン１００の着陸制御を行うので、ドローン１００精度よく離着陸ポート４０１に着陸させることができる。

また、ドローン１００が離着陸ポート４０１の上方の所定位置までは、第１のＧＰＳセンサ１０２によるドローン１００の位置情報に基づいて移動させるので、広い範囲でドローン１００を制御することが可能となる。
ところで、ドローン１００の飛行制御（フライトコントロール）として広く使用されているプロポーショナルシステムでは、図８に示すピッチ、ロール、ヨーと、直交座標（ｘ,ｙ,ｚ）、即ちＸＹＺ直交座標軸上の移動量を用いて制御が行われる。ピッチはドローン１００のＹ軸を中心とした傾き角の値であり、この値に応じて機体が前後に傾く。ロールはドローン１００のＸ軸を中心とした傾き角の値であり、この値に応じて機体が左右に傾く。ヨーは、ドローン１００のＺ軸を中心とした傾き角の値で、この値に応じて機体が回転する仕様となっている。また、直交座標（ｘ,ｙ,ｚ）の値に応じてドローン１００の移動量をコントロールしている。

本実施形態では、プロポーショナルシステムにより飛行制御されるドローン１００を使用し、図７で算出した（ｘ,ｙ,ｚ）面での移動を、プロポーショナルシステムにおける制御情報と互換性のあるｘ,ｙ,ｚ軸周りの角度θ,φ,ψと移動距離に変換して、ドローン１００への飛行制御入力とする。
図９は、ドローン１００の回転角度からの制御入力値の算出用のマップの一例である。図１０は、ドローン１００の移動距離からの制御入力値の算出用のマップの一例である。ドローン１００の回転角度や移動距離とドローン１００への制御入力値は事前に実測しておいた換算式を参照する。図９の換算は、回転角度をα（度）、移動距離をｄ(ｍ)とした場合、例えば、
回転角度（α度）に対応する制御入力値＝０．０５α・・・(7)
移動距離を（ｄm) に対応する制御入力値＝０．０３ｄ²＋０．０２ｄ・・・(8)
で与えられる。

式(7)、(8)の換算式を用いて、（ｘ,ｙ,ｚ）面での移動と(θ,φ,ψ)方向での回転に対する制御入力値を算出できる。式(7)、(8)の換算式を用いて制御入力をプロポーショナルシステムが使用するものと同じインタフェースにしてドローン１００を流用することができ、経済的にドローン１００の制御システムを構築することができる。
なお、上記式（8）に示すように、移動距離と制御入力値とは二次関数の関係となっており、移動距離が小さくなるほど制御入力値が比例関係の場合よりも小さくなるように設定される。したがって、ドローン１００が着陸地点に近づくほどドローン１００の移動量を抑え、滑らかな着地を実現することができる。

また、ドローン１００は、カメラ１０１の撮影画像を無線通信を介して車載機３００に送信し、車両２００に配置された車載機３００によって、撮影画像の認識、ドローン１００の着陸制御を行うための演算、制御コマンドの生成等が行われ、車載機３００から無線通信を介して制御コマンドをドローン１００に送信して、ドローン１００の飛行制御を行うので、ドローン１００側での演算、制御負荷を低減することができ、ドローン１００の流用性を向上させることができる。

また、制御コマンドは、車両２００の識別情報を備えているので、カメラ１０１の撮影画像から複数の車両が認識されたり、着陸制御中に車両２００が移動したりしても、着陸目標となる車両を容易に特定することができ、迅速な着陸を可能にすることができる。
また、ドローン１００のカメラ１０１によって着陸地点を撮影すると、ドローン１００の高度が低くなり着陸地点が近くなるにしたがって、着陸目標であるＨマークの撮影画像におけるサイズが大きくなる。図６で高度ＡＦが１/２になると、式(5)、式(6)より撮影画像４１０での離着陸ポート４０１のＨマークの面積は４倍になることから、ＡＩパターン認識部３０６における画像認識の処理が同じ処理方法であると４倍になる。

これに対して、ステップＳ２０２において、本実施形態のＡＩパターン認識部３０６は、注目領域（ROI;Region of interest）に応じたリサイズ化、ピクセルサイズの削減、ＨＤ（High Definition）からＳＤ(Standard Definition )への切換えを行うとよい。このように、着陸地点とドローン１００との相対距離に基づいて画素数を変更する等、画像認識の処理方法を切換えることで、ＡＩパターン認識部３０６における画像認識時間を短縮させることができる。

また、ＡＩパターン認識部３０６は、認識対象画像のリサイズ化、グレースケール処理をするとよい。
図１１にＡＩパターン認識部３０６での認識対象画像のリサイズ化（等倍から０．１倍まで）による処理時間の測定結果例を示す。
図１１で認識対象画像（図６のＨマークの部分）を等倍から０．５倍、０．１倍に縮小することで、処理時間は９．３秒から３．３秒、１．１秒に短縮される。

図１２には、認識対象画像をそのままカラー画像として認識処理する場合（Raw）とグレースケール（Grey）処理して認識処理する場合の処理時間の差の一例を示す。なお、図１２中の処理時間差は、グレースケール処理の処理時間からカラー画像処理の処理時間を減算した値である。
図１２に示すように、概ね画像の倍率が０.６倍より小さくなればグレースケール（Grey）処理はカラー処理（Raw）より処理時間が短くなる。

一般に、ＡＩパターン認識部３０６で、カラー画像をグレースケールに変換する処理時間の増加と、グレースケールにすることで、輝度勾配による特徴量抽出（HOG;(Histograms of Oriented Gradients)処理が短縮される効果のトレードオフとなる。そして、画像の倍率が例えば０．６倍より小さくなるとグレースケールに変換する処理時間の増加分より、グレースケールにより輝度勾配による特徴量抽出処理時間が短縮される。このように、所定の倍率の範囲において撮影画像をグレースケールに変換してから、画像認識させることで、ＡＩパターン認識部３０６における画像認識時間を短縮させることができる。

また、ＡＩパターン認識部３０６で対象画像を認識する場合、識別機に学習させた画像と撮影された画像の傾きが小さいほうが、識別機に学習させるサンプル数が小さくなり、正解画像と判断するに要する時間を短くできる。
そこで、ＡＩパターン認識部３０６は、撮影画像の傾きを減少させてから画像認識を行うようにするとよい。

図１３には、離着陸ポート４０１のＨマークの対角線上の２点に、マーカー４０５を配置した例を示す。対角線上の２点であるマーカー４０５の撮影画像上での座標からＨマークの回転角度を算出でき、得られた角度分だけ撮影画像を回転させることで、回転位置をそのままにした撮影画像からＨマークを認識する場合よりも、撮影画像の認識時間を短くすることができる。なお、Ｈマークに配置するマーカー４０５は座標情報を含むＱＧコード型にしてもよいし、車両ＩＤを含めてもよい。

以上のように、ＡＩパターン認識部３０６における画像認識時間を短縮させることで、自動着陸制御において、撮影画像４１０から実距離の算出を短時間に行うことができ、離着陸ポート４０１のＨマークの中心Ｑへ向かって降下させるドローン１００の飛行制御を正確に行うことができる。また、認識、制御時間を短縮させることで、車両２００が移動していても、ドローン１００を車両２００の離着陸ポート４０１に正確に着陸させることが可能となる。

なお、本願発明は、上記実施形態に限定するものではない。上記実施形態では離着陸ポート４０１（着陸地点）を車両２００のルーフ上に設けた場合を記載したが、離着陸ポート４０１（着陸地点）を車両２００の側方に設けてもよい。また、例えば、上記の自動着陸制御における各制御入力値の算出、画像のリサイズ、色処理等の詳細については適宜変更してもよい。

１００ ドローン
１０１ カメラ
１０２ 第１のＧＰＳセンサ
１０３ 機体制御コントローラ（機体制御部）
２００ 車両
３００ 車載機（制御部）
３１３ 第２のＧＰＳセンサ
４０１ 離着陸ポート（着陸地点）

Claims (7)

1. 任意の方向に飛行可能な無人飛行体を、車両に設けられた着陸地点に着陸させる無人飛行体の制御システムであって、
   前記無人飛行体に設けられ当該無人飛行体の周囲を撮影するカメラと、
   前記無人飛行体の飛行制御を行う機体制御部と、
   前記カメラの撮影画像より前記着陸地点の前記撮影画像での位置を抽出し、前記無人飛行体を前記着陸地点から、前記カメラの位置に対応する前記撮影画像の中心位置と前記着陸地点の前記撮影画像での位置との差を減少するように前記機体制御部を制御して、前記無人飛行体を前記着陸地点に着陸させる第１の着陸制御を実行する制御部と、を備えたことを特徴とする無人飛行体の制御システム。
2. 前記制御部は、前記車両に配置され、
   前記無人飛行体は、前記カメラの撮影画像を無線通信を介して前記機体制御部に送信し、
   前記制御部は、前記無人飛行体の機体を飛行制御する制御コマンドを無線通信を介して前記機体制御部に送信することを特徴とする請求項１に記載の無人飛行体の制御システム。
3. 前記制御コマンドは、少なくとも前記車両の識別情報、前記無人飛行体の前記着陸地点への着陸予定時刻情報及び着陸予定位置情報を有する着陸指令情報を含むことを特徴とする請求項２に記載の無人飛行体の制御システム。
4. 前記無人飛行体は、プロポーショナルシステムによって飛行制御可能であり、
   前記制御コマンドは、前記プロポーショナルシステムによる制御情報と互換性のあるロール、ピッチ、ヨーとＸＹＺ直交座標軸上の移動量に関する情報を含むことを特徴とする請求項２または３に記載の無人飛行体の制御システム。
5. 前記無人飛行体の位置を検出する第１のＧＰＳセンサと、
   前記車両の位置を検出する第２のＧＰＳセンサと、を備え、
   前記制御部は、前記第１のＧＰＳセンサ及び第２のＧＰＳセンサの検出値に基づいて前記着陸地点と前記無人飛行体との相対位置及び相対距離を演算し、前記相対位置に基づいて、前記無人飛行体を前記着陸地点に向けて移動するように前記機体制御部を制御する第２の着陸制御を実行可能であり、
   前記無人飛行体を前記着陸地点に着陸させる際に、前記相対距離が所定距離以上の場合には前記第２の着陸制御により前記機体制御部を制御し、前記相対距離が所定距離未満の場合には前記第１の着陸制御により前記機体制御部を制御することを特徴とする請求項１から４のいずれか１項に記載の無人飛行体の制御システム。
6. 前記制御部は、前記第１の着陸制御の際に、前記着陸地点と前記無人飛行体との相対距離に基づいて、前記カメラによって撮影する画像の画素数を変更することを特徴とする請求項１から５のいずれか１項に記載の無人飛行体の制御システム。
7. 前記無線通信は、複数の周波数帯のうち、干渉の少ない周波数帯を自動的に選択して用いられることを特徴とする請求項２に記載の無人飛行体の制御システム。

Images