JP2020194590A - 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム - Google Patents

Abstract

【課題】無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影できる飛行高度制御装置を提供する。【解決手段】サーバ装置１は、カメラ２２が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識するマーカー認識部１２と、複数のマーカーにより形成される多角形の面積を算出する面積計算部１３と、多角形の面積が最大になるように無人飛行体２の飛行高度を制御する飛行高度制御部１５とを備える。【選択図】図２

Description

本開示は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムに関するものである。

従来の無人飛行体（ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥ）の飛行制御方法としては、人間の操縦者が、無人飛行体を目視しながら、無人飛行体を操縦することが一般的であり、操縦時の飛行高度は、操縦者の目視により制御されている。

また、従来の無人飛行体の飛行高度の制御方法として、予め設定された高度でホバリング動作を制御するものがある（例えば、特許文献１参照）。この特許文献１に記載の航空映像情報の収集方法では、地上の基準地点と無人飛行体との距離（高度）を測定して、飛行を制御する技術が開示されている。

特開２００６−２７３３１号公報

しかしながら、上記の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを開示しているが、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度の制御に関して、さらなる改善が必要とされていた。

本開示は、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影できる飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムを提供することを目的とする。

本開示の一態様による飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。

本開示によれば、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。

本開示の実施の形態１における飛行高度制御システムの構成の一例を示すブロック図である。 図１に示すサーバ装置及び無人飛行体の構成の一例を示すブロック図である。 図２に示す無人飛行体の外観の一例を示す図である。 図２に示すマーカー数記憶部が保持するデータの一例を示す図である。 図２に示す無人飛行体が複数の地上ロボットを撮影している状態の一例を示すイメージ図である。 図５に示す地上ロボットをマーカーとした場合の多角形の一例を示す図である。 図２に示すサーバ装置の飛行高度制御処理の一例を示すフローチャートである。 本開示の実施の形態２における飛行高度制御システムの構成の一例を示すブロック図である。 図８に示すサーバ装置の飛行高度制御処理の一例を示す第１のフローチャートである。 図８に示すサーバ装置の飛行高度制御処理の一例を示す第２のフローチャートである。 本開示の実施の形態３における飛行高度制御システムの構成の一例を示すブロック図である。 図１１に示す表示部に表示される入力画面の一例を示す図である。 図１１に示すマーカー選択部が保持するデータの一例を示す図である。 図１１に示すサーバ装置の飛行高度制御処理の一例を示す第１のフローチャートである。 図１１に示すサーバ装置の飛行高度制御処理の一例を示す第２のフローチャートである。

（本開示の基礎となった知見）
本開示は、撮影装置（例えば、カメラ）を搭載した無人飛行体の飛行高度を制御する飛行高度制御システムに関する。本飛行高度制御システムは、例えば、災害時など被災地において、地上展開／配置されたロボット、人間等が、救助などの活動を行う際に、被災地の上空を飛行する無人飛行体がカメラを用いて被災地を撮影し、撮影した画像に基づき活動に必要な被災地の情報を共有するために使用されるシステムである。

複数のロボットや人間が連携して活動を行う場合、これらロボット又は人間自身の状況や、これらロボット又は人間の周辺状況などを把握することが必要となる。つまり、地上展開／配置されたロボット又は人間等を撮影対象として、必要な情報を取得することが求められる。

無人飛行体に搭載されたカメラで、被災地など観測対象である地上を適切に撮影するためには、ユーザが撮影したい注目領域を適切に撮影できる高度を判定して、無人飛行体の飛行高度を制御する必要がある。しかしながら、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、予め適切なルートや高度を決定しておことは困難である。

上記の従来の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを行っており、撮影対象となる地上の物体を適切に撮影するためには、ユーザが適切な高度を予め設定しなければならないため、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、撮影対象となる地上の物体を適切に撮影することができないという課題を有していた。

上記課題を解決するために、本開示の一態様に係る飛行高度制御方法は、例えば、地上展開／配置されたロボット又は人間そのものを、高度の設定のための目印すなわちマーカーとして利用し、このことで、地上に配置されたマーカーを用いて、無人飛行体の飛行高度を自動調整することができるようになる。これにより、無人飛行体に搭載されたカメラは、無人飛行体の飛行高度を自動調整することで、ロボット又は人間等の地上の物体のうち、撮影すべき全ての物体が最も拡大して撮影される領域として、マーカーにより決定された注目領域を適切に撮影することを可能とする。

本開示の一態様に係る飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。

このような構成により、撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、複数のマーカーにより形成される多角形の面積を算出し、多角形の面積が最大になるように無人飛行体の飛行高度を制御しているので、地上のマーカーにより指定された注目領域を適切に撮影することができる。この結果、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。

上記飛行高度制御装置は、前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。

このような構成により、認識されている複数のマーカーの個数と、予め記憶されている登録マーカー数とを比較し、複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、登録マーカー数により指定された注目領域を適切に撮影することができる。また、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。

前記撮影装置は、ズーム動作可能なズーム撮影装置を含み、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御するようにしてもよい。

このような構成により、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、無人飛行体の飛行高度を現在の飛行高度に維持した状態で撮影装置が撮影した映像から複数の物体を複数のマーカーとして認識し、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、高度維持時面積が最大になるようにズーム撮影装置のズーム比を制御しているので、無人飛行体の飛行高度を維持しながら、ズーム撮影装置のズーム比の制御により、登録マーカー数により指定された注目領域を適切に撮影することができる。

前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御するようにしてもよい。

このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、ズーム撮影装置がズームアウトするので、ズーム撮影装置のズームアウト動作により、撮影されるマーカーの個数を増加させて登録マーカー数に一致させることができ、登録マーカーの個数により指定された注目領域を適切に撮影することができる。

前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を上昇する制御を行うようにしてもよい。

このような構成により、ズーム撮影装置がズームアウトできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、ズーム撮影装置がズームアウトできない場合でも、登録マーカー数により指定された注目領域を適切に撮影することができる。

前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記高度維持時面積が前回算出した高度維持時面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御するようにしてもよい。

このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、現在の高度維持時面積が前回算出した高度維持時面積より小さい場合、ズーム撮影装置がズームインするので、ズーム撮影装置のズームイン動作により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。

前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。

このような構成により、ズーム撮影装置がズームインできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。

上記飛行高度制御装置は、前記複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得する取得部をさらに備え、前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出するようにしてもよい。

このような構成により、複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得し、撮影装置が撮影した映像から複数の認識対象マーカーを複数のマーカーとして認識し、複数の認識対象マーカーにより形成される多角形の面積を算出しているので、ユーザが選択した複数の物体により指定された注目領域を適切に撮影することができる。

前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得するようにしてもよい。

このような構成により、撮影した映像に重畳して複数のマーカーを表示し、表示されている複数のマーカーの中からユーザにより選択された複数のマーカーを複数の認識対象マーカーとして取得しているので、ユーザは、撮影した映像から任意のマーカーを選択するという簡便な操作で、所望の領域を注目領域として容易に指定することができる。

本開示の他の態様に係る無人飛行体は、地上を撮影する撮影装置と、上記のいずれかに記載の飛行高度制御装置とを備える。この場合、上記の飛行高度制御装置と同様の効果を奏することができる。

また、本開示は、以上のような特徴的な構成を備える飛行高度制御装置又は無人飛行体として実現することができるだけでなく、飛行高度制御装置が備える特徴的な構成に対応する特徴的な処理を実行する飛行高度制御方法などとして実現することもできる。また、このような飛行高度制御方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の飛行高度制御装置と同様の効果を奏することができる。

本開示の他の態様に係る飛行高度制御方法は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御方法であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する。

本開示の他の態様に係る飛行高度制御プログラムは、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置として、コンピュータを機能させるための飛行高度制御プログラムであって、前記コンピュータに、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、処理を実行させる。

そして、上記のようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示の一実施の形態に係る飛行高度制御装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すためのものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。

以下、本開示の各実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本開示の実施の形態１に係る飛行高度制御システムは、地上に配置された自律移動するロボット（地上ロボット）をマーカーとし、無人飛行体に搭載された撮影装置が撮影する映像内に全てのマーカーを捉えるよう無人飛行体の飛行高度を制御する。

図１は、本開示の実施の形態１における飛行高度制御システムの構成の一例を示すブロック図である。図１に示す飛行高度制御システムは、サーバ装置１と、無人飛行体２とを備え、サーバ装置１と無人飛行体２とは、有線又は無線のネットワークＮＷを介して接続され、種々の情報を相互に通信可能に構成されている。なお、ユーザ（操縦者）が外部の制御装置（操縦器）を用いて無人飛行体２を遠隔制御する場合、操縦器も、ネットワークＮＷ等を介して接続され、種々の情報を相互に通信可能に構成される。この点については、他の実施の形態も同様である。

サーバ装置１は、飛行高度制御装置としての機能を備える。具体的には、サーバ装置１は、無人飛行体２に搭載された撮影装置の一例であるカメラが撮影した映像を、ネットワークＮＷを介して受信し、無人飛行体２の飛行高度を判定し、無人飛行体２の飛行高度の制御を行う。

図２は、図１に示すサーバ装置１及び無人飛行体２の構成の一例を示すブロック図であり、図３は、図２に示す無人飛行体の外観の一例を示す図である。なお、図２では、図示を容易にするため、ネットワークＮＷの図示を省略している。この点については、他の実施の形態も同様である。

図２において、サーバ装置１は、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、及びマーカー数記憶部１６を備える。無人飛行体２は、通信部２１、カメラ２２、飛行制御部２３、及び駆動部２４を備える。

無人飛行体２の通信部２１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１の通信部１１との間の通信を行い、カメラ２２が撮影した映像等を通信部１１に送信し、サーバ装置１が生成した種々の制御コマンド等を通信部１１から受信する。

カメラ２２は、無人飛行体２に搭載され、無人飛行体２の下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ２２として、固定焦点レンズのカメラを用いる例を示している。カメラ２２は、通信部２１を介して、撮影した映像（映像データ）を通信部１１に送信する。

ここで、図３を参照して、無人飛行体２は、上記の構成に加えて、本体２５、４本の支持部２６、無人飛行体２の推進力を発生させる４個の駆動部２４（図２に示す駆動部２４）を備える。なお、図２では、図示を容易にするため、４個の駆動部２４を一つのブロックで図示している。この点については、他の実施の形態も同様である。

本体２５の底部には、カメラ２２が取り付けられている。駆動部２４は、本体２５から四方へ延在する支持部２６の先端に取り付けられる。本体２５の内部には、図２に示す通信部２１及び飛行制御部２３が収納されている。

再び、図２を参照して、飛行制御部２３は、無人飛行体２の飛行高度を含む飛行状態を制御する。駆動部２４は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部２３は、駆動部２４のプロペラの回転数を適宜制御することで、無人飛行体２の移動方向や飛行高度等を制御する。なお、図３では、無人飛行体２は、４個の駆動部２４を有しているが、これに限定されず、例えば、５個以上の駆動部を用いてもよい。この点については、他の実施の形態も同様である。

サーバ装置１のマーカー認識部１２は、通信部２１を介して、カメラ２２が撮影した映像を取得し、カメラ２２により撮影された地上ロボットをマーカーとして認識する。例えば、マーカー認識部１２は、人物又は地上ロボット等の物体を認識するような画像処理装置から構成され、マーカーとなる地上ロボットや人物に特定のランプや発光体を取り付け、ランプや発光体を点灯又は点滅させることにより、カメラ２２により撮影された映像からランプや発光体を検出し、地上ロボットや人物をマーカーとして認識する。

なお、マーカー認識部１２の構成は、上記の例に特に限定されず、人物又は地上ロボット等の物体にＱＲコード（登録商標）などのバーコードのような印を配置又は貼り付け、バーコードのような印を検出することにより、地上ロボットや人物等の物体をマーカーとして認識するようにしてもよい。また、マーカーとして認識する物体は、上記の例に特に限定されず、種々の作業ロボット、緊急車両（消防車、救急車、警察車両等）、工事車両（ブルドーザー、ショベルカー、クレーン車等）等であってもよい。これらの点に関しては、他の実施の形態も同様である。

マーカー数記憶部１６は、予め設定されたマーカーの数を登録マーカー数として記憶する。図４は、マーカー数記憶部１６が保持するデータの一例を示す図である。図４に示すように、地上に展開する地上ロボットの数は、マーカー数記憶部１６に事前に記憶され、本例では、登録マーカー数として、例えば、５個が記憶されている。

マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー数記憶部１６に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２により撮影された映像と比較結果とを面積計算部１３に出力する。

面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー数記憶部１６に予め登録された登録マーカー数と一致する場合、カメラ２２により撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。ここで、多角形の面積としては、マーカーにより形成される映像上の多角形の面積を計算してもよい。

最大値検知部１４は、飛行高度制御部１５により無人飛行体２の飛行高度が制御されている状態で、面積計算部１３により計算された多角形の面積が最大であるか否かを検知する。具体的には、最大値検知部１４は、面積計算部１３が計算した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部１５に出力する。

飛行高度制御部１５は、マーカー認識部１２の比較結果及び最大値検知部１４の比較結果を基に、多角形の面積が最大になるように、カメラ２２を搭載した無人飛行体２の飛行高度を制御する。具体的には、飛行高度制御部１５は、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２の飛行高度を上昇するように、無人飛行体２の飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２に送信する。また、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２の飛行高度を下降するように、無人飛行体２の飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２に送信する。

無人飛行体２の通信部２１は、サーバ装置１からの制御コマンドを受信して飛行制御部２３に出力する。飛行制御部２３は、制御コマンドに従って駆動部２４を制御し、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２の飛行高度を上昇させる。また、飛行制御部２３は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２の飛行高度を下降させる。

上記のように、サーバ装置１の飛行高度制御部１５は、無人飛行体２に対して高度を制御する命令（制御コマンド）を送信し、無人飛行体２は、受信した命令に従って自機器の高度を制御する。また、サーバ装置１は、無人飛行体２のカメラ２２が撮影した映像を受信し、受信した映像を用いて分析した結果を、複数の地上ロボットが連携して活動する上で必要となる情報として、種々の装置等（図示省略）に提供する。

なお、本実施の形態では、サーバ装置１が飛行高度制御装置として機能する例について説明したが、無人飛行体２が飛行高度制御装置としての機能を備える構成であってもよい。この場合、無人飛行体２は、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、及びマーカー数記憶部１６をさらに備え、搭載されたカメラ２２が撮影した映像を用いて、自機器の高度の制御を行う。また、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、飛行高度制御装置としても機能するようにしてもよい。これらの点については、他の実施の形態も同様である。

上記の構成により、無人飛行体２は、飛行している位置の下方の映像を常にカメラ２２で撮影している。無人飛行体２の下方には、マーカーとなる複数の地上ロボットが地上に展開されており、サーバ装置１は、カメラ２２がこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。

図５は、図２に示す無人飛行体２が複数の地上ロボットを撮影している状態の一例を示すイメージ図である。図５に示す例は、無人飛行体２が上空を飛行し、飛行している位置の下方に、５台の地上ロボット４が配置されている例である。各ロボット４は、例えば、ランプ４１を備え、ランプ４１を所定の発光色で点灯させる。このとき、無人飛行体２は、飛行している位置の下方の映像を常にカメラ２２で撮影し、サーバ装置１は、撮影された映像から、５台の地上ロボット４のランプ４１をマーカーとして認識し、無人飛行体２のカメラ２２が撮影可能な領域である注目領域ＡＡ内に５台の地上ロボット４のランプ４１がすべて入るように、無人飛行体２の飛行高度を制御する。

図６は、図５に示す地上ロボット４をマーカーとした場合の多角形の一例を示す図である。図６に示すように、サーバ装置１は、５台の地上ロボット４のランプ４１をマーカーＭ１〜Ｍ５として認識し、５個のマーカーＭ１〜Ｍ５から形成される多角形ＰＳの面積を算出する。

ここで、本実施の形態において、無人飛行体２の飛行高度が低ければ、カメラ２２において撮像されるマーカーの数は、予め設定されるマーカーの数（登録マーカー数）に届かないことが想定される。すなわち、マーカー数を頂点とする多角形を描いていないことになる。

このため、サーバ装置１は、初期状態として、マーカーの数が登録マーカー数になるまで無人飛行体２の飛行高度を上昇させる。このことにより、マーカー数を頂点の数とする多角形が得られることとなる。無人飛行体２が単調に飛行高度を上昇させていく過程で、カメラ２２は、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２がマーカーを捉えると、マーカー認識部１２は、地上ロボット４をマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体２は上昇する。

無人飛行体２が上昇を続け、マーカーの数が登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部１３は、マーカーが形成する多角形の面積を算出する。

これ以降は、多角形の面積は、無人飛行体２の飛行高度と関連し、無人飛行体２の飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２の飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２の画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できないという状態となる。

このとき、飛行高度制御部１５は、無人飛行体２の飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２によって撮影された多角形の面積が最大となるように無人飛行体２の飛行高度を定める。また、マーカーである地上ロボット４は、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を順次比較し、飛行高度制御部１５は、マーカーの描く多角形の面積が最大になるように無人飛行体２の飛行高度を制御する。

次に、図２に示すサーバ装置１の飛行高度制御処理について、図７のフローチャートを使って説明する。図７は、図２に示すサーバ装置１の飛行高度制御処理の一例を示すフローチャートである。

図７において、まず、サーバ装置１は、飛行高度制御処理を開始する（ステップＳ１０１）。次に、ステップＳ１０２において、マーカー認識部１２は、カメラ２２が撮影した映像を取得して、マーカーを認識する。

次に、ステップＳ１０３において、マーカー認識部１２は、認識したマーカーの数と、マーカー数記憶部１６に予め記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ１０７に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、無人飛行体２の飛行高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２の飛行高度を制御する。

一方、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ１０４に遷移する。ステップＳ１０４では、面積計算部１３は、カメラ２２により撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。

続いて、ステップＳ１０５では、最大値検知部１４は、前回の多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ１０４で計算された今回の多角形の面積とを比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ１０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２の飛行高度を制御する。

一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、ステップＳ１０１に遷移し（ステップＳ１０８）、以降の処理を繰り返す。

なお、初期状態として、無人飛行体２の操縦者のマニュアル操作により、無人飛行体２を予め全マーカーを捉える高度に上昇させた後、図７に示した処理を実施してもよい。また、最大値検知部１４では、前回の多角形の面積の初期値を「０」とする。これらの点については、他の実施の形態も同様である。

上記の処理により、サーバ装置１は、無人飛行体２に搭載されたカメラ２２を用いて撮影された地上ロボット４をマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２を飛行させる。これにより、無人飛行体２の飛行高度が、搭載されたカメラ２２を用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。

なお、本実施の形態において、マーカーとして地上ロボットを用いたが、ロボットでない物体であっても、マーカー認識部１２がマーカーと認識できるものであれば、いかなるものをマーカーとしてもよい。この点については、他の実施の形態も同様である。

（実施の形態２）
本開示の実施の形態２に係る飛行高度制御システムは、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。

図８は、本開示の実施の形態２における飛行高度制御システムの構成の一例を示すブロック図である。なお、図８において、図２と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。

図８において、本実施の形態の飛行高度制御システムは、サーバ装置１ａと、無人飛行体２ａとを備える。サーバ装置１ａは、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、マーカー数記憶部１６、及びズーム比制御部１７を備える。無人飛行体２ａは、通信部２１、カメラ２２ａ、飛行制御部２３、駆動部２４及びカメラ制御部２７を備える。

無人飛行体２ａの通信部２１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１ａの通信部１１との間の通信を行い、カメラ２２ａが撮影した映像等を通信部１１に送信し、サーバ装置１ａが生成した種々の制御コマンド等を通信部１１から受信する。

カメラ２２ａは、無人飛行体２ａに搭載され、無人飛行体２ａの下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ２２ａとして、ズームレンズ搭載のカメラ（ズームレンズカメラ）を用いる例を示している。カメラ２２ａは、通信部２１を介して、撮影した映像（映像データ）を通信部１１に送信する。

無人飛行体２ａは、図３に示す無人飛行体２と同様の外観を有し、本体２５（図示省略）の底部に、カメラ２２ａが取り付けられている。駆動部２４は、本体２５から四方へ延在する支持部２６（図示省略）の先端に取り付けられる。本体２５の内部には、図８に示す通信部２１、飛行制御部２３、及びカメラ制御部２７が収納されている。

飛行制御部２３は、無人飛行体２ａの飛行高度を含む飛行状態を制御する。駆動部２４は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部２３は、駆動部２４のプロペラの回転数を適宜制御することで、無人飛行体２ａの移動方向や飛行高度等を制御する。カメラ制御部２７は、カメラ２２ａのズーム動作を制御する。

サーバ装置１ａのマーカー認識部１２は、通信部２１を介して、カメラ２２ａが撮影した映像を取得し、カメラ２２ａにより撮影された地上ロボットをマーカーとして認識する。

マーカー数記憶部１６は、予め設定されたマーカーの数を登録マーカー数として記憶する。例えば、マーカー数記憶部１６は、図４に示すデータ（登録マーカー数）を保持し、地上に展開する地上ロボットの数は、マーカー数記憶部１６に事前に登録されている。

マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー数記憶部１６に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２ａにより撮影された映像と比較結果とを面積計算部１３に出力する。

面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー数記憶部１６に予め登録された登録マーカー数と一致する場合、カメラ２２ａにより撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。

最大値検知部１４は、飛行高度制御部１５により無人飛行体２ａの飛行高度が制御されている状態で、多角形の面積が最大であるか検知する。具体的には、最大値検知部１４は、面積計算部１３が算出した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部１５に出力する。

飛行高度制御部１５は、マーカー認識部１２の比較結果及び最大値検知部１４の比較結果を基に、多角形の面積が最大になるように、カメラ２２ａを搭載した無人飛行体２ａの飛行高度を制御する。具体的には、飛行高度制御部１５は、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２ａの飛行高度を上昇するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。また、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２ａの飛行高度を下降するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。さらに、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体２ａの飛行高度を維持するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。

ズーム比制御部１７は、無人飛行体２ａに搭載されたカメラ２２ａのズーム比を制御する。具体的には、マーカー認識部１２は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態でカメラ２２ａが撮影した映像から、複数の地上ロボットを複数のマーカーとして認識する。面積計算部１３は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出する。ズーム比制御部１７は、高度維持時面積が最大になるように、カメラ２２ａのズーム比を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。

また、ズーム比制御部１７は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、カメラ２２ａがズームアウトするようにカメラ２２ａを制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。ここで、カメラ２２ａがズームアウトできない場合、ズーム比制御部１７は、カメラ２２ａの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部１５は、無人飛行体２ａの飛行高度を上昇する制御コマンドを作成し、通信部１１を介して、それぞれ作成した制御コマンドを無人飛行体２ａに送信する。

さらに、ズーム比制御部１７は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、高度維持時面積が前回算出した高度維持時面積より小さい場合、カメラ２２ａがズームインするようにカメラ２２ａを制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。ここで、カメラ２２ａがズームインできない場合、ズーム比制御部１７は、カメラ２２ａの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部１５は、無人飛行体２ａの飛行高度を下降する制御コマンドを作成し、通信部１１を介して、それぞれ作成した制御コマンドを無人飛行体２ａに送信する。

なお、ズーム比制御部１７の構成は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ズーム比制御部１７を省略し、飛行高度制御部１５がズーム比制御部１７の機能を実行してもよい。

上記の構成により、無人飛行体２ａは、飛行している位置の下方の映像を常にカメラ２２ａで撮影している。無人飛行体２ａの飛行高度と、カメラ２２ａに搭載されているズームレンズのズーム比とに応じて、無人飛行体２ａのカメラ２２ａが撮影する領域が変化する。つまり、無人飛行体２ａがズームレンズをテレ（望遠）側からワイド（広角）側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体２ａがズームレンズをワイド（広角）側からテレ（望遠）側にズームインさせていくと、撮影される領域が狭くなる。

本実施の形態では、初期状態として、カメラ２２ａのズーム比をワイド側の最大値（ワイド端）、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体２ａの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ２２ａがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図５及び図６で説明した状況と同様である。

ここで、本実施の形態において、無人飛行体２ａの飛行高度が低ければ、カメラ２２ａにおいて撮像されるマーカーの数は、予め設定されるマーカーの数（登録マーカー数）に届かないことが想定される。

このため、サーバ装置１ａは、初期状態として、マーカーの数が登録マーカー数になるまで、無人飛行体２ａの飛行高度を上昇させる。無人飛行体２ａが単調に飛行高度を上昇させていく過程で、カメラ２２ａは、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２ａがマーカーを捉えると、マーカー認識部１２は、地上ロボットをマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体２ａは上昇をする。

無人飛行体２ａが上昇を続け、マーカーの数が、登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部１３は、マーカーを頂点として形成する多角形の面積を算出する。

これ以降は、多角形の面積は、無人飛行体２ａの飛行高度と関連し、無人飛行体２ａの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２ａの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２ａの画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる。

また、多角形の面積は、カメラ２２ａのズームレンズのズーム比と関連し、ズームアウト（テレ側からワイド側への移行）すると、多角形の面積は減少する。一方、ズームイン（ワイド側からテレ側への移行）すると、多角形の面積は増大し、やがて、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる可能性がある。ただし、無人飛行体２ａが十分に高い高度で飛行していた場合は、カメラ２２ａのズーム比をテレ端（テレ側に最大までズームした状態）まで変化させても、多角形を描いていることはあり得る。

このとき、飛行高度制御部１５は、無人飛行体２ａの飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａの飛行高度を定める。

この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部１７は、マーカーの描く多角形の面積（高度維持時面積）が最大になるようにカメラ２２ａのズーム比を制御する。

次に、図８に示すサーバ装置１ａの飛行高度制御処理について、図９及び図１０のフローチャートを使って説明する。図９及び図１０は、図８に示すサーバ装置１ａの飛行高度制御処理の一例を示す第１及び第２のフローチャートである。ここでは、カメラ２２ａのズーム比をワイド側に設定した状態で、無人飛行体２ａを上昇させる。

図９において、まず、サーバ装置１ａは、飛行高度制御処理を開始する（ステップＳ３０１）。次に、ステップＳ３０２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。

次に、ステップＳ３０３において、マーカー認識部１２は、認識したマーカーの数と、予めマーカー数記憶部１６に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ３０７に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。

一方、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ３０４に遷移する。ステップＳ３０４では、面積計算部１３は、カメラ２２ａにより撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。

続いて、ステップＳ３０５では、最大値検知部１４は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ３０４で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ３０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。

一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、図１０に示すステップＳ３１１に遷移する（ステップＳ３０８）。

次に、図１０において、サーバ装置１ａは、ズーム比による調整処理を開始する（ステップＳ３１１）。次に、ステップＳ３１２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。

次に、ステップＳ３１３において、マーカー認識部１２は、認識したマーカーの数と、予めマーカー数記憶部１６に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ３１９に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームアウト可能か否かを判断する。

例えば、飛行高度制御部１５は、ズームアウト可能か否かの問合せをズーム比制御部１７に行い、ズーム比制御部１７からの応答に基づき、ズームアウト可能か否かを判断する。なお、ズームアウト可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部１５は、現在のズーム比と、搭載しているカメラ２２ａのワイド側への最大値（ワイド端）とを比較することで、ズームアウト可能か否かを判断してもよく、また、ズーム比制御部１７が判断してもよい。この点については、他の実施の形態も同様である。

ズームアウト可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームアウトを指示する。次に、ステップＳ３２０において、ズーム比制御部１７は、カメラ２２ａのレンズをズームアウトするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームアウトする。その後、ステップＳ３１２に遷移し、以降の処理を継続する。

一方、ステップＳ３１９で、飛行高度制御部１５がズームアウト不可と判断した場合、図９に示すステップＳ３０７に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。

また、ステップＳ３１３で、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ３１４に遷移する。ステップＳ３１４では、面積計算部１３は、カメラ２２ａにより撮影されたカメラ映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を高度維持時面積として求める。

続いて、ステップＳ３１５では、最大値検知部１４は、前回計算した多角形の面積を記憶しており、前回の多角形の面積（前回計算した高度維持時面積）と、ステップＳ３１４で計算された今回の多角形の面積（高度維持時面積）を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ３１６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームイン可能か否かを判断する。

例えば、飛行高度制御部１５は、ズームイン可能か否かの問合せをズーム比制御部１７に行い、ズーム比制御部１７からの応答に基づき、ズームイン可能か否かを判断する。なお、ズームイン可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部１５は、現在のズーム比と、搭載しているカメラ２２ａのテレ側への最小値（テレ端）とを比較することで、ズームイン可能か否かを判断してもよく、また、ズーム比制御部１７が判断してもよい。これらの点については、他の実施の形態も同様である。

ズームイン可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームインを指示する。次に、ステップＳ３１７において、ズーム比制御部１７は、カメラ２２ａのレンズをズームインするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームインする。その後、ステップＳ３１２に遷移し、以降の処理を継続する。

一方、ステップＳ３１６で、飛行高度制御部１５がズームイン不可と判断した場合、図９に示すステップＳ３０６に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。

また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、無人飛行体２ａの飛行高度を維持した状態で、ズーム比制御部１７に現時点のカメラ２２ａのズーム比を維持するように指示し、ステップＳ３１１に遷移し、以降の処理を繰り返す（ステップＳ３１８）。

上記の処理により、サーバ装置１ａは、無人飛行体２ａに搭載されたカメラ２２ａを用いて撮影された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２ａを飛行させる。これにより、無人飛行体２ａの飛行高度が、搭載されたカメラ２２ａを用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。

また、地上の障害物（例えば、工作物、樹木等）により、無人飛行体２ａが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置１ａは、無人飛行体２ａの飛行高度を上昇させ、障害物を回避した後に、カメラ２２ａのレンズのズーム比をテレ側に移行させることができるので、適切な映像を得ることが可能となる。

なお、図９及び図１０に示す処理では、飛行高度を調整した後に、ズーム比を変更し、ズーム比の変更で調整不可能となったタイミングで、飛行高度を変更する処理への切替え行っているが、これに限定せず、飛行高度の変更と、ズーム比の変更との両方を用いて、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａを制御できればよく、種々の変更が可能である。この点については、他の実施の形態も同様である。

（実施の形態３）
本開示の実施の形態３に係る飛行高度制御システムは、認識対象のマーカーの数を事前にシステムに登録するのでなく、ユーザが、複数の地上ロボットの中からマーカーとして利用する地上ロボットを選択し、選択したマーカーを用いて、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。

図１１は、本開示の実施の形態３における飛行高度制御システムの構成の一例を示すブロック図である。なお、図１１において、図８と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。

図１１において、本実施の形態の飛行高度制御システムは、サーバ装置１ｂと、無人飛行体２ａと、マーカー入力装置３とを備える。サーバ装置１ｂは、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、ズーム比制御部１７、及びマーカー選択部１８を備える。無人飛行体２ａは、通信部２１、カメラ２２ａ、飛行制御部２３、駆動部２４及びカメラ制御部２７を備え、図８に示す無人飛行体２ａと同様に構成されている。マーカー入力装置３は、通信部３１、入力部３２、及び表示部３３を備える。

本実施の形態では、地上に展開する地上ロボットの数を、事前にシステムに登録しておらず、サーバ装置１ｂは、図８に示すマーカー数記憶部１６に代えて、マーカー選択部１８を備えている。

マーカー入力装置３の通信部３１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１ｂの通信部１１との間の通信を行い、マーカー認識部１２が受信したカメラ２２ａの撮影映像及びマーカー認識部１２が認識したマーカーの位置等の情報を通信部１１から受信し、表示部３３に出力する。表示部３３は、カメラ２２ａが撮影した映像に、マーカー認識部１２が認識した複数のマーカー（複数の地上ロボット）の位置を示す複数の候補マーカーを重畳して入力画面を表示する。入力部３２は、ユーザの操作入力を取得し、例えば、表示部３３のスクリーン（表示画面）上に形成されたタッチセンサから構成される。

ユーザは、表示部３３の入力画面に表示される複数の候補マーカーの中から、入力部３２を用いて所望の候補マーカーを選択することにより、複数の地上ロボットの中からカメラ２２ａで撮影したい複数の地上ロボットを選択する。このとき、入力部３２は、通信部３１を介して、ユーザが選択した複数の候補マーカーを認識対象マーカーとして通信部１１に送信する。

なお、マーカー入力装置３の構成は、上記の例に特に限定されず、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、マーカー入力装置３としても機能するようにしてもよい。

図１２は、図１１に示す表示部３３に表示される入力画面の一例を示す図である。図１２に示すように、入力画面ＩＳには、例えば、撮影された映像に重畳して５個のロボットの位置を示す５個の候補マーカーＭ１〜Ｍ５が表示される。ユーザは、表示されている５個の候補マーカーＭ１〜Ｍ５の中から認識対象マーカーとして利用する地上ロボットを選択する。図１２に示す例では、ユーザが選択した４個の候補マーカーＭ１〜Ｍ４は、黒丸で表示され、ユーザが選択していない候補マーカーＭ５は、白丸で表示される。このように、カメラ２２ａが撮影した画像をタッチセンサ付きのスクリーンで表示し、表示されている画面上で、ユーザが注目する地上ロボットを認識対象マーカーとして指定するという簡便な操作により、所望の地上ロボットを認識対象マーカーとして選択することができる。

再び、図１１を参照して、サーバ装置１ｂのマーカー選択部１８は、通信部１１を介して、マーカー入力装置３から送信された複数の認識対象マーカーを受信し、３つ以上の認識対象マーカーの情報を登録マーカーの情報として記憶する。

図１３は、図１１に示すマーカー選択部１８が保持するデータの一例を示す図である。図１３に示すように、マーカー選択部１８は、ユーザがマーカー入力装置３を用いて選択した複数の認識対象マーカーを登録マーカーとして記憶し、各認識対象マーカーのマーカーＩＤ（識別情報）と、位置情報である座標（Ｘ、Ｙ）、例えば、緯度及び経度の情報とを対応付けて記憶している。

具体的は、マーカー認識部１２は、マーカーを認識したときに、予め記憶している地図データを用いて、各マーカーのマーカーＩＤ及び位置情報を決定し、このマーカーＩＤ及び位置情報をマーカー入力装置３に送信し、入力部３２は、ユーザが選択した認識対象マーカーのマーカーＩＤ及び位置情報をマーカー選択部１８に送信し、マーカー選択部１８は、送信されたマーカーＩＤ及び位置情報を記憶する。

なお、位置情報の取得方法は、上記の例に特に限定されず、例えば、ＧＰＳ（ＧＬＯＢＡＬ ＰＯＳＩＴＩＯＮＩＮＧ ＳＹＳＴＥＭ）またはＧＬＯＮＡＳＳ（ＧＬＯＢＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＡＴＥＬＬＩＴＥ ＳＹＳＴＥＭ）などのポジショニングシステムを用いて、無人飛行体２ａが自位置を取得してサーバ装置１ｂ又はマーカー入力装置３に送信し、無人飛行体２ａの自位置を基に各地上ロボットの位置を決定したり、又は、地上ロボットが自位置を取得してサーバ装置１ｂ又はマーカー入力装置３に送信したりしてもよい。また、マーカー選択部１８が保持するデータとしては、上記の例に特に限定されず、図４と同様に、認識対象マーカーの数を登録マーカーの数として記憶してもよい。

再び、図１１を参照して、マーカー認識部１２は、通信部２１を介して、カメラ２２ａが撮影した映像を取得し、カメラ２２ａにより撮影された地上ロボットの中から、マーカー選択部１８に記憶されている認識対象マーカーに対応する地上ロボットをマーカーとして認識する。マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー選択部１８に記憶されている認識対象マーカーの個数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２ａにより撮影された映像と比較結果とを面積計算部１３に出力する。ここで、マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー選択部１８に記憶されている認識対象マーカーの個数とを比較するだけでなく、各マーカーの位置情報も比較するようにしてもよい。

面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー選択部１８に記憶されている認識対象マーカーの個数と一致する場合、カメラ２２ａにより撮影された映像を用いて、マーカー選択部１８に記憶されている認識対象マーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。

最大値検知部１４、飛行高度制御部１５及びズーム比制御部１７は、図８に示す最大値検知部１４、飛行高度制御部１５及びズーム比制御部１７と同様に構成され、同様に動作する。

上記の構成により、無人飛行体２ａは、飛行している位置の下方の映像を常にカメラ２２ａで撮影している。無人飛行体２ａの飛行高度と、カメラ２２ａに搭載されているズームレンズのズーム比とに応じて、無人飛行体２ａのカメラ２２ａが撮影する領域が変化する。つまり、無人飛行体２ａがズームレンズをテレ（望遠）側からワイド（広角）側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体２ａがズームレンズをワイド（広角）側からテレ（望遠）側にズームインさせていくと、撮影される領域が狭くなる。

本実施の形態でも、初期状態として、カメラ２２ａのズーム比をワイド側の最大値（ワイド端）、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体２ａの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ２２ａがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図５及び図６で説明した状況と同様である。

ここで、本実施の形態において、無人飛行体２ａの飛行高度が低ければ、カメラ２２ａにおいて撮像される映像に、マーカー選択部１８に記憶されている全ての認識対象マーカー（全ての登録マーカー）が映っておらず、全ての登録マーカーを認識することができないことが想定される。

このため、サーバ装置１ｂは、初期状態としては、全ての登録マーカーが認識されるまで、無人飛行体飛行高度を上昇させる。無人飛行体２ａが単調に飛行高度を上昇させていく過程で、カメラ２２ａは、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２ａがマーカーを捉えると、マーカー認識部１２は、地上ロボットをマーカーとして認識する。

このとき、マーカー認識部１２は、認識したマーカーを候補マーカーとし、候補マーカーを重畳してカメラ２２ａの映像をマーカー入力装置３に送信し、ユーザは、マーカー入力装置３を用いて、撮影された映像に重畳して表示された複数の候補マーカー（地上ロボット）の中から、利用する候補マーカー（地上ロボット）を選択する。

候補マーカーが選択されると、マーカー入力装置３は、選択された候補マーカーを認識対象マーカーとしてサーバ装置１ｂに送信し、面積計算部１３は、認識対象マーカー（登録マーカー）が形成する多角形の面積を算出する。

これ以降は、多角形の面積は、無人飛行体２ａの飛行高度と関連し、無人飛行体２ａの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２ａの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２ａの画角の外側に出るため、認識対象マーカー（登録マーカー）を頂点とする多角形を検知できない状態となる。

また、多角形の面積は、カメラ２２ａのズームレンズのズーム比と関連し、ズームアウト（テレ側からワイド側への移行）すると、多角形の面積は減少する。一方、ズームイン（ワイド側からテレ側への移行）すると、多角形の面積は増大し、認識対象マーカー（登録マーカー）を頂点とする多角形を検知できない状態となる可能性がある。

このとき、飛行高度制御部１５は、無人飛行体２ａの飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａの飛行高度を定める。

この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部１７は、マーカーの描く多角形の面積（高度維持時面積）が最大になるようにカメラ２２ａのズーム比を制御する。また、マーカーが連続して移動する際には、無人飛行体２ａがマーカー選択部１８に記憶されている認識対象マーカー（登録マーカー）を自動追尾するように構成してもよい。

次に、図１１に示すサーバ装置１ｂの飛行高度制御処理について、図１４及び図１５のフローチャートを使って説明する。図１４及び図１５は、図１１に示すサーバ装置１ｂの飛行高度制御処理の一例を示す第１及び第２のフローチャートである。ここでは、無人飛行体２ａをユーザのマニュアル操作で上昇させた後、多角形の頂点をなす認識対象マーカー（登録マーカー）がマーカー選択部１８に記憶済みであるものとする。

図１４において、まず、サーバ装置１ｂは、飛行高度制御処理を開始する（ステップＳ６０１）。次に、ステップＳ６０２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。

次に、ステップＳ６０３において、マーカー認識部１２は、マーカー選択部１８に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップＳ６０７に遷移し、マーカー認識部１２は、全ての登録マーカーを認識していないことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って無人飛行体２ａの飛行高度を制御する。

一方、全ての登録マーカーを認識した場合、登録マーカーにより形成される多角形の面積を計算するステップＳ６０４に遷移する。ステップＳ６０４では、面積計算部１３が、カメラ２２ａにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を求める。

続いて、ステップＳ６０５では、最大値検知部１４は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ６０４で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ６０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体２ａの高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。

一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、図１５に示すステップＳ６１１に遷移する（ステップＳ６０８）。

次に、図１５において、サーバ装置１ｂは、ズーム比による調整処理を開始する（ステップＳ６１１）。次に、ステップＳ６１２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。

次に、ステップＳ６１３において、マーカー認識部１２は、マーカー選択部１８に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップＳ６１９に遷移し、マーカー認識部１２は、全ての登録マーカーを認識していないことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームアウト可能か否かを判断する。

ズームアウト可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームアウトを指示する。次に、ステップＳ６２０において、ズーム比制御部１７は、カメラ２２ａのレンズをズームアウトするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームアウトする。その後、ステップＳ６１２に遷移し、以降の処理を継続する。

一方、ステップＳ６１９で、飛行高度制御部１５がズームアウト不可と判断した場合、図１４に示すステップＳ６０７に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。

また、ステップＳ６１３で、全ての登録マーカーを認識した場合、マーカーにより形成される多角形の面積を計算するステップＳ６１４に遷移する。ステップＳ６１４では、面積計算部１３は、カメラ２２ａにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を高度維持時面積として求める。

続いて、ステップＳ６１５では、最大値検知部１４は、前回計算した多角形の面積を記憶しており、前回の多角形の面積（前回計算した高度維持時面積）と、ステップＳ６１４で計算された今回の多角形の面積（高度維持時面積）を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ６１６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームイン可能か否かを判断する。

ズームイン可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームインを指示する。次に、ステップＳ６１７において、ズーム比制御部１７は、カメラ２２ａのレンズをズームインするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームインする。その後、ステップＳ６１２に遷移し、以降の処理を継続する。

一方、ステップＳ６１６で、飛行高度制御部１５がズームイン不可と判断した場合、図１４に示すステップＳ６０６に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。

また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、無人飛行体２ａの飛行高度を維持した状態で、ズーム比制御部１７に現時点のカメラ２２ａのズーム比を維持するように指示し、無人飛行体２ａの飛行高度と、現時点のカメラ２２ａのズーム比とを維持したまま、ステップＳ６１１に遷移し、以降の処理を繰り返す（ステップＳ６１８）。

上記の処理により、サーバ装置１ｂは、無人飛行体２ａに搭載されたカメラ２２ａを用いて撮影された地上ロボットのうち、ユーザによって選択された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２ａを飛行させる。これにより、無人飛行体２ａの飛行高度が、搭載されたカメラ２２ａを用いて、画像として注目する領域を撮像するために最適な高度となり、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。

また、地上の障害物（例えば、工作物、樹木等）により、無人飛行体２ａが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置１ｂは、無人飛行体２ａの飛行高度を上昇させ、障害物を回避した後に、カメラ２２ａのレンズのズーム比をテレ側に移行させることができるので、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。

本開示に係る飛行高度制御装置等は、災害時など被災地における活動を行うために地上展開したロボット又は人間等が活動する際に、空中に無人飛行体を飛行させ、無人飛行体から適切な被災地の情報を撮影し、関係者との情報共有を行うために、無人飛行体の飛行高度を適切に制御することが可能になり、また、セキュリティ等の監視用途や、ダム、橋脚などの保守用途にも応用できるので、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置等において有用である。

１、１ａ、１ｂ サーバ装置
２、２ａ 無人飛行体
３ マーカー入力装置
１１ 通信部
１２ マーカー認識部
１３ 面積計算部
１４ 最大値検知部
１５ 飛行高度制御部
１６ マーカー数記憶部
１７ ズーム比制御部
１８ マーカー選択部
２１ 通信部
２２、２２ａ カメラ
２３ 飛行制御部
２４ 駆動部
２５ 本体
２６ 支持部
２７ カメラ制御部
３１ 通信部
３２ 入力部
３３ 表示部
４１ ランプ

Claims (13)

1. 撮影装置を搭載した無人飛行体の移動方向を制御する制御装置であって、
   前記撮影装置が撮影した映像から、複数の物体を複数のマーカーとして認識する認識部と、
   前記複数のマーカーにより形成される映像上の多角形の面積を算出する算出部と、
   前記多角形の面積が最大になるように、前記無人飛行体の移動方向を制御する制御部とを備える、
   制御装置。
2. 前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、
   前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、
   前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーから遠ざかる方向とする制御を行う、
   請求項１記載の制御装置。
3. 前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、
   前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、
   前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーに近づく方向とする制御を行う、
   請求項１記載の制御装置。
4. 前記撮影装置は、ズーム動作可能なズーム撮影装置を含み、
   前記認識部は、前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、
   前記算出部は、認識された前記複数のマーカーにより形成される前記多角形の面積を算出し、
   前記制御部は、前記面積が最大になるように、前記ズーム撮影装置のズーム比を制御する、
   請求項２又は３記載の制御装置。
5. 前記制御部は、認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御する、
   請求項４記載の制御装置。
6. 前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーから遠ざかる方向とする制御を行う、
   請求項５記載の制御装置。
7. 前記制御部は、認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記面積が前回算出した面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御する、
   請求項４記載の制御装置。
8. 前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーに近づく方向とする制御を行う、
   請求項７記載の制御装置。
9. 前記複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得する取得部をさらに備え、
   前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、
   前記算出部は、前記複数の認識対象マーカーにより形成される前記多角形の面積を算出する、
   請求項１〜８のいずれかに記載の制御装置。
10. 前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得する、
    請求項９記載の制御装置。
11. 前記撮影装置と、
    請求項１〜１０のいずれかに記載の制御装置とを備える、
    無人飛行体。
12. 撮影装置を搭載した無人飛行体の移動方向を制御する制御方法であって、
    前記撮影装置が撮影した映像から、複数の物体を複数のマーカーとして認識し、
    前記複数のマーカーにより形成される映像上の多角形の面積を算出し、
    前記多角形の面積が最大になるように、前記無人飛行体の移動方向を制御する、
    制御方法。
13. 撮影装置を搭載した無人飛行体の移動方向を制御する制御装置として、コンピュータを機能させるための制御プログラムであって、
    前記コンピュータに、
    前記撮影装置が撮影した映像から、複数の物体を複数のマーカーとして認識し、
    前記複数のマーカーにより形成される映像上の多角形の面積を算出し、
    前記多角形の面積が最大になるように、前記無人飛行体の移動方向を制御する、
    処理を実行させる制御プログラム。

Images