JP2019043473A - 飛行装置、管理装置、撮影制御方法、及び撮影制御プログラム - Google Patents

Abstract

【課題】飛行装置又はユーザが保持する通信機器がＧＰＳの電波を補足できない場合であってもユーザを撮影する。【解決手段】飛行装置２は、カメラ２１が撮影した画像を記憶する記憶部２５と、ユーザが所持する端末の位置を示す端末位置情報に基づいて端末の位置を特定するとともに、飛行装置の位置を特定する機器位置特定部２６１と、飛行装置又は端末の位置が特定できないと判定した場合に、カメラ２１に周囲を撮影させて得られる試写画像に含まれる被写体と、記憶部２５に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいてユーザを特定し、試写画像に含まれるユーザの位置に基づいて撮影位置を特定する撮影位置特定部２６２と、特定された撮影位置に飛行装置を移動させる飛行制御部２６３と、撮影位置においてカメラ２１にユーザを撮影させ、撮影された画像を記憶部２５に記憶させる撮影制御部２６４と、を備える。【選択図】図３

Description

本発明は、飛行装置、管理装置、撮影制御方法、及び撮影制御プログラムに関する。

近年、自律的に飛行することができる飛行装置であるドローンが普及している。特許文献１には、飛行装置が、ユーザから投げられると自律飛行を行い、ＧＰＳ（Global Positioning System）に基づく飛行装置の位置情報と、当該ユーザが保持する通信機器から送信されるＧＰＳに基づく位置情報とに基づいて当該ユーザの位置を特定し、当該ユーザを撮影することが開示されている。

特開２０１７−１００６９８号公報

ところで、ユーザが保持する通信機器又は飛行装置が、ＧＰＳの電波を補足できず、位置情報を取得できない場合、飛行装置は、ユーザの位置を特定することができず、ユーザを撮影できなくなるという問題が発生する。

そこで、本発明はこれらの点に鑑みてなされたものであり、飛行装置又はユーザが保持する通信機器がＧＰＳの電波を補足できない場合であってもユーザを撮影することができる飛行装置、管理装置、撮影制御方法、及び撮影制御プログラムを提供することを目的とする。

本発明の第１の態様の飛行装置は、ユーザを撮影する飛行装置であって、撮影部と、前記撮影部が撮影した画像を記憶する記憶部と、前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定する位置特定部と、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する撮影位置特定部と、特定された前記撮影位置に前記飛行装置を移動させる飛行制御部と、前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させる撮影制御部と、を備える。

前記位置特定部は、所定時間おきに前記端末の位置を特定し、前記撮影位置特定部は、前記位置特定部により特定された前記端末の位置が、直前に特定された前記端末の位置から変化すると、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定してもよい。

前記撮影位置特定部は、前記ユーザの移動速度を特定し、特定された移動速度に基づいて前記撮影位置を調整してもよい。
前記撮影位置特定部は、特定された前記ユーザの移動速度が大きければ大きいほど前記端末と前記飛行装置との距離が長くなるように前記撮影位置を特定してもよい。

前記撮影位置特定部は、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合において、特定された前記ユーザの移動速度が所定速度を超えるときには、前記端末の位置に基づいて前記撮影位置を特定し、特定された前記ユーザの移動速度が前記所定速度を超えない場合には、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定してもよい。

前記撮影位置特定部は、前記飛行制御部により前記飛行装置が前記撮影位置に移動した場合において前記ユーザが前記試写画像に収まらないときには、前記ユーザと前記飛行装置との距離を長くなるように前記撮影位置を調整し、前記飛行制御部は、調整された前記撮影位置に前記飛行装置を移動させてもよい。

前記撮影位置特定部は、前記飛行制御部により、前記端末の位置に基づいて特定された前記撮影位置に前記飛行装置が移動した場合において前記ユーザが前記試写画像に収まらないときには、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を調整し、前記飛行制御部は、調整された前記撮影位置に前記飛行装置を移動させてもよい。

前記撮影位置特定部は、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合において、前記端末の加速度を示す加速度情報を取得し、当該加速度情報に基づいて前記ユーザの加速度を特定し、特定された前記ユーザの加速度が所定加速度を超える場合には、前記端末の位置に基づいて前記撮影位置を特定し、特定された前記ユーザの加速度が前記所定加速度を超えない場合には、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定してもよい。

本発明の第２の態様の管理装置は、ユーザを撮影する飛行装置を制御するための管理装置であって、前記飛行装置の撮影部が撮影した画像を記憶する記憶部と、前記飛行装置の位置を示す飛行位置情報を取得するとともに、前記ユーザが所持する端末の位置を示す端末位置情報を取得する取得部と、前記飛行位置情報に基づいて前記飛行装置の位置を特定するとともに、前記端末位置情報に基づいて前記端末の位置を特定する位置特定部と、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置に、前記撮影位置に移動して前記ユーザを撮影するように指示し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記記憶部に記憶されている撮影日時が相対的に新しい画像を前記飛行装置に送信し、前記飛行装置に、当該画像に含まれる被写体に基づいて前記ユーザを特定して、当該ユーザを撮影するように指示する撮影指示部と、を備える。

本発明の第３の態様の撮影制御方法は、撮影部と、前記撮影部が撮影した画像を記憶する記憶部とを有し、前記撮影部によりユーザを撮影する飛行装置が実行する撮影制御方法であって、前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定するステップと、前記位置を特定するステップにおいて前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定するステップと、特定された前記撮影位置に前記飛行装置を移動させるステップと、前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させるステップと、を備える。

本発明の第４の態様の撮影制御プログラムは、撮影部と、前記撮影部が撮影した画像を記憶する記憶部とを有し、前記撮影部によりユーザを撮影する飛行装置を、前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定する位置特定部、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する撮影位置特定部、特定された前記撮影位置に前記飛行装置を移動させる飛行制御部、及び、前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させる撮影制御部、として機能させる。

本発明によれば、ＧＰＳの電波を補足できない場合であってもユーザを撮影することができるという効果を奏する。

第１実施形態に係る撮影システムの構成を示す図である。 第１実施形態に係る端末の構成を示す図である。 第１実施形態に係る飛行装置の構成を示す図である。 第１実施形態に係る飛行装置における処理の流れを示すフローチャートの一例を示す図である。 第２実施形態に係る撮影システムの構成を示す図である。 第２実施形態に係る管理装置の構成を示す図である。

＜第１実施形態＞
［撮影システムＳの概要］
図１は、第１実施形態に係る撮影システムＳの構成を示す図である。撮影システムＳは、端末１と、飛行装置２とを備える。端末１は、Ｗｉ−Ｆｉ（登録商標）回線やＬＴＥ（Long Term Evolution）回線等の無線通信回線Ｗを介して自身の位置情報等を飛行装置２に送信可能な端末であり、例えば、スマートフォンやタブレットである。飛行装置２は、端末１を所持するユーザを撮影する装置であり、例えばドローンである。

飛行装置２は、端末１の位置を示す端末位置情報を端末１から取得し、当該端末位置情報に基づいて端末１の位置を特定する。また、飛行装置２は、ＧＰＳ衛星から受信する信号に基づいて自身の位置を特定する。飛行装置２は、端末１と、飛行装置２の位置とが特定できると判定した場合に、特定した端末１の位置に基づいて、ユーザを撮影する撮影位置を特定する。

飛行装置２は、ＧＰＳ衛星から信号を受信できないことにより、端末１の位置又は飛行装置２の位置が特定できないと判定した場合には、自身に記憶されている撮像画像と、飛行装置２が周囲を撮影することで得られる試写画像とに基づいて、試写画像に含まれるユーザを特定する。飛行装置２は、特定したユーザの位置に基づいて、ユーザを撮影する撮影位置を特定する。飛行装置２は、撮影位置に移動し、当該撮影位置においてユーザを撮影する。

以上のように、撮影システムＳにおいては、飛行装置２は、端末１又は飛行装置２がＧＰＳの電波を補足できず、端末１の位置又は飛行装置２の位置が特定できない場合であっても、飛行装置２に記憶されている撮像画像に基づいて撮影位置を特定し、当該撮影位置に移動してユーザを撮影することができる。
以下、端末１及び飛行装置２の構成を詳細に説明する。

［端末１の構成］
図２は、第１実施形態に係る端末１の構成を示す図である。端末１は、表示部１１と、操作部１２と、検出部１３と、通信部１４と、記憶部１５と、制御部１６とを有する。制御部１６は、表示制御部１６１と、操作受付部１６２と、状態特定部１６３とを有する。

表示部１１は、ユーザが飛行装置２を制御して自身を撮影するために必要な情報を表示するためのディスプレイである。表示部１１は、表示制御部１６１から入力される表示用データを表示する。

操作部１２は、例えば、表示部１１の表面に設けられたタッチパネルである。操作部１２は、ユーザが飛行装置２に自身を撮影させるための操作を受け付ける。操作部１２は、ユーザの操作内容に応じた信号を操作受付部１６２に通知する。

検出部１３は、例えば加速度センサを含み、端末１の加速度を示す加速度情報を制御部１６に出力する。また、検出部１３は、所定の方角を検出する地磁気センサを含み、地磁気センサが検出した所定の方角と加速度センサが検出した端末１の加速度とに基づいて、端末１が移動する方角を特定する。検出部１３は、端末１が移動する方角を示す移動方向情報を制御部１６に出力する。また、検出部１３は、ＧＰＳ受信機を含み、ＧＰＳ衛星から受信する電波に基づいて端末１の位置を示す端末位置情報を生成し、当該端末位置情報を制御部１６に出力する。検出部１３は、加速度情報と端末位置情報とを所定時間おきに制御部１６に出力する。

通信部１４は、無線通信回線Ｗを用いて通信するための電波を送受信する通信モジュールである。通信部１４は、制御部１６から入力される送信データを変調する変調器、及び変調後のデータを高周波信号として送信する高周波部を有する。また、通信部１４は、高周波部が飛行装置２から受信した高周波信号を復調する復調器を有する。復調器は、復調後の受信データを制御部１６に入力する。

記憶部１５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１５は、制御部１６が実行するプログラムを記憶している。例えば、記憶部１５は、飛行装置２の撮影を制御するための端末側撮影制御プログラムを記憶している。

制御部１６は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１５に記憶された端末側撮影制御プログラムを実行することにより、表示制御部１６１、操作受付部１６２及び状態特定部１６３として機能する。

表示制御部１６１は、表示部１１に表示させる表示用データを生成する。表示制御部１６１は、生成した表示用データを表示部１１に入力することにより、表示用データを表示部１１に表示させる。表示制御部１６１は、例えば、操作受付部１６２が受け付けたユーザの操作内容に基づく表示用データを表示部１１に表示させる。また、表示制御部１６１は、飛行装置２から受信した情報に基づく表示用データを表示部１１に表示させる。

操作受付部１６２は、操作部１２から入力される操作内容を示す信号に基づいて、ユーザの操作内容を特定する。操作受付部１６２は、特定した操作内容を、表示制御部１６１に通知する。操作受付部１６２は、特定した操作内容が飛行装置２を操作するものである場合、操作内容を示す情報を飛行装置２に送信する。

状態特定部１６３は、検出部１３から出力された端末１の加速度を示す加速度情報と、端末１が移動する方角を示す移動方向情報と、端末１の位置を示す端末位置情報とを通信部１４を介して飛行装置２に送信する。

［飛行装置２の構成］
図３は、第１実施形態に係る飛行装置２の構成を示す図である。飛行装置２は、撮影部としてのカメラ２１と、検出部２２と、通信部２３と、飛行機構２４と、記憶部２５と、制御部２６とを有する。制御部２６は、機器位置特定部２６１と、撮影位置特定部２６２と、飛行制御部２６３と、撮影制御部２６４とを有する。飛行装置２は、端末１を介して動作開始指示を受け付けたことに応じて動作を開始する。

カメラ２１は、飛行装置２の周囲を撮影して撮影画像を生成する。カメラ２１は、端末１のユーザによる撮影指示に応じて生成した撮影画像を制御部２６に出力する。また、カメラ２１は、撮影位置特定部２６２による撮影指示により撮影画像を生成し、生成した撮影画像を制御部２６に出力する。ここで、撮影位置特定部２６２による撮影指示により生成される撮影画像を、試写画像という。試写画像は、端末１のユーザに確認させるために端末１に送信されてもよい。

検出部２２は、例えばＧＰＳ受信機を含み、ＧＰＳ衛星から受信する電波に基づいて、所定時間おきに飛行装置２の位置を示す装置位置情報を生成する。検出部２２は、飛行装置２の位置を示す装置位置情報を機器位置特定部２６１に出力する。検出部２２は、装置位置情報を所定時間おきに機器位置特定部２６１に出力する。

通信部２３は、無線通信回線Ｗで通信するための電波を送受信する通信モジュールであり、通信部１４と同等の機能を有する。

飛行機構２４は、プロペラ、プロペラを回転させるモーター及び方向舵等を含む。飛行機構２４は、飛行制御部２６３の制御に基づいてこれらの機構を動作させることで、飛行装置２を移動させることができる。

記憶部２５は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２５は、制御部２６が実行するプログラムを記憶している。記憶部２５は、飛行装置２を、機器位置特定部２６１、撮影位置特定部２６２、飛行制御部２６３及び撮影制御部２６４として機能させる撮影制御プログラムを記憶する。また、記憶部２５は、カメラ２１によって撮影された撮影画像を記憶する。ここで、撮影画像には、当該撮影画像が生成された日時、すなわち、撮影日時を示す撮影日時情報が含まれている。

制御部２６は、例えばＣＰＵである。制御部２６は、記憶部２５に記憶された撮影制御プログラムを実行することにより、機器位置特定部２６１、撮影位置特定部２６２、飛行制御部２６３及び撮影制御部２６４として機能する。

機器位置特定部２６１は、ユーザが所持する端末１から、所定時間おきに端末１の位置を示す端末位置情報を受信することにより、端末位置情報を取得する。機器位置特定部２６１は、取得した端末位置情報に基づいて所定時間おきに端末１の位置を特定する。また、機器位置特定部２６１は、検出部２２が検出した飛行装置２の位置を示す装置位置情報に基づいて、所定時間おきに飛行装置２の位置を特定する。

撮影位置特定部２６２は、飛行装置２がユーザを撮影する位置である撮影位置を特定する。まず、撮影位置特定部２６２は、機器位置特定部２６１による飛行装置２及び端末１の位置特定状況に基づいて、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できるか否かを判定する。

そして、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できると判定した場合に、端末１の位置に基づいて飛行装置２がユーザを撮影する撮影位置を特定する。例えば、撮影位置特定部２６２は、端末１からの距離が、ユーザを撮影するのに適切とされる所定距離となる複数の位置のうち、現在の飛行装置２の位置との距離が最短となる位置を、ユーザを撮影する撮影位置と特定する。撮影位置特定部２６２は、端末１からの距離が所定距離となる複数の位置のうち、現在の飛行装置２の位置との距離が最短となる位置の経度及び緯度を示す経度・緯度情報を、飛行装置２の撮影位置として特定する。

ここで、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できると判定した時点で、カメラ２１に、端末１の位置に対応する方向の被写体を撮影させて試写画像を生成させ、当該試写画像を端末１に送信してもよい。そして、撮影位置特定部２６２は、端末１に試写画像を表示させ、端末１のユーザから当該試写画像に基づいて、撮影位置特定部２６２が端末１の位置を特定できているか否かの判定を受け付けてもよい。撮影位置特定部２６２は、端末１の位置を特定できているとの判定を受け付けたことに応じて、端末１の位置に基づく撮影位置の特定を継続してもよい。

撮影位置特定部２６２は、飛行制御部２６３によって飛行装置２が撮影位置に移動した場合に、カメラ２１に、端末１の位置に対応する方向の被写体を撮影させて試写画像を生成させる。そして、撮影位置特定部２６２は、試写画像にユーザの顔を示す画像が写っているか否かを判定し、ユーザの顔を示す画像が写っていない場合に、端末１からの距離が所定距離となる複数の位置のうち他の位置を、撮影位置として特定し直してもよい。

なお、撮影位置特定部２６２は、カメラ２１に継続的に試写画像を生成させて、生成された試写画像を継続的に端末１に送信してもよい。そして、撮影位置特定部２６２は、端末１のユーザに、試写画像を撮影した撮影位置及び撮影方向を、ユーザを撮影する撮影位置及び撮影方向として確定させるか否かを判定させてもよい。この場合において、撮影位置特定部２６２は、ユーザが撮影位置及び撮影方向を確定させないと判定した場合に、端末１から、ユーザと飛行装置２との距離や、ユーザを撮影する方向の調整を受け付けたりしてもよい。

また、撮影位置特定部２６２は、ユーザを撮影する撮影位置及び撮影方向として確定させないとユーザが判定した場合に、撮影位置の特定を、端末１の位置に基づく撮影位置の特定から、試写画像に含まれるユーザの位置に基づく撮影位置の特定に切り替えてもよい。また、撮影位置特定部２６２は、撮影位置の特定を、試写画像に含まれるユーザの位置に基づく撮影位置の特定に切り替えるか否かを端末１のユーザから受け付けるようにしてもよい。

また、撮影位置特定部２６２は、生成された試写画像を、画像認識サーバ等の端末１とは異なる通知先に送信し、当該通知先に撮影位置及び撮影方向を確定させるか否かを判定させ、当該通知先から判定結果を受信してもよい。そして、撮影位置特定部２６２は、受信した判定結果に基づいて撮影位置の特定を、試写画像に含まれるユーザの位置に基づく撮影位置の特定に切り替えてもよい。また、撮影位置特定部２６２は、当該通知先から、撮影位置の特定方法の切替指示を受信し、当該切替指示に基づいて、撮影位置の特定を、試写画像に含まれるユーザの位置に基づく撮影位置の特定に切り替えてもよい。

また、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２又は端末１の位置が特定できないと判定した場合に、カメラ２１に周囲を撮影させて試写画像を生成させる。撮影位置特定部２６２は、試写画像に含まれる被写体と、記憶部２５に記憶されている撮影日時が相対的に新しい撮影画像に含まれる被写体とに基づいてユーザを特定し、試写画像に含まれるユーザの位置に基づいて撮影位置を特定する。

例えば、撮影位置特定部２６２は、記憶部２５に記憶されている撮影日時が最新の撮影画像の画像認識処理を行い、被写体を特定する。撮影位置特定部２６２は、特定した被写体を端末１のユーザと特定する。ここで、被写体が複数存在する場合には、記憶部２５に記憶されている撮影日時が相対的に新しい複数の撮影画像に含まれる被写体のうち、最も出現頻度が高い被写体を端末１のユーザと特定してもよい。

撮影位置特定部２６２は、カメラ２１に周囲を撮影させて得られる試写画像の画像認識処理を行い、試写画像に、特定された端末１のユーザが含まれているか否かを判定する。撮影位置特定部２６２は、試写画像に、特定された端末１のユーザが含まれている場合には、試写画像に含まれているユーザの画像の大きさに基づいて、飛行装置２の撮影位置を特定する。ここで、撮影位置特定部２６２は、現在の飛行装置２の位置を基準とした相対位置を、飛行装置２の撮影位置として特定する。

なお、撮影位置特定部２６２は、端末１から所定時間おきに受信する加速度情報に基づいて端末１を所持するユーザの移動速度を特定し、特定された移動速度に基づいて撮影位置を調整してもよい。

具体的には、撮影位置特定部２６２は、特定されたユーザの移動速度が大きければ大きいほど、端末１と飛行装置２との距離が長くなるように撮影位置を特定してもよい。このようにすることで、飛行装置２は、ユーザの移動速度が大きい場合に、ユーザが画角から外れないように撮影することができる。

また、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できると判定した場合において、特定されたユーザの移動速度が所定速度を超える場合には、端末１の位置に基づいて撮影位置を特定してもよい。このようにすることで、飛行装置２は、ユーザの移動速度が大きい場合に、ＧＰＳを用いた位置情報に基づいて確実にユーザが画角に収まるように撮影位置を特定することができる。

また、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できると判定した場合において、特定されたユーザの移動速度が所定速度を超えない場合には、試写画像に含まれるユーザの位置に基づいて撮影位置を特定してもよい。このようにすることで、飛行装置２は、ユーザの移動速度が小さい場合に、試写画像の画像認識処理を連続して行うことにより、特定したユーザを追尾することができる。

また、撮影位置特定部２６２は、端末１から取得した加速度情報に基づいてユーザの加速度を特定してもよい。そして、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２の位置が特定できると判定した場合において、特定されたユーザの加速度が所定加速度を超える場合には、端末１の位置に基づいて撮影位置を特定し、特定されたユーザの加速度が所定加速度を超えない場合には、試写画像に含まれるユーザの位置に基づいて撮影位置を特定してもよい。ここで、撮影位置特定部２６２は、所定時間内において端末位置情報に基づいて特定した端末１の複数の位置に基づいて撮影位置を特定してもよい。このようにすることで、飛行装置２は、ユーザの動きが激しく画像認識によってユーザを特定することが困難な場合に、端末位置情報に基づいて確実にユーザが画角に収まるように撮影位置を特定することができる。

また、撮影位置特定部２６２は、端末１から取得した移動方向情報に基づいてユーザが移動する方角を特定してもよい。そして、撮影位置特定部２６２は、ユーザが移動する方角に基づいて撮影位置を特定してもよい。例えば、撮影位置特定部２６２は、ユーザが移動する方角に基づいて、ユーザの進行方向の前方を撮影位置に特定してもよい。このようにすることで、飛行装置２は、ユーザの撮影位置を正確かつ迅速に特定することができる。

飛行制御部２６３は、飛行機構２４を制御することにより、撮影位置特定部２６２によって特定された撮影位置に飛行装置２を移動させる。具体的には、飛行制御部２６３は、特定された撮影位置が経度・緯度情報で示される場合には、機器位置特定部２６１が特定した現在の飛行装置２の位置に対応する経度・緯度情報と、撮影位置特定部２６２が特定した経度・緯度情報とに基づいて、飛行装置２を、撮影位置特定部２６２が特定した経度・緯度情報が示す位置に移動させる。また、飛行制御部２６３は、撮影位置特定部２６２が特定した撮影位置が相対位置で示される場合には、当該相対位置に基づいて移動方向及び移動量を特定し、特定した移動方向に特定した移動量だけ飛行装置２を移動させる。

なお、撮影位置特定部２６２は、飛行制御部２６３により飛行装置２が撮影位置に移動した場合においてユーザが試写画像に収まらないときには、当該ユーザと飛行装置２との距離を長くすることにより撮影位置を調整してもよい。そして、飛行制御部２６３は、調整された撮影位置に飛行装置２を移動させてもよい。このようにすることで、飛行装置２は、ユーザを確実に画角に収めて撮影することができる。

また、撮影位置特定部２６２は、飛行制御部２６３により、特定された撮影位置に飛行装置２が移動した場合においてユーザが試写画像に収まらないときには、端末１と飛行装置２との距離が長くなるように撮影位置を調整してもよい。

具体的には、撮影位置特定部２６２は、飛行制御部２６３によって飛行装置２が撮影位置に移動した場合に、カメラ２１に、端末１の位置に対応する方向の被写体を撮影させて試写画像を生成させる。そして、撮影位置特定部２６２は、撮影位置において生成された試写画像にユーザが大きく映り込み、ユーザが試写画像に収まらないときには、端末１と飛行装置２との距離が長くなるように撮影位置を調整する。そして、飛行制御部２６３は、調整された撮影位置に飛行装置２を移動させてもよい。

このようにすることで、飛行装置２は、ＧＰＳによる端末１の位置精度又は飛行装置２の位置精度が低い場合であっても、撮影位置の微調整を行い、ユーザを良好に撮影することができる。

また、飛行制御部２６３は、端末１から、飛行装置２による撮影の終了指示を示す終了指示情報を受信する。そして、飛行制御部２６３は、終了指示情報を受信したことに応じて、機器位置特定部２６１が特定した端末１の位置又は撮影位置特定部２６２が画像認識によって特定したユーザの位置に飛行装置２を着陸させる。

撮影制御部２６４は、撮影位置においてカメラ２１にユーザを撮影させ、撮影された撮影画像を記憶部２５に記憶させる。具体的には、撮影制御部２６４は、飛行装置２が撮影位置に移動すると、撮影準備ができたことを示す準備完了情報を端末１に送信する。端末１の操作受付部１６２は、表示制御部１６１を介して、撮影指示を受け付ける画像を表示部１１に表示させ、ユーザから撮影指示を受け付ける。操作受付部１６２は、ユーザから撮影指示を受け付けると、撮影指示情報を飛行装置２に送信する。飛行装置２の撮影制御部２６４は、撮影指示情報を受信したことに応じて、カメラ２１にユーザを撮影させる。ここで、撮影画像には、撮影日時を示す撮影日時情報が含まれている。撮影制御部２６４は、カメラ２１によって生成された撮影画像を記憶部２５に記憶させる。

［飛行装置２における処理の流れ］
図４は、第１実施形態に係る飛行装置２における処理の流れを示すフローチャートの一例を示す図である。まず、端末１において、記憶部１５に記憶されている撮影制御プログラムが実行されている状態で、端末１を介して動作開始指示を受け付けたことに応じて動作を開始する。

まず、機器位置特定部２６１は、飛行装置２及び端末１の位置を特定する（Ｓ１０）。
続いて、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できるか否かを判定する（Ｓ２０）。撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できると判定すると、Ｓ３０に処理を移し、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２又は端末１の位置が特定できないと判定すると、Ｓ４０に処理を移す。

Ｓ３０において、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２及び端末１の位置が特定できることから、端末１の位置に基づいて撮影位置を特定する。

Ｓ４０において、撮影位置特定部２６２は、機器位置特定部２６１により飛行装置２又は端末１の位置が特定できないことから、記憶部２５に記憶されている撮影画像に基づいて端末１のユーザを特定する。

続いて、撮影位置特定部２６２は、カメラ２１により撮影された試写画像から、端末１のユーザを特定する（Ｓ５０）。
続いて、撮影位置特定部２６２は、カメラ２１により撮影された試写画像に含まれるユーザの位置に基づいて撮影位置を特定する（Ｓ６０）。

Ｓ７０において、飛行制御部２６３は、飛行装置２を特定された撮影位置に移動させる。
続いて、撮影制御部２６４は、端末１のユーザにより撮影が指示されたか否かを判定する（Ｓ８０）。撮影制御部２６４は、撮影が指示されたと判定すると、Ｓ９０に処理を移し、撮影が指示されていないと判定すると、Ｓ１０に処理を移す。
Ｓ９０において、撮影制御部２６４は、カメラ２１を制御してユーザを撮影させ、撮影画像を記憶部２５に記憶させる。撮影制御部２６４は、その後、Ｓ１０に処理を移す。

［第１実施形態における効果］
以上説明したように、第１実施形態に係る飛行装置２は、機器位置特定部２６１により飛行装置２又は端末１の位置が特定できないと判定した場合に、カメラ２１に周囲を撮影させて得られる試写画像に含まれる被写体と、記憶部２５に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいてユーザを特定し、試写画像に含まれるユーザの位置に基づいて撮影位置を特定する。これにより、飛行装置２は、ＧＰＳの電波を補足できない場合であってもユーザの撮影位置を特定してユーザを撮影することができる。

＜第２実施形態＞
［管理装置において撮影位置を特定する］
続いて、第２実施形態について説明する。第２実施形態に係る撮影システムＳは、管理装置３がユーザの撮影位置を特定する点で第１実施形態と異なる。以下に、第２実施形態に係る撮影システムＳについて説明する。なお、第１実施形態と同じ部分については適宜説明を省略する。

図５は、第２実施形態に係る撮影システムＳの構成を示す図である。撮影システムＳは、端末１と、飛行装置２と、管理装置３を備える。管理装置３は、無線通信回線Ｗを介して端末１及び飛行装置２と通信可能なサーバである。

図６は、第２実施形態に係る管理装置３の構成を示す図である。図６に示すように、管理装置３は、通信部３１と、記憶部３２と、制御部３３とを有する。制御部３３は、位置情報取得部３３１と、機器位置特定部３３２と、撮影指示部３３３と、撮影画像取得部３３４とを有する。

通信部３１は、無線通信回線Ｗで通信するための電波を送受信する通信モジュールであり、通信部１４及び通信部２３と同等の機能を有する。

記憶部３２は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３２は、制御部３３が実行するプログラムを記憶している。記憶部３２は、管理装置３を、位置情報取得部３３１、機器位置特定部３３２、撮影指示部３３３及び撮影画像取得部３３４として機能させる撮影制御プログラムを記憶する。また、記憶部３２は、飛行装置２によって撮影された撮影画像を記憶する。また、記憶部３２は、端末１から予め受け付けた、端末１を識別する端末識別情報と、飛行装置２を識別する装置識別情報とを関連付けて記憶する。これにより、管理装置３は、ユーザが使用する端末１と、当該ユーザが使用する飛行装置２とを紐づけて管理することができる。

制御部２６は、例えばＣＰＵである。制御部２６は、記憶部２５に記憶された撮影制御プログラムを実行することにより、位置情報取得部３３１、機器位置特定部３３２、撮影指示部３３３及び撮影画像取得部３３４として機能する。

位置情報取得部３３１は、飛行装置２の位置を示す飛行位置情報を取得するとともに、ユーザが所持する端末１の位置を示す端末位置情報を取得する。
機器位置特定部３３２は、飛行位置情報に基づいて飛行装置２の位置を特定するとともに、端末位置情報に基づいて端末１の位置を特定する。

撮影指示部３３３は、機器位置特定部３３２により飛行装置２及び端末１の位置が特定できると判定した場合に、第１実施形態に係る撮影位置特定部２６２と同様に端末１の位置に基づいて飛行装置２がユーザを撮影する撮影位置を特定する。そして、撮影指示部３３３は、撮影位置を示す撮影位置情報を含む撮影指示情報を飛行装置２に送信し、飛行装置２に、特定した撮影位置に移動してユーザを撮影するように指示する。

飛行装置２の撮影位置特定部２６２は、撮影指示情報を受信すると、撮影指示情報に含まれる撮影位置情報に基づいて、ユーザを撮影する撮影位置を特定する。飛行制御部２６３は、飛行機構２４を制御することにより、飛行装置２を特定された撮影位置に移動させる。

飛行装置２の撮影制御部２６４は、撮影位置においてカメラ２１にユーザを撮影させ、撮影された撮影画像を記憶部２５に記憶させる。ここで、撮影制御部２６４は、撮影画像を管理装置３に送信してもよい。

また、撮影指示部３３３は、飛行装置２又は端末１の位置が特定できないと判定した場合に、記憶部３２に記憶されている撮影日時が相対的に新しい画像を含む撮影指示情報を飛行装置２に送信し、飛行装置２に、当該画像に含まれる被写体に基づいてユーザを特定して、当該ユーザを撮影するように指示する。

飛行装置２の撮影位置特定部２６２は、撮影指示情報を受信すると、撮影指示情報に含まれる画像に基づいて被写体を特定する。撮影位置特定部２６２は、特定した被写体を端末１のユーザと特定する。

撮影位置特定部２６２は、カメラ２１に周囲を撮影させて得られる試写画像の画像認識処理を行い、試写画像に、特定された端末１のユーザが含まれている場合には、試写画像に含まれているユーザの画像の大きさに基づいて、飛行装置２の撮影位置を特定する。

飛行制御部２６３は、飛行機構２４を制御することにより、飛行装置２を特定された撮影位置に移動させる。その後、飛行装置２の撮影制御部２６４は、撮影位置においてカメラ２１にユーザを撮影させ、撮影された撮影画像を記憶部２５に記憶させる。ここで、撮影制御部２６４は、撮影画像を管理装置３に送信してもよい。

管理装置３の撮影画像取得部３３４は、飛行装置２から撮影画像を受信することにより、撮影画像を取得する。撮影画像取得部３３４は、取得した撮影画像を記憶部３２に記憶させる。

撮影指示部３３３は、端末１から、端末識別情報を含み、飛行装置２による撮影の終了指示を示す終了指示情報を受信する。そして、撮影指示部３３３は、終了指示情報を受信したことに応じて、記憶部３２を参照し、終了指示情報に含まれている端末識別情報に関連付けられている装置識別情報を特定する。撮影指示部３３３は、特定された装置識別情報を有する飛行装置２を、機器位置特定部３３２が特定した端末１の位置又は撮影位置特定部２６２が画像認識によって特定したユーザの位置に着陸させる。

［第２実施形態における効果］
以上説明したように、第２実施形態に係る管理装置３は、機器位置特定部３３２により飛行装置２又は端末１の位置が特定できないと判定した場合に、記憶部３２に記憶されている撮影日時が相対的に新しい画像を飛行装置２に送信し、飛行装置２に、当該画像に含まれる被写体に基づいてユーザを特定して、当該ユーザを撮影するように指示する。このようにすることで、管理装置３は、飛行装置２又は端末１がＧＰＳの電波を補足できない場合であっても、飛行装置２にユーザの撮影位置を特定させてユーザを撮影させることができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１ 端末
１１ 表示部
１２ 操作部
１３ 検出部
１４ 通信部
１５ 記憶部
１６ 制御部
１６１ 表示制御部
１６２ 操作受付部
１６３ 状態特定部
２ 飛行装置
２１ カメラ
２２ 検出部
２３ 通信部
２４ 飛行機構
２５ 記憶部
２６ 制御部
２６１ 機器位置特定部
２６２ 撮影位置特定部
２６３ 飛行制御部
２６４ 撮影制御部
３ 管理装置
３１ 通信部
３２ 記憶部
３３ 制御部
３３１ 位置情報取得部
３３２ 機器位置特定部
３３３ 撮影指示部
３３４ 撮影画像取得部
Ｓ 撮影システム

Claims (11)

1. ユーザを撮影する飛行装置であって、
   撮影部と、
   前記撮影部が撮影した画像を記憶する記憶部と、
   前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定する位置特定部と、
   前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する撮影位置特定部と、
   特定された前記撮影位置に前記飛行装置を移動させる飛行制御部と、
   前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させる撮影制御部と、
   を備える飛行装置。
2. 前記位置特定部は、所定時間おきに前記端末の位置を特定し、
   前記撮影位置特定部は、前記位置特定部により特定された前記端末の位置が、直前に特定された前記端末の位置から変化すると、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定する、
   請求項１に記載の飛行装置。
3. 前記撮影位置特定部は、前記ユーザの移動速度を特定し、特定された移動速度に基づいて前記撮影位置を調整する、
   請求項２に記載の飛行装置。
4. 前記撮影位置特定部は、特定された前記ユーザの移動速度が大きければ大きいほど前記端末と前記飛行装置との距離が長くなるように前記撮影位置を特定する、
   請求項３に記載の飛行装置。
5. 前記撮影位置特定部は、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合において、特定された前記ユーザの移動速度が所定速度を超えるときには、前記端末の位置に基づいて前記撮影位置を特定し、特定された前記ユーザの移動速度が前記所定速度を超えない場合には、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する、
   請求項３又は４に記載の飛行装置。
6. 前記撮影位置特定部は、前記飛行制御部により前記飛行装置が前記撮影位置に移動した場合において前記ユーザが前記試写画像に収まらないときには、前記ユーザと前記飛行装置との距離を長くなるように前記撮影位置を調整し、
   前記飛行制御部は、調整された前記撮影位置に前記飛行装置を移動させる、
   請求項１から５のいずれか１項に記載の飛行装置。
7. 前記撮影位置特定部は、前記飛行制御部により、前記端末の位置に基づいて特定された前記撮影位置に前記飛行装置が移動した場合において前記ユーザが前記試写画像に収まらないときには、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を調整し、
   前記飛行制御部は、調整された前記撮影位置に前記飛行装置を移動させる、
   請求項１から６のいずれか１項に記載の飛行装置。
8. 前記撮影位置特定部は、前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合において、前記端末の加速度を示す加速度情報を取得し、当該加速度情報に基づいて前記ユーザの加速度を特定し、特定された前記ユーザの加速度が所定加速度を超える場合には、前記端末の位置に基づいて前記撮影位置を特定し、特定された前記ユーザの加速度が前記所定加速度を超えない場合には、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する、
   請求項１から７のいずれか１項に記載の飛行装置。
9. ユーザを撮影する飛行装置を制御するための管理装置であって、
   前記飛行装置の撮影部が撮影した画像を記憶する記憶部と、
   前記飛行装置の位置を示す飛行位置情報を取得するとともに、前記ユーザが所持する端末の位置を示す端末位置情報を取得する取得部と、
   前記飛行位置情報に基づいて前記飛行装置の位置を特定するとともに、前記端末位置情報に基づいて前記端末の位置を特定する位置特定部と、
   前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置に、前記撮影位置に移動して前記ユーザを撮影するように指示し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記記憶部に記憶されている撮影日時が相対的に新しい画像を前記飛行装置に送信し、前記飛行装置に、当該画像に含まれる被写体に基づいて前記ユーザを特定して、当該ユーザを撮影するように指示する撮影指示部と、
   を備える管理装置。
10. 撮影部と、前記撮影部が撮影した画像を記憶する記憶部とを有し、前記撮影部によりユーザを撮影する飛行装置が実行する撮影制御方法であって、
    前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定するステップと、
    前記位置を特定するステップにおいて前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定するステップと、
    特定された前記撮影位置に前記飛行装置を移動させるステップと、
    前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させるステップと、
    を備える撮影制御方法。
11. 撮影部と、前記撮影部が撮影した画像を記憶する記憶部とを有し、前記撮影部によりユーザを撮影する飛行装置を、
    前記ユーザが所持する端末の位置を示す端末位置情報を取得し、前記端末位置情報に基づいて前記端末の位置を特定するとともに、前記飛行装置の位置を特定する位置特定部、
    前記位置特定部により前記飛行装置及び前記端末の位置が特定できると判定した場合に、前記端末の位置に基づいて前記飛行装置が前記ユーザを撮影する撮影位置を特定し、前記飛行装置又は前記端末の位置が特定できないと判定した場合に、前記撮影部に周囲を撮影させて得られる試写画像に含まれる被写体と、前記記憶部に記憶されている撮影日時が相対的に新しい画像に含まれる被写体とに基づいて前記ユーザを特定し、前記試写画像に含まれる前記ユーザの位置に基づいて前記撮影位置を特定する撮影位置特定部、
    特定された前記撮影位置に前記飛行装置を移動させる飛行制御部、及び、
    前記撮影位置において前記撮影部に前記ユーザを撮影させ、撮影された画像を前記記憶部に記憶させる撮影制御部、
    として機能させる撮影制御プログラム。

Images