JP2019145947A

JP2019145947A - 撮影システム及び撮影制御装置

Info

Publication number: JP2019145947A
Application number: JP2018027059A
Authority: JP
Inventors: 茂生森下; Shigeo Morishita
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2018-02-19
Filing date: 2018-02-19
Publication date: 2019-08-29
Anticipated expiration: 2038-02-19
Also published as: JP7081198B2

Abstract

【課題】利用者からの要求に応じて利用者の元へドローンを派遣し、利用者を空撮する。【解決手段】撮影システムは、カメラ３１を搭載したドローン３と、ユーザ端末２からの操作情報に基づいてドローン３を制御する撮影制御装置１と、を備える。撮影制御装置１は、ユーザ端末２から、ユーザ端末２の位置情報及び利用者の顔画像を受信し、前記位置情報に対応する場所へドローン３を移動させ、カメラ３１の撮影画像と前記顔画像とを照合し、前記撮影画像の中から利用者Ｕを特定し、特定した利用者Ｕを撮影するようにカメラ３１を制御する。【選択図】図１

Description

本発明は、ドローンを用いた撮影システム及び撮影制御装置に関する。

テーマパーク等では、スタッフが入園客を順に撮影し、プリントした写真をオリジナルの台紙に貼り付けて、入園客に販売するサービスが行われている。スタッフによる撮影は、面白味のないポーズや構図になりやすかった。

テーマパーク内で記念撮影を行う場合、居合わせた人に依頼して撮影してもらうことがあった。しかし、周囲に人がいない場合、撮影できなかった。また、他人に撮影されるため緊張して表情が固くなる、カメラの使用方法の説明が面倒である等の問題があった。他人に依頼せず、自撮り棒のような棒状の器具の先端に撮影装置を取り付けて記念撮影することもあった。しかし、構図が毎回同じになり、一度に撮影できる人数も１０人程度が上限であった。

近年、いわゆるドローンなど空撮を行う飛行型カメラが普及しつつある。ドローンを使用して記念撮影を行うサービスが求められている。

特開２０１８−１０６３０号公報

本発明は、利用者からの要求に応じて利用者の元へドローンを派遣し、利用者を空撮する撮影システム及び撮影制御装置を提供することを課題とする。

本発明による撮影システムは、カメラを搭載したドローンと、ユーザ端末からの操作情報に基づいて前記ドローンを制御する撮影制御装置と、を備える撮影システムであって、前記撮影制御装置は、前記ユーザ端末から、前記ユーザ端末の位置情報及び利用者の顔画像を受信し、前記位置情報に対応する場所へ前記ドローンを移動させ、前記カメラの撮影画像と前記顔画像とを照合し、前記撮影画像の中から前記利用者を特定し、特定した利用者を撮影するように前記カメラを制御するものである。

本発明の一態様では、前記撮影制御装置は、前記ユーザ端末の位置情報に基づいて前記ドローンの利用可否を決定する。

本発明の一態様では、前記撮影制御装置は、複数のランドマークの名称及び位置を含むランドマーク情報を記憶する記憶部を有し、前記ユーザ端末から前記複数のランドマークのいずれかが選択されると、前記ランドマーク情報を参照し、選択されたランドマークが前記カメラで撮影されるように、前記ドローンの位置及び前記カメラの角度を制御する。

本発明の一態様では、前記ドローンは、前記ユーザ端末から所定の識別情報を含む電波を受信し、前記撮影制御装置は、前記ドローンが受信した電波の強度を用いて、前記利用者を特定する。

本発明の一態様では、前記撮影制御装置は、前記位置情報に対応する場所へ前記ドローンが移動すると、前記ユーザ端末に対し、前記ドローンの接近を通知する。

本発明の一態様では、前記撮影制御装置は、前記利用者の特定後、前記カメラが撮影している映像を前記ユーザ端末へ送信する。

本発明の一態様では、前記ユーザ端末からの操作情報は、前記ドローンの位置の指示及び前記カメラの撮影角度の指示の少なくともいずれか一方を含む。

本発明の撮影制御装置は、カメラを搭載したドローンを利用した撮影の申し込みをユーザ端末から受け付けると共に、前記ユーザ端末の位置情報を受信する申込受付部と、前記ユーザ端末から利用者の顔画像を受信する顔画像受信部と、前記位置情報に対応する場所へ前記ドローンを移動させる飛行制御部と、前記カメラの撮影画像と前記顔画像とを照合し、前記撮影画像の中から前記利用者を特定する画像処理部と、特定した利用者を撮影するように前記カメラを制御する撮影制御部と、を備えるものである。

本発明によれば、利用者からの要求に応じて利用者の元へドローンを派遣し、利用者を空撮することができる。

本発明の実施形態に係る撮影システムの概略構成図である。ユーザ端末の操作画面の例を示す図である。撮影制御装置の概略構成図である。ユーザ端末の機能ブロック図である。ドローンの概略構成図である。同実施形態に係る撮影方法を説明するフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。

本発明の実施形態に係る撮影システムは、例えばテーマパーク等のレジャー施設に導入・設置される。図１に示すように、利用者（テーマパーク入場者）Ｕが、ユーザ端末２を利用して記念撮影の申し込みを行うと、ドローン３（無人飛行体）が基地から利用者Ｕの元へ飛行し、ドローン３に搭載されたカメラ３１で撮影を行う。ユーザ端末２は、利用者Ｕが所有するスマートフォンやタブレット端末等である。ユーザ端末２をレジャー施設が貸し出してもよい。

ユーザ端末２は、撮影制御装置として機能するサーバ装置１に対し、記念撮影サービスの利用申し込みを行うと共にユーザ端末２の位置情報（ＧＰＳ（Global Positioning System）座標）を送信する。ユーザ端末２は、利用申し込みが受け付けられると、利用者Ｕの顔画像をサーバ装置１へ送信する。利用者Ｕの顔画像は、ユーザ端末２のメモリ内に格納されているものでもよく、ユーザ端末２の内蔵カメラを起動し、その場で撮影したものでもよい。

サーバ装置１は、ユーザ端末２のＧＰＳ座標をドローン３へ通知する。ドローン３は、受信したＧＰＳ座標が示す位置まで飛行する。ドローン３は、例えば離陸、推進に４つの回転翼を用いるクワッドコプターである。ドローン３は、ＧＰＳからの電波によって自己位置を特定し、ユーザ端末２のＧＰＳ座標が示す場所まで自律飛行する。ＧＰＳからの電波と共に、ドローン３の前後左右にセンサ３３（図５）を設置し、障害物を自ら避けて飛行するようにしてもよい。静止衛星で構成された準天頂衛星システムからの信号を併用して、測位精度を向上させてもよい。

ドローン３は、カメラ３１による撮影画像（映像）を、常時、サーバ装置１へ送信する。ドローン３は、ユーザ端末２のＧＰＳ座標が示す位置まで飛行すると上空で停止し、周囲を撮影する。サーバ装置１は、ユーザ端末２から受信した利用者Ｕの顔画像を用いて顔認識処理を行い、ドローン３のカメラ映像から利用者Ｕを特定する。

利用者Ｕの特定後、サーバ装置１は、ドローン３の撮影している映像をユーザ端末２へ送信する。ユーザ端末２は、サーバ装置１から受信した映像を用いて、ドローン操作画面を自機のタッチパネルに表示する。利用者Ｕが操作画面を介して入力した操作情報はサーバ装置１へ送信される。サーバ装置１は、操作情報に基づいて、ドローン３やカメラ３１の制御を行う。

例えば、ユーザ端末２は、図２に示すような操作画面をタッチパネルＴに表示する。操作画面では、各種操作ボタンと共に、ドローン３の撮影している映像がライブビューで表示される。

操作画面の前進ボタン２０１を押すと、ドローン３が前進する（利用者Ｕに近付く方向に移動する）。後退ボタン２０２を押すと、ドローン３が後退する（利用者Ｕから離れる方向に移動する）。

移動ボタン２０３，２０４を押すと、ドローン３は上下へ移動する。移動ボタン２０５，２０６を押すと、ドローン３は利用者Ｕを中心に時計回り／反時計回りに移動する。

カメラ角度調整スライダ２０７により、カメラ３１の方位角（左右の向き）を調整できる。カメラ角度調整スライダ２０８により、カメラ３１の仰俯角（上下の向き）を調整できる。

モード切替ボタン２０９により撮影モードを切り替えることができる。例えば撮影モードには、「人物撮影モード」「風景撮影モード」「人物＋風景撮影モード」がある。「人物撮影モード」では、人物（利用者）を撮影する。「風景撮影モード」では、周辺のランドマークを撮影する。「人物＋風景撮影モード」では、ランドマークを背景にして人物（利用者）を撮影する。

「風景撮影モード」「人物＋風景撮影モード」を選択すると、周辺のランドマークが一覧表示され、利用者Ｕは、どのランドマークを撮影画像に含めるか選択することができる。

追尾切替ボタン２１０により、利用者Ｕを自動追尾するか否か切り替えることができる。

明るさ調整スライダ２１１により、撮影画像の明るさを調整できる。コントラスト調整スライダ２１２により、撮影画像のコントラストを調整できる。

残り時間表示領域２２０には、利用者Ｕがドローン３を使用可能な残り時間が表示される。

撮影ボタン２３０を押すと、カメラ３１のシャッター操作が行われ、撮影処理が実行される。撮影処理後、ドローン３は基地へ帰還する。撮影画像データは、ドローン３がサーバ装置１へ送信する。ドローン３に設けられたメモリに撮影画像データを格納し、基地へ帰還後にメモリから撮影画像データを回収してもよい。撮影画像データは、サーバ装置１からユーザ端末２へ送信されてもよい。あるいはまた、撮影画像のプリント物を入退場ゲートにて販売してもよい。

このように、本実施形態によれば、利用者は、周囲の人に依頼することなく、記念撮影を行うことができる。ドローン３による撮影のため、緊張することなく撮影を行うことができる。ドローン３の位置やカメラ３１の撮影角度を調整できるため、構図を自由に変えることができる。上空から撮影することで、多人数での記念撮影にも対応できる。

次に、サーバ装置１の構成について説明する。サーバ装置１は１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。図３に示すように、サーバ装置１は、制御部１０、記憶部Ｍ、及び通信部Ｃを備える。制御部１０は、サーバ装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部Ｍに記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。

記憶部Ｍは、制御部１０が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部Ｍは、ランドマーク情報ＤＢ（データベース）及び撮影画像ＤＢを有する。

ランドマーク情報ＤＢは、テーマパーク内にある、又はテーマパークから見える建物、構造物、モニュメント、山などの特徴物の名称及び位置を記録したランドマーク情報を記憶する記憶領域である。

通信部Ｃは、インターネットやＬＡＮ等のネットワークを介して、ユーザ端末２やドローン３と通信を行う。

制御部１０は、撮影申込受付部１１、顔画像受信部１２、接近通知部１３、画像送信部１４、操作情報受信部１５、画像受信部１６、画像処理部１７、飛行制御部１８、及び撮影制御部１９の機能を有する。

撮影申込受付部１１は、ユーザ端末２から、記念撮影サービスの利用申し込みを受け付ける。撮影申込受付部１１は、利用申し込みと共にユーザ端末２から送信されるＧＰＳ座標からドローン基地と利用者Ｕとの距離を算出し、利用者Ｕがドローン基地から遠すぎると判定した場合は、利用申し込みの受付を中止してもよい。また、天候によって、申し込みを受け付けるか否か判定してもよい。

顔画像受信部１２は、ユーザ端末２から、利用者Ｕの顔画像を受信する。受信した顔画像は、記憶部Ｍに一時的に保存され、記念撮影サービスの利用後に消去される。

接近通知部１３は、ユーザ端末２から受信したＧＰＳ座標の位置までドローン３が飛行すると、ユーザ端末２に対し、ドローン３の接近を通知する。

画像送信部１４は、ドローン３のカメラ３１で撮影されている画像（映像）をユーザ端末２へ送信する。ユーザ端末２へ送信された映像は、操作画面と共にユーザ端末２で表示される。また、画像送信部１４は、ユーザ端末２において撮影モードとして「風景撮影モード」又は「人物＋風景撮影モード」が選択された場合、ランドマーク情報を参照し、利用者Ｕの位置から撮影可能なランドマークの名称等をユーザ端末２へ送信する。

操作情報受信部１５は、ユーザ端末２から、ユーザ端末２が操作画面を介して利用者Ｕから入力された操作情報を受信する。

画像受信部１６は、ドローン３から、カメラ３１の撮影画像（静止画又は映像（動画））を受信する。画像受信部１６は、ドローン３から受信した静止画を記憶部Ｍの撮影画像ＤＢに格納する。

画像処理部１７は、ドローン３のカメラ映像と、利用者Ｕの顔画像を照合し、カメラ映像の中から利用者Ｕを特定する。ドローン３のカメラ映像を解析し、障害物を検知してもよい。

飛行制御部１８は、ユーザ端末２から受信したＧＰＳ座標をドローン３に通知し、利用者Ｕの位置までの飛行を指示する。画像処理部１７により障害物が検知された場合に、回避指示を出してもよい。飛行制御部１８は、利用者Ｕからの操作情報に基づいて、ドローン３の位置を制御する。また、飛行制御部１８は、「風景撮影モード」又は「人物＋風景撮影モード」において利用者Ｕからランドマークが選択されると、選択されたランドマークが撮影できるようにドローン３の位置や姿勢、カメラ３１の角度等を制御する。

撮影制御部１９は、特定された利用者Ｕが撮影範囲に収まるように、カメラ３１の角度（向き）を調整する。また、撮影制御部１９は、利用者Ｕからの操作情報に基づいて、カメラ３１の角度、明るさ、コントラスト等を制御したり、カメラ３１に撮影処理を実行させたりする。撮影制御部１９は、利用者Ｕからの操作情報に基づく構図に適した撮影設定（明るさ、コントラスト）を自動で判別し、カメラ３１を制御してもよい。

図４は、ユーザ端末２の機能ブロック図である。ユーザ端末２は、例えばＧＰＳモジュールを備えたスマートフォンやタブレット端末であり、事前に端末内にインストールされているアプリケーションプログラムを実行することで、図４に示すような撮影申込部２１、位置情報送信部２２、顔画像送信部２３、接近報知部２４、操作画面表示部２５、及び操作情報送信部２６が実現される。

撮影申込部２１は、サーバ装置１に対し、記念撮影サービスの利用申し込みを行う。

位置情報送信部２２は、ユーザ端末２の位置情報（ＧＰＳ座標）をサーバ装置１へ送信する。

顔画像送信部２３は、サーバ装置１により記念撮影サービスの利用申し込みが受け付けられると、サーバ装置１へ利用者Ｕの顔画像を送信する。送信する顔画像は、ユーザ端末２のメモリ内に保存されている画像でもよいし、ユーザ端末２の内蔵カメラを起動して撮影したものでもよい。

接近報知部２４は、サーバ装置１からのドローン接近通知に応じて、アラームを出力したり、バイブレーション機能を使用したりして、ドローン３が近くにいることを利用者Ｕに報知する。

操作画面表示部２５は、サーバ装置１から受信したドローン３のカメラ映像をライブビュー表示すると共に、各種操作ボタンを含む操作画面（図２参照）をタッチパネルＴに表示する。

操作情報送信部２６は、操作画面を介して利用者Ｕから入力された操作情報をサーバ装置１へ送信する。

図５はドローン３の概略構成図である。ドローン３は、ドローン制御部３０、カメラ３１、ＧＰＳユニット３２、センサ３３、モータ３４、通信部３５、バッテリ３６等を有する。

ＧＰＳユニット３２は、測位衛星から信号を受信する。センサ３３は、例えば６軸ジャイロセンサにより構成された飛行状態センサや、下方距離測定用のレーダを含む。

通信部３５は、サーバ装置１と通信を行う。

ドローン制御部３０は、測位部３０２、飛行制御部３０４及び情報送信部３０６の機能を有する。測位部３０２は、ＧＰＳユニット３２の測位結果に基づいて、ドローン３の位置を測位する。

飛行制御部３０４は、サーバ装置１からの指示と、センサ３３の検出結果とに基づいて、回転翼のモータ３４の回転数を制御し、ドローン３の飛行高度、飛行方向、飛行速度、飛行姿勢等を制御する。

情報送信部３０６は、カメラ３１による撮影データ、ドローン３の位置情報や姿勢情報等を、サーバ装置１へ送信する。

次に、本実施形態に係る撮影システムを利用した記念撮影方法を説明する。

利用者Ｕは、ユーザ端末２のアプリケーションプログラムを起動し、記念撮影サービスの利用申し込みを行う（ステップＳ１）。利用申し込みと共に、ユーザ端末２の位置情報がサーバ装置１へ送信される。

サーバ装置１は、天候や利用者Ｕの位置から、申し込みを受け付けるか否か判定する。申し込みが受け付けられると（ステップＳ２＿Ｙｅｓ）、ユーザ端末２が利用者Ｕの顔画像をサーバ装置１へ送信する（ステップＳ３）。

サーバ装置１がドローン３にユーザ端末２の位置情報を送信して飛行指示を与え、利用者Ｕの元へドローン３を派遣する（ステップＳ４）。

ユーザ端末２の位置情報が示す位置にドローン３が到達すると、サーバ装置１は、ドローン３のカメラ映像に写っている人物の顔と、利用者Ｕの顔画像とを照合する。利用者Ｕが特定されると（ステップＳ５＿Ｙｅｓ）、サーバ装置１は、ドローン３のカメラ映像をユーザ端末２へ送信する。

ユーザ端末２は、ドローン３のカメラ映像と共に、各種操作ボタンを含む操作画面を表示する。利用者Ｕが操作画面を介して入力した操作情報は、サーバ装置１を介してドローン３に与えられる。利用者Ｕは、ドローン３の位置やカメラ３１の向きを調整して、構図を指定する（ステップＳ６）。

カメラ３１による撮影処理が行われると（ステップＳ７）、ドローン３は基地まで自律飛行し、帰還する（ステップＳ８）。

利用者は、ユーザ端末２を利用してドローン３を呼び出し、記念撮影を行うことができる。ドローン３の位置やカメラ３１の角度を調整できるため、構図を自由に変えることができる。利用者自身がドローンを持ち込む必要がなく、手軽に記念撮影を行うことができる。

ユーザ端末２は、顔画像と共に、ｗｉｆｉのＳＳＩＤやＢｌｕｅｔｏｏｔｈ（登録商標）の接続ＩＤ等の、自端末が発信する電波に含まれる識別情報をサーバ装置１へ送信してもよい。サーバ装置１は、この識別情報をドローン３に通知する。ドローン３は、利用者Ｕの位置まで飛行すると、サーバ装置１から通知された識別情報を含む電波を受信し、電波強度をサーバ装置１へ送信する。サーバ装置１は、ドローン３を移動させたときの電波強度の変化から、ユーザ端末２の位置を絞り込み、利用者を特定できる。

上記実施形態において、撮影前に残り時間がゼロになった場合、延長するか否か確認してもよいし、ドローン３が自動的に帰還してもよい。

ドローン３は撮影後、一旦基地に帰還してもよいし、バッテリ残量に余裕がある場合は、次の利用者の位置まで飛行してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１サーバ装置
２ユーザ端末
３ドローン

Claims

カメラを搭載したドローンと、
ユーザ端末からの操作情報に基づいて前記ドローンを制御する撮影制御装置と、
を備える撮影システムであって、
前記撮影制御装置は、前記ユーザ端末から、前記ユーザ端末の位置情報及び利用者の顔画像を受信し、前記位置情報に対応する場所へ前記ドローンを移動させ、前記カメラの撮影画像と前記顔画像とを照合し、前記撮影画像の中から前記利用者を特定し、特定した利用者を撮影するように前記カメラを制御することを特徴とする撮影システム。
前記撮影制御装置は、前記ユーザ端末の位置情報に基づいて前記ドローンの利用可否を決定することを特徴とする請求項１に記載の撮影システム。
前記撮影制御装置は、複数のランドマークの名称及び位置を含むランドマーク情報を記憶する記憶部を有し、前記ユーザ端末から前記複数のランドマークのいずれかが選択されると、前記ランドマーク情報を参照し、選択されたランドマークが前記カメラで撮影されるように、前記ドローンの位置及び前記カメラの角度を制御することを特徴とする請求項１又は２に記載の撮影システム。
前記ドローンは、前記ユーザ端末から所定の識別情報を含む電波を受信し、
前記撮影制御装置は、前記ドローンが受信した電波の強度を用いて、前記利用者を特定することを特徴とする請求項１乃至３のいずれか１項に記載の撮影システム。
前記撮影制御装置は、前記位置情報に対応する場所へ前記ドローンが移動すると、前記ユーザ端末に対し、前記ドローンの接近を通知することを特徴とする請求項１乃至４のいずれか１項に記載の撮影システム。
前記撮影制御装置は、前記利用者の特定後、前記カメラが撮影している映像を前記ユーザ端末へ送信することを特徴とする請求項１乃至５のいずれか１項に記載の撮影システム。
前記ユーザ端末からの操作情報は、前記ドローンの位置の指示及び前記カメラの撮影角度の指示の少なくともいずれか一方を含むことを特徴とする請求項１乃至６のいずれか１項に記載の撮影システム。
カメラを搭載したドローンを利用した撮影の申し込みをユーザ端末から受け付けると共に、前記ユーザ端末の位置情報を受信する申込受付部と、
前記ユーザ端末から利用者の顔画像を受信する顔画像受信部と、
前記位置情報に対応する場所へ前記ドローンを移動させる飛行制御部と、
前記カメラの撮影画像と前記顔画像とを照合し、前記撮影画像の中から前記利用者を特定する画像処理部と、
特定した利用者を撮影するように前記カメラを制御する撮影制御部と、
を備える撮影制御装置。