JP2017158116A - 撮影制御装置及びその制御方法 - Google Patents

Abstract

【課題】 移動可能な撮像装置の移動操作中においても、画像のブレを抑え、好みの画角や撮影パラメータで、静止画撮影することを可能にした撮影制御装置を提供すること。【解決手段】 撮像装置と、撮像装置を保持して移動可能な移動装置とを備える撮影制御装置において、撮影指示に応じて、移動装置の移動を停止してから撮影処理を実行する。【選択図】 図１

Description

本発明は、ドローン等の移動装置に撮像装置を有する撮影制御装置に関し、特に静止画撮影指示を受けた場合の、移動装置の移動動作と撮像装置の撮影動作に関する。

近年、撮像機能を搭載したラジコンカー、ラジコンヘリ、ドローン、クレーン等の無線操作に応じ移動可能な移動装置に撮像装置を有するものがあり、その操作のために一般的には専用の操作端末が用意されている。専用の操作端末の操作には操作への習熟を必要とし、移動操作をしながら安定した画角で静止画撮影するには、熟練した操作技術を必要とする。さらに、撮像装置を移動させながら行う静止画撮影は、画像全体がブレやすい、被写体に焦点が合いづらい、レリーズのタイミングが難しいため所望の画角を得づらいという問題がある。

撮像装置の移動状態に応じて、撮影時のパラメータを変更することで、移動中も好適な静止画を撮像するための従来技術が存在する。特許文献１では、撮像装置の運動がある場合にシャッタ速度を速め、撮像装置の運動が停止するとシャッタ速度を元に戻して撮影を行う技術が開示されている。また、特許文献２では、撮像装置が移動していない場合には撮影パラメータを自動で調整し、移動中である場合は撮影パラメータを所定の設定値に固定する技術が開示されている。

特開２０１３−１４１１５５号公報 特開２０１４−１６４０２８号公報

特許文献１では、撮像装置が動いてるときにも画像全体のブレを軽減した画像を得るために、撮像装置の移動中にシャッタ速度を短くすることが開示されている。しかし、その場合は、露光量が少ないため画像が暗くなってしまうという課題がある。

また、特許文献２では、撮像装置の移動中に合焦できないことにより、撮影動作が中断することがないように、移動中は撮影パラメータのオート制御を中止し、固定のパラメータで撮影を行うことが開示されている。しかし、撮影パラメータが固定されるため、ユーザの所望している画質や画角とずれが生じる場合がある。

そこで、本発明の目的は、ドローン等の移動装置に搭載されて位置移動が可能な撮像装置の移動中においても、画像のブレを抑え、かつ、好みの撮影パラメータや画角で、静止画撮影が可能な撮影制御装置を提供することである。

上記目的を達成するために、本発明における撮影制御装置は、被写体を撮像する撮像手段と、前記撮像手段を保持し、操作端末からの移動指示に応じて所定方向に移動する移動手段と、前記操作端末からの撮影指示に応じて前記移動手段の移動を停止させる移動制御手段と、前記移動制御手段により前記移動手段の停止がなされた後に前記撮像手段による撮影処理を実行する制御手段とを有することを特徴とする。

本発明によれば、ドローン等の移動装置に搭載されて位置移動が可能な撮像装置の移動中においても、画像のブレを抑え、かつ、好みの撮影パラメータや画角で、静止画撮影を行うことができる。

本発明の第１の実施形態に係る撮影制御装置とその操作端末の構成例を示す図 本発明の第１の実施形態に係る移動装置（撮像装置）の制御フローチャート 本発明の第１の実施形態に係る撮影指示受信時の移動装置（撮像装置）の処理を示すフローチャート 本発明の第１の実施形態に係る撮影指示受信時の移動装置（撮像装置）の処理を示すフローチャート 本発明の第２の実施形態に係る撮影指示受信時の移動装置（撮像装置）の撮影制御を示すフローチャート 本発明の第２の実施形態に係る撮影指示受信後の撮像装置の移動を説明する図

以下に、本発明の好ましい実施の形態を、図面を参照しながら詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮影制御装置とその操作端末の構成例を示すブロック図である。図１において、１００は移動装置、２００は操作装置（操作端末）を示す。

１１８は撮像装置であり、移動装置１００に保持部材によって保持される。移動装置１００及び移動装置に保持された撮像装置１１８とから、本発明の撮影制御装置は構成される。撮像装置１１８は、移動装置１００に対して取り外し可能な構成であっても良いし、一体的に固定された構成であっても良い。

撮像光学系１０１は外部の光を撮像素子１０３へ集光するレンズ群、及びレンズ群を操作、固定するためのメカ機構で構成される。撮像光学系操作部１０２は、撮像光学系１０１のメカ機構を操作する電気機構であり、ＣＰＵ１０６からの操作指令により撮像光学系１０１の内部のメカ機構を操作する電気信号を出力する。撮像素子１０３は、撮像光学系１０１より取り入れた光を結像し、結像された像を電気情報に変換する。また撮像素子１０３は像面位相差方式による距離検出のための情報を取得する構成とすることが可能である。

ＣＰＵ１０５は撮像装置１１８を含む移動装置１００の処理の全体統括を行う。ＲＯＭ１０６には移動装置１００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ１０５はこのＲＯＭ１０６に保持された処理プログラムに基づいて動作する。ＲＡＭ１０７は処理中の一時的なデータ保持の役割を担っている。

被写体認識部１０８は撮像信号処理部１０４で処理された画像情報から特定の物体を認識し、その物体の範囲などの情報を出力することができる。具体的には、予め登録されている物体情報、例えば人物の人体、顔等の検出を行うことができる。事前に登録した顔の情報などがあれば特定の人物を検出することもできる。メモリスロット１０９は記録データをメモリカード１１０に読み書きするためのインタフェースである。メモリカード１１０はメモリスロット１０９を通じて画像情報を記録されるものである。

駆動部１１１は移動装置１００の自律的な位置移動を可能にするための機構部分であり、本実施例においては具体的には４つのモータとモータ軸にとりつけられたプロペラを備えている。ＣＰＵ１０５から総合的に判断された移動命令により４つのプロペラを適切に回転駆動させ、位置の移動、姿勢変化、方向回転などの動作を行うことができる。自律的な移動の為の仕組みは、公知技術（例えば、特開２０１２−１０６７２１など）を用いる。

方位検知センサ１１２は移動装置１００が東西南北どちらを向いているかを検出できる。ＧＰＳ１１３（位置取得手段）は、ＧＰＳ信号を受信し処理することで現在の位置情報が取得可能である。加速度センサ１１４は移動装置１００にかかる３次元方向の加速度を検出することができ、加速中の加速度や落下状況などを検出することができる。ジャイロ１１５は３次元の３軸方向に関する回転量を検出することができる。

移動装置１００は方位検知センサ１１２〜ジャイロ１１５の構成から得られる情報を総合的に処理して、現在の位置、加速度状態、回転状態などを算出することができる。通信部１１６は操作端末２００内と通信部２０６との無線通信を介して、操作端末２００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。

撮像光学系１０２、及び撮像信号処理部１０４〜通信部１１６はバス１１７を介して指令、情報のやり取りが可能である。

次に操作端末２００の構成を説明する。操作端末２００は、例えば、移動装置１００を無線操縦により所定方向へ移動させる為のリモートコントローラである。ＣＰＵ２０１は操作端末２００の処理の全体統括を行う。ＲＯＭ２０２には操作端末２００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ２０１はこのＲＯＭ２０２に保持された処理プログラムに基づいて動作する。ＲＡＭ２０３は処理中の一時的なデータ保持の役割を担っている。

ＬＣＤ表示部２０４は、後述する通信部２０６を介して受信した撮像装置１１８で撮像している画像や映像を表示したり、タッチ操作部２０５のための操作部材を表示することが可能である。

タッチ操作部２０５はユーザからの操作・指示を受け付けるためのインターフェースである。また、タッチ操作部２０５は、ＬＣＤ表示部２０４に操作部材を表示した上で、操作部材に対応する個別操作を受け付けることも可能である。通信部２０６は移動装置１００内の通信部１１６との通信を介して、移動装置１００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。

図２は本発明の第１の実施形態に係る撮像装置１１８を含む移動装置１００の制御フローチャートである。図２のフローチャートは、移動装置１００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現される。ここで、撮影とは、静止画像又は動画像の取得（記録）、撮影指示とはその取得指示（記録指示）を意味するが、本実施例では静止画像の場合を例に説明する。

まず始めに、ステップＳ２０１において、移動装置１００に対する移動コマンドを受信したか否かを判定する。制御コマンドを受信していない場合は、ステップＳ２０１を繰り返し、コマンドを受信するまで待機する。このとき移動装置１００は、空中の１点で停止（ホバリング）し、撮像装置１１８で撮影されている映像が通信部１１６、通信部２０６を介して、操作端末２００のＬＣＤ表示部２０４にリアルタイムで表示されているものとする。制御コマンドを受信している場合は、ステップＳ２０２へ進む。

ステップＳ２０２では、受信した制御コマンドが移動指示か否かを判定する。制御コマンドの内容が移動指示である場合、ステップＳ２０３へ進み、指示内容に基づいて駆動部１１１を制御し、移動装置１００を指示された所定方向へ移動させる。

次に、ステップＳ２０４へ進み、移動停止のコマンドを受信したか否かを判定する。停止コマンドを受信していない場合には、ステップＳ２０３を繰り返し、移動停止のコマンドを受信するまで指示された移動を継続する。停止コマンドを受信した場合は、ステップＳ２０５へ進み移動を停止する。この場合、停止コマンドを受信していなくとも、被写体認識部１０８で認識した被写体との距離に基づいて、接触しない距離で移動を停止するように制御することも可能である。ステップＳ２０５で移動停止後は、ステップＳ２０９へ進む。

ここでステップＳ２０２に戻り、受信したコマンドが移動指示でない場合について説明する。受信したコマンドが移動指示でない場合、ステップＳ２０６でＣＰＵ１０５は受信したコマンドが撮影指示か否かを判定する。

ステップＳ２０６で受信したコマンドが撮影指示の場合、ステップＳ２０７へ進み、移動装置１００と撮像装置１１８に対して、撮影制御を開始する。なお、撮影指示は１つのコマンドに限らず、スイッチ１（半押し）及びスイッチ２（全押し）の二段階のコマンドとして指示する場合も含む。

ここで、撮影制御について、図３、図４を使って詳細に説明する。

図３は、本発明の第１の実施形態に係る撮影指示受信時の移動装置（撮像装置）の処理を示すフローチャートである。図３のフローチャートは、移動装置１００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現される。

静止画像を、画像のブレを抑え、被写体に焦点が合い、所望の画角で得るためには、移動装置１００を停止させた状態で撮影することが望ましい。そのため、撮影制御を開始すると、まず始めにステップＳ３０１にて、移動装置１００の停止制御を行う。すなわち、移動装置１００を停止（ホバリング）させてその場に留まらせるよう制御する。

次にステップＳ３０２へ進み、移動装置１００が移動を停止したか否かの移動停止状態を判定する。移動装置１００の移動速度が速いと直ちに停止させることが出来ない場合があるため、移動の停止が検出されるまでステップＳ３０１の停止制御を継続して実行する。

停止状態が検出された場合は、ステップＳ３０３へ進み、撮像装置１１８を制御し、撮影処理を実行する。具体的には、撮像光学系１０１を介して撮像素子１０３へ集光した被写体像を光電変換し、撮像している被写体の画像データを生成して、メモリカード１１０等の記録媒体に記録する。より高画質でユーザーの所望する画角の静止画像を得るために、Ｓ３０３の撮影処理の前に、フォーカスと露光等の撮影パラメータを調整することが望ましい。また必要に応じてズームの調整も行ってもよい。

図４は、操作装置２００による撮影指示が、例えば、スイッチ１（半押し）及びスイッチ２（全押し）のように２段階で指示が可能な場合の、撮影指示受信時の移動装置（撮像装置）の処理を示すフローチャートである。スイッチ１は一般的なカメラにおけるシャッターボタンのいわゆる半押しによる撮影準備指示、スイッチ２は全押しによる撮影実行指示、のような場合である。

まず始めに、ステップＳ４０１で、受信した撮影の指示がスイッチ１の段階（Ｓ１）である半押し状態か否かの判定を行う。スイッチ１によるＳ１信号が検出された場合は、ステップＳ４０２へ進み、移動装置１００が移動を停止しその場でホバリングするように、停止制御を行う。スイッチ１が検出されない場合、ステップＳ４０８へ進む。

ステップＳ４０２で停止制御を実行した後は、ステップＳ４０３へ進み、移動装置１００が移動を停止したか否かの移動停止状態を判定する。停止状態が検出されない場合は、移動の停止が検出されるまでステップＳ４０２の停止制御を継続して実行する。なお、移動装置１００の移動制御中でも、必要に応じてフォーカスと露光の調整する構成としてもよい。停止状態が検出された場合は、ステップＳ４０４へ進む。

ステップＳ４０４では、停止された画角で、ホワイトバランス、露出、フォーカス等の撮影パラメータを調整する。

次にステップＳ４０５で、受信した撮影指示がスイッチ２の段階（Ｓ２）の撮影指示である全押し状態か否かの判定を行う。スイッチ２による撮影の指示（Ｓ２信号）を受信した場合、Ｓ４０６へ進み、撮像装置１１８を制御して撮影処理を実行することで、撮像している被写体像の画像データを記録する。

ステップＳ４０５において、スイッチ２による撮影の指示を受信していない場合、ステップＳ４０７へ進み、スイッチ１の状態（Ｓ１信号の検出）が継続されているか否かの判定を行う。スイッチ１状態が継続されている場合は、ステップＳ４０５を繰り返し、スイッチ２の撮影指示を受信するまで、移動装置１００は移動を停止した状態で待機する。スイッチ１が検出されない場合は、撮影処理を実行せずに、撮影制御のフローを終了する。

ここでステップＳ４０８から、受信した撮影指示がスイッチ１（Ｓ１信号）でなかった場合について説明する。ステップＳ４０８では、受信した撮影指示がスイッチ２による撮影指示か否かを判定する。スイッチ２（Ｓ２信号）が検出されなかった場合は、撮影処理を実行せずに撮影制御のフローを終了する。

スイッチ２（Ｓ２信号）が検出された場合は、ステップＳ４０９へ進む。続くステップＳ４０９、Ｓ４１０の処理は、ステップＳ４０２、Ｓ４０３と同様であるため詳細な説明は省略する。以上が図２のステップＳ２０７における撮影制御のフローである。ステップＳ２０７の撮影制御フローが終了したら、ステップＳ２０９へ進む。

ここで図２のステップＳ２０６に戻り、受信したコマンドが撮影指示でない場合について説明する。ステップＳ２０６において、受信したコマンドが撮影指示でなかった場合は、ステップＳ２０８へ進み、受信したコマンドに対応する制御を実行して、ステップＳ２０９へ進む。

ステップＳ２０９にて、撮像装置１００の制御の終了指示の有無を確認する。終了指示があった場合、終了処理を行い撮像装置１００の制御を終了する。終了指示がない場合には、ステップＳ２０１へ戻る。

以上述べてきた第１の実施形態の処理により、移動装置が撮影指示を受信した際に、移動装置の移動を停止させた後に撮影処理を実行することで、画像全体のブレを抑えた静止画撮影を行うことが可能である。

（第２の実施形態）
以下、図を参照しながら、本発明の第２の実施形態における処理について説明する。なお、第１の実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。第２の実施形態では、操作装置からの撮影指示に基づき、移動装置の移動制御と撮影処理の実行を行うことで、移動操作中においても所望の画角の静止画像を得られる撮影制御装置について説明する。

図６は、撮影指示の受信後の撮像装置の移動操作を説明する図であり、撮影指示を受けて停止制御を開始した後、実際に停止が完了し撮影処理を実行するまでの移動装置の位置のずれを表す図である。位置６０１は撮影指示を受信した時点、位置６０２は撮像装置１１８が撮影動作の開始する時点の移動装置１００の位置座標を示している。位置６０２で撮影を実行すると、ユーザーにとっては意図しない画角の静止画像を得ることになってしまう。

そこで本発明の第２の実施形態は、ユーザーの意図した画角による撮影を行うために、位置６０２から撮影指示を受けた時点での位置６０１へ撮像装置を戻すように移動させた後、撮影を実行させる制御について説明するものである。

第２の実施形態に係る撮影制御について、図５を使って詳細に説明する。図５は、図２のステップＳ２０７における撮影制御を示すフローチャートである。図５のフローチャートは、移動装置１００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現される。

撮影制御が開始されるとまず始めに、ステップＳ５０１で、ＧＰＳ１１３は移動装置１００の位置座標を検出し、ＲＡＭ１０７は検出した位置座標を第１の位置情報（位置情報１）である位置６０１として保持する。またステップＳ５０１が実施される度に位置６０１の情報を上書きして保持する。

ステップＳ５０２、Ｓ５０３は、第１の実施形態のステップＳ３０１、Ｓ３０２と同様であるため詳細な説明は省略する。

ステップＳ５０３で移動装置１００の停止を検出した後、ステップＳ５０２でＧＰＳ１１３は移動装置１００の位置座標を検出し、ＲＡＭ１０７は検出した位置座標を第２の位置情報（位置情報２）である位置６０２として保持する。

次にステップＳ５０５で、位置６０１と位置６０２が同じ座標か否かを判断する。

位置６０１と位置６０２の座標が異なる場合は、ステップＳ５０６へ進み、移動装置１００を位置６０１へ移動するよう移動制御を実行する。次にステップＳ５０４へ戻り、再度、移動装置１００の位置座標を検出し、検出した位置座標の情報で第２の位置情報（位置情報２）である位置６０２を上書きして保持する。ステップＳ５０４〜Ｓ５０６を、位置６０１、６０２の座標が一致するまで繰り返す。

位置６０１と位置６０２の座標が一致した場合、ステップＳ５０７へ進み、撮影処理を実行して、撮像している被写体像の画像データを記録する。

以上述べてきた第２の実施形態の処理により、移動装置が撮影指示を受信した際に、撮影指示の受信時の位置まで移動装置を移動させた後、撮影処理を行うことで、移動装置を即時停止できない場合でも、所望の画角の静止画像を得ることが出来る。

なお、第１、第２の実施形態では、移動指示と撮影指示を別々に説明したが、移動制御中に撮影指示のコマンドを受信することも可能である。その際、撮影制御の完了後に、受信していた移動指示に対応する移動制御を再開する。このように停止前の移動操作の状態に移動装置１００を戻すと、ユーザーは移動操作の指示を保ったまま、撮影の指示によって所望の静止画像を得ることができる。更に撮影後は保っていた移動操作が再開されるため、難しい操作を必要としない撮影が可能になる。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 移動装置
１０１ 撮像光学系
１０２ 撮像光学系操作部
１０３ 撮像素子
１０４ 撮像信号処理部
１０５ ＣＰＵ
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ 被写体認識部
１０９ メモリスロット
１１０ メモリカード
１１１ 駆動部
１１２ 方位検知センサ
１１３ ＧＰＳ
１１４ 加速度センサ
１１５ ジャイロ
１１６ 通信部
１１８ 撮像装置
２００ 操作端末
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＬＣＤ表示部
２０５ タッチ操作部
２０６ 通信部

Claims (13)

1. 被写体を撮像する撮像手段と、
   前記撮像手段を保持し、操作端末からの移動指示に応じて所定方向に移動する移動手段と、
   前記操作端末からの撮影指示に応じて前記移動手段の移動を停止させる移動制御手段と、
   前記移動制御手段により前記移動手段の停止がなされた後に前記撮像手段による撮影処理を実行する制御手段と
   を有することを特徴とする撮影制御装置。
2. 前記撮影指示は、撮影準備を指示する第１の指示と撮影処理の実行を指示する第２の指示を含み、
   前記移動制御手段は、前記第１の指示に応じて前記移動手段の移動を停止させ、
   前記制御手段は、前記第２の指示に応じて前記撮影処理を実行することを特徴とする請求項１に記載の撮影制御装置。
3. 前記撮像手段は、前記移動手段の停止がなされたときに撮像している被写体に基づいて撮影パラメータを調整することを特徴とする請求項１又は２に記載の撮影制御装置。
4. 前記移動制御手段は、前記撮影処理の完了後に前記移動指示に基づく移動を再開することを特徴とする請求項１乃至３のいずれか１項に記載の撮影制御装置。
5. 被写体を撮像する撮像手段と、
   前記撮像手段を保持し、操作端末からの移動指示に応じて所定方向に移動する移動手段と、
   前記操作端末からの撮影指示に応じて前記所定方向とは異なる方向に前記移動手段を移動させてから停止させる移動制御手段と、
   前記移動制御手段により前記移動手段の停止がなされた後に前記撮像手段による撮影処理を実行する制御手段と
   を有することを特徴とする撮影制御装置。
6. 自装置の位置情報を取得可能な位置取得手段をさらに有し、
   前記移動制御手段は、前記撮影指示を受けたときの第１の位置と現在の第２の位置とが異なる場合に、前記移動手段を前記第１の位置へ移動させて停止させることを特徴とする請求項５に記載の撮影制御装置。
7. 前記撮影指示は、撮影準備を指示する第１の指示と撮影処理の実行を指示する第２の指示を含み、
   前記移動制御手段は、前記第１の指示に応じて前記所定方向とは異なる方向に前記移動手段を移動させてから停止させ、
   前記制御手段は、前記第２の指示に応じて前記撮影処理を実行することを特徴とする請求項５又は６に記載の撮影制御装置。
8. 前記撮像手段は、前記移動手段の停止がなされたときに撮像している被写体に基づいて撮影パラメータを調整することを特徴とする請求項５乃至７のいずれか１項に記載の撮影制御装置。
9. 前記移動制御手段は、前記撮影処理の完了後に前記移動指示に基づく移動を再開することを特徴とする請求項５乃至８のいずれか１項に記載の撮影制御装置。
10. 被写体を撮像する撮像手段と、前記撮像手段を保持し、操作端末からの移動指示に応じて所定方向に移動する移動手段とを有する撮影制御装置の制御方法であって、
    前記操作端末からの撮影指示に応じて前記移動手段の移動を停止させる移動制御工程と、
    前記移動制御手段により前記移動手段の停止がなされた後に前記撮像手段による撮影処理を実行する制御工程と
    を有することを特徴とする撮影制御装置の制御方法。
11. 被写体を撮像する撮像手段と、前記撮像手段を保持し、操作端末からの移動指示に応じて所定方向に移動する移動手段とを有する撮影制御装置の制御方法であって、
    前記操作端末からの撮影指示に応じて前記所定方向とは異なる方向に前記移動手段を移動させてから停止させる移動制御工程と、
    前記移動制御手段により前記移動手段の停止がなされた後に前記撮像手段による撮影処理を実行する制御工程と
    を有することを特徴とする撮影制御装置の制御方法。
12. コンピュータを、請求項１又は５に記載の撮影制御装置の各手段として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータが読出し可能な記録媒体。

Images