JP2021182659A - 撮像装置、及び撮像システム - Google Patents

Abstract

【課題】複数の撮像装置で連携して被写体を撮像する際、１つの撮像装置が被写体を見失うと、他の撮像装置も被写体を撮像できなくなり、シャッターチャンスを逃してしまう。【解決手段】撮像画角を変更可能な無人機である撮像装置であって、特定の主被写体を検出する検出手段と、第１の撮像装置と通信する通信手段と、前記通信手段を介して前記第１の撮像装置で撮像している被写体の情報を取得する取得手段と、前記特定の主被写体を探索する第１の動作モードと、前記取得手段により取得した被写体の情報に基づいて前記第１の撮像装置と異なる画像を撮像する第２の動作モードと、を切り替えて制御する制御手段と、を有し、前記制御手段は、前記取得した被写体の情報に前記主被写体の情報が含まれない場合には前記第１の動作モードで制御し、前記主被写体の情報が含まれる場合には第２の動作モードで制御する。【選択図】図１

Description

本発明は、撮像画角を変更可能な撮像装置と、少なくとも１つの撮像画角を変更可能な撮像装置を含む複数の撮像装置を連携させて制御する撮像システムに関するものである。

従来、複数のカメラ（撮像装置）を用いて被写体を撮影する撮影システムが知られている。このような撮影システムでは、複数のカメラ全ての姿勢・撮影制御を人間が手動で行うのが一般的であった。しかし、動きの速い被写体を撮影する場合など、人間が全てのカメラを手動で制御して撮影を実行することは難しい。

このような課題に対し、複数のカメラで情報を共有して連携することで、被写体を自動で撮影する撮影システムが知られている。例えば、特許文献１では、親機カメラが検出した被写体の情報を子機カメラへ送信し、子機カメラは送信された情報から撮影タイミングを決定する。これにより、複数のカメラによる特定被写体を所望の多方向から同時撮影することを実現している。

特開２０１５−１５５５９号公報

しかしながら特許文献１に開示の構成では、親機カメラが検出した被写体情報に基づいて子機カメラの撮影タイミングを制御する為、親機カメラが被写体を見失っている場合は、全てのカメラが被写体を撮影出来なくなる。また、親機カメラが被写体を撮影している期間のみしか子機カメラは自動で制御されない。

そこで、本発明の目的は、複数のカメラで連携して被写体を撮影しながら、あるカメラが被写体を見失って撮影できない状態に陥っても、他のカメラが被写体を撮影可能な手段を提供することである。

上記目的を達成するために、本発明は、被写体を撮像する撮像手段と、他の撮像装置と通信する通信手段と、前記通信手段を介して前記他の撮像装置で撮像している被写体に関する被写体情報を取得する取得手段と、取得した前記被写体情報に基づいて、特定の主被写体を探索する第１の動作モードと、前記他の撮像装置と異なる画角で撮像する第２の動作モードと、を含む複数の動作モードの何れかを切り替えて制御する制御手段と、を有し、前記制御手段は、取得した前記被写体情報に前記特定の主被写体の情報が含まれない場合には前記第１の動作モードで制御し、該被写体情報に該特定の主被写体の情報が含まれる場合には第２の動作モードで制御することを特徴とする。

本発明によれば、複数のカメラで連携して被写体を撮影しながら、あるカメラが被写体を見失って撮影できない状態に陥っても、他のカメラが被写体を撮影することができる。

本発明の実施形態に係る無人撮像装置（ドローン）と他の撮像装置（手持ちカメラ）で通信する情報を示す図である。 本発明の実施形態に係る無人撮像装置（ドローン）の構成例を示すブロック図である。 本発明の実施形態に係る他の撮像装置（手持ちカメラ）の構成例を示すブロック図である。 本発明の第１の実施形態に係る撮影モード切り替えを示す図である。 本発明の第１の実施形態に係る無人撮像装置（ドローン）の撮影シーケンスを示すフローチャートである。 本発明の第２の実施形態に係る無人撮像装置（ドローン）の撮影シーケンスを示すフローチャートである。 本発明の第３の実施形態に係る無人撮像装置（ドローン）の主被写体のシャッターチャンスを判別する制御動作を説明する図である。 本発明の第３の実施形態に係る撮影モード切り替えを示す図である。 本発明の第３の実施形態に係る無人撮像装置（ドローン）の撮影シーケンス示すフローチャートである。 本発明の第４の実施形態に係る撮影モード切り替えのシーケンスを示すフローチャートである。 本発明の第４の実施形態に係る撮影モード切り替えのイメージ図である。 本発明の第５の実施形態に係る撮影モード切り替えのシーケンスを示すフローチャートである。 本発明の第５の実施形態に係る撮影モード切り替えのイメージ図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下の実施形態の説明において、同一の構成、動作及び処理については図中に同一の符号を付す。また、本実施例において、本発明に係る撮像装置として、カメラ一体型ドローンと手持ちカメラの組み合わせを例に説明するが、一例であり、これに限らない。少なくとも１つの撮像装置が、他方の撮像装置の撮像画像に応じて画角が変更可能な構成であればよい。

（第１の実施形態）
本発明の第１の実施の形態を説明する。本実施例では、無人で移動可能なカメラ一体型ドローンと、人が操作することにより撮影を行うカメラ（以下手持ちカメラ）とが連携して撮影する撮像システムについて説明する。

図１は、本発明の実施形態に係る無人撮像装置（ドローン）と他の撮像装置（手持ちカメラ）で通信する情報を示す図である。ドローン１００は、後述する結像光学部１１１・撮像素子１１２等からなる撮像部１１０を備えている。ドローン１００は、無人で飛行可能な無人撮像装置である。ドローン１００は、４つの回転翼１０１〜１０４をそれぞれ回転させるためのモータを備えている。ドローン１００は、各モータにより、各回転翼を独立に、バランスよく回転させることで飛行を実現している。また、撮像部１１０は、ドローン１００内に搭載されている後述のＣＰＵ１３０の判断に基づいて撮影動作を行う。ＣＰＵ１３０、及び撮影条件についての詳細は後述する。

手持ちカメラ２００は、人間（ユーザ）によって操作・撮影が行われる撮像装置である。ドローン１００と手持ちカメラ２００は、ＷｉＦｉ等の無線通信手段で各種情報を互いに通信可能である。本実施形態においては、手持ちカメラ２００は、カメラ２００が撮像しているライブビュー（以降、ＬＶ）画像をＷｉＦｉ等の無線通信手段でドローン１００へ送信可能である。また、ドローン１００は、ドローンが撮像している画像や、カメラ２００から送信された画像から、予め登録された主被写体を検出し、検出した主被写体の座標を算出可能である。また、ドローン１００は、算出した座標情報をＷｉＦｉ等の無線通信手段で手持ちカメラ２００へ送信できる。

手持ちカメラ２００は、結像光学部２０２と、例えば、シャッターボタン２０２、ダイヤル２０３などの操作部材を備える。結像光学部２０２は、手持ちカメラ２００に括り付けであってもよいし、着脱可能な交換レンズであってもよい。シャッターボタン２００は、ユーザ操作を受け付けて撮影を指示するための操作部材である。ユーザは、シャッターボタン２００の半押し（ＳＷ１）で撮影準備を指示し、全押し（ＳＷ２）で撮影実行を指示する。ダイヤル２０３は、ダイヤル式の操作部材である。ユーザは、例えば、ダイヤルを回すことで設定を切り替えたり、メニューやモードの変更、設定の変更を指示することが可能である。

図２は、本発明の実施形態に係る無人撮像装置（ドローン）の構成例を示すブロック図である。

撮像部１１０は、結像光学部１１１、撮像素子１１２、画像処理部１１３等を有し、被写体を撮像して画像データを生成する。結像光学部１１１は、不図示のフォーカスレンズやズームレンズ、絞り等を有する。結像光学部１１１は、フォーカス調節や露出調節を行い、被写体像を撮像素子１１２へ結像する。撮像素子１１２は、結像光学部１１１を介して結像された光学像を電気信号に変換するＣＣＤ等の撮像素子である。

画像処理部１１３は、撮像した画像データに対して、ホワイトバランス調整やノイズ低減処理等の各種の画像処理を施して現像を実行する画像処理部である。

主被写体検出部１１４は、入力される画像から予め登録された主被写体を検出する。主被写体検出部１１４は、例えば、主被写体が人物である場合には主被写体の顔の向き・大きさを検出する。また、被写体検出部１１４は、主被写体の撮像画面上での位置等、主被写体の各種情報を取得可能である。主被写体検出部１１４は、ドローン１００が撮像した画像から主被写体を検出する。また、主被写体検出部１１４は、後述のように、通信部１３２を介して手持ちカメラ２００から受信したＬＶ画像から主被写体を検出することも可能である。

記録部１１５は、撮像した画像を記録媒体に記録する。

撮像制御部１１６は、不図示のサブＣＰＵを備えており、撮像部１１０全体を制御して撮像を実行する。

ＤＲＡＭ１１７は、画像データを一時的に格納する為のメモリとなるＤｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。

主被写体位置算出部１１８は、主被写体の座標情報を算出する。主被写体位置算出部１１８は、ドローン１００で撮像した画像と、主被写体検出部１１４の検出結果から、ドローン１００と主被写体との距離情報を算出する。主被写体とドローン１００との距離は、一般的な既知の方法で算出可能である。主被写体位置算出部１１８は、取得した距離情報と、後述のＧＰＳ１３３で取得したドローン１００の座標情報とから、主被写体の座標情報を算出する。主被写体位置算出部１１８が算出した主被写体の座標情報は、後述の通信部１３２を介して手持ちカメラ２００へ送信される。

情報取得部１１９は、手持ちカメラ２００から受信したＬＶ画像から主被写体検出部１１４が検出した主被写体の検出結果から、受信したＬＶ画像に含まれる主被写体の情報を取得する。情報取得部１１９は、手持ちカメラ２００のＬＶ画像から主被写体検出部１１４が検出した主被写体の検出結果から、手持ちカメラ２００が撮像している主被写体の顔の向き・大きさ等の情報を取得する。さらに、情報取得部１１９は、通信部１３２を介して手持ちカメラ２００の位置情報を取得し、取得した位置情報と、手持ちカメラ２００のＬＶ画像から主被写体検出部１１４が検出した主被写体の検出結果から、被写体の位置を算出することも可能である。また、情報取得部１１９は、ドローン１００が撮像した画像から主被写体検出部１１４が検出した主被写体の検出結果から、ドローン１００が撮像している主被写体の顔の向き・大きさ等の情報を取得する。

ＣＰＵ１３０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、ドローン１００全体を制御する。ＣＰＵ１３０は、後述の記憶部１３１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ＣＰＵ１３０は、手持ちカメラ２００からのＬＶ画像の主被写体の情報、ドローン１００が撮像した画像の主被写体の情報、及び、予め設定された撮影条件等から、手持ちカメラ２００と異なる画角を撮影する為の移動先座標を算出する。ＣＰＵ１３０は、算出した移動先座標への移動を移動制御部１４１へ指示し、撮像制御部１１６へ撮影を指示する。

記憶部１３１には、ＣＰＵ１３０により実行可能なプログラムが格納されている。

通信部１３２は、手持ちカメラ２００と通信する。通信部１３２は、手持ちカメラ２００が撮像したＬＶ画像や主被写体座標などの種々の情報を送受信している。データ転送制御部１３５は、通信部１３２と、撮像部１１０との間のデータ転送を制御する。ＧＰＳ１３３は、ドローン１００の位置・座標情報を検出する。ジャイロセンサ１３４は、ドローン１００の角度や角速度を検出している。

移動制御装置１４０は、移動制御部１４１、モータ制御部１５１〜１５４、モータ１６１〜１６４を有する。モータ１６１〜１６４には、それぞれ回転翼１０１〜１０４が接続されている。移動制御部１４１は、不図示のサブＣＰＵを備えている。移動制御部１４１は、ＣＰＵ１３０の指示と、ジャイロセンサ１３４が検出した情報から、ドローン１００の飛行制御を実現している。

次に、図３は、本発明の実施形態に係る他の撮像装置（手持ちカメラ２００）の構成例を示すブロック図である。

撮像部１０１０は、結像光学部２００、撮像素子１０１２、画像処理部１０１３等を有し、被写体を撮像して画像データを生成する。結像光学部１０１１は、不図示のフォーカスレンズやズームレンズ、絞り等からなり、フォーカス調節や露出調節を行い、被写体像を撮像素子１０１２へ結像する。撮像素子１０１２は、結像光学部１０１１を介して結像された光学像を電気信号に変換するＣＣＤ等の撮像素子である。

画像処理部１０１３は、撮像した画像データに対して、ホワイトバランス調整やノイズ低減処理等の各種の画像処理を施して現像を実行する画像処理部である。

主被写体検出部１０１４は、入力される画像から予め登録された主被写体を検出する。主被写体検出部１１４は、入力された画像から主被写体を検出する。また、主被写体検出部１０１４は、主被写体の顔の向き・大きさ・撮像画面上での位置等、主被写体の各種情報を取得可能である。

記録部１０１５は、手持ちカメラ２００が撮像した画像を記録媒体に記録する。

撮像制御部１０１６は、不図示のサブＣＰＵを備えており、撮像部１０１０全体を制御して撮像を実行する。

ＤＲＡＭ１０１７は、画像データを一時的に格納する為のメモリとなるＤｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。

主被写体位置算出部１０１８は、主被写体の座標情報を算出する。

撮影範囲判定部１０１９は、結像光学部１０１１、または撮像制御部１０１６から取得したレンズのズーム情報を基に、撮影画角の範囲を判定する。

ＣＰＵ１０３０は、手持ちカメラ２００全体の制御を司るメインＣＰＵである。ＣＰＵ１０３０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、手持ちカメラ２００の全体を制御する。ＣＰＵ１０３０は、後述の記憶部１０３１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

記憶部１０３１には、ＣＰＵ１０３０により実行可能なプログラムが格納されている。

通信部１０３２は、ドローン１００と通信する。通信部１０３２は、撮像したＬＶ画像や主被写体座標などの種々の情報を送受信している。また、通信部１０３２は、ドローン１００への動作モード指示情報の送信およびドローン１００からの補助情報の受信をしている。ここで補助情報とは、ドローン１００が撮影した画像や、ドローン１００が検出した被写体の位置情報などが挙げられる。

ＧＰＳ１０３３は、手持ちカメラ２００の位置・座標情報を検出する。データ転送制御部１０３５は、通信部１０３２と、撮像部１０１０との間のデータ転送を制御する。操作部材１０３４は、ユーザ操作を受け付ける操作部材であって、例えば、前述したシャッターボタン２０２、ダイヤル２０３などを有する。

図４は、本発明の第１の実施形態に係る撮影モード切り替えを示す図である。本実施例では、ドローン１００と手持ちカメラ２００が連携して同一の被写体Ａを主題として撮影し続ける撮像システムについて説明する。

本実施形態において、ドローン１００は２つの動作モードを持っており、図４（ａ）は第１の動作モード、図４（ｂ）は第２の動作モードを説明する図である。ドローン１００は起動時において、手持ちカメラ２００で撮像されたＬＶ画像（ライブビュー画像）を受信する。そして、ドローン１００は、受信したＬＶ画像の中から予め主被写体として登録されている被写体Ａの検出を行い、検出できない場合は第１の動作モード、検出できた場合は第２の動作モードで動作する。また、ドローン１００が手持ちカメラ２００からＬＶ画像を受信できない場合は、ドローン１００は、第１の動作モードで動作する。

本実施形態では、主被写体検出部１１４が主被写体を検出し、かつ、検出された主被写体の顔が所定の大きさより大きい場合に、ＬＶ画像には主被写体の情報が含まれていると判断する。主被写体が検出できない、もしくは検出された主被写体の顔の大きさが所定の大きさより大きくない場合は、ＬＶ画像には主被写体の情報が含まれていないと判断する。ここで、情報取得部１１９が、手持ちカメラ２００のＬＶ画像に主被写体の情報が含まれていないと判断した時は、ドローン１００が主被写体を探索し、主被写体が含まれる画像を撮像し記録媒体へ記録する（第１の動作モード）。

一方、情報取得部１１９が、手持ちカメラ２００のＬＶ画像に主被写体の情報が含まれていると判断した時は、ドローン１００は手持ちカメラ２００とは異なる画角で撮像を行い、撮影した画像を記録媒体へ記録する（第２の動作モード）。

まず、図４（ａ）を参照して、第１の動作モードについて、説明する。第１の動作モードは、手持ちカメラ２００を操作する人間（ユーザ）が主被写体である被写体Ａを発見できていない等、何らかの理由により手持ちカメラ２００で主被写体を撮影できていない状況を想定した動作モードである。ドローン１００は、手持ちカメラ２００から受信したＬＶ画像から被写体Ａを検出できない場合、第１の動作モードで動作する。第１の動作モードでは、ドローン１００は、ドローン１００が撮影したＬＶ画像から被写体Ａを探索する。ドローン１００が撮影した画像に被写体Ａが含まれない場合には、撮影する方向や、ドローン１００の位置を移動して被写体Ａを探索する。撮影された画像から被写体Ａが検出されると、画角等の決められた条件に基づいて、撮影される画像に被写体Ａが含まれるように撮影を行う。例えば、第１の動作モードでは、被写体Ａを撮影する方向（正面等）、主被写体の顔の大きさの比率や位置がドローン１００に予め設定されているものとする。また、ドローン１００は、このように第１の動作モードでは、特定の被写体を探索し、見つかった被写体を決められた方向、大きさで撮影する。

本実施例では、ドローン１００は、内蔵したＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の情報、撮影時の焦点距離の情報等から、ドローン１００が撮像した画像から検出した被写体Ａの座標（位置情報）を算出することができる。ドローン１００は、ドローン１００が撮影した画像から被写体Ａを検出したら、算出した被写体Ａの座標情報を手持ちカメラ２００へ送信する。

手持ちカメラ２００は、ＧＰＳを内蔵しており、ＧＰＳの情報から手持ちカメラ２００の座標（位置情報）を取得可能である。手持ちカメラ２００は、ドローン１００から受信した被写体Ａの座標と、手持ちカメラ２００の座標を比較し、被写体Ａの場所を指し示す矢印のアイコンを手持ちカメラ２００の不図示の表示部に表示する。手持ちカメラ２００を操作する人間（ユーザ）は、表示された被写体Ａの場所の情報によって、被写体Ａを撮影可能な場所へ移動することが可能になる。手持ちカメラ２００を操作する人間が被写体Ａを発見し、被写体Ａの撮影しようとすると、手持ちカメラ２００のＬＶ画像に被写体Ａが含まれることになる。ドローン１００は、手持ちカメラ２００から受信したＬＶ画像から被写体Ａを検出できた時は、第２の動作モードに切り替わる。

次に、図４（ｂ）を参照して、第２の動作モードについて、説明する。第２の動作モードは、手持ちカメラ２００を操作する人間が主被写体を撮影している状況を想定した動作モードである。この場合、ドローン１００は、手持ちカメラ２００から受信したＬＶ画像から主被写体として予め登録されている被写体Ａを検出できる。すなわち、手持ちカメラ２００は主被写体を撮影できる状況である。そこで、ドローン１００は、手持ちカメラ２００が撮像する画像とは異なる画像を撮影する。第２の動作モードで画像を撮影する際の条件は予めドローン１００に設定されているものとする。例えば、本実施例では、ドローン１００には、手持ちカメラ２００が撮像している被写体Ａを、手持ちカメラ２００とは異なる画角で撮影するように設定されている。ここで、手持ちカメラ２００とは異なる画角で主被写体を撮影する為の条件として、手持ちカメラ２００が撮像している主被写体の顔の向きとの角度差（９０°、１８０°等）や画像に対する主被写体の顔の大きさの比率や位置等をドローン１００に設定できる。ドローン１００は、手持ちカメラ２００から、手持ちカメラ２００が撮影している画像の画角の情報を通信部１３２を介して受信している。

ドローン１００が第２の動作モードで動作中に、手持ちカメラ２００から受信したＬＶ画像から被写体Ａを検出できなくなった場合には、ドローン１００は前述の第１の動作モードでの動作に切り替わる。これにより、手持ちカメラ２００を操作する人間が撮影途中で被写体Ａを撮影できない状況に陥っても、ドローン１００が代わりに画角等の決められた条件に基づいて、被写体Ａを含む画像を撮影することができる。

このように、手持ちカメラ２００を操作する人間が主被写体を撮影できない状況の時は、ドローン１００が主被写体を正面から撮影する等、主被写体を含む画像を決められた条件に従って撮影する。そのため、シャッターチャンスを逃さず主被写体を撮影することができる。また、手持ちカメラ２００を操作する人間が主被写体を撮影している時は、ドローン１００は手持ちカメラ２００とは異なる画角で主被写体を撮影することで、様々な画角で主被写体を撮影できる。

図５は、本発明の第１の実施形態に係る無人撮像装置（ドローン）の撮影シーケンスを示すフローチャートである。図５のフローチャートにおける各処理は、ＣＰＵ１３０およびＣＰＵ１０３０が、記憶部１３１又は記憶部１０３１に格納されたプログラムを不図示のシステムメモリに展開して実行し、各機能ブロックを制御することにより実現される。図５のフローチャートは、ドローン１００および手持ちカメラ２００の電源がＯＮにされ、連携動作を始めたところから開始する。

ステップＳ４０１で、ドローン１００は、撮影モードが起動されたか否かを判断する。撮影モードが起動された場合はステップＳ４０２へ進み、起動されていない場合は撮影モードが起動するまで待機する。

ステップＳ４０２では、ドローン１００は、通信部１３２を介して、手持ちカメラ２００が撮像しているＬＶ画像を取得する。

次のステップＳ４０３では、情報取得部１１９は、取得した手持ちカメラ２００のＬＶ画像に、予め登録されている主被写体の情報が含まれるかを判断する。手持ちカメラ２００のＬＶ画像に主被写体の情報が含まれない場合にはステップＳ４０４へ進み、含まれる場合にはステップＳ４０８へ進む。

手持ちカメラ２００のＬＶ画像に主被写体が含まれていない場合、ステップＳ４０４で、ＣＰＵ１３０は、撮像部１１０、移動制御装置１４０に指示を出し、ドローン１００の位置や撮像方向を変更して画角変更しながら撮像を行い、主被写体の探索を行う。

ステップＳ４０５で、ＣＰＵ１３０は、主被写体検出部１１４が、ドローン１００が撮像した画像内に主被写体を検出したかを判断する。主被写体を検出した場合はステップＳ４０６へ進む。また、主被写体を検出しない場合はステップＳ４０２へ戻り、手持ちカメラ２００からのＬＶ画像、又は、ドローン１００が撮影した画像のいずれかで主被写体を検出されるまで、ステップＳ４０２〜Ｓ４０５の処理を繰り返す。

ステップＳ４０５で主被写体が検出された場合、ステップＳ４０６で、ドローン１００から手持ちカメラ２００へ、検出した主被写体の位置情報を通知する。

ステップＳ４０７で、検出された主被写体の位置情報に基づいて、移動制御部１４１は、ドローン１００が主被写体を予め設定された条件で撮影可能な位置へ移動するように制御する。このとき、ドローン１００が主被写体を撮影するための条件として、例えば、主被写体の顔の向きや、画角に対する顔の比率や顔の位置などを予め設定できる。

一方、手持ちカメラ２００のＬＶ画像に主被写体の情報が含まれていると判断したらステップＳ４０８へ進み、移動制御部１４１は、ドローン１００が手持ちカメラ２００の撮像画角とは異なる画角で撮影可能な位置へ移動するように制御する。

ステップＳ４０９で、ＣＰＵ１３０は、ドローン１００の移動が完了したか否かを判断する。移動が完了していない場合は、ステップＳ４０２へ戻り、ステップＳ４０９までの処理を繰り返し、所望の画角で撮影できる位置まで移動する。

所望の画角で撮影可能な位置への移動が完了したら、ステップＳ４１０で、ＣＰＵ１３０は、主被写体の撮影・記録を撮像制御部１１６へ指示する。

ステップＳ４１１では、ユーザーからの停止の指示を判断し、停止の指示があった場合は動作を停止する。停止を指示されなければ、ステップＳ４０２へ戻り、以降、同様の制御を繰り返す。本フローチャートのいずれのステップにおいても、動作停止の指示を受けた場合には撮影モードを停止して本フローチャートを終了する。

以上、上記本実施例の制御により、手持ちカメラ２００が主被写体を見失っている場合においても、ドローン１００が主被写体を撮影する為、シャッターチャンスを逃さず主被写体を撮影することができる。また、手持ちカメラとドローンで、異なる画角で撮影を行う為、よりシャッターチャンスを逃さず撮影することができる。

なお、本実施例では、ドローン１００が手持ちカメラから受信したＬＶ画像から検出した主被写体の顔が所定の大きさより大きい場合に、主被写体の情報が含まれていると判断したが、顔の大きさ以外の条件で判断しても良い。

また、本実施例では、第１の動作モード時にドローンが撮影する条件（正面から撮影、等）は予め設定されているとしたが、これに限らない。例えば、手持ちカメラでドローンの撮影条件を設定する構成として、手持ちカメラで設定した条件をドローンに送信して、送信された条件に従てドローンが撮影しても良い。また、第２の動作モード時にドローンが撮影する条件（異なる画角で撮影、等）も同様に、手持ちカメラを操作する人間が設定し、ドローンに指示できる構成としても良い。

本実施例では、第１の動作モード時にドローンが主被写体を正面から撮影するとしたが、正面以外の撮影条件で撮影しても良く、複数の撮影条件で複数の異なる画像を撮影しても良い。

また、第２の動作モード時にドローンが主被写体を手持ちカメラとは異なる画角で撮影するとしたが、複数の異なる撮影条件を設定して複数の異なる画角の画像を撮影しても良い。また、異なる画角以外の撮影条件で撮影しても良く、他の被写体を撮影しても良い。また、主被写体を含む広い画角の画像を撮影したり、ドローン１００が独自のアルゴリズムで撮影対象を決めたり、順次、画角を変えながら撮影してもよい。

本実施例では、手持ちカメラ２００のＬＶ画像をドローン１００に送信したが、ＬＶ画像に撮像された主被写体に関する情報を手持ちカメラが検出し、検出した情報をドローンに送信しても良い。

また、本実施例では、手持ちカメラ２００は、ドローン１００から受信した主被写体の情報に基づいて、主被写体の場所を指し示す矢印のアイコンを画面表示したが、他の形式で表示しても良い。例えば、主被写体の位置の座標や、手持ちカメラ２００が移動すべき方向や座標を表示しても良い。

また、本実施例では、主被写体の情報取得手段、及び動作モード切り替え手段はドローン１００が有していたが、ドローン１００を制御する撮像システム又は手持ちカメラ２００が有しても良い。

（第２の実施形態）
図６を参照して、本発明の第２の実施形態を詳細に説明する。

本発明の第２の実施形態に係るドローン１００および手持ちカメラ２００の構成は、図２、図３に示す第１の実施形態と同様である為、説明を省略する。第２の実施形態では、手持ちカメラ２００が、ドローン１００に対して第２の動作モードから第１の動作モードへ切り替えを指示できるように構成し、ドローン１００がカメラ２００からの指示に応じてモードを切り替える点が第１の実施形態と異なる。また、第２の実施形態において、ドローン１００が、第１の動作モードで主被写体を撮像している条件が予め設定された撮影条件に合致しているかを手持ちカメラ２００へ通知する。これにより、手持ちカメラ２００が一時的に主被写体以外の被写体を撮影したい時など、ＬＶ画像に主被写体が検出されなくなるのを待つことなく、ドローン１００に主被写体を主題として撮影させるように動作モードを切り替えることができる。

第２の実施形態では、第２の動作モードから第１の動作モードへ切り替える時の動作について説明する。図４（ｂ）の第２の動作モードにおいて、第１の実施形態と同様、手持ちカメラ２００は被写体Ａを撮影し、ドローン１００は手持ちカメラ２００とは異なる画角で被写体Ａを撮影している。ここで、手持ちカメラ２００を操作する人間が被写体Ａと異なる被写体を撮影した場合、第１の実施形態においては、手持ちカメラ２００のＬＶ画像から主被写体を検出できなくなる。すると、ドローン１００は自動的に第１の動作モード（図４（ａ））へ移行する。しかしながら、ドローン１００は、予め設定された第１の動作モードの撮影条件（被写体の正面、等）で撮影可能な場所への移動に時間を要する為、その間に主被写体のシャッターチャンスを逃してしまう可能性がある。

そこで、第２の実施形態では、手持ちカメラ２００を操作する人間が、手持ちカメラ２００の操作部材１０３４（例えば、強制モード切り替えボタン）を操作することで、ドローン１００に対して第１の動作モードへの移行を指示する。ドローン１００は、第１の動作モードへの強制切り替えを指示されると、第１の動作モードに切り替わり、被写体Ａを撮影するための、予め設定された撮影条件（被写体Ａの正面、等）で撮影可能な場所への移動を開始する。

第１の実施形態では、手持ちカメラ２００から受信した画像から被写体Ａが検出されなくなるまで第１の動作モードへ移行しなかった。本実施形態においては、手持ちカメラ２００を操作する人間は、ドローン１００が第１の動作モードへ移行して場所を移動させてから、手持ちカメラ２００で被写体Ａ以外の被写体の撮影を開始可能である。

手持ちカメラ２００からの動作モードの切り替え指示を受信すると、ドローン１００は、被写体Ａを主題として撮影可能な予め設定された撮影条件に合致する場所（例えば、被写体Ａの正面）へ移動する。そして、被写体Ａを撮像している条件が予め設定された撮影条件に合致したら、手持ちカメラ２００へ移動が完了したことを通知する。ドローン１００は、所定の条件で被写体Ａを撮影して記録媒体への記録を行う。手持ちカメラ２００を操作する人間は、ドローン１００の移動完了通知を受けてから他の被写体の撮影を開始することで、動作モード切り替え時に主被写体のシャッターチャンスを逃してしまうことを防ぐことができる。

手持ちカメラ２００を操作する人間が再び主被写体の撮影を行いたい場合は、操作部材１０３４により強制モード切り替え指示を解除することで、ドローン１００は再び手持ちカメラのＬＶ画像に基づいて動作モードの切り替えを行う。

図６は、本発明の第２の実施形態に係る無人撮像装置（ドローン）の撮影シーケンスを示すフローチャートである。図６のフローチャートにおける各処理は、ＣＰＵ１３０およびＣＰＵ１０３０が、記憶部１３１又は記憶部１０３１に格納されたプログラムを不図示のシステムメモリに展開して実行し、各機能ブロックを制御することにより実現される。図６のフローチャートは、前述の図４に示した撮影シーケンスにおいて、ドローン１００が、手持ちカメラ２００からユーザ操作による動作モードの切り替え指示を受信した場合に開始する。

ＣＰＵ１３０が、手持ちカメラ２００から強制モード切り替えが指示されている状態かを判断する。強制モード切り替えが指示されている場合に、図６の処理が開始される。強制モード切り替えの解除されている場合は、図４の撮影シーケンスに基づく動作に戻る。

ステップＳ６０１にて、移動制御部１４１は、検出された主被写体の位置情報に基づいて、移動制御部１４１は、ドローン１００が主被写体を撮影するための、予め設定された画角で撮影可能な位置へ移動するように制御する。なお、主被写体の位置情報は、図４のシーケンスで取得していた情報を用いる。例えば、手持ちカメラ２００が主被写体を撮影している場合は、主被写体算出部１１８が検出した主被写体位置情報と情報取得部１１９により取得した手持ちカメラ２００の位置情報に基づいて、主被写体の位置情報を検出する。手持ちカメラ２００が主被写体を撮影していない場合には、前述のステップＳ４０４、Ｓ４０５と同様に、ドローン１００が主被写体の探索を行い、主被写体を検出してその位置を算出する。

ステップＳ６０２では、ＣＰＵ１３０は、移動が完了したかを判断する。

移動が完了した場合にはステップＳ６０３へ進み、手持ちカメラ２００へ移動が完了したことを通知する。

そして、ステップＳ６０４で、主被写体を撮影・記録する。

ステップＳ６０５で、ドローン１００のＣＰＵ１３０は、ユーザーから停止を指示されたら動作を停止する。停止を指示されなければステップＳ６０１に戻り、以降の処理を継続する。

ドローン１００のＣＰＵ１３０は、手持ちカメラ２００から強制モード切り替えの解除を指示されたら本フローチャーを終了して、図４のフローチャートで示す撮影シーケンスへ戻る。本フローチャートのいずれのステップにおいても、強制動作モード切り替えの解除の指示を受けた場合には撮影モードを停止して本フローチャートを終了する。

以上、上記本実施形態の制御により、第２の動作モードから第１の動作モードへ動作モードを切り替える際に、ユーザの指示で切り替えてドローン１００に主被写体を撮影させることができる。

また、本実施例では、第１の動作モード時にドローンが撮影する条件（正面から撮影、等）は予め設定されているとした。しかし、ユーザが手持ちカメラを操作して撮影条件を設定する構成とし、ユーザによる手持ちカメラからの指示に従ってドローンが撮影しても良い。また、本実施例では、第１の動作モード時にドローンが主被写体を正面から撮影するとしたが、正面以外の撮影条件で撮影しても良く、複数の撮影条件で複数の異なる画像を撮影しても良い。

（第３の実施形態）
図７〜図９を参照して、本発明の第３の実施形態を詳細に説明する。第３の実施形態に係るドローン１００および手持ちカメラ２００のハードウェア構成は、第１の実施形態と同様である為、説明を省略する。

第３の実施形態では、ドローン１００は、手持ちカメラ２００の撮像画像に関わらず全体を俯瞰する画像を撮像し、主被写体のシャッターチャンスを判別したときには、手持ちカメラ２００に主被写体の情報を通知する撮像システムについて説明する。

まず、ドローン１００は、手持ちカメラ２００の撮像画像に関わらず、全体を俯瞰するように撮影する第３の動作モードで動作している。その後、ドローン１００は、撮影している画像の変化に応じて主被写体として登録されている被写体Ａのシャッターチャンスを判別すると、被写体Ａを主題として撮影する第１の動作モードに切り替わる。そして、それとともに、ドローン１００が手持ちカメラ２００にシャッターチャンスの到来を通知する。そして、手持ちカメラ２００が、被写体Ａの位置に到達し、被写体Ａの撮影を開始したら、第３の動作モードに戻り俯瞰画像の撮影を行う。

第３の実施形態において、情報取得部１１９は、ドローン１００が撮像した画像から、主被写体として予め登録されている被写体Ａを検出するとともに、被写体Ａの動きベクトルを検出する。動きベクトルは、着目しているフレームと前フレームの被写体Ａの位置座標の差分を算出するなど、従来の方法で検出する。

図７は、本発明の第３の実施形態に係る無人撮像装置（ドローン）の主被写体のシャッターチャンスを判別する制御動作を説明する図である。図７（ａ）はドローン１００の撮像画像であり、図７（ｂ）は被写体の動きベクトルを検出するとともに、撮像画像を４分割した図である。また、図７（ｂ）の動きベクトル８００〜８１４は検出した動きベクトルを示し、図７（ｃ）に検出した動きベクトル情報の詳細を示す。

図７（ｃ）において、ＩＤは図７（ｂ）に示した動きベクトル８００〜８１４を示している。動きベクトル情報には、例えば、それぞれの前フレームの座標位置（矢印の始点）、着目フレームの座標位置（矢印の終点）、画像の領域１〜４のどこに属しているか、移動量、各領域の動きベクトルの平均の絶対値などが含まれる。移動量の平均の絶対値が大きいということは、その領域の被写体が同じ方向に動いていることを示す。

本実施例においては、ドローン１００は、被写体が同じ方向に動いている場合にその先に主被写体のシャッターチャンスがある可能性が高いと判断する。そこで、あらかじめ設定された閾値よりも移動量の平均の絶対値が大きい場合には、全体を俯瞰するように撮影していたドローン１００は、移動量の平均の絶対値が大きい領域に移動し、その領域の撮影を始める。そして、ドローン１００は、主被写体を探索して検出した主被写体の位置情報を手持ちカメラ２００に通知する。

図８は、本発明の第３の実施形態に係る撮影モード切り替えを示す図である。図８（ａ）は第３の動作モードから第１のモードへの切り替えを説明する図である。

第３の実施形態においては、撮影に先立ちドローン１００は、あらかじめ全体を俯瞰するよう撮影するように設定がされており、起動時（撮影の開始時）には第３の動作モードとして動作する。

まず、第３の動作モードについて、説明する。第３の動作モードは、ドローン１００が、手持ちカメラ２００の撮影している画像に関わらず、予め設定された範囲内で全体を俯瞰する画像を撮影する動作モードである。ドローン１００が俯瞰画像を撮影する範囲は、予めユーザ操作により設定可能であり、例えば、運動会であれば運動場の範囲、などを設定しておくことができる。そして、第３のモードになった場合には、ドローン１００は予め設定された範囲全体を俯瞰できる画像を撮影する。このとき、ドローン１００は、設定された範囲を、一度で全体を俯瞰するような撮影をしてもよいし、撮影方向や画角を変えながら複数回に分けて撮影してもよい。

ドローン１００は、前述の通り俯瞰画像から分割された領域ごとのの動きベクトルを検出して、主被写体のシャッターチャンスを判別する。シャッターチャンスを判別すると、ドローン１００は、第１の動作モードに切り替わり、主被写体である被写体Ａがいると思われる位置に移動して、被写体Ａの探索を行い、被写体Ａを主題として撮影を行う。そして、ドローン１００は、内蔵したＧＰＳの情報と撮像画像から被写体Ａを検出し、その位置情報等から被写体Ａの座標情報を算出して手持ちカメラ２００へ送信する。

手持ちカメラ２００は、ドローン１００から受信した被写体Ａの座標と、手持ちカメラ２００の座標を比較し、被写体Ａの場所を指し示す矢印のアイコンを手持ちカメラ２００の液晶パネルに表示する。手持ちカメラ２００を操作する人間は、表示された被写体Ａの場所の情報によって、被写体Ａを撮影可能な場所へ移動することが可能になる。

次に、図８（ｂ）は第１の動作モードから第３の動作モードへの切り替えを説明する図である。手持ちカメラ２００を操作する人間が主被写体を発見し、主被写体の撮影しようとするとき、操作する人間はパネル上のボタン等の操作部材を操作することで、ドローン１００へ通知する。ドローン１００は、手持ちカメラ２００から被写体Ａの撮影位置に到達したことを知らせる信号を受けたとき、ドローン１００は、第３の動作モードに戻り全体を俯瞰する撮影を行う。

図９は、本発明の第３の実施形態に係る無人撮像装置（ドローン）の撮影シーケンス示すフローチャートである。図９のフローチャートにおける各処理は、ＣＰＵ１３０およびＣＰＵ１０３０が、記憶部１３１又は記憶部１０３１に格納されたプログラムを不図示のシステムメモリに展開して実行し、各機能ブロックを制御することにより実現される。図９のフローチャートは、ドローン１００および手持ちカメラ２００の電源がＯＮにされ、連携動作を始めたところから開始する。

まず、ステップＳ９０１で、ドローン１００は、撮像モードが起動されているかを判断する。ドローン１００の撮像モードが起動された場合には、ステップＳ９０２へ進む。

ステップＳ９０２では、ドローン１００は、第３の撮像モードで動作し、予め設定された範囲の全体の俯瞰画像を撮影する。

ステップＳ９０３で、ドローン１００は第３の撮像モードで俯瞰画像を撮影しながら、情報取得部１１９が動きベクトルを取得し、取得した動きベクトルから主被写体のシャッターチャンスを判別する。本実施形態においては、ＣＰＵ１０３０は、例えば、被写体が同じ方向に動いている場合にその先に主被写体のシャッターチャンスがある可能性が高いと判断する。シャッターチャンスがあると判断された場合はステップＳ９０４へ進み、シャッターチャンスがあると判断されない場合にはステップＳ９０２にて俯瞰画像の撮影を継続する。

ステップＳ９０４では、ドローン１００は、ステップＳ９０３で取得した動きベクトルから、シャッターチャンスがあると判断された領域に移動して主被写体の探索を行う。

次に、ステップＳ９０５で、ドＣＰＵ１０３０は、情報取得部１１９が主被写体を検出したかを判断する。主被写体を検出した場合はステップＳ９０６へ進み、検出していない場合はステップＳ９０４へ戻り探索を継続する。

ステップＳ９０６で、ドローン１００は、主被写体を主題として撮影する第１の動作モードの撮影条件として設定されている位置（例えば、主被写体の正面など）へ移動する。そのとき、ドローン１００は、手持ちカメラ２００へ主被写体の位置情報を通知する。

ステップＳ９０７では、ＣＰＵ１０３０が、手持ちカメラ２００が主被写体の撮影位置に到達したかを判断する。手持ちカメラ２００がその位置に来ていない場合はステップＳ９０８へ進み、来ている場合はステップＳ９０９へ進む。手持ちカメラが撮影位置に到達したかは、例えば、手持ちカメラ２００から主被写体位置に到達したことを知らせる信号を受けたかどうかで判断する。

手持ちカメラ２００が主被写体の撮影位置に到達したら、ステップＳ９０８で、ドローン１００は、第１の動作モードで主被写体を主題として撮影を行う。

ステップＳ９０９で、ドローン１００は、ユーザから撮影の停止を指示されたら動作を停止し、停止を指示されなければステップＳ６０６に戻り、以降の処理を継続する。

ステップＳ９１０で、ドローン１００は、ユーザから撮影の停止を指示されたら動作を停止し、停止を指示されなければＳ９０３へ戻り、再度、主被写体のシャッターチャンスの判別されるまで俯瞰画像の撮影を継続する。本フローチャートのいずれのステップにおいても、ドローン１００は、動作停止の指示を受けた場合には撮影モードを停止して本フローチャートを終了する。

以上、上記本実施例の制御により、手持ちカメラが主被写体のシャッターチャンスに気づかなくても、ドローンが主被写体のシャッターチャンスを判別して、主被写体を撮影することができる。

なお、本実施例では、ドローン１００は、動きベクトルの変化に基づき主被写体のシャッターチャンスを判別したが、領域内の輝度変化に基づき、主被写体のシャッターチャンスを判別しても良い。また、手持ちカメラ２００が主被写体の撮影を開始したかどうかをユーザ操作に応じて判断する例を説明したが、第１の実施形態と同様に、手持ちカメラ２００が撮像しているＬＶ画像内に主被写体が検出されたことに応じて、判断してもよい。

（第４の実施形態）
図１０、図１１を参照して、本発明の第４の実施形態について詳細に説明する。第４の実施形態では、手持ちカメラの撮影範囲に応じて、ドローンの動作が本画像撮影モードと検出モードとで切り替わる。手持ちカメラ２００の撮影範囲に基づいて、ドローン１００の動作モードが切り替わる点で第１の実施形態と異なる。無人撮像装置と他の撮像装置で通信する情報およびドローン１００、手持ちカメラ２００のハードウェア構成は、第１の実施形態と同様のため説明は省略する。

図１０は、本発明の第４の実施形態に係る撮影モード切り替えのシーケンスを示すフローチャートである。図１０のフローチャートにおける各処理は、ＣＰＵ１３０およびＣＰＵ１０３０が、記憶部１３１又は記憶部１０３１に格納されたプログラムを不図示のシステムメモリに展開して実行し、各機能ブロックを制御することにより実現される。図１０のフローチャートは、ドローン１００と手持ちカメラ２００の電源がＯＮにされ、連携動作を始めたところから開始する。

まず、ステップＳ１１０１で、手持ちカメラ２００とドローン１００が起動され、連携撮影が開始されたかを判断する。起動されるとステップＳ１１０２へ進む。

ステップＳ１１０２では、ＣＰＵ１３０が、手持ちカメラ２００の撮影範囲と閾値を比較して、撮影範囲が閾値より小さいかを判断する。この時、撮影範囲の広さを、例えば、結像光学部１０１１のズーム情報から算出する。撮影範囲が閾値より小さい場合（Ｙｅｓ）には、ステップＳ１１０３へ進み、撮影範囲が閾値以上の場合（Ｎｏ）はステップ１１０５へ進む。

ステップＳ１１０３で、手持ちカメラ２００からドローン１００に対して、第４の動作モード（本画像撮影モード）での動作指示を通知する。

ステップＳ１１０４では、指示情報を受信したドローン１００が、本画像撮影を開始する。本実施例における第４の動作モード（本画像撮影モード）とは、ドローン１００が、手持ちカメラ２００が撮影する主被写体と同一の被写体を含む画像を記録画像として撮影するモードである。つまり、本画像撮影モード動作指示を指示する際には、手持ちカメラ２００から、そのとき撮影中の被写体を認識して主被写体を判断し、その位置情報をドローン１００に通知する。ドローン１００は、その位置情報を基に本画像撮影の領域を決定する。

ステップＳ１１０５では、手持ちカメラ２００からドローン１００に対して、第５の動作モード（検出モード）での動作指示を通知する。

ステップＳ１１０６で、指示情報を受信したドローン１００は、動作モードを第５の動作モード（検出モード）に切り替える。本実施例における検出モードとは、ドローン１００がシャッターチャンスの場面や被写体を探索して、検出・認識を行うモードであり、検出・認識した情報、例えばシャッターチャンスの発生場所の方向や被写体情報を手持ちカメラ２００に通知する。ここでシャッターチャンスとは、例えば、被写体の移動量や移動方向に関する情報、特定の被写体間との距離の条件に合致した場面などが挙げられる。シャッターチャンスや検出する被写体の情報は、予め設定されている条件に基づいて判断し、条件や被写体の情報は複数持つことができ、随時、追加、更新できるものであってもよい。

ステップＳ１１０７で、ＣＰＵ３０およびＣＰＵ１０３０は、手持ちカメラ２００又はドローン１００の撮影が停止したかを判断する。停止していない場合はステップＳ１１０２に戻り、停止していれば本フローチャートは終了する。

図１１は、本発明の第４の実施形態に係る撮影モード切り替えのイメージ図であり、図１１（Ａ）は本画像撮影モード、図１１（Ｂ）は検出モードを示す。実線枠１２０１は手持ちカメラ２００の撮影範囲を表し、破線枠１２０２はドローンの動作モード１００を切り替える閾値枠である。図１１（Ａ）のように撮影範囲が閾値枠より狭い場合には、ドローン２００は第４の動作モード（本画像撮影モード）となり、実線枠１２０３で示すように手持ちカメラ２００で撮影している被写体を含む画像を記録するための動作になる。一方、図１１（Ｂ）のように手持ちカメラ２００の撮影範囲が閾値枠以上の場合には、ドローン１００は第５の動作モード（検出モード）となり、実線１２０４で示すように広範囲で検出すべき対象物の探索するための動作になる。

以上、上記実施例の制御により、手持ちカメラ２００の撮影範囲の大きさに応じて、手持ちカメラ２００での撮りこぼしの補助、およびシャッターチャンスや主被写体検出の補助のモードを自動で切り替え制御をすることが出来る。本実施形態においては、手持ちカメラ２００の撮影範囲が狭い場合には、手持ちカメラ２００のユーザは特定の被写体を撮影したいものと判断し、ドローン１００も同じ被写体を撮影する。手持ちカメラ２００の撮影範囲が広い場合には、手持ちカメラ２００のユーザが撮りたい被写体を探している状態と判断し、ドローン１００は特定のシャッターチャンスや予め登録されている被写体を探索して検出することで、ユーザの撮影をサポートする。

なお、本実施例では撮影範囲を手持ちカメラ２００のレンズ制御情報から判定したが、手持ちカメラ２００の撮影画像の被写体の大きさから判定してもよい。

（第５の実施形態）
図１２、図１３を参照して、本発明の第５の実施形態について、詳細に説明する。本実施例では、手持ちカメラ２００の撮影範囲に応じて、ドローン１００の動作が第４の動作モード（本画像撮影モード）と第６の動作モード（俯瞰撮影モード）とで切り替わる。シャッターチャンスの判別結果や手持ちカメラで撮影している主被写体に関わらず、手持ちカメラの撮影範囲に基づいて、ドローンの動作モードが切り替わる点で第３の実施形態と異なる。図３、図４に示すドローン１００および手持ちカメラ２００のハードウェア構成は、第１の実施形態と同様のため説明は省略する。

図１２は、本発明の第５の実施形態に係る撮影モード切り替えのシーケンスを示すフローチャートである。ステップＳ１１０１、Ｓ１１０２，Ｓ１１０７については、図１０と同様のため説明は省略する。図１２のフローチャートにおける各処理は、ＣＰＵ１３０およびＣＰＵ１０３０が、記憶部１３１又は記憶部１０３１に格納されたプログラムを不図示のシステムメモリに展開して実行し、各機能ブロックを制御することにより実現される。図１２のフローチャートは、ドローン１００と手持ちカメラ２００の電源がＯＮにされ、連携動作を始めたところから開始する。本フローチャートのステップＳ１１０２で手持ちカメラの撮影範囲が閾値より小さいと判断した場合には、ステップＳ１３０１へ進む。

ステップＳ１３０１は、手持ちカメラ２００の撮影範囲が閾値より小さい（ステップＳ１１０２でＹＥＳ）の場合で、手持ちカメラ２００からドローン１００に対して、第６の動作モード（俯瞰撮影モード）での動作指示を通知する。

ステップＳ１３０２で、指示情報を受信したドローン１００が、第６の動作モード（俯瞰撮影モード）に切り替わる。本実施例における俯瞰撮影モードとは、ドローン１００が、手持ちカメラ２００が撮影している被写体と同一の被写体を含み、手持ちカメラ２００よりも広範囲を撮影した画像を記録画像として撮影するモードである。

ステップＳ１３０３は、手持ちカメラ２００の撮影範囲が閾値以上（ステップＳ１１０２でＮＯ）の場合で、手持ちカメラ２００からドローン１００に対して、第４の動作モード（本画像撮影モード）での動作指示を通知する。

ステップＳ１３０４で、指示情報を受信したドローン１００が、第４の動作モード（本画像撮影モード）で撮影を開始する。本実施例における本画像撮影モードとは、例えば、ズームアップして撮影するなど、画角等の決められた条件で特定の被写体を撮影するモードである。例えば、手持ちカメラ２００に含まれる被写体や、予め登録されている主被写体を、順次ズームアップして撮影する。

図１３は、本発明の第５の実施形態に係る撮影モード切り替えのイメージ図であり、図１３（Ａ）は本画像撮影モード、図１３（Ｂ）は俯瞰画像撮影モードを示す。図１３（Ａ）のように撮影範囲が破線枠１２０２で示す閾値枠より広い場合には、ドローン１００は第４の動作モード（本画像撮影モード）となる。すなわち、実線枠１４０１のように手持ちカメラ２００で撮影している主被写体、またはドローン１００に予め登録された主被写体を含む画像を記録するための動作になる。

一方、図１３（Ｂ）のように手持ちカメラ２００の撮影範囲が破線枠１２０２で示す閾値枠より広い場合には、ドローン１００は第６の動作モード（俯瞰撮影モード）となる。実線枠１４０２で示すように手持ちカメラ２００で撮影している被写体を含み、手持ちカメラ２００より広範囲の画像を記録するための動作になる。

以上、上記実施例の制御により、手持ちカメラの撮影状態に応じて、シャッターチャンスの撮りこぼしの補助、広域と狭域の画像の同時撮影を自動で制御をすることが出来る。本実施形態においては、手持ちカメラ２００の撮影範囲が狭い場合には、手持ちカメラ２００のユーザは特定の被写体をズームアップした撮影をしているため、ドローン１００は同じ被写体の周辺も含む広角の撮影を行う。一方、手持ちカメラ２００の撮影範囲が広い場合には、手持ちカメラ２００では特定の被写体を大きく撮影することはできない。そのため、手持ちカメラ２００の撮影画角に含まれる被写体や、予め登録されている主被写体をズームアップして撮影することで、ユーザの撮影をサポートする。

以上、第１〜５の実施形態について説明したが、自立して撮影可能なカメラを含む複数のカメラで連携撮影をするシステムにおいて、上述した各実施形態の動作モード切り替えのうち、どの切り替え設定を用いるかは予め設定できるものとする。

例えば、主被写体を逃すことなく撮影しつつ、全体を撮影したい場合は、第１の実施形態のような切り替え設定を有効にする。また、基本的には各カメラは自由に撮影したい場合には第３の実施形態の切り替え設定を有効にしておけば、他方のカメラでシャッターチャンスを検出した場合に通知をもらうことができる。

主被写体を予め登録することなく、その時々で、手持ちカメラにおける撮影している被写体以外のシャッターチャンスもなるべく逃したくない場合には第４の実施形態の切り替え設定を有効にする。その時々で、手持ちカメラで撮影している複数の被写体の１人１人を主題として撮影したい場合には第５の実施形態の切り替え設定を有効にする。

さらに、第２の実施形態によれば、切り替え設定に関わらず、自立撮影が可能なカメラに対して、ユーザ操作により、強制的に主被写体の撮影を実行させることができる。

尚、本実施例では、ドローンと手持ちカメラが連携して撮影を行ったが、撮像装置は必ずしもドローン、及び手持ちカメラでなくても良い。また、本実施例では、ドローンと手持ちカメラの２台の撮像装置で連携して撮影を行ったが、３台以上の撮像装置で連携して撮影を行っても良い。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で説明した手持ちカメラは、デジタルスチルカメラやデジタルビデオカメラ、撮像が可能なスマートフォンなどに適用することができる。

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ ドローン
２００ 手持ちカメラ
１１０ 撮像部
１１６ 撮像制御部
１１４ 主被写体検出部
１１９ 情報取得部
１３０ ＣＰＵ
１３２ 通信部
１４０ 移動制御装置
１４１ 移動制御部

Claims (20)

1. 被写体を撮像する撮像手段と、
   他の撮像装置と通信する通信手段と、
   前記通信手段を介して前記他の撮像装置で撮像している被写体に関する被写体情報を取得する取得手段と、
   取得した前記被写体情報に基づいて、特定の主被写体を探索する第１の動作モードと、前記他の撮像装置と異なる画角で撮像する第２の動作モードと、を含む複数の動作モードの何れかを切り替えて制御する制御手段と、を有し、
   前記制御手段は、取得した前記被写体情報に前記特定の主被写体の情報が含まれない場合には前記第１の動作モードで制御し、該被写体情報に該特定の主被写体の情報が含まれる場合には第２の動作モードで制御する
   ことを特徴とする撮像装置。
2. 前記撮像手段により撮像された画像を記録媒体に記録する記録手段と、を有し、
   前記第１の動作モードにおいて、前記特定の被写体を探索した結果、前記撮像手段により撮像された画像に該特定の主被写体を検出した場合、前記記録手段は該画像を前記記録媒体に記録する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段により撮像する画角を変更可能な画角変更手段と、を有し、
   前記第１の動作モードにおいて、前記特定の被写体を探索した結果、前記撮像手段により撮像された画像に該特定の主被写体を検出した場合、
   前記画角変更手段は、予め設定された撮影条件に基づいて前記撮像手段が前記特定の主被写体を撮像する画角を変更し、
   前記撮像手段が、前記画角変更手段により変更された画角で前記特定の主被写体を撮像する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記他の撮像装置へ通知をする通知手段と、を有し、
   前記第１の動作モードにおいて前記特定の主被写体を探索した結果、前記撮像手段により撮像された画像に該特定の被写体を検出した検出した場合、該特定の主被写体の位置に関する情報を前記他の撮像装置へ通知する
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記撮像手段により取得した画像から動きベクトルを検出する検出手段と、
   前記動きベクトルから前記特定の主被写体の位置を判定する判定手段と、を有し、
   前記画角変更手段は、前記第１の動作モードにおいて、前記判定手段により判定された前記特定の被写体の位置に基づいて、前記撮像手段が撮像する画角を変更することを特徴とする請求項３又は４のいずれか１項に記載の撮像装置。
6. 前記記録手段は、前記第２の動作モードにおいて、前記他の撮像装置と異なる画角で撮像した画像を記録媒体へ記録することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の動作モードにおいて、前記画角変更手段は、前記取得手段により取得した被写体情報と予め設定された撮影条件に基づいて、前記撮像手段により撮像する画角を前記他の撮像装置と異なる画角に変更し、
   前記撮像手段が、前記画角変更手段により変更された画角で撮像を行うことを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
8. 前記画角変更手段は、前記第２の動作モードにおいて、前記他の撮像装置が撮像している前記特定の主被写体を含み、かつ、該他の撮像装置が撮像している方向とは異なる方向から該特定の主被写体を撮像するように、前記撮像手段が撮像する画角を変更することを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
9. 前記画角変更手段は、前記第２の動作モードにおいて、前記他の撮像装置が撮像している前記特定の主被写体とは異なる被写体を撮像するように、前記撮像手段が撮像する画角を変更することを特徴とする請求項３乃至８のいずれか１項に記載の撮像装置。
10. 第１の撮像装置と、
    撮像画角を変更可能な画角変更手段を有する第２の撮像装置と、
    前記第１および前記第２の撮像装置の間で通信する通信手段と、
    前記第１の撮像装置で撮像している被写体情報に基づいて、前記第２の撮像装置が前記特定の主被写体を探索する第１の動作モードと、該第１の撮像装置と異なる画角で撮像する第２の動作モードと、を含む複数の動作モードの何れかを切り替えて制御する制御手段と、を有する撮像システムであって、
    前記制御手段は、取得した前記被写体情報に前記特定の主被写体の情報が含まれない場合には前記第１の動作モードで制御し、該被写体情報に該特定の主被写体の情報が含まれる場合には第２の動作モードで制御する
    ことを特徴とする撮像システム。
11. 前記第１の撮像装置に画像を含む情報を表示する表示手段と、を有し、
    前記通信手段は、前記第１の動作モードにおいて、前記特定の被写体を探索した結果、前記第２の撮像装置が撮像した画像に前記特定の主被写体を検出した場合に、前記第１の撮像装置に該特定の主被写体の位置に関する情報を通知し、
    前記表示手段は、通知された前記特定の主被写体の位置に関する情報に基づいて、該特定の主被写体の位置を示す表示を行うことを特徴とする請求項１０に記載の撮像システム。
12. 前記第１の撮像装置は、前記第２の撮像装置に対して前記第１の動作モードへの移行を指示する強制モード切り替え手段と、
    を有することを特徴とする請求項１０又は１１に記載の撮像システム。
13. 前記画角変更手段は、前記第２の撮像装置の位置を移動可能な移動手段と、
    を含むことを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像システム。
14. 第１の撮像装置と、
    撮像画角を変更可能な画角変更手段を有する第２の撮像装置と、
    前記第１および前記第２の撮像装置の間で通信する通信手段と、
    前記第１の撮像装置の撮影範囲の広さに応じて前記第２の撮像装置が所定の被写体を記録画像として撮影する本画像撮影モードと、該第２の撮像装置が該本画像撮影モードより広い範囲を撮像する第２の動作モードと、を含む複数の動作モードの切り替えを行う制御手段と、
    を有することを特徴とする撮像システム。
15. 前記第１の撮像装置の撮影範囲を、該第１の撮像装置のレンズ制御情報、又は、該第１の撮像装置により撮像された画像から判定する判定手段と、
    を有することを特徴とする請求項１４に記載の撮像システム。
16. 前記第１の撮像装置により撮像された画像に含まれる被写体を認識する認識手段と、を有し、
    前記第２の撮像装置は、前記本画像撮影モードにおいて前記認識手段により認識された被写体と同一の被写体を撮影し、前記第２の動作モードにおいて予め登録された特定の主被写体または予め登録された条件に合致する被写体の少なくとも一方を検出して前記第１の撮像装置に通知することを特徴とする請求項１４又は１５に記載の撮像システム。
17. 前記制御手段は、前記第１の撮像装置の前記撮影範囲が閾値より狭い場合には前記本画像撮影モードでの動作に切り替え、前記閾値以上の場合には前記第２の動作モードでの動作に切り替えることを特徴とする請求項１６に記載の撮像システム。
18. 前記第１の撮像装置により撮像された画像に含まれる被写体を認識する認識手段と、を有し、
    前記第２の撮像装置は、前記本画像撮影モードにおいて予め登録された特定の主被写体または予め登録された条件に合致する被写体の少なくとも一つを検出して検出した被写体を記録画像として撮影し、前記第２の動作モードにおいて、前記認識手段により認識された前記被写体と同一の被写体を含み該第１の撮像装置の前記撮影範囲よりも広い範囲の俯瞰画像を撮像することを特徴とする請求項１４又は１５に記載の撮像システム。
19. 前記制御手段は、前記第１の撮像装置の前記撮影範囲が閾値より狭い場合には前記第２の動作モードでの動作に切り替え、前記閾値以上の場合には前記本画像撮影モードでの動作に切り替えることを特徴とする請求項１８に記載の撮像システム。
20. 前記条件は、被写体の移動量、移動方向、複数の被写体間の距離の少なくともいずれかに関する条件を含むことを特徴とする請求項１６又は１８に記載の撮像システム。

Images