JP2018133749A - 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム - Google Patents

Abstract

【課題】撮影時の移動経路が定まっていない状況下でも適切な処理を行うことができる被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラムを提供する。【解決手段】予め指定された撮影対象物と撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定するために必要な情報を検出し、その情報を用いて相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行う。【選択図】図１

Description

本発明は、被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラムに関する。

従来、無人飛行体にカメラを装備して空撮を行う技術が知られている（例えば、特許文献１を参照）。この技術では、無人飛行体が所定の飛行ルートを飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影する。

特開２００６−２７４４８号公報

特許文献１に記載の技術では、高架送電線の撮影を想定しているため、飛行ルートは予め設定されている。このため、例えば撮影対象物が動く場合のように、撮影時の移動経路が定まっていない状況下で移動、撮影等の処理を適切に行うことができなかった。

本発明は、上記に鑑みてなされたものであって、撮影時の移動経路が定まっていない状況下でも適切な処理を行うことができる被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る被操縦体は、被写体を撮像して画像データを生成する撮像装置、および前記撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置を備えた被操縦体であって、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定するために必要な情報を検出し、前記情報を用いて前記相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行う被操縦体制御部を備えたことを特徴とする。

本発明に係る移動装置は、被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置であって、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果に応じた制御を行う第１制御部を備えたことを特徴とする。

本発明に係る撮像装置は、移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置であって、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出し、検出した情報を前記移動装置に送信する第２制御部を備えたことを特徴とする。

本発明に係る移動制御方法は、被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置が行う移動制御方法であって、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定する判定ステップと、前記判定ステップにおける判定結果を記録部から読み出して前記判定結果に応じた制御を行う制御ステップと、を有することを特徴とする。

本発明に係る移動補助方法は、移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置が行う移動補助方法であって、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出する検出ステップと、前記検出ステップが検出した情報を記録部から読み出して前記移動装置に送信する送信ステップと、を有することを特徴とする。

本発明に係る移動制御プログラムは、被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置に、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定する判定ステップと、前記判定ステップにおける判定結果を記録部から読み出して前記判定結果に応じた制御を行う制御ステップと、を実行させることを特徴とする。

本発明に係る移動補助プログラムは、移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置に、予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出する検出ステップと、前記検出ステップが検出した情報を記録部から読み出して前記移動装置に送信する送信ステップと、を実行させることを特徴とする。

本発明によれば、撮影時の移動経路が定まっていない状況下でも適切な処理を行うことができる。

図１は、本発明の実施の形態１に係る撮像システムの概略構成を示す模式図である。 図２は、本発明の実施の形態１に係る撮像システムの機能構成を示すブロック図である。 図３は、操作装置の外観構成を模式的に示す図である。 図４は、通常操縦モードにおける操作装置の操作部の操作割り当てを模式的に示す図である。 図５は、通常ロックオンモードを説明する図である。 図６は、角度ロックオンモードを説明する図である。 図７は、通常操縦モードからロックオンモードへ移行する際の処理の概要を示す図である。 図８は、ロックオンモードへ移行した場合の操作装置の表示部における表示例を示す図である。 図９は、構図調整モード設定時の操作装置の表示部における表示例を示す図である。 図１０は、構図調整モード設定時の操作入力部３２における操作割り当ての一例を模式的に示す図である。 図１１は、操作装置が行う処理の概要を示すフローチャートである。 図１２Ａは、本発明の実施の形態１に係る移動装置が行う処理の概要を示すフローチャート（その１）である。 図１２Ｂは、本発明の実施の形態１に係る移動装置が行う処理の概要を示すフローチャート（その２）である。 図１３は、本発明の実施の形態１に係る移動装置が行う被写体追尾制御処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態１に係る移動装置の移動判定部が行う移動距離算出処理の概要を示す図である。 図１５は、本発明の実施の形態１に係る移動装置が行う撮影方向追従制御の処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態１に係る移動装置が行うズーム制御の処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態１に係る移動装置の移動判定部がズーム制御の処理時に行う移動距離算出処理の概要を示す図である。 図１８は、本発明の実施の形態１に係る移動装置が行うスライド制御の処理の概要を示すフローチャートである。 図１９Ａは、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャート（その１）である。 図１９Ｂは、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャート（その２）である。 図２０は、本発明の実施の形態１に係る撮像装置が行うズーム制御の処理の概要を示すフローチャートである。 図２１は、本発明の実施の形態２に係る撮像システムの概略構成を示す図である。 図２２は、本発明の実施の形態２に係る撮像システムの機能構成を示すブロック図である。 図２３は、本発明の実施の形態２に係る移動装置が行うスライド制御の処理の概要を説明するフローチャートである。 図２４は、被写体像の大きさが変化した場合の内視鏡先端部と被写体との関係を模式的に示す図である。 図２５は、図２４に示す場合の被写体像の変化を模式的に示す図である。 図２６は、図２４に示す状況から移動装置が前進して被写体に接近した状況を模式的に示す図である。 図２７は、図２６に示す場合の被写体像の変化を模式的に示す図である。 図２８は、本発明の実施の形態２に係る撮像装置が行うスライド制御の処理の概要を説明するフローチャートである。

以下に、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本発明の実施の形態に係る撮像システムは、撮像装置が移動装置に装着された被操縦体を備える。被操縦体は、予め指定された撮影対象物と撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定するために必要な情報を検出し、その情報を用いて相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行う。以下、被操縦体を構成する移動装置が無人航空機（実施の形態１）および内視鏡（実施の形態２）である場合を例示して説明するが、これらはあくまでも一例に過ぎず、移動装置として自走可能なロボットを適用することも可能である。

（実施の形態１）
本発明の実施の形態１は、移動装置が無人航空機である。撮像装置は無人航空機に装着されている。移動装置は、操作装置と通信可能に無線接続されており、操作装置の指示に応じて駆動するとともに、撮像装置に対する指示信号を受信して撮像装置に送信する。被操縦体はロックオン機能を具備しており、撮影対象物の動きを追尾することが可能であるか否かを逐次判定しながら撮影対象物を追尾する。

図１は、本発明の実施の形態１に係る撮像システムの概略構成を示す模式図である。図２は、本実施の形態１に係る撮像システムの機能構成を示すブロック図である。図１および図２に示す撮像システム１は、撮像機能を有するとともに飛行により移動可能な被操縦体２と、被操縦体２における撮像および移動を操縦する操作装置３とを備える。

被操縦体２は、移動装置４と、移動装置４に着脱自在に取り付けられる撮像装置５とを有する。なお、スタビライザー、振動補正機構（例えば、ジンバル）およびリグ等を介して撮像装置５を移動装置４に取り付けてもよい。移動装置４と撮像装置５は、ＵＳＢ（Universal Serial Bus）等のケーブル６によって双方向に通信可能に接続される。また、移動装置４と操作装置３は、所定の周波数帯域の無線通信を行うことが可能である。なお、本実施の形態１では、移動装置４と撮像装置５とをケーブル６によって接続した構成としたが、これに限定されることなく、無線通信可能な構成を採用してもよい。また、移動装置４と撮像装置５との位置関係を固定してもよいし、移動装置４に対する撮像装置５の姿勢を変化させることが可能な構成としてもよい。

被操縦体２は、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを判定するために必要な情報を検出し、検出した情報を用いて相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行う被操縦体制御部２１を備える。被操縦体制御部２１は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作装置３から送信される各種指示信号等に応じて被操縦体２の制御を行う。被操縦体制御部２１は、後述する移動装置４の第１制御部４９と撮像装置５の第２制御部５６とを含む。被操縦体制御部２１は、専用の回路やプログラムが連携して特定のシーケンス制御で各種制御を行う回路部であり、必要に応じて、人工知能の回路部も含んでおり、ビッグデータを用いた深層学習や機械学習等の結果を利用した制御を行うことも可能である（この点は、操作装置３の第３制御部３６も同様である）。以下の説明においては、専用の回路やプログラムが連携して特定のシーケンス制御で各種制御を行う回路部で、必要に応じて、人工知能の回路部も含み、深層学習や機械学習等の結果を利用した制御を行う制御部の一部の構成や回路などを、機能別で分けた形で分類している。なお、第１制御部４９および第２制御部５６の個々の機能の中には、他方の制御部が具備してよいものもある。

移動装置４の機能構成を説明する。移動装置４は、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果に応じた制御を行う。移動装置４は、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）であり、４枚のロータ４ａを有する回転翼無人機のドローンとして構成されている。なお、ロータ４ａの数は４枚に限定されず、その他の数としてもよい。また、移動装置４は回転翼無人機のドローンに限られず、固定翼無人機のドローン等、その他の無人航空機によって構成してもよい。さらに、移動装置４は、無線によって操縦可能であり、かつ自走可能な装置であればよく、例えば自走式ロボット、自動車、模型自動車、船舶などでもよい。

移動装置４は、推進部４１と、電源４２と、空間情報取得部４３と、位置方位検出部４４と、高度姿勢検出部４５と、第１記録部４６と、第１通信部４７と、第２通信部４８と、第１制御部４９と、を備える。

推進部４１は、第１制御部４９の制御のもと、複数枚（図１の例では、４枚）のロータ４ａおよび各ロータ４ａを駆動するための複数のモータ（図示せず）を用いて構成され、移動装置４を飛行させる。

電源４２は、電池と昇圧回路等を用いて構成される。電源４２は、移動装置４の各部に対して所定の電圧を供給する。

空間情報取得部４３は、レーザレーダ等を用いて構成される。空間情報取得部４３は、パルスレーザ光を移動装置４から放射状に照射し、反射したパルスレーザ光の帰還時間を計測することによって、移動装置４の周囲にある物体（各照射点の方向、各照射点までの距離）に関する空間情報を取得し、取得した結果を第１制御部４９へ出力する。なお、空間情報取得部４３は、レーザの代わりに超音波を照射することによって空間情報を取得してもよい。空間情報取得部４３は、非接触型の近接センサをさらに有していてもよい。

位置方位検出部４４は、ＧＰＳ（Global Positioning System）受信機や磁気方位センサ等を用いて構成される。位置方位検出部４４は、移動装置４の現在位置に関する現在位置情報、および予め定められた基準方位（例えば、北）に対する移動装置４の機首方向（機首が向く方向）のなす角度（方位）に関する方位情報を検出し、この検出結果を第１制御部４９へ出力する。

高度姿勢検出部４５は、気圧センサ、ジャイロセンサ（角速度センサ）および傾きセンサ（加速度センサ）等を用いて構成される。高度姿勢検出部４５は、撮像装置５の高度に関する高度情報、撮像装置５の傾斜角（４枚のロータ４ａが水平面内に位置する基準姿勢に対する傾斜角）に関する傾斜角度情報および移動装置４の回転角（４枚のロータ４ａの中心位置を通る鉛直線を中心とする回転角）に関する回転角度情報を検出し、この検出結果を第１制御部４９へ出力する。

第１記録部４６は、ＦｌａｓｈメモリやＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の記録媒体を用いて構成される。第１記録部４６は、移動装置４を駆動するための各種プログラムを記録するとともに、処理中の情報を一時的に記録する。

第１通信部４７は、所定の通信モジュールを用いて構成される。第１通信部４７は、第１制御部４９の制御のもと、移動装置４の飛行動作を遠隔制御する操作装置３との間で無線通信を行う。また、第１通信部４７は、第１制御部４９の制御のもと、撮像装置５から入力された情報を操作装置３へ送信する。

第２通信部４８は、通信モジュールを用いて構成される。第２通信部４８は、第１制御部４９の制御のもと、ケーブル６を介して撮像装置５との間で通信を行う。

第１制御部４９は、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果に応じた制御を行う。第１制御部４９は、ＣＰＵ等を用いて構成され、第１通信部４７を介して入力された操作装置３からの指示信号、第２通信部４８を介して入力された撮像装置５からのデータに応じて、推進部４１の動作（移動装置４の飛行動作）ならびに撮像装置５および操作装置３との通信を制御する。

第１制御部４９は、電源判定部４９１と、移動判定部４９２と、姿勢判定部４９３と、推進制御部４９４と、方向制御部４９５と、第１通信制御部４９６と、を有する。

電源判定部４９１は、電源４２の残量（電力残量）を検出し、この検出結果に基づいて、移動装置４が可能な飛行時間や飛行距離を判定する。

移動判定部４９２は、空間情報取得部４３が取得した空間情報、位置方位検出部４４が検出した現在位置情報および方位情報、高度姿勢検出部４５が検出した高度情報、ならびに電源判定部４９１が判定した飛行時間の情報等に基づいて、移動装置４の移動距離を判定する。なお、移動判定部４９２の機能は、撮像装置５の第２制御部５６が有してもよい。

姿勢判定部４９３は、高度姿勢検出部４５が検出した傾斜角度情報および回転角度情報に基づいて、撮像装置５の姿勢を判定する。

推進制御部４９４は、電源判定部４９１、移動判定部４９２および姿勢判定部４９３の判定結果に基づいて、移動装置４を推進させる。具体的には、推進制御部４９４は、４枚のロータ４ａの回転数を独立に制御することによって、移動装置４を上昇、前進、静止、後退および下降させる。例えば、推進制御部４９４は、移動装置４の移動方向を前後（移動装置４の機首方向が前）または左右（移動装置４の機首方向に見て左右）に変更する。

方向制御部４９５は、電源判定部４９１、移動判定部４９２および姿勢判定部４９３それぞれの判定結果に基づいて、移動装置４を回転させる。具体的には、方向制御部４９５は、４枚のロータ４ａの回転数を独立に制御することにより、移動装置４を回転させる。

第１通信制御部４９６は、第１通信部４７および第２通信部４８の通信を制御する。具体的には、第１通信制御部４９６は、第２通信部４８を介して撮像装置５から入力された情報を、第１通信部４７を介して操作装置３へ送信する。また、第１通信制御部４９６は、第１通信部４７を介して操作装置３から入力された操作情報を含む情報（以下、「移動装置情報」という）を、第２通信部４８を介して撮像装置５へ送信する。ここで、移動装置情報とは、移動装置４の現在位置、操作装置３から送信された移動装置４の移動を制御する制御信号に関する制御情報（操作情報）、および移動装置４の移動方向、移動装置４の高度および移動装置４の状態（例えば、通常移動、帰還移動、電池残量）である。

次に、撮像装置５の構成について説明する。撮像装置５は、予め指定された撮影対象物と自身との相対的な関係の変化に応じて移動可能であるか否かを移動装置４が判定するために必要な情報を検出し、検出した情報を移動装置４に送信する。撮像装置５は、移動装置４の機首方向に撮影方向を合わせた状態で、移動装置４に対して移動不能に固定されている。撮像装置５は、静止画撮影および動画撮影を行うことが可能である。なお、撮像装置５を、移動装置４に対して回転可能な回転機構を介して移動装置４に固定してもよい。また、撮像装置５を、スタビライザー、振動補正機構（例えば、ジンバル）およびリグ等を介して移動装置４に固定してもよい。

次に、撮像装置５の機能構成を説明する。撮像装置５は、撮像部５１と、仰角方位検出部５２と、第３通信部５４と、第２記録部５５と、第２制御部５６と、を備える。

撮像部５１は、第２制御部５６の制御のもと、撮影対象物である被写体を撮像して画像データを生成する。撮像部５１は、光学系５１１と、撮像素子５１２と、を有する。

光学系５１１は、フォーカスレンズ、ズームレンズ、シャッタおよび絞りを有する。光学系５１１は、被写体像を撮像素子５１２の受光面に結像する。光学系５１１は、第２制御部５６の制御のもと、ズーム倍率、ピント位置、絞り値およびシャッタスピード等の各撮影パラメータを変更する。

撮像素子５１２は、光学系５１１が結像した被写体像を受光して光電変換を行うことによって画像データを生成し、この画像データを第２制御部５６へ出力する。撮像素子５１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。また、撮像素子５１２は、画像データを生成する画素が２次元マトリックス状に配置されてなる。なお、撮像素子５１２に被写体の距離を検出するための位相差画素をさらに設けてもよいし、上述した画像データ生成用の画素を位相差画素として利用してもよい。

仰角方位検出部５２は、方位センサ、３軸の加速度センサ、ジャイロセンサおよび磁気方位センサを用いて構成される。仰角方位検出部５２は、水平面に対する撮像装置５（光学系５１１の光軸）の傾斜角（仰角）に関する仰角情報、及び予め定められた基準方位（例えば、北）に対する撮像装置５の撮影方向のなす角度（方位）に関する方位情報を検出し、この検出結果を第２制御部５６へ出力する。

音声入力部５３は、外部の音を集音して音声データを生成するマイクロフォン等を用いて構成される。

第３通信部５４は、第２制御部５６の制御のもと、ケーブル６を介して移動装置４と通信を行う。

第２記録部５５は、Ｆｌａｓｈメモリ、ＳＤＲＡＭおよびメモリカード等を用いて構成される。第２記録部５５は、撮像部５１が生成した画像データを記録する画像データ記録部５５１と、撮像装置５が実行する各種プログラムを記録するプログラム記録部５５２と、を有する。

第２制御部５６は、予め指定された撮影対象物と自身との相対的な関係の変化に応じて移動可能であるか否かを移動装置４が判定するために必要な情報を検出し、検出した情報を移動装置４に送信する。第２制御部５６は、ＣＰＵ等を用いて構成される。第２通信部４８を介して移動装置４から受信した操作装置３の指示信号に応じて、撮像部５１の撮影を制御するとともに、撮像部５１が生成した画像データを移動装置４へ送信する。この場合において、第２制御部５６は、画像データをそのまま送信する代わりに、時間的または画素的に間引きしたデータ（リサイズ処理した画像データ）や、圧縮した画像データ（縮小した画像データや圧縮処理した画像データ）を送信してもよい。また、第２制御部５６は、画像データに対して視認性を上げる処理（例えば、コントラスト強調処理や露出値低下処理）を施してから送信してもよいし、画像を解析した結果（後述する被写体検出部５６２が抽出する画像の特徴量）を送信してもよい。

第２制御部５６は、画像処理部５６１と、被写体検出部５６２と、追尾処理部５６３と、距離算出部５６４と、トリミング部５６５と、第２通信制御部５６６と、撮影制御部５６７と、を有する。

画像処理部５６１は、撮像部５１が生成した画像データに対して、所定の画像処理を行う。具体的には、画像処理部５６１は、画像データに対して、ゲインアップ処理、ホワイトバランス処理、階調処理および同時化処理等を行う。

被写体検出部５６２は、画像処理部５６１が画像処理を施した画像の特徴量を抽出することによってその画像データに含まれる被写体を検出する。被写体としては、予め指定された撮影対象物や、撮影対象物との間に存在する物体（障害物）等が挙げられる。具体的には、被写体検出部５６２は、画像データにおける画素ごとの輝度値や代表画素の前フレームからの移動量などに基づいて、被写体の顔、顔の位置、大きさ、向き、被写体の性別などの情報を検出する。被写体検出部５６２は、必要に応じて、人工知能の回路部も含むことによって、ビッグデータを用いた深層学習や機械学習等の結果を利用した検出を行ってもよい。なお、ユーザの画面上のタッチ指定や、音声指定などを参考にして検出を行ってもよい。このような場合、特定の被写体像とすべき被写体像の指定入力した、ということもできる。ここでは、判定した結果は、画像データの一部となるが、画像データ自体を判定結果としてデータとして記録したり、色分布や輪郭や大きさなどをデータ化してもよく、画像の特徴量を記録したりしてもよい。また、こうした特徴から、深層学習や機械学習等を行い、ユーザが撮りたい対象物情報を人工知能が類推できるようなシステムを構築してもよい。これにより、よく撮影される画像を教師画像とした学習を行うことが可能となる。

追尾処理部５６３は、予め設定される被写体に対して被写体検出部５６２が検出した情報に基づいて、その被写体を画像中で追尾する。この際、追尾処理部５６３は、例えば被写体検出部５６２が検出した情報に基づいて、パターンマッチング処理を行うことにより、被写体を追尾する。追尾処理部５６３も被写体検出部５６２と同様、必要に応じて、人工知能の回路部も含むことによって、ビッグデータを用いた深層学習や機械学習等の結果を利用した検出を行ってもよい。

距離算出部５６４は、撮像部５１が生成した時間的に前後する２つの画像データのコントラスト変化または撮像素子５１２に設けられた位相差画素による位相差情報などに基づいて、撮像装置５から被写体までの距離を算出する。距離算出部５６４は、被写体の大きさを判定し、フレーム間の被写体の大きさの変化に基づいて被写体までの距離を算出してもよい。また、距離算出部５６４は、移動装置４の空間情報取得部４３が取得した空間情報を用いて被写体までの距離を算出してもよい。被写体までの距離の情報は、光学系５１１のピント合わせに使える他、移動装置４と被写体、移動装置４と対象物までの距離情報として、移動装置４を操縦するユーザにとっても重要な情報となる。なお、撮像装置５から被写体までの距離に関する情報に基づいて、ユーザ１００が操作装置３を操作することによって、ホヴァリングなど静止制御を指定する操作を行ってもよいし、移動装置４の第１制御部４９が同様の静止制御を自動で行ってもよい。被写体までの距離情報は、例えば距離を変えながら所定の順番で被写体を撮影する場合や、距離を一定にして様々な角度から被写体を撮影する場合などにも有効活用することができる。また、撮像装置５が正確な３Ｄ情報を取得する撮影を行う場合などにも距離情報を活用することができる。

なお、被写体検出部５６２、追尾処理部５６３および距離算出部５６４の機能は、移動装置４の第１制御部４９が有してもよい。

トリミング部５６５は、画像処理部５６１が画像処理を施した画像データに対して、トリミング処理を行うことによって、トリミング画像データやサムネイル画像データを生成する。

第２通信制御部５６６は、第３通信部５４の通信制御を行う。具体的には、第２通信制御部５６６は、第３通信部５４を介して、操作装置３の表示部３３において表示可能な情報を移動装置４へ送信する。

撮影制御部５６７は、撮像部５１の撮影を制御する。具体的には、撮影制御部５６７は、第３通信部５４を介して移動装置４から撮影を指示する指示信号を受信した場合、撮像部５１に指示信号に応じた撮影を実行させる。本実施の形態１において、撮像装置５は、動画撮影および静止画撮影を実行することが可能である。

次に、操作装置３の機能構成を説明する。操作装置３は、第４通信部３１と、操作入力部３２と、表示部３３と、音声出力部３４と、第３記録部３５と、第３制御部３６と、を備える。

第４通信部３１は、通信モジュールを用いて構成される。第４通信部３１は、第３制御部３６の制御のもと、移動装置４の第１通信部４７と無線通信を行うことによって、操作入力部３２が入力を受け付けた指示信号を送信する一方、撮像装置５が撮像した画像データ等を受信して、第３制御部３６へ出力する。

操作入力部３２は、ユーザによる操作を受け付けるボタン、スイッチ、十字キー等を用いて構成され、ユーザによる操作に応じた指示信号の入力を受け付け、この指示信号を第３制御部３６へ出力する。操作入力部３２は、表示部３３に重ねて設けられ、外部からの物体の接触位置に応じた信号の入力を受け付けるタッチパネルを有する。操作入力部３２がマイクロフォン等の音声入力部をさらに有し、ユーザの音声入力に応じた指示信号の入力を受け付けるようにしてもよい。

表示部３３は、第３制御部３６の制御のもと、移動装置４に関する各種情報を表示する。表示部３３は、液晶や有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。表示部３３は、第３制御部３６の制御のもと、撮像装置５が生成した画像データに対応する画像および撮像装置５に関する各種情報を表示する。

音声出力部３４は、音声を出力するスピーカ等を用いて構成され、撮像装置５が撮像した動画等のデータに対応して収録される音を出力する。

図３は、操作装置３の外観構成を模式的に示す図である。同図に示す操作装置３は、表面に表示部３３と操作入力部３２が設けられている。操作入力部３２は、左右に配置された左スティック３２ａおよび右スティック３２ｂ、ならびにタッチパネル３２ｃを有する。

図４は、通常操縦モードにおける操作装置３の操作入力部３２の操作割り当てを模式的に示す図である。左レバーの前後への移動は、それぞれ前後への移動に対応している。左スティック３２ａの左右への移動は、それぞれ左右の回転に対応している。右スティック３２ｂの前後への移動は上昇および下降にそれぞれ対応している。右スティック３２ｂの左右への移動は、左右のドリーにそれぞれ対応している。なお、タッチパネル３２ｃ上でユーザが所望の操作を選択した後、その操作に対応するスティック操作を行うようにしてもよい。この場合には、タッチパネル３２ｃでの選択入力後、表示部３３がスティック操作の割り当てを図示するようにすればより好ましい。また、全ての操作をタッチパネル３２ｃ上で行うことができるようにしてもよい。

第３記録部３５は、操作装置３に関する各種プログラムを記録する。第３記録部３５は、ＦｌａｓｈメモリやＳＤＲＡＭを用いて構成される。

第３制御部３６は、ＣＰＵを用いて構成され、操作装置３の各部を制御する。第３制御部３６は、被操縦体２の動作モードを制御するモード制御部３６１と、第４通信部３１と移動装置４の第１通信部４７との通信を制御する第３通信制御部３６２と、表示部３３の表示を制御する第１表示制御部３６３と、を有する。

モード制御部３６１は、被操縦体２の動作モードとして、通常操縦モードおよびロックオンモードを設定可能である。このうち、通常操縦モードは、操作装置３が入力を受け付ける操作信号に基づいて被操縦体２が動作するモードである。

ロックオンモードは、ロックオン対象となる被写体を追尾するモードである。ロックオンモードでは、ロックオン対象の被写体が画面内の同じ位置であり、かつロックオン対象の被写体までの距離が同じ状態を維持するように追尾処理を行う。

ロックオンモードには、通常ロックオンモードと角度ロックオンモードの２種類がある。通常ロックオンモードは、被写体を画角内にとらえ続ける際、図５に示すように、画面内における被写体２００の向きは問わないモードである。これに対し、角度ロックオンモードは、図６に示すように、画面内における被写体２００の向きも同じ状態を維持するように追尾処理を行うモードである。したがって、例えばロックオン対象の被写体が人である場合、通常ロックオンモードではその人の顔の向きが変わることがある一方、角度ロックオンモードではその人の顔の向きは変わらない。

通常操縦モードからロックオンモードへ移行する際には、図７に示すように、まずユーザは表示部３３の画面でロックオン対象とする被写体２００をタッチする。この後、表示部３３は、図８に示すように、通常ロックオンモードアイコン３３ａ、角度ロックオンモードアイコン３３ｂ、および戻るボタン３３ｃを表示する。これらのアイコンまたはボタンが表示されている領域がタッチされると、操作装置３のモード制御部３６１は、各アイコンまたはボタンに応じた処理を行う。具体的には、モード制御部３６１は、タッチされたアイコンに相当するロックオンモードを設定するか、または戻るボタン３３ｃにより通常操縦モードを再設定する処理を行う。

動作モードが通常ロックオンモードに設定された場合、操作入力部３２の操作入力はすべて無効となる。動作モードが角度ロックオンモードに設定された場合、操作入力部３２の操作入力は、例えば左スティック３２ａの前進および後退の指示入力を除いて無効となる。なお、動作モードが通常ロックオンモードに設定された場合、通常操縦モードと比較して、左スティック３２ａの前進および後退の指示のみを無効化してもよい。

ロックオンモードでは、さらに構図調整モードを設定することが可能である。構図調整モードは、操作装置３が表示部３３に表示される画像に対する構図調整用の指示信号のみ入力を受け付け、移動装置４の移動に関する指示信号の入力を受け付けないモードである。構図調整モードに設定されている場合、ユーザは移動装置４の操縦に気を取られることなく、構図の調整に専念することができる。

図９は、構図調整モード設定時の表示部３３における表示例を示す図である。表示部３３は、戻るボタン３３ｃ、撮影アイコン３３ｄ、ズームアイコン３３ｅ、ＩＳＯアイコン３３ｆ、絞りアイコン３３ｇ、シャッタ速アイコン３３ｈ、露出補正アイコン３３ｉを表示する。戻るボタン３３ｃがタッチされた場合、表示部３３は図８に示す表示に戻る。撮影アイコン３３ｄがタッチされた場合、操作装置３は移動装置４に対して撮像装置５における撮影を指示する信号を送信する。ズームアイコン３３ｅ、ＩＳＯアイコン３３ｆ、絞りアイコン３３ｇ、シャッタ速アイコン３３ｈ、露出補正アイコン３３ｉのいずれかがタッチされた場合、操作装置３はタッチされたアイコンに対応するパラメータの変更を受け付け可能な状態に遷移する。

図１０は、構図調整モード設定時の操作入力部３２における操作割り当ての一例を模式的に示す図である。左スティック３２ａの前後への移動は、機体の左右方向を回転中心とする回転（ピッチ）による角度変更にそれぞれ対応している。また、左スティック３２ａの左右への移動は、機体の前後方向を回転中心とする回転（ロール）による角度変更にそれぞれ対応している。右スティック３２ｂの前方向および後方向は、ズームアイコン３３ｅ、ＩＳＯアイコン３３ｆ、絞りアイコン３３ｇ、シャッタ速アイコン３３ｈ、露出補正アイコン３３ｉのうち選択されたパラメータのアップおよびダウンにそれぞれ対応している。右スティック３２ｂの左方向は左スライド、右方向は右スライドにそれぞれ対応している。なお、ズームアップ／ダウン操作はタッチパネルにおけるピンチアウト／ピンチインによってそれぞれ入力を受け付けるようにしてもよい。また、左右のスライド操作（ドリー）はタッチパネルにおける左右のスライドによってそれぞれ入力を受け付けるようにしてもよい。

なお、操作装置３は、レバー付の構成を有していなくてもよい。例えば、スマートフォン等の携帯端末を操作装置３として実現してもよい。また、ユーザによる操作信号の入力は、音声入力により実現してもよいし、操作装置３の本体の向きを変えたり操作装置３の本体を振ったりすることによって実現してもよい。

以下、撮像システム１が実行する処理の概要について、各装置の処理に分けて説明する。まず、操作装置３が行う処理の概要について、図１１に示すフローチャートを参照して説明する。操作装置３の電源が投入された場合（ステップＳ１０１：Ｙｅｓ）、モード制御部３６１は動作モードを通常操縦モードに設定する（ステップＳ１０２）。操作装置３の電源が投入されない場合（ステップＳ１０１：Ｎｏ）、操作装置３はステップＳ１０１を繰り返す。

続いて、第３通信制御部３６２は、移動装置４との通信を確立する（ステップＳ１０３）。その後、第１表示制御部３６３は、移動装置４から画像データを受信し、受信した画像データに対応する画像の表示部３３での表示を開始する（ステップＳ１０４）。なお、操作装置３は、移動装置４との通信確立後に、画像データ以外にも必要なデータの送受信を行う。

この後、操作装置３は、操作入力部３２がモード変更の指示信号の入力を受け付けたか否かに応じて異なる処理を行う。まず、操作入力部３２がモード変更の指示信号の入力を受け付けない場合（ステップＳ１０５：Ｎｏ）を説明する。この場合、操作入力部３２が操作信号の入力を受け付けたとき（ステップＳ１０６：Ｙｅｓ）、その操作信号に応じた通常制御信号を移動装置４へ送信する（ステップＳ１０７）。ここでいう通常制御信号には、撮像装置５に対して静止画または動画の撮影を指示する信号、移動装置４の電源を供給する電池残量の情報を要求する信号、移動装置４の飛行を操縦する信号などが含まれる。ステップＳ１０７の後、およびステップＳ１０６において操作入力部３２が操作信号の入力を受け付けない場合（ステップＳ１０６：Ｎｏ）、操作装置３はステップＳ１０８へ移行する。

ステップＳ１０８において、操作装置３の電源が切断された場合（ステップＳ１０８：Ｙｅｓ）、操作装置３は処理を終了する。一方、操作装置３の電源が切断されない場合（ステップＳ１０８：Ｎｏ）、動作モードが通常操縦モードであれば（ステップＳ１０９：Ｙｅｓ）、操作装置３はステップＳ１０５に戻る。ステップＳ１０９において、動作モードが通常操作モードでなければ（ステップＳ１０９：Ｎｏ）、操作装置３はステップＳ１０２に戻る。

次に、ステップＳ１０５において、操作入力部３２がモード変更の指示信号の入力を受け付けた場合（ステップＳ１０５：Ｙｅｓ）を説明する。ここでの動作モードの変更は、通常ロックオンモードおよび角度ロックオンモードのいずれかの動作モードへの変更である。いずれのモードの場合にも、ロックオン対象の被写体を指定する必要がある。ロックオン対象の被写体を指定する信号の入力は、例えば表示部３３の画面上に設けられたタッチパネル（操作入力部３２の一部）がロックオン対象とする被写体のタッチを検知し、その被写体の位置に基づく入力信号を受け付けることによって実現される。操作入力部３２がモード変更の指示信号の入力を受け付けた場合、モード制御部３６１は動作モードの設定を通常ロックオンモードまたは角度ロックオンモードに変更し、通常または角度ロックオンモードへの変更を指示するモード変更信号およびロックオン対象の被写体の位置情報を移動装置４に送信する（ステップＳ１１０）。

続いて、操作入力部３２が通常ロックオンモードおよび角度ロックオンモードの一方を他方に変更する指示信号の入力を受け付けた場合（ステップＳ１１１：Ｙｅｓ）、モード制御部３６１は動作モードの設定を他方のロックオンモードに変更し、通常または角度ロックオンモードへの変更を指示するモード変更信号およびロックオン対象の被写体の位置情報を移動装置４に送信する（ステップＳ１１２）。

この後、操作入力部３２が通常または角度ロックオンモードを終了する信号の入力を受け付けた場合（ステップＳ１１３：Ｙｅｓ）、操作装置３はステップＳ１０８へ移行する。ステップＳ１０８において電源が切断されない場合（ステップＳ１０８：Ｎｏ）、動作モードは通常操縦モードではないので（ステップＳ１０９：Ｎｏ）、操作装置３はステップＳ１０２へ戻る。ステップＳ１０２において、モード制御部３６１は動作モードを通常操縦モードに設定する。

なお、動作モードが通常ロックオンモードや角度ロックオンモードに設定されている場合に、撮像装置５に静止画または動画の撮影を行わせることができるようにしてもよい。

ステップＳ１１１において、操作入力部３２が通常ロックオンモードおよび角度ロックオンモードの一方から他方に変更する指示信号の入力を受け付けない場合（ステップＳ１１１：Ｎｏ）、操作装置３はステップＳ１１３へ移行する。

ステップＳ１１３において、通常または角度ロックオンモードを終了する信号の入力を受け付けない場合（ステップＳ１１３：Ｎｏ）、操作装置３はステップＳ１１４へ移行する。ステップＳ１１４において、操作入力部３２が構図調整モードへの変更の指示信号の入力を受け付けた場合（ステップＳ１１４：Ｙｅｓ）、モード制御部３６１は動作モードの設定を構図調整モードに変更する（ステップＳ１１５）。

この後、操作入力部３２がズーム操作信号の入力を受け付けた場合（ステップＳ１１６：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間でズーム制御通信を行う（ステップＳ１１７）。操作入力部３２がズーム操作信号の入力を受け付けない場合（ステップＳ１１６：Ｎｏ）、操作装置３はステップＳ１１８へ移行する。

ステップＳ１１８において、操作入力部３２がスライド操作の入力を受け付けた場合（ステップＳ１１８：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間でスライド制御通信を行う（ステップＳ１１９）。一方、操作入力部３２がスライド操作の入力を受け付けない場合（ステップＳ１１８：Ｎｏ）、操作装置３はステップＳ１２０へ移行する。

ステップＳ１２０において、操作入力部３２が角度変更操作の入力を受け付けた場合（ステップＳ１２０：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間で角度変更制御通信を行う（ステップＳ１２１）。一方、操作入力部３２が角度変更操作の入力を受け付けない場合（ステップＳ１２０：Ｎｏ）、操作装置３はステップＳ１２２へ移行する。

ステップＳ１２２において、操作入力部３２が露出変更操作の入力を受け付けた場合（ステップＳ１２２：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間で露出変更制御通信を行う（ステップＳ１２３）。一方、操作入力部３２が露出変更操作の入力を受け付けない場合（ステップＳ１２２：Ｎｏ）、操作装置３はステップＳ１２４へ移行する。

ステップＳ１２４において、操作入力部３２がピント変更操作の入力を受け付けた場合（ステップＳ１２４：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間でピント変更制御通信を行う（ステップＳ１２５）。一方、操作入力部３２がピント変更操作の入力を受け付けない場合（ステップＳ１２４：Ｎｏ）、操作装置３はステップＳ１２６へ移行する。

ステップＳ１２６において、操作入力部３２が撮影操作の入力を受け付けた場合（ステップＳ１２６：Ｙｅｓ）、第３通信制御部３６２は移動装置４との間で撮影制御通信を行う（ステップＳ１２７）。操作入力部３２が撮影操作の入力を受け付けない場合（ステップＳ１２６：Ｎｏ）、操作装置３はステップＳ１２８へ移行する。

ステップＳ１２８において、操作入力部３２が構図調整モードを終了する信号の入力を受け付けた場合（ステップＳ１２８：Ｙｅｓ）、操作装置３はステップＳ１０８に戻る。ステップＳ１０８において電源が切断されない場合（ステップＳ１０８：Ｎｏ）、動作モードは通常操縦モードではないので（ステップＳ１０９：Ｎｏ）、操作装置３はステップＳ１０２へ戻る。ステップＳ１０２において、モード制御部３６１は動作モードを通常操縦モードに設定する。

ステップＳ１２８において、操作入力部３２が構図調整モードを終了する信号の入力を受け付けない場合（ステップＳ１２８：Ｎｏ）、操作装置３はステップＳ１１６に戻る。

ステップＳ１１４において、操作入力部３２が構図調整モードに変更する指示信号の入力を受け付けない場合（ステップＳ１１４：Ｎｏ）、操作装置３はステップＳ１１１に戻る。

次に、移動装置４が行う処理の概要について説明する。移動装置４は、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果を第１記録部４６から読み出して判定結果に応じた制御を行う。このような移動制御処理を含む移動装置４の詳細な処理について、図１２Ａおよび図１２Ｂに示すフローチャートを参照して説明する。

まず、図１２Ａを参照してステップＳ２０１〜Ｓ２０９の処理を説明する。移動装置４の電源が投入された場合（ステップＳ２０１：Ｙｅｓ）、第１通信制御部４９６は撮像装置５および操作装置３との通信を確立する（ステップＳ２０２）。ステップＳ２０１において移動装置４の電源が投入されない場合（ステップＳ２０１：Ｎｏ）、移動装置４はステップＳ２０１を繰り返す。

続いて、第１通信制御部４９６は、撮像装置５からの画像データの受信および操作装置３への画像データの送信を開始する（ステップＳ２０３）。この後、移動装置４は撮像装置５から所定の間隔で画像データを受信し、操作装置３にその画像データを送信する。なお、移動装置４は、撮像装置５および操作装置３との通信確立後に、画像データ以外にも必要なデータの送受信を行う。

ステップＳ２０３の後、移動装置４が操作装置３から通常制御信号を受信した場合（ステップＳ２０４：Ｙｅｓ）、第１制御部４９は通常制御信号に応じた処理を行う（ステップＳ２０５）。ここでいう通常制御信号に応じた処理とは、例えば撮像装置５に対する静止画撮影の開始指示信号、動画撮影の開始または終了指示信号の送信、撮像装置５から受信した画像データの操作装置３への送信、および移動装置４の電池残量の確認等である。この後、移動装置４はステップＳ２０６へ移行する。

ステップＳ２０４において、移動装置４が通常制御信号を受信しない場合（ステップＳ２０４：Ｎｏ）、移動装置４はステップＳ２０６へ移行する。

ステップＳ２０６において、移動装置４が通常または角度ロックオンモードへのモード変更信号およびロックオン対象の被写体の位置情報を受信した場合（ステップＳ２０６：Ｙｅｓ）、第１制御部４９はロックオンの基準位置を第１記録部１６に記憶させ（ステップＳ２０７）、ロックオン対象の被写体の追尾を指示する信号およびロックオン対象の被写体の位置情報を撮像装置５へ送信する（ステップＳ２０８）。ステップＳ２０６において、移動装置４が通常または角度ロックオンモードへのモード変更信号およびロックオン対象の被写体の位置情報を受信しない場合（ステップＳ２０６：Ｎｏ）、移動装置４は後述するステップＳ２２４へ移行する。

ステップＳ２０８の後、移動装置４は被写体追尾制御を実行する（ステップＳ２０９）。図１３は、移動装置４が行う被写体追尾制御処理の概要を示すフローチャートである。まず、移動装置４は、撮像装置５によって算出されたロックオン対象である被写体までの距離、被写体の基準位置からのずれ量、および障害物がある場合の障害物までの距離を撮像装置５から取得する（ステップＳ３０１）。ここでいう「基準位置」とは、初期設定では画面の中心であり、スライド操作が行われた場合には、その中心がスライドした位置である。また、ここでいう「ずれ量」とは、３次元的なずれ量である。撮像装置５による被写体および障害物までの距離の検出、ならびにずれ量の算出については、撮像装置５の処理を説明する際に詳述する。

ステップＳ３０１の後、移動判定部４９２は、取得したずれ量に基づいて、被写体の位置および大きさを維持するための移動装置４の移動距離を算出する（ステップＳ３０２）。この際、移動判定部４９２は、図１４に示すように、画面と直交する方向の移動距離ΔＬを、被写体２００までの距離Ｌ、被写体２００が動く前の被写体のサイズをａ、被写体２００が動いた後の被写体のサイズをｂとして、ΔＬ＝｛（ａ／ｂ）−１｝Ｌにより算出する。ここで、移動距離ΔＬは被写体２００に対して近づく方向を正の値としている。換言すれば、被写体２００が動いて画面上で小さくなった場合には移動距離が正となり、被写体２００が動いて画面上で大きくなった場合には移動距離が負となる。なお、画面と平行な方向の移動距離を同様に算出してもよい。

続いて、移動判定部４９２は、移動経路上に障害物がある場合（ステップＳ３０３：Ｙｅｓ）、移動装置４の移動距離が障害物までの距離未満であれば（ステップＳ３０４：Ｙｅｓ）、移動装置４の移動が可能であると判定する（ステップＳ３０５）。移動判定部４９２は、移動経路上に障害物がない場合（ステップＳ３０３：Ｎｏ）も、移動装置４の移動が可能であると判定する（ステップＳ３０５）。

この後、推進制御部４９４は、撮像装置５が被写体を画角内にとらえ続けることができるよう、ステップＳ３０２で算出した移動距離にしたがって被写体の動きに追従して推進部４１を駆動させる移動追従制御を行う（ステップＳ３０６）。この後、移動装置４はステップＳ３０８へ移行する。

ステップＳ３０４において、移動装置４の移動距離が障害物までの距離以上であれば（ステップＳ３０４：Ｎｏ）、移動判定部４９２は、移動装置４の移動が不可能であると判定する（ステップＳ３０７）。この後、移動装置４はステップＳ３０８へ移行する。

ステップＳ３０８において、移動装置４が角度ロックオンモードに設定されている場合（ステップＳ３０８：Ｙｅｓ）、第１制御部４９は撮影方向追従制御を行う（ステップＳ３０９）。図１５は、移動装置４が行う撮影方向追従制御の処理の概要を示すフローチャートである。角度ロックオンモードに設定されている場合、撮像装置５からは被写体の方向の変化が送られてくる。このときの撮像装置５の処理については後述する。移動装置４が撮像装置５からロックオン対象の被写体の方向が変化したことを示す情報を取得した場合（ステップＳ４０１：Ｙｅｓ）、移動判定部４９２は、その情報に基づいて移動装置４の移動の可否を判定する（ステップＳ４０２）。移動判定部４９２は、例えば被写体の顔を球と近似するモデルを採用し、その球の中心を回転中心として回転中心からの距離を一定に保ちながら基準の角度への移動装置４の回転の可否を判定する。

移動判定部４９２が移動可能であると判定した場合（ステップＳ４０３：Ｙｅｓ）、方向制御部４９５は撮像方向の変更を開始する（ステップＳ４０４）。例えば、顔を球で近似するモデルを採用した場合、方向制御部４９５はその球の中心を回転中心として回転中心からの距離を一定に保ちながらステップＳ４０２で算出した角度だけ移動装置４の回転を行う。なお、撮像装置５の移動装置４に対する姿勢を変更可能な場合、移動装置４は自身の姿勢を保ったまま移動するとともに、撮像装置５の移動装置４に対する姿勢を変化させることによって撮像方向を変更させるようにしてもよい。この場合の移動装置４の移動と撮像装置５の姿勢変化は同時に行ってもよいし、移動装置４の移動後に撮像装置５の姿勢を変化させてもよい。

ステップＳ４０４の後、移動装置４の撮像方向を変更している最中に被写体のロスト情報を撮像装置５から受信した場合（ステップＳ４０５：Ｙｅｓ）、方向制御部４９５は移動装置４の回転動作を中止する制御を行い（ステップＳ４０６）、ロスト情報を操作装置３に送信する（ステップＳ４０７）。ここで「被写体をロストした場合」には、被写体の一部が画像内から消えている場合、換言すれば「被写体をロストしそうな場合」も含まれる。ステップＳ４０７の後、移動装置４は撮影方向追従制御を終了してメインルーチンへ戻る。

ステップＳ４０５において、移動装置４の撮像方向を変更している最中に被写体のロスト情報を撮像装置５から受信しない場合（ステップＳ４０５：Ｎｏ）において、撮像方向の変更が終了したとき（ステップＳ４０８：Ｙｅｓ）、移動装置４は撮影方向追従制御を終了してメインルーチンへ戻る。ステップＳ４０８において撮像方向の変更が終了していないとき（ステップＳ４０８：Ｎｏ）、移動装置４はステップＳ４０５へ戻る。

ステップＳ４０１において、移動装置４が撮像装置５からロックオン対象の被写体の方向が変化した情報を取得しない場合（ステップＳ４０１：Ｎｏ）、およびステップＳ４０３において移動判定部４９２が移動可能ではないと判定した場合（ステップＳ４０３：Ｎｏ）、移動装置４は撮影方向追従制御を終了してメインルーチンへ戻る。

ステップＳ３０８において、移動装置４が角度ロックオンモードに設定されていない場合（ステップＳ３０８：Ｎｏ）、移動装置４は被写体追尾制御を終了してメインルーチンへ戻る。

以上説明したステップＳ２０９の後の処理について、図１２Ｂを参照して説明する。第１制御部４９は、構図調整モードへの変更を指示する制御信号の受信の有無を判定する（ステップＳ２１０）。まず、構図調整制御信号を受信した場合（ステップＳ２１０：Ｙｅｓ）を説明する。この場合において、ズーム操作信号を受信したとき（ステップＳ２１１：Ｙｅｓ）、第１制御部４９はズーム制御を行う（ステップＳ２１２）。

図１６は、移動装置４が行うズーム制御の処理の概要を示すフローチャートである。ズーム処理を行う前提として、電源判定部４９１がバッテリーの残量を所定値以上（例えばフル充電値の５０％以上）であることを判定した上で、処理を行うものとする。まず、第１制御部４９は撮像装置５にズーム制御指示信号を送信する（ステップＳ５０１）。

この後、撮像装置５から移動要求を受信した場合（ステップＳ５０２：Ｙｅｓ）、移動判定部４９２は移動可否判定を行う（ステップＳ５０３）。移動要求は、撮像装置５が光学ズームを行うことができないと判定した場合に撮像装置５から送られてくる。移動判定部４９２は、操作装置３から受信したズーム操作信号に応じた分のズームアップまたはズームダウンに相当する移動が可能であるか否かを判定する。具体的には、移動判定部４９２は、図１７に示すように、画面と直交する方向の移動距離ΔＬ’を、被写体までの距離Ｌ、撮像装置５の移動前の被写体のサイズをｃ、撮像装置５の移動後の被写体のサイズをｄとして、ΔＬ’＝｛１−（ｃ／ｄ）｝Ｌにより算出する。算出した移動距離ΔＬ’に基づく移動可否判定は、図１３で説明したステップＳ３０３〜Ｓ３０７と同様である。なお、ここでも画面と平行な方向の移動距離を同様に算出してもよい。

ステップＳ５０３における判定の結果、移動判定部４９２が移動可能であると判定した場合（ステップＳ５０４：Ｙｅｓ）、推進制御部４９４は、推進部４１を駆動して移動装置４の移動制御を行う（ステップＳ５０５）。ここで推進制御部４９４は、例えば移動方向に障害物が存在する場合、その障害物の手前の所定位置まで移動装置４を移動させる制御を行う。

続いて、移動装置４が移動している最中に被写体のロスト情報を撮像装置５から受信した場合（ステップＳ５０６：Ｙｅｓ）、推進制御部４９４は移動装置４の移動を中止する制御を行い（ステップＳ５０７）、ロスト情報を操作装置３に送信する（ステップＳ５０８）。ここでの「被写体をロストした場合」も、被写体の一部が画像内から消えるような場合、すなわち「被写体をロストしそうな場合」も含まれる。ステップＳ５０８の後、移動装置４はズーム制御を終了してメインルーチンへ戻る。

ステップＳ５０６において移動装置４が移動している最中に被写体のロスト情報を撮像装置５から受信しない場合（ステップＳ５０６：Ｎｏ）、移動が終了したとき（ステップＳ５０９：Ｙｅｓ）、第１制御部４９は撮像装置５に移動終了の情報を送信する（ステップＳ５１０）。その後、移動装置４はズーム制御を終了してメインルーチンへ戻る。ステップＳ５０９において移動が終了していないとき（ステップＳ５０９：Ｎｏ）、移動装置４はステップＳ５０６へ戻る。

ステップＳ５０２において撮像装置５から移動要求を受信しない場合（ステップＳ５０２：Ｎｏ）、およびステップＳ５０４において判定結果が移動不可能である場合（ステップＳ５０４：Ｎｏ）、移動装置４はメインルーチンへ戻る。

再び図１２Ｂのフローチャートに戻って説明を続ける。ステップＳ２１１においてズーム操作信号を受信しない場合（ステップＳ２１１：Ｎｏ）を説明する。この場合において、第１制御部４９がスライド操作信号を受信したとき（ステップＳ２１３：Ｙｅｓ）、第１制御部４９はスライド制御を行う（ステップＳ２１４）。

図１８は、移動装置４が行うスライド制御の処理の概要を示すフローチャートである。まず、移動判定部４９２は、移動装置４がスライド動作が可能であるか否かを判定する（ステップＳ６０１）。スライド動作が可能である場合（ステップＳ６０１：Ｙｅｓ）、推進制御部４９４はスライド動作を開始する（ステップＳ６０２）。第１制御部４９は、スライド動作を開始すると、スライド動作に関する情報を撮像装置５への送信も開始する。ここでいう「スライド動作に関する情報」には、例えばスライドの量や方向に関する情報が含まれる。

ステップＳ６０２の後、移動装置４がスライド動作中に撮像装置５から被写体のロスト情報を受信した場合（ステップＳ６０３：Ｙｅｓ）、推進制御部４９４は移動装置４のスライド動作を中止する制御を行い（ステップＳ６０４）、ロスト情報を操作装置３に送信する（ステップＳ６０５）。ここでも、「被写体をロストした場合」には、被写体の一部が画像内から消えるような場合、すなわち「被写体をロストしそうな場合」も含まれる。ステップＳ６０５の後、移動装置４はメインルーチンへ戻る。

ステップＳ６０３において移動装置４の移動中に被写体をロストしない場合（ステップＳ６０３：Ｎｏ）、移動装置４の移動が終了したとき（ステップＳ６０６：Ｙｅｓ）、第１制御部４９は、スライド動作によって変化した後の基準位置を第１記録部１６に記憶させ（ステップＳ６０７）、その基準位置を撮像装置５へ送信する（ステップＳ６０８）。この後、移動装置４はスライド制御を終了してメインルーチンへ戻る。ステップＳ６０６において移動装置４の移動が終了していないとき（ステップＳ６０６：Ｎｏ）、移動装置４はステップＳ６０３へ戻る。

ステップＳ６０１において、移動判定部４９２が移動装置４のスライド動作を不可能であると判定した場合（ステップＳ６０１：Ｎｏ）、第１制御部４９は撮像装置５へ画像のトリミングを要求する信号を送信する（ステップＳ６０９）。この際、第１制御部４９は、要求信号とともにスライド量に関する情報を撮像装置５に送信する。

この後、移動装置４は、撮像装置５からトリミング画像データまたはエラー情報を受信する（ステップＳ６１０）。エラー情報は、撮像装置５によってトリミングが不可能と判断された場合に撮像装置５から送られてくる情報である。

移動装置４は、撮像装置５から受信したトリミング画像データまたはエラー情報を操作装置３に送信する（ステップＳ６１１）。この後、移動装置４はスライド制御を終了してメインルーチンに戻る。

図１２Ｂのフローチャートに戻って説明を続ける。ステップＳ２１３において、第１制御部４９がスライド操作信号を受信しないとき（ステップＳ２１３：Ｎｏ）を説明する。この場合において、第１制御部４９が角度変更操作信号を受信したとき（ステップＳ２１５：Ｙｅｓ）、方向制御部４９５は角度変更制御を行う（ステップＳ２１６）。角度変更制御を行う際、方向制御部４９５は処理が実行可能であるか否かを判定し、実行可能である場合に移動装置４の移動と傾斜角度（姿勢）の変更を実行する。なお、移動装置４の移動と角度変更とを同時に実行する代わりに、移動装置４を移動した後に移動装置４の角度を変更させるようにしてもよい。

ステップＳ２１５において、第１制御部４９が角度変更操作信号を受信しないとき（ステップＳ２１５：Ｎｏ）を説明する。この場合において、第１制御部４９がピント変更操作信号を受信したとき（ステップＳ２１７：Ｙｅｓ）、第１制御部４９はピント変更を指示する制御信号を撮像装置５に送信する（ステップＳ２１８）。

ステップＳ２１７において、第１制御部４９がピント変更操作信号を受信しない場合（ステップＳ２１７：Ｎｏ）を説明する。この場合において、第１制御部４９が露出変更操作信号を受信したとき（ステップＳ２１９：Ｙｅｓ）、第１制御部４９は露出変更を指示する制御信号を撮像装置５へ送信する（ステップＳ２２０）。

ステップＳ２１９において、第１制御部４９が露出変更操作信号を受信しない場合（ステップＳ２１９：Ｎｏ）を説明する。この場合において、第１制御部４９が撮影操作信号を受信したとき（ステップＳ２２１：Ｙｅｓ）、第１制御部４９は撮影を指示する制御信号を撮像装置５へ送信する（ステップＳ２２２）。

ステップＳ２２１において、第１制御部４９が撮影操作信号を受信しない場合（ステップＳ２２１：Ｎｏ）、移動装置４はステップＳ２２３へ移行する。ステップＳ２２３において、第１制御部４９が構図調整モードの終了信号を操作装置３から受信した場合（ステップＳ２２３：Ｙｅｓ）、移動装置４の電源が切断されたとき（ステップＳ２２４：Ｙｅｓ）、移動装置４は処理を終了する。ステップＳ２２４において移動装置４の電源が切断されない場合（ステップＳ２２４：Ｎｏ）、移動装置４はステップＳ２０４に戻る。一方、第１制御部４９が構図調整モード終了信号を受信しない場合（ステップＳ２２３：Ｎｏ）、移動装置４はステップＳ２０９に戻る。

ステップＳ２１０において、構図調整モードへの変更を指示する制御信号を受信しない場合（ステップＳ２１０：Ｎｏ）を説明する。この場合において、動作モードが構図調整モードであるとき（ステップＳ２２５：Ｙｅｓ）、移動装置４はステップＳ２１１へ移行する。

ステップＳ２２５において動作モードが構図調整モードでない場合（ステップＳ２２５：Ｎｏ）において、第１制御部４９が操作装置３からロックオンモードの終了信号を受信したとき（ステップＳ２２６：Ｙｅｓ）、移動装置４は撮像装置５へロックオンモードの終了信号を送信し（ステップＳ２２７）、ステップＳ２２４へ移行する。一方、第１制御部４９が操作装置３からロックオンモードの終了信号を受信しないとき（ステップＳ２２６：Ｎｏ）、移動装置４はステップＳ２０９に戻る。

以上説明した処理のうち、構図調整モードの処理に相当するステップＳ２１１〜Ｓ２２２の処理は、並行して行うことも可能である。

次に、撮像装置５が行う処理の概要について説明する。撮像装置５は、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを移動装置４が判定するために必要な情報を検出し、検出した情報を第２記録部５５から読み出して移動装置４に送信することにより、移動装置４の処理を補助する。このような移動補助処理を含む撮像装置５の詳細な処理について、図１９Ａおよび図１９Ｂに示すフローチャートを参照して説明する。

まず、図１９Ａを参照してステップＳ７０１〜Ｓ７０３の処理を説明する。撮像装置５の電源が投入された場合（ステップＳ７０１：Ｙｅｓ）、撮影制御部５６７は撮像を開始する制御を行う（ステップＳ７０２）。ステップＳ７０１において撮像装置５の電源が投入されない場合（ステップＳ７０１：Ｎｏ）、撮像装置５はステップＳ７０１を繰り返す。

ステップＳ７０２の後、第２通信制御部５６６は、移動装置４との通信を確立する（ステップＳ７０３）。続いて、第２通信制御部５６６は、画像処理部５６１が生成した画像データの移動装置４への送信を開始する（ステップＳ７０４）。

続いて、移動装置４から通常制御信号を受信した場合（ステップＳ７０５：Ｙｅｓ）、第２制御部５６は信号に応じた通常制御を行う（ステップＳ７０６）。ここでいう通常制御には、静止画または動画撮影、撮像装置５の電池残量に関する情報の移動装置４への送信等が含まれる。ステップＳ７０５において、移動装置４から通常制御信号を受信しない場合（ステップＳ７０５：Ｎｏ）、撮像装置５は後述するステップＳ７０７へ移行する。

ステップＳ７０７において、移動装置４からロックオン対象の被写体の追尾を指示する信号およびロックオン対象の被写体の位置情報を受信した場合（ステップＳ７０７：Ｙｅｓ）、被写体検出部５６２はロックオン対象の被写体の検出を開始する（ステップＳ７０８）。被写体検出部５６２は、例えば被写体の色、形、およびパターン等に基づいて被写体を検出する。ステップＳ７０７において、移動装置４からロックオン対象の被写体の追尾を指示する信号およびロックオン対象の被写体の位置情報を受信しない場合（ステップＳ７０７：Ｎｏ）、撮像装置５はステップＳ７０５に戻る。

ステップＳ７０８で被写体検出部５６２が被写体検出を開始してから、ロックオン対象の被写体をロストした場合（ステップＳ７０９：Ｙｅｓ）を説明する。この場合、第２制御部５６は、移動装置４へロスト情報を送信する（ステップＳ７１０）。ここで「被写体をロストした場合」には、被写体の一部が画像内から消えている場合、換言すれば「被写体をロストしそうな場合」も含まれる。

この後、移動装置４からロックオンモードの終了信号を受信した場合（ステップＳ７１１：Ｙｅｓ）、被写体検出部５６２はロックオン対象の被写体検出を終了する（ステップＳ７１２）。ステップＳ７１１において、移動装置４からロックオンモードの終了信号を受信しない場合（ステップＳ７１１：Ｎｏ）、撮像装置５はステップＳ７０９に戻る。

ステップＳ７１２の後、撮像装置５の電源が切断されたとき（ステップＳ７１３：Ｙｅｓ）、撮像装置５は処理を終了する。ステップＳ７１３において撮像装置５の電源が切断されない場合（ステップＳ７１３：Ｎｏ）、撮像装置５はステップＳ７０５に戻る。

ステップＳ７０９において、ロックオン対象の被写体をロストしていない場合（ステップＳ７０９：Ｎｏ）に行うステップＳ７１４以降の処理について、図１９Ｂを参照して説明する。まず、動作モードが角度ロックオンモードに設定されてなく、通常ロックオンモードに設定されている場合（ステップＳ７１４：Ｙｅｓ）、距離算出部５６４は、ロックオン対象である被写体までの距離を算出するとともに、動きベクトル等を用いて２次元平面内の移動を求めることによって基準位置からの３次元的なずれ量を算出する（ステップＳ７１５）。この後、撮像装置５は、ステップＳ７１５の演算結果を移動装置４に送信する（ステップＳ７１６）。

ステップＳ７１４において、動作モードが角度ロックオンモードに設定されている場合（ステップＳ７１４：Ｎｏ）、被写体検出部５６２は被写体の向きを検出する（ステップＳ７１７）。この後、撮像装置５はステップＳ７１５へ移行する。この場合、撮像装置５は、ステップＳ７１６において、被写体の向きも移動装置４に送信する。

ステップＳ７１７の後、被写体検出部５６２が被写体との間に障害物を検出した場合（ステップＳ７１８：Ｙｅｓ）、距離算出部５６４は障害物までの距離を算出する（ステップＳ７１９）。その後、撮像装置５は、障害物までの距離を移動装置４へ送信する（ステップＳ７２０）。ステップＳ７２０の後、およびステップＳ７１８において被写体検出部５６２が被写体との間に障害物を検出しない場合（ステップＳ７１８：Ｎｏ）、撮像装置５はステップＳ７２１へ移行する。

ステップＳ７２１において、撮像装置５が構図調整モードへの変更を指示する信号を受信した場合（ステップＳ７２１：Ｙｅｓ）、撮像装置５はステップＳ７２２へ移行する。一方、撮像装置５が構図調整モードへの変更を指示する信号を受信しない場合（ステップＳ７２１：Ｎｏ）、撮像装置５はステップＳ７１１へ移行する。

ステップＳ７２２において、移動装置４からズーム制御信号を受信した場合（ステップＳ７２２：Ｙｅｓ）、撮影制御部５６７はズーム制御を行う（ステップＳ７２３）。ステップＳ７２２において、移動装置４からズーム制御信号を受信しない場合（ステップＳ７２２：Ｎｏ）、撮像装置５は後述するステップＳ７２４へ移行する。

撮像装置５が行うズーム制御の処理の概要について、図２０に示すフローチャートを参照して説明する。まず、撮影制御部５６７は、第２記録部５５を参照して、ズーム指示量に基づく被操縦体２の重心変化を算出する（ステップＳ８０１）。

被操縦体２の重心変化が所定の閾値以下である場合（ステップＳ８０２：Ｎｏ）、ズームの影響も少ないので、バランスを崩す心配もない。そこで、撮影制御部５６７は、光学ズームが可能であるか否かを判定する（ステップＳ８０３）。ここで、重心変化以外の量を用いてステップＳ８０２の判定を行ってもよい。具体的には、例えば被操縦体２の浮力を得るための機構の動き量、被操縦体２がバランスを取るためのジャイロセンサ等の出力に換算した値、または光軸方向の重さの位置変化などで換算した値に対して閾値を定め、その閾値以下である場合にステップＳ８０３を行うようにしてもよい。また、被操縦体２の全体の長さに対する撮像装置５の光軸方向における被操縦体２の重心移動量の割合に対して閾値（例えば１０％）を定め、この閾値以下である場合にステップＳ８０３を行うようにしてもよい。なお、ここでは単純な閾値による判定を説明したが、複数のパラメータを用いて撮影制御部５６７が重心変化の有無を判定するようにしてもよい。光学ズームが可能である場合（ステップＳ８０３：Ｙｅｓ）、撮影制御部５６７は、光学系５１１に対して光学ズーム制御を行う（ステップＳ８０４）。光学ズームが可能であるか否かは、例えばレンズの種類、性質や要求される画質などの条件に基づいて判定される。なお、光学ズーム時は、その旨を表す信号をズーム制御前に移動装置４に伝え、移動装置４が不測の状態変動に備えた安定化動作などを行うようにしてもよい。このような撮像装置５の処理は、ステップＳ８０２またはＳ８０３の処理中に行ってもよいし、別処理で行ってもよい。また、被操縦体２の重心変化を用いて飛行や浮遊の観点での判定を行う代わりに、風速センサを設けることによって風の影響に基づく判定を行ったり、振動センサを設けて被操縦体２における振動の影響に基づく判定を行ったりしてもよく、これらの影響に基づく判定を上述した判定と併用して総合的に判定してもよい。例えば、風速が強く風の影響で対象物近づきにくい場合にはズームを行うという判定を併用してもよい。

この後、撮影制御部５６７が、撮像装置５からの情報により要求ズーム位置まで移動が完了したと判定した場合（ステップＳ８０５：Ｙｅｓ）、撮影制御部５６７はズーム制御を終了する。一方、撮影制御部５６７が、要求ズーム位置まで移動が完了していないと判定した場合（ステップＳ８０５：Ｎｏ）、撮影制御部５６７は要求ズーム位置まで電子ズームを行う（ステップＳ８０６）。その後、撮影制御部５６７はズーム制御を終了する。

ステップＳ８０３で光学ズームが可能でない場合（ステップＳ８０３：Ｎｏ）、撮像装置５はステップＳ８０６へ移行する。

次に、ステップＳ８０１で算出された被操縦体２の重心変化が閾値より大きい場合（ステップＳ８０２：Ｙｅｓ）を説明する。この場合、撮影制御部５６７は、被写体のフレーム間の動き量と所定の閾値との大小を判定する（ステップＳ８０７）。被写体の動き量が閾値以上である（動き大である）場合（ステップＳ８０７：Ｙｅｓ）、被写体のズーム速度と被写体への接近速度との大小関係に応じた処理を行う。具体的には、被写体像のズームによる拡大速度が接近による拡大速度より大きい場合（ステップＳ８０８：Ｙｅｓ）、撮像装置５が光学ズームおよび電子ズームを実行可能であれば（ステップＳ８０９：Ｙｅｓ）、ステップＳ８０４へ移行して光学ズーム制御を行う。被操縦体２の重心移動が大きいと判定した場合に光学ズーム等を行うのは、被操縦体２が体勢を崩しつつも安全な移動が可能な場合があるからである。このように撮像装置５は、判定時の周囲の環境、被操縦体２の安定性や移動装置４の性能情報から光学ズーム等の実行可否を総合的に判断してもよい。ここでも、被操縦体２の重心変化を用いて飛行や浮遊の観点での判定を行う代わりに、風や被操縦体２における振動の影響に基づく判定を行ってもよいし、これらの影響に基づく判定を上述した判定と併用して総合的に判定してもよい。例えば、風速が強く風の影響で対象物近づきにくい場合にはズームを行うという判定を併用してもよい。また、被操縦体２の振動の影響が大きい場合には、ズームで望遠にして拡大するのではなく、対象物に近づいて拡大する方がぶれやフレーミングで有利になる場合があるので、ステップＳ８０９の処理に風の影響や被操縦体２の振動の影響に基づく判断を加えてもよい。これに対して、ステップＳ８０７において被写体の動き量が閾値より小さい（動きが小である）場合（ステップＳ８０７：Ｎｏ）、被写体が逃げたりすることはないとみなして、撮像装置５は後述するステップＳ８１０へ移行する。被写体の動き量は、特に撮影レンズの光軸方向がピントに効くということに鑑みて、被写体までの距離の変化や被写体像の大きさ変化などに基づいて判定してもよい。なお、ここでは説明を簡略化して、発明の特徴をわかりやすくするために、いくつかの分岐を用いて処理の概要を説明したが、これらの分岐における各種判定処理は、さらに様々な変数を用いることにより、光学的、機械的、電気的な撮像装置５の制御と、移動装置４の移動制御のバランスを取る、あるいは最適化をするような判定処理となるように制御するのが好ましい。なお、「光学ズーム」と記載した箇所を「ピント位置移動による重心変化」などに置き換える応用も可能である。この場合において、重心変化の影響が撮影や移動制御に影響を及ぼすときには、ピントではなく被操縦体２の移動により、フォーカス位置に合わせるような制御を行ってもよい。

被写体像のズームによる拡大速度が接近による拡大速度より大きく（ステップＳ８０８：Ｙｅｓ）、かつ撮像装置５が光学ズームまたは電子ズームを実行可能でない（ステップＳ８０９：Ｎｏ）場合、および被写体像のズームによる拡大速度が接近による拡大速度以下である場合（ステップＳ８０８：Ｎｏ）、被写体検出部５６２は画像内の障害物の検出を行い（ステップＳ８１０）、移動装置４に対して障害物の検出結果と移動要求を送信する（ステップＳ８１１）。この移動要求は、障害物の手前までの移動要求である。ここでも、風や被操縦体２における振動の影響に基づく判定を行ってもよいし、これらの影響に基づく判定を上述した判定と併用して総合的に判定してもよい。被写体の動きは画像の時間変化によって検出できるが、被写体が実際には動いていなくても画像等で予測できる場合があり、そうした結果を利用してもよい。どのような対象物がどのような動きをした時に、その後どう動くかなどについては、画像変化の機械学習を行うことによって判定することもできる。ここでは、撮像装置５の特徴を説明しているが、この撮像装置５と通信する移動装置４または撮像装置５と移動装置４を含む被操縦体２としての特徴もある。すなわち、撮像装置５と通信可能であり、撮像装置５を保持して撮像装置５とともに移動可能な移動装置４を備えた被操縦体２が、予め指定された撮影対象物と撮像装置５との相対的な関係の変化に応じて移動可能であるか否かを判定するためには、撮像装置５の重心など変化や、対象物の敏捷性などの動き、それらの変化や動きの予測、被操縦体２の性能、被操縦体２の周囲の環境などの情報が必要となってくる。被操縦体２の被操縦体制御部２１が、それらの情報を検出し、検出した情報を用いて撮影対象物と撮像装置５との相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行うことは、本実施の形態１の特徴の一つである。

続いて、被写体検出部５６２が被写体をロストした場合（ステップＳ８１２：Ｙｅｓ）、撮像装置５はロスト情報を移動装置４へ送信する（ステップＳ８１３）。この後、撮像装置５はズーム制御を終了してメインルーチンへ戻る。

ステップＳ８１２において被写体検出部５６２が被写体をロストしない場合（ステップＳ８１２：Ｎｏ）、撮像装置５が移動装置４から移動終了の報知を受信したとき（ステップＳ８１４：Ｙｅｓ）、撮像装置５はズーム制御を終了してメインルーチンへ戻る。ステップＳ８１４において、撮像装置５が移動装置４から移動終了の報知を受信しないとき（ステップＳ８１４：Ｎｏ）、撮像装置５はステップＳ８１２へ戻る。

再び図１９Ｂを参照して説明を続ける。ステップＳ７２３の後、スライド情報を移動装置４から受信した場合（ステップＳ７２４：Ｙｅｓ）、追尾処理部５６３はロスト判定を行う（ステップＳ７２５）。被写体をロストしていない場合（ステップＳ７２５：Ｎｏ）において、スライド後の基準位置を受信したとき（ステップＳ７２６：Ｙｅｓ）、第２制御部５６は基準位置の情報を第２記録部５５に書き込んで記憶させる（ステップＳ７２７）。

ステップＳ７２５において被写体をロストした場合（ステップＳ７２５：Ｙｅｓ）、第２制御部５６は移動装置４へロスト情報を送信する（ステップＳ７２８）。

ステップＳ７２７またはＳ７２８の後、移動装置４からピント変更操作信号を受信した場合（ステップＳ７２９：Ｙｅｓ）、撮影制御部５６７は光学系５１１を動作させてピント変更処理を行う（ステップＳ７３０）。ステップＳ７３０の後、およびステップＳ７２９で移動装置４からピント変更操作信号を受信しない場合（ステップＳ７２９：Ｎｏ）、撮像装置５はステップＳ７３１へ移行する。

ステップＳ７３１において、移動装置４から露出変更操作信号を受信した場合（ステップＳ７３１：Ｙｅｓ）、撮影制御部５６７は露出を変更する処理を行う（ステップＳ７３２）。ステップＳ７３２の後、およびステップＳ７３１で移動装置４から露出変更操作信号を受信しない場合（ステップＳ７３１：Ｎｏ）、撮像装置５はステップＳ７３３へ移行する。

ステップＳ７３３において、移動装置４から撮影操作信号を受信した場合（ステップＳ７３３：Ｙｅｓ）、撮影制御部５６７は撮影操作信号に応じた撮影を行わせる（ステップＳ７３４）。ステップＳ７３４の後、およびステップＳ７３３において移動装置４から撮影操作信号を受信しない場合（ステップＳ７３３：Ｎｏ）、撮像装置５はステップＳ７１１へ移行する。

ステップＳ７２４においてスライド情報を移動装置４から受信しない場合（ステップＳ７２４：Ｎｏ）を説明する。この場合において、トリミング要求を受信したとき（ステップＳ７３５：Ｙｅｓ）、トリミング部５６５はトリミングが可能であるか否かを判定する（ステップＳ７３６）。ここでの判定は、ロックオン対象の被写体の基準位置をスライドした場合に撮像画像の中に移動によって当所表示されていなかった部分の画像を補うことが可能な余白部分の有無に基づいて判定を行う。判定の結果、トリミングを行うことが可能である場合（ステップＳ７３６：Ｙｅｓ）、トリミング部５６５はトリミングを行い（ステップＳ７３７）、トリミング画像のデータを移動装置４に送信する（ステップＳ７３８）。一方、判定の結果、トリミングを行うことができない場合（ステップＳ７３６：Ｎｏ）、第２制御部５６はエラー情報を移動装置４に送信する（ステップＳ７３９）。ステップＳ７３８またはＳ７３９の後、撮像装置５はステップＳ７２９へ移行する。

ステップＳ７３５において、トリミング要求を受信しないとき（ステップＳ７３５：Ｎｏ）、撮像装置５はステップＳ７２９へ移行する。

なお、以上の説明では撮像装置５が移動装置４に対して角度を変更しないものとして説明をしたが、撮像装置５が移動装置４に対して角度を変更可能な構成としてもよい。その場合には、移動装置４から角度変更指示信号を受信して移動装置４に対する角度を変更する制御を行えばよい。

以上説明した本発明の実施の形態１によれば、移動装置が予め指定された撮影対象物と撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果に応じた制御を行う一方、撮像装置が撮影対象物と撮像装置との相対的な関係の変化に応じて移動可能であるか否かを移動装置が判定するために必要な情報を検出して移動装置に送信するため、撮影時の移動経路が定まっていない状況下でも適切な処理を行うことができる。

また、本実施の形態１によれば、構図調整モードを設定した場合、ユーザは操縦は撮像システムに任せて構図の調整に専念することができる。したがって、被写体を追尾する環境下においても、ユーザが追尾のための処理に気を取られることなく、撮影に集中することが可能となる。

（実施の形態２）
本発明の実施の形態２は、被操縦体が内視鏡である。移動装置は内視鏡の先端を伸縮させるものであり、その内部に撮像装置を保持している。移動装置は操作装置と通信可能に無線接続されており、操作装置の指示にしたがって駆動するとともに、撮像装置に対する指示信号を受信して撮像装置に送信する。被操縦体はロックオン機能を具備しており、被操縦体（内視鏡）が被検体の内部に挿入されて検査が行われる際に撮影対象物（被写体）が撮像装置に対して動いた場合、その動きを追尾することが可能であるか否かを逐次判定しながら撮影対象物を追尾する。この追尾を行う際、移動装置は撮影対象物の大きさを変えないようにするために、必要に応じて被写体に対する接近または離反動作を行う。

図２１は、本発明の実施の形態２に係る撮像システムの概略構成を示す図である。図２２は、本実施の形態２に係る撮像システムの機能構成を示すブロック図である。図２１および図２２に示す撮像システム１Ａは、撮影対象物である被検体の体内に挿入されて被検体の内部を撮像する内視鏡２Ａと、内視鏡２Ａの操作指示信号の入力を受け付ける操作装置３Ａと、内視鏡２Ａと通信可能に接続され、撮像システム１Ａを統括して制御するプロセッサ６Ａと、内視鏡２Ａが撮像した画像を表示する表示装置７Ａと、を備える。

内視鏡２Ａは、可撓性を有する細長形状をなして被検体の体腔内に挿入される挿入部２１Ａと、挿入部２１Ａの基端側に接続され、各種の操作信号の入力を受け付ける操作部２２Ａと、操作部２２Ａから挿入部２１Ａが延びる方向と異なる方向に延び、プロセッサ６Ａに接続する各種ケーブルを内蔵するユニバーサルコード２３Ａと、を備える。

挿入部２１Ａは、移動装置４Ａおよび撮像装置５Ａを内蔵する先端部２４Ａと、先端部２４Ａの基端側に接続され、可撓性を有する長尺状の可撓管部２５Ａと、を有する。先端部２４Ａは、静電アクチュエータ、導電性高分子アクチュエータまたは超音波モータ等のいずれかを用いて構成され、湾曲やクランク曲げ等を行うことが可能な柔軟構造を有している。

移動装置４Ａおよび撮像装置５Ａは、実施の形態１で説明した移動装置４および撮像装置５とそれぞれ同様の構成を有する。このため、内視鏡２Ａは被操縦体としての機能を有する。以下、移動装置４Ａおよび撮像装置５Ａにおいて移動装置４および撮像装置５とそれぞれ対応する構成要素には、移動装置４および撮像装置５の構成要素の末尾にＡを付して記載する。例えば、移動装置４Ａが有する推進部の符号は「４１Ａ」となる。

移動装置４Ａは、挿入部２１Ａの先端から進退可能な筒状をなして挿入部２１Ａに取り付けられており、筒状内部に撮像装置５Ａを保持している。推進部４１Ａは、操作装置３Ａから送られてくる操作指示信号に応じて挿入部２１Ａの先端で移動装置４Ａを進退するアクチュエータを用いて構成されている。

プロセッサ６Ａは、内視鏡２Ａが撮像した画像データを取得して画像処理を行う画像処理部６１Ａと、内視鏡２Ａの挿入部２１Ａの先端から被検体へ照射する照明光を発生する光源部６２Ａと、プロセッサ６Ａ自身を含む撮像システム１Ａ全体を統括して制御する制御部６３Ａとを有する。

画像処理部６１Ａおよび制御部６３Ａは、例えばＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）およびＡＳＩＣ（Application Specific Integrated Circuit）等のうち一つまたは複数を用いて構成される。

光源部６２Ａは、内視鏡２Ａの挿入部２１Ａの先端から被検体（被写体）に向けて照射する照明光を出力する。光源部６２Ａは、例えばＬＥＤ（Light Emitting Diode）、レーザー光源、キセノンランプ、ハロゲンランプ等のいずれかを用いて構成される。プロセッサ６Ａは、撮像システム１Ａ全体を統括して制御する。

表示装置７Ａは、プロセッサ６Ａが画像処理を施した撮像信号に対応する画像を表示する。また、表示装置７Ａは、撮像システム１Ａに関する各種情報を表示する。表示装置７Ａは、液晶や有機ＥＬ等の表示パネル等を用いて構成される。

なお、移動装置４Ａの第１制御部４９Ａおよび撮像装置５Ａの第２制御部５６Ａの機能をプロセッサ６Ａが具備してもよい。また、操作装置３Ａの機能を内視鏡２Ａの操作部２２Ａが具備してもよい。

以上の構成を有する撮像システム１Ａにおいて、操作装置３Ａ、移動装置４Ａおよび撮像装置５Ａが行う処理の概要は、実施の形態１とほぼ同様である。以下では、本実施の形態２において特有のスライド制御処理の概要について説明する。

まず、図２３に示すフローチャートを参照して、内視鏡２Ａの移動装置４Ａが行うスライド制御の処理の概要を説明する。ステップＳ９０１〜Ｓ９０８は、実施の形態１で説明したスライド制御におけるステップＳ６０１〜６０８（図１８を参照）に順次対応している。なお、ステップＳ９０１における移動装置４Ａのスライド可能性判定は、例えば空間情報取得部４３Ａがスライド方向における被検体の内臓の壁面の有無を検出した結果に基づいて行われる。

ステップＳ９０９以降の処理について説明する。ステップＳ９０９において、移動判定部４９２Ａは被写体像の大きさがスライド前後で変化したか否かを判定する（ステップＳ９０９）。図２４は、被写体像の大きさが変化した場合の内視鏡先端部と被写体との関係を模式的に示す図である。図２４に示すように、スライド量が大きい場合には、破線で示す移動前の先端部２４Ａからクランク曲げで被写体３００に対してΔｄ程度遠ざかった状態となる。このため、図２５に示すように、移動後の被写体像３００ｂは、移動前の被写体像３００ａよりも小さくなる。判定の結果、被写体像の大きさが変化した場合（ステップＳ９０９：Ｙｅｓ）、移動判定部４９２Ａは、被写体像の大きさの変化に応じて、スライド前の大きさへ戻すための被写体への接近または離反が可能であるか否かを判定する（ステップＳ９１０）。ここでの判定は、空間情報取得部４３が取得した情報等に基づいて行われる。なお、ステップＳ９０９において、移動判定部４９２Ａが、被写体像の大きさが変化していないと判定した場合（ステップＳ９０９：Ｎｏ）、移動装置４Ａはメインルーチンへ戻る。

ステップＳ９１０において、移動判定部４９２Ａが、被写体への接近または離反が可能であると判定した場合（ステップＳ９１０：Ｙｅｓ）、推進制御部４９４Ａは推進部４１Ａに接近または離反動作を行わせる（ステップＳ９１１）。図２６は、図２４に示す状況から移動装置４Ａが前進して被写体３００に接近した状況を模式的に示す図である。この状況において、撮像装置５Ａは、図２７に示すように、移動前の被写体像３００ａとほぼ同じ大きさの被写体像３００ｃを撮像する。ステップＳ９１１の後、移動装置４Ａはメインルーチンへ戻る。

ステップＳ９１０において、被写体への接近または離反が不可能であると判定した場合（ステップＳ９１０：Ｎｏ）、第１制御部４９Ａは、撮像装置５Ａに対してズーム指示の信号を送信する（ステップＳ９１２）。

この後、撮像装置５Ａからズーム失敗を示すエラー情報を受信した場合（ステップＳ９１３：Ｙｅｓ）、第１制御部４９Ａは操作装置３Ａにエラー情報を送信する（ステップＳ９１４）。この後、移動装置４Ａはスライド制御処理を終了する。ステップＳ９１３において、撮像装置５Ａからエラー情報を受信しない場合（ステップＳ９１３：Ｎｏ）、移動装置４Ａはスライド制御処理を終了する。

ステップＳ９０１において、第１制御部４９Ａが移動装置４Ａのスライドを不可能であると判定した場合（ステップＳ９０１：Ｎｏ）に続けて行うステップＳ９１５〜Ｓ９１７の処理は、実施の形態１の移動装置４のスライド制御で説明したステップＳ６０９〜Ｓ６１１（図１８を参照）に順次対応している。ステップＳ９１７の後、移動装置４Ａはスライド制御処理を終了する。

次に、図２８に示すフローチャートを参照して、内視鏡２Ａの撮像装置５Ａが行うスライド制御の処理の概要を説明する。ステップＳ１００１〜Ｓ１００５の処理は、実施の形態１で説明したステップＳ７２４〜Ｓ７２８（図１９Ｂを参照）に順次対応している。

ステップＳ１００４の後に行うステップＳ１００６以降の処理を説明する。移動装置４Ａからズーム指示信号を受信した場合（ステップＳ１００６：Ｙｅｓ）、撮影制御部５６７Ａは光学ズームによって要求ズーム位置までのズームが可能であるか否かを判定する（ステップＳ１００７）。光学ズームによる要求ズーム位置までのズームが可能である場合（ステップＳ１００７：Ｙｅｓ）、撮影制御部５６７Ａは、光学系５１１Ａに対して光学ズーム制御を行う（ステップＳ１００８）。その後、撮像装置５Ａはズーム制御処理を終了する。

光学ズームによる要求ズーム位置までのズームが不可能である場合（ステップＳ１００７：Ｎｏ）、撮影制御部５６７Ａは電子ズームによって要求ズーム位置までのズームが可能であるか否かを判定する（ステップＳ１００９）。電子ズームによる要求ズーム位置までのズームが可能である場合（ステップＳ１００９：Ｙｅｓ）、撮影制御部５６７Ａは、要求ズーム位置まで電子ズームを行う（ステップＳ１０１０）。その後、撮像装置５Ａはズーム制御処理を終了する。

ステップＳ１００９において、電子ズームによる要求ズーム位置までのズームが不可能である場合（ステップＳ１００９：Ｎｏ）、撮像装置５Ａはエラー情報を移動装置４Ａへ送信する（ステップＳ１０１１）。その後、撮像装置５Ａはスライド制御を終了する。

ステップＳ１００１において、移動装置４Ａからスライド情報を受信しない場合（ステップＳ１００１：Ｎｏ）に行うステップＳ１０１２〜Ｓ１０１５の処理は、実施の形態１で説明したステップＳ７３５〜Ｓ７３８の処理に順次対応している。ステップＳ１０１５の後、撮像装置５Ａはスライド制御を終了する。なお、ステップＳ１０１３において、トリミングを行うことができない場合（ステップＳ１０１３：Ｎｏ）、撮像装置５ＡはステップＳ１０１１へ移行してエラー情報を移動装置４Ａに送信する。

以上説明した本発明の実施の形態２によれば、実施の形態１と同様に、撮影時の移動経路が定まっていない状況下でも適切な処理を行うことができる。

また、本実施の形態２によれば、ユーザはスライド操作を行うだけで装置側で画角が自動的に調整されるため、被検体の観察を違和感なく行うことができる。

ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、移動装置として無人航空機や内視鏡を例示したが、自走可能なロボット、工業用内視鏡、カプセル内視鏡などにも適用することが可能である。また、顕微鏡の撮像装置を保持する鏡筒部分を移動装置としてもよい。

本明細書におけるフローチャートの説明では、「まず」、「この後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部が記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１、１Ａ・・・撮像システム；２・・・被操縦体；２Ａ・・・内視鏡；３、３Ａ・・・操作装置；４、４Ａ・・・移動装置；５、５Ａ・・・撮像装置；２１・・・被操縦体制御部；３６・・・第３制御部；４９・・・第１制御部；５６・・・第２制御部；４９２・・・移動判定部；５６２・・・被写体検出部；５６３・・・追尾処理部；５６４・・・距離算出部；５６５・・・トリミング部

Claims (15)

1. 被写体を撮像して画像データを生成する撮像装置、および前記撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置を備えた被操縦体であって、
   予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定するために必要な情報を検出し、前記情報を用いて前記相対的な関係の変化に応じた移動が可能であるか否かを判定し、判定結果に応じた制御を行う被操縦体制御部を備えたことを特徴とする被操縦体。
2. 被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置であって、
   予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定し、判定結果に応じた制御を行う第１制御部を備えたことを特徴とする移動装置。
3. 前記相対的な関係は、前記撮影対象物と前記撮像装置との距離であり、
   前記第１制御部は、
   前記距離の変化によって生じる前記撮像装置が撮像した前記撮影対象物のサイズの変化に基づいて、前記距離を維持するための当該移動装置の移動距離を算出する移動判定部を有し、
   前記移動距離を用いて前記撮影対象物を追尾する制御を行うことを特徴とする請求項２に記載の移動装置。
4. 前記移動判定部は、
   当該移動装置の移動経路上に障害物がある場合には、前記移動距離と前記障害物までの距離との大小関係に応じて移動の可否を判定することを特徴とする請求項３に記載の移動装置。
5. 前記相対的な関係は、前記撮像装置に対する前記撮影対象物の向きであり、
   前記第１制御部は、
   前記向きが変化した場合に当該移動装置の移動の可否を判定する移動判定部を有し、
   当該移動装置が移動可能である場合、前記向きを維持するように前記撮像装置における撮像方向を変更する制御を行うことを特徴とする請求項２に記載の移動装置。
6. 当該移動装置の操作指示信号の入力を受け付ける操作装置と通信可能であり、
   前記第１制御部は、
   前記操作装置から前記撮像装置のズーム操作信号を受信した場合、ズーム制御指示信号を前記撮像装置に送信し、
   前記移動判定部は、
   前記ズーム制御指示信号を送信後に前記撮像装置から移動要求を受信した場合、前記ズーム操作信号に応じた分の移動が可能であるか否かを判定することを特徴とする請求項３〜５のいずれか一項に記載の移動装置。
7. 当該移動装置の操作指示信号の入力を受け付ける操作装置と通信可能であり、
   前記移動判定部は、
   前記操作装置からスライド操作信号を受信した場合、前記スライド操作信号に応じたスライドが可能であるか否かを判定し、
   前記第１制御部は、
   スライドが可能である場合にはスライド動作を開始させる制御を行う一方、スライドが可能でない場合には前記撮像装置に対してスライド情報および前記画像データのトリミング要求を送信することを特徴とする請求項３〜６のいずれか一項に記載の移動装置。
8. 移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置であって、
   予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出し、検出した情報を前記移動装置に送信する第２制御部を備えたことを特徴とする撮像装置。
9. 前記第２制御部は、
   被写体としての前記撮影対象物を前記画像データから検出する被写体検出部と、
   前記被写体検出部が検出した前記撮影対象物を異なる複数の画像データ間で追尾する追尾処理部と、
   前記画像データを用いて当該撮像装置と前記撮影対象物との距離を算出するとともに前記撮影対象物の基準位置からのずれ量を算出する距離算出部と、
   を有することを特徴とする請求項８に記載の撮像装置。
10. 前記第２制御部は、
    前記移動装置から受信したズーム指示信号に応じてズーム可能であるか否かを判定し、ズーム可能である場合にはズーム制御を行う一方、ズーム可能でない場合には前記移動装置に移動要求を送信する撮影制御部を有することを特徴とする請求項８または９に記載の撮像装置。
11. 前記第２制御部は、
    前記移動装置からトリミング要求およびスライド情報を受信した場合、前記トリミング要求およびスライド情報に基づいて前記画像データのトリミングが可能であるか否かを判定し、トリミングが可能であると判定した場合には前記スライド情報に基づいてトリミング画像のデータを生成するトリミング部を有することを特徴とする請求項８〜１０のいずれか一項に記載の撮像装置。
12. 被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置が行う移動制御方法であって、
    予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果を記録部から読み出して前記判定結果に応じた制御を行う制御ステップと、
    を有することを特徴とする移動制御方法。
13. 移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置が行う移動補助方法であって、
    予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出する検出ステップと、
    前記検出ステップが検出した情報を記録部から読み出して前記移動装置に送信する送信ステップと、
    を有することを特徴とする移動補助方法。
14. 被写体を撮像して画像データを生成する撮像装置と通信可能であり、前記撮像装置を保持して前記撮像装置とともに移動可能な移動装置に、
    予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果を記録部から読み出して前記判定結果に応じた制御を行う制御ステップと、
    を実行させることを特徴とする移動制御プログラム。
15. 移動装置と通信可能であるとともに前記移動装置に保持されてなり、被写体を撮像して画像データを生成する撮像装置に、
    予め指定された撮影対象物と前記撮像装置との相対的な関係の変化に応じて移動可能であるか否かを前記移動装置が判定するために必要な情報を検出する検出ステップと、
    前記検出ステップが検出した情報を記録部から読み出して前記移動装置に送信する送信ステップと、
    を実行させることを特徴とする移動補助プログラム。

Images