JP2017112438A - 撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム - Google Patents

Abstract

【課題】移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが容易な操作で所望のフレーミングを行えるようにすること。【解決手段】移動撮像装置１００は撮像部を有し、通信装置２００と通信する。通信装置２００は移動撮像装置１００に移動制御情報を送信し、移動撮像装置１００から移動状態の情報を受信する。また通信装置２００は移動撮像装置１００に撮像部の撮像制御情報を送信し、移動撮像装置１００から撮像状態の情報を受信する。通信装置２００は、ユーザから撮像部に対する操作指示を受け付けた場合、操作指示に応じて、移動撮像装置１００を移動して撮像させる第１の制御と、移動撮像装置１００を移動させずに撮像部を制御して撮像させる第２の制御を適応的に変更する。【選択図】図１

Description

本発明は、撮像機能および移動機能を有する移動撮像装置および該移動撮像装置と通信する通信装置に関する。

ズーム機能を有するビデオカメラを移動制御するシステムとして、テレビ会議がある。特許文献１には、カメラのズーム位置に応じてビデオカメラの移動速度を制御する技術が開示されている。テレビ会議にてビデオカメラを移動制御する際、ズーム倍率に依らずに移動速度を一定に制御すると、被写体像の移動量が広角撮影時に小さく、望遠撮影時に大きくなる。このため、受信画像を見ているユーザに違和感が生じてしまう点を課題として、特許文献１では、ズーム制御量に応じてビデオカメラの移動速度を制御する。

また、移動撮像装置として、３以上の回転翼をもつマルチコプター等の小型ドローンにカメラを取り付けた装置があり、コンピュータやスマートフォンをコントローラとして手軽に操作可能である。ドローンは、乗務員が搭乗せずに遠隔操作や自律制御によって飛行する飛行体であり、近年では無人機全般を意味する。小型ドローンのコントローラは、ドローンの移動用の操作キーとカメラのズーム動作用の操作キーを備えている。

特開平６−２６８８９９号公報

カメラを備える小型ドローンにおいては、ユーザがドローンの移動操作とカメラのズーム操作を行いつつ、フレーミングを行う必要がある。このため、操作が煩雑であって、ユーザが所望のフレーミングを行うことが困難である。例えばユーザが、ドローンの移動操作中に素早くフレーミングを合わせたい場合、ドローンの操作からカメラのズーム操作へ直ちに切り替えなければならない。よって、操作の切り替え中に撮影のタイミングを逃してしまう可能性がある。

また、特許文献１に開示の技術では、ズーム制御量に連動してビデオカメラの移動速度が制御される。よって、簡便な操作によりフレーミングを合わせる動作には対処できない。
本発明は、移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが容易な操作で所望のフレーミングを行えるようにすることを目的とする。

本発明の一実施形態に係る撮像システムは、撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムであって、前記通信装置は、前記移動撮像装置に移動制御情報を送信する第１の送信手段と、前記移動撮像装置に撮像制御情報を送信する第２の送信手段と、前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第１および第２の送信手段を制御する制御手段を有し、前記移動撮像装置は、前記移動制御情報および撮像制御情報を受信する受信手段を有しており、前記通信装置の制御手段は、前記第１の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第１の制御と、前記第２の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第２の制御を行う。

本発明の撮像システムによれば、移動撮像装置の移動と撮像動作を適応的に制御することで、ユーザは容易な操作で所望のフレーミングを行うことができる。

本発明の実施形態に係る通信装置と移動撮像装置の関係図である。 本発明の実施形態に係る通信装置のブロック図である。 本発明の実施形態に係る移動撮像装置のブロック図である。 第１実施形態の通信装置におけるズーム機能の説明図である。 第１実施形態におけるズーム機能の動作フローチャートである。 第２実施形態における自動撮影ポジション合わせ機能の説明図である。 第２実施形態における自動撮影ポジション合わせ機能の動作フローチャートである。 第３実施形態における通信状況に応じたズーム方式切り替えの説明図である。 第３実施形態における通信状況に応じたズーム方式切り替えの動作フローチャートである。

以下、本発明の各実施形態について図面を参照して説明する。各実施形態では、撮像機能および移動機能を有する移動撮像装置と通信装置を備える撮像システムとして、無人機を使用した移動撮像システムを説明する。

［第１実施形態］
図１は、本発明の実施形態に係る通信装置２００と移動撮像装置１００との関係を説明する概念図である。移動撮像装置１００は無人機であり、本実施形態では４つのモータM1〜M4を備える飛行体を例示する。飛行体は、各モータに接続されているロータ(回転翼)を、それぞれ独立にバランスよく回転することで飛行を実現する駆動制御部を備える。飛行体は、カメラレンズと撮像素子を介して被写体を撮像する撮像部を備え、通信装置２００からの操作指示信号にしたがって撮像動作を行う。移動撮像装置１００は、機体の移動と撮影動作を実現する装置である。

通信装置２００は、移動撮像装置１００との通信機能を有する。通信装置２００は、スマートフォンやコンピュータ、または専用のリモートコントローラ等である。通信装置２００は、無線LAN（Local Area Network）、Bluetooth（登録商標）、ラジオコントロール等の通信方式を用いて、移動撮像装置１００と通信する。具体的には、以下の4つの無線通信手段によって、通信装置２００と移動撮像装置１００とが接続される。

・移動制御情報通信手段
通信装置２００の送信部は移動制御情報を移動撮像装置１００へ送信する。移動撮像装置１００の受信部は通信装置２００から移動制御情報を受信し、移動制御情報にしたがって移動制御が行われる。
・移動状態通信手段
移動撮像装置１００の送信部は、移動状態に係る情報として、移動性能や現在位置情報等を送信し、通信装置２００の受信部が当該情報を受信する。
・撮像制御情報通信手段
通信装置２００の送信部は撮像制御情報を移動撮像装置１００へ送信する。移動撮像装置１００の受信部は通信装置２００から撮像制御情報を受信し、撮像制御情報にしたがって撮像部の制御が行われる。
・撮像状態通信手段
移動撮像装置１００の送信部は撮像画像データや撮像状態を含む撮像情報を移動撮像装置１００に送信し、通信装置２００の受信部が当該情報を受信する。

図２を参照して、各無線通信手段の具体例について説明する。図２は、通信装置２００のハードウェア構成例を示すブロック図である。
メインＣＰＵ（Central Processing Unit）２０１は、通信装置２００全体を制御する中枢部である。ＤＲＡＭ（Dynamic Random Access Memory）２０２は、通信装置２００におけるメインメモリである。容量の大きいデータである画像ストリームやフレーム画像データ、移動撮像装置１００との通信データはＤＲＡＭ２０２に一時的に保持される。

Codec（符号化／復号化部）２０３は、圧縮された画像ストリームを復号化し、フレーム画像を生成する。ＧＰＵ（Graphics Processing Unit）２０４は、画面上に表示することでユーザに提示されるＧＵＩ用のボタンやアイコン等のウィジェットを、ＤＲＡＭ２０２上に書き込むことで描画する。ＧＵＩは”Graphical User Interface”の略号である。

ＬＣＤ（Liquid Crystal Display）２０５は表示部を構成し、ＤＲＡＭ２０２上に記憶されたフレーム画像とウィジェットを合成して表示するデバイスである。ＬＣＤ２０５にはタッチパネルが設けられており、ユーザがタッチした座標位置を検出する機能を有する。メモリ２０６は、ＣＰＵ２０１で実行可能なアプリケーションプログラムが格納されている記憶デバイスである。例えば、フラッシュメモリ（半導体不揮発性メモリ）が使用される。プログラムＲＡＭ（Random Access Memory）２０７は、ＣＰＵ２０１が実行可能なプログラム等を記憶する。

移動制御情報送信部２０８は、移動撮像装置１００へ移動制御情報を無線送信する。移動制御情報は移動撮像装置１００の移動や姿勢等の制御に使用する情報である。移動撮像装置１００は移動制御情報の無線受信部を備える。移動状態受信部２０９は、移動撮像装置１００から移動性能、現在位置情報等の移動状態情報を無線受信する。移動撮像装置１００は移動状態情報の無線送信部を備える。

撮像制御情報送信部２１０は、移動撮像装置１００へ撮像制御情報を無線送信する。撮像制御情報は、移動撮像装置１００に搭載された撮像装置の制御に使用する情報であり、ズーム制御用情報等を含む。移動撮像装置１００は撮像制御情報の無線受信部を備える。撮像状態受信部２１１は、移動撮像装置１００から撮像画像ストリームを含む撮像情報を無線受信する。移動撮像装置１００は撮像情報の無線送信部を備える。
メインデータバス２１２は、通信装置２００の各部を互いに送受信可能に接続する。

次に、本実施形態におけるソフトウェアについて説明する。メモリ２０６には、ＣＰＵ２０１が実行可能な以下のプログラムが格納されている。
・撮像操作入力プログラム：ＧＰＵ２０４を用いて、ユーザからの撮像操作指示を受け付けるＧＵＩ画面を描画し、ＬＣＤ２０５のタッチパネル機能により、ズーム操作、撮影開始指示等のユーザ指示を受け付けるプログラム。
・ズーム指示変化量算出プログラム：撮像操作入力プログラムによって入力されたズーム操作指示の時間的な経緯に基づいてズーム指示の変化量を算出するプログラム。
・ズーム位置検出プログラム：撮像状態受信部２１１を介して、移動撮像装置１００内のズームポジションを検出するプログラム。
・撮像フレーム画像生成プログラム：撮像状態受信部２１１を介して受信された撮像後の画像ストリームからCodec２０３を用いてフレーム画像を生成するプログラム。
・撮像範囲検出プログラム：撮像フレーム画像生成プログラムによって得られた所定時間分のフレーム画像を比較し、現在の撮像範囲の変化量を算出するプログラム。
・通信状態検出プログラム：移動制御情報送信部２０８、撮像制御情報送信部２１０の通信状態を検出するプログラム。
・移動性能算出プログラム：移動制御情報送信部２０８が送信した指示と、移動状態受信部２０９が受信した位置情報から、移動撮像装置１００の移動性能を算出するプログラム。
メインＣＰＵ（以下、単にＣＰＵという）２０１は、メモリ２０６から読み出してプログラムＲＡＭ２０７に展開した前記プログラムを解釈して実行することにより、以下に説明する各種処理を実現する。

図３を参照して、移動撮像装置１００の構成例としてカメラ取り付けタイプのドローンを説明する。移動撮像装置１００内部の各構成部はシステムバス３２０に接続され、必要なデータを互いに送受可能である。移動撮像装置１００全体の制御を司るＣＰＵ３０１は各ユニットを制御し、移動撮像装置１００の飛行および撮像を制御する。メモリ３０２は書き換え可能な記憶デバイスであり、移動撮像装置１００を制御するプログラムの作業領域として使用される。不揮発性メモリ３０３は、移動撮像装置１００を制御するプログラムと、プログラムが使用するデータを格納する。移動撮像装置１００の設定情報等のように、電源ＯＦＦ状態でも保持する必要があるデータは、不揮発性メモリ３０３に格納される。電源部３０６のＯＮ操作によって、ＣＰＵ３０１は不揮発性メモリ３０３から制御プログラムを読み込み、移動撮像装置１００の制御を開始する。

操作部３０４はユーザが操作に使用するボタンやダイヤル、スイッチ等を備える。例えば、ユーザは電源部３０６のＯＮ／ＯＦＦ設定を行う際に操作部３０４を使用する。表示部３０５は、例えば、発光ダイオード（ＬＥＤ）とそれをコントロールするドライバユニットで構成される。表示部３０５はＣＰＵ３０１の制御下で、移動撮像装置１００の状態表示を行う。

クレイドル３０７は撮像部３０８の撮像制御を行う。クレイドル３０７は撮像部３０８とＵＳＢ（Universal Serial Bus）等で接続され、ＣＰＵ３０１からの制御信号に基づき、撮像部３０８を制御する。本実施形態では、撮像部３０８の光軸が、移動撮像装置１００の正面方向となるように設置される。撮像部３０８は、撮像光学系を通して被写体からの光を受光し、光像信号を画像信号に光電変換して画像データを取得する。ＣＰＵ３０１は、クレイドル３０７を介して撮像部３０８を制御して撮像動作を実行し、撮像された画像のデータを取得することができる。

無線通信部３０９は通信装置２００との間で、無線ＬＡＮ等を介して無線通信するモジュールであり、送信部および受信部を備える。例えばＣＰＵ３０１は撮像部３０８が撮像した画像データを取得し、無線通信部３０９を制御することで通信装置２００に送信する。モータ３１０は、移動撮像装置１００のロータ３１１にそれぞれ接続された回転駆動部であり、ＣＰＵ３０１からの制御信号にしたがって移動時および静止時に回転する。

ジャイロスコープ３１２は移動撮像装置１００の姿勢検出を行い、移動撮像装置１００の回転運動の角速度と、鉛直方向に対する傾きを検出する。ジャイロスコープ３１２は、ピッチ、ヨー、ロールの各方向にて３軸の回転をそれぞれ検出可能であり、後述する加速度センサ３１５と共に使用される。ジャイロスコープ３１２による３軸の検出信号は、移動撮像装置１００の飛行姿勢制御や、飛行中の外力検出時の緊急飛行停止に使用される。

加速度センサ３１５は、移動撮像装置１００に係る並進運動の加速度を検出する。加速度センサ３１５は３軸の加速度を検出可能であり、ジャイロスコープ３１２と共に使用される。高度検出部３１３は、移動撮像装置１００の飛行高度を検出する。例えば、超音波センサが使用され、超音波を地面方向に向けて発信し、その反射波を計測することによって飛行高度を検出することができる。位置検出部３１４は移動撮像装置１００の位置情報を検出する。位置検出部３１４は、例えばＧＰＳ（Global Positioning System）を利用した測位装置である。顔画像認識部３１６は、撮像部３０８により撮像された画像内において被写体の顔画像を認識する画像処理を行う。

次に図４を参照して、通信装置２００におけるズーム機能について説明する。図４は、通信装置２００のズーム機能に関し、２つの場合（Case1とCase2）を例示して表形式で説明するイメージ図である。通信装置２００におけるズーム機能については、ユーザがＬＣＤ２０５上のタッチパネル機能を用いてズーム操作を行うものとする。Case1は、ユーザがゆっくりとしたズーム操作を行った場合、つまりズーム操作の変化量が閾値以下の場合である。この場合、通信装置２００が移動撮像装置１００に移動制御情報を送信することで移動撮像装置１００を移動して撮像させる第１の制御が行われる。またCase2は、ユーザが急峻なズーム操作を行った場合、つまりズーム操作の変化量が閾値より大きい場合である。この場合、通信装置２００が移動撮像装置１００に撮像制御情報を送信することで、移動撮像装置１００の位置を変更せずに撮像部３０８を制御して撮像を行う第２の制御が行われる。以下、撮像機能としてズーム機能について具体例を説明する。

Case1において、ユーザがゆっくりとしたズーム操作を行うと、ＣＰＵ２０１はズーム指示変化量算出プログラムを実行し、ズーム変更速度（Szと記す）を算出する。ズーム変更速度Szは、ズーム変更時におけるズーム指示信号の変化量に相当する。次にＣＰＵ２０１は、移動性能算出プログラムを実行し、移動撮像装置１００の移動性能（Sdと記す）を算出する。ＣＰＵ２０１はズーム変更速度Szと移動性能Sdとを比較することによって、移動撮像装置１００の移動によって応答が可能であるか否かを判断する。つまり、ズーム操作の変化量が移動性能Sdに対応する閾値以下である場合、移動撮像装置１００の移動によって被写体に近づくか又は遠ざかることで画角制御が可能である。その場合、ＣＰＵ２０１の指令により移動制御情報送信部２０８が移動制御情報を送信し、移動撮像装置１００が移動制御情報を受信する。例えば、移動撮像装置１００は被写体方向（撮像部の撮像方向）へ移動する。このとき、撮像制御情報送信部２１０はズーム操作に対応する撮像制御情報を送信しないので、移動撮像装置１００のズームポジションは変更されない。

Case2において、ユーザが急峻なズーム操作を行うと、ＣＰＵ２０１はズーム指示変化量算出プログラムを実行し、ズーム変更速度Szを算出する。次にＣＰＵ２０１は移動性能算出プログラムを実行し、移動性能Sdを算出する。ＣＰＵ２０１はズーム変更速度Szと移動性能Sdを比較し、移動撮像装置１００の移動では応答できない速度であると判断する。その場合、ＣＰＵ２０１の指令により撮像制御情報送信部２１０が、ズーム制御用情報を含む撮像制御情報を送信し、移動撮像装置１００が撮像制御情報を受信する。例えば、移動撮像装置１００にて撮像部のズームポジションは、テレ側(ズームレンズの焦点距離が所定値より長い望遠側)となる。撮像部３０８のズームポジションは、移動撮像装置１００のＣＰＵ３０１およびクレイドル３０７によって変更される。このとき、移動状態受信部２０９は移動制御情報を送信しないので、移動撮像装置１００は現在位置から移動しない。

以上のように、ズーム操作の変化量が閾値以下である場合には、移動撮像装置１００の移動制御によって画角変更が行われる。ズーム操作の変化量が閾値より大きい場合には、移動撮像装置１００の移動制御を行わずに、撮像部３０８のズームポジションの制御によって画角変更が行われる。閾値については移動撮像装置１００の移動性能に応じて設定される。

図４では、ユーザの操作指示に基づくテレ側へのズーム操作に関して説明した。ワイド側(ズームレンズの焦点距離が所定値より短い広角側)の場合、Case1では、移動撮像装置１００を被写体から離れる方向へ移動させる移動制御情報の送信処理が行われる。またCase2では、ズームポジションがワイド側となるように撮像部３０８のズーム制御情報の送信処理が行われる。

次に図５を参照して、通信装置２００による制御について説明する。図５は、ズーム機能に関する動作を説明するフローチャートであり、以下に示す動作は、所定時間ごとに実施される。

まずＣＰＵ２０１は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する（Ｓ４０１）。Ｓ４０１でユーザがズーム操作を行っていないことが判断された場合、ズーム機能の動作を終了する。また、Ｓ４０１でユーザがズーム操作を行ったことが判断された場合、Ｓ４０２に処理を進める。

ＣＰＵ２０１はズーム指示変化量算出プログラムを実行し、ズーム変更速度Szを算出する（Ｓ４０２）。次にＣＰＵ２０１は移動性能算出プログラムを実行し、移動撮像装置１００の移動性能Sdを算出する（Ｓ４０３）。ＣＰＵ２０１はＳ４０２、Ｓ４０３でそれぞれ算出したズーム変更速度Szと移動性能Sdを比較し、ユーザによるズーム操作指示に対して移動撮像装置１００の移動では応答できないか否かを判断する（Ｓ４０４）。ズーム操作の変化量が大きく、移動撮像装置１００の移動では応答できないと判断された場合、Ｓ４０５に進む。また、ズーム操作の変化量が小さく、移動撮像装置１００の移動で応答可能であると判断された場合、Ｓ４０６に進む。

Ｓ４０５にてＣＰＵ２０１は撮像制御情報送信部２１０により、ズーム変更速度Szに対応するズーム制御情報を移動撮像装置１００に送信する。またＳ４０６にてＣＰＵ２０１は移動制御情報送信部２０８により、ズーム変更速度Szおよび移動性能Sdに基づく移動制御情報を移動撮像装置１００に送信する。移動制御情報は、撮影位置を変更するための移動撮像装置１００の移動制御情報である。Ｓ４０５およびＳ４０６の処理後にズーム機能の動作を終了する。

本実施形態では、Ｓ４０４における判断結果にしたがって、撮像制御情報送信部２１０と移動制御情報送信部２０８による制御情報の送信を排他的に行う例を説明した。判断結果によっては、撮像制御情報送信部２１０と移動制御情報送信部２０８の両方が制御情報を送信してもよい。例えばＣＰＵ２０１が、ズーム変更速度Szと撮像部３０８のズーム応答性能とを比較した結果、ズーム変更速度Szが、移動撮像装置１００の撮像部のズーム応答性能では応答できないと判断した場合を想定する。この場合、撮像部３０８のズーム制御情報（ズームポジションの制御指示情報）と、移動撮像装置１００の移動制御情報の両方を送信する処理が実行される。この場合、第１の制御は、移動撮像装置１００の移動制御と撮像部３０８のズーム制御を併用した撮像動作の制御を含む。これにより撮像部３０８のズーム応答性能以上の速度で応答することが可能になる。また、本実施形態において、ユーザのズーム操作に応じて、撮像部３０８の撮像制御情報（ズームポジション等）に対応する撮像状態情報または移動制御情報に対応する移動撮像装置１００の移動状態情報をＬＣＤ２０５に画面に表示してもよい。これによりユーザは、移動撮像装置１００の動作状態（撮像状態、移動状態）を視覚的に認識できる。これらの事項については後述の実施形態でも同じである。

本実施形態によれば、移動撮像装置１００の移動制御と撮像部３０８のズーム制御を適応的に制御することで、ユーザは容易な操作で所望のフレーミングを行える。すなわち、ユーザは移動撮像装置１００の移動の操作を行うことなく、ズーム操作を行うのみで所望のフレーミングを実現できる。

［第２実施形態］
本発明の第２実施形態では、通信装置２００における自動撮影ポジション合わせ機能について説明する。自動撮影ポジション合わせ機能とは、カメラのズーム位置が常に中央位置となるように移動撮像装置１００の撮影位置およびズーム位置を変更する機能である。なお、本実施形態における装置の構成については第１実施形態の場合と同様であるため、既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を説明する。

図６を参照して、自動撮影ポジション合わせ機能について説明する。第１実施形態にて図４を用いて説明したように、通信装置２００におけるズーム機能は、ユーザがＬＣＤ２０５のタッチパネル機能を用いてズーム操作を行うものである。Case1およびCase2については図４と同様である。本実施形態では、ユーザが所定時間以上ズーム操作を行わなかった場合としてCase３が追加されている。

Case3において、移動撮像装置１００のカメラズームポジションがテレ側にある状態を想定する。この状態でユーザがズーム操作を行わない場合には、ズーム指示変化量算出プログラムにより算出されるズーム変更速度Szはゼロとなる。この場合、ＣＰＵ２０１はズーム位置検出プログラムを実行し、移動撮像装置１００のカメラズームポジションを取得する。取得結果からＣＰＵ２０１はカメラズームポジションがテレ側であると判断し、移動制御情報送信部２０８を介して移動制御情報を送信するとともに、撮像制御情報送信部２１０を用いてズームポジションの制御情報を送信する。このときの移動制御情報は、移動撮像装置１００を被写体方向へ移動させる制御情報である。ズーム制御情報は、ズームポジションを中央位置に設定するための制御情報であって、撮像範囲検出プログラムを用いて得られる撮像範囲の変化量に基づき、撮像範囲の変化量がゼロに近づくように制御する制御情報である。

図６のCase3では撮像部３０８のズームポジションがテレ側にある状態でズーム操作が行われない場合を説明した。ズームポジションがワイド側である状態でズーム操作が行われない場合、移動制御情報は移動撮像装置１００を被写体から離れる方向へ移動させる制御情報である。ズーム制御情報は、カメラズームポジションを中央位置に設定するための制御情報である。

図７のフローチャートを参照して、本実施形態における自動撮影ポジション合わせ機能の動作を説明する。以下の動作は所定時間ごとに実施される。
Ｓ６０１にてＣＰＵ２０１は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する。ユーザがズーム操作を行った場合、Ｓ６０２へ進む。Ｓ６０２からＳ６０６については図５のＳ４０２からＳ４０６の処理と同様であるため、それらの説明を省略する。Ｓ６０１でユーザが所定時間以上ズーム操作を行わなかったと判断された場合、Ｓ６０７へ移行する。

Ｓ６０７にてＣＰＵ２０１はズーム位置検出プログラムを実行し、移動撮像装置１００のカメラズームポジションを取得する。そしてＣＰＵ２０１は、Ｓ６０７で取得したカメラズームポジションが中央位置よりテレ側にあるか否かを判断する（Ｓ６０８）。Ｓ６０８にてカメラズームポジションが中央位置よりテレ側にあると判断された場合、Ｓ６０９に進み、カメラズームポジションが中央位置よりテレ側にないと判断された場合、Ｓ６１０に移行する。

Ｓ６０９でＣＰＵ２０１は移動制御情報送信部２０８を用いて、移動撮像装置１００を被写体方向へ移動（撮影位置を前進）させるための移動制御情報を送信する。またＳ６１０でＣＰＵ２０１は、Ｓ６０７で取得したカメラズームポジションが中央位置よりワイド側にあるか否かを判断する。カメラズームポジションが中央位置よりワイド側にないと判断された場合、自動撮影ポジション合わせ機能の動作を終了する。またＳ６１０でカメラズームポジションが中央位置よりワイド側にあると判断された場合、Ｓ６１１に進む。ＣＰＵ２０１は移動制御情報送信部２０８を用いて、移動撮像装置１００を被写体方向とは反対の方向へ移動（撮影位置を後退）させるための移動制御情報を送信する（Ｓ６１１）。

Ｓ６０９、およびＳ６１１の処理後にＣＰＵ２０１は撮像範囲検出プログラムを実行し、撮像範囲の変化量を取得する（Ｓ６１２）。次にＣＰＵ２０１は撮像制御情報送信部２１０を用いてズーム制御情報を送信する（Ｓ６１３）。このときのズーム制御情報は、Ｓ６１２で取得した撮像範囲の変化量がゼロに近く、かつズームポジションが中央位置となるカメラズームポジションの制御情報である。Ｓ６１３の処理後に自動撮影ポジション合わせ機能の動作を終了する。

本実施形態では、自動撮影ポジション合わせ機能によって、ユーザによるズーム操作がないことを検知した場合に、撮像範囲の変化を抑制して極力撮像範囲を変えずに移動撮像装置１００のカメラズームポジションが中央位置に設定される。例えば、ズーム操作の変化量（変更速度）が大きい場合、撮像部３０８のズーム位置が変更されるが、その後にズーム位置が中央位置となるように移動撮像装置１００を移動させる制御が行われる。よって、次にユーザが行うズーム操作に対してテレ側およびワイド側ともに素早く反応できるので、フレーミングの応答性能を向上させることができる。

［第３実施形態］
本発明の第３実施形態では、通信装置２００における通信状況に応じた制御情報の切り替え動作について説明する。本実施形態では、移動撮像装置１００と通信装置２００との通信状態を判断し、撮像制御情報の通信状態が低下し、移動制御情報の通信状態が良好である場合、移動撮像装置１００の位置を移動させる制御が行われる。また移動制御情報の通信状態が低下し、撮像制御情報の通信状態が良好である場合には、撮像部３０８のズーム位置を変更する制御が行われる。

図８は、本実施形態に係る通信装置２００における通信状況に応じたズーム方式切り替え動作を表形式で説明するイメージ図である。ユーザがＬＣＤ２０５のタッチパネル機能を用いて行うズーム操作において、Case4およびCase5を例示する。Case4は撮像制御情報の通信状態が低下した場合である。Case5は移動制御情報の通信状態が低下した場合である。

Case4において、ユーザがテレ側へのズーム操作を行うと、ＣＰＵ２０１は通信状態検出プログラムを実行し、移動制御情報送信部２０８と撮像制御情報送信部２１０の通信状態を検出する。検出された通信状態として、撮像制御情報の通信状態が低下していると判断された場合、撮像制御情報送信部２１０はズーム制御情報を送信できない。このため移動撮像装置１００のズームポジションを制御することができない。一方、移動制御情報の通信状態は良好であるとする。ＣＰＵ２０１は移動制御情報送信部２０８を用いて移動制御情報を移動撮像装置１００に送信する。移動制御情報にしたがって移動撮像装置１００は被写体方向へ移動する。

Case5において、ユーザがテレ側へのズーム操作を行うと、ＣＰＵ２０１は通信状態検出プログラムを実行し、移動制御情報送信部２０８と撮像制御情報送信部２１０の通信状態を検出する。検出された通信状態として、移動制御情報の通信状態が低下していると判断された場合、移動制御情報送信部２０８は移動制御情報を送信できない。このため移動撮像装置１００は現在位置から移動できない。一方、撮像制御情報の通信状態は良好であるとする。ＣＰＵ２０１は撮像制御情報送信部２１０を用いてズーム制御情報を移動撮像装置１００に送信する。ズーム制御情報にしたがって移動撮像装置１００のズームポジションがテレ側の位置に変更される。

図８ではユーザによるズーム操作がテレ側への操作である例に関して説明したが、ワイド側へのズーム操作の場合、Case４では移動撮像装置１００を被写体から離れる方向へ移動させ移動制御情報が送信される。Case5では、ズームポジションをワイド側とするためのズーム制御情報が送信される。

図９のフローチャートを参照し、通信状況に応じたズーム方式の切り替え動作について説明する。以下の動作は、所定時間ごとに実施される。
ＣＰＵ２０１は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する（Ｓ８０１）。Ｓ８０１でユーザがズーム操作を行っていないと判断された場合、ズーム方式の切り替え動作を終了する。Ｓ８０１でユーザがズーム操作を行ったと判断された場合、Ｓ８０２に処理を進める。ＣＰＵ２０１は通信状態検出プログラムを実行し、撮像制御情報送信部２１０の通信状態（以下、状態値をTzと記す）を検出する（Ｓ８０２）。
次のＳ８０３でＣＰＵ２０１は通信状態検出プログラムを実行し、移動制御情報送信部２０８の通信状態（以下、状態値をTdと記す）を検出する。ＣＰＵ２０１は、Ｓ８０２で検出された撮像制御情報送信部２１０の通信状態値Tzと、Ｓ８０３で検出された移動制御情報送信部２０８の通信状態値Tdを比較し、移動制御情報送信部２０８が使用可能か否かを判断する（Ｓ８０４）。Ｓ８０４で移動制御情報送信部２０８が使用可能でないと判断された場合、つまりの通信状態値Tdが低下している場合、Ｓ８０５に進む。また、移動制御情報送信部２０８が使用可能であると判断された場合、Ｓ８０７に移行する。

Ｓ８０５でＣＰＵ２０１は撮像制御情報送信部２１０が使用可能か否かを判断する。撮像制御情報送信部２１０が使用可能でないと判断された場合、つまりの通信状態値Tzが低下している場合、通信処理を終了する。またＳ８０５で撮像制御情報送信部２１０が使用可能であると判断された場合、Ｓ８０６に移行する。

Ｓ８０６でＣＰＵ２０１は撮像制御情報送信部２１０を用いて、カメラズームポジションを変更するためにズーム制御情報を移動撮像装置１００に送信する。またＳ８０７でＣＰＵ２０１は移動制御情報送信部２０８を用いて、移動撮像装置１００を移動させるために移動制御情報を送信する。Ｓ８０６およびＳ８０７の処理後にズーム方式切り替え動作を終了する。

本実施形態では、ユーザのズーム操作が行われた場合、カメラズームポジションの制御情報と移動撮像装置１００の移動情報、および通信状態検出プログラムにより検出される通信状態の検出結果がＬＣＤ２０５の画面に表示される。これにより、ユーザは移動撮像装置１００の動作状態と通信状態を認識することができる。

本実施形態によれば、通信状況に応じたズーム方式の切り替え動作が行われ、移動制御情報送信部２０８または撮像制御情報送信部２１０の通信状態が低下した状況に対処できる。すなわち、通信状態に応じて適応的にフレーミング合わせの方式（無人機の移動またはカメラのズーム状態）を変更する処理が行われるので、ユーザはズーム操作のみで所望のフレーミングを実現可能になる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 移動撮像装置
２００ 通信装置
２０１ メインＣＰＵ
２０８ 移動制御情報送信部
２０９ 移動状態受信部
２１０ 撮像制御情報送信部
２１１ 撮像状態受信部

Claims (15)

1. 撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムであって、
   前記通信装置は、
   前記移動撮像装置に移動制御情報を送信する第１の送信手段と、
   前記移動撮像装置に撮像制御情報を送信する第２の送信手段と、
   前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第１および第２の送信手段を制御する制御手段を有し、
   前記移動撮像装置は、前記移動制御情報および撮像制御情報を受信する受信手段を有しており、
   前記通信装置の制御手段は、前記第１の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第１の制御と、前記第２の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第２の制御を行うことを特徴とする撮像システム。
2. 撮像機能および移動機能を有する移動撮像装置と通信する通信装置であって、
   前記移動撮像装置に移動制御情報を送信する第１の送信手段と、
   前記移動撮像装置に撮像制御情報を送信する第２の送信手段と、
   前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第１の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第１の制御と、前記第２の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第２の制御を行う制御手段と、を備えることを特徴とする通信装置。
3. 前記制御手段は、ズーム操作の指示を受け付けた場合、前記第２の制御にて前記第２の送信手段により前記移動撮像装置にズーム制御情報を送信することで前記移動撮像装置の撮像機能に係るズーム制御を行うことを特徴とする請求項２に記載の通信装置。
4. 前記制御手段は、前記ズーム操作の変化量を検出して前記第１の制御を行うか、または前記第２の制御を行うかを判断することを特徴とする請求項３に記載の通信装置。
5. 前記制御手段は、前記ズーム操作の変化量が閾値以下である場合に前記第１の制御を行い、前記変化量が前記閾値より大きい場合に前記第２の制御を行うことを特徴とする請求項４に記載の通信装置。
6. 前記制御手段は、前記移動撮像装置の移動性能の情報を取得して前記ズーム操作の変化量と移動性能の情報を比較することにより、前記第１の制御を行うか、または前記第２の制御を行うかを判断することを特徴とする請求項３に記載の通信装置。
7. 前記制御手段は、前記移動撮像装置の移動性能に対応する閾値に対して前記ズーム操作の変化量が前記閾値以下である場合に前記第１の制御を行い、前記ズーム操作の変化量が前記閾値より大きい場合に前記第２の制御を行うことを特徴とする請求項４に記載の通信装置。
8. 前記第１の制御が行われた場合に前記移動制御情報に対応する前記移動撮像装置の移動状態情報を表示し、前記第２の制御が行われた場合に前記撮像制御情報に対応する撮像状態情報を表示する表示手段を備えることを特徴とする請求項２から７のいずれか１項に記載の通信装置。
9. 前記移動撮像装置のズーム位置を取得する受信手段を備え、
   前記制御手段は、ズーム操作が行われず、かつ前記受信手段により取得された前記ズーム位置が中央位置よりも望遠側である場合に前記第１の制御にて前記移動撮像装置を被写体に対して前進させる制御を行い、ズーム操作が行われず、かつ前記受信手段により取得された前記ズーム位置が中央位置よりも広角側である場合に前記第１の制御にて前記移動撮像装置を被写体に対して後退させる制御を行うことを特徴とする請求項３に記載の通信装置。
10. 前記制御手段はさらに、前記受信手段により取得された前記ズーム位置を前記中央位置と比較し、前記ズーム位置が前記中央位置でない場合、前記第２の制御により前記ズーム位置を前記中央位置に近づける制御を行うこと特徴とする請求項９に記載の通信装置。
11. 前記移動撮像装置の撮像範囲を取得する受信手段を備え、
    前記制御手段は、ズーム操作が行われない場合、前記第１の制御により前記移動撮像装置を移動させ、前記撮像範囲の変化を抑制する制御を行うことを特徴とする請求項３に記載の通信装置。
12. 前記制御手段は、前記第１および第２の送信手段の通信状態を検出し、前記第１の送信手段の通信状態が低下し、かつ前記第２の送信手段の通信状態が低下していない場合に前記第２の制御を行い、前記第１の送信手段の通信状態が低下していない場合に前記第１の制御を行うことを特徴とする請求項２から１１のいずれか１項に記載の通信装置。
13. 通信装置の指示にしたがって制御される移動撮像装置であって、
    被写体を撮像する撮像手段と、
    前記移動撮像装置の移動時に制御される駆動手段と、
    前記通信装置から移動制御情報および撮像制御情報を受信し、移動状態または撮像状態に係る情報を送信する通信手段と、
    前記撮像手段および駆動手段を制御する制御手段と、を備え、
    前記制御手段は、前記通信装置から前記移動制御情報を受信した場合に前記移動撮像装置を移動して前記撮像手段により撮像する第１の制御と、前記通信装置から前記撮像制御情報を受信した場合に前記移動撮像装置の位置を変更せずに前記撮像手段により撮像する第２の制御を行うことを特徴とする移動撮像装置。
14. 撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムにて実行される制御方法であって、
    前記通信装置が第１の送信手段によって前記移動撮像装置に移動制御情報を送信する送信工程、および前記移動撮像装置が前記移動制御情報を受信する受信工程と、
    前記通信装置が第２の送信手段によって前記移動撮像装置に撮像制御情報を送信する送信工程、および前記移動撮像装置が前記撮像制御情報を受信する受信工程と、
    前記通信装置の制御手段が前記移動撮像装置の撮像機能に対する操作指示を受け付けた場合に、前記第１の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第１の制御を行う制御工程と、前記第２の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第２の制御を行う制御工程と、を有することを特徴とする撮像システムの制御方法。
15. 請求項１４に記載した前記送信工程および制御工程を前記通信装置のコンピュータに実行させることを特徴とするプログラム。

Images