JP2017112438A - 撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム - Google Patents

撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム Download PDF

Info

Publication number
JP2017112438A
JP2017112438A JP2015243690A JP2015243690A JP2017112438A JP 2017112438 A JP2017112438 A JP 2017112438A JP 2015243690 A JP2015243690 A JP 2015243690A JP 2015243690 A JP2015243690 A JP 2015243690A JP 2017112438 A JP2017112438 A JP 2017112438A
Authority
JP
Japan
Prior art keywords
imaging
control
imaging device
control information
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015243690A
Other languages
English (en)
Other versions
JP2017112438A5 (ja
JP6685713B2 (ja
Inventor
小薬 弘治
Hiroharu Ogusuri
弘治 小薬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015243690A priority Critical patent/JP6685713B2/ja
Publication of JP2017112438A publication Critical patent/JP2017112438A/ja
Publication of JP2017112438A5 publication Critical patent/JP2017112438A5/ja
Application granted granted Critical
Publication of JP6685713B2 publication Critical patent/JP6685713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが容易な操作で所望のフレーミングを行えるようにすること。【解決手段】移動撮像装置100は撮像部を有し、通信装置200と通信する。通信装置200は移動撮像装置100に移動制御情報を送信し、移動撮像装置100から移動状態の情報を受信する。また通信装置200は移動撮像装置100に撮像部の撮像制御情報を送信し、移動撮像装置100から撮像状態の情報を受信する。通信装置200は、ユーザから撮像部に対する操作指示を受け付けた場合、操作指示に応じて、移動撮像装置100を移動して撮像させる第1の制御と、移動撮像装置100を移動させずに撮像部を制御して撮像させる第2の制御を適応的に変更する。【選択図】図1

Description

本発明は、撮像機能および移動機能を有する移動撮像装置および該移動撮像装置と通信する通信装置に関する。
ズーム機能を有するビデオカメラを移動制御するシステムとして、テレビ会議がある。特許文献1には、カメラのズーム位置に応じてビデオカメラの移動速度を制御する技術が開示されている。テレビ会議にてビデオカメラを移動制御する際、ズーム倍率に依らずに移動速度を一定に制御すると、被写体像の移動量が広角撮影時に小さく、望遠撮影時に大きくなる。このため、受信画像を見ているユーザに違和感が生じてしまう点を課題として、特許文献1では、ズーム制御量に応じてビデオカメラの移動速度を制御する。
また、移動撮像装置として、3以上の回転翼をもつマルチコプター等の小型ドローンにカメラを取り付けた装置があり、コンピュータやスマートフォンをコントローラとして手軽に操作可能である。ドローンは、乗務員が搭乗せずに遠隔操作や自律制御によって飛行する飛行体であり、近年では無人機全般を意味する。小型ドローンのコントローラは、ドローンの移動用の操作キーとカメラのズーム動作用の操作キーを備えている。
特開平6−268899号公報
カメラを備える小型ドローンにおいては、ユーザがドローンの移動操作とカメラのズーム操作を行いつつ、フレーミングを行う必要がある。このため、操作が煩雑であって、ユーザが所望のフレーミングを行うことが困難である。例えばユーザが、ドローンの移動操作中に素早くフレーミングを合わせたい場合、ドローンの操作からカメラのズーム操作へ直ちに切り替えなければならない。よって、操作の切り替え中に撮影のタイミングを逃してしまう可能性がある。
また、特許文献1に開示の技術では、ズーム制御量に連動してビデオカメラの移動速度が制御される。よって、簡便な操作によりフレーミングを合わせる動作には対処できない。
本発明は、移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが容易な操作で所望のフレーミングを行えるようにすることを目的とする。
本発明の一実施形態に係る撮像システムは、撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムであって、前記通信装置は、前記移動撮像装置に移動制御情報を送信する第1の送信手段と、前記移動撮像装置に撮像制御情報を送信する第2の送信手段と、前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第1および第2の送信手段を制御する制御手段を有し、前記移動撮像装置は、前記移動制御情報および撮像制御情報を受信する受信手段を有しており、前記通信装置の制御手段は、前記第1の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第1の制御と、前記第2の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第2の制御を行う。
本発明の撮像システムによれば、移動撮像装置の移動と撮像動作を適応的に制御することで、ユーザは容易な操作で所望のフレーミングを行うことができる。
本発明の実施形態に係る通信装置と移動撮像装置の関係図である。 本発明の実施形態に係る通信装置のブロック図である。 本発明の実施形態に係る移動撮像装置のブロック図である。 第1実施形態の通信装置におけるズーム機能の説明図である。 第1実施形態におけるズーム機能の動作フローチャートである。 第2実施形態における自動撮影ポジション合わせ機能の説明図である。 第2実施形態における自動撮影ポジション合わせ機能の動作フローチャートである。 第3実施形態における通信状況に応じたズーム方式切り替えの説明図である。 第3実施形態における通信状況に応じたズーム方式切り替えの動作フローチャートである。
以下、本発明の各実施形態について図面を参照して説明する。各実施形態では、撮像機能および移動機能を有する移動撮像装置と通信装置を備える撮像システムとして、無人機を使用した移動撮像システムを説明する。
[第1実施形態]
図1は、本発明の実施形態に係る通信装置200と移動撮像装置100との関係を説明する概念図である。移動撮像装置100は無人機であり、本実施形態では4つのモータM1〜M4を備える飛行体を例示する。飛行体は、各モータに接続されているロータ(回転翼)を、それぞれ独立にバランスよく回転することで飛行を実現する駆動制御部を備える。飛行体は、カメラレンズと撮像素子を介して被写体を撮像する撮像部を備え、通信装置200からの操作指示信号にしたがって撮像動作を行う。移動撮像装置100は、機体の移動と撮影動作を実現する装置である。
通信装置200は、移動撮像装置100との通信機能を有する。通信装置200は、スマートフォンやコンピュータ、または専用のリモートコントローラ等である。通信装置200は、無線LAN(Local Area Network)、Bluetooth(登録商標)、ラジオコントロール等の通信方式を用いて、移動撮像装置100と通信する。具体的には、以下の4つの無線通信手段によって、通信装置200と移動撮像装置100とが接続される。
・移動制御情報通信手段
通信装置200の送信部は移動制御情報を移動撮像装置100へ送信する。移動撮像装置100の受信部は通信装置200から移動制御情報を受信し、移動制御情報にしたがって移動制御が行われる。
・移動状態通信手段
移動撮像装置100の送信部は、移動状態に係る情報として、移動性能や現在位置情報等を送信し、通信装置200の受信部が当該情報を受信する。
・撮像制御情報通信手段
通信装置200の送信部は撮像制御情報を移動撮像装置100へ送信する。移動撮像装置100の受信部は通信装置200から撮像制御情報を受信し、撮像制御情報にしたがって撮像部の制御が行われる。
・撮像状態通信手段
移動撮像装置100の送信部は撮像画像データや撮像状態を含む撮像情報を移動撮像装置100に送信し、通信装置200の受信部が当該情報を受信する。
図2を参照して、各無線通信手段の具体例について説明する。図2は、通信装置200のハードウェア構成例を示すブロック図である。
メインCPU(Central Processing Unit)201は、通信装置200全体を制御する中枢部である。DRAM(Dynamic Random Access Memory)202は、通信装置200におけるメインメモリである。容量の大きいデータである画像ストリームやフレーム画像データ、移動撮像装置100との通信データはDRAM202に一時的に保持される。
Codec(符号化/復号化部)203は、圧縮された画像ストリームを復号化し、フレーム画像を生成する。GPU(Graphics Processing Unit)204は、画面上に表示することでユーザに提示されるGUI用のボタンやアイコン等のウィジェットを、DRAM202上に書き込むことで描画する。GUIは”Graphical User Interface”の略号である。
LCD(Liquid Crystal Display)205は表示部を構成し、DRAM202上に記憶されたフレーム画像とウィジェットを合成して表示するデバイスである。LCD205にはタッチパネルが設けられており、ユーザがタッチした座標位置を検出する機能を有する。メモリ206は、CPU201で実行可能なアプリケーションプログラムが格納されている記憶デバイスである。例えば、フラッシュメモリ(半導体不揮発性メモリ)が使用される。プログラムRAM(Random Access Memory)207は、CPU201が実行可能なプログラム等を記憶する。
移動制御情報送信部208は、移動撮像装置100へ移動制御情報を無線送信する。移動制御情報は移動撮像装置100の移動や姿勢等の制御に使用する情報である。移動撮像装置100は移動制御情報の無線受信部を備える。移動状態受信部209は、移動撮像装置100から移動性能、現在位置情報等の移動状態情報を無線受信する。移動撮像装置100は移動状態情報の無線送信部を備える。
撮像制御情報送信部210は、移動撮像装置100へ撮像制御情報を無線送信する。撮像制御情報は、移動撮像装置100に搭載された撮像装置の制御に使用する情報であり、ズーム制御用情報等を含む。移動撮像装置100は撮像制御情報の無線受信部を備える。撮像状態受信部211は、移動撮像装置100から撮像画像ストリームを含む撮像情報を無線受信する。移動撮像装置100は撮像情報の無線送信部を備える。
メインデータバス212は、通信装置200の各部を互いに送受信可能に接続する。
次に、本実施形態におけるソフトウェアについて説明する。メモリ206には、CPU201が実行可能な以下のプログラムが格納されている。
・撮像操作入力プログラム:GPU204を用いて、ユーザからの撮像操作指示を受け付けるGUI画面を描画し、LCD205のタッチパネル機能により、ズーム操作、撮影開始指示等のユーザ指示を受け付けるプログラム。
・ズーム指示変化量算出プログラム:撮像操作入力プログラムによって入力されたズーム操作指示の時間的な経緯に基づいてズーム指示の変化量を算出するプログラム。
・ズーム位置検出プログラム:撮像状態受信部211を介して、移動撮像装置100内のズームポジションを検出するプログラム。
・撮像フレーム画像生成プログラム:撮像状態受信部211を介して受信された撮像後の画像ストリームからCodec203を用いてフレーム画像を生成するプログラム。
・撮像範囲検出プログラム:撮像フレーム画像生成プログラムによって得られた所定時間分のフレーム画像を比較し、現在の撮像範囲の変化量を算出するプログラム。
・通信状態検出プログラム:移動制御情報送信部208、撮像制御情報送信部210の通信状態を検出するプログラム。
・移動性能算出プログラム:移動制御情報送信部208が送信した指示と、移動状態受信部209が受信した位置情報から、移動撮像装置100の移動性能を算出するプログラム。
メインCPU(以下、単にCPUという)201は、メモリ206から読み出してプログラムRAM207に展開した前記プログラムを解釈して実行することにより、以下に説明する各種処理を実現する。
図3を参照して、移動撮像装置100の構成例としてカメラ取り付けタイプのドローンを説明する。移動撮像装置100内部の各構成部はシステムバス320に接続され、必要なデータを互いに送受可能である。移動撮像装置100全体の制御を司るCPU301は各ユニットを制御し、移動撮像装置100の飛行および撮像を制御する。メモリ302は書き換え可能な記憶デバイスであり、移動撮像装置100を制御するプログラムの作業領域として使用される。不揮発性メモリ303は、移動撮像装置100を制御するプログラムと、プログラムが使用するデータを格納する。移動撮像装置100の設定情報等のように、電源OFF状態でも保持する必要があるデータは、不揮発性メモリ303に格納される。電源部306のON操作によって、CPU301は不揮発性メモリ303から制御プログラムを読み込み、移動撮像装置100の制御を開始する。
操作部304はユーザが操作に使用するボタンやダイヤル、スイッチ等を備える。例えば、ユーザは電源部306のON/OFF設定を行う際に操作部304を使用する。表示部305は、例えば、発光ダイオード(LED)とそれをコントロールするドライバユニットで構成される。表示部305はCPU301の制御下で、移動撮像装置100の状態表示を行う。
クレイドル307は撮像部308の撮像制御を行う。クレイドル307は撮像部308とUSB(Universal Serial Bus)等で接続され、CPU301からの制御信号に基づき、撮像部308を制御する。本実施形態では、撮像部308の光軸が、移動撮像装置100の正面方向となるように設置される。撮像部308は、撮像光学系を通して被写体からの光を受光し、光像信号を画像信号に光電変換して画像データを取得する。CPU301は、クレイドル307を介して撮像部308を制御して撮像動作を実行し、撮像された画像のデータを取得することができる。
無線通信部309は通信装置200との間で、無線LAN等を介して無線通信するモジュールであり、送信部および受信部を備える。例えばCPU301は撮像部308が撮像した画像データを取得し、無線通信部309を制御することで通信装置200に送信する。モータ310は、移動撮像装置100のロータ311にそれぞれ接続された回転駆動部であり、CPU301からの制御信号にしたがって移動時および静止時に回転する。
ジャイロスコープ312は移動撮像装置100の姿勢検出を行い、移動撮像装置100の回転運動の角速度と、鉛直方向に対する傾きを検出する。ジャイロスコープ312は、ピッチ、ヨー、ロールの各方向にて3軸の回転をそれぞれ検出可能であり、後述する加速度センサ315と共に使用される。ジャイロスコープ312による3軸の検出信号は、移動撮像装置100の飛行姿勢制御や、飛行中の外力検出時の緊急飛行停止に使用される。
加速度センサ315は、移動撮像装置100に係る並進運動の加速度を検出する。加速度センサ315は3軸の加速度を検出可能であり、ジャイロスコープ312と共に使用される。高度検出部313は、移動撮像装置100の飛行高度を検出する。例えば、超音波センサが使用され、超音波を地面方向に向けて発信し、その反射波を計測することによって飛行高度を検出することができる。位置検出部314は移動撮像装置100の位置情報を検出する。位置検出部314は、例えばGPS(Global Positioning System)を利用した測位装置である。顔画像認識部316は、撮像部308により撮像された画像内において被写体の顔画像を認識する画像処理を行う。
次に図4を参照して、通信装置200におけるズーム機能について説明する。図4は、通信装置200のズーム機能に関し、2つの場合(Case1とCase2)を例示して表形式で説明するイメージ図である。通信装置200におけるズーム機能については、ユーザがLCD205上のタッチパネル機能を用いてズーム操作を行うものとする。Case1は、ユーザがゆっくりとしたズーム操作を行った場合、つまりズーム操作の変化量が閾値以下の場合である。この場合、通信装置200が移動撮像装置100に移動制御情報を送信することで移動撮像装置100を移動して撮像させる第1の制御が行われる。またCase2は、ユーザが急峻なズーム操作を行った場合、つまりズーム操作の変化量が閾値より大きい場合である。この場合、通信装置200が移動撮像装置100に撮像制御情報を送信することで、移動撮像装置100の位置を変更せずに撮像部308を制御して撮像を行う第2の制御が行われる。以下、撮像機能としてズーム機能について具体例を説明する。
Case1において、ユーザがゆっくりとしたズーム操作を行うと、CPU201はズーム指示変化量算出プログラムを実行し、ズーム変更速度(Szと記す)を算出する。ズーム変更速度Szは、ズーム変更時におけるズーム指示信号の変化量に相当する。次にCPU201は、移動性能算出プログラムを実行し、移動撮像装置100の移動性能(Sdと記す)を算出する。CPU201はズーム変更速度Szと移動性能Sdとを比較することによって、移動撮像装置100の移動によって応答が可能であるか否かを判断する。つまり、ズーム操作の変化量が移動性能Sdに対応する閾値以下である場合、移動撮像装置100の移動によって被写体に近づくか又は遠ざかることで画角制御が可能である。その場合、CPU201の指令により移動制御情報送信部208が移動制御情報を送信し、移動撮像装置100が移動制御情報を受信する。例えば、移動撮像装置100は被写体方向(撮像部の撮像方向)へ移動する。このとき、撮像制御情報送信部210はズーム操作に対応する撮像制御情報を送信しないので、移動撮像装置100のズームポジションは変更されない。
Case2において、ユーザが急峻なズーム操作を行うと、CPU201はズーム指示変化量算出プログラムを実行し、ズーム変更速度Szを算出する。次にCPU201は移動性能算出プログラムを実行し、移動性能Sdを算出する。CPU201はズーム変更速度Szと移動性能Sdを比較し、移動撮像装置100の移動では応答できない速度であると判断する。その場合、CPU201の指令により撮像制御情報送信部210が、ズーム制御用情報を含む撮像制御情報を送信し、移動撮像装置100が撮像制御情報を受信する。例えば、移動撮像装置100にて撮像部のズームポジションは、テレ側(ズームレンズの焦点距離が所定値より長い望遠側)となる。撮像部308のズームポジションは、移動撮像装置100のCPU301およびクレイドル307によって変更される。このとき、移動状態受信部209は移動制御情報を送信しないので、移動撮像装置100は現在位置から移動しない。
以上のように、ズーム操作の変化量が閾値以下である場合には、移動撮像装置100の移動制御によって画角変更が行われる。ズーム操作の変化量が閾値より大きい場合には、移動撮像装置100の移動制御を行わずに、撮像部308のズームポジションの制御によって画角変更が行われる。閾値については移動撮像装置100の移動性能に応じて設定される。
図4では、ユーザの操作指示に基づくテレ側へのズーム操作に関して説明した。ワイド側(ズームレンズの焦点距離が所定値より短い広角側)の場合、Case1では、移動撮像装置100を被写体から離れる方向へ移動させる移動制御情報の送信処理が行われる。またCase2では、ズームポジションがワイド側となるように撮像部308のズーム制御情報の送信処理が行われる。
次に図5を参照して、通信装置200による制御について説明する。図5は、ズーム機能に関する動作を説明するフローチャートであり、以下に示す動作は、所定時間ごとに実施される。
まずCPU201は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する(S401)。S401でユーザがズーム操作を行っていないことが判断された場合、ズーム機能の動作を終了する。また、S401でユーザがズーム操作を行ったことが判断された場合、S402に処理を進める。
CPU201はズーム指示変化量算出プログラムを実行し、ズーム変更速度Szを算出する(S402)。次にCPU201は移動性能算出プログラムを実行し、移動撮像装置100の移動性能Sdを算出する(S403)。CPU201はS402、S403でそれぞれ算出したズーム変更速度Szと移動性能Sdを比較し、ユーザによるズーム操作指示に対して移動撮像装置100の移動では応答できないか否かを判断する(S404)。ズーム操作の変化量が大きく、移動撮像装置100の移動では応答できないと判断された場合、S405に進む。また、ズーム操作の変化量が小さく、移動撮像装置100の移動で応答可能であると判断された場合、S406に進む。
S405にてCPU201は撮像制御情報送信部210により、ズーム変更速度Szに対応するズーム制御情報を移動撮像装置100に送信する。またS406にてCPU201は移動制御情報送信部208により、ズーム変更速度Szおよび移動性能Sdに基づく移動制御情報を移動撮像装置100に送信する。移動制御情報は、撮影位置を変更するための移動撮像装置100の移動制御情報である。S405およびS406の処理後にズーム機能の動作を終了する。
本実施形態では、S404における判断結果にしたがって、撮像制御情報送信部210と移動制御情報送信部208による制御情報の送信を排他的に行う例を説明した。判断結果によっては、撮像制御情報送信部210と移動制御情報送信部208の両方が制御情報を送信してもよい。例えばCPU201が、ズーム変更速度Szと撮像部308のズーム応答性能とを比較した結果、ズーム変更速度Szが、移動撮像装置100の撮像部のズーム応答性能では応答できないと判断した場合を想定する。この場合、撮像部308のズーム制御情報(ズームポジションの制御指示情報)と、移動撮像装置100の移動制御情報の両方を送信する処理が実行される。この場合、第1の制御は、移動撮像装置100の移動制御と撮像部308のズーム制御を併用した撮像動作の制御を含む。これにより撮像部308のズーム応答性能以上の速度で応答することが可能になる。また、本実施形態において、ユーザのズーム操作に応じて、撮像部308の撮像制御情報(ズームポジション等)に対応する撮像状態情報または移動制御情報に対応する移動撮像装置100の移動状態情報をLCD205に画面に表示してもよい。これによりユーザは、移動撮像装置100の動作状態(撮像状態、移動状態)を視覚的に認識できる。これらの事項については後述の実施形態でも同じである。
本実施形態によれば、移動撮像装置100の移動制御と撮像部308のズーム制御を適応的に制御することで、ユーザは容易な操作で所望のフレーミングを行える。すなわち、ユーザは移動撮像装置100の移動の操作を行うことなく、ズーム操作を行うのみで所望のフレーミングを実現できる。
[第2実施形態]
本発明の第2実施形態では、通信装置200における自動撮影ポジション合わせ機能について説明する。自動撮影ポジション合わせ機能とは、カメラのズーム位置が常に中央位置となるように移動撮像装置100の撮影位置およびズーム位置を変更する機能である。なお、本実施形態における装置の構成については第1実施形態の場合と同様であるため、既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を説明する。
図6を参照して、自動撮影ポジション合わせ機能について説明する。第1実施形態にて図4を用いて説明したように、通信装置200におけるズーム機能は、ユーザがLCD205のタッチパネル機能を用いてズーム操作を行うものである。Case1およびCase2については図4と同様である。本実施形態では、ユーザが所定時間以上ズーム操作を行わなかった場合としてCase3が追加されている。
Case3において、移動撮像装置100のカメラズームポジションがテレ側にある状態を想定する。この状態でユーザがズーム操作を行わない場合には、ズーム指示変化量算出プログラムにより算出されるズーム変更速度Szはゼロとなる。この場合、CPU201はズーム位置検出プログラムを実行し、移動撮像装置100のカメラズームポジションを取得する。取得結果からCPU201はカメラズームポジションがテレ側であると判断し、移動制御情報送信部208を介して移動制御情報を送信するとともに、撮像制御情報送信部210を用いてズームポジションの制御情報を送信する。このときの移動制御情報は、移動撮像装置100を被写体方向へ移動させる制御情報である。ズーム制御情報は、ズームポジションを中央位置に設定するための制御情報であって、撮像範囲検出プログラムを用いて得られる撮像範囲の変化量に基づき、撮像範囲の変化量がゼロに近づくように制御する制御情報である。
図6のCase3では撮像部308のズームポジションがテレ側にある状態でズーム操作が行われない場合を説明した。ズームポジションがワイド側である状態でズーム操作が行われない場合、移動制御情報は移動撮像装置100を被写体から離れる方向へ移動させる制御情報である。ズーム制御情報は、カメラズームポジションを中央位置に設定するための制御情報である。
図7のフローチャートを参照して、本実施形態における自動撮影ポジション合わせ機能の動作を説明する。以下の動作は所定時間ごとに実施される。
S601にてCPU201は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する。ユーザがズーム操作を行った場合、S602へ進む。S602からS606については図5のS402からS406の処理と同様であるため、それらの説明を省略する。S601でユーザが所定時間以上ズーム操作を行わなかったと判断された場合、S607へ移行する。
S607にてCPU201はズーム位置検出プログラムを実行し、移動撮像装置100のカメラズームポジションを取得する。そしてCPU201は、S607で取得したカメラズームポジションが中央位置よりテレ側にあるか否かを判断する(S608)。S608にてカメラズームポジションが中央位置よりテレ側にあると判断された場合、S609に進み、カメラズームポジションが中央位置よりテレ側にないと判断された場合、S610に移行する。
S609でCPU201は移動制御情報送信部208を用いて、移動撮像装置100を被写体方向へ移動(撮影位置を前進)させるための移動制御情報を送信する。またS610でCPU201は、S607で取得したカメラズームポジションが中央位置よりワイド側にあるか否かを判断する。カメラズームポジションが中央位置よりワイド側にないと判断された場合、自動撮影ポジション合わせ機能の動作を終了する。またS610でカメラズームポジションが中央位置よりワイド側にあると判断された場合、S611に進む。CPU201は移動制御情報送信部208を用いて、移動撮像装置100を被写体方向とは反対の方向へ移動(撮影位置を後退)させるための移動制御情報を送信する(S611)。
S609、およびS611の処理後にCPU201は撮像範囲検出プログラムを実行し、撮像範囲の変化量を取得する(S612)。次にCPU201は撮像制御情報送信部210を用いてズーム制御情報を送信する(S613)。このときのズーム制御情報は、S612で取得した撮像範囲の変化量がゼロに近く、かつズームポジションが中央位置となるカメラズームポジションの制御情報である。S613の処理後に自動撮影ポジション合わせ機能の動作を終了する。
本実施形態では、自動撮影ポジション合わせ機能によって、ユーザによるズーム操作がないことを検知した場合に、撮像範囲の変化を抑制して極力撮像範囲を変えずに移動撮像装置100のカメラズームポジションが中央位置に設定される。例えば、ズーム操作の変化量(変更速度)が大きい場合、撮像部308のズーム位置が変更されるが、その後にズーム位置が中央位置となるように移動撮像装置100を移動させる制御が行われる。よって、次にユーザが行うズーム操作に対してテレ側およびワイド側ともに素早く反応できるので、フレーミングの応答性能を向上させることができる。
[第3実施形態]
本発明の第3実施形態では、通信装置200における通信状況に応じた制御情報の切り替え動作について説明する。本実施形態では、移動撮像装置100と通信装置200との通信状態を判断し、撮像制御情報の通信状態が低下し、移動制御情報の通信状態が良好である場合、移動撮像装置100の位置を移動させる制御が行われる。また移動制御情報の通信状態が低下し、撮像制御情報の通信状態が良好である場合には、撮像部308のズーム位置を変更する制御が行われる。
図8は、本実施形態に係る通信装置200における通信状況に応じたズーム方式切り替え動作を表形式で説明するイメージ図である。ユーザがLCD205のタッチパネル機能を用いて行うズーム操作において、Case4およびCase5を例示する。Case4は撮像制御情報の通信状態が低下した場合である。Case5は移動制御情報の通信状態が低下した場合である。
Case4において、ユーザがテレ側へのズーム操作を行うと、CPU201は通信状態検出プログラムを実行し、移動制御情報送信部208と撮像制御情報送信部210の通信状態を検出する。検出された通信状態として、撮像制御情報の通信状態が低下していると判断された場合、撮像制御情報送信部210はズーム制御情報を送信できない。このため移動撮像装置100のズームポジションを制御することができない。一方、移動制御情報の通信状態は良好であるとする。CPU201は移動制御情報送信部208を用いて移動制御情報を移動撮像装置100に送信する。移動制御情報にしたがって移動撮像装置100は被写体方向へ移動する。
Case5において、ユーザがテレ側へのズーム操作を行うと、CPU201は通信状態検出プログラムを実行し、移動制御情報送信部208と撮像制御情報送信部210の通信状態を検出する。検出された通信状態として、移動制御情報の通信状態が低下していると判断された場合、移動制御情報送信部208は移動制御情報を送信できない。このため移動撮像装置100は現在位置から移動できない。一方、撮像制御情報の通信状態は良好であるとする。CPU201は撮像制御情報送信部210を用いてズーム制御情報を移動撮像装置100に送信する。ズーム制御情報にしたがって移動撮像装置100のズームポジションがテレ側の位置に変更される。
図8ではユーザによるズーム操作がテレ側への操作である例に関して説明したが、ワイド側へのズーム操作の場合、Case4では移動撮像装置100を被写体から離れる方向へ移動させ移動制御情報が送信される。Case5では、ズームポジションをワイド側とするためのズーム制御情報が送信される。
図9のフローチャートを参照し、通信状況に応じたズーム方式の切り替え動作について説明する。以下の動作は、所定時間ごとに実施される。
CPU201は撮像操作入力プログラムを実行し、ユーザがズーム操作を行ったか否かを判断する(S801)。S801でユーザがズーム操作を行っていないと判断された場合、ズーム方式の切り替え動作を終了する。S801でユーザがズーム操作を行ったと判断された場合、S802に処理を進める。CPU201は通信状態検出プログラムを実行し、撮像制御情報送信部210の通信状態(以下、状態値をTzと記す)を検出する(S802)。
次のS803でCPU201は通信状態検出プログラムを実行し、移動制御情報送信部208の通信状態(以下、状態値をTdと記す)を検出する。CPU201は、S802で検出された撮像制御情報送信部210の通信状態値Tzと、S803で検出された移動制御情報送信部208の通信状態値Tdを比較し、移動制御情報送信部208が使用可能か否かを判断する(S804)。S804で移動制御情報送信部208が使用可能でないと判断された場合、つまりの通信状態値Tdが低下している場合、S805に進む。また、移動制御情報送信部208が使用可能であると判断された場合、S807に移行する。
S805でCPU201は撮像制御情報送信部210が使用可能か否かを判断する。撮像制御情報送信部210が使用可能でないと判断された場合、つまりの通信状態値Tzが低下している場合、通信処理を終了する。またS805で撮像制御情報送信部210が使用可能であると判断された場合、S806に移行する。
S806でCPU201は撮像制御情報送信部210を用いて、カメラズームポジションを変更するためにズーム制御情報を移動撮像装置100に送信する。またS807でCPU201は移動制御情報送信部208を用いて、移動撮像装置100を移動させるために移動制御情報を送信する。S806およびS807の処理後にズーム方式切り替え動作を終了する。
本実施形態では、ユーザのズーム操作が行われた場合、カメラズームポジションの制御情報と移動撮像装置100の移動情報、および通信状態検出プログラムにより検出される通信状態の検出結果がLCD205の画面に表示される。これにより、ユーザは移動撮像装置100の動作状態と通信状態を認識することができる。
本実施形態によれば、通信状況に応じたズーム方式の切り替え動作が行われ、移動制御情報送信部208または撮像制御情報送信部210の通信状態が低下した状況に対処できる。すなわち、通信状態に応じて適応的にフレーミング合わせの方式(無人機の移動またはカメラのズーム状態)を変更する処理が行われるので、ユーザはズーム操作のみで所望のフレーミングを実現可能になる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 移動撮像装置
200 通信装置
201 メインCPU
208 移動制御情報送信部
209 移動状態受信部
210 撮像制御情報送信部
211 撮像状態受信部

Claims (15)

  1. 撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムであって、
    前記通信装置は、
    前記移動撮像装置に移動制御情報を送信する第1の送信手段と、
    前記移動撮像装置に撮像制御情報を送信する第2の送信手段と、
    前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第1および第2の送信手段を制御する制御手段を有し、
    前記移動撮像装置は、前記移動制御情報および撮像制御情報を受信する受信手段を有しており、
    前記通信装置の制御手段は、前記第1の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第1の制御と、前記第2の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第2の制御を行うことを特徴とする撮像システム。
  2. 撮像機能および移動機能を有する移動撮像装置と通信する通信装置であって、
    前記移動撮像装置に移動制御情報を送信する第1の送信手段と、
    前記移動撮像装置に撮像制御情報を送信する第2の送信手段と、
    前記移動撮像装置の撮像機能に対する操作指示を受け付け、前記第1の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第1の制御と、前記第2の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第2の制御を行う制御手段と、を備えることを特徴とする通信装置。
  3. 前記制御手段は、ズーム操作の指示を受け付けた場合、前記第2の制御にて前記第2の送信手段により前記移動撮像装置にズーム制御情報を送信することで前記移動撮像装置の撮像機能に係るズーム制御を行うことを特徴とする請求項2に記載の通信装置。
  4. 前記制御手段は、前記ズーム操作の変化量を検出して前記第1の制御を行うか、または前記第2の制御を行うかを判断することを特徴とする請求項3に記載の通信装置。
  5. 前記制御手段は、前記ズーム操作の変化量が閾値以下である場合に前記第1の制御を行い、前記変化量が前記閾値より大きい場合に前記第2の制御を行うことを特徴とする請求項4に記載の通信装置。
  6. 前記制御手段は、前記移動撮像装置の移動性能の情報を取得して前記ズーム操作の変化量と移動性能の情報を比較することにより、前記第1の制御を行うか、または前記第2の制御を行うかを判断することを特徴とする請求項3に記載の通信装置。
  7. 前記制御手段は、前記移動撮像装置の移動性能に対応する閾値に対して前記ズーム操作の変化量が前記閾値以下である場合に前記第1の制御を行い、前記ズーム操作の変化量が前記閾値より大きい場合に前記第2の制御を行うことを特徴とする請求項4に記載の通信装置。
  8. 前記第1の制御が行われた場合に前記移動制御情報に対応する前記移動撮像装置の移動状態情報を表示し、前記第2の制御が行われた場合に前記撮像制御情報に対応する撮像状態情報を表示する表示手段を備えることを特徴とする請求項2から7のいずれか1項に記載の通信装置。
  9. 前記移動撮像装置のズーム位置を取得する受信手段を備え、
    前記制御手段は、ズーム操作が行われず、かつ前記受信手段により取得された前記ズーム位置が中央位置よりも望遠側である場合に前記第1の制御にて前記移動撮像装置を被写体に対して前進させる制御を行い、ズーム操作が行われず、かつ前記受信手段により取得された前記ズーム位置が中央位置よりも広角側である場合に前記第1の制御にて前記移動撮像装置を被写体に対して後退させる制御を行うことを特徴とする請求項3に記載の通信装置。
  10. 前記制御手段はさらに、前記受信手段により取得された前記ズーム位置を前記中央位置と比較し、前記ズーム位置が前記中央位置でない場合、前記第2の制御により前記ズーム位置を前記中央位置に近づける制御を行うこと特徴とする請求項9に記載の通信装置。
  11. 前記移動撮像装置の撮像範囲を取得する受信手段を備え、
    前記制御手段は、ズーム操作が行われない場合、前記第1の制御により前記移動撮像装置を移動させ、前記撮像範囲の変化を抑制する制御を行うことを特徴とする請求項3に記載の通信装置。
  12. 前記制御手段は、前記第1および第2の送信手段の通信状態を検出し、前記第1の送信手段の通信状態が低下し、かつ前記第2の送信手段の通信状態が低下していない場合に前記第2の制御を行い、前記第1の送信手段の通信状態が低下していない場合に前記第1の制御を行うことを特徴とする請求項2から11のいずれか1項に記載の通信装置。
  13. 通信装置の指示にしたがって制御される移動撮像装置であって、
    被写体を撮像する撮像手段と、
    前記移動撮像装置の移動時に制御される駆動手段と、
    前記通信装置から移動制御情報および撮像制御情報を受信し、移動状態または撮像状態に係る情報を送信する通信手段と、
    前記撮像手段および駆動手段を制御する制御手段と、を備え、
    前記制御手段は、前記通信装置から前記移動制御情報を受信した場合に前記移動撮像装置を移動して前記撮像手段により撮像する第1の制御と、前記通信装置から前記撮像制御情報を受信した場合に前記移動撮像装置の位置を変更せずに前記撮像手段により撮像する第2の制御を行うことを特徴とする移動撮像装置。
  14. 撮像機能および移動機能を有する移動撮像装置と、前記移動撮像装置と通信する通信装置を備える撮像システムにて実行される制御方法であって、
    前記通信装置が第1の送信手段によって前記移動撮像装置に移動制御情報を送信する送信工程、および前記移動撮像装置が前記移動制御情報を受信する受信工程と、
    前記通信装置が第2の送信手段によって前記移動撮像装置に撮像制御情報を送信する送信工程、および前記移動撮像装置が前記撮像制御情報を受信する受信工程と、
    前記通信装置の制御手段が前記移動撮像装置の撮像機能に対する操作指示を受け付けた場合に、前記第1の送信手段により前記移動制御情報を送信することで前記移動撮像装置を移動して撮像させる第1の制御を行う制御工程と、前記第2の送信手段により前記撮像制御情報を送信することで、前記移動撮像装置の位置を変更せずに前記移動撮像装置の撮像機能に係る制御により前記移動撮像装置に撮像させる第2の制御を行う制御工程と、を有することを特徴とする撮像システムの制御方法。
  15. 請求項14に記載した前記送信工程および制御工程を前記通信装置のコンピュータに実行させることを特徴とするプログラム。
JP2015243690A 2015-12-15 2015-12-15 撮像システムおよびその制御方法、通信装置、移動撮像装置 Active JP6685713B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015243690A JP6685713B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法、通信装置、移動撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015243690A JP6685713B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法、通信装置、移動撮像装置

Publications (3)

Publication Number Publication Date
JP2017112438A true JP2017112438A (ja) 2017-06-22
JP2017112438A5 JP2017112438A5 (ja) 2019-01-31
JP6685713B2 JP6685713B2 (ja) 2020-04-22

Family

ID=59080976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015243690A Active JP6685713B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法、通信装置、移動撮像装置

Country Status (1)

Country Link
JP (1) JP6685713B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098624A (ja) * 2016-12-13 2018-06-21 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP2019115012A (ja) * 2017-12-26 2019-07-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020195933A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 情報処理装置および方法、並びに、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189927A (ja) * 1999-12-28 2001-07-10 Tokyo Gas Co Ltd 移動ステーションおよび制御ステーションならびに擬似体験システム
US20140313332A1 (en) * 2013-04-19 2014-10-23 Sony Corporation Control device, control method, and computer program
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
US20150319627A1 (en) * 2013-01-21 2015-11-05 Lg Electronics Inc. Priority handing-based operation method in wireless communication system and apparatus supporting same
JP2016225874A (ja) * 2015-06-01 2016-12-28 日本電信電話株式会社 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189927A (ja) * 1999-12-28 2001-07-10 Tokyo Gas Co Ltd 移動ステーションおよび制御ステーションならびに擬似体験システム
US20150319627A1 (en) * 2013-01-21 2015-11-05 Lg Electronics Inc. Priority handing-based operation method in wireless communication system and apparatus supporting same
US20140313332A1 (en) * 2013-04-19 2014-10-23 Sony Corporation Control device, control method, and computer program
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
JP2016225874A (ja) * 2015-06-01 2016-12-28 日本電信電話株式会社 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098624A (ja) * 2016-12-13 2018-06-21 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP2019115012A (ja) * 2017-12-26 2019-07-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020195933A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 情報処理装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
JP6685713B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
US10523871B2 (en) Imaging system and imaging control method with display of image with vertical alignment
US10356301B2 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
CN107079102B (zh) 对焦方法、摄像装置和无人机
WO2018053825A1 (zh) 对焦方法和装置、图像拍摄方法和装置及摄像系统
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
WO2020181494A1 (zh) 参数同步方法、拍摄装置和可移动平台
KR20170086482A (ko) 플라잉 봇의 제어 장치 및 제어 방법
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP6685713B2 (ja) 撮像システムおよびその制御方法、通信装置、移動撮像装置
JP2017062529A (ja) 方向制御方法
CN111356954A (zh) 控制装置、移动体、控制方法以及程序
CN111567032A (zh) 确定装置、移动体、确定方法以及程序
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
JP6758828B2 (ja) 撮像システムおよびその制御方法
JP6685742B2 (ja) 操作装置、移動装置、およびその制御システム
CN109302546B (zh) 摄像头组件及电子设备
JP6685714B2 (ja) 移動撮像装置の制御装置、移動撮像装置、および移動撮像装置の制御方法
JP2001245280A (ja) カメラ制御システム、装置、方法、及びコンピュータ読み取り可能な記憶媒体
CN112154480B (zh) 可移动平台的定位方法、装置、可移动平台及存储介质
CN105857179B (zh) 一种遥控行驶装置用的转向辅助方法及装置
KR20160020828A (ko) 비행 촬영 시스템 및 그 운용 방법
JP2020120388A (ja) 操作装置、移動装置、およびその制御システム
JP2018078433A (ja) 移動撮像装置およびその制御方法、ならびに撮像装置およびその制御方法、無人機、プログラム、記憶媒体
WO2020237429A1 (zh) 遥控设备的控制方法和遥控设备
JP6103672B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R151 Written notification of patent or utility model registration

Ref document number: 6685713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151