JP2021026463A - 制御装置及びその制御方法及びプログラム - Google Patents

制御装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP2021026463A
JP2021026463A JP2019143311A JP2019143311A JP2021026463A JP 2021026463 A JP2021026463 A JP 2021026463A JP 2019143311 A JP2019143311 A JP 2019143311A JP 2019143311 A JP2019143311 A JP 2019143311A JP 2021026463 A JP2021026463 A JP 2021026463A
Authority
JP
Japan
Prior art keywords
terminal
control
unit
connection request
control right
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019143311A
Other languages
English (en)
Other versions
JP7344703B2 (ja
Inventor
友樹 黒田
Tomoki Kuroda
友樹 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019143311A priority Critical patent/JP7344703B2/ja
Priority to US16/945,250 priority patent/US11196913B2/en
Publication of JP2021026463A publication Critical patent/JP2021026463A/ja
Application granted granted Critical
Publication of JP7344703B2 publication Critical patent/JP7344703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】遠隔操作又は設定を行う操作端末については一台のみを許容し、且つ、操作の種類に応じた操作端末に対して優先して接続し、接続に際するトラブルを未然に防ぐ。【解決手段】リモート撮影システム105において、撮像装置を搭載可能であり、撮像装置を駆動する駆動部を有する雲台を制御する制御装置であって、ネットワーク上の端末と通信する通信部と、通信部を介して受信した要求に従って、駆動部を制御する制御部と、通信部を介して接続要求を受信した場合、当該接続要求を行った端末にて、雲台に対する環境設定のための第1のアプリケーションプログラム、雲台を遠隔操作するための第2のアプリケーションプログラムのいずれが実行されているのかを判定する判定部と、接続を許可した端末を管理する管理部と、判定部の判定、及び、管理部による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定部とを備える。【選択図】図6

Description

本発明は、撮像装置のリモート制御する技術に関するものである。
近年、カメラ等の撮像装置を無線または有線の通信手段を介して遠隔操作にて撮影を行うカメラ及び雲台で構成されるリモート撮影システムが存在している。例えば、スポーツ会場において高所などの普段は人が入れないような場所からの撮影を行うことで、より付加価値の高い映像を提供することを目的とするような場合である。また、パン、チルト、ロールを駆動可能な雲台を有するリモート撮影システムを予め競技場に設置しておき、競技中は会場内の別の場所や会場外から、雲台およびカメラを遠隔操作することで、ユーザの望む方向の画像を撮影することもできる。
上述のようなカメラ及び雲台で構成されるリモート撮影システムを遠隔操作する操作端末は、ネットワーク上に複数存在することがある。故に、どの操作端末がリモート撮影システムの制御権を得るのかを決める必要が有る。
これに対し、特許文献1には、1台のカメラとサーバが接続され、複数端末はサーバ経由でカメラにアクセスするシステムを開示している。そして、特許文献1では、各端末はユーザID(IDentification)を持ち、先着順でサーバの制御権を獲得するとしている。また、特許文献2は、複数の外部装置から遠隔操作されるシステムを開示している。そして、特許文献2は、複数の時刻のそれぞれに制御権レベルと許可アドレスと制御データとを設定したスケジュールで動作する。そして、スケジュール動作中に制御指示が来た場合は、許可アドレス、制御権レベルなどに応じて、許可するかどうかを決定する、というものである。
特許第4733942号公報 特許第3880495号公報
しかしながら、リモート撮影システムにおいて、遠隔操作を行う操作端末だけでなく、制御可能な内容が異なる複数の操作手段を持つ場合がある。例えば、スポーツ会場にリモート撮影システムが設置されている場合に、現場でのトラブル対応や設定に関する操作手段と、コンテンツ制作目的でスポーツを撮影するための操作手段である。従来技術では、このような場合に、現場で用いる操作手段を確実に優先することができない場合があった。
この課題を解決するため、例えば本発明の制御装置は以下の構成を備える。すなわち、
撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置であって、
ネットワーク上の端末と通信する通信手段と、
前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御手段と、
前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第1のアプリケーションプログラム、前記雲台を遠隔操作するための第2のアプリケーションプログラムのいずれが実行されているのかを判定する判定手段と、
接続を許可した端末を管理する管理手段と、
前記判定手段の判定、及び、前記管理手段による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定手段とを備える。
本発明によれば、撮像装置を搭載可能な雲台の制御装置において、遠隔操作又は設定に係る操作端末については一台のみを許容し、且つ、操作に係る種類に応じた操作端末に対して優先して接続するので、接続に係るトラブルを未然に防ぐことが可能になる。
実施形態に係るシステムの全体構成図。 実施形態に係る端末装置のブロック図。 実施形態に係る撮像装置のブロック図。 実施形態に係るリモート撮影システムのブロック図。 実施形態に係るリモート撮影システムがWebブラウザから接続要求を受信した場合の処理を示すフローチャート。 実施形態に係るリモート撮影システムが遠隔操作用アプリケーションから接続要求を受信した場合の処理を示すフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
以下、第1の実施形態を図1〜図6を参照し、詳細に説明する。なお以下では画像処理方法を適用する装置全体の構成や動作目的、画像処理の内容、制御する各種装置、処理結果や制御結果などについて具体的に説明を行うことが、これは具現化することで発明思想の理解を容易にするためと理解されたい。つまり、これら装置の構成や動作目的、画像処理の内容、処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成したり、設定できるユーザインターフェースを設けたり、処理アルゴリズム及びプログラムなどを用いて動的に決定したりすることが出来る形態で提供することができるものである。
図1は、本実施形態に係るシステム全体の構成を示す概略図である。本システムは、画像または動画を撮影する撮像装置103a〜103c、撮像装置103a〜103cを搭載し、パン、チルト、ロールなどの視線方向に係る動作が可能な雲台104a〜104c、撮像装置103a〜103aと雲台104a〜104cを有し、これらの制御を行うリモート撮影システム105a〜105cを有する。また、本システムは、ネットワーク101を介して、リモート撮影システム105a〜105c(撮像装置103a〜103cと雲台104a〜104c)を遠隔操作可能な操作端末102a〜102dを有する。
大規模なシステム内においては複数のカメラおよび雲台が存在し、各カメラが別の位置で複数の被写体をそれぞれで撮影するシステム構成であってもよい。このシステムでは、撮像装置103a〜103cと雲台104a〜104cに対して遠隔制御が行われる。操作端末102a〜102dは、例えば携帯電話機、パーソナルコンピュータ、タブレット端末、ゲーム機などがあるが、他の機器であってもよい。
なお、図示には、リモート撮影システムを3つ、操作端末を4つ示しているが、これらの数に特に制限はない。図1はあくまで例示であると理解されたい。
また、以降、リモート撮影システム105a〜105cのいずれかを1つを表すときは、「リモート撮影システム105」と記し、添え字のa、b、cは省略する。添え字無しの「撮像装置103」、「雲台104」、「操作端末102」の表記も、同じ意図であると理解されたい。
図2は、操作端末102を示すブロック構成図である。操作端末102は、表示部201と、VRAM202と、BMU(ビットムーブユニット)203と、入力装置204と、CPU205と、ROM206と、RAM207と、外部記憶装置208と、通信部209を有する。CPUバス210は、アドレスバス、データバス及びコントロールバスを含む。表示部201にはLCDなどのディスプレイ装置が用いられる。VRAM202には、表示部201に表示するための画像が描画される。このVRAM202に生成された画像データは、所定の規定に従って表示部201に転送され、これにより表示部201に画像が表示される。BMU(ビットムーブユニット)203は、例えば、メモリ間(例えば、VRAM202と他のメモリとの間)のデータ転送や、メモリと各I/Oデバイス(例えば、通信部209)間のデータ転送を制御する。入力装置204は、文字等を入力するための各種キー、タッチパネル等を有する。CPU205は、ROM206、外部記憶装置208に格納された制御プログラムを実行することで各デバイスを制御する。ROM206は、各種制御プログラムやデータを保存する。本実施形態における具体的な操作内容や方法については後述する。RAM207は、CPU205のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。外部記憶装置208は、端末装置内で実行される各制御プログラムやデータを格納する不揮発性の記憶装置(HDDやフラッシュメモリ等)である。通信部209は、インターネット等のネットワーク回線に接続するためのインターフェースであり、有線、無線を問わない。
図3は、本実施形態における撮像装置103の構成を示すブロック図である。撮像装置はデジタルカメラ、デジタルビデオカメラ、スマートフォンなど、被写体を撮像し画像データを得る装置を含む。撮像装置103は、撮像部301、撮像制御部302、CPU303、RAM304、ROM305、記憶媒体306、表示部307、操作部308、通信部309を有する。撮像部301は、レンズ、絞り、撮像素子、及び信号処理回路を備えており光学像から電子的な画像データを生成する。撮像制御部302は、撮像部301の制御を行う。CPU303は、入力された信号やプログラムに従って、各種の演算や、撮像装置103を構成する各部分の制御を行う。RAM304は、一時的なデータを記憶し、CPU303の作業用に使われる。ROM305は、撮像装置103を制御するためのプログラム(ファームウェア)や各種の設定情報、撮像装置103をユニークに特定する情報(製品名やシリアル番号)を記憶する。記憶媒体306は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体306は取り外すことが可能であり、パーソナルコンピュータ(以下、PC)などに装着してデータを読み出すことが可能である。つまり、撮像装置103は外部記憶媒体306へのアクセス手段を有し、外部記憶媒体306へのデータの読み書きが行えればよい。記憶媒体306の代表的なものとしてSDカードが挙げられるが、他の形態の記憶媒体であっても構わない。表示部307は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。なお、表示部307は撮像装置103が備える必要はなく、撮像装置103は表示部307の表示を制御する表示制御機能を有していればよい。操作部308は、使用者の操作を受け付けるためのものである。操作部308は例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信部309は、外部装置と接続し制御コマンドやデータの送受信を行う。なお、通信部309は、例えばUSB(Universal Serial Bus)ケーブルなどの有線接続により通信を行ってもよい。また、無線LANなどの無線接続により通信を行ってもよい。
図4は、本実施形態におけるリモート撮影システム105の構成を示すブロック図である。リモート撮影システム105は、CPU401、RAM402、ROM403、外部記憶装置404、通信部405、機器制御部408、プロトコル処理部409、サーバ処理部413、制御権管理部414を有する。機器制御部408は、プロトコル変換部406、接続管理部407を含む。また、プロトコル処理部409は、プロトコル処理部A410,プロトコル処理部B411,プロトコル処理部C412を含む。
CPU401は、ROM403、外部記憶装置404に格納された制御プログラムや入力された信号に基づいて、リモート撮影システム105を構成する各部分の制御を行う。RAM402は、一時的なデータやプログラムを記憶し、CPU401の作業用に使われる。ROM403は、リモート撮影システム105を制御するためのプログラム(ファームウェア)や各種の設定情報を記憶する。外部記憶装置404は、リモート撮影システム105内で実行される各制御プログラムやデータを格納する。
通信部405は、このリモート撮影システム105の制御対象機器である撮像装置103および雲台104と接続し、制御コマンドやデータの送受信を行う。また、通信部405は、操作端末102と接続し制御コマンドやデータの送受信も行う。通信部405は、操作端末102からの受信データがWebAPIであった場合には、WebAPI及びWebサーバとして機能するサーバ処理部413へ転送する。サーバ処理部413については後述する。
機器制御部408は、接続機器に対して、機器制御の命令の発行を行う。例えば撮像装置103に対しての撮影実行指示および各種パラメータ(ズームを含む)設定指示、雲台104に対するパン、チルト、ロールの移動に係る実行指示などが挙げられる。機器制御部408に含まれる接続管理部407は、リモート撮影システム105と接続する撮像装置103および雲台104との接続状態を管理する。プロトコル変換部406は、先述した機器制御部408の機器制御命令に対して、接続に用いる通信プロトコル種別に応じたプロトコル変換を行う。
プロトコル処理部409は、リモート撮影システム105と接続する機器の通信プロトコル種別に応じたプロトコル処理部410〜412を含む。
サーバ処理部413は、HTTPもしくはHTTPSに則り、クライアントとして動作する操作端末102のWebブラウザアプリケーション(以下、単にWebブラウザ)との間にコネクションを張る。以降はHTTPの例で説明する。
本実施形態では、端末装置102は、予め定義されたWebAPIを用いたHTTPリクエストをサーバ処理部413に送信する。そして、サーバ処理部413は、WebAPIを用いた操作端末102のWebブラウザからのアクセスに対し応答する。
サーバ処理部413は、後述する制御権管理部414へ処理を依頼する制御権獲得用のWebAPIや、機器制御部408に対する機器制御への命令に相当するWebAPIを予め定義する。WebAPIに関する詳細なやり取りに関する説明は、既存技術を用いるものとしここでの説明は割愛する。制御権管理部414は、リモート撮影システム105の制御権を管理する。制御権管理部414は、操作端末102aや操作端末102bなどのように、複数の操作端末102からアクセスされたときに、特定の一台の操作端末102がリモート撮影システム105の制御権を得られるように排他制御を行う。本実施形態では、2つの操作方法を後述するが、制御権管理部414は、リモート撮影システム105のWebサーバ処理部413に接続して操作を行うWebブラウザによる操作を、撮像装置103や雲台104に対する操作よりも、必ず優先するように制御権の管理を行うものとする。
ここで、制御権管理部414の動作を説明するために、操作端末102における操作方法について説明する。本実施形態では2つの操作方法を示す。
1つ目の操作方法は、リモート撮影システム105のサーバ処理部413に接続して操作を行うためのWebブラウザがROM206に入っており、それをロードして使用するものである。本操作方法は、主にリモート撮影システム105を設置する時に現場にて機器の調整する際に用いるものである。具体的には雲台104のパン、チルト、ロール、及び、撮像装置103のズーム等の可動域(環境設定とも言う)の設定および簡易的な操作、撮像装置103のテスト撮影などの確認を行うことを可能とする。
なお、ここで言う可動域設定について説明する。パン、チルト等を行うことで撮像装置103が撮像可能する範囲は、それを設置する場所や周囲環境に依存する。例えば、撮像装置103や雲台104がその可動によって障害物にぶつからないようにするため、或いは、プライバシーなどの問題により特定の対象物を撮影対象から除外するため等が挙げられる。そこで、雲台104の可動範囲や撮像装置103のズーム可能範囲を決める行為を、可動域の設定という。例えば、雲台104そのもののパンの可動域は360度あるものの、そのうち特定の角度範囲のみでパン動作ができるようにする場合がこれに当たる。チルト、ロールについても同じである。また、ズームについて以下の通りである。撮像装置103の物理的なズーム域が仮に20mm〜200mmである場合に、そのうちで30mmから100mmの範囲だけ一般ユーザが利用できる可動域範囲とする場合がこれに当たる。後述する説明から明らかになるが、遠隔操作のために操作端末から仮に200mmとなるズーム要求を受けたとしても、本リモート撮影システム105は、上記の場合は、可動域範囲の上限の100mmにクロップした要求を撮像装置104に発行する。なお、雲台104に、撮像装置104のズームレンズの位置調整機構を有するようにしても良い。この場合、遠隔からのズームに係る要求を受信した場合は雲台を制御することになる。
撮像装置103は、イメージセンサが捉えた画像を電子化し、撮像装置103の背面液晶等にリアルタイム表示するLiveViewの機能を持ち、本実施形態ではLiveViewで表示する画像をリモート撮影システム105へ送信することが可能であるものとする。そのため、操作端末102のWebブラウザにてLiveView画像を受信し、Webブラウザを更新する任意のタイミングごとにLiveView画像を更新表示しながら、撮像装置103の操作を行うようにしてもよい。本実施形態では、サーバ処理部413が先述の機能を全てWebAPIにて定義し、操作端末102からの要求を受け付けるものとする。通信部405はWebAPIを受信するとサーバ処理部413へデータを送信する。サーバ処理部413がWebAPIを受け付けると、データを解析し、リモート撮影システム105内で解釈可能なデータに変換し、プロトコル変換部406に通知を行う。本実施形態では、プロトコル処理部A410は撮像装置103に対応したプロトコル、プロトコル処理部B411は雲台104に対応したプロトコルの処理を行うものとする。プロトコル変換部406はサーバ処理部413から受信したデータの内容を解析し、撮像装置103に対する制御内容であればプロトコル処理部A410に指示を行い、雲台104に対する制御内容であればプロトコル処理部B411に対し指示を行う。なお、プロトコル処理部409の処理内容はこれに限るものではない。また、本操作方法において、先述の機器調整に用いる機能を提供する以外に、ユーザ識別、パスワード管理など、他の機能が提供されても良いものとするが、ここでは割愛する。
操作端末102aが先述のWebブラウザにてリモート撮影システム105を用いて操作を行うためには、事前に制御権を得る必要がある。そこで、操作端末102aのWebブラウザは、制御権獲得用のWebAPIでリモート撮影システム105にアクセスする。リモート撮影システム105の通信部405はWebAPIを受信すると、受信したWbAPIをサーバ処理部413へ転送する。サーバ処理部413は、制御権獲得用のWebAPIを受け付けると、CPU401を経由し制御権管理部414に通知を行う。先述の通り、制御権管理部414はリモート撮影システム105の制御権を管理している。制御権を獲得されていない場合は、依頼元である操作端末102aの制御権獲得を許容する。制御権管理部414は制御権獲得を許容すると、UUID(Universally Unique IDentifier)を生成し、RAM402に保持する。なおUUIDの生成方法は任意とするが、例えばMAC(Media Access Control)アドレスや時刻情報を用いて生成する方法がある。また、制御権管理部414は、生成したUUID及び制御権獲得した旨を、CPU401を介しサーバ処理部413へ通知する。サーバ処理部413は、通信部404を介し、操作端末102aに対し制御権獲得用のWebAPIのレスポンスに、ステータスコード正常、レスポンスボディにUUIDを入れて、そのレスポンスを要求元である操作端末102aに送信する。以降、操作端末102aは先述のWebブラウザによる操作が可能となる。
なお、上記の1つ目の操作方法として説明した、操作端末102がリモート撮影システム105のサーバ処理部413に接続して操作を行う方法は、操作端末102とリモート撮影システム105が1対1での制御のみ可能であるものとする。
2つ目の操作方法は、遠隔操作用アプリケーションプログラム(以下、遠隔操作アプリケーション)がROM206に入っており、ロードして実行する場合である。本操作方法は、主に被写体を撮影しコンテンツ制作する目的で用いられるものであり、リモート撮影システム105に含まれる雲台104や撮像装置103の詳細操作を低遅延で行うために用いるものである。具体例は次の通りである。
雲台104の操作としては、パン、チルト、ロール操作やホーミング、予め定めたパン、チルト、ロールのプリセット位置への移動などである。撮像装置103の操作としては、ズーム、フォーカス、露出、ISO、ホワイトバランスなどの画質調整や通常撮影や連射などの撮影制御を行う。なお、先述のとおり、撮像装置103は、イメージセンサが捉えた画像を電子化し、撮像装置103の背面液晶等にリアルタイム表示するいわゆるLiveViewの機能を持つが、本実施形態ではLiveViewで表示する画像をリモート撮影システム105へ送信することが可能である。そのため、操作用アプリケーションにてLiveView画像を表示しながら、撮像装置103の操作を行うようにしてもよい。
操作端末102bが先述の操作用アプリケーションにてリモート撮影システム105を用いて操作を行うためには、事前に制御権を得る必要がある。そこで、操作端末102bの操作用アプリケーションは、制御権獲得用のWebAPIでリモート撮影システム105にアクセスする。リモート撮影システム105の通信部405はWebAPIを受信すると、それをサーバ処理部413へ転送する。サーバ処理部413は、制御権獲得用のWebAPIを受け付けると、CPU401を経由し制御権管理部414に通知を行う。先述の通り、制御権管理部414はリモート撮影システム105の制御権を管理している。制御権を獲得されていない場合は、依頼元である操作端末102bの制御権獲得を許容する。制御権管理部414は制御権獲得を許容すると、先述の通りUUIDを生成し、RAM402に保持する。制御権管理部414は生成したUUID及び制御権獲得したことを、CPU401を介してサーバ処理部413へ通知する。サーバ処理部413は、通信部405を介し、操作端末102bに対し制御権獲得用のWebAPIのレスポンスとしてステータスコード正常、レスポンスボディにUUIDを入れて送信する。以降、操作端末102bの操作用アプリケーションによる操作が可能となる。
操作端末102bの操作用アプリケーションは、制御権を獲得し、操作が可能になると、制御遅延を極力減らすため、リモート撮影システム105の予め決定されている特定のネットワークポートに対し、特定のプロトコルを用いて制御指示を行うものとする。先述の通り、本実施形態では、プロトコル処理A410は撮像装置103に対応したプロトコル、プロトコル処理B411は雲台104に対応したプロトコルの処理を行うものとする。ここで、撮像装置103に対応した制御指示はネットワークポート“10001”、雲台204に対応した制御指示はネットワークポート“10002”を用いるものとする。この場合、先述のように操作端末102bが制御権を獲得していれば、ネットワークポート“10001”に対し撮影指示を与えると、通信部405はプロトコル変換部406に受信データを送信する。本実施形態では、ネットワークパケットのペイロード部に特定のプロトコル処理が格納されているものとする。そのため、プロトコル変換部406はネットワークポート“10001”からのデータと判断するとペイロード部を抜き出し、プロトコル処理A410へ指示を行う。同様に、ネットワークポート“10002”からのデータであればプロトコル処理B411へ指示を行う。このように処理を行うことで、操作端末102bの操作用アプリケーションは、制御権獲得後の制御遅延を減らすことが可能となる。なお、先述の例ではネットワークポートを“10001”及び“10002”とした例を示したが、ネットワークポートは任意の番号とし、操作用アプリケーションから変更可能とする。また、プロトコル変換部406、プロトコル処理部409の処理内容もこれに限るものではない。
また、操作用アプリケーションにてリモート撮影システム105を用いて操作を行う方法は、制御権さえ獲得できれば、操作端末102とリモート撮影システム105は1対多での制御を可能するものとする。
ここで、リモート撮影システム105における制御権管理部414が行う、外部(操作端末)からの接続要求に対する接続の可否の判定処理を、図5、図6を参照して説明する。なお、操作端末102aはWebブラウザ、操作端末102bは、操作用アプリケーションのプログラム、操作端末102cはWebブラウザ、操作端末102dは操作用アプリケーションのプログラムを用いて操作を行うものとして以降の説明を行う。また、リモート撮影システム105は、操作端末102からアクセス要求を受けた際に利用しているのが、Webブラウザか、遠隔操作用アプリケーションであるかの判断を、後述する制御権獲得用のWebAPIのリクエストボディにWebブラウザか遠隔操作用アプリケーションを判別するための情報を含ませることで判断するものとする。なお、Webブラウザと遠隔操作用アプリケーションでアクセス要求に用いるプロトコルが異なる場合は、リモート撮影システム105は、操作端末102からアクセス要求を受けた際のプロトコルに応じて、Webブラウザか遠隔操作用アプリケーションであるかの判断をしてもよい。
図5は、操作端末102aでWebブラウザを用い、リモート撮影システム105aに接続する場合における、リモート撮影システム105aの制御権管理部414の処理を示すフローチャートである。
まず、S501にて、操作端末102aからはWebブラウザによるリモート撮影システム105aへの接続を検出する。具体的には、先述のとおり、操作端末102aのWebブラウザは制御権獲得用のWebAPIでリモート撮影システム105aの通信部405を介しサーバ処理部413にアクセスする。サーバ処理部413は制御権獲得用のWebAPIを受け付けると、CPU401を経由し制御権管理部414に通知を行う。
次に、制御権管理部414はリモート撮影システム105aが既に他のWebブラウザと接続中か否かを判断する。例えば、制御権管理部414は、既に操作端末102cがWebブラウザにてリモート撮影システム105aの制御権を獲得していると判定した場合、制御権管理部414は他のWebブラウザと接続中と判断する。この場合、制御権管理部414は、制御権獲得不可(接続不可)である旨を、CPU401を経由しサーバ処理部413に通知する。サーバ処理部413は、この通知を受けると制御権獲得用のWebAPIのレスポンスのステータスコードとしてエラー値を入れ、通信部405を介し操作端末102aに返信する(S506)。これにより、操作端末102aはリモート撮影システム105aと接続できなかったと判断し、Webブラウザにてユーザ通知を行い、処理を終了することになる。なお、S506での返信を行う代わりに、操作端末102aからの接続要求を無視しても良い。
一方、S502にて、制御権管理部414が他のWebブラウザがリモート撮影システム105aの制御権を獲得していないと判定した場合は処理をS503に進める。このS503にて、制御権管理部414は、他の操作用アプリケーションと接続しているか否かを判断する。先述の通り、制御権管理部414は、リモート撮影システム105のWebサーバ処理部413に接続して操作を行うWebブラウザによる操作を必ず優先するように制御権の管理を行う。例えば、操作端末102dが操作用アプリケーションにて既にリモート撮影システム105aの制御権を獲得している場合、制御権管理部414は、処理をS504に進め、操作端末102aからのWebブラウザによる操作を優先するために、操作端末102dの操作用アプリケーションを切断する。このとき、操作端末102dの操作用アプリケーションは、切断時にユーザに対し、Webブラウザによる操作に操作権を渡す旨をユーザに通知しても良い。また、操作端末102dの操作用アプリケーションの切断に際しては、実行中の処理を待つなどの対応をしてもよい。
S503にて、制御権管理部414は、他の操作用アプリケーションとの接続の判断した場合、もしくは、S504にて、制御権管理部414が操作端末102dの操作用アプリケーションを切断処理が完了した場合は、制御権管理部414は処理をS505に進める。このS505にて、制御権管理部414は、操作端末102aからの要求に対して接続可と判定し、操作端末102aのWebブラウザとの接続処理を行う。具体的には、制御権管理部414は、操作端末102aのWebブラウザからの制御権獲得用のWebAPIに対するレスポンスのステータスコードとして正常終了、レスポンスボディにUUIDを入れて送信する。
図6は、操作端末102bが遠隔操作用アプリケーションを用い、リモート撮影システム105bに接続する場合の、リモート撮影システム105bの制御権管理部414の処理を示すフローチャートである。
まず、S601にて、制御権管理部414は、操作用アプリケーションを用いたリモート撮影システム105bへの接続を検出する。具体的には、先述のとおり、操作端末102bが操作用アプリケーションは制御権獲得用のWebAPIでリモート撮影システム105bの通信部405を介しサーバ処理部413にアクセスすると、サーバ処理部413は、CPU401を経由し制御権管理部414に通知を行うことを利用する。
S602にて、制御権管理部414は、リモート撮影システム105bが既に他のWebブラウザと接続中か否かを判断する。先述の通り、制御権管理部414は、リモート撮影システム105のWebサーバ処理部413に接続して操作を行うWebブラウザによる操作を必ず優先するように制御権の管理を行う。そのため、既に操作端末102cがWebブラウザにてリモート撮影システム105bの制御権を既に獲得していた場合、制御権管理部414は、処理をS605に進める。S605にて、制御権管理部414は、制御権獲得不可である旨を、CPU401を経由し、サーバ処理部413に通知する。サーバ処理部413は、この通知を受けると制御権獲得用のWebAPIのレスポンスのステータスコードとしてエラー値を入れ、通信部405を介し操作端末102bに返信する。これにより、操作端末102bはリモート撮影システム105bと接続できなかったと判断し、操作用アプリケーションにてユーザ通知を行い終了することになる。なお、S605での返信を行う代わりに、操作端末102bからの接続要求を無視しても良い。
S602にて、制御権管理部414は、他のWebブラウザがリモート撮影システム105bの制御権を獲得していないと判定した場合、制御権管理部414は処理をS603に進める。このS603にて、制御権管理部414は、他の操作用アプリケーションと接続しているか否かを判断する。本実施形態では、制御権管理部414は、操作用アプリケーション同士は先着順に制御権を獲得させるものとする。そのため、操作端末102dの他の操作用アプリケーションが既に制御権を獲得している場合(ステップS603でYES)、制御権管理部414は、制御権獲得不可である旨を、CPU401を経由し、サーバ処理部413に通知する。サーバ処理部413は、この通知を受けると制御権獲得用のWebAPIのレスポンスのステータスコードとしてエラー値を入れ、通信部405を介し操作端末102bに返信する(S605)。これにより、操作端末102bはリモート撮影システム105bと接続できなかったと判断し、操作用アプリケーションにてユーザ通知を行い終了する。
他方、制御権管理部414は、他の操作用アプリケーションとの接続がないと判断した場合(S603でNO)、処理をS604に進める。このS604にて、制御権管理部414は、操作端末102bの操作用アプリケーションとの接続処理を行う。具体的には、操作端末102bの操作用アプリケーションからの制御権獲得用のWebAPIに対するレスポンスのステータスコードとして正常終了、レスポンスボディにUUIDを入れて送信する。
なお、操作端末102aが先述のWebブラウザにてリモート撮影システム105の制御権を得ている間は、操作端末102bが操作用アプリケーションから制御権獲得用のWebAPI以外の制御コマンドを発行したとしても、リモート撮影システム105は無視するものとする。
以上の処理により、制御権管理部414が、リモート撮影システム105の制御権の排他を行うことで、操作端末102がリモート撮影システム105のWebサーバ処理部413に接続して操作を行うWebブラウザによる操作を必ず優先することできるようになった。
[第2の実施形態]
第1の実施形態において、操作端末102が制御権を獲得し、無操作で放置された場合に関する例を、第2の実施形態として説明する。以下では、第1の実施形態と同じ構成、処理については省略し、差分について記述する。
操作端末102は制御権を獲得すると、操作端末102は継続的にリモート撮影システム105の通信部405を介しサーバ処理部413に対し定期的に接続状態確認用WebAPIを送信するものとする。接続状態確認用のWebAPIは、サーバ処理部413が定義するものとする。接続状態確認用WebAPIは、KeepAliveに相当するものであり、このWebAPIのヘッダもしくはボディのいずれかに制御権獲得した際のUUIDを入れることで、接続相手を特定するものとする。操作端末102は第1の実施形態に示した2つの操作方法を用いることができるが、いずれの方法も接続状態確認用WebAPIを定期的に発行するものとする。リモート撮影システム105の制御権管理部414は、所定期間内に操作端末102からの接続状態確認用WebAPIを確認できない場合は、当該制御権を開放し、接続を遮断する。ここで、予め定める所定期間を表す閾値は例えば30秒などの固定値でも良いし、2つの操作方法それぞれの閾値を個別に定めても良いものとする。また、各操作方法において、制御権獲得用のWebAPIを通信する際の応答時間を計測することで、予め定めた閾値に応答時間を加えたものを新たな閾値としても良い。もし、先述の閾値を0とした場合は、操作端末102が制御権獲得すると、明示的に操作端末102が切断するまでは常に制御権を獲得した状態になる。この場合、制御権を獲得したユーザ以外のシステム管理者が強制的に制御権を開放できるようにする必要が有る。そこで、リモート撮影システム105のWebサーバ処理部413は、管理者ユーザを設け、かつ、Webサーバ処理部413が提供する管理者ユーザログイン用のWebAPIにて管理者ユーザでログインすることで、強制的に制御権解放できるようにする。
以上の処理により、操作端末102が制御権を獲得し、無操作で放置された場合にも、リモート撮影システム105のWebサーバ処理部413に接続して操作を行うWebブラウザによる操作を必ず優先することできるようになった。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101…ネットワーク、102a〜102d…操作端末、103a〜103c…撮像装置、104a〜104c…雲台、105a〜105c…リモート撮影システム

Claims (7)

  1. 撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置であって、
    ネットワーク上の端末と通信する通信手段と、
    前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御手段と、
    前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第1のアプリケーションプログラム、前記雲台を遠隔操作するための第2のアプリケーションプログラムのいずれが実行されているのかを判定する判定手段と、
    接続を許可した端末を管理する管理手段と、
    前記判定手段の判定、及び、前記管理手段による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定手段と、
    を備えることを特徴とする制御装置。
  2. 前記決定手段は、
    既に接続中の端末が実行しているのが前記第1のアプリケーションプログラムである場合には、前記新たな接続要求に対しては接続不可と判定し、
    既に接続中の端末が実行しているのが前記第2のアプリケーションプログラムである場合であって、前記新たな接続要求が前記第1のアプリケーションプログラムの実行した端末からの要求である場合には、接続中であった前記第2のアプリケーションプログラムを実行している端末に対する通信を切断し、前記新たな接続要求を発行した操作端末に対しては接続可と決定する
    ことを特徴とする請求項1に記載の制御装置。
  3. 前記決定手段は、
    接続不可となった操作端末に対しては、接続不可を示す情報を送信、もしくは、接続に係る要求を無視する
    ことを特徴とする請求項1又は2に記載の制御装置。
  4. 前記接続要求は、当該接続要求を送信した端末が実行しているアプリケーションの情報を含み、
    前記判定手段は、受信した接続要求に含まれる情報に基づいて判定を行う
    ことを特徴とする請求項1乃至3のいずれか1項に記載の制御装置。
  5. 前記判定手段は、
    前記管理手段で管理している接続中の操作端末から、所定期間内に予め設定された情報を受信した場合に接続の状態を継続し、
    前記情報を前記所定期間内に受信しなくなった場合に、前記管理手段で管理されている操作端末との間の接続を切断する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の制御装置。
  6. ネットワーク上の端末と通信する通信手段を有し、撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置の制御方法であって、
    前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御工程と、
    前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第1のアプリケーションプログラム、前記雲台を遠隔操作するための第2のアプリケーションプログラムのいずれが実行されているのかを判定する判定工程と、
    接続を許可した端末を管理する管理工程と、
    前記判定工程の判定、及び、前記管理工程による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定工程と、
    を備えることを特徴とする制御装置の制御方法。
  7. コンピュータが読み込み実行することで、前記コンピュータに、請求項1乃至5のいずれか1項に記載の制御装置の各手段として機能させるためのプログラム。
JP2019143311A 2019-08-02 2019-08-02 制御装置及びその制御方法及びプログラム Active JP7344703B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019143311A JP7344703B2 (ja) 2019-08-02 2019-08-02 制御装置及びその制御方法及びプログラム
US16/945,250 US11196913B2 (en) 2019-08-02 2020-07-31 Control apparatus, method for controlling same, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019143311A JP7344703B2 (ja) 2019-08-02 2019-08-02 制御装置及びその制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021026463A true JP2021026463A (ja) 2021-02-22
JP7344703B2 JP7344703B2 (ja) 2023-09-14

Family

ID=74259512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019143311A Active JP7344703B2 (ja) 2019-08-02 2019-08-02 制御装置及びその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US11196913B2 (ja)
JP (1) JP7344703B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11895394B2 (en) * 2020-09-30 2024-02-06 Stryker Corporation Privacy controls for cameras in healthcare environments
CN115103025B (zh) * 2022-05-18 2023-03-24 慧之安信息技术股份有限公司 基于gbt 28181协议的云台设备控制方法
CN115225683B (zh) * 2022-05-31 2024-04-09 亿航智能设备(广州)有限公司 一种无人机云台通信系统及云台通信数据处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197031A (ja) * 1998-12-28 2000-07-14 Canon Inc 撮像サ―バ及びクライアント及び制御方法及びシステム及び記憶媒体
JP2003023619A (ja) * 2001-07-09 2003-01-24 Matsushita Electric Ind Co Ltd 画像サーバー及び画像サーバーシステム
JP2003087774A (ja) * 2001-09-11 2003-03-20 Fujita Corp 遠隔画像データ取得システムおよび遠隔画像データ取得方法
JP2004120252A (ja) * 2002-09-25 2004-04-15 Canon Inc 撮像装置の制御方法及び画像配信装置
JP2005117163A (ja) * 2003-10-03 2005-04-28 Canon Inc カメラサーバ装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2006054752A (ja) * 2004-08-13 2006-02-23 Unitech Research Kk 自動撮像装置
JP2008141704A (ja) * 2006-12-05 2008-06-19 Canon Inc 通信装置、その制御方法及びプログラム
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
CN102377792A (zh) * 2010-08-07 2012-03-14 浙江工业大学 基于web的家庭网络监控系统
JP2018006817A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 制御装置、制御方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026944B2 (ja) * 1998-08-06 2007-12-26 キヤノン株式会社 映像発信装置及びその制御方法
JP4733942B2 (ja) 2004-08-23 2011-07-27 株式会社日立国際電気 カメラシステム
ATE510396T1 (de) * 2006-02-01 2011-06-15 Research In Motion Ltd System und methode für die validierung eines benutzerkontos mit einer drahtlosen vorrichtung
US8826388B2 (en) * 2012-02-16 2014-09-02 Sonicwall, Inc. Mobile device identify factor for access control policies
JP2017201753A (ja) * 2016-05-06 2017-11-09 キヤノン株式会社 ネットワークシステム及びその制御方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197031A (ja) * 1998-12-28 2000-07-14 Canon Inc 撮像サ―バ及びクライアント及び制御方法及びシステム及び記憶媒体
JP2003023619A (ja) * 2001-07-09 2003-01-24 Matsushita Electric Ind Co Ltd 画像サーバー及び画像サーバーシステム
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
JP2003087774A (ja) * 2001-09-11 2003-03-20 Fujita Corp 遠隔画像データ取得システムおよび遠隔画像データ取得方法
JP2004120252A (ja) * 2002-09-25 2004-04-15 Canon Inc 撮像装置の制御方法及び画像配信装置
JP2005117163A (ja) * 2003-10-03 2005-04-28 Canon Inc カメラサーバ装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2006054752A (ja) * 2004-08-13 2006-02-23 Unitech Research Kk 自動撮像装置
JP2008141704A (ja) * 2006-12-05 2008-06-19 Canon Inc 通信装置、その制御方法及びプログラム
CN102377792A (zh) * 2010-08-07 2012-03-14 浙江工业大学 基于web的家庭网络监控系统
JP2018006817A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 制御装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US20210037177A1 (en) 2021-02-04
US11196913B2 (en) 2021-12-07
JP7344703B2 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JP4590039B2 (ja) カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
JP7344703B2 (ja) 制御装置及びその制御方法及びプログラム
JP4898407B2 (ja) 通信装置
US6822676B1 (en) Camera control system with electronic zoom processing
US20110273570A1 (en) Control device, camera, method and computer program storage device
US20240232300A1 (en) Management system, communication system, and information processing method
JP7204569B2 (ja) 撮像装置、システム、撮像装置の制御方法、プログラム
JP2011004155A (ja) 画像処理装置、その制御方法、プログラム
JP7279416B2 (ja) 仲介端末、通信システム、入力システム、仲介制御方法、及びプログラム
JP5562101B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20140300763A1 (en) Recording medium and control method thereof
TWI522725B (zh) 可與行動裝置連接之相機,及其操作方法
WO2016009751A1 (ja) 撮像装置、撮像システム、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2016178355A (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
US11936701B2 (en) Media distribution system, communication system, distribution control apparatus, and distribution control method
US11949565B2 (en) System, apparatus, and associated methodology for restricting communication bandwidths for communications through a relay device
JP2006060644A (ja) カメラシステム
US20220078332A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
WO2023102696A1 (zh) 云台、无线通信设备、云台的控制方法、设备和云台系统
JP2018157528A (ja) 情報処理システム、クライアント端末及びプログラム
JP2008228039A (ja) ネットワークカメラ装置及びその制御方法
JP6574677B2 (ja) 情報処理装置、情報処理方法
JP2023081101A (ja) 情報処理システム、撮像装置、方法、およびプログラム
JP2018026713A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2021060925A (ja) 情報処理装置及びその制御方法とプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7344703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151