JP2017085208A - 映像伝送システムにおける映像遅延量検出方法 - Google Patents

Abstract

【課題】映像伝送システムに時刻の情報を持つことなく、また、未操作状態でも、操作スイッチを操作してから操作器で映像を受信するまでの一連の遅延量を検出することを可能にした映像伝送システムを提供する。【解決手段】操作器１は同一とならないユニークなコマンドを生成するコマンド生成出力手段１１を有する。カメラ装置の旋回台２においては、生成されたコマンドと１対１の関係性を持つデータを生成するデータ生成出力手段２２と、カメラ装置の映像に生成されたデータを多重するデータ多重手段２３と、多重された映像信号を操作部に送信する映像送信手段２４を有する。操作器において、カメラ装置から送信された映像信号から、カメラ映像と生成されたデータを分離する映像・データ分離手段１４と、出力されたコマンドと映像・データ分離手段で得られたデータから、操作に対するカメラ映像の遅延量を算出する手段１５を有する。【選択図】図１

Description

本発明は、映像伝送システムに関し、特に遠隔からカメラを操作し映像を伝送するシステムに関する。

従来、リモートで遠隔に設定されたカメラや機器を操作する場合、操作用の制御回線とカメラで撮影された映像を伝送するために映像伝送回線を使用している。操作オペレータは映像伝送回線で伝送されたカメラ映像を見ながら、操作器を操作することにより、遠隔地にカメラの設定や撮影方向を変更することができる。

特許文献１には、搬送機械の遠隔操作映像の遅延検出方法が開示されている。

特開2012-41131号公報

しかしながら、上述の特許文献に開示された従来技術では、現在の時間（時刻）が必要あり、また操作オペレータが操作した時にしか操作と映像の遅延量を検出できないため、操作間隔が空いた場合に即座に遅延量を検出できないといった事が発生する。

そこで、本発明の目的は、上記のように時刻機能を有していない、また操作をしていない状態でも、操作をしてから映像を受信する一連の遅延量を検出することを可能にした映像伝送システムを提供することにある。

上記の目的を達成するために、本発明に係る映像伝送システムは、
操作部は同一とならないユニークなコマンドを生成するコマンド生成出力手段を有し、
カメラ装置の受信部においては前記コマンド生成出力手段で生成されたコマンドと1対1の関係性を持つデータを生成するデータ生成出力手段と、
カメラ装置の映像に前記データ生成出力手段からのデータを多重するデータ多重手段と、
前記データ多重手段で多重された映像信号を前記操作部に送信する映像送信手段を有し、
操作部においてカメラ装置から送信された映像信号からカメラ映像と前記データ生成出力手段で生成されたデータを分離する映像・データ分離手段と、
コマンド生成出力手段出力されたコマンドと前段映像・データ分離手段で得られたデータから、操作に対するカメラ映像の遅延量を算出する手段を有することを特徴とする。

本発明によれば、映像伝送システムに時刻の情報を持つことなく、また、未操作状態でも、操作スイッチを操作してから操作器で映像を受信するまでの一連の遅延量を検出することを可能にした映像伝送システムを提供することができる。

実施例1の映像伝送システムにおける機能毎のブロック図である。 操作器の前面スイッチ図である。 実施例１における操作コマンドと受信データの関係を示す図である。 実施例２の映像伝送システムにおける機能毎のブロック図である。 実施例２における操作コマンドと受信データの関係を示す図である。 実施例３の映像伝送システムにおける機能毎のブロック図である。 カメラ映像にマーカを合成した映像である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態にかかわる映像伝送システムの全体構成図である。

［実施例１］
図１において、1は遠隔に設置されたカメラや旋回台を操作する操作器である。2は電動のカメラ旋回台である。3は映像を撮影するためのレンズ32やカメラ31を格納したハウジングである。操作器1は公衆回線やインターネット回線等の制御用回線を介し、旋回台2に接続されている。またハウジング3に搭載されたカメラ31の映像は旋回台2に接続されている。旋回台2に接続された映像はFPU（Field Pickup Unit）を使用した無線伝送回線やインターネット回線を介し、操作器1に接続されている。

操作器1の前面パネルには図2に示す旋回台2のパンやチルト等の操作するジョイスティック101、ハウジング3に搭載したレンズ32のフォーカスを操作するフォーカスつまみ102がある。更にズームを操作するズームレバー103とアイリスを操作するアイリスつまみ104がある。

操作器1の前面パネルのスイッチが操作されると操作器制御部11のコマンド生成部11にてスイッチに対応した同一とならないユニークなコマンドが生成されコマンド送信部12に送信される。コマンド送信部12で送信されたコマンドは制御用回線を介し、旋回台1のコマンド受信部21に入力される。

旋回台2で受信したコマンドはパン及びチルト旋回制御とカメラ31及びレンズ32を制御する旋回台制御部20に入力され、受信したコマンドと1対1となるデータを出力するデータ出力部22を介し、データ多重部23に送信される。データ多重部23ではカメラ31の映像にデータ出力部22から出力されたデータを多重する。

多重されたデータは映像送信部24に入力され映像伝送回線を介し操作器1内の映像受信部13に入力される。映像受信部13で受信した映像は映像・データ分離部14でカメラ映像と旋回台2のデータ多重部23で多重されたデータに分離される。分離されたデータは操作器制御部10内のデータ受信部16に入力され遅延量推定部15に入力される。遅延量推定部15にはコマンド生成部11で生成されたコマンドとデータ受信部16で受信したデータが入力される。

次に図３にコマンド生成部11の操作コマンドとデータ受信部16で受信したコマンドの関係を示し、具体的に操作器1の操作スイッチを操作してから受信した映像の一連の遅延量検出方法について述べる。

スイッチが操作されるとコマンド生成部11では操作コマンドに応じて図３のようなコマンドが生成される。スイッチが操作されない場合はIDLE状態を示すコマンドが一定間隔で生成される。生成されたコマンドは制御用回線を介し旋回台1に入力される。この時コマンド“PC 1”によって旋回台1のパンが操作されたとする。旋回台制御部20ではその指令コマンドに従いパンモータ25を駆動しパン旋回させると同時に指令コマンドと1対1となるようなデータをデータ出力部22に出力する。

図３ではコマンド受信部21で受信した指令コマンドを出力データとしてそのまま出力している。出力されたコマンドはデータ多重部23でカメラ31の映像に多重され、映像送信部24から出力され映像伝送回線を介し操作器1の映像受信部13に入力される。入力された映像信号は映像・データ分離部14に入力されカメラ映像と旋回台制御部22から出力されたデータ部に分離され、データは操作器制御部11内のデータ受信部16に入力され、カメラ映像はモニタ等に出力される。操作器制御部11ではコマンド生成部11で“PC 1”コマンド生成の送信トリガが遅延推定部15に入力される、その送信トリガを元に遅延推定部15で“PC 1”用のタイマーを起動する。

操作器1を操作して生成された指令コマンドは制御用回線を介し旋回台2で受信されカメラ映像に多重され映像伝送回線の経由で同一のコマンドがデータ受信部16で受信される。“PC 1”を受信した場合は受信トリガを遅延推定部15に入力し、起動されたタイマーの値（Count2）を計測することにより、操作してから映像を受信するまでの一連の遅延量の測定ができる。測定が完了したら“PC 1”用のタイマーは停止し、次のコマンド用タイマーとして使用する。上記動作をコマンド生成部11の操作コマンドが生成される毎に繰り返す。

上記のように時刻機能を有していなくても、また無操作時もでも遅延量の測定が可能となる。上記実施例では操作器に映像受信部13、映像・データ分離部14、データ受信部16、遅延量推定部15を設けているが、別筐体でも構わない。

［実施例２］
以下、図４を参照して、本発明の第２の実施例について説明する。図１のシステム全体構成図と異なる部分は操作器1で生成されたコマンドをカメラ31の映像に多重するだけでなく、直接、制御用回線を介し操作器1へ返信するルートを設けている点である。

図４において、1は遠隔に設置されたカメラや旋回台を操作する操作器である。2は電動のカメラ旋回台である。3は映像を撮影するためのレンズ32やカメラ31を格納したハウジングである。操作器1は公衆回線やインターネット回線等の制御用回線を介し、旋回台2に接続されている。またハウジング3に搭載されたカメラ31の映像は旋回台2に接続されている。旋回台2に接続された映像はFPU（Field Pickup Unit）を使用した無線伝送回線やインターネット回線を介し、操作器1に接続されている。

操作器1の前面パネルのスイッチが操作されると操作器制御部11のコマンド生成部11にてスイッチに対応した同一とならないユニークなコマンドが生成されコマンド送信部12に送信される。コマンド送信部12で送信されたコマンドは制御用回線を介し、旋回台1のコマンド受信部21に入力される。

旋回台2で受信したコマンドはパン及びチルト旋回制御とカメラ31及びレンズ32を制御する旋回台制御部20に入力され、受信したコマンドと1対1となるデータを出力するデータ出力部22を介し、データ多重部23に送信すると共に、コマンド転送部26にも送信される。コマンド転送部26は制御用回線を介し操作器1のコマンド転送受信部17に受信したコマンドと1対1となるデータを送信する。コマンド転送受信部17で受信したデータは操作器制御部の遅延量推定部15入力される。

データ多重部23ではカメラ31の映像にデータ出力部22から出力されたデータを多重する。多重されたデータは映像送信部24に入力され映像伝送回線を介し操作器1内の映像受信部13に入力される。映像受信部13で受信した映像は映像・データ分離部14でカメラ映像と旋回台2のデータ多重部23で多重されたデータに分離される。分離されたデータは操作器制御部10内のデータ受信部16に入力され遅延量推定部15に入力される。遅延量推定部15にはコマンド生成部11で生成されたコマンドとデータ受信部16での受信データとコマンド転送受信部17で受信したデータが入力される。

次に図５にコマンド生成部11の操作コマンドとコマンド転送受信部17とデータ受信部16で受信したコマンドの関係を示し、具体的に操作器1の操作スイッチをしてからの操作用回線の遅延量と映像伝送回線の遅延量検出方法について述べる。

スイッチが操作されるとコマンド生成部11では操作コマンドに応じて図５のようなコマンドが生成される。また、スイッチが操作されない場合はIDLE状態を示すコマンドが一定間隔で生成される。生成されたコマンドは制御用回線を介し旋回台1に入力される。この時コマンド“PC 1”によって旋回台1のパンが操作されたとする。旋回台制御部20ではその指令コマンドに従いパンモータ25を駆動しパン旋回させると同時に指令コマンドと1対1となるようなデータをデータ出力部22に出力する。図５ではコマンド受信部21で受信した指令コマンドを出力データとしてそのまま出力している。出力されたコマンドはデータ多重部23でカメラ31の映像に多重され、映像送信部24から出力され映像伝送回線を介し操作器1の映像受信部13に入力される。また、データ部22から出力されたコマンドはコマンド転送部26にも入力され制御用回線を介し、操作器1のコマンド転送受信部17に入力される。

入力された映像信号は映像・データ分離部14に入力されカメラ映像と旋回台制御部22から出力されたデータ部に分離され、データは操作器制御部11内のデータ受信部16に入力され、カメラ映像はモニタ等に出力される。操作器制御部11ではコマンド生成部11で“PC 1”コマンド生成の送信トリガが遅延推定部15に入力される、その送信トリガを元に遅延推定部15で”PC 1”用のタイマーを起動する。

操作器1を操作して生成された指令コマンドの1つは制御用回線経由で、送り替えされコマンド転送受信部17で受信される。もう1つは制御用回線を介し旋回台2で受信されカメラ映像に多重され映像伝送回線を経由しデータ受信部16で受信される。

コマンド転送受信部17 及びデータ受信部16 において“PC 1”を受信した場合はそれぞれの受信トリガを遅延推定部15に入力し、起動されたタイマーの値を計測することにより、遅延量の測定ができる。

コマンド転送受信部17での受信トリガでのタイマーの値がCount1とした場合、コマンドを受信するには制御用回線を往復での使用するためその半分のCount1 /2が制御用回線の遅延量となる。また、操作してから映像を受信するまでの一連の遅延量の測定方法は実施例1と同様である。映像伝送回線経由で測定が完了したら“PC 1”用のタイマーは停止し、次のコマンド用タイマーとして使用する。上記動作をコマンド生成部11の操作コマンドが生成される毎に繰り返す。

実施例２では操作してから映像を受信するまでの一連の遅延量だけでなく、制御用回線だけの遅延量についても測定が可能である。

［実施例３］
以下、図６を参照して、本発明の第３の実施例について説明する。システム全体構成は図１と同じであるが、操作器1のブロック図が異なる点である。図６において実施例1と構成が異なる部分の動作について説明する。

操作器1の操作器制御部10内の遅延量推定部15にて、操作器1の操作スイッチを操作してから映像を受信するまでの一連の遅延量の測定する動作ついては実施例１と同一である。遅延量推定部15に検出された遅延量の情報は画像生成部17に入力される。画像生成部17では遅延量をもとにスイッチ操作によって予測されるマーカ画像が生成され、画像合成部18に入力される。

操作器1の映像受信部13で受信した映像は映像・データ分離部14でカメラ映像と旋回台制御部22から出力されたデータ部に分離され、カメラ映像は、画像合成部18に入力される。画像合成部18において画像生成部17で生成されたマーカ画像と映像・データ分離部14から出力されるカメラ映像を合成しモニタ等に図7のような映像を出力する。

図７のマーカはスイッチ操作によって予測される画面中心を示しており、図７の例ではパンを操作した時のマーカ画像とカメラ映像を合成映像である。

以上に示したように、操作してから映像を受信するまでの一連の遅延量を検出し、その遅延量から予測されるマーカをカメラ映像と合成表示することにより、操作オペレータは制御用回線や映像伝送回線に遅延が発生しても、予測された合成映像により、オペレータの意図した場所に操作することが可能である。

上記例では画像生成部17の画像はマーカ画像であったが、カメラが撮影可能な範囲のパノラマ映像を事前に取得し、遅延量から予測されるカメラ映像を画像合成部18に出力し、遅延量から予測される映像と現時点でのカメラ映像を2画面を合成し一つ映像としてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

1 操作器、11 コマンド生成部、14 映像・データ分離部、15 遅延量推定部、
12 コマンド送信部、21 コマンド受信部、22 データ出力部、23 データ多重部

Claims (3)

1. 遠隔地に設定されたカメラ装置をリモートで操作を行う映像伝送システムにおいて、
   操作部は同一とならないユニークなコマンドを生成するコマンド生成出力手段を有し、
   カメラ装置の受信部においては前記コマンド生成出力手段で生成されたコマンドと1対1の関係性を持つデータを生成するデータ生成出力手段と、
   カメラ装置の映像に前記データ生成出力手段からのデータを多重するデータ多重手段と、
   前記データ多重手段で多重された映像信号を前記操作部に送信する映像送信手段を有し、
   操作部においてカメラ装置から送信された映像信号からカメラ映像と前記データ生成出力手段で生成されたデータを分離する映像・データ分離手段と、
   コマンド生成出力手段出力されたコマンドと前段映像・データ分離手段で得られたデータから、操作に対するカメラ映像の遅延量を算出する手段を有する事を特徴とする映像遅延量検出方法。
2. 遠隔地に設定されたカメラ装置をリモートで操作を行う映像伝送システムにおいて、
   操作部は同一とならないユニークなコマンドを生成するコマンド生成出力手段を有し、
   カメラ装置の受信部においては前記コマンド生成出力手段で生成されたコマンドと1対1の関係性を持つデータを生成するデータ生成出力手段と、
   前記データ生成出力手段からのデータを操作器に転送するデータ転送部と、
   カメラ装置の映像に前記データ生成出力手段からのデータを多重するデータ多重手段と、
   前記データ多重手段で多重された映像信号を前記操作部に送信する映像送信手段を有し、
   操作部においてカメラ装置から出力された映像信号からカメラ映像と前記データ生成出力手段で生成されたデータを分離する映像・データ分離手段と、
   前記データ転送部から出力データを受信する転送データ受信部と、
   コマンド生成出力手段出力されたコマンドと前段映像・データ分離手段で得られたデータと、前記転送データ受信部で得られたデータから操作に対する映像の遅延量と操作のみに対する遅延量を算出する手段を有する事を特徴とする映像遅延量検出方法。
3. 操作部には請求項1に記載の映像遅延量検出方法で得られた操作に対するカメラ映像の遅延量から予測される位置の画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像と前段映像・データ分離手段で分離された映像を合成する画像合成手段を設けた事を特徴とする映像伝送システム。