JP3715682B2 - Video transmission device, video transmission system, and video transmission method - Google Patents

Video transmission device, video transmission system, and video transmission method Download PDF

Info

Publication number
JP3715682B2
JP3715682B2 JP16383195A JP16383195A JP3715682B2 JP 3715682 B2 JP3715682 B2 JP 3715682B2 JP 16383195 A JP16383195 A JP 16383195A JP 16383195 A JP16383195 A JP 16383195A JP 3715682 B2 JP3715682 B2 JP 3715682B2
Authority
JP
Japan
Prior art keywords
video
camera
predetermined
transmission
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16383195A
Other languages
Japanese (ja)
Other versions
JPH08322032A (en
Inventor
健 波潟
智明 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP16383195A priority Critical patent/JP3715682B2/en
Publication of JPH08322032A publication Critical patent/JPH08322032A/en
Application granted granted Critical
Publication of JP3715682B2 publication Critical patent/JP3715682B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、複数のビデオカメラの出力映像を映像受信装置に送信する映像送信装置映像伝送システム及び映像送信方法に関する。
【0002】
【従来の技術】
汎用コンピュータを用いたテレビ会議システム又はビデオ会議システムでは、パン、チルト及びズームなどを外部制御できるビデオ・カメラが映像入力手段として用いられる。この場合、通常は、1台のコンピュータに1台のビデオ・カメラが接続され、ビデオ・カメラは、そのコンピュータのオペレータを撮影する向きに設置される。
【0003】
また近年、複数の遠隔地の状況を把握するためのツールとして、アウエアネス・システムと呼ばれるシステムの研究開発が進んでいる。このシステムは、通常、複数の地点にコンピュータ制御可能なビデオ・カメラと、これを制御すると共に、入力された映像を送信するためのコンピュータとを配置して、遠隔地のセンターで、複数の地点からの映像を同時に見ることができるようにしたものであり、いわゆる、遠隔監視システムに近似している。提案されているアウエアネス・システムでも、1台のコンピュータに1台のビデオ・カメラが接続される構成がとられることが多い。
【0004】
【発明が解決しょうとする課題】
パン、チルト及びズームが可能なビデオ・カメラでっても、それらの可動範囲には限界があるので、映像入力できる範囲にも制限があり、ビデオ・カメラの周囲の狭い範囲の映像しか取り込めない。
【0005】
また、1台のビデオ・カメラを制御するために1台のコンピュータが必要となるため、コスト的に見て、ビデオ・カメラを増設するのが困難である。
【0008】
更には、1台のコンピュータで複数のビデオ・カメラを制御できるようにするのは、困難では無いが、複数のビデオ・カメラの出力映像を送信するには、単純に考えてビデオ・カメラの台数分の回線容量が必要になり、通信コスト負担がビデオ・カメラの台数に比例して増大する。
【0010】
コンピュータにビデオ・カメラを接続して映像通信を行なう場合、コンピュータ1台にビデオ・カメラを1台接続したので、ビデオ・カメラの増設に際してのコストが大きい。これを解決するには、スイッチャによりカメラ映像を切り替えて送信する構成や、コンピュータに複数のビデオ・カメラの映像出力を入力する装置を導入し複数映像を送信できるようにする構成が考えられるが、前者では複数の映像を時間的に切り替えて送信するので、送信された映像が不自然さを持ちやすい。また、後者では、各カメラ毎に映像伝送路を確保しなければならず、大きな通信容量が必要となり、更には、映像送信を行なうCPU負荷も大きくなるという問題がある。
【0011】
本発明は、このような問題点を解決する映像送信装置、映像伝送システム及び映像送信方法を提示することを目的とする。
【0012】
【課題を解決するための手段】
本発明に係る映像送信装置は、外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え手段と、前記映像入力切替え手段により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換手段と、前記変換手段により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信手段とを具備し、前記映像入力切替え手段が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信手段は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信することを特徴とする。
【0015】
また、本発明に係る映像伝送システムは、複数のビデオカメラに接続された映像送信装置から送信された映像を映像受信装置において表示する映像伝送システムであって、前記映像送信装置は、外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え手段と、前記映像入力切替え手段により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換手段と、前記変換手段により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信手段とを具備し、前記映像受信装置は、前記送信手段により送信された出力映像を表示する表示手段を具備し、前記映像入力切替え手段が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信手段は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信し、前記映像受信装置の前記表示手段は、前記送信手段により送信された複数のビデオカメラの出力映像を一覧表示することを特徴とする。
【0016】
本発明に係る映像送信方法は、複数のビデオカメラの出力映像を映像受信装置に送信する映像送信装置の映像送信方法であって、外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え工程と、前記映像入力切替え工程により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換工程と、前記変換工程により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信工程とを具備し、前記映像入力切替え工程が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信工程は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信することを特徴とする。
【0018】
【作用】
上記手段により、1台で複数の映像入力手段を制御できるようになる。複数の映像入力手段を具備するので、より広い範囲の映像を取り込めるようになる。これらにより、1地点でのコストを大幅に低減できる。
【0021】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【0022】
図1は、本発明の一実施例の概略構成ブロック図を示す。10−1,10−2,・・・,10−Nは、パン、チルト、ズーム及びフォーカス等を外部制御自在なビデオ・カメラ、12は、コンピュータ20からの制御信号に従い、ビデオ・カメラ10−1,10−2,・・・,10−Nの1つの出力映像信号を選択し、コンピュータ20に供給するカメラ映像入力選択装置である。カメラ映像入力選択装置12はまた、コンピュータ20からのカメラ制御信号に従い、ビデオ・カメラ10−1,10−2,・・・,10−Nのうちの任意に指定されたビデオ・カメラのパン等を制御する。カメラ映像入力選択装置12とコンピュータ20を結ぶ制御信号線は、本実施例ではRS−232Cであるが、本発明がこれに限定されないことは明らかである。
【0023】
コンピュータ20において、22は、全体を制御するCPU、24は主記憶、26は、カメラ映像入力選択装置12を制御する制御信号を出力する制御信号ポート、28は、カメラ映像入力選択装置12からの映像信号をA/D変換して取り込むビデオ・キャプチャ装置、30はビットマップ・ディスプレイ、32は、コンピュータ20をコンピュータ・ネットワーク又は通信回線網に接続するネットワーク・インターフェース、34は、CPU22乃至インターフェース32を相互に接続する内部バスである。ネットワーク・インタフェース32により、コンピュータ20にネットワークを経由して遠隔地からカメラ制御信号を送り、カメラ10−1,10−2,・・・,10−Nのパン等を制御させることができる。
【0024】
カメラ映像入力選択装置12は、ビデオ・カメラ10−1,10−2,・・・,10−Nのうち、コンピュータ20の制御信号ポート26からの制御信号により指定される1台の出力映像を選択してビデオ・キャプチャ装置28に供給する。ビデオ・キャプチャ装置28は、カメラ映像入力選択装置12からの映像信号をアナログ・ディジタル変換すると共に所定の内部形式に変換し、バス34を介して主記憶24に転送する。主記憶24に取り込まれたビデオ・データは、ネットワーク・インターフェース32を介してネットワークに出力されると共に、ディスプレイ30にも供給されて映像表示される。
【0025】
本実施例では、各カメラ10−1,10−2,・・・,10−Nの出力映像を送信するネットワーク上の伝送路を、それぞれ、論理的にチャネル1、チャネル2、・・・チャネルNと呼んで区別する。映像データは、実際には圧縮符号化されて各チャネルに伝送されるが、本発明の必須の要素では無いので、圧縮符号化の処理については説明を省略した。また、本実施例では、N個のカメラのうち、1つのカメラの出力映像を高いフレーム・レートで送信し、他のカメラの出力映像を相対的に低いフレーム・レートで送信するので、各チャネルの伝送容量が全て30フレーム/秒を満たす必要は無い。高いフレーム・レートで映像を伝送するチャネルに、動的に十分大きな伝送容量を割り当てればよい。
【0026】
本実施例では、映像は、ブロードキャスト・アドレスを使用して送信される。ブロードキャストのために確保したN個のポート番号にチャネル番号を割り当てる。ブロードキャスト時にチャネルを指定することで、複数の映像を実質的に同時にブロードキャストできるようになる。ネットワークのプロトコルとしては、TCP/IPなど様々なものがあり、送信するアドレスにもブロードキャスト・アドレスの他に、マルチキャスト・アドレス及びユニキャスト・アドレスがある。本実施例では、カメラ10−1,10−2,・・・,10−Nの台数分の数の通信路を確保できれば、プロトコル及びアドレス共に、上記例に限定されない。
【0027】
このようなN個の通信路を確保しておき、例えば、カメラ10−1の出力映像をチャネル1に送信し、カメラ10−2の出力映像をチャネル2に送信し、カメラ10−m(mは1以上で、N以下)の出力映像をチャネルmに送信する。
【0028】
映像送信の開始を指示する命令として、以下の命令を設けた。即ち、
send(m)
m:チャネル番号(1≦m≦N)
この命令に応じて、図2に示すように、ビデオ・キャプチャ装置28は、カメラ映像入力選択装置12からの1フレーム分の映像信号をA/D変換して取り込み(S1)、取り込まれた映像がディスプレイ30により表示され(S2)、ネットワーク・インターフェース32を介してネットワークのチャネルmに出力される(S3)。
【0029】
また、カメラ映像入力選択装置12へのカメラ映像選択切り替え命令として、以下の命令を設けた。即ち、
change(n)
n:カメラ番号(1≦n≦N)
この命令は、カメラ映像入力選択装置12に対し、カメラ番号nのカメラ映像を選択してコンピュータ20に出力することを指示するものであり、これに対応する制御信号が制御信号ポート26からカメラ映像入力選択装置12に供給される。実際に試験した例では、change命令の実行には約1秒程度かかった。勿論、各部の処理速度によって、これより速くなり、又は遅くなる。
【0030】
本実施例では、N個のカメラ映像のそれぞれを、一定の時間間隔で更新される静止画として送信するように動作させることができる。これにより、伝送する映像数に比べて、伝送回線の容量が少なくて済む。なお、以下の説明では、フレームの更新が1秒以上の時間で行なわれる連続的に表示される映像を「静止画」と呼び、これに対して、より短いレートでフレームが更新される連続映像を「動画」と呼ぶ。即ち、本実施例では、フレーム・レートが1フレーム/秒未満の場合に静止画と呼び、1フレーム/秒以上の場合に動画と呼ぶ。
【0031】
図3は、本実施例の第1の動作フローチャートを示す。先ず、ネットワーク上にカメラ10−1,・・・,10−Nの数と同じN個の通信チャネルを確保する(S11)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S12)。ここでは、変数nの初期値を1としたが、0又は2からN−1までのどの数値をセットしてもよいことは明らかである。
【0032】
映像を送信するカメラを循環的に切り替えていくためには、change命令及びsend命令を一定時間間隔で発行すればよい。図3では、これをタイムアウト手続きにより実現している。即ち、change命令による映像切替えと、1フレーム分の映像の取り込みと送信のsend命令の発行周期をTs(秒)とし、これをタイムアウト時間として登録する(S13)。ここでは、Ts=10秒とした。
【0033】
タイムアウトの発生、即ちTsの経過を待ち(S14)、タイムアウトの発生を検出すると(S15)。以降の処理で消費する時間も加味するために、先ず、Tsを再びタイムアウト登録する(S16)。
【0034】
カメラ番号変数nをインクリメントし(S17)、Nより大きくなれば(S18)、変数nに1をセットする(S19)。このカメラ番号変数nをパラメータとして、change命令によりカメラ映像入力を切り替え(S20)、send命令によりそのカメラ映像をチャネル番号nのチャネルに1フレーム送信する(S21)。change命令とsend命令で同じ変数nをパラメータとしているので、カメラ番号nのカメラ映像がチャネル番号nの通信路に送信されることになる。
【0035】
send命令の発行後、S14に戻り、次のタイムアウトを待つ。
【0036】
このようにして、カメラ10−1,10−2,・・・,10−Nの出力映像が循環的に、Ts(ここでは10秒)の時間間隔で選択され、対応するチャネルに送信される。受信側から見ると、各カメラの映像は、Ts×N毎に更新される静止画になっている。
【0037】
S17〜S21の処理に要する時間をTpとすると、タイムアウト時間Tsは、
Ts>Tp
であればよいことは明らかである。即ち、Tsは、上式を満たす限り、10秒である必要はない。本実施例では、change命令の処理時間を1秒程度としているので、Tpが1秒より小さくなることはない。従って、Tsも、1秒より小さくとることはできない。
【0038】
このように動作させることで、各カメラ映像が低いフレーム・レートで送信されることになり、低速なコンピュータでも十分に対応できるようになる。受信側では、低いフレーム・レートではあるが、多数のカメラ映像を受信できるので、広い範囲を大雑把に把握できる。
【0039】
本実施例はまた、N個のカメラ映像の内の1つを、所定期間、動画として送信するとともに、動画として送信するカメラ映像を一定周期で順次切り替えていくことができる。映像を送信しないカメラの映像は、受信側では静止画となる。これにより、図3の場合に比べて、受信側では、循環的で間欠的ではあるが、各カメラの撮影範囲の時間的な変化をより細かく把握できるようになる。このような動作を実現するフローチャートを図4に示す。図4では、カメラ映像を切り替えるための時間変数Tsに加えて、動画伝送のフレーム周期を規定する時間変数tsを導入する。
【0040】
先ず、ネットワーク上にカメラ10−1,・・・,10−Nの数と同じN個の通信チャネルを確保する(S31)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S32)。変数nは1からNまでの何れであってもよい。時間変数Ts及びtsをタイムアウト登録し(S33,34)、イベント(ここではタイムアウト)の発生を待つ(S35)。ここでは、ts=0.1秒とした。
【0041】
タイムアウトの発生を検出したら(S36)、それが、Tsによるものか、又はtsによるものかを判別する(S37)。tsによるタイムアウトの場合には、tsを再びタイムアウト用に登録し(S38)、カメラ番号変数nをパラメータとするsend命令により、カメラ番号nのカメラの出力映像をチャネルnに1フレーム、送信し(S39)、S35に戻る。Tsに相当する時間(即ち、10秒)が経過するまで、ts(0.1秒)を周期として、カメラ10−nの映像がチャネルnに出力される。即ち、カメラ10−nの映像が、10フレーム/秒のフレーム・レートで10秒間、チャネルnに出力される。
【0042】
タイムアウトの発生がTsによるものであるとき(S37)、先ず、Tsを再びタイムアウト登録する(S40)。カメラ番号変数nをインクリメントし(S41)、Nより大きくなれば(S42)、変数nに1をセットする(S43)。このカメラ番号変数nをパラメータとして、change命令によりカメラ映像入力を切り替え(S44)、S35に戻って、次のイベントの発生を待つ。
【0043】
このようにして、カメラ10−1の映像が10秒間、10フレーム/秒で送信されると、カメラ10−2の映像が同様に、10秒間、10フレーム/秒で送信される。カメラ10−3,・・・10−Nと切り替わっていき、カメラ10−Nの後には、再びカメラ10−1の映像が、10秒間、動画送信される。受信側から見ると、各カメラ映像は10秒間、動画で表示された後、10×(N−1)秒間静止画となる。この動作例では、伝送路の伝送容量は、10フレーム/秒を満たし得るものであればよい。
【0044】
S41からS44の処理を実行するのに要する時間は、Tsより短くなければならない。勿論、Ts>tsでなければならない。
【0045】
本実施例はまた、N個のカメラ映像のなかから1つを重点的に、即ち動画として送信し、残りのN−1個のカメラ映像を一定時間毎に更新される静止画として送信することもできる。図5は、その動作フローチャートを示す。
【0046】
図5を説明する。先ず、ネットワーク上にカメラの数と同じN個の通信路を確保する(S51)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S52)。動画送信するカメラのカメラ番号を変数kにセットする(S53)。変数kは、1からNまでの何れであってもよいが、ここでは1にしている。change命令により、映像を取り込むカメラをカメラ番号kのカメラに切り替える(S54)。
【0047】
カメラ映像を切り替えるための時間変数Tsと、動画伝送のフレーム周期を規定する時間変数tsの各値をタイムアウト登録し(S55,S56)、イベントの発生を待つ(S57)。ここでは、Ts=10秒、ts=0.1秒とした。
【0048】
Ts又はtsのタイムアウトの発生を検出すると(S58)、tsのタイムアウトではS60以降を実行し、TsのタイムアウトではS62以降を実行する(S59)。通常は、先ず、tsのタイムアウトが発生する。
【0049】
tsのタイムアウトのとき(S59)、tsを再びタイムアウトに再登録し(S60)、カメラ番号kのカメラ映像をチャネルkに1フレーム送信し(S61)、S57に戻る。Ts=10秒、ts=0.1秒としたので、カメラ番号kのカメラ映像が、10秒間にわたり、10フレーム/秒で送信される。
【0050】
Tsのタイムアウトが発生すると(S59)、Tsを再びタイムアウトに再登録し(S62)、カメラ番号nをインクリメントする(S63)。新たなカメラ番号nがkに一致する場合(S64)、nを更にインクリメントする(S65)。カメラ番号kのカメラ映像が動画送信の対象になっているからである。nがNを越えていれば、nに1をセットする(S66,S67)。
【0051】
送信すべきカメラをchange命令によりカメラ番号nのカメラに切り替え(S68)、send命令によりカメラ番号nのカメラ映像をチャネルnに1フレーム送信し(S69)、送信すべきカメラをchange命令によりカメラ番号kのカメラに切り替える(S70)。再びS57に戻り、イベントの発生を待つ。
【0052】
Tsは、S63からS70の処理を行なうのにかかる時間より長い時間に設定されなければならない。勿論、tsはTsよりも短くなければならない。
【0053】
このようにして、カメラ10−1の映像を動画で送信しつつ、それ以外のカメラの映像を10秒間隔で切り替えながら静止画として、送信できる。どの映像がどのカメラによるものかは、各映像が伝送される伝送チャネルにより識別できる。受信側から見ると、カメラ10−1の映像は10秒毎に、他のカメラ映像を1フレーム送信する処理に要する時間、即ち、S63〜S70の処理に要する時間だけ、途切れる動画になっており、他のカメラ映像は、それぞれ、10×(N−1)秒毎に更新される静止画となっている。
【0054】
このような機能又は動作は、TV会議システム又はビデオ会議システムなどで、相手端末のオペレータを重点的に映像表示しながらも、なおかつ周囲の状況も表示したいといった場合に好適である。
【0055】
図3に示す動作例では、各カメラ映像の切り替えを高速に実行できれば、各カメラ映像を動画送信できる。例えば、先に説明したTpを0.05秒以下にでき、且つ、Nが10程度のときには、各カメラ映像のフレーム・レートは、2{=1/(T×N)}フレーム/秒となり、先の定義によれば動画と看做せる。勿論、このためには更に、change命令を高速に実行できる必要があることは明らかである。
【0056】
このようにすれば、複数の地点の状況を少ない回線容量で映像送信できる。
【0057】
次に、映像通信端末間の映像送受信及びカメラ制御を統括管理するアクセス管理手段を設けた実施例を説明する。図6はその実施例の概略構成ブロック図である。100−1,100−2,・・・100−Kは、映像の入力、送信、受信及び表示を行なう映像通信装置であり、一般的には、ワークステーションにビデオ・カメラを接続したものである。映像通信装置100−1,100−2,・・・100−Kは、ネットワーク102に接続し、相互に映像を通信できる。
【0058】
図7は、映像通信装置100−1,100−2,・・・100−Kのハードウエア構成を示す概略ブロック図である。110−1,110−2,・・・,110−Nは、パン、チルト、ズーム及びフォーカス等を外部制御自在なビデオ・カメラ、112は、コンピュータ120からの制御信号に従い、ビデオ・カメラ110−1,110−2,・・・,110−Nの1つの出力映像信号(NTSC信号、Sビデオ信号又はRGB信号の何れでもよい。)を選択し、コンピュータ120に供給するカメラ映像入力選択装置である。カメラ映像入力選択装置112はまた、コンピュータ120からのカメラ制御信号に従い、ビデオ・カメラ110−1,110−2,・・・,110−Nのうちの任意に指定されたビデオ・カメラのパン等を制御する。カメラ映像入力選択装置112とコンピュータ120を結ぶ制御信号線は、本実施例ではRS−232Cに基づくものであるが、本発明がこれに限定されないことは明らかである。
【0059】
コンピュータ120において、122は全体を制御するCPU、124は主記憶、126は、カメラ映像入力選択装置112を制御する制御信号を出力する制御信号ポート、128は、カメラ映像入力選択装置112からの映像信号をA/D変換して取り込むビデオ・キャプチャ装置、130はビットマップ・ディスプレイ、132は、コンピュータ120をコンピュータ・ネットワーク(公衆通信回線網を含む。)102に接続するネットワーク・インターフェース、134はポインティング・デバイスとしてのマウス、136は、CPU122乃至マウス134を相互に接続する内部バスである。ネットワーク・インタフェース132により、コンピュータ120にネットワークを経由して遠隔地からカメラ制御信号を送り、カメラ110−1,110−2,・・・,110−Nのパン等を制御させることができる。
【0060】
カメラ映像入力選択装置112は、ビデオ・カメラ110−1,110−2,・・・,110−Nのうち、コンピュータ120の制御信号ポート126からの制御信号により指定される1台の出力映像を選択してビデオ・キャプチャ装置128に供給する。ビデオ・キャプチャ装置128は、カメラ映像入力選択装置112からの映像信号をアナログ・ディジタル変換すると共に所定の内部形式に変換し、バス136を介して主記憶124に転送する。主記憶124に取り込まれたビデオ・データは、ネットワーク・インターフェース132を介してネットワーク102に出力されると共に、ディスプレイ130にも供給されて映像表示される。
【0061】
以上の構成により、各映像通信装置100−1,100−2,・・・100−Kは互いに、ネットワーク102を介して、映像情報を送受信でき、他の映像通信装置100−1,100−2,・・・100−Kに接続するカメラを制御できる。
【0062】
本実施例では、ネットワーク102に接続する全カメラを、それが接続するコンピュータのホスト名と、そのコンピュータにおけるカメラ番号で特定する。具体的には、コンピュータのホスト名とカメラ番号を’.’で連結したカメラ名を利用する。例えば、ホスト名hostAのコンピュータに接続するカメラ番号1のカメラには、”hostA.1”というカメラ名が付けられる。ネットワーク102に接続する各カメラには、後述するアクセス管理プロセスにより、1つの映像伝送チャネル(又はチャネル番号)が割り当てられてる。
【0063】
本実施例ではまた、映像送信にブロードキャスト通信を利用して、複数地点への映像送信を可能とする。チャネル番号はブロードキャスト・アドレスのポート番号であり、チャネル番号を指定することによりブロードキャスト・アドレスの特定ポートにデータを送信できる。映像受信に関しては、ネットワーク102上の映像データは、ネットワーク・インターフェース132により取り込まれ、ビットマップ・ディスプレイ130に映像表示される。チャネル番号を指定することで、ブロードキャストされている映像の中から目的のカメラ映像を受信できる。
【0064】
映像データは、実際には圧縮符号化されて各チャネルに伝送されるが、本発明の必須の要素では無いので、圧縮符号化の処理については説明を省略した。
【0065】
図8は、hostAというホスト名の映像通信装置100−1,100−2,・・・,又は100−Kのモニタ・ディスプレイの画面例である。この映像通信装置には、4台のビデオ・カメラが接続されているものとする。
【0066】
140は、この映像通信装置に直接接続するカメラからの入力映像を表示する入力映像ウインドウである。入力映像ウインドウ140は、この映像通信装置に直接接続されているビデオ・カメラの各々の映像を表示する映像表示域140−1,・・・140−4からなり、各映像表示域140−1,・・・140−4の下には、各映像表示域140−1,・・・140−4に表示される映像のカメラ名が表記される。通常は、入力され、且つ他の映像通信装置に送信されている映像が、入力映像ウインドウ140に表示されるが、入力されている全映像を入力映像ウインドウ140に表示し、その内で、他の映像通信装置に送信している映像について、送信中であることを示す記号などを別途、表示するようにしてもよい。
【0067】
142は、他の映像通信装置から送信された映像を表示する受信映像ウインドウである。本実施例では、受信映像ウインドウ142は、6つの映像表示域142−1,・・・142−6を具備し、6つの受信映像を同時に表示できる。各映像表示域142−1,・・・,142−6の下には、送信元のカメラ名が同時に表示されるようになっている。カメラ名リスト142−7には、他の映像通信装置に接続する利用可能なカメラのカメラ名がリストとして表示される。このリストは、後述するアクセス管理プロセスのデータベースにアクセスして入手できる。
【0068】
カメラ名リスト142−7に表示されるリストから、6つの映像表示域142−1,・・・142−6のうちの指定の表示域で映像を表示するカメラ名を選択する。例えば、カメラ名リスト142−7に表示される何れかのカメラ名をクリックして選択し、6つの映像表示域142−1,・・・,142−6の何れかをクリックして選択する。又は、カメラ名リスト142−7に表示される何れかのカメラ名をクリックして選択した状態で、6つの映像表示域142−1,・・・,142−6の何れかの上にドラッグする。
【0069】
削除ボタン146をクリックした後に、映像が表示されている映像表示域をクリックすることにより、その映像表示域での映像表示を終了できる。この操作は、後述するアクセス管理プロセスに、受信状態の変化として通知される。
【0070】
144は、カメラを遠隔操作するためのカメラ操作ウインドウであり、画面上のボタン又はスクロールバーにより、任意の指定のカメラのパン、チルト及びズームを遠隔操作できる。このカメラ操作ウインドウ144は、入力映像ウインドウ140及び受信映像ウインドウ142の、映像を表示している何れかの映像表示域140−1,・・・140−4,142−1,・・・142−6内をクリックすることによりポップアップする。これにより、クリックした映像表示域に表示される映像を入力するカメラを遠隔操作できる。他の映像通信装置に接続するカメラの場合には、ネットワーク経由でカメラ制御信号が送られる。カメラ操作を中止する際には、解除ボタン144−1をクリックするか、又は、カメラ操作ウインドウ144自体を閉じる操作をすればよい。すると、カメラ操作ウインドウ144が閉じて、カメラ操作が終了する。カメラ操作の開始及び終了に関しても、アクセス管理プロセスに通知される。
【0071】
図9は、本実施例のプロセス構成図である。本実施例には、基本的に、映像送信プロセス150、映像表示プロセス152、カメラ制御サーバ154、カメラ制御クライアント156及びアクセス管理プロセス158の5種類のプロセスがある。
【0072】
映像送信プロセス150は、カメラ映像入力選択装置112の映像切り替え、映像の取り込み及び映像送信を管轄する。入力された映像は入力映像ウインドウ140に表示される。映像表示プロセス152は、複数の他地点からの映像の受信及び表示を管轄する。他地点から配送される映像の中から任意の6地点の映像を受信映像ウインドウ142に表示する。
【0073】
カメラ制御サーバ154は、カメラ制御信号をネットワーク経由で受け取り、制御対象のカメラの適したカメラ制御信号を制御信号ポート126を介してカメラ映像入力選択装置112に出力する。カメラ制御クライアント156は、カメラ操作ウインドウ144に対する操作に応じて、指定のカメラに向けてカメラ制御信号を送出する。
【0074】
アクセス管理プロセス158は、ネットワーク102に接続されている全ての映像通信装置100−1,100−2,・・・,100−Kの映像送受信及びカメラ操作を管理する。
【0075】
プロセス150,152,154,156は、各映像通信装置100−1,100−2,・・・,100−K上で稼働しているが、アクセス管理プロセス158は、ネットワーク102に接続する何れか1つの映像通信装置上でのみ稼働している。
【0076】
図10は、アクセス管理プロセス158が管理する管理データベースの構造例を示す。この管理データベースは、映像送信装置リスト、映像受信装置リストとからなる。
【0077】
映像送信装置リストは、送信カメラ名、チャネル番号、カメラ操作ホスト名及び受信ホスト・リストの各フィールドからなる。送信カメラ名には、ネットワーク102上の全てのカメラのカメラ名が登録される。この登録は、各映像通信装置100−1,100−2,・・・,100−Kにおいて映像送信プロセス150が起動された時に行なわれる。チャネル番号のフィールドには、送信カメラ名のフィールドに登録されたカメラの映像を送信するのに割り当てられたチャネルのチャネル番号が格納される。カメラ名とチャネル番号は1対1に対応する。アクセス管理プロセス158は、使用されていないポート番号を各カメラに順番に割り当てることで、互いに重複しないチャネルを各カメラに割り当てる。
【0078】
カメラ操作ホストのフィールドには、送信カメラ名で特定されるカメラを遠隔操作しているホストがある場合に、そのホスト名が格納される。遠隔操作しているホストが存在しない場合、このエントリは空になっている。カメラ操作ウインドウ144のポップアップにより、該当するホスト名がカメラ操作ホストのフィールドに登録され、カメラ操作ウインドウ144のクローズにより、その登録が抹消され、再び空になる。
【0079】
受信ホスト・リストのフィールドには、映像受信装置リストにリンクするポインタが格納される。映像受信装置リストには、受信ホスト名リストでリンクするレコードの送信カメラ名で特定されるカメラの入力映像を受信している1以上の映像受信装置のホスト名のリストが格納される。
【0080】
送信カメラ名、チャネル番号及びカメラ操作ホスト、並びに、受信ホスト名リストでリンクする映像受信装置リストは、1つのカメラに対する管理情報となるので、以下、これらのデータの集りを管理情報セットと呼ぶ。
【0081】
一つの映像通信装置で動作している映像送信プロセスを例にとり、映像送信プロセス150の動作を説明する。同じ映像通信装置に接続する各ビデオ・カメラには、異なるカメラ番号が付けられている。ネットワーク全体で見ると、先に説明したように、カメラ名は、”hostA.1”及び”hostA.2”などとなるが、以下では単に、カメラ1、カメラ2、・・・カメラNと表記する。そして、アクセス管理プロセス158へのRPCコールによって確保した、各カメラに対応するチャネル番号をチャネル1、チャネル2、・・・チャネルNとする。以下での説明では、接続されているカメラは4台であるが、一般化するためにカメラ台数をNとして説明する。
【0082】
映像送信の開始を指示する命令として、以下の命令を設けた。即ち、
send(m)
m:チャネル番号(1≦m≦N)
この命令に応じて、図11に示すように、ビデオ・キャプチャ装置128は、カメラ映像入力選択装置112からの1フレーム分の映像信号をA/D変換して取り込み(S101)、取り込まれた映像がディスプレイ130により表示され(S102)、ネットワーク・インターフェース132を介してネットワークのチャネルmに出力される(S103)。
【0083】
また、カメラ映像入力選択装置112へのカメラ映像選択切り替え命令として、以下の命令を設けた。即ち、
change(n)
n:カメラ番号(1≦n≦N)
この命令は、カメラ映像入力選択装置112に対し、カメラ番号nのカメラ映像を選択してコンピュータ120に出力することを指示するものであり、これに対応する制御信号が制御信号ポート126からカメラ映像入力選択装置112に供給される。実際に試験した例では、change命令の実行には約1秒程度かかった。勿論、各部の処理速度によって、これより速くなり、又は遅くなる。
【0084】
本実施例では、N個のカメラ映像のそれぞれを一定の時間間隔で更新される静止画として送信する。これにより、伝送する映像数に比べて、伝送回線の容量が少なくて済む。なお、以下の説明では、フレームの更新が1秒以上の時間で行なわれる連続的に表示される映像を「静止画」と呼び、これに対して、より短いレートでフレームが更新される連続映像を「動画」と呼ぶ。即ち、本実施例では、フレーム・レートが1フレーム/秒未満の場合に静止画と呼び、1フレーム/秒以上の場合に動画と呼ぶ。
【0085】
図12は、本実施例の第1の動作フローチャートを示す。先ず、ネットワーク102上に、カメラの台数Nと同じN個の通信チャネルを確保する(S111)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S112)。ここでは、変数nの初期値を1としたが、0又は2からN−1までのどの数値をセットしてもよいことは明らかである。
【0086】
映像を送信するカメラを循環的に切り替えていくためには、change命令及びsend命令を一定時間間隔で発行すればよい。図12では、これをタイムアウト手続きにより実現している。即ち、change命令による映像切替えと、1フレーム分の映像の取り込みと送信のsend命令の発行周期をTs(秒)とし、これをタイムアウト時間として登録する(S113)。ここでは、Ts=10秒とした。
【0087】
タイムアウトの発生、即ちTsの経過を待ち(S114)、タイムアウトの発生を検出すると(S115)。以降の処理で消費する時間も加味するために、先ず、Tsを再びタイムアウト登録する(S116)。
【0088】
カメラ番号変数nをインクリメントし(S117)、Nより大きくなれば(S118)、変数nに1をセットする(S119)。このカメラ番号変数nをパラメータとして、change命令によりカメラ映像入力を切り替え(S120)、send命令によりそのカメラ映像をチャネル番号nのチャネルに1フレーム送信する(S121)。change命令とsend命令で同じ変数nをパラメータとしているので、カメラ番号nのカメラ映像がチャネル番号nの通信路に送信されることになる。
【0089】
send命令の発行後、S114に戻り、次のタイムアウトを待つ。
【0090】
このようにして、カメラ1、カメラ2、・・・及びカメラNの出力映像が循環的に、Ts(ここでは10秒)の時間間隔で選択され、対応するチャネル上を伝送される。受信側から見ると、各カメラの映像は、Ts×N(秒)毎に更新される静止画になっている。
【0091】
S117〜S121の処理に要する時間をTpとすると、タイムアウト時間Tsは、
Ts>Tp
であればよいことは明らかである。即ち、Tsは、上式を満たす限り、10秒である必要はない。本実施例では、change命令の処理時間を1秒程度としているので、Tpが1秒より小さくなることはない。従って、Tsも、1秒より小さくとることはできない。
【0092】
このように動作させることで、各カメラ映像が低いフレーム・レートで送信されることになり、低速なコンピュータでも十分に対応できるようになる。受信側では、低いフレーム・レートではあるが、多数のカメラ映像を受信できるので、広い範囲を大雑把に把握できる。
【0093】
本実施例はまた、N個のカメラ映像の内の1つを、所定期間、動画として送信するとともに、動画として送信するカメラ映像を一定周期で順次切り替えていくことができる。映像を送信しないカメラの映像は、受信側では静止画となる。これにより、図12の場合に比べて、受信側では、循環的で間欠的ではあるが、各カメラの撮影範囲の時間的な変化をより細かく把握できるようになる。このような動作を実現するフローチャートを図13に示す。図13では、カメラ映像を切り替えるための時間変数Tsに加えて、動画伝送のフレーム周期を規定する時間変数tsを導入する。
【0094】
先ず、ネットワーク上のカメラの台数Nと同じN個の通信チャネルを確保する(S131)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S132)。変数nは1からNまでの何れであってもよい。時間変数Ts及びtsをタイムアウト登録し(S133,134)、イベント(ここではタイムアウト)の発生を待つ(S135)。ここでは、ts=0.1秒とした。
【0095】
タイムアウトの発生を検出したら(S136)、それが、Tsによるものか、又はtsによるものかを判別する(S137)。tsによるタイムアウトの場合には、tsを再びタイムアウト用に登録し(S138)、カメラ番号変数nをパラメータとするsend命令により、カメラ番号nのカメラの出力映像をチャネルnに1フレーム、送信し(S139)、S135に戻る。Tsに相当する時間(即ち、10秒)が経過するまで、ts(0.1秒)を周期として、カメラnの映像がチャネルnに出力される。即ち、カメラnの映像が、10フレーム/秒のフレーム・レートで10秒間、チャネルnに出力される。
【0096】
タイムアウトの発生がTsによるものであるとき(S137)、先ず、Tsを再びタイムアウト登録する(S140)。カメラ番号変数nをインクリメントし(S141)、Nより大きくなれば(S142)、変数nに1をセットする(S143)。このカメラ番号変数nをパラメータとして、change命令によりカメラ映像入力を切り替え(S144)、S135に戻って、次のイベントの発生を待つ。
【0097】
このようにして、カメラ1の映像が10秒間、10フレーム/秒で送信されると、カメラ2の映像が同様に、10秒間、10フレーム/秒で送信される。カメラ3、・・・、カメラNと切り替わっていき、カメラNの後には、再びカメラ1の映像が、10秒間、動画送信される。受信側から見ると、各カメラ映像は10秒間、動画で表示された後、10×(N−1)秒間静止画となる。この動作例では、伝送路の伝送容量は、10フレーム/秒を満たし得るものであればよい。
【0098】
S141からS144の処理を実行するのに要する時間は、Tsより短くなければならない。勿論、Ts>tsでなければならない。
【0099】
このような動作により、送信側では同時に2以上の動画を送信しないので、負荷を削減できる。また、受信側では、送信された映像により、広い範囲の状況をより詳しく認識できる。
【0100】
本実施例はまた、N個のカメラ映像のなかから1つを重点的に、即ち動画として送信し、残りのN−1個のカメラ映像を一定時間毎に更新される静止画として送信することもできる。図14は、その動作フローチャートを示す。
【0101】
図14を説明する。先ず、ネットワーク上にカメラ台数Nと同じN個の通信路を確保する(S151)。1フレーム送信するカメラを指定するカメラ番号変数nに1をセットする(S152)。動画送信するカメラのカメラ番号を変数kにセットする(S153)。変数kは、1からNまでの何れであってもよいが、ここでは、1にしている。change命令により、映像を取り込むカメラをカメラ番号kのカメラに切り替える(S154)。
【0102】
カメラ映像を切り替えるための時間変数Tsと、動画伝送のフレーム周期を規定する時間変数tsの各値をタイムアウト登録し(S155,S156)、イベントの発生を待つ(S157)。ここでは、Ts=10秒、ts=0.1秒とした。
【0103】
Ts又はtsのタイムアウトの発生を検出すると(S158)、tsのタイムアウトではS160以降を実行し、TsのタイムアウトではS162以降を実行する(S159)。通常は、先ず、tsのタイムアウトが発生する。
【0104】
tsのタイムアウトのとき(S159)、tsを再びタイムアウトに再登録し(S160)、カメラ番号kのカメラ映像をチャネルkに1フレーム送信し(S161)、S157に戻る。Ts=10秒、ts=0.1秒としたので、カメラ番号kのカメラ映像が、10秒間にわたり、10フレーム/秒で送信される。
【0105】
Tsのタイムアウトが発生すると(S159)、Tsを再びタイムアウトに再登録し(S162)、カメラ番号nをインクリメントする(S163)。新たなカメラ番号nがkに一致する場合には(S164)、nを更にインクリメントする(S165)。カメラ番号kのカメラ映像が動画送信の対象になっているからである。nがNを越えていれば、nに1をセットする(S166,S167)。
【0106】
送信すべきカメラをchange命令によりカメラ番号nのカメラに切り替え(S168)、send命令によりカメラ番号nのカメラ映像をチャネルnに1フレーム送信し(S169)、送信すべきカメラをchange命令によりカメラ番号kのカメラに切り替える(S170)。再びS157に戻り、イベントの発生を待つ。
【0107】
Tsは、S163からS170の処理を行なうのにかかる時間より長い時間に設定されなければならない。勿論、tsはTsよりも短くなければならない。
【0108】
このようにして、カメラ1の映像を動画で送信しつつ、それ以外のカメラの映像を10秒間隔で切り替えながら静止画として、送信できる。どの映像がどのカメラによるものかは、各映像が伝送される伝送チャネルにより識別できる。受信側から見ると、カメラ1の映像は10秒毎に、他のカメラ映像を1フレーム送信する処理に要する時間、即ち、S163〜S170の処理に要する時間だけ、途切れる動画になっており、他のカメラ映像は、それぞれ、10×(N−1)秒毎に更新される静止画となっている。
【0109】
このような機能又は動作は、TV会議システム又はビデオ会議システムなどで、相手端末のオペレータを重点的に映像表示しながらも、なおかつ周囲の状況も表示したいといった場合に好適である。
【0110】
図12に示した動作例又は実施例では、Tpが充分小さいときには、各カメラの映像を動画とみなすことができる。例えば、Tpが0.05秒以下の場合、Tsを0.05(秒)とすることができ、Nが10程度ならば、各カメラの映像のフレーム・レートは、1/(Ts×N)=2(フレーム/秒)となって、先の定義によれば、一応、動画とみなすことができる。勿論、このためには更に、change命令を高速に実行できる必要があることは明らかである。
【0111】
本実施例では、映像送信プロセス150は、アクセス管理プロセス158の管理する情報をもとに、複数のカメラの出力を選択するカメラ映像入力選択装置112の選択方法を切り替える。
【0112】
先ず、アクセス管理プロセス158の情報管理の動作を詳しく説明する。本実施例では、各プロセス150〜156とアクセス管理プロセス158との間の情報のやり取りには、RPC(Remote Procedure Call)コール又はブロードキャスト通信を用いる。RPCコールは、以下のケースで使用される。即ち、
1)送信プロセス起動
2)送信プロセス終了
3)映像受信開始
4)映像受信終了
5)カメラ操作開始
6)カメラ操作終了
7)送信カメラ名リスト獲得要求
送信プロセス起動及び送信プロセス終了は、映像送信プロセス150が起動及び終了した場合に、そのことをアクセス管理プロセス158に通知するRPCコールである。これらの引数又はパラメータは送信カメラ名である。送信プロセス起動の返り値は、送信を行なうための通信路のチャネル番号であり、送信プロセス終了には返り値は無い。
【0113】
映像受信開始及び映像受信終了は、それぞれ、映像表示プロセス152において、受信映像ウインドウ142中のカメラ名リスト142−7からカメラを選択した場合、及び映像受信を終了した場合に、その旨をアクセス管理プロセス158に通知するRPCコールである。これらの引数は送信カメラ名と受信ホスト名である。映像受信開始の返り値は、送信カメラ名に対応したチャネル番号であり、映像受信終了には返り値は無い。
【0114】
カメラ操作開始及びカメラ操作終了は、カメラ制御クライアント156がカメラ操作を開始及び終了する時に、そのことをアクセス管理プロセス158に知らせるRPCコールである。これらの引数は送信カメラ名とカメラ操作ホスト名である。カメラ操作開始の返り値は、カメラ操作の許可又は拒否を示す1又は0であり、カメラ操作終了には返り値は無い。
【0115】
送信カメラ名リスト獲得要求は、映像表示プロセス152が現在受信可能な映像を知るために、送信カメラ名の一覧をアクセス管理プロセス158に要求するRPCコールである。受信映像表示ウインドウ142の更新ボタン142−9をクリックすることによってコールされる。引数は無い。返り値は、”host.1,hostA.2,hostA.3,・・・”というように、図10に示す映像送信装置リストのカメラ名に登録される全カメラのリストである。
【0116】
ブロードキャストは、映像送信装置リスト及び映像受信装置リストの何らかに変更が加えられた場合に使用される。この時、図15に示すように、変更のあった管理情報セットが、ネットワーク102上の全ての映像通信装置100−1,100−2,・・・,100−Kにブロードキャストされる。なお、このブロードキャストに際して、映像送受信に用いられる通信路とは別の通信路を示すポート番号が指定される。映像データに比べてデータ量は非常に小さいので、ネットワーク・トラフィックを増やすことはない。
【0117】
図16は、アクセス管理プロセス158の管理データベースの状態変更に関する動作フローチャートである。
【0118】
アクセス管理プロセス158は先ず、全ての映像通信装置100−1,100−2,・・・,100−Kがネットワーク102上で使用可能なブロードキャスト・アドレスのポート番号を確保し、図10に示す管理データベースの映像送信装置リストのチャネル番号のフィールドに格納する(S201)。図10では、10201、10202及び10203が一例として格納されている。次に、RPCコールを待つ(S202)。
【0119】
いずれかの映像通信装置で映像送信プロセス150が起動されると、送信プロセス起動のRPCコールがアクセス管理プロセス158に送られる(S203)。この送信プロセス起動に対して、アクセス管理プロセス158は、図17に示すように、映像送信装置リストのカメラ名のフィールドが空になっている管理情報セットを検索し(S212)、空の領域が見つかれば、その領域にRPCの引数である”送信カメラ名”を格納し(S213)、それに対応するチャネル番号のフィールドの内容を返り値とする(S214)。空の領域が見つからなければ(S212)、−1を返す(S215)。映像送信プロセス150は、−1でない返り値を受け取った後、返り値で示されるチャネル番号の通信路に、送信カメラ名で特定されるカメラ映像を送出する。返り値が−1の場合は、空きチャネルがないので、映像送信プロセス150は、カメラ映像を送信しない。
【0120】
いずれかの映像通信装置上で映像送信プロセス150が終了すると、アクセス管理プロセス158には送信プロセス終了のRPCコールが入力する(S204)。これに応じて、アクセス管理プロセス158は、図18に示すように、そのRPCコールの引数で示される送信カメラ名にマッチするカメラ名を映像送信装置リスト(図10)の送信カメラ名のフィールドから検索し(S216)、その送信カメラ名に対応する送信カメラ名、カメラ操作ホスト及び受信装置ホスト名リストの各フィールドを空にする(S217)。
【0121】
いずれかの映像通信装置で映像表示が開始されると、受信開始のRPCコールがアクセス管理プロセス158に伝達される(S205)。アクセス管理プロセス158は、これに応じて、図19に示すように、その引数で示される送信カメラ名とマッチするカメラ名を映像送信装置リスト(図10)の送信カメラ名のフィールドから検索し(S132)、そのカメラに対応する映像受信装置リストのエントリの一番後ろに、引数である受信ホスト名を登録する(S219)。そして、チャネル番号を返す(S220)。映像表示プロセス152は、返り値で示されるチャネル番号を指定して、映像を受信する。これにより、目的の映像を受信し、表示できる。
【0122】
映像表示プロセス152映像表示が終了ると、受信終了のRPCコールがアクセス管理プロセス158に伝達される(S206)。アクセス管理プロセス158は、これに応じて、図20に示すように、その引数で示される送信カメラ名とマッチするカメラ名を映像送信装置リスト(図10)の送信カメラ名のフィールドから検索し(S221)、さらに、そのカメラに対応する映像受信装置リスト(図10)から、引数で示される受信ホスト名を検索し(S222)その受信ホスト名を映像受信装置リストから削除し、空いたエントリを詰めるように並び変える(S223)。
【0123】
カメラ操作を開始する操作があると、カメラ制御クライアント156は、カメラ制御開始のRPCコールをアクセス管理プロセス158に伝達する(S207)。アクセス管理プロセス158は、これに応じて、図21に示すように、その引数で示される送信カメラ名とマッチするカメラ名を映像送信装置リスト(図10)の送信カメラ名のフィールドから検索し(S224)、マッチした送信カメラ名に対応する管理情報セットの、カメラ操作ホストのフィールドが空かどうかを調べる(S225)。これは、同じカメラを複数のホストが同時に操作するのを防ぐためである。カメラ操作ホストのフィールドが空であれば(S225)、RPCコールの引数で示されるホスト名をカメラ操作ホストのフィールドに格納し(S226)、1を返す(S227)。カメラ操作ホストのフィールドが空でなければ(S225)、0を返す(S228)。カメラ制御クライアント156は、返り値が1なら、カメラを操作する制御命令を発行でき、0なら発行できない。
【0124】
カメラ操作を終了する操作があると、カメラ制御クライアント156は、カメラ制御終了のRPCコールをアクセス管理プロセス158に伝達する(S208)。アクセス管理プロセス158は、これに応じて、図22に示すように、そのRPCコールの引数で示される送信カメラ名とマッチする送信カメラ名を映像送信装置リスト(図10)の送信カメラ名のフィールドから検索し(S229)、マッチした送信カメラ名に対応する管理情報セットのカメラ操作ホストのフィールドにNULLを格納する(S230)。
【0125】
これらのRPCコールを受けて、管理データベースの内容が変更されると、内容変更された管理情報セットを図15に示すようなデータ・フォーマットで全映像通信装置100−1,100−2,・・・,100−Kにブロードキャストされる(S211)。
【0126】
また、送信カメラ名リスト獲得要求のRPCコールに対しては(S209)、アクセス管理プロセス158は、映像送信装置リスト(図10)の送信カメラ名のフィールドに登録される全カメラ名を所定のリスト形式で要求元に返送する(S210)。映像表示プロセス152は、このリストを受け取り、受信映像ウインドウ142のカメラ名リスト142−7に送信カメラ名をリスト表示する。
【0127】
このようにして、アクセス管理プロセス158は、ネットワーク102上の全ての映像通信装置100−1,100−2,・・・,100−Kで行なわれている映像の送受信情報を管理し、管理情報の変更を、全ての映像通信装置100−1,100−2,・・・,100−Kに通知する。
【0128】
本実施例では、映像送信プロセス150は、送受信情報をアクセス管理プロセス158から獲得し、以下の3つの指針に従って動作モードを切り替える。即ち、
1)受信ホストがいないビデオ・カメラについては、その出力映像を送信しない。
【0129】
2)全ての映像表示プロセスが受信しているとき、そのカメラ映像を時分割による動画送信の対象とする。
【0130】
3)カメラ操作されているビデオ・カメラの出力映像は、動画として送信し、その際、他に受信されているビデオ・カメラの出力映像は静止画として送信する。
【0131】
指針2)は、いわば、図13に示す動作例に示す入力選択切り換え手順で映像を送信し、指針3)は、図14に示す動作例に示す入力選択切り換え手順で映像を送信するものである。
【0132】
以上の3つの指針に従て動作するために、映像送信プロセス150には、図23に示すような、送信カメラ・リストおよび受信ホスト・リストを具備する。このデータは、アクセス管理プロセス158により管理される映像送信装置リスト及び映像受信装置リスト(図10)から、自装置に接続されているカメラに関する管理情報のみを集めたものである。図23では、hostAで特定される映像送信プロセスのデータベースを示しており、hostAにはカメラが4台接続され、hostA.1、・・・、hostA.4と名前が付けられている。カメラhostA.1の出力映像はhostB及びhostCにより受信されており、カメラhostA.3の出力映像はhostC及びhostDにより受信されている。カメラhostA.3は、hostCにより操作されている。カメラhostA.2及びカメラhostA.4の映像は、受信されていない。
【0133】
図23に示すデータ例では、指針3)に従い、カメラhostA.1及びカメラhostA.3の映像が送信されるが、カメラhostA.3の映像は動画として送信され、カメラhostA.1の映像は静止画として送信される。映像送信プロセス150は、図23に示す送信カメラ・リストに従って、映像入力するカメラを切り換える。図23に示す送信カメラ・リスト及び受信ホスト・リストは、アクセス管理プロセス158からブロードキャストされた情報に従って更新される。
【0134】
以下の説明では、カメラhostA.1、・・・、hostA.4をカメラ1、・・・、カメラ4と表記し、そのカメラに対応するチャネル番号をチャネル1、・・・、チャネル4と表記する。
【0135】
図24乃至図27を参照して、映像送信プロセス150の動作を詳細に説明する。先ず、カメラの台数をチェックし(S301)、各カメラを識別できるように固有の名前を付ける(S302)。本実施例ではhostA.1、hostA.2、hostA.3及びhostA.4というように、コンピュータのホスト名とカメラ番号を’.’でつないだものになる。
【0136】
カメラ名を引数としてアクセス管理プロセス158にRPCコールを行ない、返り値としてチャネル番号を獲得し、各カメラの映像を伝送するためのチャネルを確保する(S303)。なお、カメラ名とチャネル番号の対応は、図23に示す送信カメラ・リストに格納される。本実施例では、3種類の値を取り得る変数modeを用いる。mode=1は、どのカメラの映像も送信しないモードを示し、mode=2は、図13に示す動作例のように、一定時間の動画映像送信を順番に実行するモードを示す。mode=3は、図14に示す動作のように、特定のカメラの出力映像を動画で送信し、残りのカメラの映像を静止画で送信するモードを示す。
【0137】
この段階では、この段階では、modeに1をセットして(S304)、受信ホストがアクセス管理プロセス158に登録されるまでは送信を行なわないようにする。そして、1フレーム毎に映像を送信するタイミング制御のためのタイムアウト・イベントと、アクセス管理プロセス158から送信されるブロードキャスト・メッセージの受信という2つのイベントの何れかを待つ(S305)。
【0138】
アクセス管理プロセス158からブロードキャスト・メッセージを受信すると(S308)、次のように、送信カメラ・リストを更新する。即ち、ブロードキャストされたメッセージは図15のようなフォーマットになっているので、このメッセージのうち、送信カメラ名について、送信カメラ・リスト中の送信カメラ名のフィールドとの間でマッチングをとる(S309)。どの送信カメラ名ともマッチしなければ(S309)、自装置のカメラの送受信には関わりのないメッセージであるので、そのままイベント待ちに戻る。マッチすれば(S309)、まずメッセージ中の操作ホスト名及び受信ホスト・リストを送信カメラ・リストにコピーする(S310)。
【0139】
このように更新された送信カメラ・リストで、全ての送信カメラ名に対する受信ホスト・リストへのポインタがNULLであるかどうかを調べる(S311)。その結呆、受信ホスト・リストへの全てのポインタがNULLであれば(S311)、変数modeに1セットして、どのカメラも送信を行なわないようにする(S312)。
【0140】
受信ホスト・リストへの全てのポインタにNULLでないものがあれば(S311)、変数modeに2をセットし(S313)、受信ホスト・リストへのポインタがNULLでないカメラについて、遠隔操作されているかどうかを調べ(S314)、カメラ操作ホストのエントリがNULLであれば(S314)、そのカメラは操作されていないので、そのままmode=2として扱い、最初に動画を送信すべきカメラ番号をセットして(S315)、タイムアウト時間Ts,tsを設定し(S318)、イベント待ち(S305)に戻る。もしカメラが操作されていれば(S314)、変数modeに3をセットし(S316)、カメラ操作ホストがNULLでない送信カメラ名に対応するカメラ番号を動画カメラ番号kとしてセットすると共に、最初に静止画として送信するカメラのカメラ番号nをセットして(S317)、タイムアウト時間Ts,tsを設定して(S318)、イベント待ち(S305)に戻る。
【0141】
発生するイベントがタイムアウトである場合(S306)、まず変数modeの値を調べる(S307)。modeが2であれば、S320に進み、mode=3であれば、S330に進む。S320以降は、図13に示す動作例とほぼ同じであるが、受信ホストがいないカメラについてその映像を送信しないようにするために、S327による条件判定が含まれる点が異なる。
【0142】
S330以降の動作は、図14に示す動作例とほぼ同じであるが、切り替えの方法が少し異なる。Tsによるタイムアウト場合(S330)、Tsによるタイムアウトを新たに設定し(S333)、静止画送信のカメラ番号nをインクリメントする(S334)。つぎに、動画送信するカメラ以外に送信を行なうカメラがあるかどうかをチェックし(S335)、ないのならイベント待ち(S305)に戻る。送信すべきカメラがあるのなら(S335)、nと動画映像カメラ番号kが等しいかどうか調べ(S336)、等しければ、さらにカメラ番号nをインクリメントする(S337)。カメラ番号nがカメラ台数Nを越えていないかどうかをチェックし(S338)、越えていればカメラ番号nを1に戻す(S339)。このように静止画映像送信を行なうカメラのカメラ番号nを決定するが、このカメラに対する受信ホストが存在しなければ(S340)、S334に戻り、カメラ番号nをインクリメントする。このループにより、受信ホストがあるカメラを探す。
【0143】
受信ホストがあるカメラを見つけたら(S340)、そのカメラの映像を静止画送信するために、カメラ映像の入力を切り替え(S341)、送信を行ない(S342)、映像入力を動画映像送信を行なうカメラに切り替え(S343)、イベント待ち(S305)に戻る。
【0144】
このように動作させることで、受信されていないカメラの映像を送信せず、受信されているカメラの映像のみを一定時間順番に動画として送信し、また、遠隔操作されているカメラの映像を動画として送信する映像伝送システムを実現できる。
【0145】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、複数のカメラ映像を、少ない回線容量で自在に選択して送信できる。
【0146】
複数の映像入力手段を具備するので、より広い範囲の映像を取り込めるようになり、1地点でのコストを大幅に低減できる。
【0147】
更には、複数の映像を切り替えて送信するので、回線容量が少なくて済む。究極的には1回線分で済む。各映像の送信フレーム・レートの重みを別々にできるので、重要度に応じたフレーム・レートで各映像を送信できる。
【0148】
また、映像送受信情報の管理手段から必要に応じて送受信情報を獲得できるようにし、その情報をもとに複数映像入力の選択順序およびタイミングを動的に変更することにより、映像送信側でのCPU負荷とネットワーク・トラフィックを大幅に軽減できる。
【図面の簡単な説明】
【図1】 本発明の一実施例の概略構成ブロック図である。
【図2】 本実施例の映像送信処理のフローチャートである。
【図3】 本実施例の第1の動作フローチャートである。
【図4】 本実施例の第2の動作フローチャートである。
【図5】 本実施例の第3の動作フローチャートである。
【図6】 映像伝送システムに関する本発明の一実施例のネットワーク構成図である。
【図7】 第2実施例における通信端末装置の概略構成ブロック図である。
【図8】 第2実施例の表示画面例である。
【図9】 第2実施例のプロセス構成図である。
【図10】 アクセス管理プロセス158が管理する送受信情報管理データベースの構造例である。
【図11】 第2実施例における映像送信処理の基本フローチャートである。
【図12】 第2実施例の第1の動作フローチャートである。
【図13】 第2実施例の実施例の第2の動作フローチャートである。
【図14】 第2実施例の第3の動作フローチャートである。
【図15】 アクセス管理プロセス158によりブロードキャストされる情報の構造と内容の例である。
【図16】 アクセス管理プロセス158の動作フローチャートである。
【図17】 図16のS203の詳細なフローチャートである。
【図18】 図16のS204の詳細なフローチャートである。
【図19】 図16のS205の詳細なフローチャートである。
【図20】 図16のS206の詳細なフローチャートである。
【図21】 図16のS207の詳細なフローチャートである。
【図22】 図16のS208の詳細なフローチャートである。
【図23】 映像送信プロセス150が保持する送信カメラ・リストの構造と内容の例である。
【図24】 映像送信プロセス150の動作フローチャートの一部である。
【図25】 映像送信プロセス150の動作フローチャートの一部である。
【図26】 映像送信プロセス150の動作フローチャートの一部である。
【図27】 映像送信プロセス150の動作フローチャートの一部である。
【符号の説明】
10−1,10−2,・・・,10−N:ビデオ・カメラ
12:カメラ映像入力選択装置
20:コンピュータ
22:CPU
24:主記憶
26:制御信号ポート
28:ビデオ・キャプチャ装置
30:ビットマップ・ディスプレイ
32:ネットワーク・インターフェース
34:内部バス
100−1,100−2,・・・,100−K:映像通信装置
102:ネットワーク
110−1,110−2,・・・,110−N:ビデオ・カメラ
112:カメラ映像入力選択装置
120:コンピュータ
122:CPU
124:主記憶
126:制御信号ポート
128:ビデオ・キャプチャ装置
130:ビットマップ・ディスプレイ
132:ネットワーク・インターフェース
134:マウス
136:内部バス
150:映像送信プロセス
152:映像表示プロセス
154:カメラ制御サーバ
156:カメラ制御クライアント
158:アクセス管理プロセス
[0001]
[Industrial application fields]
The present invention provides a plurality of Send video camera output video to video receiver Video transmission device , Video transmission system And video transmission method About.
[0002]
[Prior art]
In a video conference system or a video conference system using a general-purpose computer, a video camera capable of externally controlling pan, tilt, zoom and the like is used as a video input unit. In this case, normally, one video camera is connected to one computer, and the video camera is installed in a direction for photographing an operator of the computer.
[0003]
In recent years, research and development of a system called an awareness system is progressing as a tool for grasping the situation of a plurality of remote locations. In this system, a video camera which can be controlled by a computer at a plurality of points and a computer for controlling the video camera and transmitting an input video are arranged at a plurality of points at a remote center. Can be viewed simultaneously, and is similar to a so-called remote monitoring system. Even in the proposed awareness system, a configuration is often employed in which one video camera is connected to one computer.
[0004]
[Problems to be solved by the invention]
Even a video camera capable of panning, tilting, and zooming has a limited range of motion, so the range of video input is also limited, and only a narrow range of video around the video camera can be captured. .
[0005]
In addition, since one computer is required to control one video camera, it is difficult to increase the number of video cameras in terms of cost.
[0008]
Furthermore, it is not difficult to control a plurality of video cameras with a single computer, but in order to transmit the output video of a plurality of video cameras, simply consider the number of video cameras. Therefore, the communication capacity is increased in proportion to the number of video cameras.
[0010]
When video communication is performed by connecting a video camera to a computer, since one video camera is connected to one computer, the cost for adding a video camera is high. In order to solve this, a configuration in which the camera video is switched and transmitted by a switcher, or a configuration in which a device that inputs video outputs of a plurality of video cameras to a computer is introduced and a plurality of videos can be transmitted can be considered. In the former, since a plurality of videos are transmitted while being switched over time, the transmitted videos tend to have unnaturalness. In the latter case, it is necessary to secure a video transmission path for each camera, requiring a large communication capacity, and further increasing the CPU load for video transmission.
[0011]
The present invention solves such problems. Video transmission device, Video transmission system And video transmission method The purpose is to present.
[0012]
[Means for Solving the Problems]
A video transmission apparatus according to the present invention includes a plurality of externally connected video cameras. analog One of the output images analog Video input switching means for selecting the output video in a predetermined order and timing; Conversion means for A / D converting one analog output video selected by the video input switching means, and encoding the digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video; The encoded video obtained by the conversion means is networked one frame at a predetermined cycle. Transmitting means for transmitting to a predetermined video receiving device via The video input switching means selects an analog output video of a predetermined one video camera for a first period, and an analog output video of a video camera other than the predetermined video camera in a second period shorter than the first period. By selecting between, the transmission means Of the given video camera Coding Send video at a frame rate higher than the specified rate , Of a video camera other than the prescribed video camera Coding The video is transmitted at a frame rate slower than the predetermined frame rate.
[0015]
The video transmission system according to the present invention is a video transmission system for displaying a video transmitted from a video transmission device connected to a plurality of video cameras on a video reception device, and the video transmission device is externally connected. Multiple video cameras analog One of the output images analog Video input switching means for selecting the output video in a predetermined order and timing; Conversion means for A / D converting one analog output video selected by the video input switching means, and encoding the digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video; The encoded video obtained by the conversion means is networked one frame at a predetermined cycle. Transmitting means for transmitting to a predetermined video receiving device via, the video receiving device comprises a display means for displaying the output video transmitted by the transmitting means, The video input switching means selects an analog output video of a predetermined one video camera for a first period, and an analog output video of a video camera other than the predetermined video camera in a second period shorter than the first period. By selecting between, the transmission means Of the given video camera Coding Send video at a frame rate higher than the specified rate , Of a video camera other than the prescribed video camera Coding The video is transmitted at a frame rate slower than the predetermined frame rate, and the display unit of the video reception device displays a list of output videos of a plurality of video cameras transmitted by the transmission unit. To do.
[0016]
A video transmission method according to the present invention is a video transmission method of a video transmission device that transmits output video of a plurality of video cameras to a video reception device, and the plurality of video cameras connected externally. analog One of the output images analog A video input switching step of selecting an output video in a predetermined order and timing; A conversion step of A / D converting one analog output video selected by the video input switching step and encoding a digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video; A network of encoded video obtained by the conversion process frame by frame at a predetermined period A transmission step of transmitting to a predetermined video receiving device via The video input switching step selects an analog output video of a predetermined one video camera for a first period, and selects an analog output video of a video camera other than the predetermined video camera for a second period shorter than the first period. By selecting between, the transmission step Of the given video camera Coding Send video at a frame rate higher than the specified rate , Of a video camera other than the prescribed video camera Coding The video is transmitted at a frame rate slower than the predetermined frame rate.
[0018]
[Action]
By the above means, a plurality of video input means can be controlled by one unit. Since a plurality of video input means are provided, a wider range of video can be captured. By these, the cost at one point can be reduced significantly.
[0021]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0022]
FIG. 1 shows a schematic block diagram of an embodiment of the present invention. 10-N are video cameras capable of externally controlling pan, tilt, zoom, and focus, and 12 is a video camera 10- according to a control signal from the computer 20. 1 is a camera video input selection device that selects one output video signal of 1, 10-2,..., 10-N and supplies it to the computer 20. The camera image input selection device 12 also pans an arbitrarily designated video camera among the video cameras 10-1, 10-2,..., 10-N according to a camera control signal from the computer 20. To control. The control signal line connecting the camera image input selection device 12 and the computer 20 is RS-232C in this embodiment, but it is obvious that the present invention is not limited to this.
[0023]
In the computer 20, 22 is a CPU for controlling the whole, 24 is a main memory, 26 is a control signal port for outputting a control signal for controlling the camera image input selection device 12, and 28 is a signal from the camera image input selection device 12. A video capture device that captures an image signal by A / D conversion, 30 is a bitmap display, 32 is a network interface for connecting the computer 20 to a computer network or a communication network, and 34 is a CPU 22 to an interface 32. It is an internal bus that connects to each other. The network interface 32 can send a camera control signal from a remote place to the computer 20 via a network to control panning of the cameras 10-1, 10-2,.
[0024]
The camera image input selection device 12 outputs one output image specified by a control signal from the control signal port 26 of the computer 20 among the video cameras 10-1, 10-2,..., 10-N. Select and supply to video capture device 28. The video capture device 28 converts the video signal from the camera video input selection device 12 from analog to digital, converts it to a predetermined internal format, and transfers it to the main memory 24 via the bus 34. The video data captured in the main memory 24 is output to the network via the network interface 32 and is also supplied to the display 30 for video display.
[0025]
In this embodiment, the transmission paths on the network that transmit the output video of each camera 10-1, 10-2,..., 10-N are logically channel 1, channel 2,. Called N to distinguish. The video data is actually compressed and encoded and transmitted to each channel, but since it is not an essential element of the present invention, the description of the compression encoding process is omitted. In this embodiment, the output video of one camera among N cameras is transmitted at a high frame rate, and the output video of other cameras is transmitted at a relatively low frame rate. It is not necessary for all the transmission capacities to satisfy 30 frames / second. A sufficiently large transmission capacity may be dynamically allocated to a channel that transmits video at a high frame rate.
[0026]
In this embodiment, the video is transmitted using a broadcast address. Channel numbers are assigned to N port numbers reserved for broadcasting. By designating a channel during broadcasting, a plurality of videos can be broadcast substantially simultaneously. There are various network protocols such as TCP / IP, and the transmission address includes a multicast address and a unicast address in addition to a broadcast address. In the present embodiment, both the protocol and the address are not limited to the above example as long as the number of communication paths corresponding to the number of cameras 10-1, 10-2,.
[0027]
Such N communication channels are secured, for example, the output video of the camera 10-1 is transmitted to the channel 1, the output video of the camera 10-2 is transmitted to the channel 2, and the camera 10-m (m Is output to channel m.
[0028]
The following commands are provided as commands for instructing the start of video transmission. That is,
send (m)
m: Channel number (1 ≦ m ≦ N)
In response to this command, as shown in FIG. 2, the video capture device 28 A / D converts and captures the video signal for one frame from the camera video input selection device 12 (S1), and the captured video Is displayed on the display 30 (S2) and output to the network channel m via the network interface 32 (S3).
[0029]
In addition, the following command is provided as a camera video selection switching command to the camera video input selection device 12. That is,
change (n)
n: Camera number (1 ≦ n ≦ N)
This command instructs the camera video input selection device 12 to select the camera video of the camera number n and output it to the computer 20, and a control signal corresponding to this is sent from the control signal port 26 to the camera video. It is supplied to the input selection device 12. In the actually tested example, it took about 1 second to execute the change instruction. Of course, it becomes faster or slower depending on the processing speed of each part.
[0030]
In this embodiment, each of the N camera videos can be operated so as to be transmitted as a still image updated at a constant time interval. As a result, the capacity of the transmission line can be smaller than the number of videos to be transmitted. In the following description, a continuously displayed video in which the frame is updated in a time of 1 second or longer is referred to as a “still image”, whereas a continuous video in which the frame is updated at a shorter rate. Is called “video”. That is, in this embodiment, when the frame rate is less than 1 frame / second, it is called a still image, and when it is 1 frame / second or more, it is called a moving image.
[0031]
FIG. 3 shows a first operation flowchart of the present embodiment. First, N communication channels equal to the number of cameras 10-1,..., 10-N are secured on the network (S11). 1 is set to a camera number variable n for designating a camera to transmit one frame (S12). Here, although the initial value of the variable n is set to 1, it is obvious that any numerical value from 0 or 2 to N−1 may be set.
[0032]
In order to cyclically switch the camera that transmits the video, a change command and a send command may be issued at regular time intervals. In FIG. 3, this is realized by a timeout procedure. That is, the switching period of the video by the change command, the issue period of the send command for capturing and transmitting one frame of video is set to Ts (seconds), and this is registered as a timeout time (S13). Here, Ts = 10 seconds.
[0033]
It waits for the occurrence of timeout, that is, elapse of Ts (S14), and detects the occurrence of timeout (S15). In order to take into account the time consumed in the subsequent processing, first, Ts is registered again as a timeout (S16).
[0034]
The camera number variable n is incremented (S17). If it is greater than N (S18), 1 is set to the variable n (S19). Using this camera number variable n as a parameter, the camera video input is switched by a change command (S20), and the camera video is transmitted by one frame to the channel of channel number n by a send command (S21). Since the same variable n is used as a parameter in the change command and the send command, the camera image with the camera number n is transmitted to the communication channel with the channel number n.
[0035]
After issuing the send instruction, the process returns to S14 and waits for the next timeout.
[0036]
In this manner, the output images of the cameras 10-1, 10-2,..., 10-N are cyclically selected at a time interval of Ts (here, 10 seconds) and transmitted to the corresponding channel. . When viewed from the receiving side, the video of each camera is a still image that is updated every Ts × N.
[0037]
When the time required for the processing of S17 to S21 is Tp, the timeout time Ts is
Ts> Tp
Obviously, that is fine. That is, Ts need not be 10 seconds as long as the above equation is satisfied. In this embodiment, the processing time of the change instruction is set to about 1 second, so that Tp does not become smaller than 1 second. Therefore, Ts cannot be less than 1 second.
[0038]
By operating in this way, each camera video is transmitted at a low frame rate, and even a low-speed computer can sufficiently cope. On the receiving side, although a low frame rate can be received, a large number of camera images can be received, so that a wide range can be roughly grasped.
[0039]
In the present embodiment, one of the N camera videos can be transmitted as a moving image for a predetermined period, and the camera images transmitted as the moving image can be sequentially switched at a constant period. The video of the camera that does not transmit video becomes a still image on the receiving side. Thereby, compared with the case of FIG. 3, although it is cyclic | annular and intermittent in the receiving side, it becomes possible to grasp | ascertain the temporal change of the imaging range of each camera more finely. A flowchart for realizing such an operation is shown in FIG. In FIG. 4, in addition to the time variable Ts for switching camera images, a time variable ts that defines the frame period of moving image transmission is introduced.
[0040]
First, N communication channels equal to the number of cameras 10-1,..., 10-N are secured on the network (S31). 1 is set to a camera number variable n for designating a camera to transmit one frame (S32). The variable n may be any number from 1 to N. The time variables Ts and ts are registered as timeouts (S33, 34), and the occurrence of an event (here, timeout) is awaited (S35). Here, ts = 0.1 seconds.
[0041]
When the occurrence of timeout is detected (S36), it is determined whether it is due to Ts or due to ts (S37). In the case of time-out due to ts, ts is registered again for time-out (S38), and the output video of the camera with camera number n is transmitted to channel n by one frame by a send command with camera number variable n as a parameter ( S39), the process returns to S35. Until the time corresponding to Ts (that is, 10 seconds) elapses, the video of the camera 10-n is output to the channel n with ts (0.1 seconds) as a cycle. That is, the video of the camera 10-n is output to the channel n for 10 seconds at a frame rate of 10 frames / second.
[0042]
When the occurrence of timeout is due to Ts (S37), first, Ts is registered again as timeout (S40). The camera number variable n is incremented (S41). If it is greater than N (S42), 1 is set to the variable n (S43). Using this camera number variable n as a parameter, the camera video input is switched by a change command (S44), and the process returns to S35 to wait for the next event to occur.
[0043]
In this way, when the video of the camera 10-1 is transmitted at 10 frames / second for 10 seconds, the video of the camera 10-2 is similarly transmitted at 10 frames / second for 10 seconds. The camera 10-3 is switched to 10-N, and after the camera 10-N, the video of the camera 10-1 is transmitted again for 10 seconds. When viewed from the receiving side, each camera image is displayed as a moving image for 10 seconds, and then becomes a still image for 10 × (N−1) seconds. In this operation example, the transmission capacity of the transmission line only needs to satisfy 10 frames / second.
[0044]
The time required to execute the processing from S41 to S44 must be shorter than Ts. Of course, Ts> ts must be satisfied.
[0045]
In this embodiment, one of the N camera videos is sent as a video, that is, as a moving image, and the remaining N-1 camera videos are sent as a still image that is updated every predetermined time. You can also. FIG. 5 shows a flowchart of the operation.
[0046]
FIG. 5 will be described. First, N communication paths equal to the number of cameras are secured on the network (S51). 1 is set to a camera number variable n for designating a camera to transmit one frame (S52). The camera number of the camera that transmits the moving image is set in a variable k (S53). The variable k may be any of 1 to N, but is set to 1 here. In response to the change command, the camera that captures the video is switched to the camera of camera number k (S54).
[0047]
Each value of the time variable Ts for switching the camera video and the time variable ts for defining the frame period of the moving image transmission is registered as a timeout (S55, S56), and the occurrence of an event is awaited (S57). Here, Ts = 10 seconds and ts = 0.1 seconds.
[0048]
When the occurrence of timeout of Ts or ts is detected (S58), S60 and subsequent steps are executed for the timeout of ts, and S62 and subsequent steps are executed for the timeout of Ts (S59). Normally, a timeout of ts occurs first.
[0049]
When ts is timed out (S59), ts is re-registered as timed out again (S60), one frame of the camera image of camera number k is transmitted to channel k (S61), and the process returns to S57. Since Ts = 10 seconds and ts = 0.1 seconds, the camera image of camera number k is transmitted at 10 frames / second for 10 seconds.
[0050]
When a timeout of Ts occurs (S59), Ts is re-registered again as a timeout (S62), and the camera number n is incremented (S63). If the new camera number n matches k (S64), n is further incremented (S65). This is because the camera image of the camera number k is the target of moving image transmission. If n exceeds N, 1 is set to n (S66, S67).
[0051]
The camera to be transmitted is switched to the camera of the camera number n by the change command (S68), the camera image of the camera number n is transmitted to the channel n by the send command (S69), and the camera to be transmitted is camera number by the change command. Switch to the k camera (S70). The process returns to S57 again and waits for the occurrence of an event.
[0052]
Ts must be set to a time longer than the time taken to perform the processing from S63 to S70. Of course, ts must be shorter than Ts.
[0053]
In this way, while the video of the camera 10-1 is transmitted as a moving image, the video of the other cameras can be transmitted as a still image while being switched at 10 second intervals. Which video is from which camera can be identified by a transmission channel through which each video is transmitted. When viewed from the receiving side, the video of the camera 10-1 is a moving image that is interrupted only for the time required to transmit one frame of another camera video every 10 seconds, that is, the time required for the processing of S63 to S70. The other camera images are still images that are updated every 10 × (N−1) seconds.
[0054]
Such a function or operation is suitable for a TV conference system, a video conference system, or the like when it is desired to display an image of the operator of the partner terminal while also displaying the surrounding situation.
[0055]
In the operation example shown in FIG. 3, each camera video can be transmitted as a moving image if the switching of each camera video can be executed at high speed. For example, when Tp described above can be made 0.05 seconds or less and N is about 10, the frame rate of each camera video is 2 {= 1 / (T × N)} frames / second, According to the definition above, it can be regarded as a video. Of course, it is obvious that the change instruction must be able to be executed at high speed.
[0056]
In this way, it is possible to transmit the video at a plurality of points with a small line capacity.
[0057]
Next, a description will be given of an embodiment provided with an access management means for comprehensively managing video transmission / reception and camera control between video communication terminals. FIG. 6 is a schematic block diagram of the embodiment. Reference numerals 100-1, 100-2,... 100-K are video communication apparatuses for inputting, transmitting, receiving, and displaying video, and generally have a video camera connected to a workstation. . Video communication devices 100-1, 100-2,... 100-K are connected to the network 102 and can communicate video with each other.
[0058]
FIG. 7 is a schematic block diagram showing a hardware configuration of the video communication devices 100-1, 100-2,... 100-K. 110-N is a video camera capable of externally controlling pan, tilt, zoom, focus, and the like, and 112 is a video camera 110- according to a control signal from the computer 120. 1, 110-2,..., 110-N, which selects one output video signal (any of NTSC signal, S video signal or RGB signal) and supplies it to the computer 120. is there. The camera image input selection device 112 also pans an arbitrarily designated video camera among the video cameras 110-1, 110-2,..., 110-N in accordance with a camera control signal from the computer 120. To control. The control signal line connecting the camera image input selection device 112 and the computer 120 is based on RS-232C in this embodiment, but it is obvious that the present invention is not limited to this.
[0059]
In the computer 120, 122 is a CPU that controls the whole, 124 is a main memory, 126 is a control signal port that outputs a control signal for controlling the camera video input selection device 112, and 128 is a video from the camera video input selection device 112. A video capture device for A / D-converting and capturing signals; 130, a bitmap display; 132, a network interface that connects the computer 120 to a computer network (including a public network) 102; 134, pointing A mouse as a device 136 is an internal bus for connecting the CPU 122 to the mouse 134 to each other. The network interface 132 can send a camera control signal to the computer 120 from a remote location via the network to control panning of the cameras 110-1, 110-2,..., 110-N.
[0060]
The camera image input selection device 112 selects one output image specified by a control signal from the control signal port 126 of the computer 120 among the video cameras 110-1, 110-2,..., 110-N. Select and supply to video capture device 128. The video capture device 128 converts the video signal from the camera video input selection device 112 from analog to digital, converts it to a predetermined internal format, and transfers it to the main memory 124 via the bus 136. The video data captured in the main memory 124 is output to the network 102 via the network interface 132 and is also supplied to the display 130 for video display.
[0061]
With the above configuration, the video communication devices 100-1, 100-2,... 100-K can transmit and receive video information to and from each other via the network 102, and the other video communication devices 100-1, 100-2. ,... The camera connected to 100-K can be controlled.
[0062]
In this embodiment, all cameras connected to the network 102 are specified by the host name of the computer to which the camera 102 is connected and the camera number of the computer. Specifically, the computer's host name and camera number must be '. Use the camera name concatenated with '. For example, the camera name “hostA.1” is attached to the camera of the camera number 1 connected to the computer having the host name hostA. Each camera connected to the network 102 is assigned one video transmission channel (or channel number) by an access management process described later. No The
[0063]
In this embodiment, broadcast communication is used for video transmission to enable video transmission to a plurality of points. The channel number is a port number of the broadcast address, and data can be transmitted to a specific port of the broadcast address by specifying the channel number. Regarding video reception, video data on the network 102 is captured by the network interface 132 and displayed on the bitmap display 130. By specifying the channel number, the target camera video can be received from the broadcast video.
[0064]
The video data is actually compressed and encoded and transmitted to each channel, but since it is not an essential element of the present invention, the description of the compression encoding process is omitted.
[0065]
FIG. 8 is a screen example of the monitor display of the video communication apparatus 100-1, 100-2,..., Or 100-K having the host name hostA. It is assumed that four video cameras are connected to this video communication apparatus.
[0066]
An input video window 140 displays an input video from a camera directly connected to the video communication apparatus. The input video window 140 is composed of video display areas 140-1,... 140-4 for displaying the video of each video camera directly connected to the video communication apparatus. ... Below 140-4 shows the camera name of the video displayed in each video display area 140-1,. Normally, the video that has been input and transmitted to another video communication device is displayed in the input video window 140, but all the input video is displayed in the input video window 140, and other For the video transmitted to the video communication device, a symbol indicating that transmission is in progress may be separately displayed.
[0067]
Reference numeral 142 denotes a received video window that displays a video transmitted from another video communication apparatus. In the present embodiment, the received video window 142 includes six video display areas 142-1,... 142-6, and can display six received videos simultaneously. Below each video display area 142-1,..., 142-6, the camera name of the transmission source is displayed at the same time. In the camera name list 142-7, camera names of available cameras connected to other video communication devices are displayed as a list. This list can be obtained by accessing a database of an access management process described later.
[0068]
From the list displayed in the camera name list 142-7, the camera name for displaying the video in the designated display area among the six video display areas 142-1,. For example, any camera name displayed in the camera name list 142-7 is selected by clicking, and any of the six video display areas 142-1, ..., 142-6 is selected by clicking. Alternatively, in a state where any camera name displayed in the camera name list 142-7 is clicked and selected, it is dragged onto any of the six video display areas 142-1, ..., 142-6. .
[0069]
After clicking the delete button 146, the video display in the video display area can be ended by clicking the video display area where the video is displayed. This operation is notified to the access management process described later as a change in the reception state.
[0070]
Reference numeral 144 denotes a camera operation window for remotely operating the camera, and panning, tilting, and zooming of an arbitrarily designated camera can be remotely operated by a button on the screen or a scroll bar. This camera operation window 144 is one of the video display areas 140-1,... 140-4, 142-1,. Clicking in 6 will pop up. Thereby, the camera which inputs the video displayed in the clicked video display area can be remotely operated. In the case of a camera connected to another video communication device, a camera control signal is sent via a network. When canceling the camera operation, it is only necessary to click the release button 144-1 or to close the camera operation window 144 itself. Then, the camera operation window 144 is closed and the camera operation is ended. The access management process is also notified regarding the start and end of camera operation.
[0071]
FIG. 9 is a process configuration diagram of the present embodiment. In this embodiment, there are basically five types of processes: a video transmission process 150, a video display process 152, a camera control server 154, a camera control client 156, and an access management process 158.
[0072]
The video transmission process 150 is responsible for video switching, video capturing, and video transmission of the camera video input selection device 112. The input video is displayed in the input video window 140. The video display process 152 is responsible for receiving and displaying video from a plurality of other points. From the video delivered from other points, the video at any six points is displayed on the received video window 142.
[0073]
The camera control server 154 receives the camera control signal via the network, and outputs a camera control signal suitable for the camera to be controlled to the camera video input selection device 112 via the control signal port 126. The camera control client 156 sends a camera control signal toward a designated camera in response to an operation on the camera operation window 144.
[0074]
The access management process 158 manages video transmission / reception and camera operation of all the video communication apparatuses 100-1, 100-2,..., 100-K connected to the network 102.
[0075]
The processes 150, 152, 154, and 156 are operating on the video communication apparatuses 100-1, 100-2,..., 100-K, but the access management process 158 is any one connected to the network 102. It operates only on one video communication device.
[0076]
FIG. 10 shows an example of the structure of the management database managed by the access management process 158. This management database includes a video transmission device list and a video reception device list.
[0077]
The video transmission device list includes fields of a transmission camera name, a channel number, a camera operation host name, and a reception host list. In the transmission camera name, the camera names of all the cameras on the network 102 are registered. This registration is performed when the video transmission process 150 is activated in each of the video communication apparatuses 100-1, 100-2,..., 100-K. The channel number field stores the channel number of the channel assigned to transmit the video of the camera registered in the transmission camera name field. Camera names and channel numbers correspond one-to-one. The access management process 158 assigns a non-overlapping channel to each camera by sequentially assigning unused port numbers to each camera.
[0078]
In the camera operation host field, when there is a host that remotely controls the camera specified by the transmission camera name, the host name is stored. If there is no remote host, this entry is empty. The corresponding host name is registered in the field of the camera operation host by the pop-up of the camera operation window 144, and the registration is deleted and becomes empty again by closing the camera operation window 144.
[0079]
In the field of the receiving host list, a pointer linked to the video receiving device list is stored. The video receiving device list stores a list of host names of one or more video receiving devices that receive the input video of the camera specified by the sending camera name of the record linked in the receiving host name list.
[0080]
Since the transmission camera name, channel number, camera operation host, and video reception device list linked by the reception host name list are management information for one camera, the collection of these data is hereinafter referred to as a management information set.
[0081]
The operation of the video transmission process 150 will be described by taking a video transmission process operating in one video communication apparatus as an example. Each video camera connected to the same video communication apparatus is assigned a different camera number. Looking at the entire network, as described above, the camera names are “hostA.1” and “hostA.2”, etc., but in the following, they are simply referred to as camera 1, camera 2,. To do. Then, channel numbers corresponding to the cameras secured by the RPC call to the access management process 158 are channel 1, channel 2,. In the following description, four cameras are connected, but the number of cameras will be described as N for generalization.
[0082]
The following commands are provided as commands for instructing the start of video transmission. That is,
send (m)
m: Channel number (1 ≦ m ≦ N)
In response to this command, as shown in FIG. 11, the video capture device 128 A / D converts and captures the video signal for one frame from the camera video input selection device 112 (S101), and the captured video Is displayed on the display 130 (S102) and output to the network channel m via the network interface 132 (S103).
[0083]
In addition, as a camera video selection switching command to the camera video input selection device 112, the following command is provided. That is,
change (n)
n: Camera number (1 ≦ n ≦ N)
This command instructs the camera video input selection device 112 to select the camera video of the camera number n and output it to the computer 120. A control signal corresponding to this command is sent from the control signal port 126 to the camera video. This is supplied to the input selection device 112. In the actually tested example, it took about 1 second to execute the change instruction. Of course, it becomes faster or slower depending on the processing speed of each part.
[0084]
In this embodiment, each of the N camera videos is transmitted as a still image that is updated at regular time intervals. As a result, the capacity of the transmission line can be smaller than the number of videos to be transmitted. In the following description, a continuously displayed video in which the frame is updated in a time of 1 second or longer is referred to as a “still image”, whereas a continuous video in which the frame is updated at a shorter rate. Is called “video”. That is, in this embodiment, when the frame rate is less than 1 frame / second, it is called a still image, and when it is 1 frame / second or more, it is called a moving image.
[0085]
FIG. 12 shows a first operation flowchart of the present embodiment. First, N communication channels equal to the number N of cameras are secured on the network 102 (S111). 1 is set to a camera number variable n for designating a camera to transmit one frame (S112). Here, although the initial value of the variable n is set to 1, it is obvious that any numerical value from 0 or 2 to N−1 may be set.
[0086]
In order to cyclically switch the camera that transmits the video, a change command and a send command may be issued at regular time intervals. In FIG. 12, this is realized by a timeout procedure. That is, the switching period of the video by the change command and the issue period of the send command for capturing and transmitting one frame are set to Ts (seconds), and this is registered as the timeout time (S113). Here, Ts = 10 seconds.
[0087]
It waits for the occurrence of a timeout, that is, the passage of Ts (S114), and detects the occurrence of a timeout (S115). In order to take into account the time consumed in the subsequent processing, first, Ts is again registered for timeout (S116).
[0088]
The camera number variable n is incremented (S117), and if it is greater than N (S118), 1 is set to the variable n (S119). Using the camera number variable n as a parameter, the camera video input is switched by a change command (S120), and the camera video is transmitted by one frame to the channel of channel number n by a send command (S121). Since the same variable n is used as a parameter in the change command and the send command, the camera image with the camera number n is transmitted to the communication channel with the channel number n.
[0089]
After issuing the send instruction, the process returns to S114 and waits for the next timeout.
[0090]
In this way, the output images of the camera 1, the camera 2,..., And the camera N are cyclically selected at a time interval of Ts (here, 10 seconds) and transmitted on the corresponding channel. When viewed from the receiving side, the video of each camera is a still image that is updated every Ts × N (seconds).
[0091]
If the time required for the processing of S117 to S121 is Tp, the timeout time Ts is
Ts> Tp
Obviously, that is fine. That is, Ts need not be 10 seconds as long as the above equation is satisfied. In this embodiment, the processing time of the change instruction is set to about 1 second, so that Tp does not become smaller than 1 second. Therefore, Ts cannot be less than 1 second.
[0092]
By operating in this way, each camera video is transmitted at a low frame rate, and even a low-speed computer can sufficiently cope. On the receiving side, although a low frame rate can be received, a large number of camera images can be received, so that a wide range can be roughly grasped.
[0093]
In the present embodiment, one of the N camera videos can be transmitted as a moving image for a predetermined period, and the camera images transmitted as the moving image can be sequentially switched at a constant period. The video of the camera that does not transmit video becomes a still image on the receiving side. Thereby, compared with the case of FIG. 12, although it is cyclic | annular and intermittent in the receiving side, it becomes possible to grasp | ascertain the temporal change of the imaging range of each camera more finely. FIG. 13 shows a flowchart for realizing such an operation. In FIG. 13, in addition to the time variable Ts for switching camera images, a time variable ts that defines the frame period of moving image transmission is introduced.
[0094]
First, N communication channels equal to the number N of cameras on the network are secured (S131). 1 is set to a camera number variable n for designating a camera to transmit one frame (S132). The variable n may be any number from 1 to N. The time variables Ts and ts are registered as timeouts (S133, 134), and the occurrence of an event (here, timeout) is awaited (S135). Here, ts = 0.1 seconds.
[0095]
If the occurrence of timeout is detected (S136), it is determined whether it is due to Ts or due to ts (S137). In the case of time-out due to ts, ts is registered again for time-out (S138), and the output video of the camera with camera number n is transmitted to channel n by one frame by a send command with camera number variable n as a parameter ( S139), the process returns to S135. Until the time corresponding to Ts (that is, 10 seconds) elapses, the video of camera n is output to channel n with ts (0.1 seconds) as a cycle. That is, the video of camera n is output to channel n for 10 seconds at a frame rate of 10 frames / second.
[0096]
When the occurrence of timeout is due to Ts (S137), first, Ts is registered again as timeout (S140). The camera number variable n is incremented (S141). If it is greater than N (S142), 1 is set to the variable n (S143). Using this camera number variable n as a parameter, camera video input is switched by a change command (S144), and the process returns to S135 to wait for the next event to occur.
[0097]
In this way, when the video of the camera 1 is transmitted at 10 frames / second for 10 seconds, the video of the camera 2 is similarly transmitted at 10 frames / second for 10 seconds. The camera 3 is switched to the camera N, and after the camera N, the video of the camera 1 is transmitted again for 10 seconds. When viewed from the receiving side, each camera image is displayed as a moving image for 10 seconds, and then becomes a still image for 10 × (N−1) seconds. In this operation example, the transmission capacity of the transmission line only needs to satisfy 10 frames / second.
[0098]
The time required to execute the processing from S141 to S144 must be shorter than Ts. Of course, Ts> ts must be satisfied.
[0099]
By such an operation, the transmission side does not transmit two or more moving images at the same time, so the load can be reduced. On the receiving side, a wide range of situations can be recognized in more detail from the transmitted video.
[0100]
In this embodiment, one of the N camera videos is sent as a video, that is, as a moving image, and the remaining N-1 camera videos are sent as a still image that is updated every predetermined time. You can also. FIG. 14 shows a flowchart of the operation.
[0101]
FIG. 14 will be described. First, N communication paths equal to the number N of cameras are secured on the network (S151). 1 is set to a camera number variable n for designating a camera to transmit one frame (S152). The camera number of the camera that transmits the moving image is set in a variable k (S153). The variable k may be any of 1 to N, but is set to 1 here. In response to the change command, the camera that captures the video is switched to the camera of camera number k (S154).
[0102]
Each value of the time variable Ts for switching the camera video and the time variable ts for defining the frame period of the moving image transmission is registered as a timeout (S155, S156), and the occurrence of an event is awaited (S157). Here, Ts = 10 seconds and ts = 0.1 seconds.
[0103]
When the occurrence of a timeout of Ts or ts is detected (S158), S160 and subsequent steps are executed for the timeout of ts, and S162 and subsequent steps are executed for the timeout of Ts (S159). Normally, a timeout of ts occurs first.
[0104]
When ts is timed out (S159), ts is re-registered as timed out again (S160), one frame of the camera image of camera number k is transmitted to channel k (S161), and the process returns to S157. Since Ts = 10 seconds and ts = 0.1 seconds, the camera image of camera number k is transmitted at 10 frames / second for 10 seconds.
[0105]
When a timeout of Ts occurs (S159), Ts is registered again as a timeout (S162), and the camera number n is incremented (S163). If the new camera number n matches k (S164), n is further incremented (S165). This is because the camera image of the camera number k is the target of moving image transmission. If n exceeds N, 1 is set to n (S166, S167).
[0106]
The camera to be transmitted is switched to the camera of camera number n by the change command (S168), the camera image of camera number n is transmitted to the channel n by the send command (S169), and the camera to be transmitted is camera number by the change command. Switch to the k camera (S170). The process returns to S157 again and waits for the occurrence of an event.
[0107]
Ts must be set to a time longer than the time taken to perform the processing from S163 to S170. Of course, ts must be shorter than Ts.
[0108]
In this way, while the video of the camera 1 is transmitted as a moving image, the video of the other cameras can be transmitted as a still image while being switched at 10 second intervals. Which video is from which camera can be identified by a transmission channel through which each video is transmitted. When viewed from the receiving side, the video of the camera 1 is a video that is interrupted every 10 seconds for the time required for processing to transmit another frame of video from another camera, that is, the time required for the processing of S163 to S170. The camera images are still images that are updated every 10 × (N−1) seconds.
[0109]
Such a function or operation is suitable for a TV conference system, a video conference system, or the like when it is desired to display an image of the operator of the partner terminal while also displaying the surrounding situation.
[0110]
In the operation example or embodiment shown in FIG. 12, when Tp is sufficiently small, the video of each camera can be regarded as a moving image. For example, if Tp is 0.05 seconds or less, Ts can be set to 0.05 (seconds). If N is about 10, the frame rate of the video of each camera is 1 / (Ts × N). = 2 (frame / second), and according to the above definition, it can be regarded as a moving image. Of course, it is obvious that the change instruction must be able to be executed at high speed.
[0111]
In this embodiment, the video transmission process 150 switches the selection method of the camera video input selection device 112 that selects the outputs of a plurality of cameras based on the information managed by the access management process 158.
[0112]
First, the information management operation of the access management process 158 will be described in detail. In the present embodiment, an RPC (Remote Procedure Call) call or broadcast communication is used for exchanging information between the processes 150 to 156 and the access management process 158. RPC calls are used in the following cases. That is,
1) Start the transmission process
2) End of transmission process
3) Start receiving video
4) End of video reception
5) Camera operation start
6) End of camera operation
7) Request for acquisition of camera list
The transmission process activation and transmission process termination are RPC calls that notify the access management process 158 when the video transmission process 150 is activated and terminated. These arguments or parameters are transmitting camera names. The return value at the start of the transmission process is the channel number of the communication channel for transmission, and there is no return value at the end of the transmission process.
[0113]
In the video display process 152, the start of video reception and the end of video reception are respectively accessed when a camera is selected from the camera name list 142-7 in the received video window 142 and when video reception is terminated. This is an RPC call to notify the process 158. These arguments are the sending camera name and the receiving host name. The return value at the start of video reception is a channel number corresponding to the transmission camera name, and there is no return value at the end of video reception.
[0114]
Camera operation start and camera operation end are RPC calls that inform the access management process 158 when the camera control client 156 starts and ends camera operations. These arguments are the sending camera name and camera operation host name. The return value at the start of camera operation is 1 or 0 indicating permission or rejection of the camera operation, and there is no return value at the end of camera operation.
[0115]
The transmission camera name list acquisition request is an RPC call that requests the access management process 158 for a list of transmission camera names in order to know the video that the video display process 152 can currently receive. It is called by clicking the update button 142-9 of the received video display window 142. There are no arguments. The return value is a list of all cameras registered in the camera name of the video transmission device list shown in FIG. 10, such as “host.1, hostA.2, hostA.3,.
[0116]
Broadcast is used when a change is made to any of the video transmission device list and the video reception device list. At this time, as shown in FIG. 15, the changed management information set is broadcast to all the video communication apparatuses 100-1, 100-2,..., 100-K on the network 102. In this broadcast, a port number indicating a communication path different from the communication path used for video transmission / reception is designated. Compared to video data, the amount of data is very small, so there is no increase in network traffic.
[0117]
FIG. 16 is an operation flowchart relating to the status change of the management database in the access management process 158.
[0118]
The access management process 158 first secures a port number of a broadcast address that can be used on the network 102 by all the video communication apparatuses 100-1, 100-2,..., 100-K. Stored in the channel number field of the video transmission device list in the database (S201). In FIG. 10, 10201, 10202, and 10203 are stored as an example. Next, it waits for an RPC call (S202).
[0119]
When the video transmission process 150 is activated in any of the video communication apparatuses, a transmission process activated RPC call is sent to the access management process 158 (S203). In response to this transmission process activation, as shown in FIG. 17, the access management process 158 searches for a management information set in which the camera name field in the video transmission device list is empty (S212). If found, the RPC argument “transmission camera name” is stored in the area (S213), and the contents of the corresponding channel number field are returned (S214). If no empty area is found (S212), -1 is returned (S215). After receiving a return value other than −1, the video transmission process 150 sends the camera video specified by the name of the transmission camera to the communication path of the channel number indicated by the return value. When the return value is −1, there is no empty channel, so the video transmission process 150 does not transmit the camera video.
[0120]
When the video transmission process 150 is completed on any of the video communication apparatuses, an RPC call for completion of the transmission process is input to the access management process 158 (S204). In response to this, as shown in FIG. 18, the access management process 158 selects a camera name matching the transmission camera name indicated by the argument of the RPC call from the field of the transmission camera name in the video transmission device list (FIG. 10). Search is performed (S216), and the fields of the transmission camera name, camera operation host, and reception device host name list corresponding to the transmission camera name are emptied (S217).
[0121]
When video display is started in any of the video communication devices, a reception start RPC call is transmitted to the access management process 158 (S205). In response to this, the access management process 158 searches the transmission camera name field of the video transmission apparatus list (FIG. 10) for a camera name that matches the transmission camera name indicated by the argument as shown in FIG. In step S132, the reception host name as an argument is registered at the end of the entry of the video reception device list corresponding to the camera (S219). Then, the channel number is returned (S220). The video display process 152 receives the video by designating the channel number indicated by the return value. Thereby, the target video can be received and displayed.
[0122]
Video display process 152 of Video display ends You Then, the reception-completed RPC call is transmitted to the access management process 158 (S206). In response to this, as shown in FIG. 20, the access management process 158 searches the transmission camera name field of the video transmission apparatus list (FIG. 10) for a camera name that matches the transmission camera name indicated by the argument ( In step S221), the reception host name indicated by the argument is retrieved from the video reception device list (FIG. 10) corresponding to the camera (S222). , The receiving host name is deleted from the video receiving device list and rearranged so as to fill in empty entries (S223).
[0123]
When there is an operation for starting camera operation, the camera control client 156 transmits an RPC call for starting camera control to the access management process 158 (S207). In response to this, the access management process 158 searches the transmission camera name field of the video transmission apparatus list (FIG. 10) for a camera name that matches the transmission camera name indicated by the argument as shown in FIG. S224), the camera operation host of the management information set corresponding to the matched transmission camera name Name It is checked whether the field No. is empty (S225). This is to prevent a plurality of hosts from operating the same camera at the same time. If the camera operation host field is empty (S225), the host name indicated by the argument of the RPC call is stored in the camera operation host field (S226), and 1 is returned (S227). If the camera operation host field is not empty (S225), 0 is returned (S228). The camera control client 156 can issue a control command for operating the camera if the return value is 1, and cannot issue it if it is 0.
[0124]
When there is an operation for ending the camera operation, the camera control client 156 transmits an RPC call for ending the camera control to the access management process 158 (S208). In response to this, the access management process 158, as shown in FIG. 22, sets the transmission camera name matching the transmission camera name indicated by the argument of the RPC call to the field of the transmission camera name in the video transmission device list (FIG. 10). (S229), and NULL is stored in the camera operation host field of the management information set corresponding to the matched transmission camera name (S230).
[0125]
When the contents of the management database are changed in response to these RPC calls, all the video communication apparatuses 100-1, 100-2,... Are stored in the data format as shown in FIG. Broadcast to 100-K (S211).
[0126]
For an RPC call for a transmission camera name list acquisition request (S209), the access management process 158 lists all camera names registered in the transmission camera name field of the video transmission device list (FIG. 10) in a predetermined list. It is returned to the request source in the form (S210). The video display process 152 receives this list and displays the transmission camera name in the camera name list 142-7 of the reception video window 142 as a list.
[0127]
In this way, the access management process 158 manages the video transmission / reception information performed in all the video communication apparatuses 100-1, 100-2,... Are notified to all the video communication apparatuses 100-1, 100-2,..., 100-K.
[0128]
In this embodiment, the video transmission process 150 acquires transmission / reception information from the access management process 158 and switches the operation mode according to the following three guidelines. That is,
1) For video cameras that do not have a receiving host, the output video is not transmitted.
[0129]
2) When all the video display processes are received, the camera video is a target of moving picture transmission by time division.
[0130]
3) The output video of the video camera operated by the camera is transmitted as a moving image, and at this time, the output video of the other video camera received is transmitted as a still image.
[0131]
The pointer 2) is, so to speak, transmitting video in the input selection switching procedure shown in the operation example shown in FIG. 13, and the pointer 3) is transmitting video in the input selection switching procedure shown in the operation example shown in FIG. .
[0132]
In order to operate in accordance with the above three guidelines, the video transmission process 150 includes a transmission camera list and a reception host list as shown in FIG. This data is a collection of only management information relating to the cameras connected to the own device from the video transmission device list and the video reception device list (FIG. 10) managed by the access management process 158. FIG. 23 shows a database of the video transmission process specified by hostA, and four cameras are connected to hostA. 1,..., HostA. Named 4 Camera hostA. 1 is received by hostB and hostC, and the camera hostA. 3 is received by hostC and hostD. Camera hostA. 3 is operated by hostC. Camera hostA. 2 and camera hostA. Video 4 has not been received.
[0133]
In the data example shown in FIG. 23, the camera hostA. 1 and camera hostA. 3 is transmitted, but the camera hostA. 3 is transmitted as a video, and the camera hostA. The video of 1 is transmitted as a still image. The video transmission process 150 switches cameras for video input according to the transmission camera list shown in FIG. The transmission camera list and the reception host list shown in FIG. 23 are updated according to the information broadcast from the access management process 158.
[0134]
In the following description, the camera hostA. 1,..., HostA. 4 is represented as camera 1,..., Camera 4, and the channel number corresponding to the camera is represented as channel 1,.
[0135]
The operation of the video transmission process 150 will be described in detail with reference to FIGS. First, the number of cameras is checked (S301), and a unique name is assigned so that each camera can be identified (S302). In this embodiment, hostA. 1, hostA. 2, hostA. 3 and hostA. 4 and so on. It will be connected with '.
[0136]
An RPC call is made to the access management process 158 using the camera name as an argument, a channel number is obtained as a return value, and a channel for transmitting the video of each camera is secured (S303). The correspondence between the camera name and the channel number is stored in the transmission camera list shown in FIG. In this embodiment, a variable mode that can take three types of values is used. mode = 1 indicates a mode in which no video of any camera is transmitted, and mode = 2 indicates a mode in which moving image video transmission for a predetermined time is sequentially performed as in the operation example illustrated in FIG. Mode = 3 indicates a mode in which the output video of a specific camera is transmitted as a moving image and the remaining video images of a camera are transmitted as a still image, as in the operation illustrated in FIG.
[0137]
At this stage, at this stage, mode is set to 1 (S304), and transmission is not performed until the receiving host is registered in the access management process 158. Then, it waits for one of two events, a time-out event for timing control for transmitting video every frame and reception of a broadcast message transmitted from the access management process 158 (S305).
[0138]
When a broadcast message is received from the access management process 158 (S308), the transmission camera list is updated as follows. That is, since the broadcast message has a format as shown in FIG. 15, the transmission camera name in this message is matched with the transmission camera name field in the transmission camera list (S309). . If it does not match any transmission camera name (S309), it is a message that is not related to the transmission / reception of the camera of its own device, so it returns to waiting for an event. If there is a match (S309), the operation host name and the reception host list in the message are first copied to the transmission camera list (S310).
[0139]
In the transmission camera list updated in this manner, it is checked whether or not the pointers to the reception host list for all transmission camera names are NULL (S311). If all the pointers to the ligation and receiving host list are NULL (S311), the variable mode is set to 1 so that no camera transmits (S312).
[0140]
If all pointers to the receiving host list are not NULL (S311), the variable mode is set to 2 (S313), and whether or not the camera whose pointer to the receiving host list is not NULL is remotely controlled. (S314), if the entry of the camera operation host is NULL (S314), since the camera is not operated, it is treated as mode = 2 as it is, and the camera number to which the moving image should be transmitted first is set ( S315), timeout times Ts and ts are set (S318), and the process returns to event waiting (S305). If the camera is operated (S314), the variable mode is set to 3 (S316), the camera operation host sets the camera number corresponding to the transmission camera name that is not NULL as the moving image camera number k, and is first stationary. The camera number n of the camera to be transmitted as an image is set (S317), timeout times Ts and ts are set (S318), and the process returns to the event wait (S305).
[0141]
If the event that occurs is a timeout (S306), the value of the variable mode is first examined (S307). If mode is 2, the process proceeds to S320, and if mode = 3, the process proceeds to S330. The operation after S320 is almost the same as the operation example shown in FIG. 13, except that the condition determination by S327 is included in order not to transmit the video for a camera without a receiving host.
[0142]
The operation after S330 is almost the same as the operation example shown in FIG. 14, but the switching method is slightly different. In the case of timeout due to Ts (S330), a timeout due to Ts is newly set (S333), and the camera number n for still image transmission is incremented (S334). Next, it is checked whether there is a camera that transmits other than the camera that transmits the moving image (S335). If there is no camera, the process returns to the event waiting (S305). If there is a camera to be transmitted (S335), it is checked whether n and the video camera number k are equal (S336). If they are equal, the camera number n is further incremented (S337). It is checked whether or not the camera number n exceeds the number N of cameras (S338). If it exceeds, the camera number n is returned to 1 (S339). In this way, the camera number n of the camera that transmits the still image is determined. If there is no receiving host for this camera (S340), the process returns to S334, and the camera number n is incremented. This loop searches for a camera with a receiving host.
[0143]
When a camera with a receiving host is found (S340), the camera video input is switched (S341) and transmitted (S342) to transmit the video of the camera as a still image, and the video input is transmitted as a video image. (S343) and return to the event wait (S305).
[0144]
By operating in this way, the video of the camera that has not been received is not transmitted, only the video of the received camera is transmitted as a video in order for a certain period of time, and the video of the remotely operated camera is also video. Can be realized.
[0145]
【The invention's effect】
As can be easily understood from the above description, according to the present invention, a plurality of camera images can be freely selected and transmitted with a small line capacity.
[0146]
Since a plurality of video input means are provided, a wider range of video can be captured, and the cost at a single point can be greatly reduced.
[0147]
Furthermore, since a plurality of videos are switched and transmitted, the line capacity can be reduced. Ultimately one line is enough. Since the weight of the transmission frame rate of each video can be made separately, each video can be transmitted at a frame rate according to the importance.
[0148]
In addition, the transmission / reception information can be acquired from the video transmission / reception information management means as needed, and the selection order and timing of the multiple video inputs are dynamically changed based on the information, so that the CPU on the video transmission side Significantly reduce load and network traffic.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of an embodiment of the present invention.
FIG. 2 is a flowchart of video transmission processing according to the embodiment.
FIG. 3 is a first operation flowchart of the embodiment.
FIG. 4 is a second operation flowchart of the embodiment.
FIG. 5 is a third operation flowchart of the embodiment.
FIG. 6 is a network configuration diagram of an embodiment of the present invention relating to a video transmission system.
FIG. 7 is a block diagram of a schematic configuration of a communication terminal apparatus according to a second embodiment.
FIG. 8 is an example of a display screen according to the second embodiment.
FIG. 9 is a process configuration diagram of the second embodiment.
FIG. 10 is a structural example of a transmission / reception information management database managed by an access management process 158;
FIG. 11 is a basic flowchart of a video transmission process in the second embodiment.
FIG. 12 is a first operation flowchart of the second embodiment;
FIG. 13 is a second operation flowchart of the embodiment of the second embodiment.
FIG. 14 is a third operation flowchart of the second embodiment;
FIG. 15 is an example of the structure and content of information broadcast by the access management process 158;
16 is an operation flowchart of an access management process 158. FIG.
FIG. 17 is a detailed flowchart of S203 of FIG.
FIG. 18 is a detailed flowchart of S204 in FIG.
FIG. 19 is a detailed flowchart of S205 in FIG.
FIG. 20 is a detailed flowchart of S206 in FIG.
FIG. 21 is a detailed flowchart of S207 in FIG.
FIG. 22 is a detailed flowchart of S208 in FIG.
FIG. 23 is an example of the structure and contents of a transmission camera list held by a video transmission process 150;
24 is a part of an operation flowchart of a video transmission process 150. FIG.
25 is a part of an operation flowchart of a video transmission process 150. FIG.
26 is a part of an operation flowchart of a video transmission process 150. FIG.
27 is a part of an operation flowchart of a video transmission process 150. FIG.
[Explanation of symbols]
10-1, 10-2,..., 10-N: Video camera
12: Camera image input selection device
20: Computer
22: CPU
24: Main memory
26: Control signal port
28: Video capture device
30: Bitmap display
32: Network interface
34: Internal bus
100-1, 100-2, ..., 100-K: Video communication apparatus
102: Network
110-1, 110-2,..., 110-N: video camera
112: Camera image input selection device
120: Computer
122: CPU
124: Main memory
126: Control signal port
128: Video capture device
130: Bitmap display
132: Network interface
134: Mouse
136: Internal bus
150: Video transmission process
152: Video display process
154: Camera control server
156: Camera control client
158: Access management process

Claims (6)

外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え手段と、
前記映像入力切替え手段により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換手段と、
前記変換手段により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信手段
とを具備し、
前記映像入力切替え手段が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信手段は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信することを特徴とする映像送信装置。
Video input switching means for selecting one analog output video in a predetermined order and timing from the analog output video of a plurality of externally connected video cameras;
Conversion means for A / D converting one analog output video selected by the video input switching means, and encoding the digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video;
Transmitting means for transmitting the encoded video obtained by the converting means to a predetermined video receiving device via a network frame by frame at a predetermined period ;
The video input switching means selects an analog output video of a predetermined one video camera for a first period, and an analog output video of a video camera other than the predetermined video camera in a second period shorter than the first period. by selecting between said transmitting means transmits the encoded video of the predetermined video camera at a predetermined or more frame rates, a coded video of the video camera other than the predetermined video camera of the predetermined or frame A video transmission apparatus that transmits at a frame rate slower than the rate.
前記映像入力切替え手段は、前記所定の映像受信装置において受信されないビデオカメラの出力映像を選択しないことを特徴とする請求項に記載の映像送信装置。2. The video transmission apparatus according to claim 1 , wherein the video input switching unit does not select an output video of a video camera that is not received by the predetermined video reception apparatus. 前記送信手段は、前記映像受信装置からの遠隔操作されている1つのビデオカメラの出力映像を選択している期間は、当該所定のビデオカメラの出力映像を所定以上のフレーム・レートで送信することを特徴とする請求項1または2に記載の映像送信装置。The transmission means transmits the output video of the predetermined video camera at a frame rate greater than or equal to a predetermined rate during a period in which the output video of one video camera remotely operated from the video receiving device is selected. video transmission apparatus according to claim 1 or 2, characterized in. 複数のビデオカメラに接続された映像送信装置から送信された映像を映像受信装置において表示する映像伝送システムであって、
前記映像送信装置は、
外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え手段と、
前記映像入力切替え手段により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換手段と、
前記変換手段により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信手段
とを具備し、
前記映像受信装置は、前記送信手段により送信された出力映像を表示する表示手段を具備し、
前記映像入力切替え手段が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信手段は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信し、
前記映像受信装置の前記表示手段は、前記送信手段により送信された複数のビデオカメラの出力映像を一覧表示することを特徴とする映像伝送システム。
A video transmission system for displaying a video transmitted from a video transmission device connected to a plurality of video cameras on a video reception device,
The video transmission device includes:
Video input switching means for selecting one analog output video in a predetermined order and timing from the analog output video of a plurality of externally connected video cameras;
Conversion means for A / D converting one analog output video selected by the video input switching means, and encoding the digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video;
Transmitting means for transmitting the encoded video obtained by the converting means to a predetermined video receiving device via a network frame by frame at a predetermined period ;
The video receiving device comprises display means for displaying the output video transmitted by the transmitting means,
The video input switching means selects an analog output video of a predetermined one video camera for a first period, and an analog output video of a video camera other than the predetermined video camera in a second period shorter than the first period. by selecting between the transmitting means transmits the encoded video of the predetermined video camera at a predetermined or more frame rates, a coded video of the video camera other than the predetermined video camera of the predetermined or frame Send at a frame rate slower than the rate,
The video transmission system characterized in that the display means of the video reception apparatus displays a list of output videos of a plurality of video cameras transmitted by the transmission means.
前記表示手段は、前記出力映像の受信タイミングに基づき前記一覧表示における各映像を更新することを特徴とする請求項に記載の映像伝送システム。5. The video transmission system according to claim 4 , wherein the display unit updates each video in the list display based on a reception timing of the output video. 複数のビデオカメラの出力映像を映像受信装置に送信する映像送信装置の映像送信方法であって、
外部接続された複数のビデオカメラのアナログ出力映像の中から、1つのアナログ出力映像を所定順序及びタイミングで選択する映像入力切替え工程と、
前記映像入力切替え工程により選択された1つのアナログ出力映像をA/D変換し、前記A/D変換により得られたデジタル出力映像を所定形式で符号化して符号化映像を得る変換工程と、
前記変換工程により得られた符号化映像を所定周期で1フレームずつネットワークを介して所定の映像受信装置に対して送信する送信工程とを具備し、
前記映像入力切替え工程が所定の1つのビデオカメラのアナログ出力映像を第1期間の間選択し、当該所定のビデオカメラ以外のビデオカメラのアナログ出力映像を前記第1期間よりも短い第2期間の間選択することにより、前記送信工程は、当該所定のビデオカメラの符号化映像を所定以上のフレーム・レートで送信し当該所定のビデオカメラ以外のビデオカメラの符号化映像を当該所定以上のフレーム・レートより遅いフレーム・レートで送信することを特徴とする映像送信装置の映像送信方法。
A video transmission method of a video transmission device for transmitting output video of a plurality of video cameras to a video reception device,
A video input switching step of selecting one analog output video in a predetermined order and timing from the analog output video of a plurality of externally connected video cameras;
A conversion step of A / D converting one analog output video selected by the video input switching step, and encoding a digital output video obtained by the A / D conversion in a predetermined format to obtain an encoded video;
A transmission step of transmitting the encoded video obtained by the conversion step to a predetermined video receiving device via the network frame by frame at a predetermined cycle ,
The video input switching step selects an analog output video of a predetermined one video camera for a first period, and selects an analog output video of a video camera other than the predetermined video camera for a second period shorter than the first period. by selecting between said transmitting step transmits the encoded video of the predetermined video camera at a predetermined or more frame rates, frame coding video of the video camera other than the predetermined video camera of the predetermined or higher A video transmission method of a video transmission device, characterized by transmitting at a frame rate slower than the rate.
JP16383195A 1995-03-20 1995-06-29 Video transmission device, video transmission system, and video transmission method Expired - Fee Related JP3715682B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16383195A JP3715682B2 (en) 1995-03-20 1995-06-29 Video transmission device, video transmission system, and video transmission method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-61058 1995-03-20
JP6105895 1995-03-20
JP16383195A JP3715682B2 (en) 1995-03-20 1995-06-29 Video transmission device, video transmission system, and video transmission method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005015971A Division JP4115452B2 (en) 1995-03-20 2005-01-24 Video receiving apparatus and video display method of video receiving apparatus

Publications (2)

Publication Number Publication Date
JPH08322032A JPH08322032A (en) 1996-12-03
JP3715682B2 true JP3715682B2 (en) 2005-11-09

Family

ID=26402110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16383195A Expired - Fee Related JP3715682B2 (en) 1995-03-20 1995-06-29 Video transmission device, video transmission system, and video transmission method

Country Status (1)

Country Link
JP (1) JP3715682B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197472A (en) * 2000-01-06 2001-07-19 Ls Net:Kk Transmitting device using cable tv network
JP4695474B2 (en) * 2005-09-21 2011-06-08 株式会社東芝 Composite video control apparatus, composite video control method, and program

Also Published As

Publication number Publication date
JPH08322032A (en) 1996-12-03

Similar Documents

Publication Publication Date Title
US7222356B1 (en) Communication apparatus, storage medium, camera and processing method
CA2381960C (en) System and method for digital video management
US6043837A (en) Method and apparatus for electronically distributing images from a panoptic camera system
US8064080B2 (en) Control of data distribution apparatus and data distribution system
US6646677B2 (en) Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
US20050091311A1 (en) Method and apparatus for distributing multimedia to remote clients
EP2124445B1 (en) Image display device and image display method
WO2005019837A2 (en) Spherical surveillance system architecture
KR100839814B1 (en) Remote video surveillance system and the method for remote video surveillance
US20060199734A1 (en) Image data delivery system
JP3689447B2 (en) Camera control system and method
US6741276B1 (en) Camera control system
JP4115452B2 (en) Video receiving apparatus and video display method of video receiving apparatus
JP3715682B2 (en) Video transmission device, video transmission system, and video transmission method
JP2000069455A (en) Remote monitoring device
JP3604766B2 (en) Camera control device and camera control method
US20060098100A1 (en) Monitoring device
KR20140111324A (en) A method for video surveillance, a related system, a related surveillance server, and a related surveillance camera
JP3969751B2 (en) Camera control system, camera operation device, and camera operation method
KR20040016591A (en) System for controlling remote camera in digital video recorder
JP2003250147A (en) Monitoring method of network type monitoring system
JP2004117973A (en) Camera platform for camera
KR20090056423A (en) Virtual matrix system and control method
JP2001008194A (en) Monitor system
KR20050025872A (en) Controlling method of security system using real-time streaming protocol

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050826

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees