JP2000041235A - 映像通信システム及び映像通信処理方法 - Google Patents

映像通信システム及び映像通信処理方法

Info

Publication number
JP2000041235A
JP2000041235A JP10209353A JP20935398A JP2000041235A JP 2000041235 A JP2000041235 A JP 2000041235A JP 10209353 A JP10209353 A JP 10209353A JP 20935398 A JP20935398 A JP 20935398A JP 2000041235 A JP2000041235 A JP 2000041235A
Authority
JP
Japan
Prior art keywords
video
information
processing
camera
asynchronously
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10209353A
Other languages
English (en)
Inventor
Hironori Yonezawa
博紀 米澤
Kouichirou Tanaka
宏一良 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP10209353A priority Critical patent/JP2000041235A/ja
Priority to US09/357,975 priority patent/US6483878B1/en
Publication of JP2000041235A publication Critical patent/JP2000041235A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

(57)【要約】 【課題】 複数の情報送信装置から受信した映像の表示
全体へ、一部の速度の異なるネットワークによる影響一
部のネットワークの不良による影響がおよぶという課題
がある。 【解決手段】 映像情報を送信する複数の情報送信装置
と、その情報送信装置から受信した映像情報を表示する
情報表示装置とが通信手段を介して接続された映像通信
システムであって、前記情報送信装置から映像情報を非
同期に受信する受信手段、前記受信手段により受信した
映像情報を非同期に処理する処理手段、前記処理手段に
より処理された映像情報を非同期に複数表示する表示手
段を備えることを特長とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、通信ネッ
トワークを介して接続された遠隔地の通信装置から、画
像データ等を受信して表示する映像通信システム及び映
像通信処理方法に関する。
【0002】
【従来の技術】例えば建物の内部において、複数のビデ
オカメラ及びコンピュータを配置し、それらを通信回線
を介して接続することによってネットワーク化し、所望
する複数の地点間で映像の伝送や、映像及び音声による
対話を実現する映像伝送システムが提案されている。
【0003】このような映像伝送システムでは、ある地
点のコンピュータのユーザが、所望する地点のビデオカ
メラを遠隔操作することや、そのカメラが撮像した映像
を自分のコンピュータの画面上に表示することができ
る。
【0004】また、カメラの遠隔操作を可能にする映像
伝送システムにおいては、特に、操作対象となるビデオ
カメラの数が多くなる程、各ビデオカメラがどこに設置
されているかをユーザが容易に把握できることが必要で
ある。そこで、地図(マップ)を表示する画像上に各ビ
デオカメラの設置場所を示すカメラ・シンボルを重畳し
て表示する技術や、更にそのカメラ・シンボルの向きを
表示することにより、実際のカメラの向きを表現する技
術も提案されている。
【0005】このようなシステムでは、複数のビデオカ
メラの映像を略同時刻にコンピュータで表示させること
が出来る。しかし瞬間的には、ビデオカメラの操作、映
像伝送、映像表示を行えるのはある1つのコンピュータ
に対してのみである。そのため映像伝送処理、映像表示
処理を時分割して行い、動画のように見えるよう工夫す
る必要がある。
【0006】
【発明が解決しようとする課題】上記のようなシステム
において、略同時に表示できる映像の数は、ある程度ま
で増やすことは可能である。しかしながら、従来提案さ
れている手法では、同時表示する映像送信コンピュータ
が、それぞれ遅いネットワークと速いネットワークを介
して映像表示コンピュータに接続されていた場合、遅い
ネットワークにより表示速度が律速されてしまう問題が
生じる。
【0007】また、映像送信コンピュータやネットワー
クに異常事態が発生した場合、一定時間すべての映像更
新が中断されてしまうという問題が生じる。
【0008】そこで、本発明は、映像表示装置が速度の
異なるネットワークを介して複数の映像送信装置と接続
されている場合や、各該ネットワークの不良が発生した
場合に、全体的に性能低下しない映像通信システム及び
映像通信方法の提供を目的とする。
【0009】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の映像通信システムは以下の構成を特長とす
る。
【0010】即ち、映像情報を送信する複数の情報送信
装置と、その情報送信装置から受信した映像情報を表示
する情報表示装置とが通信手段を介して接続された映像
通信システムであって、前記情報送信装置から映像情報
を非同期に受信する受信手段、前記受信手段により受信
した映像情報を非同期に処理する処理手段、前記処理手
段により処理された映像情報を非同期に複数表示する表
示手段を備えることを特徴とする。
【0011】また、前記映像情報は圧縮されており、1
フレームの画像を複数パケットに分散したデータであっ
て、前記処理とは前記パケットに分散したデータを1フ
レームの画像に統合し、複合する処理である。
【0012】
【発明の実施の形態】以下、本発明に係る映像通信シス
テムの実施形態を、図面を参照して詳細に説明する。
【0013】図1は、本発明の一実施形態としての映像
通信システムを含む通信システムの全体概要を示すブロ
ック図である。
【0014】図中、10は、撮像した画像に基づいて映
像信号を発生する装置としてのビデオカメラである。2
0は、ビデオカメラ10からの画像信号を監視装置60
に送信したり、そのビデオカメラ10を制御する制御信
号を監視装置60から受信するワークステーション(W
S)やパーソナルコンピュータ等の映像送信装置であ
る。60は、映像送信装置20からの画像信号の受信
や、ビデオカメラ10を制御する制御信号を映像送信装
置20に送信するワークステーション(WS)やパーソ
ナルコンピュータ等の監視装置である。
【0015】複数の映像送信装置20及び監視装置60
は、ネットワーク100を介して相互に通信可能であ
り、好ましくは、映像送信装置20は、ビデオカメラ1
0からの画像信号をアナログ/デジタル(A/D)変換
し、得られたデジタル画像データを圧縮してネットワー
ク100を介して監視装置60に送信する。
【0016】12は、ビデオカメラ10のパン、チル
ト、ズーム、焦点調節、絞り等の動作の制御を、映像送
信装置20からの制御信号(制御コード)に従って制御
するカメラ制御回路である。この制御信号は、映像送信
装置20の入出力インタフェース32から、例えばRS
−232C等の規格に基づいてカメラ制御回路12に入
力される。
【0017】尚、ビデオカメラ10がパン、チルト等の
動作を行わない場合はカメラ制御回路12は必ずしも必
要でないが、好ましくは、ビデオカメラ10の電源のオ
ン・オフの制御を行えるようにすると良い。
【0018】<映像送信装置20>次に、映像送信装置
20の装置構成について説明する。24は主記憶、26
はハードディスク等の記憶装置である。28は、ポイン
ティングデバイスとしてのマウスであるが、マウスに限
らず、例えばディスプレイ35上のタッチパネル等の他
のデバイスであってもよい。30は入力手段としてのキ
ーボードである。25は、フロッピーディスク、CD−
ROM等の記憶媒体の取外し可能な外部記憶装置であ
る。32は、カメラ制御回路12を接続し、ビデオカメ
ラ10の制御信号を送受信する入出力(I/O)インタ
フェースである。34は、ビデオカメラ10のビデオ出
力信号VDを取り込むビデオキャプチャーボードであ
る。ビデオ出力信号は、一般なNTSCのようなアナロ
グ信号であっても、デジタル信号であってもよいが、ア
ナログ信号の場合はA/D変換を行う機能を有している
必要がある。36は、キャプチャーボード36がキャプ
チャーした映像をバス39を介して入手し、ビットマッ
プディスプレイ35の任意の位置に表示するビデオボー
ドである。38は、ネットワーク100を介して監視装
置60との通信を行うネットワークインタフェースであ
る。これらの各デバイスは、システムバス39により相
互に接続されており、CPU22は、記憶媒体や記憶装
置26に格納されているソフトウェア、或はネットワー
ク100を介して入手したソフトウェアに従って、映像
送信装置20全体及びビットマップディスプレイ35の
表示を制御する。
【0019】尚、ビデオキャプチャーボード34がデー
タ圧縮機能を有しない場合は、更にその機能を実現する
ソフトウェアを用意し、CPU22によってデータ圧縮
処理を行えば良い。
【0020】以上の構成を備える映像送信装置20によ
り、ビデオカメラ10により撮像した画像データを、ネ
ットワーク100を介して遠隔地の監視装置60に伝送
する。また、監視装置60から受信する制御コードに従
って、ビデオカメラ10を制御する。
【0021】<監視装置60>次に、監視装置60の装
置構成について説明する。監視装置60の構成において
映像送信装置20と同様なデバイスについての説明は省
略するが、ネットワークインタフェース138は、圧縮
された画像データを映像送信装置20から受信する。そ
して、CPU122は、その受信したデータ(符号化さ
れたデータ)をビデオ圧縮デコーダ33により復調し、
その復調された画像データに基づいてビデオボード13
6を制御することにより、ビットマップディスプレイ1
35にビデオカメラ10の撮像した画像やビデオカメラ
10の状態を表示する。また、CPU122は、監視装
置60のユーザがキーボード130またはマウス128
を用いて入力したデータに応じてビデオカメラ10を制
御する制御コードを映像送信装置20に送信する。
【0022】次に、本実施形態における映像送信装置2
0及び監視装置60のソフトウェアについて説明する。
尚、以下に説明するソフトウェアは、図1を参照して説
明した映像送信装置20または監視装置60のハードウ
エアにて実行されることは言うまでもない。
【0023】図2は、本発明の一実施形態としての映像
送信装置20及び監視装置60の主なソフトウェアの構
成を説明する図である。
【0024】まず、監視装置60にて実行されるソフト
ウェアについて説明する。411は、映像送信装置20
に接続されたビデオカメラ10を遠隔制御するカメラ制
御クライアントソフトウェアである。412は、映像送
信装置20からパケットの形で送られてきた圧縮画像デ
ータを復調して表示する映像受信ソフトウェアである。
この映像受信ソフトウェア412は、ネットワーク10
0に接続された全ての映像送信装置20(ビデオカメラ
10)から受信する画像データの管理を行うソフトウェ
アであり、各々のカメラのカメラID、そのカメラが接
続されている映像送信装置20のホストID、パン/チ
ルト、ズーム等のカメラの動作状態や、制御可能である
か否か等のカメラに関する情報、そして、現在どのカメ
ラを制御中なのか、どのカメラの映像を表示中なのかと
いった現在の状態を表わす情報を当該監視装置60に保
有する機能を有する。尚、カメラ制御クライアントソフ
トウェア411及びマップ管理ソフトウェア413で
も、これらの情報は共有され、カメラシンボルの表示変
更等に利用される。413は、マップとカメラシンボル
及び後述する図6のスコープ表示により、ビデオカメラ
10の位置、パン及びズームの状態をグラフィカルに表
示し、且つビデオカメラ10の動作制御を行うGUI
(グラフィカルユーザインタフェース)機能を有するマ
ップ管理ソフトウェアである。監視装置60には、これ
らのソフトウェアが記憶装置26に予めインストールさ
れる。
【0025】次に、映像送信装置20にて実行されるソ
フトウェアについて説明する。421は、当該映像送信
装置20に接続されているビデオカメラ10のパン/チ
ルト、ズーム、ホワイトバランス422等の動作状態を
制御すると共に、当該ビデオカメラから出力される画像
データを当該映像送信装置20に取り込むためのカメラ
制御サーバソフトウェアである。422は、カメラ制御
サーバソフトウェアと連動して動作し、現在ビデオカメ
ラ10を制御中の監視装置60への映像の送信を行う映
像送信ソフトウェアである。映像送信装置20には、こ
れらのソフトウェアが記憶装置126に予めインストー
ルされる。
【0026】尚、上記のソフトウェア以外にも、ネット
ワーク100を介した双方向の通信や記憶装置26,1
26や外部記憶装置25,125等を制御するソフトウ
ェアを有することは言うまでもない。
【0027】<ユーザインタフェース>次に、本実施形
態におけるユーザインタフェース、即ち、ビットマップ
ディスプレイ135に表示される画面について説明す
る。はじめに、映像送信装置20にネットワーク接続さ
れる監視装置60が一台の場合を前提に説明する。
【0028】図3及び図4は、本発明の一実施形態とし
ての監視装置の表示例を示す図であり、監視装置60の
ビットマップディスプレイ135上に表示される画面の
一例である。図3において、500は、地図が表示され
るマップウインドウであり、本実施形態においてはオフ
ィスや店舗、倉庫のレイアウトを示す複数枚の地図52
0,530,540…の管理が行われる。各々の地図に
はタグが付けられており、このタグをマウス128でク
リックすることにより、当該タグのついた地図が最前列
に表示される(地図表示領域502)。その際、当該地
図には、カメラシンボルも表示される。
【0029】図3では、地図510〜540のうちの地
図520を地図表示領域502に表示させた様子を表し
たものであり、地図520上に配置されたアイコンとし
てのカメラシンボル521,522,523…が表示さ
れている。このとき、地図530のタグをクリックすれ
ば、図4が表示される。
【0030】図4に示すように、地図表示領域502に
は地図530が表示され、その地図530には、カメラ
シンボル531,532が表示される。
【0031】図5は、本発明の一実施形態としてのビデ
オカメラからの映像を表示するウインドウの表示例を示
す図である。ビデオカメラ10の画像を表示するウイン
ドウ600には、同図に示すように、複数の映像表示領
域610〜620には、複数のビデオカメラ10がそれ
ぞれ撮像した画像が表示される。632は、表示されて
いる画像を映像表示領域から削除するためのゴミ箱アイ
コンである。640はビデオカメラ制御用のパネルであ
り、ビデオカメラ10の種々のカメラ制御用のボタン類
を具備し、選択されたカメラのパン/チルト、ズームを
制御することができる。
【0032】本実施形態においては一例として6個の領
域を示しているがこれに限られるものではない。また、
図3や図4に示したウインドウと同一画面に表示しても
良い。
【0033】次に、本実施形態の映像通信システムに係
るグラフィカルユーザインターフェースGUIについて
図6から図10参照して説明する。本実施形態において
は、地図520,530…上のカメラアイコンを映像表
示ウインドウ内にある任意の映像表示領域にドラッグ・
アンド・ドロップ操作(以下、D&Dと称する)する
と、ドラッグ・アンド・ドロップされたアイコンに対応
したビデオカメラからの動画像が、ドロップされた映像
表示領域に表示される。
【0034】図6は、本発明の一実施形態としてのD&
D操作による表示を行ったときの様子を示す図であり、
ビデオカメラ523を映像表示領域614にD&Dした
時の様子である。また、図7は、本発明の一実施形態と
してのD&D操作中のビデオカメラのマウスカーソルを
示す図である。図8は、本発明の一実施形態としてのD
&D操作による表示領域を変化させたときの様子を示す
図である。図9は、本発明の一実施形態としての撮像し
た映像を表示中であることを示すカメラアイコンを示す
図である。そして、図10は、本発明の一実施形態とし
てのD&D操作による表示中止のための操作の様子を示
す図である。
【0035】本実施形態において、D&D操作中は、マ
ウスカーソルの形状が図7に示すカメラの形状になり、
ユーザにとってはドラッグアンドドロップの動作中であ
ることが確認できる。このとき、マップ管理ソフトウェ
ア413がドラッグされたカメラの位置情報から、該カ
メラのID番号を検索し、映像受信ソフトウェア412
に対してD&DされたカメラのID番号を通知する。映
像受信ソフトウェア412からカメラのパン/チルトや
カメラ名、カメラが接続されているホスト名を検索し、
映像送信ソフトウェア422と接続を行う。これについ
ては後述する。
【0036】映像受信ソフトウェア412は、これら情
報をカメラ制御クライアントソフトウェア411、マッ
プ管理ソフトウェア413にも通知する。
【0037】カメラ制御クライアントソフトウェア41
1は、通知された情報に従って、当該ビデオカメラ10
の接続されている映像送信装置20のカメラ制御サーバ
ソフトウェア421とネットワーク100を介して通信
による接続を行う。以後、監視装置60のカメラ制御ク
ライアントソフトウェア411と、映像送信装置20の
カメラ制御サーバソフトウェア421との間でその映像
送信装置20に接続されているビデオカメラ10の動作
制御が行われるが、当該カメラのパン/チルト等の情報
は、カメラ制御クライアントソフトウェア411から映
像受信ソフトウェア412に所定時間毎に通知される。
【0038】マップ管理ソフトウェア413は、ビデオ
ボード136内に格納されているマップの更新を行うこ
とにより、実際のビデオカメラ10の向きに対応するよ
うに、カメラアイコンの向きを変更したり、図9のよう
に当該ビデオカメラ10が撮像した画像を表示中である
ことを示すスコープ910を描画したり、スコープ91
0の中に、そのカメラのパン/チルト、ズームを制御す
るためのコントロールポインタ920を描画する。
【0039】また、マップ管理ソフトウェア413は、
カメラのパン/チルト等の情報を、映像受信ソフトウェ
ア413から所定時間毎に通知されており、カメラ制御
パネル640でカメラのパン/チルト、ズーム等の状態
が変更されると、その変更はカメラアイコン521,5
22,523…531,532,533…の表示状態に
反映される。
【0040】映像受信ソフトウェア412は以下の手順
で映像送信ソフトウェア422との接続処理を行う。
【0041】図11、図12は接続処理を示すフローチ
ャートである。以下に説明する処理は、ユーザが所望す
るビデオカメラのカメラアイコンをD&D操作し、上述
した処理によってネットワーク100を介して映像通信
装置20による接続処理がなされることにより開始され
る。
【0042】図11において、D&D操作が行われたと
き映像受信ソフトウェア412は該カメラアイコンで示
すビデオカメラが接続されている映像送信装置で動作す
る映像送信ソフトウェア422と接続を開始する。(S
11、S12)すなわち映像受信ソフトウェア412は
実際の接続処理を行う「接続スレッド」を作成する。
(S13)接続スレッドは映像受信ソフトウェア412
の実際の処理を行っているメインスレッドから生成さ
れ、メインスレッドと並行して動作をする。メインスレ
ッドは、接続スレッド作成後接続スレッドからの通知を
待ち受ける。(S14)このとき接続スレッドから何ら
かの通知が来た場合、その通知の内容を調べ(S15)
成功通知であったら接続に成功したものとして(S1
6)失敗通知であったら接続に失敗したものとして、引
き続き処理を行う。(S19)もし、一定時間待ってい
ても接続スレッドから何も通知が来なかった場合は(S
17)接続スレッドを終了させ(S18)接続に失敗し
たものとして処理を引き続き行う。(S19)
【0043】図12において接続スレッドは映像受信ソ
フトウェア412のメインスレッドにより作成され(S
21)メインスレッドに代わって接続処理を行う。(S
22)接続スレッドは場合によっては接続先からの応答
を待ち受け続けることがあるが、メインスレッドの動作
には影響を与えない。待ち受けを終了した場合、メイン
スレッドに結果を通知し(S23)終了する。(S2
4)もし待ち受け状態で一定時間が経過した場合、メイ
ンスレッドにより接続スレッドが強制終了される。
【0044】映像受信ソフトウェア412は、接続に失
敗した場合その旨をカメラ制御クライアントソフトウェ
ア411とマップ管理ソフトウェア413に通知する。
通知を受けるとカメラ制御クライアント411はカメラ
サーバソフトウェア421との接続を切断する。またマ
ップ管理ソフトウェアは当該カメラアイコンの表示を元
に戻す。
【0045】次に、映像送信装置20からの実際の映像
情報の送信、及び監視端末60での表示について図1
3、図14を使って説明する。
【0046】図13、図14は映像の表示処理を示すフ
ローチャートである。上述した映像受信ソフトウェア4
12と映像送信ソフトウェア422が接続処理に成功し
た場合、引き続いて開始される。(S31)
【0047】図13において、接続に成功すると映像受
信ソフトウェアのメインスレッドは、映像スレッドを制
御する停止フラグと終了フラグをオフにしてから(S3
2)「映像スレッド」を作成する。(S33)
【0048】映像スレッドは映像要求発行、映像情報受
信、映像情報復号、映像表示を繰り返し行う。停止フラ
グがオンになると、この一連の繰り返し動作は一時停止
し、終了フラグがオンになると、映像スレッドが終了す
る。
【0049】映像スレッドの作成に成功すると映像受信
ソフトウェアは引き続きユーザーインターフェースから
の指示待ち状態になる。(S34)
【0050】図14において、作成された映像スレッド
は、停止フラグがオンであるかを調べオンである場合は
そこで処理を停止する。(S42)オフである場合は、
終了フラグがオンであるかを調べる。(S43)これが
オンである場合は映像スレッドは終了する。(S44)
オフであれば映像要求を映像送信ソフトウェア422に
対して送信し(S45)映像送信ソフトウェア422か
ら複数のパケットとして送出されてくる1フレーム分の
映像情報を待ち受ける。(S46)もし、映像パケット
を一定時間内に受信できなかった場合は(S47、S5
0)繰り返しの先頭に戻る。1フレーム分の映像パケッ
トを受信できたら(S48)それらのパケットから映像
1フレームを複合して、当該映像表示領域に表示する
(S49)。映像1フレームの表示が終了すると繰り返
しの先頭に戻る。以後映像要求発行、映像情報受信、映
像情報復号、映像表示を繰り返し高速に行うことによっ
て、遠隔地の映像をネットワーク100を介して監視端
末60に表示させる。
【0051】複数のビデオカメラ10の映像を同時表示
する場合は、映像受信ソフトウェア412により、該ビ
デオカメラ毎に映像スレッドが作成される。各々の映像
スレッドは並列して動作し、複数の映像送信装置との映
像通信を制御する複数の映像スレッドのうちある映像ス
レッドが待ち状態になっていても、それ以外の映像スレ
ッドの動作に影響を及ぼすことはない。
【0052】ビデオカメラ映像の表示位置の移動は、図
8に示すように表示されている映像を、移動したい映像
表示領域にD&D操作をすることで実現できる。図8に
は、映像表示領域614に表示されていたビデオカメラ
523の映像を、612に移動した時の様子を示してい
る。このとき、映像受信ソフトウェア412は、当該映
像表示領域をクリアし、D&Dの操作先を当該ビデオカ
メラ10の映像を表示する領域として内部パラメータの
変更を行う。以後、D&Dの操作先に当該ビデオカメラ
10の映像の表示が行われるようになる。尚、この操作
によって、論理的なネットワーク接続は切断されること
はない。即ち、一旦接続された通信ネットワークは、後
述するように、画像が表示されている映像表示領域を、
ごみ箱アイコン632にD&D操作するまでは切断され
ることはない。
【0053】このときの映像受信ソフトウェア412及
び映像スレッドの処理手順を図15に示す。映像が別の
映像表示領域にD&Dによって移動されると(S71)
映像受信ソフトウェア412は該映像を表示していた映
像スレッドの停止フラグをオンにして、映像スレッドを
停止させる。(S72、S42)そして現在表示中の映
像表示領域をクリアし、(S73)表示する映像表示領
域をD&D先に変更し、(S74)映像スレッド停止フ
ラグをオフにする。(S75)すると映像スレッドは図
14における繰り返し処理を再開する。
【0054】ビデオカメラ映像の表示を中止する場合
は、図10に示すように表示中止したいビデオカメラ1
0の映像が表示されている映像表示領域を、映像表示ウ
インドウ内にあるごみ箱アイコン632にD&D操作を
することで、当該映像の表示を中止することができる。
図10は、映像表示領域614に表示されていたビデオ
カメラ523の映像を表示中止を行った後の様子であ
る。
【0055】このときの映像受信ソフトウェア412及
び映像スレッドの処理手順を図16に示す。映像がごみ
箱にD&Dによって移動されると(S61)映像受信ソ
フトウェア412は映像スレッド停止フラグと終了フラ
グをオンにして、映像スレッドを終了させる。(S6
2、S44)そして現在表示中の映像表示領域をクリア
し(S63)、映像送信ソフトウェア422との接続を
切断する。
【0056】切断処理には待ち時間が発生しないので、
特にスレッドを作成しなくて構わない。もし待ち時間が
発生するようなプラットホームを採用する場合、切断ス
レッドを作成してもよい。
【0057】続いて映像受信ソフトウェア412は、カ
メラ制御クライアントソフトウェア411とマップ管理
ソフトウェア413に切断した旨を通知する。カメラ制
御クライアント411は、この表示中止の通知を受け
て、当該カメラ制御サーバ421とのネットワーク接続
を切断する。またマップ管理ソフトウェア413は、当
該カメラのカメラアイコン523からスコープ表示を除
去し、マップを更新する。
【0058】上述したシステムによれば、接続時には接
続スレッドがメインスレッドに代わって待ち受け処理を
代行し、映像の送信要求、受信、複合、表示のために各
映像送信装置毎に映像スレッドを生成し、並行して処理
を行う。
【0059】これらの措置により、複数の情報送信装置
の映像を同時表示する場合にある映像スレッドは停止し
ても他の映像スレッドは処理を行うことになり、各映像
スレッドは非同期に復号表示が可能となる。その結果ネ
ットワーク速度や情報送信装置のトラブル(例外処理)
が原因でシステム全体の性能が律速されるのを改善する
ことが可能になる。
【0060】更には複数の情報送信装置それぞれに対し
上述したスレッドを設けることで複数の情報送信装置と
監視装置間の通信間のうち、ある通信回線はデータの単
位時間の伝送量が多く、他の回線はデータの単位時間の
伝送量が少ないシステムがあるとする。この場合監視装
置における受信画像の表示が、伝送量の少ない回線を介
して通信している装置からのデータ伝送量に合わせら
れ、他の情報送信装置からのデータ受信にウエイトをか
けシステム全体でフレームレートが低下するといった問
題を生じることがある。それに対して、各情報送信装置
に対して、スレッドを設けて、処理を並列に行うこと
で、各情報送信装置から受信した画像を各情報送信装置
毎に可能な限り高いフレームレートで表示可能になる。
【0061】又、複数の情報送信装置毎に帯域の異なる
通信回線を介してデータを受信する場合についても、マ
ルチスレッドとすることで、回線の種類に応じて受信し
た映像情報の処理速度、映像の更新速度を非同期に、可
変にでき、それぞれの情報送信装置いずれから受信した
画像についても効率のよい映像表示が可能となる。
【0062】更には、パケット受信して、1フレームに
統合した映像から順次非同期に表示が可能となり、表示
可能な映像から効率のよい表示が可能となる。
【0063】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0064】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0065】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROM等
を用いることができる。
【0066】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)等が実際の処理の一部または全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。
【0067】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPU等が実際の処理の一部または全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。
【0068】
【発明の効果】本発明によれば上述したように以上のよ
うなシステムにおいて、複数の情報送信装置の映像を同
時表示する場合に、ネットワーク速度、ネットワーク及
び情報送信装置の不良により、システム全体の性能が律
速されるのを改善することが可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態としての映像通信システム
を含む通信システムの全体概要を示すブロック図であ
る。
【図2】本発明の一実施形態としての映像送信装置20
及び監視装置60の主なソフトウェアの構成を説明する
図である。
【図3】本発明の一実施形態としての監視装置の表示例
を示す図である。
【図4】本発明の一実施形態としての監視装置の表示例
を示す図である。
【図5】本発明の一実施形態としてのビデオカメラから
の映像を表示するウインドウの表示例を示す図である。
【図6】本発明の一実施形態としてのD&D操作による
表示を行ったときの様子を示す図である。
【図7】本発明の一実施形態としてのD&D操作中のビ
デオカメラのマウスカーソルを示す図である。
【図8】本発明の一実施形態としてのD&D操作による
表示領域を変化させたときの様子を示す図である。
【図9】本発明の一実施形態としての撮像した映像を表
示中であることを示すカメラアイコンを示す図である。
【図10】本発明の一実施形態としてのD&D操作によ
る表示中止のための操作の様子を示す図である。
【図11】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(メインスレッド)の接続
処理を示すフローチャートである。
【図12】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(接続スレッド)の接続処
理を示すフローチャートである。
【図13】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(メインスレッド)の表示
処理を示すフローチャートである。
【図14】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(映像スレッド)の表示処
理を示すフローチャートである。
【図15】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(メインスレッド)の表示
位置移動を示すフローチャートである。
【図16】本発明の一実施形態としてのある監視装置に
おいて映像受信ソフトウェア(メインスレッド)の切断
処理を示すフローチャートである。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C022 AA01 AB61 AB68 AC00 AC01 5C054 AA10 DA09 EA03 EG06 EG09 FE02 FE18 FE23 GA04 GB01 HA00 HA18

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 映像情報を送信する複数の情報送信装置
    と、その情報送信装置から受信した映像情報を表示する
    情報表示装置とが通信手段を介して接続された映像通信
    システムであって、 前記情報送信装置から映像情報を非同期に受信する受信
    手段、前記受信手段により受信した映像情報を非同期に
    処理する処理手段、前記処理手段により処理された映像
    情報を非同期に複数表示する表示手段を備えることを特
    長とする映像通信システム。
  2. 【請求項2】 前記映像情報は圧縮されており、前記処
    理とは少なくとも復号処理を含むことを特徴とする請求
    項1記載の映像通信システム。
  3. 【請求項3】 前記映像情報は1フレームの画像を複数
    パケットに分散したデータであって、前記処理とは前記
    パケットに分散したデータを1フレームの画像に統合す
    る処理である請求項1記載の映像通信システム。
  4. 【請求項4】 前記複数の情報送信装置は、それぞれ帯
    域が異なる通信回線を介して情報表示装置と通信を行う
    ものであり、前記受信手段は該回線を介して映像情報を
    受信する請求項1記載の映像通信システム。
  5. 【請求項5】 前記複数映像送信装置からの映像情報に
    対する処理に於いて、待ち時間や例外処理が発生した場
    合、該映像送信装置以外の他の映像送信装置に対する処
    理には影響しない請求項1記載の映像通信システム。
  6. 【請求項6】 前記回線の種類に応じて、前記処理手段
    は、前記複数映像送信装置から受信した映像情報の処理
    速度を可変とする請求項4記載の映像通信システム。
  7. 【請求項7】 前記回線の種類に応じて、前記表示手段
    は前記各映像の更新速度を該各画像毎に可変にする請求
    項4記載の映像通信システム。
  8. 【請求項8】 前記表示手段は、通信開始時には前記各
    映像のうち前記処理が終了した映像から非同期に表示を
    行う請求項3記載の映像通信システム。
  9. 【請求項9】 映像情報を送信する複数の情報送信装置
    と、受信した映像情報を表示する情報表示装置における
    映像通信処理方法であって、 前記情報送信装置から映像情報を非同期に受信し、前記
    受信した映像情報を非同期に処理し、前記処理された映
    像情報を非同期に複数表示することを特徴とする映像通
    信処理方法。
  10. 【請求項10】 前記映像情報は圧縮されており、前記
    処理とは少なくとも復号処理を含むことを特徴とする請
    求項1記載の映像通信処理方法。
  11. 【請求項11】 前記映像情報は1フレームの画像を複
    数パケットに分散したデータであって、前記処理とは前
    記パケットに分散したデータを1フレームの画像に統合
    する処理である請求項1記載の映像通信処理方法。
  12. 【請求項12】 前記複数の情報送信装置は、それぞれ
    帯域が異なる通信回線を介して情報表示装置と通信を行
    うものであり、前記受信手段は該回線を介して映像情報
    を受信する請求項1記載の映像通信処理方法。
  13. 【請求項13】 前記複数映像送信装置からの映像情報
    に対する処理に於いて、待ち時間や例外処理が発生した
    場合、該映像送信装置以外の他の映像送信装置に対する
    処理には影響しない請求項1記載の映像通信処理方法。
  14. 【請求項14】 前記回線の種類に応じて、前記処理手
    段は、前記複数映像送信装置から受信した映像情報の処
    理速度を可変とする請求項4記載の映像通信処理方法。
  15. 【請求項15】 前記回線の種類に応じて、前記表示手
    段は前記各映像の更新速度を該各画像毎に可変にする請
    求項4記載の映像通信処理方法。
  16. 【請求項16】 前記表示は、通信開始時には前記各映
    像のうち前記処理が終了した映像から非同期に表示を行
    う請求項3記載の映像通信処理方法。
JP10209353A 1998-07-24 1998-07-24 映像通信システム及び映像通信処理方法 Withdrawn JP2000041235A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10209353A JP2000041235A (ja) 1998-07-24 1998-07-24 映像通信システム及び映像通信処理方法
US09/357,975 US6483878B1 (en) 1998-07-24 1999-07-21 Video communication system, video communication processing method and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10209353A JP2000041235A (ja) 1998-07-24 1998-07-24 映像通信システム及び映像通信処理方法

Publications (1)

Publication Number Publication Date
JP2000041235A true JP2000041235A (ja) 2000-02-08

Family

ID=16571550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10209353A Withdrawn JP2000041235A (ja) 1998-07-24 1998-07-24 映像通信システム及び映像通信処理方法

Country Status (2)

Country Link
US (1) US6483878B1 (ja)
JP (1) JP2000041235A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778264A (zh) * 2010-02-11 2010-07-14 北京众和汇智科技有限公司 视频监控方法和系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000270330A (ja) * 1999-03-18 2000-09-29 Fujitsu Ltd 映像配信システム及び映像配信方法
JP2000276469A (ja) * 1999-03-23 2000-10-06 Canon Inc 情報検索装置及びその方法、記憶媒体
US8392552B2 (en) 2000-09-28 2013-03-05 Vig Acquisitions Ltd., L.L.C. System and method for providing configurable security monitoring utilizing an integrated information system
US6748343B2 (en) 2000-09-28 2004-06-08 Vigilos, Inc. Method and process for configuring a premises for monitoring
JP4366017B2 (ja) * 2001-01-15 2009-11-18 キヤノン株式会社 記録システム、撮像装置および記録装置
US7385610B2 (en) * 2001-10-18 2008-06-10 Hewlett-Packard Development Company, L.P. System and method for displaying graphics
US7480715B1 (en) 2002-01-25 2009-01-20 Vig Acquisitions Ltd., L.L.C. System and method for performing a predictive threat assessment based on risk factors
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
JP3747908B2 (ja) * 2002-12-13 2006-02-22 ソニー株式会社 カメラ制御システム、カメラサーバ及びその制御方法
JP2007323544A (ja) * 2006-06-05 2007-12-13 Sony Corp 情報処理システム、情報処理装置、および方法、並びにコンピュータ・プログラム
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN114584842B (zh) * 2020-11-30 2023-04-14 荣耀终端有限公司 一种业务推送方法、电子设备及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2544898B1 (fr) * 1983-04-25 1985-07-19 Texas Instruments France Dispositif d'affichage video sur ecran d'affichage par balayage d'une trame ligne par ligne et point par point
US5128776A (en) * 1989-06-16 1992-07-07 Harris Corporation Prioritized image transmission system and method
JP3222456B2 (ja) * 1990-07-30 2001-10-29 株式会社東芝 映像監視システム、送信装置、受信装置、および映像監視方法
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
JPH0564199A (ja) * 1991-08-29 1993-03-12 Pioneer Electron Corp 画像監視装置
US5450549A (en) * 1992-04-09 1995-09-12 International Business Machines Corporation Multi-channel image array buffer and switching network
JP2925977B2 (ja) * 1994-09-30 1999-07-28 松下電器産業株式会社 通信装置
US5657246A (en) * 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US5812786A (en) * 1995-06-21 1998-09-22 Bell Atlantic Network Services, Inc. Variable rate and variable mode transmission system
JP3456064B2 (ja) * 1995-09-08 2003-10-14 ソニー株式会社 音声・映像データ記録・再生装置
EP0781049B1 (en) * 1995-12-19 2004-05-06 Canon Kabushiki Kaisha Apparatus and method for controlling a plurality of remote cameras
JP3679487B2 (ja) 1996-01-30 2005-08-03 キヤノン株式会社 通信装置及び通信方法
US6208376B1 (en) 1996-04-22 2001-03-27 Canon Kabushiki Kaisha Communication system and method and storage medium for storing programs in communication system
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
US6041286A (en) * 1997-10-21 2000-03-21 Sony Corporation Apparatus for and method of accurately obtaining the cycle time of completion of transmission of video frames within an isochronous stream of data transmitted over an IEEE 1394 serial bus network
US6198723B1 (en) * 1998-04-14 2001-03-06 Paxonet Communications, Inc. Asynchronous transfer mode traffic shapers

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778264A (zh) * 2010-02-11 2010-07-14 北京众和汇智科技有限公司 视频监控方法和系统

Also Published As

Publication number Publication date
US6483878B1 (en) 2002-11-19

Similar Documents

Publication Publication Date Title
US7222356B1 (en) Communication apparatus, storage medium, camera and processing method
US6208376B1 (en) Communication system and method and storage medium for storing programs in communication system
US6597389B2 (en) Camera control system and camera control apparatus
US6580451B2 (en) Communication apparatus, image processing apparatus, communication method, and image processing method
US9653081B2 (en) Digital media frame
US6714238B2 (en) Video/audio communication system with confirmation capability
US6002995A (en) Apparatus and method for displaying control information of cameras connected to a network
AU718845B2 (en) Camera control system
US7061525B1 (en) Apparatus and method for controlling a camera based on a displayed image
JP2000041235A (ja) 映像通信システム及び映像通信処理方法
JPH09289606A (ja) 画像表示装置およびカメラ制御装置
JPH09214937A (ja) 通信装置、画像処理装置、通信方法及び画像処理方法
US6741276B1 (en) Camera control system
JPH11308515A (ja) カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
US20030009524A1 (en) System and method for point to point integration of personal computers with videoconferencing systems
US6983419B1 (en) Communication apparatus, its control method, and storage medium
JP3450619B2 (ja) 通信装置、画像処理装置、通信方法及び画像処理方法
JPWO2005026933A1 (ja) 背景画像を設定する情報処理装置、情報表示方法、およびプログラム
JP2003244690A (ja) 映像処理装置、映像処理システム、映像処理方法、プログラム及び記憶媒体
JPH09289636A (ja) 表示装置
JPH1188869A (ja) 映像通信システム及び情報表示装置
WO2000029960A1 (en) Digital media frame
JPH1185445A (ja) 画像表示装置及び画像表示方法
JP2000069461A (ja) カメラ制御システムおよびその制御方法およびクライアントおよびクライアントの制御を実行させるプログラムを記憶した記憶媒体
JP2005020765A (ja) 情報通信装置およびその制御方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20051004