JP2002330412A - 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム - Google Patents
多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システムInfo
- Publication number
- JP2002330412A JP2002330412A JP2002040761A JP2002040761A JP2002330412A JP 2002330412 A JP2002330412 A JP 2002330412A JP 2002040761 A JP2002040761 A JP 2002040761A JP 2002040761 A JP2002040761 A JP 2002040761A JP 2002330412 A JP2002330412 A JP 2002330412A
- Authority
- JP
- Japan
- Prior art keywords
- video
- conference room
- conference
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
テレビ会議を通常の会議のように円滑に進行できるよう
にすることを目的とする。 【解決手段】 A,B,C,Dの4地点で同時に発言が
あった場合、視聴地点である地点Eには全ての発言地点
A,B,C,Dの映像を1画面に4分割して表示する。
一方、発言地点Aには他の発言地点B,C,Dの映像と
前回発言地点Eの映像を1画面に4分割して表示する。
Description
ビ会議に用いるテレビ会議システムに関する。
Digital Network :統合サービス・ディジタル通信網)
サービスにより一般にもディジタル公衆網が利用できる
ようになり、テレビ会議システムの普及が盛んになって
きている。
いの映像及び音声を伝送することにより会議を行うシス
テムである。このようなテレビ会議システムは従来2地
点間(1対1接続)のものが多かったが、最近ではより
有効な利用や活用のため、例えば図44に示すような概
略構成の多地点間テレビ会議システムが注目されるよう
になってきている。このような多地点間テレビ会議シス
テムに対する要望は、企業における業務の地理的分散、
すなわち本社、工場、研究所、または本社、複数の営業
所などが地理的に分散している状況から発生している。
すなわち、このような事情のもとに、迅速な情報の伝達
や人・物が移動(出張)する際の時間・経費の節減を目
的として、遠隔地点に存在するテレビ会議端末間でテレ
ビ会議が利用されるようになってきている。
Dを用いて行われる多地点テレビ会議システムの全体構
成図である。101〜104は、それぞれの会議室にお
けるテレビ会議端末装置、200はセンタ局に設置され
た多地点制御装置を示す。
(以下では端末装置と称す)101〜104は、例えば
カメラ、モニタ、マイク、および符号化装置等を備え、
映像および音声の入出力機能を有する。そして、各会議
室における映像および音声の情報を入力してセンタ装置
200に送り、センタ装置200から送られた映像およ
び音声の情報を各会議室の会議参加者に対して出力す
る。
からの映像および音声の情報を入力して、全ての音声デ
ータをミキシングして各端末装置101〜104に送る
と共に、入力した映像データを、それぞれの端末装置に
分配する。
は、各会議室(地点)のテレビ会議端末装置のモニタに
他の会議室(1地点または複数地点)の画面を切替表示
するようにしている。この画面切替は、一般に発言地点
の検出により自動的に行っている。このため、各会議室
のモニタには少なくとも発言地点の画面が表示されるこ
とになる(但し、発言地点の画面には一般に前回発言し
た地点等の画面が表示される)。
室のテレビ会議端末装置に他のいずれか1つの会議室の
映像を分配する切換表示方式のものもある。この多地点
制御装置は、1対1接続(point to point接続)のテレ
ビ会議システム用のテレビ会議端末装置をそのまま用い
ることが出来るため導入し易いという利点があり、開
発、製品化が盛んに行われている。
/PS指定モードを備えたものが知られている。ここ
で、NSはNew Station ,PSはPast Stationの略称で
あり、それぞれ現在表示地点、前回表示地点を意味する
ものである。
切替は各地点のテレビ会議端末装置での操作または多地
点制御装置での発言者検出(話者検出)により自動的に
行っていた。尚、この発言者検出(話者検出)は発言が
行われた地点(NS)を自動的に検出する機能であり、
多地点制御装置はこの機能を用いて発言地点(NS)以
外のテレビ会議端末装置には発言地点(NS)の映像デ
ータを、発言地点(NS)のテレビ会議端末装置には前
回発言地点(PS)の映像データを切換制御により分配
する。
一例を示す模式図である。同図において、多地点制御装
置300には会議室A,B,C,D,Eの5地点のテレ
ビ会議端末装置120A,120B,120C,120
D,120Eがネットワークを介して接続されている。
会議室Aで発言が行われるかまたはある会議室において
画像を会議室Aの画像に切替選択する操作が行われる
と、多地点制御装置300はこの会議室AをNSに設定
し他の会議室B,C,D,Eにこの会議室Aの映像デー
タを送る(実線の矢印参照)。一方、NSに設定された
会議室AにはPSとなっている会議室Dの映像データを
送る(破線の矢印参照)。
じてNS/PSを自動的に切り替えながら各端末装置1
20A,120B,・・・120Eへ分配する映像デー
タを切替制御する多地点制御装置110を用いた多地点
テレビ会議システムの全体構成図である。
120は、会議参加者に対向して設けられた複数個のマ
イクロホン群121と、これらのマイクロホン群121
からの出力を合成するマイクミキサ122と、他のテレ
ビ会議端末装置120からの音声を出力するスピーカ1
23と、このスピーカ123の出力音声がマイクロホン
群121へ回り込まないようにするための入出力音声の
スイッチング動作またはエコー消去動作等を行う音声制
御部124と、この音声制御部124からの又は音声制
御部124への音声に対する符号化/復号化部(以下、
音声CODECと略称する)125と、テレビ会議端末
装置120の全景、人物または資料を映すためのカメラ
126と、他のテレビ会議端末装置120の画像を表示
するためのモニタ127と、カメラ126及びモニタ1
27の画像に対する画像CODEC128と、音声CO
DEC125と画像CODEC128の入力/出力信号
に対する多重化/分離部(MUX/DMUX)129と
で構成されている。
会議端末装置120が多地点制御装置110に相互接続
されている。この多地点制御装置110は、各テレビ会
議端末装置120からのまたは各テレビ会議端末装置1
20への音声・映像データに対する多重化/分離部11
1と、この多重化/分離部111に接続された音声CO
DEC112と、各音声CODEC112からの音声信
号のレベルを比較する音声レベル比較器113と、この
比較器113で比較した後の音声信号を合成して音声C
ODEC112及び多重化/分離部111を介して各テ
レビ会議端末装置120のスピーカ123へ送るための
ミキサ114と、多重化/分離部111で分離された映
像データを選択して多重化/分離部111を介して各テ
レビ会議端末装置120のモニタ127へ当該映像デー
タを送る画像選択部115と、音声レベル比較器113
での比較結果を受けて画像選択部115に選択信号を与
える制御部116とで構成されている。
装置120のマイクロホン群121からの合成音声のレ
ベルを多地点制御装置110内の音声レベル比較器11
3で比較し、これらの中で最大の音声レベルを出力した
テレビ会議端末装置120をNSに決定してこのテレビ
会議端末装置120からの映像データを画像選択部40
0で選択し、他のテレビ会議端末装置120へ分配して
いる。
部ブロック図である。入力端子410には、n地点の会
議室A,B,C,・・・Xの映像データが入力される。
これらの映像データは共にn:1選択を行うNS選択部
420並びにPS選択部430に入力される。このNS
選択部420とPS選択部430は、前記制御部116
からの選択信号を受けて、それぞれ、NS,PSとなっ
ている会議室の映像データをn個のNS/PS選択部4
40A,440B,440C,・・・440Xに選択出
力する。
B,440C,・・・440Xの出力端子はそれぞれ会
議室A,B,C,・・・X用の映像データの出力端子4
50に接続されており、NSまたはPSとなっている会
議室の映像データを選択出力する。
て、NSに会議室Aが、PSに会議室Eが設定される
と、制御部116はNS選択部420に会議室Aの映像
データの選択信号をPS選択部430に会議室Eの映像
データの選択信号を出力する。これを受けて、NS選択
部420とPS選択部430はそれぞれ会議室A、会議
室Eからの映像データをNS/PS選択部440A,4
40B,・・・440Xへ選択出力する。そして、NS
/PS選択部440AではPSとなっている会議室Eの
映像データを選択出力し、それ以外のNS/PS選択部
440B,440C,・・・440XではNSとなって
いる会議室Aの映像データを制御部116から選択信号
を受けて選択出力する。このことにより、NS以外の会
議室B,C,・・・XにはNSとなっている会議室Aの
画像が、NSになった会議室AにはPSとなっている会
議室Eの画像が表示される。
例の場合、モニタ表示が発言地点が複数/単数に係わり
なく一定の固定表示形式で行われるため、モニタに同時
表示される地点数は常時同じであった。したがって、1
地点のみを表示する方式の場合には複数の地点で発言が
あっても主なる発言者となっている地点のみが表示され
ていた。また、複数地点を同時表示する方式の場合には
1地点でのみ発言がなされているときでも、この地点以
外に全く発言を行っていない地点も分割画面に同時に表
示されていた。
発言しているかを特定するまでに時間を要し、またこの
ために多地点でのテレビ会議における臨場感も阻害され
ていた。
特定できるようにすると共に、多地点でのテレビ会議に
おける臨場感が表現される表示方式を実現することであ
る。また、前記従来のNS/PS指定モードを備えた多
地点テレビ会議システムの場合には、NS以外の会議室
で会議室の選択を行うと、この会議室がNSとなるた
め、他の会議室の画像が全て切り替わってしまう。さら
に、発言者検出により自動的にNSを切り換えるモード
では、発言する会議室が変わるたびに意思とは無関係に
勝手に画像が切り替わってしまうため、発言を行ってい
る会議室以外の画像を継続して見続けることはできなか
った。
を備えた多地点制御装置では、各会議室は他の会議室と
は独立に自分が見たい会議室の画像を選択することがで
きず、他の会議室の操作または発言により、自分の意思
とは無関係に表示される会議室が切り替わっていた。こ
のため、会議の運営に支障があった。
イメージで多地点でのテレビ会議が運営できるようにす
ることである。また、前記いずれの多地点テレビ会議シ
ステムにおいても会議室の映像のみが表示されるため、
発言している人がどこの会議室の人なのか、またはどこ
に所属している人なのか等を容易に知ることができず、
会議のスムーズな運営に支障をきたしていた。
システムにおいて表示されている会議室の画像に係わる
背景情報(会議室名、地点名、発言者の名前や所属等)
を容易に知ることができるようにすることである。
ロック図である。この図において、1−1,1−2・・
・1−Nは、音声データ及び映像データを送受しうる会
議端末装置であり、本発明はこれらのテレビ会議端末装
置1−1,1−2,・・・1−Nが3地点以上に配置さ
れるテレビ会議システムにおいて各端末1−i(i=
1,2,・・・N)から音声データおよび映像データを
受信して各端末1−iへ当該映像データを送信する多地
点制御装置を前提とする。
ら出力される音声信号から発言がなされた地点を検出す
る発言地点検出手段11と、該発言地点検出手段11に
より複数の発言地点が検出された場合には1画面の中に
これらの発言地点の映像が1画面に同時表示される映像
データを作成する映像合成手段12と、該映像合成手段
12により作成された映像データを各端末1−iへ送信
する映像分配手段13とを備える。
言地点検出手段11により発言が検出されなかった視聴
地点向けには、発言地点検出手段11により発言が検出
された発言地点の映像のみが1画面に表示される映像デ
ータを作成し、映像分配手段13は該映像データを視聴
地点の端末11−iへ分配するような構成としてもよ
い。
言地点向けには他の発言地点の映像と前回発言地点の映
像が1画面に表示される映像データを作成し、映像分配
手段13は、該映像データを各発言者地点の端末11−
iへ送信するような構成としてもよい。
る。この発明は、音声データ及び映像データを送受しう
るテレビ会議端末装置20−i(i=1,2,・・・
N)が3会議室以上に配置される多地点テレビ会議シス
テムにおいて、これらの端末装置20−i間で往来する
音声データ及び映像データを切換制御する多地点制御装
置を前提とする。
2,・・・20−Nから全ての会議室の映像データを入
力し、各端末装置20−iに他の端末装置20−j(j
≠i;j=1,2,・・・N)とは独立に任意の会議室
の映像データを切替出力する切替出力手段31と、ある
端末装置20−iからある会議室の画像への切替要求が
あったとき、この端末装置20−iに送出される映像デ
ータのみが上記要求された会議室の映像データに切り替
わるように切替出力手段31を制御する制御手段32
と、を備える。
である。まず、この発明は、音声データ及び映像データ
を送受しうるテレビ会議端末40−i(i=1,2,・
・・N)が3会議室以上に配置される多地点テレビ会議
システムにおいて、これらの端末装置40−i間で往来
する音声データ及び映像データを切換制御する多地点制
御装置であって、自会議室の端末装置40−iにおいて
表示される会議室の画像を他の会議室の端末装置40−
j(j≠i;j=1,2,・・・N)とは独立に選択で
きる第1のモードと、ある端末装置40−iからの特定
のイベント発生に応じて他の端末装置40−jに表示さ
れる会議室の画像を強制的に切り替える第2のモードの
2つのモードを有し、各会議室の端末装置40−iから
のモード指定要求に応じて、各会議室を前記第1のモー
ドまたは前記第2モードのいずれか一方に設定するモー
ド設定手段51と、全ての端末装置40−1,40−
2,・・・40−Nから全ての会議室の映像データを入
力し、各端末装置40−iに他の端末装置40−j(j
≠S;j=1,2,・・・N)とは独立に任意の会議室
の映像データを切替出力する切替出力手段52と、前記
第2のモードに設定されている会議室の端末装置40−
iからある会議室の画像への切替要求があったとき、こ
の端末装置40−iに送出される映像データのみが上記
要求された会議室の映像データに切り替わるように前記
切替出力手段52を制御する第1の制御手段53と、あ
る会議室の端末装置40−iにおいて前記特定のイベン
トが発生したとき、前記第1のモードに設定されている
会議室の端末装置40−k(k=1,2,・・・N)に
送出される映像データのみが当該会議室の映像データに
切り替わるように前記切替出力手段52を制御する第2
の制御手段54とを備える。
の発言検出またはある会議室の端末装置40−iにおい
て行われた画像切替要求操作等である。上記構成におい
て、例えば、前記モード設定手段51は、前記第2のモ
ードに設定されている会議室の端末装置40−iから自
動切替許可要求を受信した際、この会議室に対して自動
切替許可を設定し、前記第2の制御手段54は、ある会
議室の端末装置40−iにおいて発言が検出されたと
き、前記第2のモードでかつ前記自動切替許可が設定さ
れている会議室の端末装置40−k(k=1,2,・・
N)に送出される映像データが上記ある会議室の端末装
置40−iからの映像データに切り替わるように前記切
替出力手段52を制御するような構成としてもよい。
54に加え、全ての会議室の中から主会議室を選択・設
定する主会議室設定手段55と、ある会議室の端末装置
40−iからモードを前記2つのモードの内いずれか一
方のモードに強制的に変更する旨の指定を受けたとき、
この会議室が前記主会議室であれば前記モード設定手段
51が管理する全会議室のモードをこの指定されたモー
ドに強制的に変更するモード変更手段56をさらに備え
ることとしてもよい。
または上記手段51,52,53,54,55,56に
加え、さらに前記第1及び第2の制御手段53,54か
らの切替情報を受けて、各会議室の端末装置40−iに
現在表示されている会議室を記憶する表示会議室管理手
段57と、ある会議室の端末装置40−iからの相手カ
メラの制御情報を受け取ると、該表示会議室管理手段5
7を参照して上記ある会議室に現在表示されている会議
室を見つけ、この会議室の端末装置40−iに上記カメ
ラ制御情報を転送する転送手段58を、さらに備えるこ
ととしてもよい。
ック図である。図4に示すように、テレビ会議端末装置
は、カメラによって撮像された会議室の映像信号にこの
映像に係わる背景情報の映像とが重畳された映像信号を
生成する映像重畳手段61と、該映像重畳手段61によ
って生成された映像信号を符号化する符号化手段62と
を備える。
ビ会議端末装置の符号化手段62によって符号化された
データを映像信号に復号する復号手段65と、該復号手
段65によって復号された映像信号を基に画像を表示す
る画像表示手段66とを備える。
である。図5に示すように、テレビ会議端末装置は、カ
メラによって撮像された会議室の映像信号を符号化する
符号化手段71と、該符号化手段71によって得られた
符号化データと前記カメラによって撮像された会議室の
映像に係わる背景情報のコードとを多重化する多重化手
段72とを備える。
会議端末装置の多重化手段72によって作成された多重
化データから前記会議室の映像信号の符号化データと前
記背景情報のコードとを分離する分離手段75と、該分
離手段75によって分離された会議室の映像信号の符号
化データを映像信号に復号する映像復号手段76と、前
記分離手段76によって分離された背景情報のコードに
対応する映像信号を生成する映像生成手段77と、前記
映像復号手段76によって復号された映像信号と該映像
生成手段77によって生成された映像信号とを重畳する
映像重畳手段78とを備える。
である。この発明は、映像データを送受しうるテレビ会
議用端末装置が3地点以上の会議室に配置された多地点
テレビ会議室において、これらの端末装置間で往来する
映像データを切換制御する多地点制御装置を前提とす
る。そして、切替選択された会議室の端末装置から映像
信号が符号化されて送信されてくるこの会議室の映像に
係わる背景情報に対応する番号を基に、この背景情報の
コードを生成するコード生成手段81と上記切替選択さ
れた会議室の端末装置から送信されてくるこの会議室の
映像信号の符号化データと該コード生成手段81によっ
て生成されたコードとを多重化して、これによって得ら
れた多重化信号を各端末装置に分配する多重化・分配手
段82とを備える。
背景情報のコードへの変換を、例えば各会議室に予め割
り当てられた番号とこれに対応する背景情報(例えば、
地点名)のコードとが1対1に対応付けられて蓄積され
ているデータベースを参照することにより行う。
装置は、上記多地点制御装置から送信されてくる多重化
信号を、会議室の映像信号の符号化データとこの会議室
の映像の背景情報に対応するコードとに分離する信号分
離手段85と、該信号分離手段85によって分離された
符号化データから会議室の映像信号を復号する映像復号
手段86と、前記信号分離手段85によって分離された
コードに対応する背景情報の映像信号を生成する映像生
成手段87と、前記映像復号手段86によって復号され
た映像信号と該背景情報映像生成手段87によって生成
された映像信号とを重畳する映像重畳手段88とを備え
る。
図である。この発明は、映像データを送受しうるテレビ
会議用端末が3地点以上の会議室に配置された多地点テ
レビ会議システムにおいて、これらの端末間で往来する
映像データを切換制御する多地点制御装置を前提とす
る。
から映像信号が符号されて送信されてくるこの会議室の
映像の背景情報に対応する番号を基にこの背景情報の映
像信号を生成する映像生成手段91と、前記切替選択さ
れた会議室の端末装置から送信されてくるこの会議室の
映像信号の符号化データを映像信号に復号する映像復号
手段92と、該映像復号手段92によって復号された映
像信号と前記映像生成手段91によって生成された映像
信号とを重畳する映像重畳手段93と、該映像重畳手段
93によって作成された映像信号を符号化する符号化手
段94とを備える。
は、上記多地点制御装置の符号化手段94によって得ら
れた符号化データを映像信号に復号する映像復号手段9
5と、該映像復号手段95によって復号された映像信号
を基に画像を表示する画像表示手段96とを備える。
地点名、会議室の名称、所属部署名等の文字コード等が
挙げられる。更なる別の発明は、音声データ及び映像デ
ータを送受しうるテレビ会議端末装置が複数地点に配置
されるとともに、これらの端末装置間で往来するデータ
の切換制御を行う多地点制御装置が該端末装置間に介装
されて成る多地点テレビ会議システムにおいて、各端末
装置は会議室の映像とこの映像の背景情報とが重畳され
た映像データを多地点制御装置に送信するとともに、多
地点制御装置から切換選択された映像データを受信して
当該会議室の映像とこの映像の背景情報の映像とを重畳
表示することを特徴とする。
ータを送受しうるテレビ会議端末装置が複数地点に配置
されるとともに、これらの端末装置間で往来するデータ
の切換制御を行う多地点制御装置が該端末装置間に介装
されて成る多地点テレビ会議システムにおいて、切換選
択された会議室の映像とこの映像に係わる背景情報の映
像とが重畳された映像データを多地点制御装置において
生成し、各端末装置では、この映像データを該多地点制
御装置から受信して当該会議室の映像とこの映像に係わ
る背景情報の映像とを重畳表示することを特徴とする。
ータを送受しうるテレビ会議端末装置が複数地点に配置
されるとともに、これらの端末装置間で往来するデータ
の切換制御を行う多地点制御装置が該端末装置間に介装
されて成る多地点テレビ会議システムにおいて、各端末
装置は会議室の映像とこの映像に係わる背景情報とが多
重化されたデータを多地点制御装置に送信するととも
に、該多地点制御装置から切換選択された多重化データ
を受信して当該会議室の映像とこの映像に係わる背景情
報の画像とを重畳表示することを特徴とする。
ータを送受しうるテレビ会議端末装置が複数地点に配置
されるとともに、これらの端末装置間で往来するデータ
の切換制御を行う多地点制御装置が該端末装置間に介装
されて成る多地点テレビ会議システムにおいて、切換選
択された会議室の映像とこの映像に係わる背景情報とが
多重化されたデータを多地点制御装置において生成し、
各端末装置では、この多重化データを該多地点制御装置
から受信して当該会議室の映像とこの映像に係わる背景
情報の画像とを重畳表示することを特徴とする。
によって各地点で発言があったか否かを各端末装置1−
1,1−2,・・・1−Nからの音声入力信号等によっ
て検出する。映像合成手段12は、これらの発言が検出
された地点の映像信号を分割合成して、1画面の中に発
言地点の画像が1画面に表示される映像信号を生成す
る。映像分配手段13はこのようにして生成された映像
信号を各端末1−i(i=1,2,・・・N)へ分配す
る。したがって、複数地点で発言があった場合には、各
端末1−iには複数の発言地点の映像が表示される。ま
た、発言地点数に応じて画面に表示される地点数も増減
する。
12は視聴者地点向けの画像として発言地点の映像のみ
が1画面に表示される映像データを作成し、映像分配手
段12がこの映像データを視聴者地点の端末1−iへ分
配する。
合、視聴者地点の端末1−iには複数の発言地点の映像
が同時に表示される。また、上記発明においては、映像
合成手段12は各発言地点向けの画像として、他の発言
地点と前回の発言地点とが1画面に表示される映像デー
タを作成し、映像分配手段13がこの映像データを各発
言地点へ分配する。
1−iには自己以外の発言地点の映像と前回発言地点の
映像とが同時に表示される。さらなる発明においては、
ある端末装置20−i(i=1,2,・・・N)から画
像切替要求があったとき、制御手段32はこの端末20
−iに送出される映像データのみがこの要求において指
定された会議室の映像データに切り替わるように切替出
力手段31を制御する。
0−iの操作により任意の会議室への画像切替要求を行
うと、他の会議室の画像を切り替えることなくこの操作
を行った会議室の画像のみが指定された任意の会議室の
画像に切り替わる。
ある会議室において端末装置40−iによりモード指定
操作を行うと、モード設定手段51はこの会議室のモー
ドとしてこの指定されたモードを設定する。
議室において端末装置40−iの操作により、ある会議
室の画像への切替要求を行うと、第1の制御手段53は
この切替要求を行った会議室の端末装置40−iに送出
される映像データのみが上記要求のあった会議室の映像
データに切り替わるように切替出力手段52を制御す
る。
いて特定のイベント(発言または画像切替操作等)が発
生すると、第2の制御手段54は第1のモードに設定さ
れている会議室の映像データのみが上記特定のイベント
によって決定される当該会議室の映像データに切り替え
るように切替出力手段52を制御する。
る会議室は、端末装置40−iの操作により他の会議室
とは独立に見たい会議室の画像を選択でき、また他の会
議室の発言や画像切替操作等により見ている画像が切り
替わってしまうこともない。
されている会議室の端末装置40−iにおいて自動切替
許可指定の操作を行うと、モード設定手段51がこの会
議室に対しこの旨を設定する。
れたとき、第2の制御手段54は第1のモードまたは第
2のモードでかつ自動切替許可が設定されている会議室
の端末装置40−iに送出される映像データに対しては
上記特定のイベント検出時のように切替出力手段52を
制御するが、第2のモードであっても自動切替許可が設
定されていない会議室の端末装置40−jに対しては上
記発言が検出された会議室の映像データが送出されるよ
うに切替出力手段52を制御する。
替許可が設定されている会議室の端末装置40−iにお
いては、発言が検出された場合のみ、この発言を行った
会議室の画像に自動的に切り替わる。
5がシステム内の全会議の中から、主会議を選択・設定
する。そして、ある会議室が端末装置40−iの操作に
より第1または第2のモードへの強制変更要求の操作を
行うと、モード変更手段56はこの要求をこの操作を行
った会議室が主会議室のときのみ受け付け、受け付け
後、全会議室のモードを指定されたモードに強制的に変
更する。
議室は、端末装置40−iの操作によりシステム内の全
ての会議室のモードを所望するモードに強制的に変更で
きる。
57が第1及び第2の制御手段53,54から切替出力
手段52の切替情報を受けて、各会議室において現在表
示されている会議室を記憶する。
操作により相手カメラの制御情報を送出すると、転送手
段58は表示会議室管理手段57を参照してこの会議室
に現在画像が表示されている会議室の端末装置40−j
へ上記相手カメラの制御情報を転送する。
−iの操作により、現在モニタに画像が表示されている
会議室内のカメラを遠隔制御できる。さらなる別の発明
のテレビ会議端末装置では、映像重畳手段61がカメラ
によって撮像された会議室の映像信号にこの映像信号に
よって表示される映像に係わる背景情報(例えば、地点
名、会議室の名称、話者の所属部署など)の映像信号を
重畳させる。そして、この重畳によって得られた映像信
号を符号化手段62によって符号化して、これによって
得られた符号化データを多地点制御装置に送出する。
制御装置から上記符号化データを受信すると、この符号
化データを復号手段65により映像信号に復号する。そ
してこの映像信号を画像表示手段66により画像として
表示する。
置により多地点テレビ会議システムを構築することによ
り、各会議室において当該会議室の画像をこの画像の背
景情報(地点名等)と共に表示できる。
いては、符号化手段71によりカメラによって撮像され
た会議室の映像信号を符号化し、多重化手段72がこの
符号化によって得られた符号化データと上記映像信号に
よって表示される画像に係わる背景情報のコードとを多
重化する。そして、この多重化によって得られたデータ
(多重化データ)は、多地点制御装置を介してテレビ会
議端末装置に分配される。
重化データを受信すると、これを分離手段75により会
議室の映像信号の符号化データとこの映像信号によって
表示される映像に係わる背景情報のコードとを分離す
る。そして、映像信号手段76により上記符号化データ
を会議室の映像信号に復号すると共に、映像生成手段7
7により上記コードに対応する映像信号を生成する。次
に、映像重畳手段78がこれらの映像信号を重畳する。
そして、これにより得られた映像信号に対応する画像を
所定の表示装置に表示する。
置を用いて多地点テレビ会議システムを構築することに
より、前記発明と同様に各会議室において当該会議室の
画像をこの画像の背景情報と共に表示できる。
は、コード生成手段81が切替選択されたテレビ会議用
端末装置(以下、端末装置と略称する)から送信されて
くるこの会議室の映像信号により表示される映像に係わ
る背景情報に対応する番号を基に、この背景情報のコー
ドを生成する。そして多重化・分配手段82がこのコー
ドと上記映像信号の符号化データとを多重化して各端末
装置へ分配する。
地点制御装置から送信されてくる多重化信号を、信号分
離手段85より上記切替選択された会議室の映像の符号
化データとこの会議室の映像の背景情報に対応するコー
ドとに分離する。そして、上記符号化データを映像復号
手段86により映像信号に復号すると共に、映像生成手
段87により上記コードに対応する背景情報の映像信号
を生成する。次に、これらの映像信号を映像重畳手段8
8により重畳する。そして、これにより得られた映像信
号に対応する画像を所定の表示装置に表示する。
置と多地点制御装置とで多地点テレビ会議システムを構
築することにより、各会議室において当該会議室の画像
をこの画像の背景情報と共に表示できる。
は、映像生成手段91が切替選択された会議室の端末装
置から送信されてくるこの会議室の映像の背景情報に対
応する番号を基にこの背景情報の映像信号を生成する。
また、映像復号手段92が同じく上記切替選択された端
末装置から送信されてくるこの会議室の映像信号の符号
データを復号する。続いて、映像重畳手段93がこれら
の映像信号を重畳し、これによって得られた映像信号を
符号化手段84が符号化する。そして、所定の分配手段
により、この符号化によって得られたデータ(符号化デ
ータ)を上記発明の各端末装置へ分配する。
化データを映像復号手段95により会議室の映像に背景
情報の映像が重畳された画像の映像信号に復号し、この
画像を画像表示手段96により表示する。
テレビ会議端末装置を用いて多地点テレビ会議システム
を構築することにより、各会議室において当該会議室の
画像をこの画像の背景情報と共に表示できる。
置は多地点制御装置に対しカメラにより撮像された会議
室の映像信号とこの撮像された会議室の映像に係わる背
景情報の映像信号とを重畳して多地点制御装置に送信す
る。
から送信されてくる2つの映像信号が重畳された映像デ
ータを切換選択して、各端末装置へ分配する。各端末装
置では、多地点制御装置からこの映像データを受信して
当該会議室の映像にこの映像に係わる背景情報が重畳さ
れた映像を表示する。
像信号が重畳された映像データの生成を多地点制御装置
により行う。そして、上記と同様にして各端末装置では
当該会議室の映像にこの映像に係わる背景情報の映像を
重畳させて表示する。
カメラにより撮像された会議室の映像信号の符号化デー
タとこの撮像された会議室の映像の背景情報とを多重化
して多地点制御装置に送信する。
から送信されてくる多重化データを切換選択して各端末
装置へ分配する。各端末装置は、多地点制御装置からこ
の多重化データを受信して当該会議室の映像にこの映像
に係わる背景情報の映像を重畳させて表示する。
ータの作成を多重化制御装置により行う。そして、上述
と同様にして、各端末装置はこの多重化データを受信し
て、当該会議室の映像とこの映像に係わる背景情報の映
像とが重畳された画像を表示する。
の映像と共にこの映像に係わる背景情報(会議室名、話
者の名前、話者の所属部署名等)の映像を同一画面上に
表示できる。
の実施例を説明する。図8は本発明の第1実施例である
多地点テレビ会議システムの全体構成図である。
点制御装置1100は、ISDNや高速ディジタル専用
線等のネットワーク1400を介してA,B,C,D,
及びEの5地点にある会議室のテレビ会議端末装置12
00(1200A,1200B,1200C,1200
D、および1200E)に接続されている。
細な構成図である。各テレビ会議端末装置1200A〜
1200Eには、会議参加者に対向して設けられた複数
個のマイクロホン群1201と、これらのマイクロホン
群1201からの出力を合成するマイクミキサ1202
と、他のテレビ会議端末装置からの音声を出力するスピ
ーカ1203と、このスピーカ1203の出力音声がマ
イクロホン群1201へ回り込まないようにするための
入出力音声のスイッチング動作またはエコー消去動作等
を行う音声制御部1204と、この音声制御部1204
からのまたは音声制御部1204への音声に対する符号
化/復号化部(以下、音声CODECと略称する)12
05と、テレビ会議端末装置1200(1200A〜1
200E)の全景、人物または資料を映すためのカメラ
1206と、他の会議端末装置1200の画像を表示す
るためのモニタ1207と、これらのカメラ1206及
びモニタ1207の画像に対する画像CODEC120
8と、音声CODEC1205と画像CODEC120
8の入力/出力信号に対する多重化/分離部(MUX/
DMUX)1209とで構成されている。
装置1200A〜1200Eが多地点制御装置110に
相互接続されている。この多地点制御装置1100は、
各テレビ会議端末装置1200A〜1200Eからの又
は各テレビ会議端末装置1200A〜1200Eへの音
声・画像データに対する多重化/分離部1101と、こ
の多重化/分離部1101に接続された音声CODEC
1102と、各音声CODEC1102から入力する音
声信号のレベルから各地点A〜Eでの発言の有無を検出
する音声検出部1103と、この検出部1103で発言
が検出された地点の音声信号を合成して音声CODEC
1102及び多重化/分離部1101を介して各テレビ
会議端末装置1200A〜1200Eのスピーカ110
3へ送るための音声ミキサ1104と、上記音声検出部
1103から各地点A〜Eの発言の有無情報を受けて多
重化/分離部1101から入力される各地点A〜Eの映
像データの中から1画面の中に合成すべき映像データを
選択するとともにこの画面合成のための情報を出力する
画面選択部1105と、該画面選択部1105から入力
される映像データを基に上記画面合成情報によって指示
される複数の合成画面の映像データを作成し、これらの
合成画面の映像データを多重化/分離部1101を介し
該当する地点の会議室のテレビ会議端末装置1200へ
分配する画面合成部1106から構成される。
は、発言が行われている地点の検出をテレビ会議端末装
置1200A〜1200Eのモニタ1207に表示可能
な最大の地点数分(例えば、4地点)だけ行う。この検
出は、まず音声レベルが所定の閾値以上である地点を選
択することにより行う。次にこの選択した地点数が上記
最大地点数よりも多いか否かを調べ、多い場合には音声
レベルの大きい方から上記最大地点数に等しい数の地点
を選択する。この選択により、各地点A〜Eは発言を行
っている発言地点と発言を行っていない視聴地点とに分
けられる。
言地点の映像データを、画面選択部1105と画面合成
部1106とを用いて分割合成し、1画面の映像データ
を作成する。
で異なる。したがって、多地点制御装置1100のテレ
ビ会議端末装置1200A〜1200Eに対する画面並
びに音声の入出力インタフェースは図10に示すように
なる。尚、実際には後述するように発言地点への画面出
力は各地点毎に異なる。
部1106が発言地点と視聴地点にそれぞれ異なる画像
(映像データ)を出力するのに対応して、発言地点と視
聴地点とで異なった音声を出力する(各地点A〜Eの画
像に適合した音声をミキシングして出力する)。これ
は、画面選択部1105から入力される画面合成情報を
基に行う。
表示方式の例を説明する。まず、図11は4地点(この
場合は地点A,B,C,D)が同時に発言した場合の各
テレビ会議端末装置1200のモニタ1207上での表
示画面(モニタ画面)を示す図である。同図(a) は発言
していない視聴地点(この場合は地点Eの表示画面)、
同図(b) は発言地点の1つであるA地点の表示画面であ
る。
点A〜Eのモニタ1207には4分割の画面が表示され
る。すなわち、視聴地点には同図(a) に示すように発言
地点であるA,B,C,Dの4地点の画像が分割表示さ
れる。視聴地点の画面は全地点で共通である。
地点であるB,C,Dの3地点の画像と共に前回の発言
地点であるE地点の画像が表示される。また、図示して
いないが地点B,C,Dも地点Aとほぼ同様であり、自
地点以外の発言地点(3地点)の画像と前回発言地点E
の画像が分割表示される。
A,B)が発言した場合のモニタ画面の表示形式を示す
図である。この場合には発言地点が2つなのでモニタ画
面には2つの地点の画像が分割表示される。
ニタ1207には同図(a) に示すように発言地点である
地点Aと地点Bの画像が分割表示される。一方、発言地
点である地点Aのモニタ1207には同図(b) に示すよ
うにもう1つの発言地点である地点Bの画像と前回の発
言地点Eの画像が分割表示される。図示してはいない
が、同様にして発言地点Bのモニタ1207には地点B
に替えて他方の発言地点Aの画像が前回の発言地点Eの
画像と共に分割表示される。
は、視聴地点のモニタ1207には2つの発言地点の画
像が表示され、発言地点のモニタ1207には他方の発
言地点の画像と前回発言地点の画像が表示される。
場合は地点A)のみの場合のモニタ画面の表示形式を示
す図である。この場合にはモニタ画面は分割されず、視
聴地点である地点B,C,D,Eのモニタ1207には
同図(a) に示すように発言地点Aの画像が全面表示され
る。一方、発言地点Aのモニタ1207には同図(b) に
示すように前回の発言地点Eの画像が全面に表示され
る。
は、視聴地点のモニタ1207には発言地点の画像のみ
が、発言地点のモニタ1207には前回発言地点の画像
のみが表示される。
サブレートを用いる動画像通信用の映像符号化標準であ
るCCITT(国際電信電話諮問委員会)の勧告H.2
61では、テレビ電話やテレビ会議用の画像コーディッ
クの標準化として、世界共通の中間フォーマットCIF
(Common Intermediate Format) を定めた。また、小型
テレビ電話のような低ビットレートの簡単端末のため
に、解像度を水平・垂直とも上記CIFの半分にした。
QCIF(Quater CIF) につていも定義を行った。
会議端末装置1200A〜1200Eから多地点制御装
置1100への映像データの伝送をこのCIFで行う場
合において、前記図11(a) に示すように画面を4分割
して4地点の画像を同時に表示する方法を図15に模式
的に示す。
IF/QCIFコンバータを内蔵し、地点A,B,C,
DのCIFフォーマットの映像データを一端QCIFフ
ォーマットに変換した後、これら4地点のQCIFフォ
ーマットの映像データを1画面に合成し図11(a) に示
す4地点A,B,C,Dの画像が同時に表示される4分
割画面のCIFフォーマットの映像データを合成する。
そして、これを地点Eのテレビ会議端末装置1200E
へ伝送する。
言した場合のモニタ表示においては、多地点制御装置1
100は受信したCIFフォーマットの映像データをC
IF/QCIFコンバータを用いずにそのまま画面選択
部1105及び画面合成部1106を介し当該地点のテ
レビ会議端末装置1200へ選択出力する。
により行われる各地点A〜Eのテレビ会議端末装置12
00A〜1200Eへの画面出力処理(映像データ送信
処理)を図16乃至図18のフローチャートを参照しな
がら説明する。
ある。同図において、まず、音声検出部1103により
発言地点数を検出する(S11)。次に、この検出結果
を基に現在1地点のみで発言されているか否かを判別す
る(S12)。そして、複数地点で発言があれば(S1
2,NO)、複数地点の画面(画像)を各地点A〜Eの
テレビ会議端末装置1200のモニタ1207に分割表
示するための複数画面出力処理(S13)、一方、1地
点でのみ発言がなされていれば(S12,YES)、各
地点A〜Eのモニタ1207に当該1地点の画面(画
像)のみを表示する単画面出力処理を行う(S14)。
細フローチャートを図17に示す。この処理において
は、まず複数の発言地点の画面を1フレームに合成する
(S131)。このことにより、図11(a) または図1
2(a) に示す形式の画面が作成される。
地点(現在の発言地点)であるか否か判別する(S13
2)。そして、現発言地点であれば(S132,YE
S)分割画面表示用の映像データ中の送信先である発言
地点の映像データを前回発言地点の映像データに入れ換
え(S133)、これにより生成される分割画面の映像
データを上記発言地点へ出力(送信)する(S13
4)。
2(a) に示す分割画面の映像データがそれぞれ図11
(b) または図12(b) に示す分割画面に変更されて地点
Aのテレビ会議端末装置1200Aへ送信される。
発言地点でないすなわち視聴地点であれば上記ステップ
S131で合成した映像データをこの視聴地点へ出力
(送信)する(S135)。
2(a) に示す分割画面の映像データが視聴地点である地
点Eのテレビ会議端末装置1200Eへ送信される。次
に、図18は前記単画面出力処理S14の詳細フローチ
ャートである。
(送信先)が現発言地点であるか否かを調べ(S14
1)、現発言地点であれば(YES)前回の発言地点の
映像データのみから成る単画面の映像データを現発言地
点のテレビ会議端末装置1200へ出力(送信)する
(S142)。
る地点Aへ図13(b) に示す形式の前回発言地点Eの単
画面の映像データが送信される。一方、上記ステップS
141で視聴地点であると判別すれば、現発言地点の映
像データのみから成る単画面の映像データを視聴地点の
テレビ会議端末装置120へ出力(送信)する(S14
3)。
のみであったとき図13(a) に示す形式の現発言地点A
の単画面の映像データが視聴地点B,C,D,Eへ出力
(送信)される。
1100側で各地点の発言検出を行っているが、各テレ
ビ会議端末装置1200側で自地点の発言検出を行うよ
うにして、多地点制御装置1100に対しては発言の有
無を示すデータ(また、必要に応じてさらに音声レベル
データも)を送るようにしてもよい。
ビ会議システムの全体構成図である。このシステムは、
前述した図46の従来例に対してテレビ会議端末装置1
20′及び多地点制御装置110′とも一部異なってい
る。
ては、新たに・表示会議室切替・指定モード切替・自動
会議室切替許可/不許可指定・相手カメラ制御・指定モ
ード強制変更の各操作を行うための操作部131と、こ
の操作部131から出力される操作信号を所定フォーマ
ットの操作データに変換して多重化/分離部129′に
出力するデータ伝送部132を備えている。多重化/分
離部129′は画像コーデック128からの画像デー
タ、音声コーデック125からの音声データに加えてこ
のデータ伝送部132からの操作データも多重化して多
地点制御装置110′へ送出する。
は、各テレビ会議端末装置120A′〜120X′から
送信されてくる上記操作データを多重化/分離部11
1′から抽出するためのデータ伝送部117が各多重化
/分離部111′毎に新たに設けられている。各データ
伝送部117は抽出した操作データを制御部116′に
出力する。
成図である。同図に示すように、この画像選択部11
5′は会議室A,B,C,・・・Xから送られてくる映
像データが入力されるn個の入力端子1155と各会議
室A,B,C,・・・Xに送られる映像データが出力さ
れるn個の出力端子1156とを有し、これらの入力端
子1155と出力端子1156がマトリクス状に配置さ
れたn×n個のスイッチ素子1157のn本の入線11
58とn本の出線1159に接続された構成になってい
る。このため、n個の各入力端子1155は、いずれも
対応するn個のスイッチ素子1157を介してn個の出
力端子1156の全てに接続可能であり、各会議室A,
B,C,・・・Xのテレビ会議端末装置120′には任
意の会議室の映像データを送れるようになっている。
尚、上記n×n個の格子状に配置されたスイッチ素子1
157群をマトリクス・スイッチャ1154と呼ぶ。画
像選択部115′がこのような構成となっているため、
本実施例では各会議室は前記NS/PS指定モード以外
に独立指定モードを選択することが可能である。
発言に影響されることなく独立に所望の会議室の画像を
選択可能なモードである。尚、本実施例では独立指定モ
ードにおいても発言者検出があったときにNSの画面に
自動的に切り替えるか否かを選択できるようになってい
る。
的に自己が所望するモードに切替可能なチェアマン会議
室(主会議室)の設定も可能になっている。図21はN
S/PS指定モードと独立指定モードが混在していると
きの本実施例の動作の一例を示す模式図である。
はNS/PS指定モードとなっており、会議室Cのみが
独立指定モードになっている。この状態において会議室
AがNSになると図中実線の矢印で示すように会議室
B,D,Eには会議室Aの画像が表示され、会議室Aに
は破線の矢印で示すようにPSとなる会議室Dの画像が
表示される。一方、独立指定モードとなっている会議室
Cには図中一点鎖線の矢印で示すように指定した会議室
Eの画像がそのまま表示される。
装置120A′〜120X′への映像データの送信制御
のために内蔵している各種管理テーブルの構成を図22
乃至図25に示す。
において現在指定されているモード(指定モード)を管
理するモード管理テーブルの構成図である。このテーブ
ルが管理する情報には、上記「指定モード」以外に独立
モードにおいて表示する会議室を発言者検出により自動
的に切り替えることを許可するか否かを示す「自動会議
室切替フラグ」、及びチェアマンとなる会議室を管理す
るための「チェアマンフラグ」が有る。これらの内、
「自動会議室切替フラグ」は独立指定モードとなってい
る会議室についてのみ有効である。
構成図であり、このテーブルは各会議室毎にその会議室
が現在「NS」,「PS」、または「S」(これは、N
SまたはPS以外の会議室を示す)のいずれとなってい
るかを管理するために用いられる。
ている会議室を管理するために用いられる表示会議室テ
ーブルの構成図である。そして、最後に、図25はマト
リクス・スイッチャ1154の各スイッチ素子1157
の現在の状態を管理するためのマトリクス・スイッチャ
状態テーブルの構成図である。同図において、「O」印
がオン「X」印がオフとなっているスイッチ素子115
7を示している。
A,B,・・・Xのテレビ会議端末装置120A′,1
20B′,・・・120X′からセンタ局の多地点制御
装置110′に上がってくるイベントとしては以下の
1)〜6)等がある。
6′が行う動作をフローチャート等を参照しながら説明
する。
上記各テーブルの状態は上記図22乃至図25に示すよ
うに設定されているものとする。すなわち、図22のモ
ード管理テーブルに示されているように会議室A,D,
・・・XはNS/PS指定モードに設定され、会議室
B,Cは独立指定モードに設定されているものとする。
また、自動会議室切替フラグは会議室Bにおいては許可
に、会議室Cにおいては不許可に設定されいてる。ま
た、チェアマンは会議室Aに設定されている。
示されているように会議室AがNS、会議室DがPSに
設定されており、それ以外はSに設定されている。そし
て、図24の表示会議室管理テーブルに示されているよ
うに現在、会議室D,・・・Xのテレビ会議端末装置1
20D′,・・・120X′にはNSである会議室Aの
画像が表示されており、このNSとなっている会議室A
のテレビ会議端末装置120A′にはPSとなっている
会議室Dの画像が表示されている。また、会議室B,C
のテレビ会議端末装置120B′,120C′にはそれ
ぞれ各会議室において選択された会議室C,Dの画像が
表示されている。
クス・スイッチャ1154の各スイッチ素子1157の
状態は図25に示すテーブルの内容のようになってい
る。上記構成において、まず、上記1)の発言者検出の
イベント発生時の制御部116′の動作を図26のフロ
ーチャートを参照しながら説明する。
から発言者検出の通知があると、NS/PS管理テーブ
ルを参照し、この通知された発言者(発言会議室)が現
在NSとなっているか否か判別する(S201)。
Sに、前回のNSがPSになるようにNS/PS管理テ
ーブルを書き換える(S202)。以上の動作により、
例えば会議室Xで発言が行われた場合には、PS/NS
管理テーブルは図27(a) に示すような状態に書き換え
られる。すなわち、会議室XがNSに書き換えられるの
に伴ってNSであった会議室AがPSに書き換えられ、
PSであった会議室DがSに書き換えられる。
「1」を初期設定する(S203)。そして、まず、こ
の会議室No. を有する会議室の現在の指定モードをモー
ド管理テーブルを参照して調べ(S204)、NS/P
S指定モードであれば画像が切り替えられるのでこれに
合わせて表示会議室管理テーブルを書き換える(S20
5)。
ードであることが判明した場合には、次に、この会議室
の自動会議室切替フラグを参照して自動切替が許可され
ているか否か判別する(S206)。
画像は次にNSに切り替わるので、これに合わせて表示
会議室テーブルのこの会議室の項目を書き換えるが(S
205)、不許可であった場合には画像を切り替えない
ので表示会議室テーブルの書き換えは行わない。
議室No. 順に全ての会議室について行う(S207,S
208)。以上の動作により、表示会議室管理テーブル
は図24から図27(b) に示す状態に書き換えられる。
すなわち、今度PSとなる会議室Aに新たにNSとなる
会議室Xの画像が、また、PSからSとなる会議室DA
に同じく新たにNSとなる会議室Aの画像が表示される
ように書き換えられる。さらに、会議室Bは独立指定モ
ードであっても自動会議室切替フラグが許可に設定され
ているので新たにNSとなる会議室Xの画像が表示され
るように書き換えられる。ます、図示されてはいない
が、残りの会議室E,・・・は全て会議室Xの画像が表
示されるように書き換えられる。尚、会議室Xには既に
今度新たにPSとなった会議室Aの画像が表示されてい
るので、書き換えは行わない。
ルの書き換えが終了した後、最後にこの表示会議室管理
テーブルの内容に従ってマトリクス・スイッチャ状態テ
ーブルを書き換える(S208)。
ャ状態テーブルは図25に示す状態から図27(c) に示
す状態に書き換えられる。尚、上記ステップS201で
発言会議室が現在NSとなっていれば、NS,PSとも
変化しないので、テーブルの書き換えは行わず直ちに処
理を終了する。したがって、この場合各会議室A,B,
・・・Xの画像は変化しない。
生したときの制御部116′の動作を図28のフローチ
ャートを参照しながら説明する。いずれかの会議室で画
像をある会議室の表示に切り替える操作が行われると、
まずモード管理テーブルを参照してこの操作を行った会
議室のモードは何であるか判別する(S221)。
示会議室管理テーブルのこの会議室の欄を表示指定され
た会議室に書き換える(S222)。続いて、書き換え
られた表示会議室管理テーブルの内容に従ってマトリク
ス・スイッチャ状態テーブルを書き換える(S23
1)。
22乃至図25に示すようになっているときに、会議室
Bが会議室Xの画像を表示するように切替え操作する
と、表示会議室管理テーブルは図29(a) に示すように
会議室Bの項目欄のみが会議室Cから会議室Xに書き換
えられる。また、これに伴ってマトリクス・スイッチャ
状態テーブルは図25から図29(b) に示すように書き
換えられる。
の会議室とは独立に表示される会議室の画像を切り替え
ることができる。一方、上記ステップS221で操作し
た会議室がNS/PS指定モードであった場合には、次
にNS/PS管理テーブルを参照してこの会議室が現在
NSとなっているかどうか判別する(S223)。そし
て、NSであればNS/PS管理テーブルのこの表示指
定された会議室の欄をPSに書き換える。またこれに伴
いPSとなっている会議室をSに書き換える(S22
4)。すなわち、NSの会議室に表示されるのは原則と
してPSの会議室なので、これに沿って書き換える。
室Aが会議室Xの画像を表示するような切替え操作を行
うと、NS/PS管理テーブルは図23から図30(a)
に示すように書き換えられる。
議室がPSまたはSであればNS/PS管理テーブルに
おいて表示指定された会議室をNSに書き換え、これに
伴いNSとなっている会議室をPSに書き換えると共
に、PSとなっている会議室をSに書き換える(S22
5)。
会議室Dが会議室Xの画像を表示するような切替え操作
を行った場合、NS/PS管理テーブルは図23から図
31(a) に示すように書き換えられる。
の書き換えを行った後、会議室No.(会議室番号)に
「1」を初期設定する(S226)。次に、モード管理
テーブルを参照して、設定されている会議室No. の会議
室のモードはNS/PS指定モードまたは独立指定モー
ドのいずれになっているか調べる(S227)。そし
て、NS/PS指定モードであれば上述のようにして書
き換えられたNS/PS管理テーブルの内容に従って表
示会議室管理テーブルのこの会議室の欄を書き換える
(S228)。すなわち、NSとなっている会議室には
PSの会議室が、その他の会議室には新たにNSとなっ
た会議室が表示されるように書き換える。
ードが独立指定モードであれば、この会議室は他の会議
室からの切替操作の影響を受けないので表示会議室管理
テーブルの書き換えは行わない。
の処理を、会議室番号順に全ての会議室について行い
(S229,S230)、これが終了すると、書き換え
た表示会議室管理テーブルの内容に従ってマトリクス・
スイッチャ状態テーブルを書き換える(S231)。
室Aが会議室Xを表示するような切替え操作を行うと、
表示会議室管理テーブルの会議室Aの欄のみが図30
(b) に示すように会議室Dから会議室Xに書き換えられ
る。また、Sとなっている会議室Dが会議室Aを表示す
るような切替え操作を行うと、表示会議室テーブルの内
容は図25から図31(b) に示すように書き換えられ
る。すなわち、この場合にはNS/PSモードとなって
いる会議室の中でPSまたはSになっている会議室の欄
がNSとなる会議室Xに書き換えられる。また、それぞ
れの場合、マトリクス・スイッチャ状態テーブルは図3
0(c) ,図31(c) に示すように書き換えられる。
生した場合の制御部116′の動作を図32のフローチ
ャートを参照しながら説明する。ある会議室において指
定モードを変更する操作が行われると、まずモード管理
テーブルを参照してこの操作を行った会議室のモードは
現在独立指定モードまたはNS/PS指定モードのいず
れのモードに設定されているか調べる(S241)。
理テーブルのこの会議室のモードをNS/PS指定モー
ドに書き換える(S242)。次に、このモード切り替
えに伴って同じくモード管理テーブルのこの会議室の自
動会議切替フラグをリセットする(S243)。さら
に、続いて、NS/PS管理テーブルを参照して表示会
議室管理テーブルのこの会議室の欄をNSとなっている
会議室に書き換える(S244)。
の内容に変化があったか否か調べ(S245)、変化し
ていればマトリクス・スイッチャ状態テーブルを表示会
議室管理テーブルの内容に従って書き換える(S24
6)。
ている会議室Bが指定モードの変更操作を行うと、まず
モード管理テーブルが図22から図33(a) に示すよう
に書き換えられる。そして、図33(b) に示すNS/P
S管理テーブルを参照して、同図(c) に示すように表示
会議テーブルの会議室Bの欄が会議室Dから現在NSと
なっている会議室Aに書き換えられる。また、この表示
会議室管理テーブルの変化に伴ってマトリクス・スイッ
チャ状態テーブルの会議室Bに対応するスイッチ素子1
157の状態が図32(d) に示すように書き換えられ
る。尚、このとき、会議室BにNSとなっている会議室
Aが表示されていれば、表示は変化しないので表示会議
室管理テーブル及びマトリクス・スイッチャ状態テーブ
ルの書き換えは行われない。
の切替操作を行った会議室のモードがNS/PS指定モ
ードであった場合には、まずモード管理テーブルのこの
会議室の指定モードを独立指定モードに書き換え(S2
47)、次に、自動会議室切替フラグを許可に設定する
(S248)。
モードを変更する操作を行うと、モード管理テーブルの
会議室Dの指定モードと自動会議室切替フラグは図34
に示すように書き換えられる。
可指定のイベントが発生したときの制御部116′の動
作を図35のフローチャートを参照しながら説明する。
ある会議室の端末装置120′の操作部131で自動会
議室切替え許可/不許可指定の操作が行われると、まず
モード管理テーブルを参照してこの操作を行った会議室
のモードが独立指定モードまたはNS/PS指定モード
のいずれであるかを調べる(S251)。
モード管理テーブルのこの会議室の自動会議室切替え許
可/不許可指定フラグを、許可となっていれば不許可
に、不許可になっていれば許可に書き換える(S25
2)。
指定モードであったならば、自動会議室切替え許可/不
許可は無効なので直ちに処理を終了する。以上の動作に
より、独立指定モードになっている会議室は自端末装置
120′の操作部131で自動会議室切替え許可/不許
可指定の操作を行うことにより、自動での会議室の切替
え、すなわち発言者検出があったときに表示を発言が行
われた会議室の画像に切替えてもよいか否かを所望する
ように選択できる。
生したときの制御部116′の動作を図36のフローチ
ャートを参照しながら説明する。ある会議室の端末装置
120′の操作部131においてカメラの首振り、ズー
ム等の相手カメラ制御の操作が行われると、まず、表示
会議室管理テーブルを参照してこの操作を行った会議室
に現在表示されている会議室を調べる(S261)。
120′のモニタ127上に現在画像が表示されている
会議室の端末装置120′に対し、この操作により指定
された当該カメラ制御データを送出する(S262)。
ても現在、自端末装置120′のモニタ127上に画像
が表示されている会議室に設置されているカメラ126
を遠隔操作して所望の画像を得ることができる。
の会議室において現在画像が表示されている会議室のカ
メラについてはこの独立指定モードに設定されている会
議室以外は制御を無効とする、またはこの相手カメラ制
御の使用そのものを独立モードの会議室にのみ限定する
等の方式を採用してもよい。
イベントが発生したときの制御部116′の動作を図3
7のフローチャートを参照しながら説明する。ある会議
室において指定モード強制変更の操作が行われると、ま
ずモード管理テーブルを参照してこの操作を行った会議
室はチェアマン会議室になっているか否かを調べる(S
271)。
変更指定モードはNS/PS指定モードまたは独立指定
モードのいずれであるか判別する(S272)。そし
て、NS/PS指定モードであればモード管理テーブル
の全会議室のモードをNS/PS指定モードに変更し
(S273)、続いてモード管理テーブル内のセットさ
れている全ての自動会議室切替フラグをリセットする
(S274)。
ードが独立指定モードであれば、モード管理テーブルの
全会議室のモードを独立指定モードに変更し(S27
5)、続いてモード管理テーブルの全会議室の自動会議
切替フラグを「許可」にセットする(S276)。
議室がチェアマン会議室でないことが判明した場合に
は、チェアマン会議室以外の会議室においてはこの操作
は無効なので直ちに処理を終了する。
ての会議室のモードを所望するモードに強制的に変更す
ることができる。ところで、チェアマン会議室の設定
は、例えばi)多地点制御装置で指定する、ii)多地点
制御装置にテレビ会議端末装置120′が最初に接続さ
れた会議室とする等の方法により行う。
でかつ自動会議室切替を不許可に設定することにより、
多地点会議の際に表示されている会議室が他会議室の操
作や発言により勝手に切り替わってしまう事態を防止で
きる。また、チェアマン会議室を設定でき、このチェア
マン会議室において全ての会議室のモードを強制的に統
一することができるので、より通常の会議に近い形態で
多地点会議を運用できる。
行われた会議室の画像に自動的に切替える方式を選択で
きるので、他の会議室で重要な発言が行われたとき、こ
の発言をうっかりして聞き逃してしまう事態などを防止
できる。
地点テレビ会議システムの全体構成図である。多地点制
御装置310には、専用回線やISDN等の交換回線を
介してA地点、B地点、・・・Z地点のテレビ会議端末
装置320A,320B,・・・320Zが接続されて
いる。
末装置320A,320B,・・・320Zから送信さ
れてくる各会議室の映像データの切替制御を行い、ある
1つのテレビ会議端末装置からの映像データを他の会議
室のテレビ会議端末装置320に分配する。
ータを分配するとき、この会議室の地点名に係わる情報
も映像またはコードの形で多重化して送信する。そし
て、このことにより、例えば図39に模式的に示すよう
に各テレビ会議端末装置320のモニタに会議室の名称
(地点名)をこの会議室の映像に重畳(スーパーインポ
ーズ)させて表示させる。
第1のシステム構成例である。テレビ会議端末装置32
0の画像送信系は、カメラ321、地点名映像生成部3
22、映像重畳部323、および画像符号化部324を
備えている。
映像信号(NTSC信号)を映像重畳部323に出力す
る。また、地点名映像生成部322は会議室の地点名の
映像信号を生成し、これを映像重畳部323に出力す
る。
力する会議室の映像信号の所定部分に地点名映像生成部
323からの地点名映像信号を重畳し、これにより得ら
れる映像信号を画像符号化部324に出力する。
地点名の映像が重畳された映像信号をディジタル符号化
する。このディジタル符号化により得られた符号化デー
タは不図示の網インタフェースを介して多地点制御装置
310に送信される。画像符号化部324は、例えばC
CITTの勧告H.261に従って映像信号(NTSC
信号)を符号化する。
て各会議室のテレビ会議端末装置320から受信する画
像のディジタル符号化データを切替制御して各会議室の
テレビ会議端末装置320へ分配する。
画像復号部326と受信モニタ328を備えている。画
像復号部327は、多地点制御装置310から受信する
ディジタル符号化データを元の映像信号(NTSC信
号)に復元して受信モニタ327に出力する。
地点名が重畳された画像を表示する。次に、図41は第
2のシステム構成例である。
の画像送信系は、上記カメラ321、上記画像符号化部
324の他に地点名コード生成部331、信号多重部3
32、及び回線処理部333を備えている。
像信号は画像符号化部324によりディジタル符号化さ
れて信号多重部332に入力される。地点名コード生成
部331は、この会議室の地点名コード(文字コード)
を生成し、これを信号多重部332に出力する。
から入力される会議室の映像の符号化データと地点名コ
ード生成部331から入力される地点名コードとを多重
化して回線処理部333に出力する。
ータを多地点制御装置310に送信する。多地点制御装
置310は、この多重化データを各会議室のテレビ会議
端末装置320から受信し、当該多重化データを各会議
室のテレビ会議端末装置320へ分配する。
は、信号分離部336、地点名映像生成部337、上記
画像復号部326、映像重畳部338、及び上記受信モ
ニタ327を備える。
ら会議室の映像のディジタル符号化データと地点名コー
ドとを分離し、それぞれ画像復号部326と地点名映像
生成部337に出力する。
点名コードから地点名の映像信号を生成し、これを映像
重畳部338に出力する。映像重畳部338は、この地
点名映像信号と画像復号部336から入力される会議室
の映像信号とを重畳し、これにより得られる映像信号を
受信モニタ327に出力する。
議室の映像にこの会議室の地点名を重畳させて表示す
る。次に、図42は第3のシステム構成例を示す図であ
る。
は、会議室の映像信号の符号化データにこの会議室に予
め割り当てられている地点名番号を多重化して多地点制
御装置310に送信する。すなわち、この画像送信系
は、前述した第2のシステム例における地点名コード生
成部331の代わりに地点名番号を生成する不図示の地
点名番号生成部を備えている。
名番号1,2,・・・nに対応する地点名コードを格納
しているデータベース部311を備え、これ以外に分離
部312、地点名コード検索部313、及び多重・分配
部314を備えている。
議端末装置320から送信されてくる会議室の映像信号
と地点番号の多重化データから映像信号と地点番号を分
離し、地点番号を地点名コード検索部313に、映像信
号を多重・分配部314に出力する。
地点番号に対応する地点名コードをデータベース部31
1から読み出し、これを多重・分配部314に出力す
る。多重・分配部314は、上述のようにして入力され
る会議室の映像信号と地点名コードを多重化して各会議
室のテレビ会議端末装置320へ分配送信する。
は、上記第2の実施例と同様になっており、上述と同様
にして受信モニタ327に会議室の映像にこの会議室の
地点名を重畳させて表示させる。
す図である。このシステムでは、テレビ会議端末装置3
20の画像送信系の構成は上述した第3のシステム例と
同様になっている。
のシステム例と同様にデータベース部311、分離部3
12、及び地点コード検索部313を備えると共に、さ
らに画像復号部315、地点名映像生成部316、映像
重畳部317、及び符号化・分配部318を備えてい
る。
力される符号化データを復号して切替選択された会議室
の映像信号を復元し映像重畳部317に出力する。地点
名映像生成部316は、地点名コード検索部から入力さ
れる地点名コードから対応する地点名の映像信号を生成
し、これを映像重畳部317に出力する。
号の所定位置に上記当該地点名の映像信号を重畳させ、
これにより得られた映像信号を符号化・分配部318に
出力する。
室の映像と地点名の映像とが重畳された映像信号を、例
えばCCITTの勧告H.261で符号化して各会議室
のテレビ会議端末装置320に分配する。
像受信系は、前記画像復号部326と前記受信モニタ3
27を備えている。そして、多地点制御装置310から
受信する映像信号の符号化データを復号して、切替選択
された会議室の映像とこの会議室の地点名を受信モニタ
327に重畳表示させる。
ステムも考えられる。 1)多地点制御装置が各端末装置から会議室の映像デー
タと地点名コードを受信する。そして、多地点制御装置
は会議室の映像データを映像信号に復号すると共に、地
点名コードから対応する地点名の映像信号を生成する。
そして、次に、多地点制御装置は会議室の映像信号に地
点名の映像信号が重畳された映像信号を生成し、これを
符号化してから各端末装置へ分配する。
に復号して会議室の映像に地点名の映像が重畳された画
像を表示する。 2)端末装置は会議室の映像データと地点名番号を多重
化して多地点制御装置に送信する。
のままの形で端末装置へ分配する。端末装置は、多重化
データを会議室の映像データと地点名番号に分離する。
そして、会議室の映像データを映像信号に復号すると共
に地点名番号を基に地点名の映像信号を生成する。次
に、上記復号した会議室の映像信号にこの地点名の映像
信号を重畳させ、これにより得られた映像信号を基に会
議室の映像に地点名の映像が重畳された画像を表示す
る。
名の映像を重畳して表示するようにしているが、これに
限定されることなく会議室の映像に係わる他の背景情報
(話者の名前や所属等)を表示するようにしてもよい。
出されたとき、これらの発言地点の映像が1画面に表示
される映像データを作成し、この映像データを各テレビ
会議端末装置へ分配するので、複数地点で議論が行われ
たとき、議論している複数地点の画像を同時に表示でき
る。また、発言地点の増減によって画面に表示される地
点数が変化する臨場感のある画像を表示できる。さら
に、発言が同時に行われた場合でも、これらの地点が同
一画面上に表示されるので発言があった地点を容易に確
認できる。
言地点の映像のみから成る画像が表示されるので視聴地
点は発言地点を直ちに確認できる。また、本発明によれ
ば、発言地点においては他の発言地点の映像と前回発言
地点の映像とが同一画面上に表示されるので発言地点は
他の発言地点を容易に確認できる。
置へ他のテレビ会議端末装置とは独立に映像データを切
替出力できるので、各テレビ会議端末装置は他のテレビ
会議端末装置の画像を切り替えることなく所望の会議室
の画像を選択できる。また、逆に、他の会議室の操作に
よって画像が切り替えられることもない。
な他の会議室とは独立に所望する会議室の画像を選択で
きる第1のモードと、発言地点の検出やテレビ会議端末
装置の操作等によって各会議室の表示が切り替えられる
第2のモードのいずれか一方を選択できる。したがっ
て、表示されている画像が他の会議室の操作や発言によ
って勝手に切り替わらないモード(第1のモード)や、
自動的に発言地点の映像に切り替わるモード(第2のモ
ード)を選択できるので、その場の状況に応じた画像の
モニタが可能になる。
ても発言地点の検出によってこの発言がなされた会議室
の画像に自動的に切り替わるモードも選択できるように
なるので、うっかりして重要な発言を聞き損なうような
事態を防止できる。
れた会議室は必要であれば強制的に全ての会議室のモー
ドを統一できるので、議長を中心として会議を進行して
いく通常の会議に近い形態での会議の運営が可能にな
る。
会議室において画像が表示されている会議室のカメラを
遠隔制御できるので、ズームやカメラの向きを変えるな
どして所望の映像を得ることができるようになる。
多地点テレビ会議システムを構築することにより、表示
されている会議室の映像についてこの会議室の地点名や
この会議室における話者の名前や所属などの情報を容易
に知ることができるので会議の運営をスムーズに行うこ
とができるようになる。 1)図4に示すテレビ会議端末装置を端末装置として使
用 2)図5に示すテレビ会議端末装置を端末装置として使
用 3)図6に示す多地点制御装置とテレビ会議端末装置を
使用 4)図7に示す多地点制御装置とテレビ会議端末装置を
使用
テムの全体構成図である。
ック図である。
明する図である。
明する図である。
する図である。
の映像信号の送信方法の一例を示す図である。
例を示す図である。
ートである。
を説明するフローチャートである。
するフローチャートである。
テムの全体ブロック図である。
る。
る。
る。
構成図である。
ャートである。
明する図である。
フローチャートである。
ブル書き換え動作を説明する図(その1)である。
ブル書き換え動作を説明する図(その2)である。
ブル書き換え動作を説明する図(その3)である。
フローチャートである。
の書き換え動作を説明する図(その1)である。
の書き換え動作を説明する図(その2)である。
行われたときの動作フローチャートである。
フローチャートである。
動作フローチャートである。
テムの全体構成図である。
である。
である。
である。
である。
である。
構成図である。
ある。
ク図である。
制御装置の内部構成図である。
Claims (1)
- 【請求項1】 テレビ会議用端末装置が複数の会議室に
配置される多地点テレビ会議システムにおいて、これら
端末装置間で往来する映像データを切替制御する多地点
制御装置であって、 各会議室の端末装置に現在表示されている映像データの
送出先の会議室を記憶する表示会議室管理手段と、 上記複数の会議室のうちの任意の会議室の端末装置から
相手カメラの制御情報を受け取ると、該表示会議室管理
手段を参照して上記制御情報を送信した上記任意の会議
室の端末装置に現在表示されている映像データの送信元
の会議室を見つけ、この映像データの送信元の会議室の
端末装置に上記カメラ制御情報を転送する転送手段と
を、 備えることを特徴とする多地点制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002040761A JP3697423B2 (ja) | 2002-02-18 | 2002-02-18 | 多地点制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002040761A JP3697423B2 (ja) | 2002-02-18 | 2002-02-18 | 多地点制御装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08093393A Division JP3305037B2 (ja) | 1993-04-07 | 1993-04-07 | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002330412A true JP2002330412A (ja) | 2002-11-15 |
JP3697423B2 JP3697423B2 (ja) | 2005-09-21 |
Family
ID=19192716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002040761A Expired - Lifetime JP3697423B2 (ja) | 2002-02-18 | 2002-02-18 | 多地点制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3697423B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086935A (ja) * | 2005-09-20 | 2007-04-05 | Fuji Xerox Co Ltd | 多重ワーク支援システムおよび多重ワーク支援方法 |
JP2014052393A (ja) * | 2012-09-04 | 2014-03-20 | Ricoh Co Ltd | 画像投影システム、画像投影システムの運用方法、画像投影装置、画像投影システムの遠隔操作装置、及び画像投影システムを用いるテレビ会議システム |
-
2002
- 2002-02-18 JP JP2002040761A patent/JP3697423B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086935A (ja) * | 2005-09-20 | 2007-04-05 | Fuji Xerox Co Ltd | 多重ワーク支援システムおよび多重ワーク支援方法 |
JP2014052393A (ja) * | 2012-09-04 | 2014-03-20 | Ricoh Co Ltd | 画像投影システム、画像投影システムの運用方法、画像投影装置、画像投影システムの遠隔操作装置、及び画像投影システムを用いるテレビ会議システム |
Also Published As
Publication number | Publication date |
---|---|
JP3697423B2 (ja) | 2005-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3305037B2 (ja) | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム | |
US7508413B2 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
NO318911B1 (no) | Distribuert sammensetting av sanntids-media | |
US7425979B2 (en) | Communication system | |
WO2011140812A1 (zh) | 多画面合成方法、系统及媒体处理装置 | |
JP2018056719A (ja) | テレビ会議装置 | |
JP2006303997A (ja) | テレビ会議システム | |
US7453829B2 (en) | Method for conducting a video conference | |
JP2003023612A (ja) | 画像通信端末装置 | |
JPH07123167A (ja) | 通信端末装置及び通信会議システム | |
JP3732850B2 (ja) | 多地点制御装置 | |
JP3697423B2 (ja) | 多地点制御装置 | |
JP4406295B2 (ja) | アプリケーション連携システム、及びアプリケーション連携方法 | |
JP3697422B2 (ja) | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム | |
JPH06261316A (ja) | 多地点間通信会議システム | |
JP3140866B2 (ja) | テレビ会議システム | |
JPH09214923A (ja) | 多地点テレビ会議システム及びテレビ会議付加情報表示方法 | |
JPH08321884A (ja) | 多地点間テレビ会議システム | |
JPH07131771A (ja) | テレビ会議システム | |
JP2004282785A (ja) | 表示制御装置及び表示制御方法 | |
JPH09149395A (ja) | 通信装置 | |
JPH07162823A (ja) | 多地点間テレビ会議映像表示方式 | |
JPH07162822A (ja) | 多地点間会議発言者表示方式 | |
JP2003163906A (ja) | テレビ会議システム及びテレビ会議方法 | |
JPH10243108A (ja) | 多地点テレビ会議システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |