JP4085685B2

JP4085685B2 - Video conference system, terminal device included therein, and communication method

Info

Publication number: JP4085685B2
Application number: JP2002126743A
Authority: JP
Inventors: 俊昭柿井
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-04-26
Filing date: 2002-04-26
Publication date: 2008-05-14
Anticipated expiration: 2022-04-26
Also published as: JP2003319357A

Description

【０００１】
【発明の属する技術分野】
この発明は、所定の伝送手段で接続された複数の端末装置のうち対話相手として選択された端末装置ごとに複数種類のメディアによるデータ送受信を行うことにより、所定タイミングで逐次編成される対話グループごとに個別に双方向対話を実現するテレビ会議システム等に関するものである。
【０００２】
【従来の技術】
従来、カウンセリング分野においては、カウンセリング参加者間で本音と本音の交流を一定期間、例えば数時間〜数週間、維持するエンカウンターグループが知られている。このエンカウンターは、各参加者の人間的成長の促進を目標とし、集団学習体験を通して各参加者の行動変容が図られる。また、任意に編成された対話グループを構成して行われるグループエンカウンターは、援助者（ファシリテーター）により推進されるが、該ファシリテーターが課題をプログラムして進める構成的グループエンカウンターと、課題を参加者自身が決めていく非構成的グループエンカウンター（ベーシックエンカウンター）がある。いずれのエンカウンターでも、感情交流や固有の内的世界の共有など、本音の交流を通じて、自己理解、他者理解を深め、自己成長、信頼感の形成が行われる。
【０００３】
【発明が解決しようとする課題】
発明者は、従来のグループエンカウンターについて検討した結果、以下のような課題を発見した。すなわち、任意に編成された対話グループごとに短時間で簡易に実施できるエンカウンターとして、構成的グループエンカウンターなどが提案されているが、地方から参加する場合、金銭的かつ時間的な制約が発生するため、実際のエンカウンターの実施では、このような地理的制約をまず克服する必要があった。
【０００４】
さらに、エンカウンターに参加する人数が増えれば増えるほど、より大きな開催スペースを確保しなければならず、例えば数百人が参加するエンカウンターでは、開催会場として、体育館や講堂など限られた場所でなければ実施できないという課題があった。
【０００５】
この発明は上述のような課題を解決するためになされたものであり、複数の端末装置を介して行われる多人数によるエンカウンターなどの特殊な遠隔地対話の実施を可能にするテレビ会議システム、通信方法、該通信方法を実行するコンピュータプログラム及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
この発明に係るテレビ会議システムは、所定の伝送手段で接続された複数の端末装置を介して双方向対話を実現する。特に、当該テレビ会議システムは、各会議参加者の対話状況を管理するための管理テーブルと、通信制御手段を備える。上記管理テーブルは、会議参加者として予め登録された、複数の端末装置それぞれの利用者の対話履歴とともに、該利用者のうち対話中の利用者同士を対応付けた対話状況とを管理する。また、上記通信制御手段は、管理テーブルを参照しながら、端末利用者のうち対話が行われる組ごとに利用者間でのデータ送受信を制御する一方、所定タイミングで利用者の対話相手が切り替わるよう、管理テーブルを逐次更新しながら該利用者のうち対話を行う利用者の組を再編成していく。
【０００７】
特に、対話を行う利用者の組（対話グループ）の編成に関し、上記通信制御手段は、対話中の利用者あるいはそれ以外の利用者からの指示に従って、あるいは、一定時間が経過するごとに自動的に、該対話中の利用者の対話相手を切り替えるとともに、上記管理テーブルの対話状況を更新する。なお、一定時間が経過するごとに自動的に対話相手を切替える場合、上記通信制御手段は、対話中の利用者の対話相手として、対話を行ったことのない利用者を、上記管理テーブルに記録された該利用者の対話履歴を参照して決定する。
【０００８】
上述のような構造を備えたテレビ会議システムは、複数の端末装置を含むが、上記通信制御手段は、所定の伝送手段上にデータ配信用として別途用意されたサーバであっても、各利用者の端末装置のいずれかが通信制御手段として機能してもよい。特に、この発明に係る端末装置は、上記管理テーブルを格納するデータベースと、上記通信制御手段として機能する制御部とを少なくとも備える。
【０００９】
次に、この発明に係る通信方法は、上述のように、所定の伝送手段で接続された複数の端末装置を介して複数種類のメディアによるデータ送受信が行われる通信システムに適した通信方法である。
【００１０】
具体的に、この発明に係る通信方法は、予め登録された前記利用者の対話履歴と該利用者のうち対話中の利用者同士を対応付けた対話状況とを管理テーブルを利用しながら管理し、該管理テーブルを参照しながら、利用者のうち対話が行われる対話グループごとに利用者間でのデータ送受信を制御する一方、所定タイミングで前記利用者の対話相手が切り替わるよう、前記管理テーブルを逐次更新しながら新たな対話グループを再編成していく。
【００１１】
特に、対話中の利用者あるいはそれ以外の利用者からの指示が合った場合、あるいは、一定時間が経過するごとに自動的に、該対話中の利用者の対話相手を切り替える。また、一定時間経過するごとに自動的に対話相手を切替える場合、対話中の利用者の対話相手として、対話を行ったことのない利用者を、上記管理テーブルに記録された利用者の対話履歴を参照して決定するのが好ましい。
【００１２】
上述のような通信方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、DVD、フラッシュメモリ等の記録媒体に格納されていてもよい。
【００１３】
【発明の実施の形態】
以下、この発明に係るテレビ会議システム等の各実施形態について、図１〜図１１を用いて詳細に説明する。なお、図面の説明において、同一部位には同一符号を付して重複する説明を省略する。
【００１４】
図１は、この発明に係るテレビ会議システムの概略構成を示す図である。特に、図１（ａ）に示されたように、この発明に係るテレビ会議システムは、所定の伝送手段２７で接続された複数の端末装置を介して複数種類のメディア、例えば端末利用者３Ａ〜３Ｃの映像、音声、スライド画像、テキストデータ、あるいはこれらの合成データなどによるデータ送受信が行われる多点接続型の双方向対話型システムを含み、複数の端末装置を介して行われる多人数による遠隔地対話においても、スムーズな対話進行を可能にする構造を備える。
【００１５】
この発明に係るテレビ会議システムは、上述のように参加者ごとに異なる情報を配信する通信制御手段としてサーバ２００を備える。このサーバ２００は、情報を会議参加者のうち共通の議題について対話する組を管理するための管理テーブル２５０を備える。特に、管理テーブル２５０は、会議参加者として予め登録された、複数の端末装置それぞれの利用者３Ａ〜３Cの対話履歴とともに、該利用者３Ａ〜３Cのうち対話中の利用者同士を対応付けた対話状況とを管理することで、例えば利用者３Ａ〜３Ｃのうち利用者３Ａ、３Ｂ間の双方向対話を個別にサポートする。なお、上述のような構造を備えたテレビ会議システムは会議参加者が利用する複数の端末装置を含むが、上記通信制御手段は、上述のように所定の伝送手段２７上にデータ配信用として別途用意されたサーバ２００であっても、各利用者の端末装置のいずれかであってもよい。
【００１６】
上述のようなテレビ会議システムの適用例としては、図１（ｂ）に示されたように、伝送手段２７を介して互いに接続された複数の端末装置のうち特定対話グループに区分される端末装置２０Ａ、２０Ｂ間での対話をファシリテーター２０（サーバー２００を含む）が一括管理するエンカウンターがある。このエンカウンターには、種々の実施形態があるが、会議参加者それぞれに自由に対話させる非構成的エンカウンター（ベーシックエンカウンター）や、ある程度質問事項や対話テーマを限定して対話グループごとに対話を進める構成的エンカウンターが代表的である。構成的エンカウンターの場合、エンカウンターの進行は援助者（ファシリテーター）２０により行われ、該ファシリテーターが課題をプログラムして進めることになる。
【００１７】
特に、この発明に係るテレビ会議システム及び通信方法は、伝送手段２７を介して接続された端末装置間での遠隔地対話を実現する、例えば特許第３０７４６７７号に記載された双方向対話型システムが適応可能であり、特定利用者間（例えば、図１（ａ）における利用者３Ａと利用者３Ｂ）での視線一致を可能にする多点接続型の双方向対話型システムに適している。
【００１８】
まず、ここでは、当該テレビ会議システムに適用される双方向対話型システムについて説明する。なお、この双方向対話型システムは、視線一致した状態での一対一を基本とした遠隔地対話を実現するシステムであるが、対話者間で視線一致できない構成であって単にテキストデータや画像データの送受信が可能な双方向対話型システムにも適応可能である。
【００１９】
図２は、遠隔地に居る対話者間の視線一致を可能にする双方向対話型システム全体を示す論理構成図である。このシステムは、Ａ地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる対話者３Ｂ（第２対話者）との間で双方向対話を実現するシステムである。特に、このシステムは遠隔地にいる対話者間でも親密な信頼関係を確立し綿密なコミュニケーションを実現するカウンセリング・システムや家庭学習に適したシステムであり、少なくとも一方の対話者として、教師、医師、心理学者などのカウンセラや会議全体を指導するファシリテーターが想定できる。したがって、このシステムはこれらカウンセラがカウンセリングを行うために必要な情報、及び理想的なカウンセリング環境を提供できるよう種々の機能及び構成を備える。
【００２０】
具体的には、Ａ地点において、（ａ）対話者３Ａ（例えはカウンセラ）が座る椅子４Ａ（高さ調節機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ａとが設置され、対話者３Ａはパーティション２２Ａによって隔離されている。一方、Ｂ地点には、（ａ）対話者３Ｂ（例えばカウンセリングを受けるクライアント）が座る椅子４Ｂ（高さ調節機構４０Ｂを有する）と、（ｂ）対話者３Ｂが向かうテーブル２Ｂと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ｂとが設置され、対話者３Ｂはパーティション２２Ｂにより隔離されている。ここで、伝送手段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で画像情報及び音声情報の送受信を可能にするため、光ファイバ伝送路３１（主伝送路）及び衛星通信伝送路３２（バックアップ用伝送路）等を含む。なお、この伝送手段２７は有線、無線のいずれであってもよい。また、伝送手段は、既に敷設された電話回線網等のネットワークを含み、さらに種々のデータベースを備えた電子掲示板システム（BBS: Bulletin Board System）も含む。
【００２１】
Ａ地点において、上述の椅子４Ａは対話者３Ａの位置を規定するために機能する。この椅子４Ａは端末装置２０Ａの表示部２１Ａとの距離を一定に保つために固定されるのが好ましい。しかし、該椅子４Ａが固定されていない場合であっても、テーブル２Ａを対話者３Ａと表示部２１Ａに設置することによりこの椅子４Ａと表示部２１Ａとの距離を一定に保つことが可能になる（テーブル２Ａの存在が対話者３Ａの心理的な距離の基準となる事実が確認されている）。なお、相手側の対話者３Ｂ（例えば、カウンセリングを受ける者等）がいるＢ地点の端末装置２０Ｂの構成も同様である。
【００２２】
Ａ地点において、端末装置２０Ａは、(1)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた画像情報に基づいて対話者３Ｂの映像などを表示する、テーブル２Ａの上に配置された、モニタＴＶ１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ５Ａで撮像された対話者３Ａの映像を画像情報として取り込み、Ｂ地点の端末装置２０Ｂへ向けて伝送するための撮像ユニット６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた音声情報に基づいて対話者３Ｂの音声を出力するための音声出力部２３Ａ（スピーカ）と、(4)対話者３Ａの音声を音声情報として集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するための音声入力部２４Ａ（マイク）を備える。さらに、このシステムはカウンセリング・システムとしてより綿密なコミュニケーションを実現するため、(5)対話者３Ａが文字や図形を入力し、入力された文字や図形を表示部２１Ａに表示するとともに、文字図形情報としてＢ地点の端末装置２０Ｂへ向けて伝送するための文字図形入力部２５Ａ（キーボード、ポインティング・デバイス、タッチパネルなどのインターフェース）と、(6)上記各構成要素と伝送手段２７との間に設けられ、信号処理、伝送制御及び映像データの編集作業等を行う映像処理装置２６Ａ（制御部含む）とを備える。なお、Ｂ地点の端末装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様に構成されており、具体的には、表示部２１Ｂ、ＣＣＤカメラ５Ｂと撮像ユニット６Ｂからなる撮像装置６００Ｂ、音声出力部２３Ｂ、音声入力部２４Ｂ、文字図形入力部２５Ｂ、及び映像処理装置２６Ｂを備える。
【００２３】
さらに、Ａ地点及びＢ地点の端末装置２０Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂ（撮像手段）の構成を説明する。なお、説明の都合上、Ａ地点及びＢ地点の各端末装置２０Ａ、２０Ｂに共通する構成要素について言及する場合には、例えば撮像装置６００のように、各地点を区別する文字Ａ、Ｂを省略して説明する。また、特に説明がされていない場合には、原則としてＡ地点の端末装置２０Ａについて説明しているものとして、共通する構成を有するＢ地点の端末装置２０Ｂについては重複する説明は省略する。
【００２４】
この撮像装置６００は、撮像部である超小型ＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持した状態で所定位置に設置するための支持機構１０（図３参照）、及び該ＣＣＤカメラ５を制御するための撮像ユニット６（６Ａ）とを備える。モニタＴＶ１（１Ａ）はテーブル２（２Ａ）の上に載置されており、対話者３（３Ａ）はこのモニタＴＶ１から距離Ｌ（ｍ）離れて置かれた高さ調整機構４０（４０Ａ）を備えた椅子４（４Ａ）に座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上５ｍ以下に設定される。撮影される対話者３及びモニタＴＶ１間には、外径φ２０ｍｍ以下，長さ約１００ｍｍの円筒状の超小型ＣＣＤカメラ５が設けられている。また、このＣＣＤカメラ５はその撮像方向が撮影される対話者３に向けられるよう設置されている。そしてカメラ５で撮像された対話者３の映像は、画像情報として撮像ユニット６から他方の対話者側に伝送される（伝送手段２７を介してＢ地点の端末装置２０Ｂに伝送される）。なお、対話者によっては表示部２１と該対話者間の間隔が弱冠ずれる可能性もある。したがって、このような状況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いものを選択するのが好ましい。
【００２５】
次に、超小型ＣＣＤカメラ５の具体的な設置位置を図３を用いて説明する。
【００２６】
まず、撮像装置６００の撮像ユニット６は伝送されてきた他方の対話者の映像を表示するための表示部２１上に設置される。この撮像ユニット６本体にはカメラ５によって撮影された対話者自身の映像（カメラケーブル５０を介して撮像ユニット６に取り込まれる）の表示と、伝送されてきた他方の対話者３Ｂの映像の表示を切り換えるための、切り換えスイッチ６ａの他、種々の調節用スイッチ６ｂが設けられている。なお、スイッチ２１０はモニタＴＶ１の電源をオン／オフする電源スイッチ等を含む。ＣＣＤカメラ５は、伝送されてきた他方の対話者３Ｂの像９が表示されるモニタ画面８の前方の所定位置に支持機構１０（ロボット・アーム）によって設置される。なお、このモニタ画面８は４インチ程度であれば十分に利用できる。
【００２７】
具体的には、ＣＣＤカメラ５はモニタ画面８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８に表示された対話者像９の頭部９ａ付近に配置される。円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像９の目の位置の上方ｈ（ｃｍ）の部位に位置している。
【００２８】
このように超小型のＣＣＤカメラ５は、大型モニタＴＶ１の画面８に表示された対話者像９の目の位置より上の頭部付近に位置しているため、双方向対話に特別な支障は生じない。例えば、ＣＣＤカメラ５が画面８に表示された対話者像９の目の位置（図中、点線で示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニタＴＶ１および対話者３間の距離Ｌが約２．５（ｍ）に設定されているシステム構成の場合、視差角は２．３°で十分検知限界の視差角３°を下回ることが可能である（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃｍ）程度ある場合でも、視差角の変動には特に影響はない）。つまり、視線一致時に相手の目（モニタ画面８に表示された他方の対話者３Ｂの像の目）がはっきりと見えれば、その頭部辺りに超小型のカメラ５が設けてあっても、モニタＴＶ１の画面８が大型であれば、双方向対話に支障はほとんどないことが確認されている。この画面８の大きさは、実験の結果、横３５ｃｍ，縦２６ｃｍ程度以上の大きさがあれば良好な双方向対話が実現できることも確認されている。なお、相互の対話者が知人同志であれば、画面の大きさは小さくとも心理的な障害も少ない傾向を示す結果も得られており、画面サイズに関しては用途に応じて使いわけるとよい。
【００２９】
さらに、視差角について、図４を用いて説明する。この明細書において、視差角とは、図４に示されたように、モニタ画面８に表示された対話者像９へ向けられた、撮影される対話者３の視線と、ＣＣＤカメラ５へ向けられた、該対話者３の視線とがなす角度θを言う。換言すれば、対話者３の視線に対するＣＣＤカメラ５の設置位置のずれ角を意味している。また、ここでいう視線一致とは、昭和４２年電気四学会連合大会（Ｎｏ．１９９８）で報告されているように、ＣＣＤカメラ５の設置位置による不自然さの許容限界以下を意味している。定量的には、視差角として、左右方向４．５°以下（対話者像９の目の中心Ａに対し、該像９の両こめかみ側），真上方向１２°（像中心Ａに対し、像９の頭部９ｂ側），真下方向８°（像中心Ａに対し、像９の胴体側）以下を視線一致範囲内としている。もちろん、この視差角は小さい方が良く、左右上下方向３°以下が検知限界とされている。したがって、ＣＣＤカメラ５が設置可能な領域は、図５に示された円錐領域である。なお、この円錐領域は、対話者３の目３０とモニタ画面８に表示された対話者像９の中心点Ａ（この実施形態では、対話者像９の両目の中心を該対話者像９の中心点Ａとして定義している）とを結ぶ該対話者３の視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致領域９ｂ、及び、該対話者３の目３０の位置とで規定される。
【００３０】
なお、モニタ画面８上に表示される対話者像９のサイズが小さい場合には、必ずしも該ＣＣＤカメラ５と対話者像９の頭部が重なっている必要はない。むしろ対話者９の頭部がＣＣＤカメラ５に隠れてしまい見にくくなる。上述のように視線一致の条件は視差角３°の領域内にＣＣＤカメラ５と対話者像９の目が存在することであり、具体的に画面から５０ｃｍ離れた位置で約３ｃｍ程度（図２におけるｈ）である。したがって、この範囲内であればＣＣＤカメラ５と対話者像９の頭部をずらしても視線一致状態は維持される。この対話者像９とＣＣＤカメラ５をずらすには、例えばモニタ画面８上における画像表示位置を調節したり、ＣＣＤカメラ５の支持部を調節してＣＣＤカメラ5自体の位置を変更することにより実現される。
【００３１】
図６は、この発明に係る端末装置の概略構成を示す図である。この端末装置は、モニタ等の表示部２１（図２に示された双方向対話型システムにおける表示部２１Ａ、２１Ｂに相当）と、映像処理部２６（図２に示された双方向対話型システムにおける映像処理装置２６Ａ、２６Ｂに相当）と、外部記録装置７００と、マウス等のポインティングデバイス９００と、表示部２１の前方に位置する対話者を撮像するＣＣＤカメラ５等の撮像部及び撮像ユニット６からなる撮像装置６００、会議参加者の音声を出力するためのスピーカー９１０とを備える。上記映像処理部２６は、撮像手段に含まれる撮像ユニット６からの画像情報や他の情報メディアの取り込みや伝送手段２７を介して相手側対話者の画像情報の送受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、制御部２６３、送受信される画像情報の他、予め対話者自身が用意した文字データ、映像データ等を格納しておくためのデータベース２６２（図中、Ｄ／Ｂ）、表示部２１へ制御手段２６３の指示に従って所定のパターンを表示させる描画部２６４と、マウス等のポインティングデバイス９００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）、スピーカー９１０から出力される音声データを生成する音源コントローラ２６６とを備える。なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含む。
【００３２】
なお、当該端末装置がサーバ２００として機能する場合、上記制御部２６３がこの発明に係る通信方法を実現するための通信制御手段として機能し、管理テーブル２５０は、Ｄ／Ｂ２６２に格納される。
【００３３】
以下、図２に示されたテレビ会議システムによる通信方法の具体例として、遠隔地間で行われるテレエンカウンターを例に説明する。なお、各参加者の端末装置間の構成は図２に示された双方向対話型システムと同様である。
【００３４】
このテレエンカウンターは、図１（ｂ）に示された接続状態で、まず、ファシリテーター２０から各端末装置２０Ａ、２０ｂに対して、エクササイズやルールについての説明が行われる。このとき、会議参加者の端末装置では、図７（ａ）に示されたように、表示部２１のモニタ画面８上に、ファシリテーター２０の映像ウィンドウ８００ａが視線一致可能な状態で表示されるとともに、ファシリテーター２０に関する情報カードが表示される。一方、ファシリテーター２０の端末装置では、図７（ｂ）に示されたように、表示部２１のモニタ画面８上に会議参加者の各映像ウィンドウ８１０ａが表示される。このとき、各会議参加者と視線一致可能にするため、ウィンドウごとにＣＣＤカメラが配置されてもよく、また、参加人数が多い場合には、参加者映像の代えて名前を表示する情報カード８２０がモニタ画面８上に表示されてもよい。
【００３５】
次に、ファシリテーター２０は、図８（ａ）に示されたように、自動的に２名の対話グループをそれぞれ選択し、これら対話グループの組み合わせ情報を管理テーブル２５０へ記録する。なお、ファシリテーター２０による自動選択は、全くランダムであってもよく、また、血液型、出身地等、何らかの条件を満たす参加者同士が１つの対話グループを構成するよう選択（編成）されてもよい。
【００３６】
上述のようにファシリテーター２０により１つの対話グループとして選択された参加者同士は、一定時間、図２に示された構造を有する双方向対話型システムを利用して対話を行う。この対話時には、ファシリテーター２０から各会議参加者に対して予め用意された質問事項やテーマ項目が提供される。また、この対話時には、１つの対話グループに所属することになった各参加者の映像データの送受信だけでなく、参加者がキーボード等を介して入力したコメント（テキスト情報）も対話データとして送受信される。このような対話中に入力されたコメント内容も、該コメントを入力した参加者を特定する氏名、ニックネームなどとともに対話終了時にファシリテーター２０側のＤ／Ｂ２６２に記録される。また、ファシリテーター２０は、各対話グループにおける対話状況をリアルタイムで観察しているため、対話の進行状況によっては、任意の対話グループに対して強制的にアナウンスをモニタ画面８上に表示させたり、あるいはスピーカー９１０ａ、９１０ｂからファシリテーター２０の音声を出力させるようにしてもよい。
【００３７】
続いて、ファシリテーター２０は、この対話を、例えば３分〜５分間で一旦打ち切り、図８（ｂ）に示されたように、新たな組合わせになるよう対話相手を自動的に切替える。このような対話相手の切替えは、対話中参加者にとっては対話環境が突然変化することになるため、予め各参加者側端末装置のモニタ画面８上に対話終了のカウントダウンが表示されたり、効果音等がスピーカー９１０から出力されるよう構成しておくことにより、各会議参加者の対話環境の変化に対する準備が可能になる。また、対話相手の切替え時に、参加者全員に対して、少なくとも共通の音楽等の聴覚情報や、文字、図名等の視覚情報を提供するようにしてもよい。
【００３８】
なお、ファシリテーター２０の選択により１つの対話グループに所属することとなった参加者間での対話では、各参加者の映像、音声の他、図９に示されたように、各参加者の情報カードがモニタ画面８上に表示されるのが、話題が提供され好ましい。この情報カードは、ファシリテーター２０の指示により、各参加者が予め入力しておくのがよい。また、入力自体を各参加者が行い、質問事項のみをモニタ画面８上に表示させておいてもよい。さらい、各参加者の情報カードには、参加者固有のＢＧＭや映像がリンクされていてもよく、参加者全員に同じ該ＢＧＭや映像が配信されるようにしてもよい。この実施形態では、対話相手の切替えは、ファシリテーター２０側（サーバー２００）が一定時間ごとに自動的に行っているが、各参加者ごとに用意される情報カードを事前に選択することにより、参加者自身が次の対話相手を選択してもよい。
【００３９】
図９（ａ）には、１つの対話グループに所属することとなった相手側参加者の自己紹介画面を示す図であり、表示部２１のモニタ画面８上には、対話相手となった「山本」さんの視線一致した状態での映像ウィンドウ８００ｂ、該「山本」さんの情報カード８３０（この情報カード８３０には、予め撮影されＤ／Ｂ２６２に格納されていた「山本」さんの静止画像も表示される）、そして、キーボードなどを介してのコメント入力を行うコメントカード８４０が表示されている。図９（ｂ）には、対話相手が所定時間経過して「山本」さんから「鈴木」さんに切替えられたときのモニタ画面８を示す図である。このとき、モニタ画面８上には新たな対話相手である「鈴木」さんの視線一致した状態での映像ウィンドウ８００ｃ及びコメントカード８４０とともに、「山本」さんの情報カードに重ねて新たに「鈴木」さんの情報カード８３０が表示される。この「鈴木」さんの情報カードにも予め撮影されＤ／Ｂ２６２に格納されていた「鈴木」さんの静止画像が表示される。コメントカード８４０は、新しく入手した情報などを状況に応じて書き込みに利用すれば、記録データとしても有効に活用できる。上記情報カード８３０の内容は、基本的に公開データであるのに対し、コメントカード８４０の内容は非公開データとする。これら情報カード８３０及びコメントカード８４０の各内容はペアとなって各参加者に対応付けられた状対でＤ／Ｂ２６２に格納される。公開データである情報カード８３０は、文字情報が中心であるが、本人の顔写真（静止画像）やＣＭなどの動画像、好きな音楽（ＢＧＭ）などがリンクされていれば、より個性的な対話演出が可能になる。これらマルチメディアを組み合わせることにより、従来のエンカウンターにはない対話演出効果や、データ蓄積、検索の便が向上する。
【００４０】
ファシリテーター２０が各対話グループの対話に介入する場合、各参加者側の端末装置では、図１０（Ａ）に示されたように、表示部２１のモニタ画面８上にファシリテーター２０の映像ウィンドウ８００ａとともに、指示カード８５０が優先的に表示される。特に、現在行われているエクササイズを終了するときや、新しいエクササイズに移行するときには、このようにファシリテーター２０の対話介入が必要になる場合が多い。
【００４１】
通常、エンカウンターでは、２人一組での対話がある程度進行すると、次の段階として、４人一組による対話に進む。このとき、既に出会った２人の一方を新たに対話に参加する２人（管理テーブル２５０を参照して、ファシリテーター２０側の制御部２６３対話履歴や個人情報などの条件から選択する）に紹介する他者紹介もエンカウンターに取り入れられている。図１０（ｂ）は、このように、対話中の一方の参加者が新たな参加者に他者紹介を行うときのモニタ画面８を示す図である。このような他者紹介では、直接対話相手となる参加者との間で視線一致した状態を維持するのが好ましい。そのため、各参加者と個別に視線一致できるようＣＣＤカメラを所定位置にそれぞれ配置しておくのが、新たに編成された対話グループでの対話進行をスムーズに行えることからより好ましい。このように既に出会った２人（対話中）と新たな２人との出会い（再編成）を行うには、コンピュータ検索と割り当てが極めて有効である。また、対話グループを構成する２人の出会いや新たにこの対話グループに参加する２人を含めた合計４人の出会いに関しても、時間があればさらに多くの参加組を増やすことができ、このような対話グループの再編成もコンピュータで行えば、より効率的に行える。図１１は、６人での対話を行う場合の、モニタ画面８を示す図であり、このモニタ画面８上には、同じ組となった５人の対話相手の映像ウィンドウ８１０ａと、各対話相手のデータボード８６０が表示される。なお、この場合も、各対話相手それぞれと視線一致状態を可能にするよう、ＣＣＤカメラそれぞれが所望の位置に配置されてもよい。
【００４２】
特に、エンカウンターへの参加者が数百人を超えるような場合、同じ部屋でも移動の問題、椅子の確保、隣グループの話し声（ノイズ）などの問題を解決する必要があるが、所定の伝送手段を介して接続された複数の端末装置間で行われるテレエンカウンターでは、所望の組み合わせで、他の組の存在を意識することなく容易に対話空間を提供することができる。特に、上述の情報カードとＢＧＭとをリンクさせることにより、各参加者自身の好きな曲、ＢＧＭをその場で出力できるため、参加者はより強烈な個性を表すことができる。
【００４３】
【発明の効果】
以上のようにこの発明によれば、会議参加者の対話状況を管理テーブルにより管理し、１つの対話グループに所属するようになった参加者間に種々のデータを提供できるように構成したので、複数の端末装置を介して行われる多人数によるエンカウンターなどの特殊な遠隔地対話の実施が可能になるという効果がある。
【図面の簡単な説明】
【図１】この発明に係るテレビ会議システムの概略構成を示す図である。
【図２】遠隔地間において伝送手段を介して視線一致を実現する双方向対話型システムの一構成を示す図である。
【図３】図２に示された撮像装置を示す図であって、視線一致のためのＣＣＤカメラの設置方法を説明するための図である。
【図４】視差角を説明するための図である。
【図５】ＣＣＤカメラが設置されるべき領域を示す図である。
【図６】この発明に係るテレビ会議システムにおける端末装置の構成を示すブロック図である。
【図７】この発明に係るテレビ会議システムにおいて、ファシリテーター側端末装置及び参加者側端末装置の各モニタ画面の一例を示す図である。
【図８】この発明に係るテレビ会議システムにおいて、対話者切替え動作を説明するための図である。
【図９】この発明に係るテレビ会議システムにおいて、対話を行っている参加者側端末装置の各モニタ画面の一例を示す図である。
【図１０】この発明に係るテレビ会議システムにおいて、ファシリテーターの対話介入時におけるモニタ画面及び他者紹介時の参加者側端末装置のモニタ画面の一例を示す図である。
【図１１】この発明に係るテレビ会議システムにおける各参加者側端末装置のマルチウィンドウ表示の一例を示す図である。
【符号の説明】
８…モニタ画面、２１（２１Ａ、２１Ｂ）…表示部、３（３Ａ、３Ｂ）…対話者Ａ、Ｂ、５（５Ａ、５Ｂ）…ＣＣＤカメラ、６（６Ａ、６Ｂ）…撮像ユニット、６００（６００Ａ、６００Ｂ）…撮像装置、２６（２６Ａ、２６Ｂ）…映像処理装置、２００…サーバ、２５０…管理テーブル、２６２…Ｄ／Ｂ、２６３…制御部、２６６…音源コントローラ、９００…マウス（ポインティング・デバイス）、９１０…スピーカー。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to each conversation group that is sequentially organized at a predetermined timing by performing data transmission / reception with a plurality of types of media for each terminal apparatus selected as a conversation partner among a plurality of terminal apparatuses connected by a predetermined transmission means. In particular, the present invention relates to a video conferencing system and the like that individually realize two-way dialogue.
[0002]
[Prior art]
Conventionally, in the field of counseling, an encounter group is known that maintains the exchange of real intention and real intention among counseling participants for a certain period, for example, several hours to several weeks. This encounter aims to promote the personal growth of each participant, and the behavior of each participant is changed through a group learning experience. In addition, group encounters organized by arbitrarily organized dialogue groups are promoted by an assistant (facilitator), and the facilitator programs the tasks and participates in the structured group encounter. There is a non-structural group encounter (basic encounter) that is decided by the person himself. In any encounter, through self-interest, such as emotional exchange and sharing of a unique inner world, self-understanding and understanding of others are deepened, and self-growth and trust are formed.
[0003]
[Problems to be solved by the invention]
As a result of examining the conventional group encounter, the inventor has found the following problems. In other words, structured group encounters have been proposed as encounters that can be easily implemented in a short time for each arbitrarily organized dialogue group, but there are financial and time constraints when participating from rural areas. Therefore, in actual implementation of the encounter, it was necessary to overcome such geographical constraints first.
[0004]
In addition, as the number of people participating in the encounter increases, a larger holding space must be secured. For example, in an encounter where hundreds of people participate, the venue is limited to places such as gymnasiums and auditoriums. There was a problem that it could not be implemented without it.
[0005]
The present invention has been made to solve the above-described problems, and is a video conference system that enables a special remote location dialogue such as an encounter by a large number of people to be performed via a plurality of terminal devices, It is an object to provide a communication method, a computer program for executing the communication method, and a recording medium on which the computer program is recorded.
[0006]
[Means for Solving the Problems]
The video conference system according to the present invention realizes interactive dialogue through a plurality of terminal devices connected by predetermined transmission means. In particular, the video conference system includes a management table for managing the conversation status of each conference participant, and communication control means. The above management table manages the conversation history of the users of each of the plurality of terminal devices registered in advance as conference participants and the conversation status in which the users who are interacting among the users are associated with each other. The communication control means controls the data transmission / reception between the users for each group in which the conversation is performed among the terminal users while referring to the management table, while the conversation partner of the user is switched at a predetermined timing. Then, the group of users who interact with each other among the users is reorganized while sequentially updating the management table.
[0007]
In particular, with respect to the organization of a group of users (dialog groups) who perform dialogue, the communication control means automatically follows the instructions from the user during dialogue or other users, or every time a certain time elapses. In addition, the conversation partner of the user during the conversation is switched, and the conversation status of the management table is updated. When the conversation partner is automatically switched every time a certain period of time elapses, the communication control means records, in the management table, the user who has not had a conversation as the conversation partner of the user during the conversation. It is determined with reference to the user's dialogue history.
[0008]
The video conference system having the above-described structure includes a plurality of terminal devices. However, the communication control unit may be a server separately prepared for data distribution on a predetermined transmission unit. Any of the terminal devices may function as communication control means. In particular, the terminal device according to the present invention includes at least a database that stores the management table and a control unit that functions as the communication control unit.
[0009]
Next, the communication method according to the present invention is a communication method suitable for a communication system in which data transmission / reception is performed using a plurality of types of media via a plurality of terminal devices connected by predetermined transmission means as described above. .
[0010]
Specifically, the communication method according to the present invention manages the dialogue history of the user registered in advance and the dialogue state in which the users who are talking among the users are associated with each other using a management table. The management table is controlled so that the user's conversation partner is switched at a predetermined timing while controlling the data transmission / reception between the users for each conversation group in which the conversation is performed among the users while referring to the management table. Reorganize new dialogue groups while updating them sequentially.
[0011]
In particular, when an instruction is received from the user during the conversation or from other users or when a certain time elapses, the conversation partner of the user during the conversation is automatically switched. In addition, when the conversation partner is automatically switched every time a certain period of time elapses, the user's conversation history recorded in the management table is a user who has not had a conversation as the conversation partner of the user during the conversation. Is preferably determined with reference to FIG.
[0012]
The communication method as described above may be a program executed by a computer or the like. In this case, the program may be distributed via a network regardless of wired or wireless, and a CD, DVD, It may be stored in a recording medium such as a flash memory.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the video conference system and the like according to the present invention will be described in detail with reference to FIGS. In the description of the drawings, the same portions are denoted by the same reference numerals and redundant description is omitted.
[0014]
FIG. 1 is a diagram showing a schematic configuration of a video conference system according to the present invention. In particular, as shown in FIG. 1 (a), the video conference system according to the present invention has a plurality of types of media such as terminal users 3A to 3A through a plurality of terminal devices connected by a predetermined transmission means 27. This includes a multipoint connection type interactive interactive system in which data transmission / reception is performed using 3C video, audio, slide images, text data, or composite data thereof, and is remotely performed by a large number of people via a plurality of terminal devices. A structure that allows smooth dialogue progress even in local dialogues.
[0015]
The video conference system according to the present invention includes the server 200 as communication control means for distributing different information for each participant as described above. The server 200 includes a management table 250 for managing a group that interacts with information on a common agenda among conference participants. In particular, the management table 250 associates the users 3A to 3C who are in conversation with each other together with the conversation histories of the users 3A to 3C of each of the plurality of terminal devices registered in advance as conference participants. By managing the dialogue status, for example, among the users 3A to 3C, the interactive dialogue between the users 3A and 3B is individually supported. Note that the video conference system having the above-described structure includes a plurality of terminal devices used by conference participants, but the communication control means is separately provided for data distribution on the predetermined transmission means 27 as described above. Even the prepared server 200 may be one of the terminal devices of each user.
[0016]
As an application example of the video conference system as described above, as shown in FIG. 1 (b), terminal devices classified into specific dialogue groups among a plurality of terminal devices connected to each other via the transmission means 27. There is an encounter where the facilitator 20 (including the server 200) collectively manages the dialogue between 20A and 20B. There are various embodiments of this encounter, but there is an unstructured encounter (basic encounter) that allows each participant to freely interact with each other. A structured encounter is a typical example. In the case of a structured encounter, the progress of the encounter is performed by an assistant 20 (facilitator), and the facilitator programs the task and proceeds.
[0017]
In particular, the video conference system and the communication method according to the present invention provide a two-way interactive system described in, for example, Japanese Patent No. 3074677, which realizes remote conversation between terminal devices connected via the transmission means 27. It is adaptable, and is suitable for a multipoint connection type interactive interactive system that enables line-of-sight matching between specific users (for example, user 3A and user 3B in FIG. 1A).
[0018]
First, here, a bidirectional interactive system applied to the video conference system will be described. Note that this interactive interactive system is a system that realizes a remote conversation based on a one-to-one basis with a line-of-sight match, but is configured so that the line-of-sight cannot be matched between the interlocutors and is simply text data or image data. It is also applicable to a two-way interactive system that can send and receive.
[0019]
FIG. 2 is a logical configuration diagram showing the whole interactive interactive system that enables line-of-sight matching between interlocutors in remote locations. This system realizes a two-way dialogue between a conversation person 3A (first conversation person) at point A (first place) and a conversation person 3B (second conversation person) at point B (second place). System. In particular, this system is a counseling system that establishes an intimate relationship of trust between interlocutors in remote locations and realizes intimate communication and a system suitable for home learning. Counselors such as psychologists and facilitators who guide the entire meeting can be envisaged. Therefore, this system has various functions and configurations so that these counselors can provide information necessary for counseling and an ideal counseling environment.
[0020]
Specifically, at point A, (a) a chair 4A (having a height adjustment mechanism 40A) on which a conversation person 3A (for example, a counselor) sits, (b) a table 2A toward which the conversation person 3A faces, (c) A terminal device 20A having a mechanism for matching the line of sight between the interlocutors via the transmission means 27 is installed, and the interlocutor 3A is isolated by the partition 22A. On the other hand, at point B, (a) a chair 4B (having a height adjustment mechanism 40B) on which a conversation person 3B (for example, a client who receives counseling) sits, (b) a table 2B to which the conversation person 3B faces, (c) A terminal device 20B having a mechanism for matching the line of sight between the interlocutors via the transmission means 27 is installed, and the interlocutor 3B is isolated by the partition 22B. Here, in order to enable transmission and reception of image information and audio information between the terminal device 20A at the point A and the terminal device 20B at the point B, the transmission unit 27 is configured to use an optical fiber transmission line 31 (main transmission line) and a satellite. A communication transmission path 32 (backup transmission path) and the like are included. The transmission means 27 may be either wired or wireless. The transmission means includes a network such as a telephone line network that has already been laid, and further includes an electronic bulletin board system (BBS: Bulletin Board System) provided with various databases.
[0021]
At point A, the above-described chair 4A functions to define the position of the interlocutor 3A. The chair 4A is preferably fixed in order to keep the distance from the display unit 21A of the terminal device 20A constant. However, even if the chair 4A is not fixed, the distance between the chair 4A and the display unit 21A can be kept constant by installing the table 2A on the conversation person 3A and the display unit 21A. (It has been confirmed that the presence of the table 2A is a reference for the psychological distance of the interlocutor 3A). The configuration of the terminal device 20B at the point B where the other party's dialogue person 3B (for example, a person who receives counseling, etc.) is also the same.
[0022]
At the point A, the terminal device 20A is arranged on the table 2A, which displays (1) the video of the conversation person 3B based on the image information transmitted from the terminal device 20B at the point B via the transmission means 27. The display unit 21A provided with the monitor TV 1A, and (2) an imaging unit 6A for capturing the image of the conversation person 3A imaged by the CCD camera 5A as image information and transmitting it to the terminal device 20B at the point B (3) a voice output unit 23A (speaker) for outputting the voice of the conversation person 3B based on the voice information transmitted from the terminal device 20B at the point B via the transmission means 27; A voice input unit 24A (microphone) for collecting the voice of the person 3A as voice information and transmitting it to the terminal device 20B at the point B is provided. Furthermore, in order to realize more detailed communication as a counseling system, this system (5) Dialogue 3A inputs characters and figures, and displays the input characters and figures on the display unit 21A, and also character and graphic information. 25A (interfaces such as a keyboard, pointing device, and touch panel) for transmission toward the terminal device 20B at the point B, and (6) provided between each of the above components and the transmission means 27. A video processing device 26A (including a control unit) that performs signal processing, transmission control, video data editing work, and the like. The terminal device 20B at the point B is configured in the same manner as the terminal device 20A at the point A described above. Specifically, the imaging device 600B including the display unit 21B, the CCD camera 5B, and the imaging unit 6B, an audio output Unit 23B, audio input unit 24B, character / graphic input unit 25B, and video processing device 26B.
[0023]
Further, the configuration of the imaging devices 600A and 600B (imaging means) in the terminal devices 20A and 20B at the points A and B will be described. For convenience of explanation, when referring to components common to the terminal devices 20A and 20B at the points A and B, the characters A and B for distinguishing the points are omitted as in the imaging device 600, for example. To explain. Further, unless otherwise explained, it is assumed that the terminal device 20A at the point A is described as a general rule, and the overlapping description of the terminal device 20B at the point B having a common configuration is omitted.
[0024]
The imaging apparatus 600 includes an ultra-small CCD camera 5 (5A) as an imaging unit, a support mechanism 10 (see FIG. 3) for installing the CCD camera 5 at a predetermined position in a supported state, and the CCD camera 5 And an imaging unit 6 (6A) for control. The monitor TV1 (1A) is placed on the table 2 (2A), and the conversation person 3 (3A) uses the height adjusting mechanism 40 (40A) placed at a distance L (m) from the monitor TV1. Sitting in the provided chair 4 (4A). This distance L (LA) is set to 0.5 m or more and 5 m or less. A cylindrical ultra-small CCD camera 5 having an outer diameter of 20 mm or less and a length of about 100 mm is provided between the conversation person 3 to be photographed and the monitor TV 1. Further, the CCD camera 5 is installed so that its imaging direction is directed to the conversation person 3 to be photographed. The video of the conversation person 3 captured by the camera 5 is transmitted as image information from the image capturing unit 6 to the other conversation person side (transmitted to the terminal device 20B at the point B via the transmission means 27). Depending on the interlocutor, the interval between the display unit 21 and the interlocutor may be slightly different. Accordingly, in order to cope with such a situation, it is preferable to select a CCD camera 5 having a deep focal depth.
[0025]
Next, the specific installation position of the micro CCD camera 5 will be described with reference to FIG.
[0026]
First, the imaging unit 6 of the imaging apparatus 600 is installed on the display unit 21 for displaying the transmitted image of the other conversation person. The main body of the image pickup unit 6 displays a display of the conversation person's own image captured by the camera 5 (taken into the image pickup unit 6 via the camera cable 50) and a display of the transmitted image of the other conversation person 3B. In addition to the changeover switch 6a for switching, various adjustment switches 6b are provided. The switch 210 includes a power switch for turning on / off the power of the monitor TV 1. The CCD camera 5 is installed by a support mechanism 10 (robot arm) at a predetermined position in front of the monitor screen 8 on which the transmitted image 9 of the other conversation person 3B is displayed. The monitor screen 8 can be sufficiently used if it is about 4 inches.
[0027]
Specifically, the CCD camera 5 is disposed at a position w (cm) ahead of the monitor screen 8 and in the vicinity of the head 9 a of the conversation person image 9 displayed on the monitor screen 8. The central axis of the cylindrical CCD camera 5 is located at a position h (cm) above the eye position of the conversation person image 9 indicated by a dotted line.
[0028]
As described above, since the ultra-small CCD camera 5 is located near the head above the eye position of the conversation person image 9 displayed on the screen 8 of the large monitor TV 1, there is no special obstacle to the interactive conversation. Does not occur. For example, the CCD camera 5 is provided at h = about 10 (cm) above the eye position (the position indicated by the dotted line in the figure) of the conversation person image 9 displayed on the screen 8, and between the monitor TV 1 and the conversation person 3. In the case of a system configuration in which the distance L is set to about 2.5 (m), the parallax angle is 2.3 ° and can be well below the parallax angle of 3 ° which is a sufficient detection limit (the monitor screen 8 and the CCD camera). Even if the interval w of 5 is about 10 (cm), there is no particular effect on the variation in the parallax angle). In other words, if the eyes of the other party (the eyes of the image of the other conversation person 3B displayed on the monitor screen 8) can be clearly seen when the line of sight matches, even if the ultra-small camera 5 is provided around the head, the monitor If the screen 8 of the TV 1 is large, it has been confirmed that there is almost no hindrance to the interactive dialogue. As a result of experiments, it has been confirmed that a good interactive dialogue can be realized if the size of the screen 8 is about 35 cm wide and 26 cm long. In addition, if the mutual interlocutors are acquaintances, a result showing a tendency that the screen size is small but there are few psychological obstacles is obtained, and the screen size is preferably used according to the application.
[0029]
Further, the parallax angle will be described with reference to FIG. In this specification, the parallax angle refers to the line of sight of the conversation person 3 to be photographed directed to the conversation person image 9 displayed on the monitor screen 8 and to the CCD camera 5 as shown in FIG. The angle θ formed by the line of sight of the talker 3 is said. In other words, it means a deviation angle of the installation position of the CCD camera 5 with respect to the line of sight of the conversation person 3. Further, the line-of-sight coincidence here means that it is below the allowable limit of unnaturalness due to the installation position of the CCD camera 5, as reported in the Showa 42 Association of Electrical and Industrial Sciences (No. 1998). . Quantitatively, as the parallax angle, the horizontal direction is 4.5 ° or less (with respect to the center A of the eye of the conversation person image 9), and the upward direction is 12 ° (with respect to the image center A). The head portion 9b side of the image 9) and the downward direction of 8 ° (the body side of the image 9 with respect to the image center A) are within the line-of-sight matching range. Of course, this parallax angle should be small, and the detection limit is 3 ° or less in the horizontal and vertical directions. Therefore, the area where the CCD camera 5 can be installed is the conical area shown in FIG. In addition, this conical area | region is the center point A of the conversation person image 9 displayed on the eye 30 of the conversation person 3 and the monitor screen 8 (in this embodiment, the center of both eyes of the conversation person image 9 of this conversation person image 9). The line-of-sight matching region 9b on the monitor screen 8 when the predetermined distance L (m) is away from the line of sight 31 of the conversation person 3 connecting the line 3 defined with the center point A) and the eyes of the conversation person 3 30 positions.
[0030]
In addition, when the size of the conversation person image 9 displayed on the monitor screen 8 is small, the CCD camera 5 and the conversation person image 9 do not necessarily overlap each other. Rather, the head of the conversation person 9 is hidden behind the CCD camera 5 and is difficult to see. As described above, the line-of-sight condition is that the eyes of the CCD camera 5 and the interlocutor image 9 exist in a region with a parallax angle of 3 °, specifically about 3 cm at a position 50 cm away from the screen (FIG. 2). H). Accordingly, within this range, the line-of-sight matching state is maintained even if the CCD camera 5 and the head of the conversation person image 9 are shifted. For example, adjusting the image display position on the monitor screen 8 or adjusting the support portion of the CCD camera 5 to change the position of the CCD camera 5 itself can be used to shift the conversation person image 9 and the CCD camera 5. Is done.
[0031]
FIG. 6 is a diagram showing a schematic configuration of the terminal device according to the present invention. This terminal device includes a display unit 21 such as a monitor (corresponding to the display units 21A and 21B in the interactive interactive system shown in FIG. 2) and a video processing unit 26 (interactive interactive system shown in FIG. 2). Image processing devices 26A and 26B), an external recording device 700, a pointing device 900 such as a mouse, and an imaging unit such as a CCD camera 5 that images a conversation person located in front of the display unit 21 and an imaging unit 6 An imaging device 600 and a speaker 910 for outputting the voice of a conference participant. The video processing unit 26 is a data input / output unit for capturing image information from the imaging unit 6 included in the imaging unit and other information media, and transmitting / receiving the image information of the other party's dialog through the transmission unit 27. 261 (I / O in the figure), control unit 263, image information to be transmitted and received, and database 262 (D in the figure) for storing character data, video data, etc. prepared in advance by the talker / B), the drawing unit 264 that displays a predetermined pattern on the display unit 21 according to the instruction of the control unit 263, and the location information from the pointing device 900 such as a mouse can be taken in and data exchange between the external recording device 700 can be performed. A data input / output unit 265 (I / O in the figure) and a sound source controller 266 that generates audio data output from the speaker 910 are provided. The external recording device 700 includes, for example, a magnetic tape, CD, optical disk, hard disk, DVD, flash memory, and the like.
[0032]
When the terminal device functions as the server 200, the control unit 263 functions as a communication control unit for realizing the communication method according to the present invention, and the management table 250 is stored in the D / B 262.
[0033]
Hereinafter, as a specific example of the communication method using the video conference system shown in FIG. 2, a teleencounter performed between remote locations will be described as an example. The configuration of each participant's terminal device is the same as that of the interactive interactive system shown in FIG.
[0034]
In the tele-encounter in the connected state shown in FIG. 1 (b), first, the facilitator 20 will explain the exercises and rules to the terminal devices 20A and 20b. At this time, in the conference participant's terminal device, as shown in FIG. 7A, the video window 800a of the facilitator 20 is displayed on the monitor screen 8 of the display unit 21 in a state where the line of sight can be matched. An information card related to the facilitator 20 is displayed. On the other hand, in the terminal device of the facilitator 20, as shown in FIG. 7B, each video window 810a of the conference participant is displayed on the monitor screen 8 of the display unit 21. At this time, a CCD camera may be arranged for each window so that the line of sight can be matched with each conference participant. When there are a large number of participants, an information card 820 that displays names instead of participant images. May be displayed on the monitor screen 8.
[0035]
Next, as shown in FIG. 8A, the facilitator 20 automatically selects two dialogue groups, and records the combination information of these dialogue groups in the management table 250. Note that the automatic selection by the facilitator 20 may be completely random, or may be selected (organized) so that participants who satisfy certain conditions such as blood type and birthplace form one dialogue group. .
[0036]
As described above, the participants selected as one dialogue group by the facilitator 20 perform a dialogue for a certain period of time using the interactive dialogue system having the structure shown in FIG. During this dialogue, the facilitator 20 provides questions and theme items prepared in advance for each conference participant. In addition, during this dialogue, not only transmission / reception of video data of each participant who belongs to one dialogue group, but also comments (text information) entered by the participant via a keyboard or the like are transmitted / received as dialogue data. The The content of the comment input during the dialogue is also recorded in the D / B 262 on the facilitator 20 side at the end of the dialogue together with the name and nickname for identifying the participant who has input the comment. In addition, since the facilitator 20 observes the dialogue status in each dialogue group in real time, depending on the progress of the dialogue, an announcement may be forcibly displayed on the monitor screen 8 for any dialogue group, or The sound of the facilitator 20 may be output from the speakers 910a and 910b.
[0037]
Subsequently, the facilitator 20 temporarily terminates the conversation in, for example, 3 to 5 minutes, and automatically switches the conversation partner to a new combination as shown in FIG. 8B. Such switching of the conversation partner causes a sudden change in the conversation environment for the participant during the conversation. Therefore, a dialog countdown is displayed on the monitor screen 8 of each participant's terminal device in advance, or a sound effect And the like are output from the speaker 910, it becomes possible to prepare for changes in the conversation environment of each conference participant. Further, at the time of switching the conversation partner, at least auditory information such as common music and visual information such as letters and figure names may be provided to all participants.
[0038]
In the dialogue between the participants who belong to one dialogue group by the selection of the facilitator 20, in addition to the video and audio of each participant, as shown in FIG. It is preferred that the card be displayed on the monitor screen 8 because the topic is provided. This information card is preferably input in advance by each participant in accordance with an instruction from the facilitator 20. Moreover, each participant may perform input itself, and only the questions may be displayed on the monitor screen 8. In addition, each participant's information card may be linked with a BGM or video unique to the participant, or the same BGM or video may be distributed to all participants. In this embodiment, the conversation partner is automatically switched by the facilitator 20 side (server 200) at regular intervals, but by selecting an information card prepared for each participant in advance, The person himself may select the next conversation partner.
[0039]
FIG. 9A is a diagram showing a self-introduction screen of a partner participant who belongs to one dialogue group. On the monitor screen 8 of the display unit 21, “ The video window 800b in a state in which the line of sight of “Yamamoto” is matched, the information card 830 of “Yamamoto” (the still picture of “Yamamoto” previously taken and stored in the D / B 262 is also stored in this information card 830) Then, a comment card 840 for inputting a comment via a keyboard or the like is displayed. FIG. 9B is a diagram showing the monitor screen 8 when the conversation partner is switched from “Yamamoto” to “Suzuki” after a predetermined time has elapsed. At this time, a new “Suzuki” is superimposed on the information card of “Yamamoto” on the monitor screen 8 together with the video window 800c and the comment card 840 in a state where the line of sight of “Suzuki” as a new conversation partner is matched. 'S information card 830 is displayed. Also on this information card of “Suzuki”, a still image of “Suzuki” that was previously captured and stored in the D / B 262 is displayed. The comment card 840 can be effectively used as recorded data if newly acquired information is used for writing according to the situation. The content of the information card 830 is basically public data, whereas the content of the comment card 840 is private data. The contents of the information card 830 and the comment card 840 are stored in the D / B 262 as a pair associated with each participant. The information card 830, which is public data, is centered on text information, but if the person's face photo (still image), a moving image such as a CM, or favorite music (BGM) is linked, it is more individual. Dialogue production becomes possible. Combining these multimedia functions improves the effects of interactive presentations, data storage, and retrieval that are not available in conventional encounters.
[0040]
When the facilitator 20 intervenes in the dialogue of each dialogue group, as shown in FIG. 10A, the terminal device on each participant side displays the video window 800a of the facilitator 20 on the monitor screen 8 of the display unit 21. The instruction card 850 is displayed with priority. In particular, when the exercise currently being performed is ended or when a new exercise is shifted to, it is often necessary for the facilitator 20 to intervene in this way.
[0041]
Normally, in an encounter, when a dialogue between two people progresses to some extent, the next step proceeds to a dialogue with four people. At this time, one of the two people who have already met is introduced to the two who are newly participating in the dialogue (refer to the management table 250 and selected from the conditions such as the dialogue 263 dialogue history and personal information on the facilitator 20 side). Introducing others is also included in the encounter. FIG. 10B is a diagram showing the monitor screen 8 when one participant in the conversation introduces another person to the new participant as described above. In such other person introduction, it is preferable to maintain a line-of-sight state with a participant who is a direct conversation partner. For this reason, it is more preferable to arrange the CCD cameras at predetermined positions so that the line of sight can be individually matched with each participant because the conversation progresses smoothly in the newly organized conversation group. In this way, computer search and assignment are extremely effective for meeting (reorganizing) two new people who have already met (during a conversation). In addition, with regard to the encounter of two people who make up the dialogue group and the total of four people, including the two who newly participate in this dialogue group, it is possible to increase the number of participating groups as time goes on. Reorganization of a simple dialogue group can be performed more efficiently if it is performed on a computer. FIG. 11 is a diagram showing a monitor screen 8 in a case where a dialogue with six persons is performed. On the monitor screen 8, video windows 810a of five conversation partners in the same group and each conversation partner are shown. The data board 860 is displayed. Also in this case, each CCD camera may be arranged at a desired position so as to enable a line-of-sight matching state with each conversation partner.
[0042]
In particular, if there are more than several hundred participants in the encounter, it is necessary to solve problems such as movement problems, securing of chairs, and speaking voice (noise) of neighboring groups in the same room. In the teleencounter performed between a plurality of terminal devices connected via the means, a dialogue space can be easily provided in a desired combination without being conscious of the existence of other groups. In particular, by linking the above-described information card and BGM, each participant's own favorite song and BGM can be output on the spot, so that the participant can express a stronger personality.
[0043]
【The invention's effect】
As described above, according to the present invention, the conversation status of the conference participants is managed by the management table, so that various data can be provided between the participants who belong to one dialogue group. There is an effect that it is possible to carry out a special remote place dialogue such as an encounter by a large number of people through a plurality of terminal devices.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a video conference system according to the present invention.
FIG. 2 is a diagram showing a configuration of a two-way interactive system that realizes line-of-sight matching between remote locations via transmission means.
FIG. 3 is a diagram illustrating the imaging apparatus illustrated in FIG. 2 for explaining a method of installing a CCD camera for line-of-sight matching.
FIG. 4 is a diagram for explaining a parallax angle.
FIG. 5 is a diagram showing a region where a CCD camera is to be installed.
FIG. 6 is a block diagram showing a configuration of a terminal device in the video conference system according to the present invention.
FIG. 7 is a diagram showing an example of each monitor screen of the facilitator-side terminal device and the participant-side terminal device in the video conference system according to the present invention.
FIG. 8 is a diagram for explaining a conversation switcher operation in the video conference system according to the present invention.
FIG. 9 is a diagram showing an example of each monitor screen of a participant's terminal device that is conducting a conversation in the video conference system according to the present invention.
FIG. 10 is a diagram showing an example of a monitor screen when a facilitator intervenes in a dialog and a monitor screen of a participant's terminal device when introducing another person in the video conference system according to the present invention.
FIG. 11 is a diagram showing an example of multi-window display of each participant side terminal device in the video conference system according to the present invention.
[Explanation of symbols]
8 ... monitor screen, 21 (21A, 21B) ... display unit, 3 (3A, 3B) ... interviewers A, B, 5 (5A, 5B) ... CCD camera, 6 (6A, 6B) ... imaging unit, 600 ( 600A, 600B) ... imaging device, 26 (26A, 26B) ... video processing device, 200 ... server, 250 ... management table, 262 ... D / B, 263 ... control unit, 266 ... sound source controller, 900 ... mouse (pointing Device), 910 ... Speaker.

Claims

A video conference system that realizes two-way dialogue through a plurality of terminal devices connected by a predetermined transmission means,
A management table for managing a dialogue situation in which the users who are in conversation among the users are associated with the dialogue history of each of the plurality of terminal devices registered in advance as a conference participant,
For each set of dialogues organized from each of the registered users all takes place, while each reference sample the management table to control the data transmission and reception among RaToshi for users, the user at a predetermined time while the dialogue partner sequential by cormorants before Symbol management table is switched to be updated, and re-organize the user's set to perform the dialogue by changing the conditions for the combination and the number of at least dialogue partner from among the users all Video conferencing system with communication control means.

The communication control means changes the conversation partner and the number of users during the conversation according to an instruction from the user during the conversation or other users, and updates the conversation status of the management table. The video conference system according to claim 1.

2. The communication control unit according to claim 1, wherein the communication control unit automatically changes a conversation partner and the number of users during a conversation every time a predetermined time elapses, and updates a conversation state of the management table. 2. The video conference system according to 2.

The communication control means determines, as a conversation partner of the user during the conversation, a user who has not had a conversation with reference to the conversation history of the user recorded in the management table. The video conference system according to claim 3.

A terminal device that realizes a two-way dialogue by performing data transmission / reception with at least one of a plurality of terminal devices connected to a predetermined transmission means,
A management table for managing the dialog history of each of the plurality of terminal devices registered in advance as a conference participant and the dialog status associated with the users who are interacting among the users is stored. Database and
For each set of dialogues organized from each of the registered users all takes place, while each reference sample the management table to control the data transmission and reception among RaToshi for users, the user at a predetermined time while the dialogue partner sequential by cormorants before Symbol management table is switched to be updated, and re-organize the user's set to perform the dialogue by changing the conditions for the combination and the number of at least dialogue partner from among the users all A terminal device comprising a communication control means.

The communication control means changes the conversation partner and the number of users during the conversation according to an instruction from the user during the conversation or other users, and updates the conversation status of the management table. The terminal device according to claim 5.

6. The communication control unit according to claim 5, wherein the communication control unit automatically changes a conversation partner and the number of users during a conversation every time a predetermined time elapses, and updates a conversation state of the management table. 6. The terminal device according to 6.

The communication control means determines, as a conversation partner of the user during the conversation, a user who has not had a conversation with reference to the conversation history of the user recorded in the management table. The terminal device according to claim 7.

A communication method for carrying out a two-way dialogue between the selected dialogue persons by performing data transmission / reception via a predetermined transmission means between the users selected as dialogue partners among a plurality of terminal users,
Managing the user's dialogue history registered in advance and the dialogue status in which the users who are talking among the users are associated with each other using a management table;
For each set of dialogues organized from each of the registered users all takes place, while each reference sample the management table to control the data transmission and reception among RaToshi for users, the user at a predetermined time while the dialogue partner sequential by cormorants before Symbol management table is switched to be updated, and re-organize the user's set to perform the dialogue by changing the conditions for the combination and the number of at least dialogue partner from among the users all Communication method to go.

The communication method according to claim 9, wherein the conversation partner and the number of users in the conversation are changed in accordance with an instruction from the user in the conversation or other users.

11. The communication method according to claim 9 or 10, wherein the conversation partner and the number of users during the conversation are automatically changed every time a predetermined time elapses.

12. The user who has never performed a conversation as a conversation partner of the user during the conversation is determined with reference to a user's conversation history recorded in the management table. Communication method.

The computer program which performs the method of any one of Claims 9-12 by a computer.

A recording medium on which a computer program for executing the method according to any one of claims 9 to 12 is recorded by a computer.