JP2003333561A - モニタ画面表示方法、端末装置及びテレビ会議システム - Google Patents

Abstract

(57)【要約】 【課題】 相手対話者のモニタ画面操作に付随するノン
バーバルな情報を対話者自身に提供し、遠隔地対話の円
滑な進行を実現するための構造を備えたモニタ画面表示
方法等を提供する。 【解決手段】 対話者側モニタ画面(8)上に、相手対話
者側モニタ画面内で行われる該相手対話者の操作内容を
表現するためのキャラクタ(800c)を表示し、相手対話者
側モニタ画面内で行われる相手対話者の操作情報を受信
し、受信した操作情報に基づいて、相手対話者側モニタ
画面内に表示されたカーソルに対応するポインタを対話
者側モニタ画面(8)上に表示するとともに、相手対話者
の操作モードに対応して、キャラクタ(800c)の動作を切
替えてアニメーション表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、所定の伝送手段
で接続された端末装置間で複数種類のメディアによるデ
ータ送受信を行うことにより行われる双方向対話におい
て、相手対話者のモニタ画面内における操作内容を対話
者自身のモニタ画面上に表現するモニタ画面表示方法、
端末装置、テレビ会議システム等に関するものである。

【０００２】

【従来の技術】近年、英会話学習やカウンセリングなど
の伝送手段を介した遠隔地間で、テキストデータや映像
データを送受信する遠隔地対話を実現する双方向対話型
システムが構築されている。このような遠隔地対話で
は、単にテキストデータや相手対話者像のやり取りのみ
ならず、対話者同士が表示される相手対話者像を介して
間接的に視線一致した状態でより親密な対話環境を実現
するシステムとして、例えば特許第３０７４６７７号に
は、視線一致した状態での遠隔地対話を可能にする双方
向対話型システムが提案されている。

【０００３】

【発明が解決しようとする課題】発明者らは、従来の双
方向対話型システムについて検討した結果、以下のよう
な課題を発見した。すなわち、従来の遠隔地対話を実現
する双方向対話型システムではモニタ画面を介して相手
対話者の映像及び音声を表示しあう対話動作が主である
が、対話動作の中には、より詳細な双方向対話を実現す
べく、ポインタを利用して特定の文字、図形を指摘した
り、ホワイトボードに文字や図形を記入する動作が存在
する。特に、モニタ画面に表示された特定箇所について
「ここが大切です」とポインタで示されても、該ポイン
タだけがモニタ画面内を移動しており、それを操作して
いる対話者の動作との関連が全く分からない状況であ
る。この場合、ポインタ等を見ている対話者にとっては
注意が集中しにくくなるなどの課題があった。同様に、
モニタ画面上にウィンドウ表示されたホワイトボードに
文字や図形をキーボードやタブレット−入力ペンのよう
な入力デバイスを利用して入力しても、該ホワイトボー
ドが提示された側の対話者には、いきなり入力された文
字や図形が表示されるため、突然の表示状態変化に違和
感、戸惑いを感じてしまうため、円滑かつ想像的な双方
対話は実現されにくかった。

【０００４】加えて、従来の双方向対話型システムにお
いて、一方の対話者が伝送手段を介してモニタ画面上に
表示されたスライドの特定部位を指摘する場合、該一方
の対話者の映像範囲が胸元よりも上部であるのが一般的
であるため、該一方の対話者のノンバーバル（non-verb
al）な動作が見えない（動作全体が分からない）。仮
に、該一方の対話者の全体像が表示された場合であって
も、手元の僅かな動きで動作できるので、直接対話のよ
うにノンバーバルな情報から事態を予測、把握すること
が難しいという課題があった。

【０００５】この発明は上述のような課題を解決するた
めになされたものであり、相手対話者のモニタ画面操作
に付随するノンバーバルな情報を対話者自身に提供し、
遠隔地対話の円滑な進行を実現するための構造を備えた
モニタ画面表示方法、端末装置、該端末装置を含むテレ
ビ会議システム、該モニタ画面表示方法を実行するコン
ピュータプログラム及び該コンピュータプログラムが記
録された記録媒体を提供することを目的としている。

【０００６】

【課題を解決するための手段】この発明に係るモニタ画
面表示方法は、所定の伝送手段で接続された端末装置を
間で複数種類のメディアによるデータ送受信を行うテレ
ビ会議システムに適用可能であり、特に、このようなテ
レビ会議システムにおける遠隔地対話をよりスムーズに
進行させるよう機能する。

【０００７】具体的に、この発明に係るモニタ画面表示
方法は、対話者側モニタ画面上に、相手対話者側モニタ
画面内で行われる該相手対話者の操作内容を表現するた
めのキャラクタを表示し、相手対話者側モニタ画面内で
行われる相手対話者の操作情報を受信し、そして、受信
した操作情報に基づいて、相手対話者側モニタ画面内に
表示されたカーソルに対応するポインタを対話者側モニ
タ画面上に表示するとともに、相手対話者の操作モード
に対応して、キャラクタの動作を切替えてアニメーショ
ン表示することを特徴としている。

【０００８】なお、上記相手対話者の操作モードは、相
手対話者側モニタ画面内でカーソルを移動させるカーソ
ル移動モード、及び、相手対話者側モニタ画面内の所定
位置に直接視覚情報を入力する入力モードが含まれる。
上記カーソル移動モードは、対話者側モニタ画面上に表
示されたポインタの位置を指示するようキャラクタをア
ニメーション表示するとともに、該ポインタの移動に追
随してキャラクタの少なくとも一部形状が変化するよう
アニメーション表示する。このようなカーソル移動モー
ドでは、特に、対話者側モニタ画面上に表示されるポイ
ンタの移動に伴って、キャラクタの表示位置を変化させ
てもよい。また、入力モードは、相手対話者側モニタ画
面内に相手対話者が直接入力する視覚情報を対話者側モ
ニタ画面上に表示するとともに、該対話者側モニタ画面
上に表示される視覚情報の表示位置変化に追随してキャ
ラクタの少なくとも一部形状が変化するようアニメーシ
ョン表示する。なお、視覚情報には、相手対話者が入力
する文字、図形、絵画、記号等、モニタ画面上に表示さ
れる情報が含まれる。

【０００９】上述のような構造を備えたモニタ画面表示
方法は、所定の伝送手段で接続された端末装置を間で複
数種類のメディアによるデータ送受信を行うことにより
遠隔地対話を実現するテレビ会議システムに適用され得
る。特に、このようなテレビ会議システムに当該方法が
適用された場合、該テレビ会議システムにおける端末装
置（この発明に係る端末装置）は、表示部と、データベ
ースと、データ入出力手段と、表示制御手段とを備える
のが好ましい。上記表示部は、マルチウィンドウ表示可
能である。上記データベースは、対話者側モニタ画面上
に、相手対話者側モニタ画面内で行われる該相手対話者
の操作内容を表現するためのキャラクタをアニメーショ
ン表示するためのキャラクタデータが格納される。上記
データ入出力手段は、相手対話者側モニタ画面内で行わ
れる相手対話者の操作情報を受信するための通信手段の
一部を構成する。上記表示制御手段は、受信した操作情
報に基づいて、相手対話者側モニタ画面内に表示された
カーソルに対応するポインタを対話者側モニタ画面上に
表示するとともに、相手対話者の操作モードに対応し
て、キャラクタの動作を切替えてアニメーション表示す
る。

【００１０】なお、上記相手対話者の操作モードには、
相手対話者側モニタ画面内でカーソルを移動させるカー
ソル移動モード、及び、相手対話者側モニタ画面内の所
定位置に直接視覚情報を入力する入力モードが含まれ
る。

【００１１】上記表示制御手段は、カーソル移動モード
として、対話者側モニタ画面上に表示されたポインタの
位置を指示するよう前記キャラクタをアニメーション表
示するとともに、該ポインタの移動に追随して前記キャ
ラクタの少なくとも一部形状が変化するようアニメーシ
ョン表示する。また、上記表示制御手段は、対話者側モ
ニタ画面上に表示されるポインタの移動に伴って、キャ
ラクタの表示位置を変化させる。一方、上記表示制御手
段は、入力モードとして、相手対話者側モニタ画面内に
相手対話者が直接入力する視覚情報（文字、図形等）を
対話者側モニタ画面上に表示するとともに、該対話者側
モニタ画面上に表示される視覚情報の表示位置変化に追
随して前記キャラクタの少なくとも一部形状が変化する
ようアニメーション表示する。

【００１２】なお、上述のようなモニタ画面表示方法
は、コンピュータ等で実行されるプログラムであっても
よく、この場合、当該プログラムは、有線、無線を問わ
ずネットワークを介して配信されてもよく、また、Ｃ
Ｄ、DVD、フラッシュメモリ等の記録媒体に格納されて
いてもよい。

【００１３】

【発明の実施の形態】以下、この発明に係るモニタ画面
表示方法、端末装置、テレビ会議システム等の各実施形
態について、図１〜図９を用いて詳細に説明する。な
お、図面の説明において、同一部位には同一符号を付し
て重複する説明を省略する。

【００１４】この発明に係るモニタ画面表示方法は、互
いに異なる入力作業が行われる双方向対話型システム
（テレビ会議システム）において効果的な対話進行を可
能にするが、以下の説明では、より具体的に教師と１又
はそれ以上の生徒との間で行われる１対１あるいは１対
多の遠隔学習に適用された場合を中心に説明する。

【００１５】図１は、この発明に係るテレビ会議システ
ムの一実施形態（遠隔学習の例）を説明するための概念
図である。また、この図１に示されたテレビ会議システ
ムには、例えば特許第３０７４６７７号に記載された双
方向対話型システムが適用可能である。

【００１６】図１のテレビ会議システムにおいて、生徒
側端末装置は、入力手段としての入力ペン７５０Ａ及び
問題用紙として紙、透明フィルムなどのシート状媒体が
設置されたタブレット５００Ａと、表示手段としてのモ
ニタ２１Ａ、電子化データの合成を行う編集手段を含む
データ処理装置２６Ａ、モニタ２１Ａ上に設置されＣＣ
Ｄカメラ５Ａにより生徒（第１対話者）３Ａの映像を取
り込む撮像装置６００Ａを備える。一方、教師側端末装
置は、入力手段としての入力ペン７５０Ｂ及び問題用紙
（紙媒体）が設置されたタブレット５００Ｂと、表示手
段としてのモニタ２１Ｂ、電子化データの合成を行う編
集手段を含むデータ処理装置２６Ｂ、モニタ２１Ｂ上に
設置されＣＣＤカメラ５Ｂにより教師（第２対話者）３
Ｂの映像を取り込む撮像装置６００Ｂを備える。なお、
これら生徒側端末装置と教師側端末装置とは、伝送手段
２７を介して接続されている。ここで、伝送手段２７
は、生徒側端末装置と教師側端末装置との間で画像情報
及び音声情報の送受信を可能にするため、大容量伝送を
可能にする光ファイバ伝送路（主伝送路）及び衛星通信
伝送路（バックアップ用伝送路）等を含む。また、この
伝送手段２７は有線、無線のいずれであってもよく、既
に敷設された電話回線網等のネットワークを含み、さら
に種々のデータベースを備えた電子掲示板システム（BB
S: Bulletin Board System）も含む。

【００１７】通常、遠隔学習では、対話動作として、図
１に示されたように生徒３Ａが手元に置かれた回答用紙
に記入している間、教師３Ｂは生徒３Ａの様子を確認し
たり助言等を発信するような場面が頻繁に発生する。こ
の場合、教師３ＢにはＣＣＤカメラ５Ａの撮像エリアＣ
Ａ１の様子（エリアＰＡ１に目を向けている生徒３Ａの
表情）がモニタ２１Ｂに表示される。一方、生徒側端末
装置のモニタ２１Ａには、ＣＣＤカメラ５Ｂの撮像エリ
アＣＡ２の様子（モニタ画面を含むエリアＰＡ２に目を
向けている教師３Ｂの表情）がモニタ２１Ａに表示され
る。また、他の対話動作として、教師３Ｂから生徒３Ａ
への助言等は、モニタ２１Ａにウィンドウ表示される文
章等の視覚情報を介して行われることが頻繁にある。こ
のような視覚情報を利用した説明では、教師３Ｂがマウ
ス等のポインティングデバイスなどを用いて、説明箇所
を明示しながら行われるが、このような双方向対話型シ
ステムでは、生徒３Ａ側で、教師３Ｂのノンバーバルな
情報を受け取ることが非常に難しいため、教師３Ｂの説
明中のカーソル位置を見失うなど、突発的な対話環境の
変化に違和感を覚える可能性がある。

【００１８】この発明に係るモニタ画面表示方法は、教
師３Ｂが生徒３Ａのモニタ２１Ａにウィンドウ表示され
る視覚情報を介して説明等、対話をする場合に、カーソ
ル等の直接モニタ２１Ａに表示されるキャラクタの他、
教師３Ｂのノンバーバルな情報を生徒３Ａに提供するよ
う、該教師３Ｂの操作モード（カーソル移動や文字入力
など）に対応して、アニメーション表示されるキャラク
タをモニタ２１Ａに表示することにより、生徒３Ａに教
室における授業、講演等、直接教師と生徒が接した状態
でのみ得られる、視覚情報では表現できないノンバーバ
ルな情報を提供することを特徴としている。

【００１９】なお、この発明に係るモニタ画面表示方法
は、所定の伝送手段を介して接続された端末装置間での
遠隔地対話を実現する、例えば特許第３０７４６７７号
に記載された双方向対話型システムのようなテレビ会議
システムが適応可能であり、特に、特定利用者間での視
線一致を可能にする多点接続型の双方向対話型システム
に適している。

【００２０】まず、ここでは、当該モニタ画面表示方法
を実現するテレビ会議システムに適用される双方向対話
型システムについて説明する。なお、この双方向対話型
システムは、視線一致した状態での一対一を基本とした
遠隔地対話を実現するシステムであるが、対話者間で視
線一致できない構成であって単にテキストデータや画像
データの送受信が可能な双方向対話型システムにも適応
可能である。

【００２１】図２は、遠隔地に居る対話者間の視線一致
を可能にする双方向対話型システム全体を示す論理構成
図である。このシステムは、Ａ地点（第１地点）にいる
対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる
対話者３Ｂ（第２対話者）との間で双方向対話を実現す
るシステムである。特に、このシステムは遠隔地にいる
対話者間でも親密な信頼関係を確立し綿密なコミュニケ
ーションを実現するカウンセリング・システムや家庭学
習を志向したシステムであるので、少なくとも一方の対
話者として、教師、医師、心理学者などのカウンセラを
想定している。したがって、このシステムはこれらカウ
ンセラがカウンセリングを行うために必要な情報、及び
理想的なカウンセリング環境を提供できるよう種々の機
能及び構成を備える。

【００２２】具体的には、Ａ地点において、（ａ）対話
者３Ａ（例えはカウンセラ）が座る椅子４Ａ（高さ調節
機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテ
ーブル２Ａと、（ｃ）伝送手段２７を介して対話者間の
視線を一致させるための機構を備えた端末装置２０Ａと
が設置され、対話者３Ａはパーティション２２Ａによっ
て隔離されている。一方、Ｂ地点には、（ａ）対話者３
Ｂ（例えばカウンセリングを受けるクライアント）が座
る椅子４Ｂ（高さ調節機構４０Ｂを有する）と、（ｂ）
対話者３Ｂが向かうテーブル２Ｂと、（ｃ）伝送手段２
７を介して対話者間の視線を一致させるための機構を備
えた端末装置２０Ｂとが設置され、対話者３Ｂはパーテ
ィション２２Ｂにより隔離されている。ここで、伝送手
段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置
２０Ｂとの間で画像情報及び音声情報の送受信を可能に
するため、光ファイバ伝送路３１（主伝送路）及び衛星
通信伝送路３２（バックアップ用伝送路）等を含む。な
お、この伝送手段２７は有線、無線のいずれであっても
よい。また、伝送手段は、既に敷設された電話回線網等
のネットワークを含み、さらに種々のデータベースを備
えた電子掲示板システム（BBS: Bulletin Board Syste
m）も含む。

【００２３】Ａ地点において、上述の椅子４Ａは対話者
３Ａの位置を規定するために機能する。この椅子４Ａは
端末装置２０Ａの表示部２１Ａとの距離を一定に保つた
めに固定されるのが好ましい。しかし、該椅子４Ａが固
定されていない場合であっても、テーブル２Ａを対話者
３Ａと表示部２１Ａに設置することによりこの椅子４Ａ
と表示部２１Ａとの距離を一定に保つことが可能になる
（テーブル２Ａの存在が対話者３Ａの心理的な距離の基
準となる事実が確認されている）。なお、相手側の対話
者３Ｂ（例えば、カウンセリングを受ける者等）がいる
Ｂ地点の端末装置２０Ｂの構成も同様である。

【００２４】Ａ地点において、端末装置２０Ａは、(1)
Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送
されてきた画像情報に基づいて対話者３Ｂの映像などを
表示する、テーブル２Ａの上に配置された、モニタＴＶ
１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ５Ａで
撮像された対話者３Ａの映像を画像情報として取り込
み、Ｂ地点の端末装置２０Ｂへ向けて伝送するための撮
像ユニット６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝
送手段２７を介して伝送されてきた音声情報に基づいて
対話者３Ｂの音声を出力するための音声出力部２３Ａ
（スピーカ）と、(4)対話者３Ａの音声を音声情報とし
て集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するた
めの音声入力部２４Ａ（マイク）を備える。さらに、こ
のシステムはカウンセリング・システムとしてより綿密
なコミュニケーションを実現するため、(5)対話者３Ａ
が文字や図形を入力し、入力された文字や図形を表示部
２１Ａに表示するとともに、文字図形情報としてＢ地点
の端末装置２０Ｂへ向けて伝送するための文字図形入力
部２５Ａ（キーボード、ポインティング・デバイス、タ
ッチパネルなどのインターフェース）と、(6)上記各構
成要素と伝送手段２７との間に設けられ、信号処理、伝
送制御及び映像データの編集作業等を行う映像処理装置
２６Ａ（制御部含む）とを備える。なお、Ｂ地点の端末
装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様
に構成されており、具体的には、表示部２１Ｂ、ＣＣＤ
カメラ５Ｂと撮像ユニット６Ｂからなる撮像装置６００
Ｂ、音声出力部２３Ｂ、音声入力部２４Ｂ、文字図形入
力部２５Ｂ、及び映像処理装置２６Ｂを備える。

【００２５】さらに、Ａ地点及びＢ地点の端末装置２０
Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂ（撮
像手段）の構成を説明する。なお、説明の都合上、Ａ地
点及びＢ地点の各端末装置２０Ａ、２０Ｂに共通する構
成要素について言及する場合には、例えば撮像装置６０
０のように、各地点を区別する文字Ａ、Ｂを省略して説
明する。また、特に説明がされていない場合には、原則
としてＡ地点の端末装置２０Ａについて説明しているも
のとして、共通する構成を有するＢ地点の端末装置２０
Ｂについては重複する説明は省略する。

【００２６】この撮像装置６００は、撮像部である超小
型ＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持し
た状態で所定位置に設置するための支持機構１０（図３
参照）、及び該ＣＣＤカメラ５を制御するための撮像ユ
ニット６（６Ａ）とを備える。モニタＴＶ１（１Ａ）は
テーブル２（２Ａ）の上に載置されており、対話者３
（３Ａ）はこのモニタＴＶ１から距離Ｌ（ｍ）離れて置
かれた高さ調整機構４０（４０Ａ）を備えた椅子４（４
Ａ）に座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上
５ｍ以下に設定される。撮影される対話者３及びモニタ
ＴＶ１間には、外径φ２０ｍｍ以下，長さ約１００ｍｍ
の円筒状の超小型ＣＣＤカメラ５が設けられている。ま
た、このＣＣＤカメラ５はその撮像方向が撮影される対
話者３に向けられるよう設置されている。そしてカメラ
５で撮像された対話者３の映像は、画像情報として撮像
ユニット６から他方の対話者側に伝送される（伝送手段
２７を介してＢ地点の端末装置２０Ｂに伝送される）。
なお、対話者によっては表示部２１と該対話者間の間隔
が弱冠ずれる可能性もある。したがって、このような状
況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いも
のを選択するのが好ましい。

【００２７】次に、超小型ＣＣＤカメラ５の具体的な設
置位置を図３を用いて説明する。

【００２８】まず、撮像装置６００の撮像ユニット６は
伝送されてきた他方の対話者の映像を表示するための表
示部２１上に設置される。この撮像ユニット６本体には
カメラ５によって撮影された対話者自身の映像（カメラ
ケーブル５０を介して撮像ユニット６に取り込まれる）
の表示と、伝送されてきた他方の対話者３Ｂの映像の表
示を切り換えるための、切り換えスイッチ６ａの他、種
々の調節用スイッチ６ｂが設けられている。なお、スイ
ッチ２１０はモニタＴＶ１の電源をオン／オフする電源
スイッチ等を含む。ＣＣＤカメラ５は、伝送されてきた
他方の対話者３Ｂの像９が表示されるモニタ画面８の前
方の所定位置に支持機構１０（ロボット・アーム）によ
って設置される。なお、このモニタ画面８は４インチ程
度であれば十分に利用できる。

【００２９】具体的には、ＣＣＤカメラ５はモニタ画面
８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８
に表示された対話者像９の頭部９ａ付近に配置される。
円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像
９の目の位置の上方ｈ（ｃｍ）の部位に位置している。

【００３０】このように超小型のＣＣＤカメラ５は、大
型モニタＴＶ１の画面８に表示された対話者像９の目の
位置より上の頭部付近に位置しているため、双方向対話
に特別な支障は生じない。例えば、ＣＣＤカメラ５が画
面８に表示された対話者像９の目の位置（図中、点線で
示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニ
タＴＶ１および対話者３間の距離Ｌが約２．５（ｍ）に
設定されているシステム構成の場合、視差角は２．３°
で十分検知限界の視差角３°を下回ることが可能である
（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃ
ｍ）程度ある場合でも、視差角の変動には特に影響はな
い）。つまり、視線一致時に相手の目（モニタ画面８に
表示された他方の対話者３Ｂの像の目）がはっきりと見
えれば、その頭部辺りに超小型のカメラ５が設けてあっ
ても、モニタＴＶ１の画面８が大型であれば、双方向対
話に支障はほとんどないことが確認されている。この画
面８の大きさは、実験の結果、横３５ｃｍ，縦２６ｃｍ
程度以上の大きさがあれば良好な双方向対話が実現でき
ることも確認されている。なお、相互の対話者が知人同
志であれば、画面の大きさは小さくとも心理的な障害も
少ない傾向を示す結果も得られており、画面サイズに関
しては用途に応じて使いわけるとよい。

【００３１】さらに、視差角について、図４を用いて説
明する。この明細書において、視差角とは、図４に示さ
れたように、モニタ画面８に表示された対話者像９へ向
けられた、撮影される対話者３の視線と、ＣＣＤカメラ
５へ向けられた、該対話者３の視線とがなす角度θを言
う。換言すれば、対話者３の視線に対するＣＣＤカメラ
５の設置位置のずれ角を意味している。また、ここでい
う視線一致とは、昭和４２年電気四学会連合大会（Ｎ
ｏ．１９９８）で報告されているように、ＣＣＤカメラ
５の設置位置による不自然さの許容限界以下を意味して
いる。定量的には、視差角として、左右方向４．５°以
下（対話者像９の目の中心Ａに対し、該像９の両こめか
み側），真上方向１２°（像中心Ａに対し、像９の頭部
９ｂ側），真下方向８°（像中心Ａに対し、像９の胴体
側）以下を視線一致範囲内としている。もちろん、この
視差角は小さい方が良く、左右上下方向３°以下が検知
限界とされている。したがって、ＣＣＤカメラ５が設置
可能な領域は、図５に示された円錐領域である。なお、
この円錐領域は、対話者３の目３０とモニタ画面８に表
示された対話者像９の中心点Ａ（この実施形態では、対
話者像９の両目の中心を該対話者像９の中心点Ａとして
定義している）とを結ぶ該対話者３の視線３１に対し、
所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致
領域９ｂ、及び、該対話者３の目３０の位置とで規定さ
れる。

【００３２】なお、モニタ画面８上に表示される対話者
像９のサイズが小さい場合には、必ずしも該ＣＣＤカメ
ラ５と対話者像９の頭部が重なっている必要はない。む
しろ対話者９の頭部がＣＣＤカメラ５に隠れてしまい見
にくくなる。上述のように視線一致の条件は視差角３°
の領域内にＣＣＤカメラ５と対話者像９の目が存在する
ことであり、具体的に画面から５０ｃｍ離れた位置で約
３ｃｍ程度（図２におけるｈ）である。したがって、こ
の範囲内であればＣＣＤカメラ５と対話者像９の頭部を
ずらしても視線一致状態は維持される。この対話者像９
とＣＣＤカメラ５をずらすには、例えばモニタ画面８上
における画像表示位置を調節したり、ＣＣＤカメラ５の
支持部を調節してＣＣＤカメラ5自体の位置を変更する
ことにより実現される。

【００３３】図６は、この発明に係るモニタ画面表示方
法を実現する端末装置（この発明に係る端末装置）の概
略構成を示す図である。この端末装置は、所定の伝送手
段を介して双方向対話を実現するテレビ会議システムと
して、図１及び図２に示された双方向対話型システムに
適用される。なお、当該端末装置は、モニタ等の表示部
２１（図２に示された双方向対話型システムにおける表
示部２１Ａ、２１Ｂに相当）と、映像処理部２６（図２
に示された双方向対話型システムにおける映像処理装置
２６Ａ、２６Ｂに相当）と、外部記録装置７００と、入
力手段としてのタブレット５００（図１に示されたタブ
レット５００Ａ、５００Ｂに相当）、入力ペン７５０
（図１に示されたタブレット７５０Ａ、７５０Ｂに相
当）、マウス等のポインティングデバイス９００と、表
示部２１の前方に位置する対話者を撮像するＣＣＤカメ
ラ５等の撮像部及び撮像ユニット６からなる撮像装置６
００、会議参加者の音声を出力するための音源コントロ
ーラ９１０、スピーカー９２０とを備える。上記映像処
理部２６は、撮像手段に含まれる撮像ユニット６からの
画像情報や他の情報メディアの取り込みや伝送手段２７
を介して相手対話者の画像情報の送受信を行うためのデ
ータ入出力部２６１（図中、Ｉ／Ｏ）と、制御部２６
３、送受信される画像情報の他、予め対話者自身が用意
した文字データ、映像データ、相手対話者のモニタ操作
に関するノンバーバルな情報をアニメーション表示する
ためのキャラクタデータ等を格納しておくためのデータ
ベース２６２（図中、Ｄ／Ｂ）、表示部２１へ制御手段
２６３の指示に従って所定のパターンを表示させる描画
部２６４と、マウス等のポインティングデバイス９００
からの位置情報の取り込みや外部記録装置７００とのデ
ータ授受を可能にするデータ入出力部２６５（図中、Ｉ
／Ｏ）とを備える。なお、外部記録装置７００は、例え
ば磁気テープ、ＣＤ、光ディスク、ハードディスク、Ｄ
ＶＤ、フラッシュメモリ等を含む。

【００３４】以下、図１に示されたテレビ会議システム
による当該モニタ画面表示方法の具体例を、図７〜図９
を用いて説明する。

【００３５】図７は、この発明に係るテレビ会議システ
ムで行われるモニタ画面表示方法（この発明に係るモニ
タ画面表示方法）として、対話者側モニタ画面上におけ
るカーソル移動モードの表示例を説明するための図であ
る。この実施形態では、伝送手段２７を介して端末装置
２０Ａと相手側端末装置２０Ｂとの間で、双方向対話を
行うための動画像データ、音声データなどのビジュアル
データ１００ａ、１００ｂの他、相手対話者のノンバー
バルな操作データ１１０ａ、１１０ｂも送受信される。
また、表示部２１のモニタ画面８上には、文字等が表示
されたホワイトボード８００ａと、相手対話者の静止画
像８００ｂ（動画像でもよい）がウィンドウ表示される
とともに、このモニタ画面８上には相手対話者のノンバ
ーバルな操作を示すキャラクタ８００ｃが表示される。
例えば図７に示されたキャラクタ８００ｃは、ウィンド
ウ内の所定位置に向くよう腕の角度がθだけ動くように
デザインされており、このキャラクタ８００ｃの指差し
動作がそのまま対話者への注意喚起を促すとともに、そ
の方向を示している。

【００３６】ホワイトボード８００ａ内の特定部位を相
手対話者マウス９００で指摘すると、このマウスの移動
に対応して移動表示されるカーソルの表示位置情報は、
伝送手段２７を介して対話者側端末装置に送信される。
対話者側端末装置では、相手対話者が操作するペンやマ
ウス９００の移動に追随してポインタがモニタ画面８上
に移動表示される。このとき、モニタ画面８上に表示さ
れているキャラクタ８００ｃは、該移動表示されたポイ
ンタの位置を指示するようアニメーション表示される。
具体的には、図７に示されたように、キャラクタ８００
ｃの腕部分がポインタの移動に追随して角度θだけ動
く。なお、このようにキャラクタ８００ｃをアニメーシ
ョン表示するため、該キャラクタ８００ｃの特定動作ご
とに、予め用意されたアニメーションデータがＤ／Ｂ２
６２に格納されている。なお、モニタ画面８上に表示さ
れるキャラクタ８００ｃとしては、種々の形態が考えら
れるが、例えば、人形のキャラクタとぢ、擬人的に腕と
顔の向きをポインタの表示位置及び動作に追随させて変
化させるのが見る側にとってはわかりやすい。

【００３７】図８は、この発明に係るテレビ会議システ
ムで行われるモニタ画面表示方法（この発明に係るモニ
タ画面表示方法）として、対話者側モニタ画面上におけ
るカーソル移動モードの他の表示例を説明するための図
である。なお、図８（ａ）に示された実施形態は、モニ
タ画面８上に表示されるキャラクタ８００ｃの表示位置
が、図７に示された実施形態と異なっている。すなわ
ち、表示部２１は、モニタ画面８上においてマルチウィ
ンドウ表示可能であるため、ウィンドウの表示位置はモ
ニタ画面８上の所定位置に固定されることはない。した
がって、できるだけモニタ画面８上に表示されたウィン
ドウの有効情報を重ならないよう、相手対話者のマウス
操作に追随して表示されるポインタを指示するキャラク
タ８００ｃの表示位置は対話者自身の都合に合わせて任
意に決められる。また、このキャラクタ８００ｃは、指
摘するウィンドウと一部重なるよう表示しておけば、複
数のウィンドウがモニタ画面８上に表示されている場合
でもどのウィンドウを指示しているか見易くなるので好
ましい。

【００３８】一方、図８（ｂ）に示された実施形態で
は、実際に対話を終了する際に、相手対話者はマウスを
操作し、例えばモニタ画面８上の終了ボタンをクリック
する動作を行う。このようなマウスの移動及びクリック
動作に対応して表示されるポインタ８００ｆに追随して
キャラクタ８００ｃを移動表示させてもよい。このよう
に、キャラクタ８００ｃをポインタの移動に追随して移
動表示することにより、実際の終了作業に数秒間の時間
的猶予が与えられ各対話者の気持ちをスムーズに終了に
導くことができる。この場合、対話終了を示すプラカー
ドを持ったキャラクタ８００ｃ（図８（ｂ）参照）をデ
ザインすることにより、さらに状況認知が容易になる。
また、モニタ画面８上に複数のウィンドウが表示されて
いる場合、各ウィンドウにそれぞれ対応した複数のキャ
ラクタを表示させてもよい。この場合、ウィンドウごと
にキャラクタの形状、色等を変えておけば、よりわかり
やすいキャラクタ表示が可能になる。

【００３９】さらに、図９は、この発明に係るテレビ会
議システムで行われるモニタ画面表示方法（この発明に
係るモニタ画面表示方法）として、対話者側モニタ画面
上における入力モードの表示例を説明するための図であ
る。この実施形態では、相手対話者が入力ペン７５０を
用いてタブレット５００に文字入力を行う対話動作時の
モニタ画面８上の表示状態を示す。なお、モニタ画面８
上には相手対話者の映像８００ｄもウィンドウ表示され
ている。

【００４０】相手対話者がタブレット５００−入力ペン
７５０を介して文字入力すると、この入力情報はリアル
タイムで対話者側のモニタ画面８上にウィンドウ表示さ
れたホワイトボード８００ａ内に表示される。このと
き、モニタ画面８上に表示されたキャラクタ８００ｃ
が、ホワイトボード８００ａ内での文字表示に追随して
あいて対話者の文字入力動作を模擬した動作を行うよう
アニメーション表示させるのが好ましい。特に、手にペ
ンを持つようデザインされたキャラクタ８００ｃが表示
されることにより、操作内容、表示情報、表示方向な
ど、１つのキャラクタ８００ｃで多面的な認知が可能に
なる。「どこで何をするのか」、「今の状態は何か」な
どの認知に必要な補助情報が、キャラクタ８００ｃのデ
ザイン（ペンを持つなどの表示形態）とその動作を通じ
て、容易に提供可能になる。

【００４１】このアニメーション表示は、高速（ｍｓｅ
ｃオーダー）で行うことができるが、人間の感覚対応と
しては０．３〜５．０秒の範囲での認識ゆとりが必要で
あり、このような表示遅延は、ソフト的に対応できる。
また、モニタ画面８上にアニメーション表示されたキャ
ラクタ８００ｃの動作に合わせて、「シュッシュー」な
ど、適宜効果音を出力すれば、より臨場感が得られ好ま
しい。

【００４２】

【発明の効果】以上のようにこの発明によれば、相手対
話者のノンバーバルな情報を対話者自身に提供するよ
う、該あいて対話者の操作モード（カーソル移動や文字
入力など）に対応して、アニメーション表示されるキャ
ラクタをモニタ画面上に表示することにより、対話者自
身に直接対話でのみ得られる、視覚情報では表現できな
いノンバーバルな情報を提供し、所定の伝送手段を介し
た遠隔地対話の円滑な進行が実現できるという効果があ
る。

【図面の簡単な説明】

【図１】この発明に係るテレビ会議システムの概略構成
を示す図である。

【図２】遠隔地間において伝送手段を介して視線一致を
実現する双方向対話型システムの一構成を示す図であ
る。

【図３】図２に示された撮像装置を示す図であって、視
線一致のためのＣＣＤカメラの設置方法を説明するため
の図である。

【図４】視差角を説明するための図である。

【図５】ＣＣＤカメラが設置されるべき領域を示す図で
ある。

【図６】この発明に係る端末装置の構成を示すブロック
図である。

【図７】この発明に係るテレビ会議システムで行われる
モニタ画面表示方法（この発明に係るモニタ画面表示方
法）として、対話者側モニタ画面上におけるカーソル移
動モードの表示例を説明するための図である。

【図８】この発明に係るテレビ会議システムで行われる
モニタ画面表示方法（この発明に係るモニタ画面表示方
法）として、対話者側モニタ画面上におけるカーソル移
動モードの他の表示例を説明するための図である。

【図９】この発明に係るテレビ会議システムで行われる
モニタ画面表示方法（この発明に係るモニタ画面表示方
法）として、対話者側モニタ画面上における入力モード
の表示例を説明するための図である。

【符号の説明】

８…モニタ画面、２１（２１Ａ、２１Ｂ）…表示部、３
（３Ａ、３Ｂ）…対話者Ａ、Ｂ、５（５Ａ、５Ｂ）…Ｃ
ＣＤカメラ、６（６Ａ、６Ｂ）…撮像ユニット、６００
（６００Ａ、６００Ｂ）…撮像装置、２６（２６Ａ、２
６Ｂ）…映像処理装置、２００…サーバ、２５０…管理
テーブル、２６２…Ｄ／Ｂ、２６３…制御部、５００
（５００Ａ、５００Ｂ）…タブレット、７５０（７５０
Ａ、７５０Ｂ）…入力ペン、９００…マウス（ポインテ
ィング・デバイス）、９１０…音源コントローラ、９２
０…スピーカ。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 所定の伝送手段で接続された端末装置を
   間で複数種類のメディアによるデータ送受信を行うこと
   により遠隔地対話を実現するテレビ会議システムにおけ
   るモニタ画面表示方法であって、 対話者側モニタ画面上に、相手対話者側モニタ画面内で
   行われる該相手対話者の操作内容を表現するためのキャ
   ラクタを表示し、 前記相手対話者側モニタ画面内で行われる相手対話者の
   操作情報を受信し、 受信した操作情報に基づいて、前記相手対話者側モニタ
   画面内に表示されたカーソルに対応するポインタを対話
   者側モニタ画面上に表示するとともに、相手対話者の操
   作モードに対応して、前記キャラクタの動作を切替えて
   アニメーション表示するモニタ画面表示方法。
2. 【請求項２】 前記相手対話者の操作モードは、前記相
   手対話者側モニタ画面内でカーソルを移動させるカーソ
   ル移動モード、及び、前記相手対話者側モニタ画面内の
   所定位置に直接視覚情報を入力する入力モードが含まれ
   ることを特徴とする請求項１記載のモニタ画面表示方
   法。
3. 【請求項３】 前記カーソル移動モードは、前記対話者
   側モニタ画面上に表示されたポインタの位置を指示する
   よう前記キャラクタをアニメーション表示するととも
   に、該ポインタの移動に追随して前記キャラクタの少な
   くとも一部形状が変化するようアニメーション表示する
   ことを特徴とする請求項２記載のモニタ画面表示方法。
4. 【請求項４】 前記対話者側モニタ画面上に表示される
   ポインタの移動に伴って、前記キャラクタの表示位置を
   変化させることを特徴とする請求項３記載のモニタ画面
   表示方法。
5. 【請求項５】 前記入力モードは、前記相手対話者側モ
   ニタ画面内に相手対話者が直接入力する視覚情報を対話
   者側モニタ画面上に表示するとともに、該対話者側モニ
   タ画面上に表示される視覚情報の表示位置変化に追随し
   て前記キャラクタの少なくとも一部形状が変化するよう
   アニメーション表示することを特徴とする請求項２記載
   のモニタ画面表示方法。
6. 【請求項６】 所定の伝送手段で接続された端末装置を
   間で複数種類のメディアによるデータ送受信を行うこと
   により遠隔地対話を実現するテレビ会議システムにおけ
   る端末装置であって、 マルチウィンドウ表示可能な表示部と、 対話者側モニタ画面上に、相手対話者側モニタ画面内で
   行われる該相手対話者の操作内容を表現するためのキャ
   ラクタをアニメーション表示するためのキャラクタデー
   タが格納されたデータベースと、 前記相手対話者側モニタ画面内で行われる相手対話者の
   操作情報を受信するためのデータ入出力手段と、 受信した操作情報に基づいて、前記相手対話者側モニタ
   画面内に表示されたカーソルに対応するポインタを対話
   者側モニタ画面上に表示するとともに、相手対話者の操
   作モードに対応して、前記キャラクタの動作を切替えて
   アニメーション表示するための表示制御手段とを備えた
   端末装置。
7. 【請求項７】 前記相手対話者の操作モードは、前記相
   手対話者側モニタ画面内でカーソルを移動させるカーソ
   ル移動モード、及び、前記相手対話者側モニタ画面内の
   所定位置に直接視覚情報を入力する入力モードが含まれ
   ることを特徴とする請求項６記載の端末装置。
8. 【請求項８】 前記表示制御手段は、前記カーソル移動
   モードとして、前記対話者側モニタ画面上に表示された
   ポインタの位置を指示するよう前記キャラクタをアニメ
   ーション表示するとともに、該ポインタの移動に追随し
   て前記キャラクタの少なくとも一部形状が変化するよう
   アニメーション表示することを特徴とする請求項７記載
   の端末装置。
9. 【請求項９】 前記表示制御手段は、前記対話者側モニ
   タ画面上に表示されるポインタの移動に伴って、前記キ
   ャラクタの表示位置を変化させることを特徴とする請求
   項８記載の端末装置。
10. 【請求項１０】 前記表示制御手段は、前記入力モード
    として、前記相手対話者側モニタ画面内に相手対話者が
    直接入力する視覚情報を対話者側モニタ画面上に表示す
    るとともに、該対話者側モニタ画面上に表示される視覚
    情報の表示位置変化に追随して前記キャラクタの少なく
    とも一部形状が変化するようアニメーション表示するこ
    とを特徴とする請求項７記載のモニタ画面表示方法。
11. 【請求項１１】 請求項６〜１０のいずれか一項記載の
    端末装置を含むテレビ会議システム。
12. 【請求項１２】 請求項１〜５のいずれか一項記載の方
    法を実行するコンピュータプログラム。
13. 【請求項１３】 コンピュータにより請求項１〜５のい
    ずれか一項記載の方法を実行するコンピュータプログラ
    ムが記録された記録媒体。