JP2000244886A

JP2000244886A - コンピュータ会議システム、コンピュータ処理装置、コンピュータ会議を行う方法、コンピュータ処理装置における処理方法、ビデオ会議システム、ビデオ会議を行う方法、ヘッドホン

Info

Publication number: JP2000244886A
Application number: JP2000012169A
Authority: JP
Inventors: James Taylor Michael; ジェームステイラーマイケル; Michael Low Simon; マイケルロウサイモン; Stephan Wiles Charles; ステファンワイルズチャールズ; Joseph Davison Alan; ジョゼフダビソンアラン
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-01-20
Filing date: 2000-01-20
Publication date: 2000-09-08

Abstract

(57)【要約】（修正有）【課題】ビデオ会議システム等において、会議におけ
る出席者間の意思疎通を円滑に行うことができるシステ
ムを提供すること。【解決手段】各ユーザー・ステーション2〜14におい
て、出席者を表すアバターを含む３次元コンピュータモ
デルの画像が表示される。一対のカメラ26、28を使用し
て、ボディ・マーカー70、72とライト56〜64が取り付け
られたヘッドホン30を着用したユーザーの画像データを
処理して、ユーザーの動きと注視している表示画像中の
点とを決定する。この情報はその他のユーザー・ステー
ションへ伝送され、アバターの頭部の動きがユーザーの
頭部の換算された動きに対応するようにアニメ化され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は遠隔地間の会議の分
野に関し、特に、会議出席者の現実の動きに合わせて３
次元コンピュータモデル(アバター(avatar))をアニメ化
することによって行うコンピュータ会議及びビデオ会議
の分野に関する。

【０００２】

【従来の技術】ビデオ会議のような遠隔地間の会議を行
うためのいくつかのシステムが知られている。

【０００３】代表的な従来型のシステムでは、１台のカ
メラを使って１人またはそれ以上の会議出席者の画像が
記憶され、その画像データがその他の出席者へ伝送され
そこで表示される。

【０００４】３ヶ所またはそれ以上のサイトにいる出席
者を含む会議では、データは、その他のサイトからの出
席者のビデオ画像を表示画面上に並べて表示することに
より出席者の中の所定の人に対して表示される。

【０００５】しかしこのタイプのシステムにはいくつか
の問題点がある。例えば、出席者の注視方向(すなわち
出席者が見ている場所)と出席者の身振りをその他の出
席者たちへ正確に伝えることができない。

【０００６】特に、ある出席者が、画面の右側に表示さ
れている出席者の方へ頭の向きを変えたり指差したりす
る場合、その他の出席者は、ユーザーが右側へ頭部を動
かしたり、指差したりする姿は見えるけれども、その動
きが会議中のその他の出席者たちとどのように関係する
のかを理解することができない。したがって、効率の良
い意思の疎通を行うために必要な手がかりとして示され
るアイ・コンタクトを再現することができない。

【０００７】意思疎通のための注視および身振りという
問題に対する通常の解決手段として、出席者全員が共有
するバーチャル空間中でビデオ会議を行うという方法が
ある。

【０００８】各出席者は、このバーチャル空間でアバタ
ー(すなわち３次元コンピュータモデル)によって表さ
れ、次いでこれらのアバターは、現実の出席者の動きか
ら測定される動きパラメータを用いてアニメ化される。
この様にして、出席者は必要な動きパラメータを自分の
アバターへ伝送することによって会議室の中を動き回る
ことができる。このバーチャル空間中のアバターの画像
は各出席者に対して表示され、模擬ビデオ会議が目に見
えるようになる。

【０００９】このようなシステムで画像表示を行うため
に提案されている方法には現実の会議の場合に出席者が
配置されているように、等身大の大画面表示装置上に画
像を表示する方法が含まれる。そのような例が「バーチ
ャル空間テレビ会議：３Ｄ人物画像のリアルタイム再
生」(J. Ohya、Y. Kitamura、F. Kishino及びN. Terash
ima著、視覚通信及び画像表示ジャーナル、6(1)、p.1〜
25、1995年3月)に記載されている。

【００１０】この様にして、画像で表示される出席者が
その頭部を動かすと、会議室の様々な部分が現実の世界
の会議で見えるのと同じように画面の様々な部分が見え
るようになる。しかし、この方法には表示装置が極端に
大きくなり費用が嵩むという問題がある。

【００１１】バーチャル会議の画像を表示するために提
案されている別の方法として、従来型の狭い画面表示装
置上に画像を表示し、例えばUS5736982に記載されてい
るように出席者のアバターの視線方向がバーチャル空間
で変化するとき、表示装置上に表示された視野を出席者
に対して変化させる方法がある。またヘッドマウント・
ディスプレイを装着して上記のように画像を表示する方
法も提案されている。しかし、これらのシステムの問題
点として、表示画像がユーザーをまごつかせ不自然な画
像であると感じさせるという点がある。さらに、ヘッド
マウント・ディスプレイは高価であり多少扱いにくい。

【００１２】意思疎通のための注視及び身振り情報に対
する更なるアプローチが、「多数共同(multiparty)ビデ
オ会議用インターフェース」(Buxton他著、ビデオ仲介
通信(編集人Finn、Seller & Wilbur)、Lawrence Album
Associates社、1997年、ISBN0-8058-2288-7、p.385〜40
0)に開示されている。このシステムではバーチャル会議
というアプローチは採用されていない。その代わりに各
出席者のビデオ画像が記憶され、その他の出席者へ伝送
される。次いで各出席者のビデオ画像は、出席者が現実
のビデオ会議で占めるのと正確に同じ位置で視聴者(vie
wer)のデスクの周りに設けられる別々の表示モジュール
上に表示される。このシステムには、会議の出席者の数
が増加するにつれて、表示モジュールの数が、従ってコ
ストが増大し、正しい位置にモジュールを設置する処理
に難しく時間がかかるという問題がある。

【００１３】「Look Who's Talking : GAZEグループウ
ェアシステム」(Vertegaal他著、コンピューティング・
システムにおける人間的要因に関するACM-CHI'98会議の
概要(ロス・アンジェルス、1958年4月、p.293〜294))の
中に更なるアプローチが開示されている。

【００１４】このシステムでは、共有バーチャル会議室
が再度提案されているが、アバターの代わりに各出席者
が座る場所に２次元モデルの表示画面が配置されてい
る。次いで、このバーチャル会議室の画像は各出席者に
とって独自の一定の視点から描画される。視標追跡シス
テムを使用して各出席者の現実の目の動きが測定され、
カメラによってユーザーのスナップショットが記憶され
る。

【００１５】次いで、１つまたは２つの軸線の回りを回
転させることによりバーチャル会議室の出席者を表す２
Ｄ表示画面上の画像が、出席者の目の動きに従って動か
される。そしてスナップショットされた画像データが２
Ｄ表示画面上に呈示される。このシステムにもいくつか
の問題がある。例えば、各出席者へ表示される画像がリ
アルではなく、５人以上の会議出席者がいるバーチャル
会議室に２Ｄ表示画面を配置することは困難になる。

【００１６】

【発明が解決しようとする課題】本発明は、上記の問題
点を解決するために成されたものであり、その主な目的
は、会議における出席者間の意思疎通を円滑にすること
にある。

【００１７】

【課題を解決するための手段】本発明は、コンピュータ
会議のシステムと方法及びこのシステムと方法で用いる
装置を提供するものである。該装置では、各出席者の装
置において異なる３次元モデルの出席者のアバターを与
えることにより、及び、対応する出席者が現実にどこを
注視しているかを特定する情報を用いて各アバターの視
方向を変えることにより注視情報が伝えられる。

【００１８】この手法では、３次元モデルが各出席者の
装置で異なるので、出席者のアバターは各装置で異なる
動きをし、注視情報を正確に伝えることができる。

【００１９】また、本発明によれば、出席者が使用する
複数の装置を有するバーチャル会議を行うシステムが提
供される。該システムは、現実の出席者の頭部の回転に
よって、対応する異なるアバターの頭部の回転が異なる
装置において生じるようにデータ生成と交換とが行われ
るようにされる。

【００２０】また本発明によれば、バーチャルなビデオ
会議システムと方法とが提供され、このシステムと方法
で用いる装置が提供される。該装置では、視聴者の頭部
が動いても変化しない視点から、出席者に対応する３次
元コンピュータモデル画像が表示され、視聴者の頭部が
動くにつれて音声が変化するように出席者の音声はヘッ
ドホンを通じて視聴者へ出力される。

【００２１】これらの特徴によって従来のものよりビデ
オ会議が出席者にとって自然なものとなり、混乱が少な
いという利点が与えられる。

【００２２】また、本発明によれば、バーチャルビデオ
会議システムと方法とが提供され、このシステムと方法
で用いる装置が提供される。該装置では、出席者に対応
する３次元コンピュータモデルの頭部の動きは現実の出
席者の頭部の動きに依存する。この動きは各出席者が着
用するヘッドホンを用いて決定される。

【００２３】好適には、対応する人物の顔を記録したビ
デオデータを用いて表示用画像データを生成して各モデ
ルの顔を描画することが望ましい。この方法において、
ヘッドホンを使用することにより、描画に使用されるビ
デオ画像部分の識別を容易に行うことができるという追
加的利点が与えられる。

【００２４】また、本発明によれば、出席者に対応する
３次元コンピュータモデルの動きが現実の出席者の動き
に依存する形式のバーチャルビデオ会議システムで使用
される装置と方法とが提供される。この場合、出席者の
動作は、複数のカメラから得た画像を出席者の動きを決
定する際に用いられる変換を決定するために処理した
後、該カメラから得た画像を処理することによって決定
される。

【００２５】上記の特徴によって、(偶然または故意の
いずれかによって)出席者がカメラを動かした場合に生
じ得る異なるカメラ構成についても変換を決定できると
いう利点が提供される。

【００２６】

【発明の実施の態様】本発明の実施例について添付図面
を参照しながら以下例を挙げて説明する。

【００２７】参照図1を見ると、本実施例では複数のユ
ーザー・ステーション2、4、6、8、10、12、14が、イン
ターネット、広域ネットワーク(WAN)などのような通信
路20を介して接続している。

【００２８】以下に説明するように、各ユーザー・ステ
ーション2、4、6、8、10、12、14は、ユーザー・ステー
ションでユーザー間のデスクトップビデオ会議を容易に
する装置を有する。

【００２９】図2A、2B、2Cは本実施例の各ユーザー・ス
テーション2、4、6、8、10、12、14の構成要素を図示す
る。

【００３０】参照図2Aを見ると、ユーザー・ステーショ
ンは、従来型のパーソナル・コンピュータ(PC)24、２つ
のビデオカメラ26、28及び一対のステレオ・ヘッドフォ
ン30を有する。

【００３１】PC24は、従来のように、表示装置34及びユ
ーザー入力装置と共に１つまたはそれ以上のプロセッ
サ、メモリ及びサウンド・カードなどを含むユニット32
を有する。本実施例では上記ユーザー入力装置はキーボ
ード36とマウス38を有する。

【００３２】PC24はプログラムされ、プログラム命令入
力に従って動作する。そのようなプログラム命令入力と
して、例えば、ディスク40のようなデータ記憶媒体上に
記憶されたデータ及び／又はインターネットなどのよう
なデータリンク(図示せず)を介して及び／又はキーボー
ド36を介してユーザーが入力するPC24への信号入力があ
る。

【００３３】PC24は接続線(図示せず)を介してインター
ネット20と接続し、その他のユーザー・ステーションへ
のPC24によるデータ伝送と、その他のユーザー・ステー
ションからのデータ受信が可能になっている。

【００３４】ビデオカメラ26と28はユーザー44のビデオ
画像を記憶するために設けられ、本実施例では従来型の
電荷結合素子(CCD)設計からなるものである。以下に記
載するように、カメラ26と28によって記憶された画像デ
ータはPC24によって処理され、ユーザー44の動きを特定
するデータが生成される。次いでこのデータはその他の
ユーザー・ステーションへ伝送される。各ユーザー・ス
テーションは、各出席者を表すアバターを含むビデオ会
議を示す３次元コンピュータモデルを記憶し、各アバタ
ーは対応する出席者のユーザー・ステーションから受信
したデータに応じてアニメ化される。

【００３５】図2Aに図示の例では、カメラ26と28はモニ
ター34の頂部に配置されているが、他の場所に配置して
ユーザー44を視ることもできる。

【００３６】参照図2Aと2Bを見ると、複数のカラー・マ
ーカー70、72がユーザー44の衣服に取り付けられる。各
マーカーは様々な色を持ち、後に説明するように、ビデ
オ会議中のユーザーの胴と腕の位置を決定するために使
用される。マーカー70は、伸縮性のあるバンドにつけら
れユーザーの両手首、両ひじと両肩の周りに着用され
る。複数のマーカー70が各々伸縮性のあるバンドで提供
され、ユーザーの両腕の各々の位置と方向を示す少なく
とも１つのマーカーを見ることができる。マーカー72に
は適当な接着テープが付けられ、例えば、図2Bに図示の
ように、ユーザーの衣服のボタン位置のような中心線に
沿ってユーザー44の胴に取り外し可能に取り付けること
ができるようになっている。

【００３７】参照図2Cを見ると、ヘッドホン30はイヤホ
ン48、50と、従来型のヘッドバンド54に設けたマイク52
とを有する。さらに、発光ダイオード(LED)56、58、6
0、62、64がヘッドバンド54上に設けられる。LED56、5
8、60、62、64の各々は様々な色を持ち使用中連続して
発光する。後に説明するように、LEDはビデオ会議中の
ユーザーの頭部位置を決定するために使用される。

【００３８】LED56はイヤホン48に関して中心になるよ
うに取り付けられ、LED64はイヤホン50に関して中心に
なるように取り付けられる。LED56とイヤホン48の内面
との間の及びLED64とイヤホン50の内面との間の距離
“ａ”は、以下に記載するようにPC24に予め記憶されビ
デオ会議中に行う処理の際に使用される。LED58と62は
滑動可能にヘッドバンド54に取り付けられ、その位置を
ユーザー44が個々に変更することができる。LED60はヘ
ッドバンド54の頂部の上に突き出るように部材66に取り
付けられる。この様にして、LED60は、ユーザー44の頭
部に取り付けたときユーザーの頭髪からはっきり見分け
られるようになる。LED56、58、60、62、64の各々はヘ
ッドバンド54の幅の中心に取り付けられ、LEDはヘッド
バンド54によって特定される平面に存在するようにな
る。

【００３９】マイク52から出る信号とヘッドホン48、50
へ入ってくる信号とはケーブル68のワイヤを介してPC24
を行き来する。LED56、58、60、62、64への電力もケー
ブル68のワイヤによって送られる。

【００４０】図3は、PC24の構成要素がプログラム命令
によってプログラムされたとき、効率良く構成される機
能ユニットを概略的に図示する。図3に図示のユニット
と相互接続は概念的なものであり、理解を助けるために
例示を目的として示されるものにすぎない。これらの装
置と接続はPC24のプロセッサ、メモリなどを構成する正
確なユニットと接続とを必ずしも表すものではない。

【００４１】参照図3を見ると、中央制御装置100はキー
ボード36とマウス38のようなユーザー入力装置からの入
力を処理し、いくつかのその他の機能ユニットの制御と
処理を実行する。メモリ102は中央制御装置100によって
使用される。

【００４２】ビデオカメラ26と28によって記憶された画
像データのフレームは画像データプロセッサ104によっ
て受信される。画像データプロセッサ104がカメラによ
って撮られた画像を同時に処理できるようにカメラ26と
28の動作は同期する。画像データプロセッサ104は画像
データ(カメラ26から撮った画像データとカメラ28から
撮った画像データ)からなる同期フレームを処理し、(i)
ユーザーの顔を表す画像画素データ、(ii)ユーザーの両
腕と胴につけたマーカー70と72の各々の３Ｄ座標、(ii
i)更に以下で説明するように、ユーザーの注視方向を特
定する注視点パラメータを特定するデータを生成する。
メモリ106は画像データプロセッサ104によって使用され
るように設けられる。

【００４３】画像データプロセッサ104が出力するデー
タとマイク52から得られる音声とはMPEG4符号器108によ
って符号化され、MPEG4ビット・ストリームとして入出
力インターフェース110を介してその他のユーザー・ス
テーションへ出力される。

【００４４】対応するMPEG4ビット・ストリームはその
他のユーザー・ステーションの各々から受信され、入出
力インターフェース110を介して入力される。ビット・
ストリーム(ビット・ストリーム1、ビット・ストリーム
2....ビット・ストリーム“n”)の各々はMPEG4復号器11
2によって復号化される。

【００４５】ビデオ会議のその他の出席者の各々の３次
元アバター(コンピュータモデル)と、会議室の３次元コ
ンピュータモデルとがアバター及び３Ｄ会議モデル用記
憶装置114の中に記憶される。

【００４６】その他の出席者からのMPEG4ビット・スト
リーム中の情報に応じて、モデル・プロセッサ116が記
憶されたアバターをアニメ化し、各アバターの動きはビ
デオ会議の対応する出席者の動きを模倣するように成さ
れる。

【００４７】画像描画器118は会議室とアバターの３Ｄ
モデル画像を描画し、その結果生じる画素データがフレ
ーム・バッファ120へ書込まれ、ビデオ・レートでモニ
ター34に表示される。この様にして、アバターと３Ｄ会
議モデルの画像がユーザーに対して表示され、これらの
画像によって現実の出席者の動きに対応する各アバター
の動きが示される。

【００４８】その他の出席者から受信したMPEG4ビット
・ストリームから得られる音声データは、ユーザー44の
頭部の現在の位置と方向を特定する画像データプロセッ
サ104からの情報と共に音響発生器122によって処理さ
れ、信号を生成してイヤホン48と50へ出力され、ユーザ
ー44に対して音声が生じる。さらに、マイク52からの信
号は音響発生器122によって処理され、ユーザー自身の
マイク52からの音声はヘッドホン48と50を介してユーザ
ーの耳に聞こえるようになる。

【００４９】図4は、トップレベルで、ユーザー・ステ
ーション2、4、6、8、10、12、14の出席者の間でビデオ
会議を行うために実行される処理を示す図である。

【００５０】参照図4を見ると、ステップS2でユーザー
・ステーション2、4、6、8、10、12、14の各々の間の適
切な通信接続が従来の方法で確立される。

【００５１】ステップS4でビデオ会議の設定を行うため
の処理が実行される。これらの操作は、会議コーディネ
ータとして前に指定されたユーザー・ステーションの中
の１つによって行われる。

【００５２】図5は、ステップS4で行われる会議の設定
を行うための処理を示す。

【００５３】参照図5を見ると、ステップS20で、会議コ
ーディネータは各出席者の氏名を求め、返答を受信した
ときそれらの返答を記憶する。

【００５４】ステップS22で、会議コーディネータは各
出席者のアバターを求め、アバターを受信したときその
アバターを記憶する。各々のアバターは出席者を表す３
次元コンピュータモデルを有するが、従来の方法で、前
回の会議の出席者のレーザー・スキャニング(laser-sca
nning)によって各々のアバターを示してもよい。あるい
は、例えばSurrey大学技術レポートCVSSP - hilton98a
(Surrey大学、ギルフォード(Guildford)、英国)に記載
されているような他の従来の方法でこれらのアバターを
示してもよい。

【００５５】ステップS24で、会議コーディネータはビ
デオ会議に参加する出席者の座席プランを特定する。本
実施例では、このステップには、各出席者(会議コーデ
ィネータを含む)への番号の割り当て及び例えば図6に図
示のような出席者の円形の順序の特定が含まれる。

【００５６】ステップS26で、会議室コーディネータ
は、ビデオ会議に円形の会議室用テーブルを使用するか
長方形の会議室用テーブルを使用するかを選択する。

【００５７】ステップS28で、会議コーディネータはイ
ンターネット20を介してステップS22で受信したアバタ
ー(自身を含む)の各々を特定するデータと、出席者番号
とステップS24で特定した座席プラン、ステップS26で選
択したテーブルの形状及びステップS20で受信した出席
者の氏名(コーディネータ自身を含む)をビデオ会議のそ
の他の出席者の各々へ送る。

【００５８】再度参照図4を見ると、ステップS6で、各
ユーザー・ステーション2、4、6、8、10、12、14(会議
コーディネータのユーザー・ステーションを含む)の調
整処理が行われる。

【００５９】図7は、ユーザー・ステーションの中の１
つを調整するステップS6で実行される処理を示す。これ
らの処理がすべてのユーザー・ステーションにおいて行
われる。

【００６０】参照図7を見ると、ステップS28で会議コー
ディネータによって伝送されたデータ(図5)がステップS
40で受信され記憶される。各出席者の３次元アバターモ
デルは、アバター及び３Ｄ会議モデル用記憶装置114中
のそれ自身のローカル基準系(local reference-system)
に記憶される。その他のデータは、次回に使用するとき
などのためにメモリ102中に記憶される。

【００６１】ステップS42で、ユーザー44は中央制御装
置100からカメラ26、28に関する情報を入力するように
要求される。中央制御装置100は、各カメラについてミ
リメートル単位でレンズの焦点距離とカメラ内部の画像
電荷結合素子(CCD)のサイズを入力するようにユーザー
に要求するメッセージをモニター34上に表示して、この
入力要求を行う。従来型のカメラのリストをモニター34
上に表示することによってこの要請を行ってもよい。こ
のリストに対する所望の情報はメモリ102に予め記憶さ
れる。また、このリストの中からユーザー44は使用カメ
ラを選択したり、情報を直接ユーザー入力することがで
きる。ステップS44で、ユーザーが入力したカメラ・パ
ラメータは、将来使用するときなどのためにメモリ102
の中に記憶される。

【００６２】ステップS46で、中央制御装置100は、モニ
ター34の画面幅をミリメートルで入力するようにユーザ
ー44に要求するメッセージをモニター34上に表示する。
そして、ユーザーによるこの入力幅は将来使用するとき
などのためにステップS48でメモリ102に記憶される。

【００６３】ステップS49で、中央制御装置100は、図2
A、2B、2Cを参照して前に説明したように、ヘッドホン3
0とボディ・マーカー70、72を着用するようにユーザー
に対して指示するメッセージをモニター34上に表示す
る。ユーザーがこのステップを完了したとき、キーボー
ド36を使って中央制御装置100へ信号を入力する。次い
でユーザー44が着用するヘッドホン30へ電力が供給さ
れ、LED56、58、60、62、64の各々が連続して発光する
ようになる。

【００６４】ステップS50で中央制御装置100によってメ
ッセージがモニター34上に表示され、LEDとユーザーの
両眼とが横一直線になるようにヘッドホン30の可動LED5
8、62を位置決めするようにユーザーは指示される。ユ
ーザーは、ヘッドバンド54上でLED58と62を滑動させて
ユーザーの両眼と横一直線になるようにしてからキーボ
ード36を使って中央制御装置100へ信号を入力する。

【００６５】ステップS52で中央制御装置100によってメ
ッセージがモニター34上に表示され、両方のカメラがPC
24の正面でユーザーの位置をカバーする視野を持つよう
にカメラ26と28の位置を決めるようにユーザーは指示さ
れる。

【００６６】ユーザーは、カメラの位置決めを行ってか
らキーボード36を使って中央制御装置100へ信号を入力
する。

【００６７】ステップS54で中央制御装置100によってメ
ッセージがモニター34上に表示され、ビデオ会議中ユー
ザーが移動する可能性のある全範囲にわたって前方と後
方及び各両サイドまで移動するようにユーザーは指示さ
れる。ステップS56で、ユーザーが移動するにつれて、
画像データのフレームがカメラ26と28によって記憶さ
れ、モニター34上に表示されてユーザーはすべての位置
で各カメラに自分が見えるかどうかをチェックすること
ができるようになる。

【００６８】ステップS58で中央制御装置100によってメ
ッセージがモニター34上に表示され、ユーザーの移動す
る可能性のある全範囲にわたってユーザーの姿が見える
ようにカメラ位置の調整を行う必要があるかどうかユー
ザーは尋ねられる。ユーザーがキーボード36を使って、
カメラ位置の調整が必要であることを示す信号を入力し
た場合、カメラの位置決めが正しく行われるまでステッ
プS52〜S58が繰り返される。一方、ユーザーがカメラの
位置決めが正しく行われたことを示す信号を入力した場
合処理はステップS60へ進む。

【００６９】ステップS60で、中央制御装置100はユーザ
ー44のアバターを特定するデータを処理して、ユーザー
の頭部の比率、すなわちユーザーの頭部の長さ(ユーザ
ーの頭部の頂部と首の頂部の間の距離によって特定され
る)に対するユーザーの頭部の幅(ユーザーの両耳の間の
距離によって特定される)の比率及び現実のユーザーの
頭部の幅(アバターのスケールがわかっているので決定
できる)が決定される。この頭部比率と現実の幅は、例
えばメモリ106に記憶され画像データプロセッサ104によ
って次の機会に使用される。

【００７０】ステップS62で、中央制御装置100と画像デ
ータプロセッサ104とによって、ステップS56で前に記憶
された画像データのフレーム(カメラ26と28が最終回の
位置決めを行った後)を使ってビデオ会議中使用するカ
メラ用変換モデルが決定される。カメラ用変換モデルは
カメラ26の画像平面(すなわちCCDの平面)とカメラ28の
画像平面との間の関係を特定するものであり、この関係
を用いて、カメラ26と28によって記憶されたこれらのLE
Dとマーカーの画像を利用してヘッドホンLED56、58、6
0、62、64とボディ・マーカー70、72の３次元位置が再
構成される。

【００７１】図8は、カメラ用変換モデルを決定するた
めにステップS62で中央制御装置100と画像データプロセ
ッサ104とによって実行される処理を示す図である。

【００７２】参照図8を見ると、ステップS56で記憶され
た画像データのフレームがステップS90で処理され、最
左端の位置を示す一対の同期画像(すなわち同時に記憶
されたカメラ26からの画像とカメラ28からの画像)と、
最右端の位置を示す一対の同期画像と、最前方の位置を
示す一対の同期画像と、ユーザーが移動した最後方の位
置を示す一対の同期画像とが特定される。本実施例で
は、ステップS56でカメラの中の一方によって記憶され
た一続きの画像を表示し、例えば、一番端の位置の各々
を表す画像が表示されたとき、キーボード36またはマウ
ス38を介して信号を入力するようにユーザーに対して指
示することによりステップS90は実行される。上に述べ
たように、これらの位置はビデオ会議中ユーザーが移動
する可能性のある範囲を表す。ユーザーに対してある角
度でカメラ26と28の各々の位置が決められているため、
右側または左側へのユーザーの動きによって各々のカメ
ラからユーザーまでの距離が増減することになるので、
最前方及び最後方の位置を表す画像のみならず、最左端
の位置及び最右端の位置を表す画像も特定され、カメラ
用変換モデルを決定する次の処理で考慮される。

【００７３】ステップS90で特定された４対の画像(すな
わち最左端の位置を表す一対の画像、最右端の位置を表
す一対の画像、最前方の位置を表す一対の画像及び最後
方の位置を表す一対の画像)の各々を表す画像データは
ステップS92で処理されて、各対の画像の中で目に見え
るLED56、58、60、62、64とカラーのボディ・マーカー7
0、72の位置が特定され、対になった画像間で特定され
た各点にマッチする。このステップで、各LEDと各ボデ
ィ・マーカーは独自の所定のカラーを持っているので、
同期した一対の各画像を表す画素データが処理され、画
素のRGB値を調べることによって所定のカラーの中の１
つを有する画素が特定される。次いで、所定のカラーの
１つを有する画素から成る各グループが畳み込みマスク
を用いて処理され、画素から成るグループの中心座標が
全体としてこの画像の範囲内で発見される。これは例え
ば「画像シーケンスのアフィン（affine）分析」(L. S.
Shapiro、ケンブリッジ大学出版局、1995、ISBN 0-521
-55063-7、p.16〜23)に記載されているような従来の方
法で行われる。同じカラーを持つ各画像の中で点を特定
することによって画像間の点のマッチングが行われる
(言うまでもなく、マーカーまたはLEDがカメラ26または
28のうちの一方だけに見え、従って、たった１つの画像
の中にしか現れない場合、一対のマッチした点がこのLE
Dまたはマーカーについて特定されることはない)。

【００７４】ステップS92で特定されマッチした点の座
標はステップS94で正規化される。この時まで、画像の
上部左手コーナーから１つの画像を横断して下方へ画素
数に関してこれらの点の座標が特定される。ステップS4
4で前に記憶したカメラの焦点距離と画像平面サイズと
を用いて、画素から得たこれらの点の座標をステップS9
4で座標系へ変換する。該座標系はミリメートル座標で
その原点はカメラの光心にある。このミリメートル座標
は以下のように画素座標と関連する。

【００７５】

【数１】

【００７６】

【数２】

【００７７】ここで、(x^＊,y^＊)はミリメートル座標で
あり、(x,y)は画素座標であり、(Cｘ,Cｙ)は(画素中の)
画像の中心である。該中心は水平及び垂直方向の画素数
の1/2と特定され、“h”と“v”は隣接画素間の水平及
び垂直距離(mm)である。

【００７８】ステップS92で特定された点のすべてのマ
ッチした一対の集合がステップS96で形成される。した
がってこの組み合わされた集合には画像のすべての４つ
の対を表す点が含まれる。もちろん、各々の対の画像か
ら得た組み合わされた集合中の点の数は、どのLEDとボ
ディ・マーカーが画像中に見えるかに依って異なってい
てもよい。しかしこの多数のボディ・マーカーとLEDと
によって、組み合わされた集合中に最低4×7＝28対のマ
ッチした点を示す各画像中に少なくとも７つのマーカー
またはLEDが見えることが保証される。

【００７９】ステップS98で、測定用行列Mが、ステップ
S96でつくられた組み合わされた集合中の点について以
下のように設定される。

【００８０】

【数３】

【００８１】ここで、(x,y)は、第１の画像中の点を示
す一対の画素座標であり、(x’,y’)は第２の画像中の
対応する(マッチした)点の一対の画素座標であり、番号
1−kはどの対の点に座標が対応するかを示す(全部でk対
の点が存在する)。

【００８２】組み合わされた集合の中のマッチした点に
ついて最も正確なカメラ用変換がステップS100で計算さ
れる。ステップS96でつくられた点の組み合わされた集
合を用いてこの変換を計算することにより、ユーザーの
最左端の位置を表す一対の画像、ユーザーの最右端の位
置を表す一対の画像、ユーザーの最前方の位置を表す一
対の画像及びユーザーの最後方の位置を表す一対の画像
中でマッチした点を用いてこの変換計算が行われる。し
たがって、この計算された変換はユーザーの作業空間全
体にわたって有効なものになる。

【００８３】図9は最も正確なカメラ用変換を計算する
ためにステップS100で実行される処理を示す。

【００８４】図9を見ると、ステップS130で、配景変換
（perspective transformation）が計算されテストされ
記憶される。

【００８５】図10はステップS130で実行される処理を示
す図である。

【００８６】参照図10を見ると、ステップS96でつくら
れた組み合わされた集合中の次の７対のマッチした点が
ステップS140で選択される(これを最初の７対として第
１回目のステップS140が実行される)。

【００８７】ステップS142で、選択した７対の点とステ
ップS98で設定した測定用行列を用いて、カメラの間の
幾何学的関係を表す基本行列Fが計算される。Fは以下の
式を満す３×３の行列である。

【００８８】

【数４】

【００８９】ここで、(x,y,1)は、一対の第１の画像中
の７つの選択点のうちの任意の点を示す均一な画素座標
であり、(x’,y’,1)は一対の第２の画像中の対応する
均一な画素座標である。

【００９０】「基本行列を推定中の縮退構成のロバスト
検出」(P.H.S. Torr、A. Zisserman及びS. Maybank著、
オクスフォード大学技術レポート2090/96)などに開示さ
れている手法を利用する従来の方法でこの基本行列は計
算される。

【００９１】ステップS140で８対以上のマッチした点を
選択しこれらを用いてステップS142で基本行列を計算す
ることが可能である。しかし、良好な結果が得られるこ
とが経験的に証明され、また、基本行列のパラメータ計
算に必要な一対の最低限の数値を表しているという理由
で本実施例では処理要件を減らす７対の点が使用され
る。

【００９２】ステップS144で、ステップS44で記憶した
カメラデータ(図7)を用いて基本行列Fが物理的基本行列
F_ｐｈｙｓに変換される。「２つの配景表示からの動き
と構造：アルゴリズム、誤差分析並びに誤差評価」(J.
Weng、T. S. Huang及びN. Ahuja著、パターン分析とマ
シーンインテリジェンスに関するIEEE会報、vol.11、N
o.5、1989年5月、p.451〜476)などに記載されているよ
うな従来の方法で再びこの変換が実行される。この変換
について以下に要約する。

【００９３】まず、以下の式を満たす必須行列Eを計算
する：

【００９４】

【数５】ここで、(x^＊,y^＊,f)は画像の中心に原点を持つミリメ
ートル座標系中の第１の画像中の７つの選択点のうちの
任意の点を示す座標であり、ｚ座標はカメラの焦点距離
fに対応するように正規化される。また、(x^＊’,y^＊’,
f)はこの一対を示す第２の画像の中でマッチした点の対
応する座標である。基本行列Fは以下の式用いて必須行
列Eに変換される：

【００９５】

【数６】

【００９６】

【数７】

【００９７】

【数８】ここで、カメラ・パラメータ“h”、“v”、“cx”、
“cy” 、“f”は前に特定したものと同様であり、記号
Tは転置行列を示し、記号“tr”は行列トレースを示
す。

【００９８】次いで、この計算された必須行列Eは、変
換ベクトル(単位長さの)と回転行列(この最も近い行列
はE_ｐｈｙｓである)とに直接分解可能なEに最も近い行
列を見つけることによって物理的必須行列
“E_ｐｈｙｓ”に変換される。

【００９９】最後に、この物理的必須行列は次式を用い
て物理的基本行列に変換される。

【０１００】

【数９】

【０１０１】ここで記号“−1”は逆行列を示す。

【０１０２】物理的必須行列E_ｐｈｙｓと物理的基本行
列F_ｐｈｙｓの各々は“物理的に実現可能な行列”、す
なわち回転行列と変換ベクトルに直接分解可能である。

【０１０３】物理的基本行列F_ｐｈｙｓは、“鎖状画像
座標”として知られる座標(x,y,x’,y’)によって表さ
れる４次元空間中の曲面を特定する。この曲面は鎖状画
像座標の４Ｄ空間で３Ｄ二次曲面を特定する上記の式
(4)によって与えられる。

【０１０４】ステップS146で、計算された物理的基本行
列はステップS142で基本行列を計算するために使用され
た各対の点についてテストされる。物理的基本行列を表
す面からの、各対の点を表す４Ｄの(鎖状画像座標での)
４Ｄユークリッド距離の近似値(鎖状画像座標で)を計算
することによってこのテストは実行される。この距離は
“Sampson距離”として知られ、「基本行列を推定中の
縮退構成のロバスト検出」(P.H.S. Torr、A. Zisserman
及びS. Maybank著、オクスフォード大学技術レポート20
90/96)などに開示されている手法を用いて従来の方法で
計算される。

【０１０５】図11は、ステップS146で行われる物理的基
本行列のテスト処理を示す図である。

【０１０６】参照図11を見ると、ステップS170でカウン
タがゼロに設定される。ステップS172で、これらの７対
の点の中の次の一対の点の座標によって特定される４次
元点で物理的基本行列を表す面の接平面(一対の中で各
点を特定するこれら２つの座標を用いて鎖状画像座標の
４次元空間中で単一点が特定される)が計算される。ス
テップS172は、面を変位し一対の点の座標によって特定
される点に接するようにその点で接平面の計算を行うス
テップを効率的に有する。このステップは、「基本行列
を推定中の縮退構成のロバスト検出」(P.H.S. Torr、A.
Zisserman及びS. Maybank著、オクスフォード大学技術
レポート2090/96)などに開示されている手法を用いて従
来の方法で実行される。

【０１０７】ステップS172で決定した接平面に対する法
線がステップS176で計算され、物理的基本行列を表す面
との一対のマッチした点の座標によって特定される４Ｄ
空間中の点からこの法線に沿う距離(“Sampson距離”)
がステップS174で計算される。

【０１０８】ステップS178で、この計算された距離は、
本実施例では1.0画素に設定されている閾値と比較され
る。この距離が閾値未満の場合、この点が面に対して十
分に接近するように、また、考慮中のマッチした点を示
す特定の対についてカメラ26と28の相対的位置を正確に
表すようにこの物理的基本行列が考慮される。したがっ
て、ステップS180でこの距離が閾値未満である場合、ス
テップS170で当初ゼロに設定されたカウンタは増加し、
点が記憶され、ステップS176で計算した距離が記憶され
る。

【０１０９】ステップS182で、基本行列を計算するため
に使用する７対の点の中に別の一対の点があるかどうか
が判定され、そのような点がすべて上述のように処理さ
れてしまうまでステップS172〜S182が繰り返される。

【０１１０】再度参照図10を見ると、組み合わされた集
合中のマッチした点を示す対のすべてに対してテストす
る更なる処理を正当化できるほど、ステップS144で計算
した物理的基本行列が十分に正確であるかどうかがステ
ップS148で判定される。本実施例では、ステップS180で
設定したカウンタ値(ステップS178でテストした閾値未
満の距離を持つ点の対の数を示し、従って物理的基本行
列と整合するように考慮される)が7に等しいかどうかを
判定することによってステップS148が実行される。すな
わち、物理的基本行列が物理的基本行列を得る源となる
基本行列を計算するために使用するすべての点と整合す
るかどうかが判定される。カウンタが7未満の場合、物
理的基本行列はそれ以上テストされず処理はステップS1
52へ進む。一方、ステップS150でカウンタ値が7に等し
い場合、物理的基本行列はそれぞれ別の一対のマッチし
た点に対してテストされる。このテストは上述のステッ
プS146と同じ方法で行われる。但し以下の例外がある。
(i)既にステップS146でテストされ物理的基本行列と整
合すると決定された７対の点を反映するようにステップ
S170でカウンタは7に設定される。(ii)ステップS180で
記憶したすべての点(ステップS146で処理中記憶された
点を含む)についての総誤差は以下の式を用いて計算す
る。

【０１１１】

【数１０】

【０１１２】ここで、e_ｉは座標によって表される４Ｄ
点とステップS176で計算される物理的基本行列を表す面
との間の“i”番目の対のマッチした点の距離であり、
この値は二乗されて符号無しになる(こうすることによ
りこれらの点が存在する物理的基本行列を表す面の側が
上記式の結果に影響を与えない)。pはステップS180で記
憶した点の総数であり、e_ｔｈはステップS178で比較時
に使用する距離の閾値である。

【０１１３】ステップS150の結果、ステップS144で計算
した物理的基本行列が、組み合わされた集合の各対のマ
ッチした点について正確であるかどうかが判定され、計
算された行列が十分に正確である点の総数が最後のカウ
ンタ値(ステップS180)によって示される。

【０１１４】ステップS150でテストした物理的基本行列
の方が配景計算法を用いてそれまで計算したいずれの行
列よりも正確であるかどうかがステップS152で判定され
る。最後に計算した物理的基本行列(この値は物理的基
本行列が表す正確なカメラ解(camera solution)として
示される点の数を表す)について図11のステップS180で
記憶したカウンタ値をそれまで計算した最も正確な物理
的基本行列について記憶した対応するカウンタ値と比較
することによってこの決定は行われる。最高数(カウン
タ値)の点を持つ行列が最も正確な点として採用され
る。点の数が２つの行列について同じである場合、各行
列についての総誤差(上述のように計算される)が比較さ
れ最も正確な行列が最も誤差の小さい行列として採用さ
れる。物理的基本行列の方が現在記憶されている行列よ
り正確であることがステップS152で判定された場合、ス
テップS154で以前の行列は廃棄され、図11のステップS1
80で記憶した点の数(カウンタ値)、これらの点自体及び
この行列について計算した総誤差と共に新しい行列が記
憶される。

【０１１５】処理対象の組み合わされた集合中のマッチ
した点を示す７対の別の独自の集合が存在するようなま
だ考慮していない別の対のマッチする点が存在するかど
うかがステップS156で判定される。マッチする点を示す
各７対の独自の集合が上述の方法で処理されてしまうま
でステップS140〜S156が繰り返される。

【０１１６】再度参照図9を見ると、ステップS132で、
組み合わされた集合中のマッチした点についてアフィン
関係が計算され、テストされ、記憶される。

【０１１７】図12はステップS132で実行される処理を示
す。

【０１１８】参照図12を見ると、ステップS200で、マッ
チした点を示す次の４対が処理の対象として選択される
(この対を最初の４対として第１回のステップS200が実
行される)。

【０１１９】配景計算を行うとき(図9のステップS13
0)、基本行列Fの成分のすべてを計算することが可能で
ある。しかし、カメラの間の関係がアフィン関係である
とき、基本行列の４つの独立成分だけを計算することが
可能であり、これらの４つの独立成分によって一般に
“アフィン”基本行列として知られている行列が特定さ
れる。

【０１２０】したがって、ステップS200で選択した４対
の点とステップS96で設定した測定用行列とを用いて基
本行列の４つの独立成分(“アフィン”基本行列を示す)
がステップS202で計算される。この計算は、「画像シー
ケンスのアフィン分析」(L.S. Shapiro、第5章、ケンブ
リッジ大学出版局、1995、ISBN 0-521-55063-7)に記載
されているような方法を用いて行われる。ステップS200
で５対以上の点を選択しこれらの点を用いてアフィン基
本行列をステップS202で計算することが可能である。し
かし、良好な結果が得られることが経験的に証明され、
また、処理要件を減らす、アフィン基本行列の成分の計
算に必要な一対の最低限の数値を表しているので本実施
例では４対の点しか選択しない。

【０１２１】「画像シーケンスのアフィン分析」(L. S.
Shapiro、第5章、ケンブリッジ大学出版局、1995、ISB
N 0-521-55063-7)に記載されているような手法を用い
て、組み合わされた集合中の各対のマッチした点に対し
てアフィン基本行列がステップS204でテストされる。ア
フィン基本行列とは４次元鎖状画像空間で平面(超平面)
を表す行列であり、上記テストは、一対のマッチした点
を示す座標によって特定される４次元空間中の１点とア
フィン基本行列を表す平面との間の距離を決定するステ
ップを有する。(ステップS146とS150での配景計算中に
行われたテスト(図10)の場合と同じように、ステップS2
04で行われるテストによって、アフィン基本行列がカメ
ラ用変換とこれらの点についての総誤差に対する十分に
正確な解を表す一対の点を示す数が生成される。

【０１２２】ステップS202で計算され、ステップS204で
テストしたアフィン基本行列の方がそれまでに計算した
いずれの行列よりも正確であるかどうかがステップS206
で判定される。それまで計算した最も正確なアフィン基
本行列を表す点の数と、行列が表す正確な解として示さ
れる点の数を比較することによってこの決定は行われ
る。最高数の点を持つ行列が最も正確である。点の数が
同じ場合、最も誤差の小さい行列が最も正確である。ア
フィン基本行列の方がステップS208でそれまで計算した
いずれの行列よりも正確な場合、アフィン基本行列が表
す十分に正確な解として示される点、これらの点の総数
及び行列総誤差と共にアフィン基本行列が記憶される。

【０１２３】処理対象となる組み合わされた集合の中に
４対のマッチした点を示す別の独自の集合が存在するよ
うな考慮すべき別の対のマッチする点が存在するかどう
かがステップS210で判定される。４対のマッチする点か
らなる各々の独自の集合が上述の方法で処理されるまで
ステップS200〜S210が繰り返される。

【０１２４】再度参照図9を見ると、ステップS130で計
算した配景変換とステップS132で計算したアフィン変換
とから最も正確な変換がステップS134で選択される。最
も正確な配景変換とマッチした点の数(ステップS154で
記憶した数)を、最も正確なアフィン変換(ステップS208
で記憶された)と整合する点の数と比較することによっ
て、さらに、最高数と整合する点を持つ変換(または整
合する点の数が双方の変換について同じである場合、最
も少ない行列総誤差を有する変換)を選択することによ
ってこのステップは実行される。

【０１２５】再度参照図8を見ると、アフィン変換が最
も正確なカメラ用変換であるかどうかがステップS104で
判定される。

【０１２６】アフィン変換が最も正確な変換ではないこ
とがステップS104で判定された場合、ステップS100で決
定した配景変換がビデオ会議中に使用する変換としてス
テップS106で選択される。その後、ステップS108で、配
景変換を行うための物理的基本行列の変換がカメラ用回
転行列と変換ベクトルに対して実行される。上記参照の
「２つの配景ビュー(view)からの動きと構造：アルゴリ
ズム、誤差分析並びに誤差評価」(J. Weng、T.S. Huang
及びN. Ahuja著、パターン分析とマシーンインテリジェ
ンスに関するIEEE会報、vol.11、No.5、1989年5月、p.4
51〜476)などに記載されているような従来の方法で上記
変換は実行される。

【０１２７】図10に関する上述の処理において、マッチ
した点に対してテストを行う(ステップS146とS150)ため
に、基本行列が計算され(ステップS142)、物理的基本行
列に対して変換が実行される(ステップS144)。この処理
には、基本行列を物理的基本行列に変換するための追加
処理が必要ではあるが、ステップS108で最終的に変換さ
れた物理的基本行列自体はすでにセルフテストが行われ
ているという利点がある。基本行列のテストが行われた
場合、基本行列は、それ自体テストが行われなかったで
あろう物理的基本行列に変換されなければならない。

【０１２８】一方、アフィン変換が最も正確な変換であ
ることがステップS104で判定された場合、ビデオ会議中
に使用する変換としてステップS110でアフィン変換が選
択される。

【０１２９】ステップS112で、アフィン基本行列は、カ
メラ用変換を記述する３つの物理変数、すなわちカメラ
によって記憶される画像間の対物倍率“m”、カメラの
回転軸Φ、カメラの回転捻じれ(cyclotorsion)回転Θに
変換される。これらの物理変数へ変換されるアフィン基
本行列の変換は、「画像シーケンスのアフィン分析」
(L. S. Shapiro、ケンブリッジ大学出版局、1995、ISBN
0-521-55063-7、第7章)などに記載されているような従
来の方法で実行される。

【０１３０】再度参照図7を見ると、ユーザー44の頭部
に対するヘッドホンLED56、58、60、62、64の相対位置
がステップS64で決定される。ユーザーがヘッドホン30
を自分の頭部にどのように配置したかに依って上記相対
的位置が決められるという理由のために上記ステップ64
は実行される。特に、図13に例示されているように、ヘ
ッドホンLEDが存在する平面130はユーザーヘッドホン30
を着用する角度によって決定される。したがって、ヘッ
ドホンLEDの平面130はユーザーの頭部の実際の平面132
とは異なる場合がある。そのためステップS64で、ヘッ
ドホンLEDの平面130とユーザーの頭部の現実の平面132
との間の角度Θを決定する処理が実行される。

【０１３１】図14はステップS64で実行される処理を示
す。

【０１３２】参照図14を見ると、ステップS230で、右手
にあるカメラ(すなわち本実施例のカメラ28)を直接注視
するようにユーザー44に指示するメッセージが中央制御
装置100によってモニター34上に表示される。

【０１３３】ステップS232で、ユーザーがカメラ28を直
接注視している間、カメラ26とカメラ28の両方を用いて
画像データのフレームが記憶される。

【０１３４】ステップS234で、ステップS232で記憶され
た画像データの同期フレームが処理され、ヘッドホンLE
D56、58、60、62と64の３Ｄ位置が計算される。

【０１３５】図15は、ヘッドホンLEDの３Ｄ位置を計算
するステップS324で実行される処理を示す図である。

【０１３６】参照図15を見ると、ヘッドホンLED56、5
8、60、62、64の位置がステップS232で記憶された各画
像の中でステップS250において特定される。このLED位
置の特定はステップS92(図8)に関して前述した方法と同
じ方法でステップS250において実行される。

【０１３７】一対の画像間でマッチした次の一対のLED
の位置がステップS252で考慮される(この対を最初の対
として第１回目のステップS252が実行される)。さら
に、ステップS62(図7)で前に決定したカメラ用変換モデ
ルを用いて、第１の画像用カメラの光心の中を通って第
１の画像のLEDの位置から、及び、第２の画像用カメラ
の光心の中を通って第２の画像の中でマッチしたLEDの
位置から光線の投影が計算される。これは図16に例示さ
れている。参照図16を見ると、カメラ26によって記憶さ
れた画像142のLED(LED56のような)の位置からカメラ26
(図示せず)の光心を通って光線140が投影され、カメラ2
8によって記憶された画像146の同じLEDの位置からカメ
ラ28(図示せず)の光心を通って光線144が投影される。

【０１３８】再度参照図15を見ると、ステップS252で投
影された両方の光線を結びこの両方の光線に対して垂直
な直線分の中点148(図16)がステップS254で計算され
る。この中点の位置は３次元でのLEDの物理的位置を表
す。

【０１３９】LED56、58、60、62または64の中に処理の
対象とすべき別のLEDが存在するかどうかがステップS25
6で判定される。各々のLEDの３次元座標が上述のように
計算されてしまうまでステップS252〜S256が繰り返され
る。

【０１４０】再度参照図14を見ると、ステップS236で、
ヘッドホンLEDの３次元位置が存在する平面130(図13)が
決定され、この平面と、画像データのフレームがステッ
プS232で記憶されるときユーザーが注視していたカメラ
の結像面との間の角度Θが計算される。画像データフレ
ームがステップS232で記憶されたとき、ユーザーが自分
の右手側のカメラを直接注視していたので、ユーザーの
右手側に対するカメラの結像面の方向は、ユーザーの頭
部(図13)の平面132の方向に対応する。したがって、ス
テップS236で計算される角度は、ヘッドホンLEDの平面1
30とユーザーの頭部を示す平面132との間の角度Θであ
る。

【０１４１】再度参照図7を見ると、ステップS66で、モ
ニター34の表示画面の位置が決定され、この位置に対し
て座標系が特定される。

【０１４２】図17はステップS66で実行される処理を示
す図である。

【０１４３】参照図17を見ると、ステップS270で、モニ
ター34の中央、モニターの表示画面に対して平行に、上
体をまっすぐに立てて、PC24が置かれているデスクの端
に胴体を触れて座るようユーザーに対して指示するメッ
セージが中央制御装置100によってモニター34上に表示
される。ユーザーに対して、頭部の向きを変えるよう
に、但し、それ以外には頭部の位置は変えないように指
示する更なるメッセージを表示して、一定の頭部位置に
基づいて、但し、変化する頭部角度に基づいて次のステ
ップでの処理がステップS272で実行できるようにする。

【０１４４】ステップS274で、モニター34の表示画面を
示す平面の方向が決定される。本実施例では、この決定
は表示画面に対して平行な平面の方向を決定することに
よって行われる。

【０１４５】図18はステップS274で実行される処理を示
す図である。参照図18を見ると、ステップS300で、中央
制御装置100はモニター34の表示画面の中心にマーカー
を表示し、この表示されたマーカーを直接注視するよう
にユーザーに指示する。

【０１４６】ステップS302で、モニター34の画面の中心
に表示されたマーカーをユーザーが注視するとき、カメ
ラ26と28の両方によって画像データのフレームが記憶さ
れる。

【０１４７】ステップS304で、ユーザーの胴に付けられ
たカラー・マーカー72の３次元位置が決定される。この
ステップは図14のステップS234と同じ方法で実行され
る。この方法については図15と16に関して上述したが、
ただ、(ヘッドホンLEDの位置ではなく)各画像のカラー
・マーカー72の位置が決定されるので、各々の同期画像
の中でマッチしたマーカーの位置から光線が投影される
という違いがある。したがって、これらのステップにつ
いてはここで再度の説明は行わない。

【０１４８】ステップS306で、ユーザーのヘッドホンLE
Dの３次元位置が計算される。このステップも、図15と1
6に関して上述したように図14のステップS234と同じ方
法で実行される。

【０１４９】ステップS308で、ヘッドホンLED(ステップ
S306で決定した)の３次元位置が存在する平面が計算さ
れる。

【０１５０】ステップS308で決定した平面の方向が、ス
テップS64(図7)でヘッドホンLEDの平面とユーザーの頭
部を示す平面との間で決定される角度ΘだけステップS3
10で調整される。ユーザーが画面の中心のマーカーを直
接注視しているとき、ユーザーの頭部を示す平面が表示
画面に対して平行になるので、この結果生じる方向は表
示画面を示す平面に対して平行な平面の方向となる。

【０１５１】再度参照図17を見ると、モニター34の表示
画面を示す平面の３次元位置がステップS276で決定され
る。

【０１５２】図19はステップS276で実行される処理を示
す図である。

【０１５３】参照図19を見ると、ステップS320で、中央
制御装置100によってモニター34の表示画面の右縁の中
心にマーカーが表示され、このマーカーを注視するよう
にユーザーに指示するメッセージが表示される。

【０１５４】ステップS322で、表示画面の縁に表示され
たマーカーをユーザーが注視したとき画像データのフレ
ームがカメラ26と28の両方によって記憶される。

【０１５５】ステップS324で、垂直軸回りの表示画面に
対するユーザーの頭部の角度が決定される。

【０１５６】図20はステップS324で実行される処理を示
す図である。

【０１５７】参照図20を見ると、ステップS340でヘッド
ホンLEDの３次元位置が計算される。このステップは図1
4のステップS234と同じ方法で実行され、また、図15と1
6に関して上述されているステップである。したがって
これらの処理についての再度の説明は行わない。

【０１５８】ヘッドホンLEDの３次元位置を通る平面が
ステップS342で決定され、次いでこの平面の位置がヘッ
ドホン・オフセット角Θ(図7のステップS64で計算され
た角度)だけステップS344で調整されてユーザーの頭部
を示す平面が示される。

【０１５９】ステップS344で決定したユーザーの頭部を
示す平面の方向と、ステップS274(図17)で決定した表示
画面に対して平行な平面の方向との間の角度がステップ
S346で計算される。この計算された角度は垂直軸回りの
表示画面を示す平面に対するユーザーの頭部の角度であ
り、角度“α”として図21に例示されている。

【０１６０】再度参照図19を見ると、ステップS326で表
示画面の３次元位置が計算され次に使用するために記憶
される。このステップで、ユーザーがステップS46で前
に入力し、ステップS48(図7)で記憶した表示画面の幅
は、表示画面の縁の一点を注視しているときステップS3
24で決定されたユーザーの頭部の角度と共に使用され、
表示画面の３Ｄ位置が計算される。特に、参照図21を見
ると、角度αと表示画面の幅“W”の1/2とを用いて、ス
テップS274(図17)で決定した表示画面に対して平行な平
面までの距離“d”が計算されそれによって表示画面を
示す平面の３次元位置が決定される。次いで、水平方向
の表示画面の範囲がこの幅“W”を用いて決定される。

【０１６１】再度参照図17を見ると、表示画面の３次元
位置に関する３次元座標系と目盛りがステップS278で特
定される。この座標系を使用して、ビデオ会議中のその
他の出席者へ伝送される点の３次元位置が特定される。
これに応じて各出席者によって同じ座標系と目盛りが用
いられるので、その他の出席者が解釈できる座標が伝送
されることになる。参照図22を見ると、本実施例では、
表示画面の中心にある原点と、それぞれ水平及び垂直方
向の表示画面を示す平面に在る“ｘ”と“ｙ”軸、及び
ユーザーの方へ向う方向に表示画面を示す平面に対して
垂直方向に在る“ｚ”軸によって座標系が特定される。
各軸の目盛りは予め特定されている(あるいは例えば会
議コーディネータが各ユーザー・ステーションへ伝送す
ることもできる)。

【０１６２】また、ステップS62で決定したカメラ用変
換モデルを用いて計算される３次元座標を、新しい正規
化された座標系と目盛りに対して写像する変換計算がス
テップS278で行われる。この変換は従来の方法で計算さ
れ、現実のユーザーの頭部の幅(図7のステップS60で決
定)とLED56と64の各々とイヤホン48、50(図2C)の内面と
の間の距離“ａ”とを用いることにより、さらに、図18
のステップS306でカメラ用変換モデルを用いて計算され
るヘッドホンLED56と64の３次元座標間の距離を標準座
標系の予め特定された目盛りに関係づけるために、この
現実のLEDの分離点を用いることにより目盛りの変化が
決定され、ユーザーがヘッドホン30を着用するとき、現
実のLED56と64との間の距離が決定される。

【０１６３】ステップS280で、ステップS304(図18)でそ
れまで計算したボディ・マーカー72の３次元位置がステ
ップS278で特定した標準座標系に変換される。

【０１６４】ステップS282で、標準座標系のボディ・マ
ーカー72の３次元位置はビデオ会議のその他の出席者へ
伝送され、以下に説明する会議室の３次元コンピュータ
モデルにおけるユーザーのアバターの配置を行う際に後
に使用される。

【０１６５】再度参照図7を見ると、ビデオ会議用に使
用される会議室用テーブルの３次元コンピュータモデル
がステップS68で設定される。本実施例では、長方形及
び半円形の会議室用テーブルの３次元コンピュータモデ
ルが予め記憶され、使用する会議室用テーブルの形状を
特定するステップS40で、会議室コーディネータから受
信する指示に依って使用する適当なモデルの選択が行わ
れる。

【０１６６】さらに、各々の出席者の氏名を示す名札が
３次元コンピュータモデルの会議室用テーブルに配置さ
れる。各名札に表示される氏名はステップS40で会議コ
ーディネータから受信した出席者の氏名から採られる。
会議用テーブルの上に置く名札の位置を決定するため
に、ステップS40で会議コーディネータから受信した座
席プランを用いて各出席者の座席位置がまず決定され
る。会議コーディネータが円形に座った出席者の順序を
特定することによって座席プランが特定される(図5と図
6のステップS24)とはいえ、ステップS68で、アバターと
会議室用テーブルの画像がユーザーに表示されたとき、
会議室用テーブルの周りのアバターの位置が設定され、
モニター34の表示画面の幅にわたってアバターが別々に
拡がる。この様にして、各アバターが水平方向に表示画
面の自身のパートを占め、ユーザーはアバターのすべて
を見ることができる。

【０１６７】図23A、23B、23C、23D、23Eは、ビデオ会
議の異なる数の出席者を表すアバターの位置が本実施例
でどのように設定されるかを例示する図である。参照図
23A、23B、23C、23D、23Eを全体として見ると、これら
のアバターは３次元で半円164の周りに等間隔に離間し
て配置されている。半円164の直径(この半径はビデオ会
議の出席者数に関りなく同じである)と、表示用として
ユーザーに描画される画像の表示位置とは、各アバター
が表示画面にわたって独自の位置を占めるように、か
つ、最も外側のアバターが水平方向に表示画面の縁に近
くなるように選択される。本実施例では、これらのアバ
ターは半円164の周りに配置され、アバターが画像中に
現れる位置が以下の表中に示されるように、表示位置が
特定される。

【０１６８】

【表１】

【０１６９】参照図23Aを見ると、ビデオ会議に３人の
出席者がいる場合、考慮中のユーザー・ステーションに
いるユーザー以外の２人の出席者を表すアバター160と1
62は、半円164の両端にある会議室用テーブルの同じ直
線の縁の後ろに配置されている。上記表中に記されてい
るように、アバター160は水平方向に表示画面の中心か
ら距離−0.46Wの地点の画像中に現れるように配置さ
れ、アバター162は中心から距離＋0.46Wの地点に現れる
ように配置される。出席者のそれぞれの氏名を示す名札
166と168はアバターの正面にある会議室用テーブル上に
配置される。アバターは会議室用テーブルとアバターの
画像が描画される表示位置で正面へ顔を向ける。この様
にして、ユーザーは、表示画面を視て、各出席者の氏名
を読むことができる。

【０１７０】図23Bは、ビデオ会議に４人の出席者がい
て、会議の世話人によって長方形の会議室用テーブルが
選択された例を示す図である。再言するが、ユーザー・
ステーションにいるユーザー以外の３人の出席者を表す
アバター170、172、174は半円164の周りに等間隔に配置
される。アバター170は水平方向に表示画面の中心から
距離−0.46Wの点で画像中に現れるように配置され、ア
バター172は表示画面の中心(水平方向に)に現れるよう
に配置され、アバター174は中心から距離＋0.46Wの点に
現れるように配置される。会議室用テーブル上に表示位
置を正面に向けて名札176、178、180が置かれ、この表
示位置から会議室用テーブルとアバターの画像が描画さ
れる。

【０１７１】図23Cには図23Bの例と同様にビデオ会議の
４人の出席者がいるが、会議コーディネータが円形の会
議室用テーブルを選択した例を図示するものである。こ
の場合、会議室用テーブルのモデルの縁は半円164を辿
ることになる。

【０１７２】図23Dは、ビデオ会議に7人の出席者がい
て、会議コーディネータによって長方形の会議室用テー
ブルが指定された例を図示するものである。ユーザー・
ステーションにいるユーザー以外の各々の出席者を表す
アバター190、192、194、196、198、200は、半円164の
周りに等間隔に配置され、画像が描画されると、アバタ
ーは、水平方向に表示画面の中心からそれぞれ−0.46
W、−0.34W、−0.12W、＋0.12W、＋0.34Wと＋0.46Wの位
置を占めるように配置される。名札202、204、206、20
8、210、212が表示位置で正面を向いている各出席者に
ついて設けられる。この表示位置から画像が表示され、
モニター34上に表示された出席者の氏名をユーザーが画
像中に見ることができるようになっている。

【０１７３】会議室用テーブルの周りにいるアバターの
相対的位置と方向は、各ユーザー・ステーションにいる
出席者について異なるものとなる。参照図6に図示の座
席プランを見ると、考慮中のユーザー・ステーションに
いるユーザーが出席者1であると仮定すると、出席者2は
ユーザーの左側に位置し、出席者7はユーザーの右側に
いることになる。したがって、図23Dに図示のように、
出席者2を表すアバター190の位置は画像の左側に現れる
ように設定され、出席者7を表すアバター200の位置は画
像の右側に現れるように設定される。出席者3、4、5、6
をそれぞれ表すアバター192、194、196、198の位置は座
席プランに特定された順序に従ってアバター190と200の
位置の間に設けられる。

【０１７４】同様に、更なる例では、画像中の左から右
への出席者の順序が3、4、5、6、7、1となるように、ア
バターの位置が出席者2のユーザー・ステーションに設
定される。

【０１７５】図23Eに図示の例は、円形の会議室用テー
ブルが会議コーディネータによって指定されたという点
を除いて図23Dに図示の例に対応するものである。

【０１７６】再度参照図7を見ると、ステップS70で各出
席者についてそれぞれの変換が特定される。この変換に
よって、ステップS40でアバターが記憶されたローカル
座標系から該出席者を表すアバターが、ステップS68で
つくられた会議室の３次元コンピュータモデル中にマッ
プされ、会議室用テーブルの正しい位置にアバターが現
れるようになる。このステップで、出席者が自分のデス
クの縁に胴をつけて座っているとき、(図17のステップS
282で伝送されて)各出席者から以前に受信したボディ・
マーカー72の３次元位置を用いて変換が決定され、ユー
ザーのデスクの縁がアバターを配置した会議室用テーブ
ルの縁に写像されるようになる。

【０１７７】ステップS72で、ユーザーに表示される各
々のアバター(すなわちその他の出席者のアバター)の間
の関係と、それらのアバターが表示されるモニター34の
表示画面上の水平位置とを特定するデータがメモリ106
などの中に記憶される。ステップS68に関して上述した
ように、画像が描画されたとき水平方向に表示画面を横
切って各アバターが現れる位置が固定するように、アバ
ターは会議室モデルの中に配置される。したがって、本
実施例では、異なる番号の各々の出席者についてこれら
の固定位置を特定するデータをメモリ106に予め記憶
し、正しい番号の出席者について固定位置を特定するデ
ータをステップS72で選択し、その位置に表示する出席
者を特定する出席者番号(ステップS40で会議コーディネ
ータから受信した)がこれらの各々の固定位置に対して
割り当てられる。特に、図24を参照して今から説明する
ように、アバターの固定位置間の区分的一次関数を特定
するデータが記憶され、出席者番号がステップS72でこ
のデータと関連付けられる。

【０１７８】参照図24を見ると、６つのアバターを表示
するデータが示されている(図23Dと図23Eに関して前に
説明した例に対応する)。図24の垂直軸は水平画面位置
を示し、この軸上の値は−0.5(画面の左手の縁の位置に
対応)から＋0.5(画面の右手の縁の位置に対応する)まで
の範囲に及ぶ。この水平軸には６つの等間隔に離間した
分割点400、402、404、406、408、410がありこの各点は
１人の出席者に対応する。したがって、これらの分割点
は６人の出席者を表すアバターが表示される水平画面位
置となるので、水平軸上のこれらの各々の位置における
関数値は、(図24の点によって示されるように)それぞれ
−0.46、−0.34、−0.12、＋0.12、＋0.34、＋0.46であ
る。これらの各々の値の間の区分的一次関数を特定する
データもまた記憶される。ステップS72で、水平軸上の
６つの各位置は、関連する水平画面位置に表示されるア
バターを有する出席者に対応する出席者番号に割り当て
られる。本例の図6に図示の座席プランを参照すると、
位置400は出席者番号2に割り振られ、位置402は出席者
番号3に割り振られ、位置404は出席者番号4に割り振ら
れ、位置406は出席者番号5に割り振られ、位置408は出
席者番号6に割り振られ、位置410は出席者番号7に割り
振られる。ここで注意すべきことは、これらの各々の位
置に対する出席者番号が各ユーザー・ステーションにつ
いて異なるものになるということである。例をあげる
と、出席者2のユーザー・ステーションでは、位置400、
402、404、406、408、410に割り振られる出席者番号は
それぞれ3、4、5、6、7、1となる。

【０１７９】したがって、出席者番号が割り振られた結
果、各水平画面位置について、区分的一次関数によりユ
ーザーのいわゆる“注視点パラメータ”Vが特定され
る。このパラメータは、ユーザーがモニター34の表示画
面上の特定の位置を注視しているとき、会議室のどの出
席者を注視しているかを特定するものである。以下に説
明するように、ビデオ会議中処理が実行されてユーザー
が注視している表示画面上の水平位置が決定される。こ
の水平位置を用いてユーザーの“注視点パラメータ”V
が読み込まれ、次いでこのパラメータは、その他の出席
者へ伝送されユーザーのアバターが制御される。

【０１８０】再度参照図7を見ると、図7で先行するステ
ップのすべてが完了したとき、ユーザー・ステーション
の調整が完了しビデオ会議を開始する準備ができている
ことを示す“準備ＯＫ”信号がステップS74で会議コー
ディネータへ伝送される。

【０１８１】再度参照図4を見ると、ステップS8でビデ
オ会議そのものが実行される。

【０１８２】図25はビデオ会議を行うために実行される
処理を示す図である。

【０１８３】参照図25を見ると、ステップS370、S372、
S374-1〜S374-6、S376、S378で処理が同時に実行され
る。

【０１８４】ステップS370で、ユーザーがビデオ会議に
参加するとき、すなわち、ユーザーがモニター34上にそ
の他の出席者のアバターの画像を見、その他の出席者か
らの音声データを聴き、マイク52に話しかけるとき、画
像データフレームがカメラ26と28によって記憶される。
画像データの同期フレーム(すなわち同時に記憶される
各カメラから得られた１フレーム)が、ビデオフレーム
レートで画像データプロセッサ104によって処理され、
ボディ・マーカー70、72の３次元座標を特定するデー
タ、画像が記憶されたときユーザーが会議室でどこを注
視していたかを特定する注視点パラメータV及びユーザ
ーの顔を表示するための画素データがリアルタイムで生
成される。次いでこのデータはその他の出席者のすべて
へ伝送される。ビデオ会議が終了するまで画像データフ
レームの次の一対についてステップS370が繰り返され
る。

【０１８５】図26は、画像データの所定の一対の同期フ
レームについてステップS370で実行される処理を示す図
である。

【０１８６】参照図26を見ると、ステップS390で、画像
データの同期フレームが処理され、ヘッドホンLED56、5
8、60、62、64と、双方の画像の中に見えるボディ・マ
ーカー70、72の３次元座標とが計算される。このステッ
プは、図14のステップS234と同じ方法で実行され、ま
た、ヘッドホンLEDに加えてボディ・マーカー70、72に
ついても処理が行われるという点除いて、図15と16に関
して上述したものと同様に実行される。したがって、こ
こではこの処理について再度の説明は行わない。

【０１８７】ステップS392で、ステップS390で計算した
ヘッドホンLEDの３次元位置を通る平面を見つけ、ステ
ップS64(図7)で前に決定したヘッドホン・オフセット角
Θだけこの平面を調整することによってユーザーの頭部
を示す平面が決定される。

【０１８８】ステップS394で、ユーザーの頭部を示す平
面からこの平面に垂直な方向にアイ・ラインが投影さ
れ、この投影されたアイ・ラインとモニター34の表示画
面との交点が計算される。上記は図27A、27B、27Cに例
示されている。

【０１８９】参照図27Aを見ると、本実施例では、ヘッ
ドホンLED58と62の３次元座標間の直線分の中点220が決
定され、この計算された中点220からユーザーの頭部を
示す平面224に対して垂直にアイ・ライン218が投影され
る(ユーザーの頭部を示す平面224は、ヘッドホンLEDの
平面228を決定し、ヘッドホン・オフセット角Θだけこ
の平面を調整することによってステップS392で計算され
たものである)。ステップS50(図7)に関して上述したよ
うに、ヘッドホンLED58と62はユーザーの両眼と一直線
になるように配置され、本実施例では、この投影された
アイ・ライン218は、ユーザーの頭部を示す平面224に対
して垂直であるだけでなく、この平面上のユーザーの眼
の位置を表す１点を通るようになっている。

【０１９０】参照図27Bを見ると、投影されたアイ・ラ
イン218はモニター34の表示画面を示す平面と点240で交
わる。ステップS394で、表示画面の中心から点240まで
の図27Cに図示の水平距離“h”(すなわち、点240が存在
する表示画面を示す平面における垂線と、表示画面の中
心点が在る表示画面を示す平面における垂線との間の距
離)がステップS66(図7)で前に較正中決定された表示画
面の３次元座標を用いて計算される。

【０１９１】再度参照図26を見ると、処理された画像デ
ータフレームが記憶されたときユーザーがどこを注視し
ていたかを特定する注視点パラメータVがステップS396
で決定される。特に、ステップS48(図7)で記憶された表
示画面の幅“W”とステップS394で計算された距離“h”
との比率が計算され、その結果得られる値を用いて、注
視点パラメータVの値が較正中ステップS72で記憶された
データから読み込まれる。

【０１９２】例をあげると、距離“h”が2.76インチ、
表示画面の幅“W”が12インチ(15インチモニターに対
応)と計算された場合、0.23という比率が計算され、参
照図24を見ると、この比率によって5.5という注視点パ
ラメータ“V”が生成されることになる。図27Bと27Cに
図示される例からわかるように、投影された光線218は
ユーザー44が出席者5と6の間を注視していることを示し
ている。従って5.5の注視点パラメータによってこの位
置が特定される。

【０１９３】再度参照図26を見ると、ステップS398で、
カメラ26と28の各々の結像面の方向(すなわちカメラのC
CDが在る平面)がステップS392で計算されるユーザーの
頭部を示す平面の方向と比較され、どのカメラがユーザ
ーの頭部を示す平面に対して平行な結像面を持っている
かが決定される。再度参照図27Bを見ると、この例示さ
れた例のように、カメラ28の結像面250の方がカメラ26
の結像面252よりユーザーの頭部を示す平面224に対して
平行であることがわかる。したがって、図27Bに例示さ
れた例ではカメラ28がステップS398で選択されたことに
なる。

【０１９４】ステップS398で選択したカメラから得た画
像データのフレームが処理され、この画像中のユーザー
の顔を表す画素データがステップS400で抽出される。本
実施例では、ステップS390で計算したヘッドホンLED56
と64の３次元位置、ステップS60(図7)で決定したユーザ
ーの頭部のサイズと比率、及び各LED56、64と、対応す
るイアピース48、50の内面との間の距離“ａ”(上述の
ようにこの値ａはPC24に予め記憶されている)を用い
て、このステップ400は実行される。特に、ヘッドホンL
ED56と64の３次元位置と距離“ａ”を用いて、３次元で
ユーザーの頭部の幅の範囲を表す点が決定される。次い
で、これらの範囲を示す点は、ステップS62(図7)で決定
したカメラ用変換を利用して、ステップS398で選択した
カメラの画像平面中へ投影されて戻される。これらの投
影点は画像中のユーザーの頭部の幅の範囲を表し、さら
に、この幅の値とユーザーの頭部の長さとの比を用いて
画像中のユーザーの頭部の長さの範囲が決定される。次
いで、ユーザーの頭部の幅の範囲と、ユーザーの頭部の
長さの範囲との間で画像を表す画素が抽出される。従っ
て、ユーザーが着用しているヘッドホン30を示す画像デ
ータは抽出されない。

【０１９５】ステップS390で計算したボディ・マーカー
70、72の３次元座標は、ステップS401で、図7のステッ
プS66で前に特定した標準座標系に変換される。

【０１９６】ステップS400で抽出された顔を表す画素デ
ータと、ステップS401で生成されたボディ・マーカー70
と72の３Ｄ座標並びにステップS396で決定された注視点
パラメータとが、ステップS402でMPEG4規格に準拠してM
PEG4符号器108により符号化される。特に、顔を表す画
素データと３Ｄ座標とは、映画テクスチャ(movie textu
re)とボディ・アニメーション・パラメータ(BAP)セット
として符号化が行われる。MPEG4規格では注視点パラメ
ータの符号化は直接行われないので、この符号化は汎用
ユーザーデータ・フィールドで実行される。次いでこの
符号化されたMPEG4データは入出力インターフェース110
とインターネット20とを介してその他の出席者の各々の
ユーザー・ステーションへ伝送される。

【０１９７】再度参照図25を見ると、ステップS372で、
ユーザー44が発した音声がマイク52によって録音され、
MPEG4規格に準拠してMPEG4符号器108により符号化が行
われる。次いでこの符号化された音声は入出力インター
フェース110とインターネット20によってその他の出席
者へ伝送される。

【０１９８】ステップS374-1〜S374-6で、MPEG復号器11
2、モデル・プロセッサ116及び中央制御装置100によっ
て、アバター及び３Ｄ会議モデル用記憶装置114に記憶
したアバターモデルをその他の出席者から受信したMPEG
4符号化データに従って変換する処理が行われる。特
に、ステップS374-1で、第１の外部出席者から受信した
データを用いて、その出席者のアバターを変換する処理
が行われ、S374-2ステップで、第２の外部出席者などか
ら受信したデータを用いて第２の外部出席者のアバター
を変換する処理が行われる。ステップS374-1〜S374-6は
並行して同時に行われる。

【０１９９】図28はステップS374-1〜S374-6の各々で実
行される処理を示す図である。

【０２００】参照図28を見ると、ステップS420で、MPEG
4復号器112には更新対象のアバターを持つ出席者からの
更なるデータがある。このデータは、受信されるとMPEG
4復号器によって復号化され、次いでこの復号化データ
は読み込まれて、ステップS422でモデル・プロセッサ11
6へ渡され、そこでこのデータは、モデル・プロセッサ1
16と中央制御装置100による次の処理が制御される。

【０２０１】ステップS424で、アバター及び３Ｄ会議モ
デル用記憶装置114中に記憶されているアバターの本体
と両腕の位置を３次元座標系に変換し、この座標系でア
バターの本体と両腕とが現実の出席者のボディ・マーカ
ー70、72を示す受信した３次元座標空間にぴったり収ま
るようにする。この様にして、アバターが表す現実の出
席者の実際の姿勢にアバターの姿勢が対応するようにさ
れる。

【０２０２】ステップS426で、出席者から受信したビッ
ト・ストリームの顔を表す画素データを、３次元のアバ
ターモデルの顔の上へテクスチャマップする(texture m
apped)。

【０２０３】ステップS428で、ステップS70(図7)で前に
特定した変換を利用して、アバターは、記憶しているロ
ーカル座標系からアバターを変換しこの分身を会議室の
３次元モデルに変える。

【０２０４】３次元会議室モデルの中のこの変換された
アバターの頭部は、受信したビット・ストリームの中で
特定された出席者の注視点パラメータVに従ってステッ
プS430で変えられる。特に、注視点パラメータが特定し
た位置をアバターが注視しているようにするためにアバ
ターの頭部は３次元で動かされる。例えば、注視点パラ
メータVが5である場合、アバターの頭部は、出席者5が
座っている３次元会議室中の位置をアバターが注視して
いるように動かされる。同様に、例えば注視点パラメー
タが5.5の場合、３次元会議室の第５番と第６番の出席
者が座っている中間位置をアバターが注視しているよう
にアバターの頭部が回転する。

【０２０５】図29A、29B、29Cは、現実の出席者の頭部
の変化に従って会議室モデルの中でアバターの頭部の位
置を変える方法を例示する図である。

【０２０６】参照図29Aを見ると、現実の出席者1が自分
のモニターの表示画面上で最初出席者2(すなわち特に出
席者2のアバター)を注視していて、それから、頭部を角
度β1だけ回転させて表示画面の出席者7を注視している
例が図示されている。現実には、この回転角β1は、画
面からの通常の画面サイズ及び座席位置に対してほぼ20
°〜30°になろう。

【０２０７】図29Bはビデオ会議の出席者3から見た画像
を表す。現実の出席者1の頭部が出席者2を注視している
とき、出席者1のアバター300の頭部は、出席者3のユー
ザー・ステーションで記憶された会議室の３次元モデル
の出席者2のアバターを注視しているように配置され
る。第１の出席者が現実の頭部を回転させて出席者7を
注視すると、アバター300の頭部は対応する回転をして
３次元会議室モデルの出席者7のアバターを注視する。
しかし、アバター300の頭部が動く角度β2は第１の出席
者の頭部が現実に動く角度β1と同じではない。それど
ころか、この例では、会議室モデルのアバターの相対的
位置のために角度β2の方が角度β1よりずっと大きくな
る。従って、現実の出席者の頭部の動きと同じ座標系で
アバターの頭部の動きが生じることはない。

【０２０８】３次元会議室モデルのアバターの構成が各
ユーザー・ステーションについて異なるので、アバター
300の頭部の角度の変化は各ユーザー・ステーションで
異なることになる。図29Cは、出席者1が自分の現実の頭
部を角度β1だけ動かして出席者2から出席者7へ視線を
移すとき、アバター300の頭部が出席者2のユーザー・ス
テーションで表示される画像の中でどのように動くかを
例示する図である。参照図29Cを見ると、出席者1が初め
出席者2を注視しているのでアバター300の頭部は、出席
者2の画像を描画する表示位置の方へ初め向けられる。
出席者1が現実に角度β1だけ自分の頭部を回転するにつ
れて、角度β3だけアバター300の頭部は回転して、出席
者2のユーザー・ステーションで記憶されたビデオ会議
室にいる３次元モデルの出席者7のアバターを頭部が注
視しているようになる。この角度β3はβ1とβ2の双方
とは異なる。

【０２０９】再度参照図25を見ると、画像描画器118と
中央制御装置100とによって画像データのフレームがス
テップS376で生成されそのフレームがモニター34上に表
示されて、３次元会議室モデルとその中のアバターの現
在の状態が示される。ビデオ・レートで画像を表示する
この処理がステップS376で繰り返され、現実の出席者の
変化に対応するアバターの変化が示される。

【０２１０】図30はステップS376で実行される処理を示
す図である。

【０２１１】参照図30を見ると、３次元会議室モデルの
画像がステップS450で描画され、画素データが生成さ
れ、この画素データがフレーム・バッファ120に記憶さ
れる。

【０２１２】ステップS452で、図25のステップS370で決
定される現在の注視点パラメータV(この決定は並行して
行われる)が読み込まれる。上述したように、この注視
点パラメータは、表示されているアバターに関してユー
ザーが注視しているとされるモニター上の位置を特定す
るものである。

【０２１３】ステップS450で生成され記憶された画像デ
ータはデータを用いてステップS454で補正され、ステッ
プS452で読み込まれた注視点パラメータに従ってユーザ
ーが注視しているとされる位置がマーカーによって示さ
れる。

【０２１４】ステップS456で、フレーム・バッファ120
に記憶された画素データがモニター34へ出力され画像が
表示画面上に表示される。

【０２１５】図31はユーザーの現在の注視点パラメータ
Vに従うマーカーの表示を例示する図である。

【０２１６】参照図31を見ると、例えばユーザーの現在
の注視点パラメータが5であるとステップS452で決定さ
れた場合、ステップS454で矢印310を表す画像データが
追加され、ステップS456で画像が表示されたとき、ユー
ザーが出席者5を注視していると決定されたことを示
し、これがその他の出席者のすべてへ伝送される情報で
あることを示す矢印310がユーザーの目に見えることに
なる。したがって、ユーザーの意図する方向がこの表示
されたマーカーによって正確に示されない場合には、正
しい視方向が決定されてその他のユーザーへ伝送される
まで、ユーザーはマーカーの位置が変わるのを注視しな
がら自分の頭部の位置を変えることができる。

【０２１７】更なる例によって、ユーザーの注視点パラ
メータが6.5である場合、(矢印310の代わりに)矢印320
が表示され、出席者6と7のアバターの間の中程の位置が
示される。

【０２１８】再度参照図25を見ると、ステップS378で、
MPEG4復号器112、中央制御装置100及び音響発生器122に
よる、ユーザーのヘッドホン30への音声発生処理が実行
される。

【０２１９】図32はステップS378で実行される処理を示
す図であるものである。

【０２２０】参照図32を見ると、ステップS468で、各出
席者から受信した入力MPEG4ビット・ストリームがMPEG4
復号器112によって復号化され、各出席者に対して音声
ストリームが与えられる。

【０２２１】ステップS470で、会議室の３次元コンピュ
ータモデルの座標系における現在の頭部位置と各アバタ
ーの方向が読み込まれ、それによってアバターの各々の
音声の音声方向が決定される。

【０２２２】ステップS472で、(音声出力を行う対象で
ある)ユーザーの現在の頭部の位置と方向とが読み込ま
れ(この位置と方向は図25のステップS370で既に決定さ
れている)、それによってこの出力音声が発出される方
向が特定される。

【０２２３】ステップS474で、ステップS468で復号化さ
れた入力音声ストリーム、ステップS470で決定された各
音声ストリームの方向及びステップS472で決定された音
声が発出される出力方向が音響発生装置122へ入力さ
れ、この音響発生装置122で処理が実行されてユーザー
のヘッドホン30への左右の出力信号が生成される。本実
施例では、音響発生器122での処理は、例えば、「バー
チャル・リアリティとバーチャル環境科学」(R. S. Kal
awsky著、Addison-Wesley出版社、ISBN 0-201-63171-
7、p.184〜187)に記載されているような従来の方法で行
われる。

【０２２４】上述のステップS472での処理で、ユーザー
の現在の頭部の位置と方向を用いて、ステップS474での
音声ストリームの処理で以下に用いる出力方向が決定さ
れる。したがって、ユーザーのヘッドホン30への出力音
声はユーザーの頭部の位置と方向に依って変化する。但
し、頭部の位置と方向が変化しても、(ユーザーがどこ
を注視しているかを示す表示マーカー以外に)ユーザー
へ表示されるモニター34上の画像は変化しない。

【０２２５】上述の本発明の実施例に対していくつかの
修正が可能である。

【０２２６】例えば、上述の実施例で、ユーザー・ステ
ーションで各ユーザー・ステーションのカメラ26と28に
よって単一ユーザーの画像が記憶され、単一ユーザーに
ついての伝送データを決定する処理が実行される。しか
し、カメラ26と28を使用して、各ユーザー・ステーショ
ンで２つ以上のユーザーの画像を記憶し、顔を表す画素
データと、ボディ・マーカーの３次元座標と、ユーザー
・ステーションでの各ユーザーの注視点パラメータとを
生成し、このデータをその他の出席者へ伝送する処理を
実行して各ユーザーを表すアバターのアニメ化を容易に
することもできる。

【０２２７】上記実施例のステップS42とS44(図7)でカ
メラ・パラメータがユーザーによって入力される。しか
し、これらのパラメータを記憶するようにカメラ26と28
の各々を成してもよいし、また、カメラがPCと接続して
いる場合には、PC32へこれらのパラメータを渡すように
成してもよい。

【０２２８】上記実施例では、LED56、58、60、62、64
はヘッドホン30に設けられる。しかし、他の形の光や識
別可能なマーカーを代わりに設けてもよい。

【０２２９】上述の実施例では、ヘッドホンLED56、5
8、60、62、64は連続して発光し、画像中で特定可能と
なるように異なるカラーを持っている。異なるカラーを
持つ代わりに、複数のフレームにわたって画像を比較す
ることにより識別を可能にするように異なる速度でフラ
ッシュするようにLEDを設けることもできよう。あるい
はLEDに様々なカラーを持たせかつ異なる速度でフラッ
シュするように設けてよい。

【０２３０】上記実施例で、カラーのボディ・マーカー
70、72をLEDと取り替えてもよい。また、カラー・マー
カーやLEDを使用する代わりに、Polhemus社(Vermont、U
SA)製のセンサーまたは他の同様のセンサーを用いてユ
ーザーの体の位置を決定してもよい。

【０２３１】上記実施例で、ステップS370(図25)で実行
される処理の際、各画像の全データはステップS390(図2
6)で処理され、画像中の各LEDと各カラーのボディ・マ
ーカーの位置が決定される。しかし、「画像シーケンス
のアフィン分析」(L. S. Shapiro、ケンブリッジ大学出
版局、1995、ISBN 0-521-55063-7、p.24〜34)などに記
載されているようなカルマン・フィルタリング法のよう
な従来の追跡手法を用いて、各LEDと各ボディ・マーカ
ーの位置を画像データの連続フレームを通じて追跡する
ことができる。

【０２３２】上記実施例では、水平画面位置と注視点パ
ラメータVとの間の関係を特定するデータがステップS72
(図7)で記憶される。更に、この記憶されたデータを用
いてその他の出席者へ伝送する注視点パラメータの計算
がステップS396(図26)で行われる。この計算はユーザー
が注視している表示画面上の点と表示画面の中心との間
の水平距離に依って行われる。画面上でほぼ同じ垂直の
高さの頭部で出席者たちの姿がユーザーに表示されるよ
うに、会議室とアバターの３Ｄモデルとを描画する起点
となる表示位置が成されている場合、注視点パラメータ
Vを決定するこの方法は正確である。しかし、出席者の
頭部が表示画面上で異なる高さになっている場合には表
示位置に誤差が生じる可能性がある。これを処理するた
めに、注視点パラメータVと、(任意の定点からの)弧164
の周りの各アバターの距離との間の関係を特定するデー
タをステップS72で記憶し、さらにステップS396で、ユ
ーザーが注視している画面上の点に最も近い弧164上の
点を計算し、この計算した弧164上の点を用いて、その
他の出席者へ伝送しなければならない注視点パラメータ
Vを上記記憶したデータから読み込むことが可能であ
る。更に、上記実施例では、３Ｄ会議室モデルとアバタ
ーとを描画する起点となる表示位置は定点となっている
が、ユーザーがこの表示位置を変更することができるよ
うにすることも可能である。次いで、上述のような弧16
4の周りのアバターの位置を用いてこの注視点パラメー
タVがもっとも正確に計算される。

【０２３３】上記実施例では、ステップS370(図25)で実
行される処理で、ユーザーの頭部の方向に依ってユーザ
ーの注視点パラメータが決定される。さらにあるいはそ
の代わりにユーザーの視線方向を用いてもよい。

【０２３４】上記実施例では、ユーザー自身のマイク52
からの音声がユーザーのヘッドホン48、50へ送られる。
しかし、ユーザーはヘッドホンを着用しているときでさ
え、自分自身の声を聞くことができる。その場合上記の
ような処理は不必要となる。

【０２３５】上記実施例のステップS62(図7)で実行され
る処理において、配景カメラ用変換とアフィン変換の双
方が計算されテストされる(図9のステップS130とS13
2)。しかし、アフィン変換だけを計算しテストすること
も可能であり、そのテストによって許容可能な誤差であ
ることが明らかになった場合には、ビデオ会議中アフィ
ン変換の使用が可能であり、あるいは、そのテストによ
って許容不可能な誤差であることが明らかになった場合
には、配景変換を計算し使用することが可能である。

【０２３６】上記実施例では、名札に表示された出席者
の氏名は、各出席者がステップS20(図5)で会議コーディ
ネータへ提供する情報に基づくものである。しかし、こ
れらの氏名は、ユーザー・ステーションの各出席者のロ
グオン情報や各ユーザー・ステーションの電話番号のよ
うな他の情報に基づくものであるか、あるいは、各出席
者のアバターを特定するデータの中で提供される情報に
基づくものであるかのいずれかであってよい。

【０２３７】上記実施例では、ステップS400(図26)で、
ユーザーの頭部の範囲を決める処理に従って顔を表す画
素データを抽出し、この抽出した画素データがヘッドホ
ン30を示す画素を含まないようになされる。上記の代わ
りに、LED56、60、64の位置によって囲まれたすべての
データを単に抽出することによって、また、ユーザーの
頭部比率を用いてユーザーの顔の長さの方向に抽出すべ
きデータを決めることによって画像から画素データを抽
出してもよい。従来の画像データ補間法を用いて画素デ
ータを補正しヘッドホン30を除去することもできよう。

【０２３８】上記実施例では、注視点パラメータVが計
算されアバターの頭部の位置が特定される。したがっ
て、現実のユーザーの頭部の動きは適切に換算されて、
その他の出席者のユーザー・ステーションの３次元会議
室モデルの中でアバターの頭部の正確な動きが表示され
る。さらに、ユーザーが指差したり、表示画面上の特定
の出席者(アバター)に対してうなずいたりするときのよ
うなユーザーの身振りについて対応する処理を実行する
ことも可能である。

【０２３９】上記実施例では、プログラム命令によって
特定される処理ルーチンを用いるコンピュータ処理が行
われる。しかし、この処理の若干または全てはハードウ
ェアを使って行うこともできよう。

【０２４０】上記実施例では、各ユーザー・ステーショ
ンで２つのカメラ26と28が使用されユーザー44の画像デ
ータのフレームが記憶される。これら２つのカメラの使
用によって、ヘッドホンLEDとボディ・マーカーに対し
て３次元位置情報を得ることが可能になる。しかし、上
記の代わりに、深度情報を与える距離測定器を備えた単
一のカメラを使用することもできよう。更に、「コンピ
ュータ及びロボット視覚、第２巻」(R. M. Haralick及
びL. G. Shapiro著、Addison-Wesley出版社、1993年、I
SBN0-201-56943-4、p.85〜91)などに記載されているよ
うな標準的方法を利用して得られる深度情報を用いて、
単一の射程距離測定用(calibrated)カメラを使用するこ
ともできよう。

【０２４１】ユーザーの頭部、両腕並びに胴の位置を決
定するためのLEDやカラー・マーカーを使用する代わり
に、従来の特徴マッチング技術を利用して一対の同期画
像中の各画像のユーザーの自然な特徴にマッチさせても
よい。従来の技術を示す諸例については、鼻孔と眼球の
トラッキングを行う「時間的マッチングによる高速視覚
トラッキング」(A. H. Gee及びR. Cipolla著、画像並び
に視覚コンピューティング、14(2):105〜114、1996年)
や、両腕、両脚、胴に対応する動きとカラー類似性を示
すブロブ(blob)のトラッキングを行う「ビデオ・シーケ
ンスにおける人間の学習及び認識力学」(C. Bregler
著、コンピュータ・ビジョンとパターン認識に関するIE
EE会報、1997年6月、p.568〜574)の中に記載がある。

【０２４２】上記実施例では、各ユーザー・ステーショ
ンで記憶した会議室を示す３Ｄコンピュータモデルのそ
の他の出席者の各々のアバターが含まれるのみならず、
ホワイトボード、フリップ・チャートなどのような１つ
またはそれ以上の物体の３次元コンピュータモデルを記
憶することもできる。このような物体の位置は、ステッ
プS24(図5)で会議コーディネータが特定する座席プラン
の中で特定してもよい。同様に、ビデオ会議中にアニメ
化されるが、会議出席者の中の誰の動きとも関連しない
動きを持つ１つまたはそれ以上の登場人物(人間、動物
など)の３次元コンピュータモデルを特定するデータを
各ユーザー・ステーションの会議室の３次元コンピュー
タモデルの中に記憶してもよい。例えば、このような登
場人物の動きをコンピュータ制御やユーザー制御にして
もよい。

【０２４３】上記実施例では、ステップS68(図7)で、会
議室用テーブルの周りのアバターの位置は表1に示され
た値を用いて設定される。しかし、他の位置を使用する
こともできる。例えば、以下の式で与えられるような表
示画面のアバターの水平位置によってアバターを設けて
もよい。

【０２４４】

【数１１】ここで、Nは画面上に表示されるアバターの数であり、W
_ｎはn番目のアバター(n＝1...n)の位置、i＝n-1、Wは画
面の幅である。

【０２４５】上記実施例のように半円の周りに等間隔の
離間位置でアバターを並べるか、あるいは、表示画面上
のアバターの位置が上記式(11)で示される位置になるよ
うにアバターを並べるかの選択を行い、まず第一に、ア
バターの頭部が会議で１人の出席者から別の出席者へ注
視を切り替えるように見える最小の動きが最大化される
ように、第二に、アバターがモニター34の表示画面上で
水平に等間隔に離間配置されて現れるように、会議室を
示す３Ｄコンピュータモデルの各アバターの配置計算処
理を実行してもよい。

【０２４６】したがって、最小の外見的頭部の動きを最
大化することによって、アバターがいつその注視方向変
えたか、また、他のアバターのうちのどの分身を現在注
視しているかが表示画面を視ているユーザーにとって検
知し易くなる。同様に、表示画面上で水平に等間隔に離
間配置されて現れるように、会議室を示す３Ｄコンピュ
ータモデルのアバターを配置することによって、アバタ
ーと多量の未使用表示空間との間の閉塞(occlusion)を
回避することができる。

【０２４７】図33は、会議室を示す３Ｄコンピュータモ
デルのアバターの位置計算を行って、アバターの最小の
外見的頭部の動きが最大化され、アバターが表示画面上
で水平に等間隔に離間配置されて現れるように視聴者に
見えるようにするために、処理装置32によって実行でき
る処理を示す。

【０２４８】参照図33を見ると、上記処理で利用するパ
ラメータ値がステップS500で設定される。

【０２４９】図34はステップS500で処理装置32によって
実行される処理を示す図である。

【０２５０】参照図34を見ると、モニター34上でユーザ
ーに表示されるアバターの数値がステップS520で読み込
まれる(この数値は図7のステップS40で会議コーディネ
ータから受信した値である)。

【０２５１】ステップS522で、モニター34の表示画面か
らユーザーまでの平均距離が計算される。特に、ステッ
プS66(図7)で決定した表示画面の位置を用いて、ステッ
プS56(図7)で記憶した画像データから決定されるユーザ
ーの最初の位置と最後の位置の平均値としてこの平均距
離が計算される。

【０２５２】ステップS524で、1/2幅(すなわち図21のW/
2)がステップS48(図7)で記憶されたフル画面幅に基づい
て計算される。

【０２５３】ステップS522で計算した平均距離はステッ
プS524で計算した1/2画面幅の倍数へ変換され、この変
換によって1/2幅の画面に関して表示画面からユーザー
までの平均距離がステップS526で与えられる。

【０２５４】表示画面上に表示された場合アバターがと
り得る最小サイズの特定値がステップS528で読み込まれ
る。特に、図23B〜23Eに図示の例のように、モデル画像
を描画する起点となる表示位置(“描画視点”)から見て
その他のアバターのいくつかより更に離れた位置に１つ
またはそれ以上のアバターが３Ｄ会議室モデルの中に配
置される。したがって、描画視点からさらに遠い位置に
配置されたアバターは表示画面上では描画視点に近いア
バターより小さいサイズを持つことになる。そのためス
テップS528で読み込まれた値によって表示画面上でアバ
ターに許される最少サイズが特定されることになる。本
実施例では、このサイズは相対値として特定される。す
なわち表示画面上に現れる最大のアバターのごく小さな
サイズとしてこのサイズが特定される。本実施例では、
この最小値は、0.3として(最小のアバターが最大のアバ
ターのサイズの30%未満にならないように)予め記憶され
る。但し、ユーザーがこの値を決定し入力することもで
きる。

【０２５５】ステップS528で読み込まれた最小表示サイ
ズを用いて、会議室を示す３Ｄコンピュータモデルの中
にアバターを配置することができるｚ軸に沿った最大距
離がステップS530で計算される。すなわち、アバターの
サイズが表示画面上で小さくなりすぎたがめに３Ｄ会議
室モデルにアバターを配置することができなくなる限界
値としてｚ値が計算される。特に本実施例では、最大ｚ
値(z_ｍａｘ)が以下の式で計算される。

【０２５６】

【数１２】ここで、ｋは、(ステップS526で計算した)画面の1/2幅
の倍数として表される表示画面からユーザーまでの距離
である。ｓ_ｍｉｎは、0＜ｓ_ｍｉｎ≦1の値をとり得る
(ステップS528で読み込まれた)最小表示サイズである。

【０２５７】ステップS532で、最小のアバターが表示画
面の中でとり得る最大表示サイズを特定する値が読み込
まれる。ステップS528を参照して以上説明したように、
１つまたはそれ以上のアバターが、会議室を示す３Ｄコ
ンピュータモデル中の描画視点から見て他のアバターよ
り更に離れた位置に配置されることになる。ステップS5
32で読み込まれたこの値は描画視点から最遠のアバター
がとり得る最大サイズを特定するものである。本実施例
では、表示画面中で最大サイズを持つアバターのごく小
さなサイズ(すなわち描画視点に対して最も近いアバタ
ー)である相対値として最大表示値が特定される。ステ
ップS528で読み込まれた最小表示値の場合のように、最
大表示値は予め記憶されるが、ユーザーが入力すること
もできる。本実施例では、必要な場合に、アバターのす
べてが表示画面の中で同じサイズをとることができるよ
うに最大表示サイズの値は1.0に設定されている。

【０２５８】ステップS532で読み込まれた最大表示サイ
ズ値を用いて、会議室を示す３Ｄコンピュータモデルに
アバターを配置するｚ軸に沿った最小距離がステップS5
34で計算される。その場合、表示画面のアバターのサイ
ズが、ステップS532で読み込まれた最大表示値を超えな
いように成される。特に、本実施例では、最小ｚ値、z
ｍｉｎは以下のように計算される：

【０２５９】

【数１３】ここで、ｋは式(12)について上記に特定したものと同じ
であり、s_ｍａｘは0＜ｓ _ｍａｘ≦1の値をとり得る(ステ
ップS532で読み込まれた)最大表示サイズである。

【０２６０】ステップS536で、アバターの構成計算を行
う際に用いるｚ軸解像度の特定値が読み込まれる。更に
以下説明するように、この解像度の値によって、３Ｄコ
ンピュータ会議室モデルにおけるアバターの異なる位置
を計算するために用いるｚ軸に沿ったステップサイズが
特定される。本実施例ではｚ軸解像度は予め記憶され、
0.1という値を有する。しかしPC24のユーザーがｚ軸解
像度を入力することもできる。

【０２６１】再度参照図33を見ると、会議室３Ｄモデル
中のアバターのすべての可能な構成がステップS502で計
算される。その場合、該構成はステップS530で計算され
た最大ｚ値と、ステップS534で計算された最小ｚ値とス
テップS536で読み込まれたｚ軸解像度とによって決定さ
れるという制約条件が課される。図35Aと35Bを参照しな
がら、例を挙げてステップS502で実行される処理を説明
する。図35Aと35Bは、表示装置34の表示画面500を通る
水平断面図と、表示装置を視ているユーザー(名札P1)を
含む現実の世界とを概略的に図示するもので、会議室を
示す３Ｄコンピュータモデル5番と6番のアバターがそれ
ぞれ表示された場合(３Ｄコンピュータモデルのアバタ
ーの位置はP2、P3、P4、P5、P6でラベルされている)の
図である。

【０２６２】本実施例では、最も外側の２つのアバター
の位置(図7のステップS40で会議コーディネータから受
信した座席プランによって特定される)は表示されたア
バターの数にかかわりなく表示画面500の縁に固定され
ている。したがって、位置(0,0)は表示画面500の中心に
あると特定されているので(x,z)座標(0,1)と(0,−1)を
有し、座標値は画面の1/2幅の倍数として特定される。

【０２６３】ステップS502で、表示画面500上に表示さ
れるアバターの数に基づいて、水平光線(図35Aの510、5
20、530及び図35Bの540と550)が表示画面を視ているユ
ーザーの位置(図34のステップS526で計算される平均距
離、“ｋ”によって特定される)から投影される。この
水平光線によって表示画面500は水平面で等しいサイズ
部分に分割される(これらの部分は図35Aの例では1/2の
サイズ単位であり、図35Bの例では1/3単位のサイズであ
る)。これらの光線が表示画面500と交差する点によっ
て、表示画面500上の位置が特定され、この位置に、２
つの一番端のアバターの間のアバターが表示画面上にユ
ーザーに対して現れる。したがって、２つの一番端のア
バターの間のアバターは、視聴者の位置から投影される
光線510、520、530または540、550で会議室を示す３Ｄ
コンピュータモデルの中に配置しなければならない。２
つの一番端のアバターの間の各々のアバターの可能な構
成がステップS502で計算される。

【０２６４】特に、参照図35Aを見ると、最初に、表示
画面500上で最小サイズのアバターが特定される。この
アバターは座席プランでは中央のアバターであるため、
視聴者P1の位置として特定される描画視点から最も遠い
アバターとなるので、この最小サイズのアバターはP4と
ラベルされたアバターになる。したがって、P4は、ステ
ップS530とS534(図34)で計算される最小ｚ値と最大ｚ値
との間の光線520に沿って存在しなければならない。こ
れらのアバターは３Ｄコンピュータモデルの中で左右対
称に配置されるのでアバターP3とP5とは各々同じｚ値を
持つことになる。しかし、(P4は、表示画面500で最小サ
イズのアバターであると特定されているという理由で)P
3とP5のｚ値がP4のｚ値を超えることはあり得ない。ア
バターP3、P4、P5の各々の可能な構成がステップS502で
計算される。その場合、このｚ値に対する制約及びアバ
ターの位置間のｚ方向の最小距離がステップS536で読み
込まれたｚ軸解像度(本実施例では0.01)によって与えら
れるという制約条件が課される。

【０２６５】図35Bに図示の例では、表示画面500に表示
されるアバターの数が偶数であるため、アバターP3とP4
の双方は表示画面500上で同じサイズを持ち、表示可能
な最小のアバターとなる。したがって、ステップS502
で、点P3とP4の各々のｚ位置は、ステップS530とS534で
計算された最大ｚ値と最小ｚ値の間で0.01の増分値(ス
テップS536で読み込まれたｚ軸解像度)で考慮される。

【０２６６】図35Aに表示される５つのアバター及び図3
5Bに表示される４つのアバター以外のアバターの数につ
いても、上述の同じ原理を用いて同様の処理がステップ
S502で実行される。

【０２６７】ステップS502で計算した構成から得られる
次の構成がステップS504で選択され処理が実行される
(この構成を最初の構成として第１回目のステップS504
が実行される)。

【０２６８】３Ｄコンピュータモデルのアバターの頭部
が回転して１つのアバターから別のアバターへ注視点が
変わるとき、ステップS504で選択した構成の中でアバタ
ーのいずれの頭部も動くように見える最少量の動きを表
す値がステップS506で計算される。

【０２６９】ステップS506で行われるこの処理について
図36A、36B、36Cを参照しながら例を挙げて説明する。
これらの図は５つのアバターP2、P3、P4、P5、P6の構成
を概略的に例示し、表示画面を視ているユーザーP1に対
して表示するものである。

【０２７０】参照図36Aを見ると、ステップS506で、ア
バターP2の頭部がアバターP3からP4へ(あるいはその逆
もまた同様である)視線を移さなければならないときに
要する角度600、アバターP2の頭部がアバターP4からP5
へ視線を移さなければならないときに要する角度610、
アバターP2の頭部がアバターP5からP6へ視線を移さなけ
ればならないときに要する角度620、及び、アバターP2
の頭部がアバターP6からユーザーP1へ視線を移さなけれ
ばならないときに要する角度630が計算される。更に、
本実施例では、計算された各々の角度は各角度に以下の
倍率S_ｃを乗じることによって換算される：

【０２７１】

【数１４】ここで、ｋは式(12)について上記に特定したものと同じ
であり、ｚは頭部回転角がすでに計算されているアバタ
ーのｚ値である。

【０２７２】上記頭部回転角に式(14)で示される倍率を
乗じることにより、この頭部回転角は、アバターの頭部
が回転する３Ｄコンピュータモデルの角度から、表示画
面500を視ているユーザーの目に映るアバターの頭部の
回転運動を表す値へ変換される。

【０２７３】参照図36Bを見ると、アバターP3の頭部が
アバターP4からP5へ視線を移さなければならないときに
要する角度640、アバターP3の頭部がアバターP5からP6
へ視線を移さなければならないときに要する角度650、
アバターP3の頭部がアバターP6からユーザーP1へ視線を
移さなければならないときに要する角度660、及びアバ
ターP3の頭部がユーザーP1からアバターP2へ視線を移さ
なければならないときに要する角度670が計算され、上
式(14)によって示される倍率Sｃをこれらの角度に乗じ
ることによって換算が行われる。

【０２７４】同様に、参照図36Cを見ると、アバターP4
の頭部がアバターP5からP6へ視線を移さなければならな
いときに要する角度680、アバターP4の頭部がアバターP
6からユーザーP1へ視線を移さなければならないときに
要する角度690、アバターP4の頭部がユーザーP1からア
バターP2へ視線を移さなければならないときに要する角
度700、アバターP4の頭部がアバターP2からアバターP3
へ視線を移さなければならないときに要する角度710が
計算され、上式(14)によって示される倍率Sｃによって
換算される。

【０２７５】これらの角度は、(３Ｄコンピュータモデ
ルの中でアバターが左右対称の配置をしているので)ア
バターP3とP2の頭部回転角とそれぞれ同じであるため、
ステップS506でアバターP5とP6の頭部回転角の計算を行
う必要はない。同様に、図35Bに図示の例の場合、頭部
回転角はアバターP2とP3のついてはステップS506で計算
されることになるが、アバターP4とP5については、これ
らの角度がアバターP3とP2の頭部回転角と同じであるた
め計算されない。

【０２７６】また計算された値の中で動きを示す最小値
がステップS506で決定される。

【０２７７】ステップS506で特定された動き最小値が現
在記憶されている動き値より大きいかどうかを判定する
テストがステップS508で実行される。

【０２７８】ステップS506で決定された動き最小値が現
在記憶されている動き値(この値はデフォルト値によっ
てステップS508が初めて実行されるケースになる)より
大きいことがステップS508で判定された場合、現在記憶
されている動き値は、ステップS506で決定されたこの動
き最小値によってステップS510で置き換えられ、ステッ
プS504で選択されたアバター構成が記憶される。

【０２７９】一方、ステップS506で決定された動き最小
値が現在記憶されている動き値より大きくないことがス
テップS508で判定された場合、ステップS510は省略さ
れ、現在記憶されている動き値と現在記憶されているア
バター構成とがそのまま保持されることになる。

【０２８０】ステップS502で計算したアバター構成の中
に、処理すべき別の構成が残っているかどうかがステッ
プS512で判定される。ステップS502で計算される各アバ
ター構成が上述の方法で処理されてしまうまでステップ
S504〜S512が繰り返される。

【０２８１】ステップS500〜S512で処理が実行された結
果、会議室を示す３Ｄコンピュータモデル中のアバター
の表示位置が計算される。３Ｄコンピュータモデルの画
像が視聴者(図35Aと35B中のP1)の平均距離の位置から描
画されるとき、(頭部が実際にその平均位置に在る場合)
アバターが表示画面500上で水平に等間隔に離間配置さ
れて視聴者に見えることが上記表示位置によって保証さ
れ、さらに、アバターの頭部が１つのアバターから別の
アバターへ、あるいは、１つのアバターからユーザーへ
その視線を向けるように見える最小限の動きの最大化が
上記表示位置によって保証される。

【０２８２】図３９Ａ及び図３９Ｂは、ステップS500〜
S512で上述の処理を実行するＣ言語のルーチンを示した
ものである。このルーチンで、ステップS500〜S512全体
はパートＡによって実行され、ステップS500はパートＢ
とＣによって実行される。また、ステップS502はパート
Ｄ、パートＥ1、パートＦ、パートＪ及びパートＫによ
って実行される。更に、ステップS506はパートＥ2とＥ
3、パートＨ、パートＩ及びパートＬによって実行さ
れ、ステップS508とS510はパートＥ4によって実行され
る。

【０２８３】図37は、３つの1/2幅の画面に対応する表
示画面500(この距離は従来型のPCモニター34を視ている
とき視聴者の通常の距離であることが実際に判明してい
る)から視聴者までの距離についてステップS500〜S512
を実行した結果を示す一例を図示するものである。

【０２８４】参照図37を見ると、視聴者の位置には、P1
とレベルが付けられ、会議室を示す３Ｄコンピュータモ
デルにおける、ユーザーに表示される２つの最も外側の
アバターを示す位置が(表示されるアバターの総数にか
かわりなく)中黒の円800と810によって図示されてい
る。一方３つのアバターを表示する場合、残りのアバタ
ーの３Ｄモデルにおける位置は菱形820によって示され
る。また、４つのアバターを表示する場合、残りの２つ
のアバターの位置は正方形830と840によって示され、５
つのアバターを表示する場合、３Ｄモデルにおける残り
の３つのアバターの位置は３角形850、860、870によっ
て示され、８つのアバターを表示する場合、３Ｄモデル
における残りの６つのアバターの位置は円880、890、90
0、910、920、930によって示される。図37に図示のすべ
ての座標値は画面の1/2幅の倍数として表現される。

【０２８５】再度参照図33を見ると、現在記憶されてい
るアバターの構成がビデオ会議に用いられるアバター構
成としてステップS514で選択される。

【０２８６】上記のように、３Ｄ会議室モデルにおける
アバターの位置計算の処理を実行するとき、(会議コー
ディネータが会議室用テーブルの形状を選択する)図5の
ステップS26は不要となる。さらに、図7のステップS68
を実行するとき、会議コーディネータからの指示に従っ
て会議室用テーブルのモデルを選択し、次いでテーブル
の周りにアバターの位置を決定する代わりに、アバター
の位置が上述のように決定され、３Ｄ会議室用テーブル
モデルがアバターの間にぴったり収まるように特定され
る。

【０２８７】上述の処理で、表示画面500から視聴者ま
での平均距離がステップS522とS526(図34)で計算され
る。この計算された平均距離を用いて、会議室を示す３
Ｄコンピュータモデルにおけるユーザーに対して表示さ
れるアバターの位置が計算される。この様にして、この
計算された構成がビデオ会議の間中そのまま固定した構
成となる。しかし、上記の代わりに、表示画面500から
ユーザーまでの実際の距離をビデオ会議中モニターし
て、表示画面からユーザーまでの距離の変動に従って、
３Ｄコンピュータモデルにおけるアバターの位置を変更
してもよい。この場合、表示画面からユーザーまでの各
々の新しい距離を求めるために会議室を示す３Ｄコンピ
ュータモデルにおけるアバターの位置を再計算する上述
の処理を実行する代わりに、事前に計算を行い、会議室
を示す３Ｄコンピュータモデルにおけるアバターの位置
を特定するルックアップ・テーブルの中に表示画面500
からユーザーまでの様々な距離に対応する計算結果を記
憶させておいてもよい。このルックアップ・テーブルに
よって表示対象となる様々な数のアバターの上記位置を
特定することができ、種々のビデオ会議用としてこのル
ックアップ・テーブルを利用することが可能となる。

【０２８８】図38はルックアップ・テーブル1000の１例
を図示するもので、この表の中に、表示画面500からユ
ーザーまでの距離に対応して３Ｄ会議室モデルにおける
アバターの位置が特定されている。その位置は画面の1/
2幅の２倍、画面の1/2幅の３倍、画面の1/2幅の４倍及
び画面の1/2幅の５倍に対応するものである(但し、実際
には、表示画面500からユーザーまでの距離を示す多く
の他の値に対してアバターの位置を特定することもでき
る)。さらに、表示対象として、３、４、５、６、７、
８つのアバターの位置が特定される。

【０２８９】ビデオ会議中、表示画面500からユーザー
までの実際の位置を計算して、ルックアップ・テーブル
への入力値として使用し、会議室を示す３Ｄコンピュー
タモデルにおける位置を読み込んで計算した実際のユー
ザーの距離に最も近いルックアップ・テーブル中のユー
ザーの距離を求めることもできる。

【０２９０】このルックアップ・テーブルを記憶してお
き、これらの位置がビデオ会議の間中一定のままである
場合でも、このルックアップ・テーブルを使用して３Ｄ
会議室モデルにおけるアバターの位置を決定することも
できる。例えば、表示画面からユーザーまでの平均距離
をルックアップ・テーブルへの入力値として使用し、会
議室を示す３Ｄコンピュータモデルにおける位置を読み
込み、ユーザーの入力平均距離に最も近いルックアップ
・テーブル中のユーザーの距離を求めることができる。

【０２９１】以上、本発明の好適な実施の形態について
説明したが、本発明の目的は、前述した実施形態の機能
を実現するソフトウェアのプログラムコードを記録した
記憶媒体（または記録媒体）を、システムあるいは装置
に供給し、そのシステムあるいは装置のコンピュータ
（またはCPUやMPU）が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が前述した実施形態の機能
を実現することになり、そのプログラムコードを記憶し
た記憶媒体は本発明を構成することになる。また、コン
ピュータが読み出したプログラムコードを実行すること
により、前述した実施形態の機能が実現されるだけでな
く、そのプログラムコードの指示に基づき、コンピュー
タ上で稼働しているオペレーティングシステム(OS)など
が実際の処理の一部または全部を行い、その処理によっ
て前述した実施形態の機能が実現される場合も含まれる
ことは言うまでもない。

【０２９２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０２９３】

【発明の効果】以上説明した通り、本発明によれば、会
議における出席者間の意思疎通を円滑に行うことができ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るビデオ会議で実行す
るために相互接続した複数のユーザー・ステーションを
概略的に図示する。

【図２Ａ】ユーザー・ステーションとユーザーを図示す
る。

【図２Ｂ】ユーザーが着用するヘッドホンとボディ・マ
ーカーを図示する。

【図２Ｃ】ユーザーが着用するヘッドホンの構成要素を
図示する。

【図３】各ユーザー・ステーションでのコンピュータ処
理装置の範囲に在る概念的機能構成要素の例を図示する
ブロック図である。

【図４】ビデオ会議を行うために実行されるステップを
示す。

【図５】図4のステップS4で実行される処理を示す。

【図６】図5のステップS24で特定される座席プランの一
例を図示する。

【図７Ａ】図4のステップS6で実行される処理を示す。

【図７Ｂ】図4のステップS6で実行される処理を示す。

【図８Ａ】図7のステップS62で実行される処理を示す。

【図８Ｂ】図7のステップS62で実行される処理を示す。

【図９】図8のステップS100で実行される処理を示す。

【図１０】図9のステップS130で実行される処理を示
す。

【図１１】図10のステップS146とステップS150で実行さ
れる処理を示す。

【図１２】図9のステップS132で実行される処理を示
す。

【図１３】ユーザーの頭部を示す平面とユーザーのヘッ
ドホンを示す平面との間の図7のステップS64で計算した
オフセット角Θを例示する。

【図１４】図7のステップS64で実行される処理を示す。

【図１５】図14のステップS234で実行される処理を示
す。

【図１６】図15のステップS252とステップS254で行うア
イ・ライン投影と中点計算を例示する。

【図１７】図7のステップS66で実行される処理を示す。

【図１８】図17のステップS274で実行される処理を示
す。

【図１９】図17のステップS276で実行される処理を示
す。

【図２０】図19のステップS324で実行される処理を示
す。

【図２１】図20のステップS346で行う角度計算を例示す
る。

【図２２】図17のステップS278で設定した標準座標系を
例示する。

【図２３Ａ】会議室テーブルでのアバターの位置の例を
図示する。

【図２３Ｂ】会議室テーブルでのアバターの位置の例を
図示する。

【図２３Ｃ】会議室テーブルでのアバターの位置の例を
図示する。

【図２３Ｄ】会議室テーブルでのアバターの位置の例を
図示する。

【図２３Ｅ】会議室テーブルでのアバターの位置の例を
図示する。

【図２４】図7のステップS72で記憶する注視点パラメー
タと水平画面位置を関連づける区分的一次関数を図示す
る。

【図２５】図4のステップS8で実行される処理を示す図
である。

【図２６】図25のステップS370で実行される処理を示
す。

【図２７Ａ】図26のステップS394での点の計算を例示す
る。ユーザーの頭部を示す平面からアイ・ラインを投影
し、このアイ・ラインと表示画面との交点を決定するこ
とによってユーザーが注視している点の計算が行われ
る。

【図２７Ｂ】図26のステップS394での点の計算を例示す
る。ユーザーの頭部を示す平面からアイ・ラインを投影
し、このアイ・ラインと表示画面との交点を決定するこ
とによってユーザーが注視している点の計算が行われ
る。

【図２７Ｃ】図26のステップS394での点の計算を例示す
る。ユーザーの頭部を示す平面からアイ・ラインを投影
し、このアイ・ラインと表示画面との交点を決定するこ
とによってユーザーが注視している点の計算が行われ
る。

【図２８】図25のステップS374-1〜S374-6の各ステップ
で実行される処理を示す。

【図２９Ａ】図28のステップS430での現実の対応する出
席者の頭部の変化に依ってアバターの頭部の位置がどの
ように変化するかを例示する図である。

【図２９Ｂ】図28のステップS430での現実の対応する出
席者の頭部の変化に依ってアバターの頭部の位置がどの
ように変化するかを例示する図である。

【図２９Ｃ】図28のステップS430での現実の対応する出
席者の頭部の変化に依ってアバターの頭部の位置がどの
ように変化するかを例示する図である。

【図３０】図25のステップS376で実行される処理を示
す。

【図３１】図30のステップS454とS456で画像表示される
マーカーの例を例示する。

【図３２】図25のステップS378で実行される処理を示
す。

【図３３】会議室を示す３Ｄコンピュータモデルのアバ
ターの位置計算の修正時に行う処理を示す。会議室モデ
ルの画像が表示画面上に表示されたとき、アバターたち
が表示画面に水平に等間隔で配置され、アバターの頭部
が１つのアバターから別のアバターへ視線を移すように
見える最小限の動きを最大化するようになる。

【図３４】図33のステップS500で実行される処理を示
す。

【図３５Ａ】図33のステップS502で実行される処理を概
略的に例示する。

【図３５Ｂ】図33のステップS502で実行される処理を概
略的に例示する。

【図３６Ａ】図33のステップS506で実行される処理を概
略的に例示する。

【図３６Ｂ】図33のステップS506で実行される処理を概
略的に例示する。

【図３６Ｃ】図33のステップS506で実行される処理を概
略的に例示する。

【図３７】図33のステップS500〜S512で実行した処理結
果を示す例を図示する。

【図３８】ルックアップ・テーブルとそのテーブルに格
納されたデータ例を図示する。ユーザー・ステーション
の会議室を示す３Ｄコンピュータモデルのアバターの位
置を決定するためにこのデータをユーザー・ステーショ
ンで記憶してもよい。

【図３９Ａ】ステップS500〜S512で上述の処理を実行す
るＣ言語のルーチンを示したものである。

【図３９Ｂ】ステップS500〜S512で上述の処理を実行す
るＣ言語のルーチンを示したものである。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号９９０１２３２．０ (32)優先日平成11年１月20日(1999．1．20) (33)優先権主張国イギリス（ＧＢ） (31)優先権主張番号９９２１３２１．７ (32)優先日平成11年９月９日(1999．9．9) (33)優先権主張国イギリス（ＧＢ） (72)発明者サイモンマイケルロウイギリス国ジーユー２５ワイジェイサリー、ギルドフォード、サリーリサーチパーク、オッカムロード、オッカムコート１キャノンリサーチセンターヨーロッパリミテッド内 (72)発明者チャールズステファンワイルズイギリス国ジーユー２５ワイジェイサリー、ギルドフォード、サリーリサーチパーク、オッカムロード、オッカムコート１キャノンリサーチセンターヨーロッパリミテッド内 (72)発明者アランジョゼフダビソンイギリス国ジーユー２５ワイジェイサリー、ギルドフォード、サリーリサーチパーク、オッカムロード、オッカムコート１キャノンリサーチセンターヨーロッパリミテッド内

Claims

【特許請求の範囲】

【請求項１】出席者を表す３次元コンピュータモデル
を、現実の世界の出席者の動きに従ってアニメ化するこ
とにより、会議を実行可能にするコンピュータ会議シス
テムであって、複数のユーザ・ステーションを備え、該複数のユーザ・ステーションは、各ユーザステーションが他のユーザー・ステーションに
おける出席者の３次元コンピュータモデルを含むそれぞ
れの３次元コンピュータモデルの連続した画像を表示す
るように、及び、少なくとも現実の出席者の動きに対応
して３次元コンピュータモデルが動くように、データを
生成し交換するようにされ、各ユーザー・ステーションは、他のユーザー・ステーションにおける各出席者の３次元
コンピュータモデルを含む３次元会議コンピュータモデ
ルを特定するデータを記憶する記憶手段と、前記３次元会議コンピュータモデルは、前記システムの
他のユーザー・ステーションの各々に記憶された前記３
次元会議コンピュータモデルとは異なるものであり、前記３次元会議コンピュータモデルの画像を生成し表示
する手段と、表示される画像の内容は、視聴中の各出席者の動きとは
独立しており、表示される画像について、前記ユーザー・ステーション
における各出席者が注視している位置を決定し出力する
手段と、前記ユーザー・ステーションにおいて表示される画像
が、出席者の動きを伝えるように、他の出席者から受信
したデータに従って、少なくとも、各出席者の前記３次
元コンピュータモデルを動かすための処理手段と、を備
えたことを特徴とするコンピュータ会議システム。
【請求項２】各ユーザー・ステーションは、更に、少
なくともユーザー・ステーションの各出席者の頭部を示
す画像データを記憶し出力する手段を備え、また、各ユーザー・ステーションは、対応する前記３次元コン
ピュータモデル上へ出席者を示す画像データを表すこと
によって表示用の画像データを生成するようにされたこ
とを特徴とする請求項1記載のコンピュータ会議システ
ム。
【請求項３】各ユーザー・ステーションの前記３次元
会議コンピュータモデルが、会議中においてアニメ化されるが、アニメ化の間の頭部
の動きが、該会議への出席者の頭部の動きによって決定
されないキャラクターの３次元コンピュータモデルを更
に含むことを特徴とする請求項1または2記載のコンピュ
ータ会議システム。
【請求項４】請求項1記載のコンピュータ会議システ
ムにおいて用いるコンピュータ処理装置であって、前記システムの他の前記装置における各出席者の３次元
コンピュータモデルを含む３次元会議コンピュータモデ
ルを特定するデータを記憶する手段と、前記３次元会議コンピュータモデルの画像を表示するた
めの画像データを生成する手段と、表示される画像の内容は、視聴中の出席者の頭部の動き
とは独立しており、表示される画像について、前記ユーザー・ステーション
における各出席者が注視している位置を決定し出力する
手段と、前記ユーザー・ステーションにおいて表示される画像
が、出席者の頭部の動きを伝えるように、他の出席者か
ら受信したデータに従って、少なくとも、各出席者の前
記３次元コンピュータモデルの頭部を動かすための処理
手段と、を有することを特徴とするコンピュータ処理装
置。
【請求項５】更に、各出席者の頭部を示す画像データ
を出力する手段を備え、前記装置は、対応する前記３次元コンピュータモデル上
へ出席者を示す画像データを表すことによって表示用の
画像データを生成するようにされたことを特徴とする請
求項4記載のコンピュータ処理装置。
【請求項６】出席者の座席プランに従って前記３次元
会議コンピュータモデルを特定するデータを生成する手
段を更に有することを特徴とする請求項4または5記載の
コンピュータ処理装置。
【請求項７】３次元会議コンピュータモデルを特定す
るデータを生成する前記手段が、前記座席プランに従って出席者を示す前記３次元コンピ
ュータモデルの、前記３次元会議コンピュータモデルに
おける位置と、表示される前記３次元会議コンピュータ
モデルの画像の表示の幅と、該表示から視聴中の出席者
までの距離と、を決定するようにされ、表示用の画像データを生成する前記手段が、前記３次元会議コンピュータモデルを特定するデータを
生成するために使用する表示から視聴中の出席者までの
距離によって特定される位置から前記３次元会議コンピ
ュータモデルを表わすことにより画像データを生成する
ようにされたことを特徴とする請求項6記載のコンピュ
ータ処理装置。
【請求項８】前記３次元会議コンピュータモデルを特
定するデータを生成する前記手段と前記表示用の画像デ
ータを生成する手段とが、前記表示から視聴中の出席者までの距離が会議中に変化
するにつれて、出席者の前記３次元コンピュータモデル
の中の少なくとも１つの３次元会議コンピュータモデル
における位置と、前記３次元会議コンピュータモデルを
表す基点となる位置と、を変化させて、表示用の前記画
像データを生成するようにされたことを特徴とする請求
項7記載のコンピュータ処理装置。
【請求項９】前記３次元会議コンピュータモデルを特
定するデータを生成する前記手段が、視聴中の出席者に対して表示される前記画像中におい
て、出席者の前記３次元コンピュータモデルが前記表示
を横切ってほぼ等間隔に離間するように、及び、出席者
の前記３次元コンピュータモデルの頭部が一の出席者か
ら別の出席者へ視線を向けるために動く最小の動きを最
大化するように、出席者の前記３次元コンピュータモデ
ルの位置を決定するようにされたことを特徴とする請求
項7または8記載のコンピュータ処理装置。
【請求項１０】視聴中の各出席者の頭部以外の少なく
とも１つの身体部分の動きを特定するデータを生成し出
力する手段を、更に備えたことを特徴とする請求項4乃
至9のいずれかに記載のコンピュータ処理装置。
【請求項１１】動きを特定するデータを生成する前記
手段が、視聴中の各出席者の体に付けられた個々の点の
３次元位置を特定するデータを生成するようにされたこ
とを特徴とする請求項10記載のコンピュータ処理装置。
【請求項１２】動きを特定するデータを生成する前記
手段が、前記動きを特定するデータを生成するために、
視聴中の各出席者の画像を特定する信号を処理する手段
を有することを特徴とする請求項10または11記載のコン
ピュータ処理装置。
【請求項１３】動きを特定するデータを生成する前記
手段が、前記動きを特定するデータを生成するために、
複数のカメラから得た画像データを処理する手段を有す
ることを特徴とする請求項12記載のコンピュータ処理装
置。
【請求項１４】動きを特定するデータを生成する前記
手段が、前記動きを特定するデータを生成するために、
それぞれのカメラから得た画像中の特徴点をマッチさせ
る手段を有することを特徴とする請求項13記載のコンピ
ュータ処理装置。
【請求項１５】前記特徴点がライトとカラー・マーカ
ーとのうちの少なくとも一方を有することを特徴とする
請求項14記載のコンピュータ処理装置。
【請求項１６】表示される画像について、出席者が注
視している位置を決定する前記手段が、画像中に表示さ
れる出席者に関連する位置を特定するデータを生成する
手段を有することを特徴とする請求項4乃至15のいずれ
かに記載のコンピュータ処理装置。
【請求項１７】表示される画像について、出席者が注
視している位置を決定する前記手段が、出席者の画像を
特定する信号を処理して前記位置を特定するデータを生
成する手段を有することを特徴とする請求項4乃至16の
いずれかに記載のコンピュータ処理装置。
【請求項１８】表示される画像について、出席者が注
視している位置を決定する前記手段が、前記出席者の頭
部の位置に従って位置を決定するようにされたことを特
徴とする請求項17記載のコンピュータ処理装置。
【請求項１９】表示された画像について、出席者が注
視している位置を決定する前記手段が、前記出席者の頭
部の位置を表す平面を決定し、前記平面から、前記表示
された画像へ、アイ・ラインを投影することによって前
記位置を決定するようにされたことを特徴とする請求項
18記載のコンピュータ処理装置。
【請求項２０】前記画像データが表示される表示画面
の位置を決定するための較正処理を行う較正手段を更に
有することを特徴とする請求項4乃至19のいずれかに記
載のコンピュータ処理装置。
【請求項２１】前記較正手段が、表示画面を示す平面
を決定し、３次元で前記平面の位置を決定することによ
って前記表示画面の位置を決定するようにされたことを
特徴とする請求項20記載のコンピュータ処理装置。
【請求項２２】前記較正手段が、表示画面上の認知し
た位置を注視している出席者の頭部の形態に従って、前
記表示画面を示す平面と前記平面の位置とを決定するよ
うにされたことを特徴とする請求項21記載のコンピュー
タ処理装置。
【請求項２３】前記画像データを表示する表示手段を
更に備えたことを特徴とする請求項4乃至22のいずれか
に記載のコンピュータ処理装置。
【請求項２４】対応する複数の装置と接続され、現実
の出席者の動きに従って出席者を表すアバターをアニメ
化することにより、バーチャル会議を行うための装置で
あって、該装置は、前記会議の３Ｄコンピュータモデルを記憶
し、アニメ化するようにされ、かつ、前記３Ｄコンピュ
ータモデルは、前記対応する装置で記憶した３Ｄコンピ
ュータモデルとは異なることを特徴とする装置。
【請求項２５】現実の世界の出席者の動きに従って出
席者の３次元コンピュータモデルをアニメ化することに
よりコンピュータ会議を行う方法であって、複数のユーザー・ステーション間において、各ユーザー
・ステーションが、他のユーザー・ステーションにおけ
る出席者の３次元コンピュータモデルを含むそれぞれの
３次元コンピュータモデルの連続した画像を表示するよ
うに、及び、少なくとも現実の出席者の動きに対応して
前記３次元コンピュータモデルが動くように、データが
交換され、各々のユーザー・ステーションにおいて、他のユーザー・ステーションに各出席者を示す３次元コ
ンピュータモデルを含む３次元会議コンピュータモデル
を特定するデータを記憶する工程と、前記３次元会議コンピュータモデルは、他のユーザー・
ステーションの各々に記憶された前記３次元会議コンピ
ュータモデルとは異なるものであり、前記３次元会議コンピュータモデルの画像を生成し表示
する工程と、表示される画像の内容は、視聴中の各出席者の動きとは
独立しており、表示される画像について、前記ユーザ・ステーションに
おける各出席者が注視している位置を決定し出力する工
程と、前記ユーザ・ステーションにおいて表示される画像が、
出席者の動きを伝えるように、他の出席者から受信した
データに従って、少なくとも、各出席者の前記３次元コ
ンピュータモデルを動かすことを特徴とするコンピュー
タ会議を行う方法。
【請求項２６】各ユーザー・ステーションにおいて、少なくともユーザー・ステーションの各出席者の頭部を
示す画像データを記憶し出力する工程と、対応する３次元コンピュータモデル上へ出席者を示す画
像データを表すことによって表示用の画像データを生成
する工程と、を含むことを特徴とする請求項25記載のコ
ンピュータ会議を行う方法。
【請求項２７】各ユーザー・ステーションにおける前
記３次元会議コンピュータモデルが、会議中においてアニメ化されるが、アニメ化の間の頭部
の動きが、該会議への出席者の頭部の動きによって決定
されないキャラクターの３次元コンピュータモデルを更
に含むことを特徴とする請求項25または26記載のコンピ
ュータ会議を行う方法。
【請求項２８】複数の装置における出席者の間で会議
を行うコンピュータ会議システムにおけるコンピュータ
処理装置における処理方法であって、他の装置における各出席者を示す３次元コンピュータモ
デルを含む３次元会議コンピュータモデルを特定するデ
ータを記憶する工程と、前記３次元会議コンピュータモデルの画像を表示するた
めの画像データを生成する工程と、表示される画像の内容は、視聴中の出席者の動きとは独
立しており、表示される画像について、前記ユーザー・ステーション
における各出席者が注視している位置を決定し出力する
工程と、前記ユーザー・ステーションにおいて表示される画像
が、出席者の動きを伝えるように、他の出席者から受信
したデータに従って、少なくとも、各出席者の前記３次
元コンピュータモデルを動かす工程と、を含むことを特
徴とするコンピュータ処理装置における処理方法。
【請求項２９】前記装置における各出席者の頭部を示
す画像データを記録し出力する工程と、対応する３次元コンピュータモデル上へ出席者を示す受
信された画像データを表すことによって表示用の画像デ
ータを生成する工程と、を含むことを特徴とする請求項
28記載のコンピュータ処理装置における処理方法。
【請求項３０】出席者の座席プランに従って３次元会
議コンピュータモデルを特定するデータを生成する工程
を更に含むことを特徴とする請求項28または29記載のコ
ンピュータ処理装置における処理方法。
【請求項３１】３次元会議コンピュータモデルを特定
するデータを生成する前記工程において、出席者を示す
前記３次元コンピュータモデルの、前記３次元会議コン
ピュータモデルにおける位置が、前記座席プランと、前
記３次元会議コンピュータモデルの画像を表示する表示
の幅と、前記表示から視聴中の出席者までの距離とに従
って決定され、表示用の画像データを生成する前記工程において、前記
３次元会議コンピュータモデルを特定するデータを生成
するために使用する表示から視聴中の出席者までの距離
によって特定される位置から前記３次元会議コンピュー
タモデルを表わすことにより画像データを生成すること
を特徴とする請求項30記載のコンピュータ処理装置にお
ける処理方法。
【請求項３２】前記３次元会議コンピュータモデルを
特定するデータを生成する前記工程と前記表示用の画像
データを生成する前記工程とにおいて、前記表示から視聴中の出席者までの距離が会議中に変化
するにつれて、出席者の前記３次元コンピュータモデル
の中の少なくとも１つの３次元会議コンピュータモデル
における位置と、前記３次元会議コンピュータモデルを
表す基点となる位置と、を変化することを特徴とする請
求項31記載のコンピュータ処理装置における処理方法。
【請求項３３】３次元会議コンピュータモデルを特定
するデータを生成する前記工程において、視聴中の出席者に対して表示される前記画像中におい
て、出席者の前記３次元コンピュータモデルが前記表示
を横切ってほぼ等間隔に離間するように、及び、出席者
の前記３次元コンピュータモデルの頭部が一の出席者か
ら別の出席者へ視線を向けるために動く最小の動きを最
大化するように、出席者の前記３次元コンピュータモデ
ルの位置を決定することを特徴とする請求項31または32
記載のコンピュータ処理装置における処理方法。
【請求項３４】視聴中の出席者の各々の頭部以外の少
なくとも１つの身体部分の動きを特定するデータを生成
し出力する工程を更に有することを特徴とする請求項28
乃至33のいずれかに記載のコンピュータ処理装置におけ
る処理方法。
【請求項３５】動きを特定するデータが個々の３次元
位置を特定するデータであることを特徴とする請求項34
記載のコンピュータ処理装置における処理方法。
【請求項３６】前記画像を特定する信号を処理するこ
とによって前記動きを特定するデータを生成することを
特徴とする請求項34または35記載のコンピュータ処理装
置における処理方法。
【請求項３７】複数のカメラから得た画像データを処
理することによって前記動きを特定するデータを生成す
ることを特徴とする請求項36記載のコンピュータ処理装
置における処理方法。
【請求項３８】それぞれのカメラから得た画像中の特
徴点をマッチさせることによって動きを特定するデータ
を生成することを特徴とする請求項37記載のコンピュー
タ処理装置における処理方法。
【請求項３９】前記特徴点がライトとカラー・マーカ
ーとのうちの少なくとも一方を有することを特徴とする
請求項38記載のコンピュータ処理装置における処理方
法。
【請求項４０】表示される画像について出席者が注視
している位置を特定するデータが、前記画像中に表示さ
れている出席者に関連する位置を特定するデータを含む
ことを特徴とする請求項28乃至39のいずれかに記載のコ
ンピュータ処理装置における処理方法。
【請求項４１】表示される画像について前記出席者が
注視している位置が、前記出席者を表す画像を特定する
信号の処理を行うことによって生成され、前記位置を特
定するデータが生成されることを特徴とする請求項28乃
至40のいずれかに記載のコンピュータ処理装置における
処理方法。
【請求項４２】出席者が注視している表示画像中の位
置が、前記出席者の頭部の位置に従って決定されること
を特徴とする請求項41記載のコンピュータ処理装置にお
ける処理方法。
【請求項４３】前記出席者の頭部の位置を表す平面を
決定し、前記平面から前記表示された画像へアイ・ライ
ンを投影することによって、表示される画像について前
記出席者が注視している位置が決定されることを特徴と
する請求項42記載のコンピュータ処理装置における処理
方法。
【請求項４４】前記画像データを表示する表示画面の
位置を決定する処理を行う較正工程を更に有することを
特徴とする請求項28乃至43のいずれかに記載のコンピュ
ータ処理装置における処理方法。
【請求項４５】前記較正工程では、前記表示画面を示
す平面を決定し、３次元で前記平面の位置を決定するこ
とによって、前記表示画面の位置を決定することを特徴
とする請求項44記載のコンピュータ処理装置における処
理方法。
【請求項４６】前記較正工程では、表示画面上の認知
した位置を注視している前記出席者の頭部の構成に従っ
て、前記表示画面を示す平面と前記平面の位置とを決定
することを特徴とする請求項45記載のコンピュータ処理
装置における処理方法。
【請求項４７】前記画像データを表示する工程を更に
含むことを特徴とする請求項28乃至46のいずれかに記載
のコンピュータ処理装置における処理方法。
【請求項４８】現実の出席者の動きに従って前記出席
者を表すアバターをアニメ化することによりバーチャル
会議を行うコンピュータ処理装置における処理方法であ
って、少なくとも前記出席者の動きに対応して、前記会議にお
ける３次元コンピュータモデルの前記アバターを動か
し、かつ、該３次元コンピュータモデルは、前記会議に
参加する他の各コンピュータ処理装置における３次元コ
ンピュータモデルと異なることを特徴とするコンピュー
タ処理装置における処理方法。
【請求項４９】プログラム可能なコンピュータ処理装
置中へロードした場合に、コンピュータで使用可能な命
令を記録した記録媒体であって、請求項4乃至24の中の少なくとも１つに記載の装置とし
て前記処理装置を構成することを可能にする命令を記録
した記録媒体。
【請求項５０】プログラム可能なコンピュータ中へロ
ードした場合に、コンピュータ処理装置で使用可能な命
令を伝える信号であって、請求項4乃至24の中の少なくとも１つに記載の装置とし
て前記処理装置を構成することを可能にする命令を伝え
ることを特徴とする信号。
【請求項５１】プログラム可能なコンピュータ中へロ
ードした場合に、コンピュータ処理装置で使用可能な命
令を記録した記録媒体であって、請求項28乃至48の中の少なくとも１つに記載の方法を実
行するために前記装置の作動を可能にする命令を記録し
た記録媒体。
【請求項５２】プログラム可能なコンピュータ中へロ
ードした場合に、コンピュータ処理装置で使用可能な命
令を伝える信号であって、請求項28乃至48の中の少なくとも１つに記載の方法を実
行するために前記装置の作動を可能にする命令を伝える
ことを特徴とする信号。
【請求項５３】現実の世界の出席者の動きに従って出
席者を表す３次元コンピュータモデルをアニメ化するこ
とによってビデオ会議を行うことを可能にするビデオ会
議システムであって、複数のユーザー・ステーションを備え、該複数のユーザー・ステーションは、各ユーザー・ステーションが、他のユーザー・ステーシ
ョンにおける出席者の３次元コンピュータモデルの画像
を表示するように、データを交換するようにされ、前記画像は、視聴中の出席者の動きとは独立に表示さ
れ、他のユーザー・ステーションにいる出席者の音声がヘッ
ドホンを通じて前記視聴中の出席者に対して出力され、前記ヘッドホンを通じて聞こえる前記音声が前記視聴中
の出席者の動きに依存することを特徴とするビデオ会議
システム。
【請求項５４】各ユーザー・ステーションが、前記ユーザー・ステーションにおける出席者の動きを特
定するデータを生成し出力する手段と、前記ユーザー・ステーションにおける出席者からの音声
を記憶し出力する手段と、他のユーザー・ステーションにおける出席者の動きを特
定するデータを受信し、前記動きに従って前記出席者を
表す３次元コンピュータモデルを変化させる手段と、他のユーザー・ステーションにおける出席者からの音声
を特定するデータを受信する手段と、前記ユーザー・ステーションにおける出席者の頭部の位
置に従ってヘッドホンへ出力する音声データを生成する
ために前記受信した音声のデータを利用する手段と、を備えたことを特徴とする請求項53記載のビデオ会議シ
ステム。
【請求項５５】前記受信した音声のデータを利用する
手段は、前記ヘッドホンを着用している出席者の頭部の
位置と、前記音声を発している出席者の頭部の位置との
双方に従って、前記ヘッドホンへの音声データを生成す
るようにされたことを特徴とする請求項53または54記載
のビデオ会議システム。
【請求項５６】ビデオ会議システムにおいて用いられ
る複数の装置における出席者の間で、ビデオ会議を行う
ための該システムにおいて用いられるコンピュータ処理
装置であって、前記装置における出席者の頭部の位置を決定する手段
と、他のユーザーの装置における出席者からの音声を特定す
るデータを受信する手段と、前記装置における出席者の頭部の位置に従ってヘッドホ
ンへの出力用音声データを生成するために、前記受信し
た音声データを用いる手段と、を備えたことを特徴とするを有することを特徴とするコ
ンピュータ処理装置。
【請求項５７】バーチャル会議を行うために装置であ
って、一定の視点から、連続した画像を示す３次元コンピュー
タモデルを表示するための画像データを生成する手段
と、表示された画像について視聴者が注視している位置に従
って、前記３次元モデルのオブジェクトに関連してヘッ
ドホンへ出力される音声を制御する手段と、を備えたこ
とを特徴とする装置。
【請求項５８】現実の世界の出席者の動きに従って出
席者を表す３次元コンピュータモデルをアニメ化するこ
とによってビデオ会議を行う方法において、複数のユーザー・ステーションの間において、各ユーザ
ー・ステーションが、他のユーザー・ステーションにお
ける出席者の３次元コンピュータモデルの画像を表示す
るように、データが交換され、前記画像は、視聴中の出席者の動きとは独立して表示さ
れ、他のユーザー・ステーションにおける出席者の音声がヘ
ッドホンを通じて前記視聴中の出席者に対して出力さ
れ、前記ヘッドホンを通じて聞こえる前記音声が前記視聴中
の出席者の動きに依存することを特徴とするビデオ会議
を行う方法。
【請求項５９】各ユーザー・ステーションが、前記ユーザー・ステーションにおける出席者の動きを特
定するデータを生成し出力する工程と、前記ユーザー・ステーションにおける出席者からの音声
を記憶し出力する工程と、、他のユーザー・ステーションにおける出席者の動きを特
定するデータを受信し、前記動きに従って出席者を表す
３次元コンピュータモデルを変化させる工程と、他のユーザー・ステーションにおける出席者からの音声
を特定するデータを受信する工程と、前記ユーザー・ステーションにおける出席者の頭部の位
置に従ってヘッドホンへ出力する音声データを生成する
ために前記受信した音声のデータを使用する工程と、を
実行することを特徴とする請求項58記載のビデオ会議を
行う方法。
【請求項６０】ヘッドホンを着用する出席者の頭部の
位置と、音声を発する出席者の頭部の位置との双方に従
って、前記ヘッドホンへの音声が生成されることを特徴
とする請求項58または59記載のビデオ会議を行う方法。
【請求項６１】複数の装置にいる出席者の間でビデオ
会議を行うためのコンピュータ処理装置における処理方
法であって、前記装置における出席者の頭部の位置を決定する工程
と、他のユーザーの装置における出席者からの音声を特定す
るデータを受信する工程と、前記装置における出席者の頭部の位置に従ってヘッドホ
ンへの出力用音声データを生成するために、前記受信し
た音声データを用いる工程と、を含むことを特徴とする
コンピュータ処理装置における処理方法。
【請求項６２】バーチャル会議を行うためのコンピュ
ータ処理装置における処理方法であって、一定の視点から、連続した画像を示す３次元コンピュー
タモデルを表示するための画像データを生成する工程
と、表示された画像について視聴者が注視している位置に従
って、前記３次元モデルのオブジェクトに関連してヘッ
ドホンへ出力される音声を制御する工程と、を含むこと
を特徴とするコンピュータ処理装置における処理方法。
【請求項６３】プログラム可能なコンピュータ処理装
置へロードした場合に、コンピュータで使用可能な命令
を記録した記録媒体であって、請求項56と57の少なくとも一方に記載の装置として前記
処理装置を構成することを可能にする命令を記録した記
録媒体。
【請求項６４】プログラム可能なコンピュータ中へロ
ードした場合に、コンピュータ処理装置で使用可能な命
令を伝える信号であって、請求項56と57の少なくとも一
方に記載の装置として前記処理装置を構成することを可
能にする命令を伝えることを特徴とする信号。
【請求項６５】現実の世界の出席者の動きに従って出
席者を表す３次元コンピュータモデルをアニメ化するこ
とによってビデオ会議を行うことを可能にするビデオ会
議システムにおいて、前記出席者の頭部の動きが、各出席者の着用するヘッド
ホンの特徴の位置から決定されることを特徴とするビデ
オ会議システム。
【請求項６６】現実の出席者の画像データを用いて各
出席者を示す３次元コンピュータモデルの頭部が表さ
れ、表される該画像データは、前記ヘッドホンの特徴の
位置を利用して決定されることを特徴とする請求項65記
載のビデオ会議システム。
【請求項６７】前記ヘッドホンの特徴が、ライトを含
むことを特徴とする請求項65または66記載のビデオ会議
システム。
【請求項６８】複数の装置における出席者の間でビデ
オ会議を行うためのビデオ会議システムで使用するコン
ピュータ処理装置であって、前記出席者が着用するヘッドホンに従って出席者の頭部
の位置を決定する手段を備えたことを特徴とするコンピ
ュータ処理装置。
【請求項６９】頭部の位置を決定する前記手段が、ヘッドホンを着用するビデオ会議の出席者の画像を特定
する画像データを受信する手段と、前記ヘッドホンの特徴の位置に従って前記出席者の頭部
の動きを特定するデータを生成するために前記画像デー
タを処理する手段と、を備えたことを特徴とする請求項
68記載のコンピュータ処理装置。
【請求項７０】前記ヘッドホンの特徴の位置を用いて
前記出席者の頭部に関連する画像データを特定する手段
を更に備えたことを特徴とする請求項69記載のコンピュ
ータ処理装置。
【請求項７１】前記ヘッドホンの特徴が、ライトを含
むことを特徴とする請求項69または70記載のコンピュー
タ処理装置。
【請求項７２】前記ビデオ会議の出席者の頭部の動き
を特定するデータを受信する手段と、受信した前記動きを示すデータに従って出席者を表す３
次元コンピュータモデルをアニメ化する手段と、を更に
備えたことを特徴とする請求項68乃至71のいずれかに記
載のコンピュータ処理装置。
【請求項７３】前記ビデオ会議の出席者の頭部を示す
画像データを受信する手段と、前記受信画像データを用いて出席者の３次元コンピュー
タモデルを表す手段と、を更に備えたことを特徴とする
請求項68乃至72のいずれかに記載のコンピュータ処理装
置。
【請求項７４】請求項68乃至73のいずれかに記載の装
置と共に用いるヘッドホンであって、出席者の音声を録音するマイクと、出席者に対して音声を出力するイヤホンと、複数のライトと、を備えたことを特徴とするヘッドホ
ン。
【請求項７５】前記ライトが発光ダイオードを備えた
ことを特徴とする請求項74記載のヘッドホン。
【請求項７６】現実の世界の出席者の動きに従って出
席者を表す３次元コンピュータモデルをアニメ化するこ
とによりビデオ会議を行う方法において、出席者の頭部の動きを、各出席者の着用するヘッドホン
の特徴の位置から決定することを特徴とするビデオ会議
を行う方法。
【請求項７７】現実の出席者の画像データを用いて各
出席者を示す３次元コンピュータモデルの頭部を表し、
表す該画像データは、前記ヘッドホンの特徴の位置を利
用して決定することを特徴とする請求項76記載のビデオ
会議を行う方法。
【請求項７８】前記ヘッドホンの特徴が、ライトを含
むことを特徴とする請求項76または77記載のビデオ会議
を行う方法。
【請求項７９】複数の装置における出席者の間でビデ
オ会議を行うビデオ会議システムにおけるコンピュータ
処理装置における処理方法であって、出席者が着用するヘッドホンに従って前記ビデオ会議の
出席者の頭部の位置を決定する工程を含むことを特徴と
するコンピュータ処理装置における処理方法。
【請求項８０】頭部の位置を決定する前記工程が、ヘッドホンを着用するビデオ会議の出席者の画像を特定
する画像データを受信する工程と、前記ヘッドホンの特徴の位置に従って出席者の頭部の動
きを特定するデータを生成するために、前記画像データ
を処理する工程と、を含むことを特徴とする請求項79記
載のコンピュータ処理装置における処理方法。
【請求項８１】前記ヘッドホンの特徴の位置を用いて
出席者の頭部に関連する画像データを特定する工程を更
に含むことを特徴とする請求項80記載のコンピュータ処
理装置における処理方法。
【請求項８２】前記ヘッドホンの特徴が、ライトを含
むことを特徴とする請求項80または81記載のコンピュー
タ処理装置における処理方法。
【請求項８３】前記ビデオ会議の出席者の頭部の動き
を特定するデータを受信する工程と、受信した前記動きを示すデータに従って出席者を表す３
次元コンピュータモデルをアニメ化する工程と、を更に
含むことを特徴とする請求項79乃至82のいずれかに記載
のコンピュータ処理装置における処理方法。
【請求項８４】前記ビデオ会議の出席者の頭部を示す
画像データを受信する工程と、前記受信画像データを用いて出席者の３次元コンピュー
タモデルを表す工程と、を更に含むことを特徴とする請
求項79乃至83のいずれかに記載のコンピュータ処理装置
における処理方法。
【請求項８５】プログラム可能なコンピュータ処理装
置へロードした場合に、コンピュータで使用可能な命令
を記録した記録媒体であって、請求項68乃至73の中の少なくとも１つに記載の装置とし
て前記処理装置を構成することを可能にする命令を記録
した記録媒体。
【請求項８６】プログラム可能なコンピュータ処理装
置へロードした場合に、コンピュータで使用可能な命令
を伝える信号であって、請求項68乃至73の中の少なくとも１つに記載の装置とし
て前記処理装置を構成することを可能にする命令を伝え
ることを特徴とする信号。
【請求項８７】複数の装置における出席者の間でビデ
オ会議を行うためのビデオ会議システムで使用するコン
ピュータ処理装置であって、複数の可動なカメラによって記憶された前記装置におけ
る出席者の画像を特定する画像データを受信する手段
と、前記カメラ間の関係を特定する複数のそれぞれの変換を
行い、出力データを生成する際に使用する会議用変換を
決定するために、前記画像データを処理可能な較正手段
と、前記出席者の体の少なくとも一部の動きを３次元で特定
するデータを生成するために、前記会議用変換を利用し
て前記カメラから得た画像データを処理する手段と、を
備えたことを特徴とするコンピュータ処理装置。
【請求項８８】前記較正手段は、ビデオ会議の間に、
出席者が占める可能性がある空間的における異なる位置
で、前記出席者の画像を特定する画像データを処理する
ことにより、前記会議用変換を決定するようにされるこ
とを特徴とする請求項87記載のコンピュータ処理装置。
【請求項８９】前記異なる位置が、ビデオ会議の間
に、出席者が占める可能性がある空間の実質的に両端部
を含むことを特徴とする請求項88記載のコンピュータ処
理装置。
【請求項９０】前記構成手段は、それぞれのカメラに
よって記憶した画像データについてマッチした特徴点を
用いて、それぞれの変換を行うようにされたことを特徴
とする請求項88または89記載のコンピュータ処理装置。
【請求項９１】前記特徴点が、ライトとカラー・マー
カーとのうちの少なくとも一方を含むことを特徴とする
請求項90記載のコンピュータ処理装置。
【請求項９２】前記構成手段は、異なる位置における
出席者の画像から得られるマッチした特徴点の組合せを
用いて、それぞれの変換を行うようにされることを特徴
とする請求項90または91記載のコンピュータ処理装置。
【請求項９３】前記較正手段は、アフィン変換と配景
変換を行うことが可能であることを特徴とする請求項87
乃至92のいずれかに記載のコンピュータ処理装置。
【請求項９４】前記較正手段は、アフィン変換と配景
変換の双方を行いテストして、前記会議用変換として最
も正確な変換を選択するようにされたことを特徴とする
請求項93記載のコンピュータ処理装置。
【請求項９５】前記較正手段は、前記アフィン変換を
行いテストして、アフィン変換が十分に正確であれば会
議用変換としてアフィン変換を用い、前記アフィン変換
が十分に正確でなければ前記会議用変換として配景変換
を利用するようにされたことを特徴とする請求項93記載
のコンピュータ処理装置。
【請求項９６】３次元出席者モデルを含む３次元会議
モデルを特定するデータを記憶する手段と、外部装置か
ら受信した出席者の動きを特定するデータに従って前記
出席者モデルを変換する手段と、画像データを生成する
ために前記会議モデルを表す手段と、を更に備えたとを
特徴とする請求項87乃至95のいずれかに記載のコンピュ
ータ処理装置。
【請求項９７】出席者の少なくとも一部に対応する、
少なくとも一つの前記カメラによって記憶した画像デー
タを出力する手段と、他の各出席者の少なくとも一部に対応する画像データを
受信し、前記受信画像データを用いて前記出席者モデル
を表す手段と、を更に備えたことを特徴とする請求項96
記載のコンピュータ処理装置。
【請求項９８】前記画像データを表示する表示手段を
更に備えたことを特徴とする請求項96または97記載のコ
ンピュータ処理装置。
【請求項９９】出席者の画像データを記録するための
複数のカメラを更に備えたことを特徴とする請求項87乃
至98のいずれかに記載のコンピュータ処理装置。
【請求項１００】現実の出席者の動きに従って出席者
を表すアバターをアニメ化することにより、バーチャル
会議を行うために使用する装置において、複数のカメラからの画像データを処理して、前記画像に
おける少なくとも一の出席者の３次元の動きを決定する
手段と、出席者の動きを決定するために前記画像データの処理に
おいて利用する変換を決定するために、異なるカメラに
よって記録した画像間の関係を決定する手段と、を備え
たことを特徴とする装置。
【請求項１０１】複数の装置における出席者の間でビ
デオ会議を行うためのコンピュータ処理装置における処
理方法であって、複数の可動なカメラによって記録した前記装置における
出席者の画像を特定する画像データを受信する受信工程
と、出力データを生成する際に用いる会議用変換を決定し、
前記カメラ間の関係を特定する複数のそれぞれの変換を
行うために前記画像データを処理する較正工程と、前記会議用変換を利用して、前記出席者の少なくとも一
部の動きを３次元で特定するデータを生成するために、
前記カメラからの画像データを処理するデータ生成工程
と、を含むコンピュータ処理装置における処理方法。
【請求項１０２】前記較正工程では、ビデオ会議の間
に、出席者が占める可能性がある空間における異なる位
置で、出席者の画像を特定する画像データを処理するこ
とにより、前記会議用変換を決定することを特徴とする
請求項101記載のコンピュータ処理装置における処理方
法。
【請求項１０３】前記異なる位置が、ビデオ会議の間
に、出席者が占める可能性のある空間の実質的に両端部
を含むことを特徴とする請求項102記載のコンピュータ
処理装置における処理方法。
【請求項１０４】前記較正工程では、それぞれのカメ
ラによって記憶した画像データにおいてマッチした特徴
点を用いて、それぞれの各変換を行うことを特徴とする
請求項102または103記載のコンピュータ処理装置におけ
る処理方法。
【請求項１０５】前記特徴点がライトとカラー・マー
カーとのうちの少なくとも一方を含むことを特徴とする
請求項104記載のコンピュータ処理装置における処理方
法。
【請求項１０６】前記較正ステップでは、異なる位置
における出席者の画像から得られるマッチした特徴点の
組合せを用いて、それぞれの変換を行うことを特徴とす
る請求項104または105記載のコンピュータ処理装置にお
ける処理方法。
【請求項１０７】前記較正工程では、アフィン変換と
配景変換とを行うことを特徴とする請求項101乃至106の
いずれかに記載のコンピュータ処理装置における処理方
法。
【請求項１０８】前記較正工程では、アフィン変換と
配景変換の双方を行いテストして、前記会議用変換とし
て最も正確な変換を選択することを特徴とする請求項10
7記載のコンピュータ処理装置における処理方法。
【請求項１０９】前記較正工程では、アフィン変換を
行いテストして、アフィン変換が十分に正確であれば前
記会議用変換としてアフィン変換を用いることを決定
し、アフィン変換が十分に正確でなければ前記会議用変
換として配景変換を利用することを特徴とする請求項10
7記載のコンピュータ処理装置における処理方法。
【請求項１１０】３次元出席者モデルを含む３次元会
議モデルを特定するデータを記憶する工程と、外部装置から受信した出席者の動きを特定するデータに
従って出席者のモデルを変換する工程と、画像データを生成するために前記会議モデルを表す工程
と、を更に備えたことを特徴とする請求項101乃至109の
いずれかに記載のコンピュータ処理装置における処理方
法。
【請求項１１１】前記出席者の少なくとも一部に対応
する、少なくとも一つの前記カメラによって記憶された
画像データを出力する工程と、他の各出席者の少なくとも一部に対応する画像データを
受信し、前記受信画像データを用いて前記出席者モデル
を表す工程と、を更に備えたことを特徴とする請求項11
0記載のコンピュータ処理装置における処理方法。
【請求項１１２】前記画像データを表示する工程を更
に備えたことを特徴とする請求項110または111記載のコ
ンピュータ処理装置における処理方法。
【請求項１１３】現実の出席者の動きに従って出席者
を表すアバターをアニメ化することによりバーチャル会
議を行うためのコンピュータ処理装置における処理方法
であって、複数のカメラからの画像データを、前記画像中の少なく
とも一の出席者の３次元の動きを決定するために処理す
る工程と、出席者の動きを決定するために前記画像データの処理に
おいて利用する変換を決定するために、異なるカメラに
よって記憶した画像間の関係を決定する工程と、を含む
ことを特徴とするコンピュータ処理装置における処理方
法。
【請求項１１４】プログラム可能なコンピュータ処理
装置へロードした場合に、コンピュータで使用可能な命
令を記録した記録媒体であって、請求項87乃至100の中の少なくとも１つに記載の装置と
して前記処理装置を構成することを可能にする命令を記
録した記録媒体。
【請求項１１５】プログラム可能なコンピュータへロ
ードした場合に、コンピュータ処理装置で使用可能な命
令を伝える信号であって、請求項87乃至100の中の少なくとも１つに記載の装置と
して前記処理装置を構成することを可能にする命令を伝
えることを特徴とする信号。