JP2005510142A - 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム - Google Patents

Abstract

本発明は、現地場面と遠隔地場面を統合する視聴覚システムに関するものである。本発明は、そのシステムが、複数の連結した視聴覚モジュール（Ｍ１、Ｍ２、Ｍ３）を含み、上記各モジュールは現地の画像検出装置と音声検出装置、画像平面（Ｉ）内で遠隔地場面の画像音声再生装置と音声再生装置を含み、このモジュールは通信ネットワークに接続されており、撮影あるいは記録される人が対象となる場所の種々の画像像および音声検出装置の前を通過するときに、画像平面内の画像と音声の質の連続性を確実にするための、各種モジュール間の自動制御とモニタリング手段（monitoringmeans）を含むことを特徴とする。

Description

発明の詳細な説明

本発明は、現地場面(local scene)と遠隔地場面(remote scene)を統合する(bring together)ためのモジュール型視聴覚システム(modular audio-visual system)に関するものであり、このシステムは、複数のモジュールを含み、これらモジュールは、現地用の画像検出装置(image sensing device)および音声検出装置(sound sensing device)と、現地場面において遠隔地場面の画像及び音声を復元(restor)するための装置(device)と、を含む。

本発明は、テレプレゼンス（telepresence）を分野とし、このテレプレゼンスは、現地場面と遠隔地場面とを統合することを可能にする。テレプレゼンスは、相互の立会いの感覚、すなわち、交信中である人々の集団間で現実感を作り出す視聴覚品質の産物である。

一人または複数の人が現地場面と遠隔地場面とに分かれている場合、このような人々が離れていながら会合できるようにする。これは、テレビ会議と呼ばれるものである。

テレプレゼンスはテレビ会議を拡張したものである。

テレビ会議と同様に、テレプレゼンスは、文字、グラフィック（graphic）、および図等のデータのみでなく、画像および音声の伝達によって達成される。

現地場面は屋外で起こりうるが、通常、現地場面は建物の中で起こる。なぜなら、現地室(local room)は、現地場面が起こる場所として指定され、また遠隔地室(remote room)は、遠隔地場面が起こる場所として指定されるからである。

画像検出装置に備えられた現地室ＳＬから、再生あるいは復元装置に備えられた遠隔地室ＳＤへの画像伝達は、図1に概略的に示したような経路を通過する。この経路は、カメラ、アナログ−デジタル変換器（analogue-digital converter）ＣＡＮ、コード化システム（coding system）Ｃ、通信ネットワークＲ、解読システム（decoding system）Ｄ、デジタルアナログ交換器（digital-analogue converter）ＣＮＡといった画像検出装置１と、例えば、プラズマ、ＬＣＤ、ＣＲＴ等のスクリーンに接続されたプロジェクタＰといった画像再生装置２とを含んでいる。

同様に、現地室の音声検出システムと、遠隔地室の音声再生システムとが存在しうる。それゆえ、図1に示したように、このシステムは、マイクロフォンＭｉとスピーカーＨｐとを含む。

通信を相互的なものにするために、確実に、画像と音声とが遠隔地室ＳＤで記録され(captured)、かつ、現地室ＳＬで再生されるように、図1に示した音声と画像のシステムが、逆方向にも作られる。

最終的に、それぞれの室は、画像再生装置及び音声声再生装置だけでなく、画像検出装置及び音声検出装置にも設置されている。

このように、現地場面および遠隔地場面とを統合することができる視聴覚システムを用いることにより、室内、公共区域(public area)、または、屋外に設置されたシステム、及び、通信ネットワーク（団体内ネットワーク（ローカルネットワーク）、または、公的なネットワーク）に接続した画像および音声再生装置といった、画像検出装置と音声検出装置とからなるようなモジュールを少なくとも１つ含んだシステムが設計されるであろう(designate)。これは、また相互視聴覚システムとよばれるものである。

相互視聴覚システムとしては、テレビ会議が挙げられる。これらテレビ会議システムはいくつかの異なる形式で行うことが可能である。つまりテレビ会議室、テレビ電話、マルチメディア通信を用いるパーソナルコンピューターＰＣ、相互交流型ベース（base）、などである。

しかしながら、ここでは他の構成も存在する。例えば、ホール内、または、通りにある、キオスク（kiosk）やテレプレゼンスウォールといったものである。これらの構成は、準永久的な形式で、他方のキオスク（kiosk）や遠隔地テレプレゼンスウォール（telepresence wall）に接続している。この場合には、現在のテレビ会議システムに見られるような、サービスを予約しておく必要がない。

テレプレゼンスウォール（例えばパリに設置されたもの）の前を通り過ぎる人が、小声でまたは気軽に、遠隔の人（例えばロンドンにあって、パリのシステムに接続されているような、他のテレプレゼンスウォールの前を通っている人）と、まるで通りや玄関等で会ったように通信できる。これらの離れた人達は例えば並んで歩いているようなものである。

この共存性を確実にするために、次のことが制御されなくてはならない。
アイコンタクト
人の身長（倍率１）
音声と画像の品質
スクリーンの距離
変更可能な画像および音声ウォール（wall）を持つためのモジュール性
本発明を提示する前に、視聴覚システムの使用上の制約と、特に、環境の制約、アイコンタクトの欠落の影響、およびいくつかの装置の連結、に関連するすべての現象について述べる。

一般に、テレプレゼンス視聴覚システムは、受信と再生の両方において、画像および供給されるサービス（service）に依存して、ある場面から特定の距離で使用するように作られる。

しかしながら、近距離で見ることは、テレビ会議やテレプレゼンスへの参加者が快適に参観し、システムを遠隔使用できることを確実にするために、有力な要素である。このことはテレプレゼンスを確実にする。このように近距離で見ることによって、特に、好意的なアイコンタクトにより離れた参加者間の親近感を増すことが可能となる。

しかしながら、フィルムへの場面がカメラに近づくにつれ、カメラの画角(field angle)をより大きくしなければならない。近距離で画像検出角度を増大することにより、図２ａおよび２ｂに示すような問題がある。

図２ａは、下方向から見た、現地室ＳＬに配置された画像検出装置１を概略的に示したものである。画像検出装置１は、現地場面を撮影している。この現地場面は、例えば、αという広い検出範囲を持つカメラから、約１メートルのところにあるテーブルの周りに座っている現地参加者ＰＬにより、表わされている。参加者の見る方向は、小さなダッシュ記号で示されている。この小さなダッシュ記号は参加者の鼻を表している。スクリーンＥでは、遠隔地の参加者ＰＤの画像、ここでは特に遠隔の参加者ｄの画像が形成されている。

現地室ＳＬ内の現地参加者ａが、線ｂ１で表されたカメラの軸の中におらず、遠隔地の参加者に話しかけるとき、彼もしくは彼女は像ｄ’（いわばスクリーンＥ上の遠隔の参加者）を見ることになる。線ａｄ’でａがｄ’と顔を合わせているとはいえ、カメラは線ａ１を受け取り、最終的には参加者ａの横顔を撮影する。

遠隔地室ＳＤに設置されている再生装置にこの横顔の画像が伝達され、ｄに再送信されると、図２ｂに示したようにａがｄを見ていないかのようなａの像ａ’となる。アイコンタクトは再生されない。この効果を視差（アイコンタクトあるいは凝視）効果といい、時にはアイコンタクト効果の欠落とよばれる。

このため、画像平面は、ｄ’画像が位置する平面である。この例ではスクリーンと混同されるが、これは鏡を使って像を反射させるような場合に限らない。

ａｄ’線は現地場面から出て撮影される光線である。この光線は目標平面とよばれる平面に位置し、そしてその平面は画像平面に垂直である。

仮に、図２ｃに示したように、画像検出器が画法幾何学（モンジェ幾何学ともいう）的に円筒形で突出した様式または平らな工業的なデザインであり、カメラがａｄ’と平行なすべての線を捕らえられるようにし、かつ図２ａで示したような検出範囲αに従って、円錐状に突出した様式でないならば、アイコンタクトの欠落は排除される。

視覚的視差またはアイコンタクト効果の欠落は、より散文的には“偽善者(hyprocrite)”効果と呼ばれている。この効果はテレビ会議の枠組みの中で起きていた。しかしながら、この効果は、現地場面の人が立ち上がっている、あるいは他の人を認識せず、むしろ物体を認識する場合を考慮に入れると、一般化することができる。例えば、側面が青あるいは赤である立方体が、傾けて配置されていると、青い側面と赤い側面の両方を見せることになる。しかしながら、線ａ１は青い側面からしか来ない。立方体を傾けて配置した場合には青と赤両方の側面が見えるが、この立方体のａ’像は、立方体の青い側面を示すのみとなる。

さらに、再生中の参加者あるいは被写体の大きさは、カメラの撮っている領域内でそれらが位置する場所と、カメラの検出範囲αによって変化する。仮に複数の参加者あるいは複数の被写体が撮影されたとすると、撮影する範囲は広くなり、遠近効果は画像の端の部分ではゆがめられるため、その分だけ、再生された画像は少し湾曲する。再生画像は、図３ａおよび３ｂに示したような様々な拡大効果を呈する。この効果は広角レンズを用いる写真家にはよく知られている。

図３ａおよび３ｂにはそれぞれ、ａとｂで示される２人の現地の参加者ＰＬが存在する。一方は他方に対して後方に位置しており、存在している画像検出装置により撮影されている。図３ａの場合、角度範囲α１は、図３ｂのα２の角度範囲より小さい。ａの再生画像であるａ’１とａ’２は、ほぼ同一である。しかしながら、ｂに対するｂ’１の（図３a）拡大率は、ｂに対するｂ’２の拡大率より大きい（図３ｂ）。

このような、広い角度範囲を持つ受像器によって引き起こされるような撹乱効果（アイコンタクト効果の欠落、及び、歪んだ遠近感）を低減可能にする解決方法は、図２ａに示す線ａｄ’と線ａ１で形成された角度βを制限することにある。ＥＴＳＴ（European Telecommunications standards Institute）の規格は、この角度βは5度を超えては成らないと明記されている。この角度は、視界軸（viewing axis）の周辺のカメラを撤去、あるいは設置することで撮影される場面を制限することによって、得られる。

この不都合を補正するために、図４ａと図４ｂに示したような、有用な画像検出装置１がいくつか存在する。受像器(image capture)の連続性を確実にするために、これらの装置の光軸は放射状かつ同一面上にある。また、これらの装置は近接している、すなわち複数の装置１が“連結”している。しかしながら、画像検出範囲は共通であるか、あるいは重複している領域ＺＲであり、１つあるいは数個の近接した再生装置（各々が１つの画像検出装置に対応する）で再生された画像は、再現された部分あるいは重複からの不連続性を呈する。画像の重複は、より広くあるいは狭い重複領域を有する別のカメラによって捕らえられた、同じ光景のいくつかの部分を複合的に再現したものである。

図４ａに示したような２つの画像検出装置１の場合、２つの重複ＺＲをもった領域が１つ存在する。図４ｂに示したような３つの画像検出装置１の場合、被写体が画像検出装置に近づいたときには２つの重複ＺＲをもつ領域が１つ存在し、被写体が離れたときには３つの重複が存在する。

画像検出装置の範囲角度が増大すると、この画像重複現象は増大する。

画像処理ソフトウェアはこの問題を処理する目的で開発されている。しかしながら、いまだに十分な結果は得られていない。

本発明の目的は、このようなシステムをあらゆる状況に対して適応可能にすることにある。その目的は特に、使用可能な空間の制約がないような導入(installation)を可能にすることである。

以上のように、本発明は、独立した複数のモジュールからなるモジュラーシステムを提案するものである。これらモジュールは、導入者（installer）が利用できる空間によって規定される数に応じて組み合わされ、形成される。次に、連結、あるいは連結したモジュールとは、これらモジュールが物理にも動作においても、連続した状態を形成していることを表している。本発明によれば、これらのモジュールは次のような問題を呈することなく、操作上独立である。問題とは、現地場面のモジュールの前を使用者が通り過ぎるときに、遠隔地場面で見ている人に対して画像と音声が連続性しない、という現象に起因する問題である。

本発明は、このように、それが設置された周囲の状況に完全に適応し、また、そのモジュール性にもかかわらず、従来技術でみられた問題点を示さないという、モジュラー相互交流型システムを提案するものである。

それゆえ、本発明の目的は、現地場面と遠隔地場面とを１つにまとめた視聴覚システムを得ることにある。主には以下のことを含むことを特徴としている。

複数の連結した視聴覚モジュールであって、各モジュールが、現地場面の画像検出装置及び音声検出装置と、画像平面Ｉにおける遠隔地の画像再生装置及び音声再生装置とを含んでおり、またこれらモジュールは通信ネットワークに接続している、複数の連結した視聴覚モジュールと、
上記各種モジュール間のフィードバック制御および制御手段であって、撮影あるいは記録されている人が、その場の各種の画像および音声検出装置の前を通過する場合に、画像平面上の画像と音声の連続性を確実にするためフィードバック制御および制御手段。

モジュールは、近接したモジュールの現検出器を含んでおり、これらモジュールはフィードバック制御および制御手段に接続している。

近接したモジュールの検出手段は、現検出器から構成されていてもよい。

近接したモジュールの検出手段は、音声受信手段と、この受信の修正を検出する手段からなっていてもよい。

フィードバック制御および制御手段は、画像検出装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信してもよい。

フィードバック制御および制御手段は、画像再生装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信することができる。

基準信号は、外部の装置または上記モジュールの１つによって供給されてもよい。

基準信号は、近接したモジュールにより、各モジュールに供給される。

上記基準が外部である場合、この基準は、音声検出装置により得られてもよい。

フィードバック制御および制御手段は、音声検出および音声再生装置のフィードバック制御手段を含み、この音声検出および音声再生装置は、基準信号に応じて装置をフィードバック制御するための基準信号を受信することができる。

フィードバック制御手段は、必要なフィードバック制御手段を実行するようにプログラムされたプログラムメモリを含む処理ユニットによって、実行可能である。

フィードバック制御および制御手段が、各々のモジュールから独立して、データフロー（IPあるいは他のプロトコール）を超え、ネットワーク上の伝達を制御することができる。

本発明の他の特徴と利点は、限定されない例についての説明を読み、添付した図面を見る中で明らかになるであろう。

図１は、現地室と遠隔地室の間の画像と音声の経路全体に存在する要素のつながりを概略的に表している。

図２ａ、図２ｂ、および図２ｃはアイコンタクトの欠落の効果を示した図である。

図３ａおよび図３ｂは画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である。

図４ａおよび図４ｂは、それぞれ２つおよび３つの画像検出装置を用いた場合の重複領域を示した図である。

図５ａおよび図５ｂは、第１および第２の実施形態における本発明の原理を示した図であり、連結した装置を３つのみ示した。

図６ａはモジュールカメラのフィードバック制御の図をより詳細に示した図である。

図６ｂは画像の連続性を確実にするためのフィードバック制御の例を示した図である。

図７はモジュールプロジェクタのフィードバック制御をより詳細に示した図である。

図８は画像および音声検出装置と再生装置のフィードバック制御を表した図である。

図９ａと図９ｂは、連結したモジュールに関連する画像検出装置の２つの実施形態を示した図である。

図１０は画像検出装置とモジュールの再生装置の例を詳細示した図である。

図１１は相互作用視聴覚システムを多角形のキオスクの形態で実施した場合の外観を示した図である。

視聴覚モジュールＭ１は現地場面の画像検出装置と音声検出装置とを含む。また、視聴覚モジュールＭ１は画像平面Ｉ内に、遠隔地場面の画像再生装置と音声再生装置も含む。

実用的には、画像検出装置はカメラＣ１を含み、音声検出装置は１つあるいは複数のマイクロフォンＭｉを含む。

画像再生装置は、画像プロジェクタＰ１、及び、スクリーンＥ、すなわち、映像プロジェクタ、または、例えばプラズマシステムのような他の視覚装置を含む。音声再生装置は１つあるいは複数のスピーカーＨＰを含む。

画像検出装置はその装置が接続されている通信ネットワークを通じて、現地場面を次に伝達することを可能にする。また、現地装置に接続された遠隔地装置を用いて、現地場面を再生することを可能にする。

他の実施例によれば、カメラにより受像された画像が折りたたまれた画像になることが予測されうる。使用者が、記録される場面と画像検出装置との間の距離を縮めたいと考えた場合に、この配置が選択される。実用的には、並列された鏡がカメラの前に設置される。

室がそれを許可した場合、またモジュールの特定の実施例がいかなるものであろうと、複数の独立したモジュールが接続可能であり、これらは画像および音声を確実に連続させると共に、操作上従属している。

本発明は、特に、再生中の画像の重複あるいは音声のずれを予防可能にする。例えば、声の高さの変化や音声響レベルの変化、また音声検出に合わないような領域に対しても、音声のずれは一致する。

さらに本発明は、人がキオスク、スクリーン、または、画像ウォールの前で動いた場合に、画像と音声品質の連続性を確実にする。

最後に、本発明によれば、システムを構成する各種要素をフィードバック制御及び制御手段があってもよい。原理を示した図が図５ａと５ｂである。

一例として、３つのモジュールが連結されている。それぞれのモジュールは、２つの操作ブロックに分かれた１つのブロックで表されている。この２つの操作ブロックは、一つが視覚装置１、もう一つが聴覚装置２に相当する。隣接したモジュールの現検出器Ｄは、現信号をフィードバック制御と制御装置Ｐとに再送信することを可能にする。現検出器Ｄは、当業者にはよく知られた型の検出器、例えば光電池、超音声波検出器、現存の家庭用検出器等を用いて、実行されうる。

システム全体は、各モジュール同士がその周辺と相互交流するかのように作動し、視覚聴覚の特性を修飾する（送信装置およびネットワーク多重送信と同じように）。例えば、各モジュールが他から分離したデータフローを伝達するか、ｎモジュールのｎフローが単一のチャネルで多重送信される。制御装置はモジュールが同じチャンネル（ADSL、VLAN、IP、バーチャルチャンネル、ATM）を使用することを許可する。もちろん、それらのモジュールは、ここには示していない通信ネットワークに接続している。データフローは、例えばIPプロトコールまたは他の本来のATMプロトコールに基づいて、コンピュータディベロッパー（computer developer）の基準を流すことができる。

図５ａに示したように、これらモジュールの1つ、マスターモジュールは、他のモジュールをフィードバック制御する基準として用いられる。図５ａに示したように、フィードバック制御操作ブロックＡは、マスターモジュールまたは外部からの制御に組み込まれた処理ユニットを使用し、実行される。

図５ｂに示したように、同様に、フィードバック制御基準はシステムの外部であってもよい。

同様に、各モジュールは、例えば回転軸（turn axis）による回転を基準にして、切り替わっていてもよい。

説明を簡単にする為に、以下では各々に３つのみのモジュールを含むシステムと、モジュールのうちの一つを基準とするフィードバック制御について説明する。上述したように、基準は外部装置によって供給されうる。この外部装置において、初期値は、連結したモジュールの数にしたがってフィードバック制御される各種パラメーターに対して、プログラムされる。

図６は、受像器のフィードバック制御を表している。３つのモジュールの３つのカメラは、重複が起きないように、それらの位置においてフィードバック制御を受ける。２つのカメラは、同様に、画像解析、特に比色分析信号と輝度とについて、色調および白黒のレベルを均等化するように、フィードバック制御を受ける。

第１のフィードバック制御手段は、撮影される領域のすべての重複を排除するために、他方のカメラの位置に対する一方のカメラの位置をフィードバック制御する。例えば、伝達ダイオードＤが使用されていてもよい。または、テストパターンが、カメラの個々のフレームに対する基準を供給するために、画像ウォールＩ上に設置されていてもよい。次いで、カメラＣ２とＣ３をＣ１のフレームに合わせて補正する。

この実施例では、撮影される画像は、図１０について後述するように、屈折鏡を使って、これらのカメラに再送信される。

フィードバック制御装置Ｕ１は、位置信号Ｐ１を受信する。この位置信号Ｐ１は、ダイオードＤによって伝達された信号の検出後に得られたフレーミングから生じる。Ｕ１装置は、第１のカメラＣ１の位置指令（positioning command）により伝達された信号を受信する。そして、第２のカメラＣ２及び第３のカメラＣ３の位置指令信号ＰＳ２及びＰＳ３を出力する。

さらに、フィードバック制御装置は、第２及び第３のカメラの比色分析信号と輝度信号に作用する。そして、フィードバック制御装置は、これらを第１のカメラの信号に合わせる、または、フィードバック制御する。これら比色分析信号パラメーターは信号Ｓ１によって得られ、図６ａに示すように、他の２つのカメラの指令信号Ｓ２及びＳ３を生じることを可能にする。

図６ｂは、カメラの領域自動校正により画像の連続性を確実にするための、フィードバック制御の例を示している。

１つのモジュールが他方のモジュールと重なった場合に、画像ウォールは均一、つまり画像の連続性を有していなければならない。自動操作は、手動あるいは自動校正によって実行されうる。これを行うために、有用な基準点（reference point）がある。例としてペーパーテストパターン（paper test pattern）がある（これは装飾内の被写体や、明るい点である。）。その結果、近接するカメラ（ここでは２台だけ示す）の光軸の方向は、画像の連続性あるいは遠隔制御ズームが使用可能、あるいはカメラの位置、ｘ、ｙ、ｚを設定可能にするように、フィードバック制御を受ける。

上記例では、装飾内に配置されている３つの光ダイオードＤ１〜Ｄ３が、カメラの基準点として使われる。コンピュータに取り込まれたフィードバック制御プログラムは、受信した２つの画像を解析し、また２つの画像における上記ダイオードの位置を検出する。このプログラムは、カメラの指令パラメーターあるいは光線の屈折鏡に対して、これらを融合するように作用するように、作られている。

この図に示された制御カメラＣＣは、再生画像を解析するのに使われる。このカメラは例えば、並列された画像を解析することで映像プロジェクタを固定するために使われる。また、このカメラは、近接した画像が同一比色分析であるかを確かめるためにも使われる。

映像品質を確実なものにするために、例えば、同じ被写体（定比例、あるいは対数比例関係にある灰色の基準）が各カメラの前に置かれ、映像プロジェクタを制御するグラフィックカードインターフェース(interface)がコントラスト、シグナルガンマ、明度等を均一化するように作動される。比色分析についても同じ方法がとられる。

処理ユニットは、図に示したようにコンピュータを用いて作り出される。受像、処理、および再生は、この目的のためにプログラムされたコンピュータによって、また必要なフィードバック制御要素を使って、制御される。処理は、電子制御ユニットを使用する当業者により容易に実行されるものでよい。例えば、製造会社支給のＡＰＩｓ（プログラムインターフェイス programme interface）を用いるＰＣグラフィックカードをプログラムすることで、容易に実行可能である。

３つのプロジェクタＰ１、Ｐ２、及び、Ｐ３は、同様に、個々に、あるいは、外部の基準に対して、フィードバック制御を受ける。

図７に示し説明する例では、３つのプロジェクタのうち１つが、基準映像信号Ｖ１（特に比色分析および輝度信号）をフィードバック制御装置Ｕ２に供給している。その結果、この装置は、他方のプロジェクタの映像信号Ｖ２及びＶ３を、既知の基準値に適応させる。コントロールカメラは近接した画像が同一の比色分析であるかを確かめるために使われる。

さらに、フィードバック制御装置Ｕ２は、基準映像プロジェクタから受けた指令シグナルＦ１を使う映像プロジェクタにおける、焦点指令Ｆ２及びＦ３のフィードバック制御を含む。それはまた同様に、この焦点と完全に異なるサイズ及びパラメーター、例えば基本的な変形あるいは輝度、比色分析あるいはガンマシグナル、を含みうる。基準映像プロジェクタは、スクリーンＥの周囲に分配された光センサーＣｐによって伝達された信号ＳＣｐの受信を用いることで、自動的にその焦点を調節する。

同様に、各々のモジュールの照明Ｒは、画像ウォールに沿って上記照明の均一性を確実にする目的で、フィードバック制御によって制御されうる。これを行うため、１つのモジュールの照明装置Ｌ１は、基準点をフィードバック制御システムに供給し、それによってこのシステムは他の照明装置Ｌ２、L３を、例えば、輝度（ルクス、言い換えるとカンデラ毎平方メートル）、色温度（比色分析）、あるいは他の“心理と視覚の”大きさ、を測定する装置の形を成す基準に従って制御する。

図８を参照してもらいたい。

同じように、モジュールそれぞれの、音声検出および再生装置ＡＵ１、ＡＵ２、及び、ＡＵ３は、基準信号に応じたフィードバック制御を受ける。この基準信号は、モジュールの音声検出および再生装置によって与えられる例に応じて、供給される。

映像データは、音声を制御およびフィードバック制御するために、使用可能である。実際、音声パラメーターは、画像が修正された場合に、修飾されうる。画像は例えば１人の人の到着によって修飾を受ける。

例えば、音声の反響の制御、音声声ネットワーク処理、音声検出システム制御、音声再生制御システム、あるいは、上記２つの室間の音声声情報伝達を確立するために必要な他の要素において、フィードバック制御は実行可能である。

画像と合致する音声の空間的な広がりを持たせるための、モジュールは、複数の音声検出装置とそれに相当する数の音声再生装置を含んでいてもよい。各モジュールのすべてのマイクロフォンＭｉによって得られた信号は、処理ユニットＵ３、Ｕ４、及び、Ｕ５を用いて処理される。これらユニットはそれぞれ、各々のモジュールに対応しており、例えば、マイクロフォンの平回路（loop）の安定性を高めるため、反響が確実に消去されるようにプログラムされている。スピーカーは左右対称に接続され、検出率を減少させる（ラーセン効果（Larsen effect）あるいは反響）。その結果、予測結果（foreseen）は、ラーセン効果を妨げるため、また基準に基づいて同じ処理ユニットＵ３、Ｕ４、Ｕ５を用いてモジュールをフィ−ドバック制御するために、各々のモジュールにおいて処理過程を実行する。この基準は、モジュールのうちの１つから供給される。その結果システム全体が、対象となる領域の、“包括的な”あるいは完全な音声検出システムを形成する。

もちろん、予測結果（foreseen）は、画像検出の対象範囲を確かめるための音声検出装置であり、この装置は、その場面の末端モジュールを超えることができる。

フィードバック制御装置は、超小型演算装置、マイクロコントローラ、自動演算装置（automatic operator）、計算センターユニット（computer central unit）のような処理ユニットによって作られることが望ましい。このため、処理ユニットは、必要なフィードバック制御手段を実行するためにプログラムされたプログラムメモリを有する。図５ａおよび図５ｂで示したように、これらの装置はマスターモジュール（master module）あるいは外部のモジュールへと組み込まれる。

モジュールは、音声および画像検出要素への連結情報を受信することで、他のモジュールをフィードバック制御できる。

例えば、各々のモジュールのコネクタＣＴ（１つあるいは２つのモジュールがこのコネクタに接続している）が存在可能である。検出シグナルはマスターモジュールに送信され、マスターモジュールは連携、および各種モジュールへの指令の送信を制御する。あるいはそれは、連携、およびコネクタ信号の受信における各種モジュールへの指令の送信、を確立するため外部の基準装置となることも可能である。このような２つの例を図５ｃおよび５ｄに示した。

近接した２つのモジュールの存在は、検出され、制御装置Ｐに送信される。制御装置Ｐは、各々のモジュールの視聴覚特性を修正することによって、各種モジュールを制御可能にする。

連結は、物理学的あるいは電気的な重なりを用いることができる。

同様に、テレビ画像を用いて音声を制御する方法がある。例えば、モジュールのカメラの視野は、このモジュールの装置の音声検出ローブによって制御可能であり、逆もまた同様である。

音声検出装置は、複数のモジュールの連結を検出することを可能にする。実際、仮に例えば音声の受信が修正を実行し、この修正が、装置の前を人の通過したことに起因するだけでなく、音声検出連鎖内の応答フィルターによって検出されるとすると、連結は検出され、各種モジュールのフィードバック制御手段が作動される。

次に、モジュールの構成における装置の実施形態を数例あげる。

図９ａおよび図９ｂは、連結した画像検出装置を実施した、２つの例である。近接した２つの鏡１０ａ、１０ｂ、および１０ｃはそれぞれ光路Ｆａ、Ｆｂ、Ｆｃ上に設置される。視界αａ、αｂ、およびαｃは完全に等しい。

図９ａの場合、鏡は、多角形あるいは湾曲した部分に従ってキオスクの中に設置される。視界をより開けるため、多角形の辺は長くなり、画像検出装置１ａ、１ｂ、１ｃは互いに遠く離れている。この型の配置では、すべての物は、画像検出装置１ａ、１ｂ、１ｃが位置１００において二重写しされたかのような状態になる。

上記鏡は平坦であってもよい。

図９ｂの場合、画像検出システムはテレセントリックである。すなわち、鏡１０ａ、１０ｂ、１０ｃは凹形であり、各々が焦点を有する。そのため、各々が鏡の焦点上に位置するような装置１ａ、１ｂ、１ｃで伝達が起こると、相互並行な線から成る光線Ｆａ、Ｆｂ、Ｆｃは円筒形になる。受像器は１つの画像検出装置に対してもはや円錐状ではなく、円筒状となる。このように、この型のテレセントリックシステムは、“アイコンタクトの欠落”現象と画像の重複を低減する、あるいは排除するという効果を奏する。

次に、モジュールの画像検出装置および再生装置を示した図１０で描かれている、特別な実施形態の例を詳しく説明する。

再生モジュールは、現地参加者と対面するスクリーンＥに遠隔地の画像を投影する、映像プロジェクタＰ１を含む。スクリーンＥはプラズマ、ＬＣＤ、ＣＲＴ等の表示装置であってもよい。画像はいかなる形式（16/9、4/3、3/4）の映画規格(cinema standard)、写真等であってもよい。この場合、現地参加者ＰＬは、伝達容量に応じて半反射領域（semi-reflective section）２１を用い、スクリ−ンＥ上で形成された遠隔地の画像を観る。半反射領域は、反射率と伝達率（例えばそれぞれ、30%、70%）において特徴的である。

画像検出装置に付随の、例えばカメラＣ１は、光線を屈折させる２つの鏡、例えば光線Ｆを屈折させるための２つの鏡１１及び１２と半反射領域２１である。それは同様に、カメラの光線の光学距離を低減するためにレンズＯ、例えばフレネルレンズ（Fresnel lens）を含んでもよい。

半反射領域は、その反射容量に応じて用いられ、その結果、鏡１０の機能を確立する。参照番号１００は、この場合事実上のカメラと一致するが、光線が屈折していない場合に対応する。

この独立した画像検出装置は、テレプレゼンス効果（アイコンタクト効果の欠落の削減、画像の非重複、全景効果（panoramic effect））を作り出すことを可能にし、また再生システムに接続している。この再生システムは近接しているので、キオスク効果（kiosk effect）を有し、キオスク効果は近接しているので、可能な限り平面状のスクリーン上に、投影画像が並列される（キオスクは大きく開放されている）。スクリーンは湾曲していてもよい。

図１１では遠近法を使い、本発明における視聴覚相互作用システムを概略的に示す。本発明は複数のモジュールを含み、モジュールは図１０に示したモジュールと類似し、また多角形のキオスクに設置される。スクリーンが湾曲している場合、その形態は円状の弓形となる。

このシステムは、複数の半反射領域２１ａ、２１ｂ（隠れている）、２１ｃ（隠れている）および複数の鏡１１ａ（隠れている）、１１ｂおよび１１ｃを含む。

音声に関しては、一実施形態では、モジュールの前に位置する人の音声を受信するために、半反射領域２１の頂部あるいは下部に、１つまたは複数のマイクロフォンが設置され、また音声を再生するために、半反射領域２１の頂部あるいは下部に、１つあるいは複数のスピーカーが設置されている。

カメラ、映像プロジェクタ、システムを使う人の目等の光学距離を中断するような、末端の聴覚機器はないものとする。さらに、これら末端の聴覚機器は、正確な音声の受信と再生を可能にするように、できるだけ使用者に近づけて設置することが必要である。

現地室と遠隔地室の間の画像と音声の経路全体に存在する要素のつながりを概略的に示した図である。 アイコンタクトの欠落の効果を示した図である。 アイコンタクトの欠落の効果を示した図である。 アイコンタクトの欠落の効果を示した図である。 画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である 画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である。 ２つの画像検出装置を用いた場合の重複領域を示した図である。 ３つの画像検出装置を用いた場合の重複領域を示した図である。 一実施形態における本発明の原理を示しており、連結した装置を３つのみ示した図である。 他の実施形態における本発明の原理を示しており、連結した装置を３つのみ示した図である。 モジュールカメラのフィードバック制御の図をより詳細に示した図である。 画像の連続性を確実にするためのフィードバック制御の例を示した図である。 モジュールプロジェクタのフィードバック制御をより詳細に示した図である。 画像および音声検出装置と再生装置のフィードバック制御を表した図である。 連結したモジュールに関連する画像検出装置の実施形態を示した図である。 連結したモジュールに関連する画像検出装置の実施形態を示した図である。 画像検出装置とモジュールの再生装置の例を詳細示した図である。 相互作用視聴覚システムを多角形のキオスクの形態で実施した場合の外観を示した図である。

Claims (21)

1. 現地場面と遠隔地場面を統合する視聴覚システムであって、
   複数の連結した視聴覚モジュールであって、各モジュールは、変数フィールド画像検出装置及び現地場面の音声検出装置と、画像平面Ｉ上の遠隔地場面の画像再生装置及び音声再生装置を含み、上記モジュールは通信ネットワークに接続されている、複数の連結した視聴覚モジュールと、
   撮影あるいは記録される人が、関連場面の画像検出装置および音声検出装置の前を通過した場合に、上記撮影領域の重複を排除するとともに、上記画像平面における画像及び音声の品質の連続性を確実にするための、各種モジュール間の受像器のフィードバック制御及び制御手段と、
   を含むことを特徴とする視聴覚システム。
2. 上記モジュールは、フィードバック制御と制御手段に接続された、近接したモジュールの現検出器を含むことを特徴とする、請求項１に記載の視聴覚システム。
3. 上記近接したモジュールの検出手段は、現センサーを含むことを特徴とする、請求項２に記載の視聴覚システム。
4. 上記近接したモジュールの検出手段は、音声受信手段、及び、当該受信の修正の検出から成ることを特徴とする、請求項２に記載の視聴覚システム。
5. 上記フィードバック制御及び制御手段は、画像検出装置のフィードバック制御手段を含み、当該画像検出装置が、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜４のいずれかに記載の視聴覚システム。
6. 上記フィードバック制御手段は、画像再生装置のフィードバック制御手段を含み、当該画生検出装置が、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜５のいずれかに記載の視聴覚システム。
7. 上記基準信号が、外部の装置またはモジュールの１つによって供給されることを特徴とする、請求項５及び６に記載の視聴覚システム。
8. 上記基準が外部のものである場合、当該基準は音声検出装置により得られることを特徴とする、請求項６に記載の視聴覚システム。
9. 上記フィードバック制御および制御手段は、音声検出装置および音声再生装置のフィードバック制御手段を含み、当該音声検出装置および音声再生装置は、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜８のいずれかに記載の視聴覚システム。
10. 上記基準が外部のものである場合、当該基準は画像検出装置により得られることを特徴とする、請求項９に記載の視聴覚システム。
11. 上記基準信号が、各モジュール、または、近接するモジュールにより供給されることを特徴とする、請求項９に記載の視聴覚システム。
12. 上記フィードバック制御手段は、処理ユニットにより実行され、当該処理ユニットは、所要の上記フィードバック制御手段を動作するようにプログラムされたプログラムメモリを含むことを特徴とする、請求項１〜１１のいずれかに記載の視聴覚システム。
13. フィードバック制御および制御手段は、各々のモジュールと独立して、データフローにおけるネットワークの伝達を制御することを特徴とする、請求項１〜１２のいずれかに記載の視聴覚システム。
14. フィードバック制御および制御手段は、すべてのモジュールに対する１つのネットワークチャンネルの複合的な伝達を制御することを特徴とする、請求項１〜１３のいずれかに記載の視聴覚システム。
15. 上記再生装置（２）は、少なくとも遠隔地場面の画像が形成されたスクリーン（Ｅ）と、画像平面（Ｉ）上に形成可能な半透過性の鏡（２１）とを含み、上記スクリーン（Ｅ）の画像および上記半透過性の鏡（２１）は、上記モジュールに接続された画像検出装置の鏡（１１）と、遠隔地の間に、光線が上記半透過性の鏡（２１）を横断し、画像検出装置の鏡（１１）に到達するように設置されていることを特徴とする、請求項１〜１４のいずれか１項に記載の視聴覚システム。
16. 半透過性の鏡（２１）が平坦あるいは凹形であることを特徴とする、先の請求項に記載のシステム。
17. 半透過性の鏡（２１）は凹形であって、上記鏡（２１）は、焦点を有し、かつ、上記システムは、さらに、上記鏡（２１）の焦点の近傍に配置されたプロジェクタ（Ｐ）を含むことを特徴とする、先の請求項に記載のシステム。
18. 半透過性の鏡（２１）が円筒または円環形状である、または、回転鏡であることを特徴とする、先の請求項に記載のシステム。
19. 画像検出装置及び／または再生装置が一列に並べられていることを特徴とする、請求項１５に記載のシステム。
20. 画像検出装置及び／または再生装置が、凸形の曲線に応じて設置されていることを特徴とする、請求項１５に記載のシステム。
21. 例えばフレネルレンズ（Fresnel lens）のような、カメラの光線の光学距離を低減するようなレンズを含むことを特徴とする、請求項１５に記載のシステム。
    

Images