JP2005510142A6 - 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム - Google Patents
現地場面と遠隔地場面とを統合するモジュール型視聴覚システム Download PDFInfo
- Publication number
- JP2005510142A6 JP2005510142A6 JP2003545025A JP2003545025A JP2005510142A6 JP 2005510142 A6 JP2005510142 A6 JP 2005510142A6 JP 2003545025 A JP2003545025 A JP 2003545025A JP 2003545025 A JP2003545025 A JP 2003545025A JP 2005510142 A6 JP2005510142 A6 JP 2005510142A6
- Authority
- JP
- Japan
- Prior art keywords
- image
- feedback control
- detection device
- module
- audiovisual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000003287 optical Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 9
- 238000004737 colorimetric analysis Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 210000002381 Plasma Anatomy 0.000 description 3
- 230000000875 corresponding Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 102100015879 ADSL Human genes 0.000 description 1
- 101710034880 ADSL Proteins 0.000 description 1
- 210000001331 Nose Anatomy 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 210000004027 cells Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001808 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 230000002349 favourable Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000001172 regenerating Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001702 transmitter Effects 0.000 description 1
Images
Abstract
本発明は、現地場面と遠隔地場面を統合する視聴覚システムに関するものである。本発明は、そのシステムが、複数の連結した視聴覚モジュール(M1、M2、M3)を含み、上記各モジュールは現地の画像検出装置と音声検出装置、画像平面(I)内で遠隔地場面の画像音声再生装置と音声再生装置を含み、このモジュールは通信ネットワークに接続されており、撮影あるいは記録される人が対象となる場所の種々の画像像および音声検出装置の前を通過するときに、画像平面内の画像と音声の質の連続性を確実にするための、各種モジュール間の自動制御とモニタリング手段(monitoring means)を含むことを特徴とする。
Description
本発明は、現地場面(local scene)と遠隔地場面(remote scene)を統合する(bring together)ためのモジュール型視聴覚システム(modular audio-visual system)に関するものであり、このシステムは、複数のモジュールを含み、これらモジュールは、現地用の画像検出装置(image sensing device)および音声検出装置(sound sensing device)と、現地場面において遠隔地場面の画像及び音声を復元(restor)するための装置(device)と、を含む。
本発明は、テレプレゼンス(telepresence)を分野とし、このテレプレゼンスは、現地場面と遠隔地場面とを統合することを可能にする。テレプレゼンスは、相互の立会いの感覚、すなわち、交信中である人々の集団間で現実感を作り出す視聴覚品質の産物である。
一人または複数の人が現地場面と遠隔地場面とに分かれている場合、このような人々が離れていながら会合できるようにする。これは、テレビ会議と呼ばれるものである。
テレプレゼンスはテレビ会議を拡張したものである。
テレビ会議と同様に、テレプレゼンスは、文字、グラフィック(graphic)、および図等のデータのみでなく、画像および音声の伝達によって達成される。
現地場面は屋外で起こりうるが、通常、現地場面は建物の中で起こる。なぜなら、現地室(local room)は、現地場面が起こる場所として指定され、また遠隔地室(remote room)は、遠隔地場面が起こる場所として指定されるからである。
画像検出装置に備えられた現地室SLから、再生あるいは復元装置に備えられた遠隔地室SDへの画像伝達は、図1に概略的に示したような経路を通過する。この経路は、カメラ、アナログ−デジタル変換器(analogue-digital converter)CAN、コード化システム(coding system)C、通信ネットワークR、解読システム(decoding system)D、デジタルアナログ交換器(digital-analogue converter)CNAといった画像検出装置1と、例えば、プラズマ、LCD、CRT等のスクリーンに接続されたプロジェクタPといった画像再生装置2とを含んでいる。
同様に、現地室の音声検出システムと、遠隔地室の音声再生システムとが存在しうる。それゆえ、図1に示したように、このシステムは、マイクロフォンMiとスピーカーHpとを含む。
通信を相互的なものにするために、確実に、画像と音声とが遠隔地室SDで記録され(captured)、かつ、現地室SLで再生されるように、図1に示した音声と画像のシステムが、逆方向にも作られる。
最終的に、それぞれの室は、画像再生装置及び音声声再生装置だけでなく、画像検出装置及び音声検出装置にも設置されている。
このように、現地場面および遠隔地場面とを統合することができる視聴覚システムを用いることにより、室内、公共区域(public area)、または、屋外に設置されたシステム、及び、通信ネットワーク(団体内ネットワーク(ローカルネットワーク)、または、公的なネットワーク)に接続した画像および音声再生装置といった、画像検出装置と音声検出装置とからなるようなモジュールを少なくとも1つ含んだシステムが設計されるであろう(designate)。これは、また相互視聴覚システムとよばれるものである。
相互視聴覚システムとしては、テレビ会議が挙げられる。これらテレビ会議システムはいくつかの異なる形式で行うことが可能である。つまりテレビ会議室、テレビ電話、マルチメディア通信を用いるパーソナルコンピューターPC、相互交流型ベース(base)、などである。
しかしながら、ここでは他の構成も存在する。例えば、ホール内、または、通りにある、キオスク(kiosk)やテレプレゼンスウォールといったものである。これらの構成は、準永久的な形式で、他方のキオスク(kiosk)や遠隔地テレプレゼンスウォール(telepresence wall)に接続している。この場合には、現在のテレビ会議システムに見られるような、サービスを予約しておく必要がない。
テレプレゼンスウォール(例えばパリに設置されたもの)の前を通り過ぎる人が、小声でまたは気軽に、遠隔の人(例えばロンドンにあって、パリのシステムに接続されているような、他のテレプレゼンスウォールの前を通っている人)と、まるで通りや玄関等で会ったように通信できる。これらの離れた人達は例えば並んで歩いているようなものである。
この共存性を確実にするために、次のことが制御されなくてはならない。
アイコンタクト
人の身長(倍率1)
音声と画像の品質
スクリーンの距離
変更可能な画像および音声ウォール(wall)を持つためのモジュール性
本発明を提示する前に、視聴覚システムの使用上の制約と、特に、環境の制約、アイコンタクトの欠落の影響、およびいくつかの装置の連結、に関連するすべての現象について述べる。
アイコンタクト
人の身長(倍率1)
音声と画像の品質
スクリーンの距離
変更可能な画像および音声ウォール(wall)を持つためのモジュール性
本発明を提示する前に、視聴覚システムの使用上の制約と、特に、環境の制約、アイコンタクトの欠落の影響、およびいくつかの装置の連結、に関連するすべての現象について述べる。
一般に、テレプレゼンス視聴覚システムは、受信と再生の両方において、画像および供給されるサービス(service)に依存して、ある場面から特定の距離で使用するように作られる。
しかしながら、近距離で見ることは、テレビ会議やテレプレゼンスへの参加者が快適に参観し、システムを遠隔使用できることを確実にするために、有力な要素である。このことはテレプレゼンスを確実にする。このように近距離で見ることによって、特に、好意的なアイコンタクトにより離れた参加者間の親近感を増すことが可能となる。
しかしながら、フィルムへの場面がカメラに近づくにつれ、カメラの画角(field angle)をより大きくしなければならない。近距離で画像検出角度を増大することにより、図2aおよび2bに示すような問題がある。
図2aは、下方向から見た、現地室SLに配置された画像検出装置1を概略的に示したものである。画像検出装置1は、現地場面を撮影している。この現地場面は、例えば、αという広い検出範囲を持つカメラから、約1メートルのところにあるテーブルの周りに座っている現地参加者PLにより、表わされている。参加者の見る方向は、小さなダッシュ記号で示されている。この小さなダッシュ記号は参加者の鼻を表している。スクリーンEでは、遠隔地の参加者PDの画像、ここでは特に遠隔の参加者dの画像が形成されている。
現地室SL内の現地参加者aが、線b1で表されたカメラの軸の中におらず、遠隔地の参加者に話しかけるとき、彼もしくは彼女は像d’(いわばスクリーンE上の遠隔の参加者)を見ることになる。線ad’でaがd’と顔を合わせているとはいえ、カメラは線a1を受け取り、最終的には参加者aの横顔を撮影する。
遠隔地室SDに設置されている再生装置にこの横顔の画像が伝達され、dに再送信されると、図2bに示したようにaがdを見ていないかのようなaの像a’となる。アイコンタクトは再生されない。この効果を視差(アイコンタクトあるいは凝視)効果といい、時にはアイコンタクト効果の欠落とよばれる。
このため、画像平面は、d’画像が位置する平面である。この例ではスクリーンと混同されるが、これは鏡を使って像を反射させるような場合に限らない。
ad’線は現地場面から出て撮影される光線である。この光線は目標平面とよばれる平面に位置し、そしてその平面は画像平面に垂直である。
仮に、図2cに示したように、画像検出器が画法幾何学(モンジェ幾何学ともいう)的に円筒形で突出した様式または平らな工業的なデザインであり、カメラがad’と平行なすべての線を捕らえられるようにし、かつ図2aで示したような検出範囲αに従って、円錐状に突出した様式でないならば、アイコンタクトの欠落は排除される。
視覚的視差またはアイコンタクト効果の欠落は、より散文的には“偽善者(hyprocrite)”効果と呼ばれている。この効果はテレビ会議の枠組みの中で起きていた。しかしながら、この効果は、現地場面の人が立ち上がっている、あるいは他の人を認識せず、むしろ物体を認識する場合を考慮に入れると、一般化することができる。例えば、側面が青あるいは赤である立方体が、傾けて配置されていると、青い側面と赤い側面の両方を見せることになる。しかしながら、線a1は青い側面からしか来ない。立方体を傾けて配置した場合には青と赤両方の側面が見えるが、この立方体のa’像は、立方体の青い側面を示すのみとなる。
さらに、再生中の参加者あるいは被写体の大きさは、カメラの撮っている領域内でそれらが位置する場所と、カメラの検出範囲αによって変化する。仮に複数の参加者あるいは複数の被写体が撮影されたとすると、撮影する範囲は広くなり、遠近効果は画像の端の部分ではゆがめられるため、その分だけ、再生された画像は少し湾曲する。再生画像は、図3aおよび3bに示したような様々な拡大効果を呈する。この効果は広角レンズを用いる写真家にはよく知られている。
図3aおよび3bにはそれぞれ、aとbで示される2人の現地の参加者PLが存在する。一方は他方に対して後方に位置しており、存在している画像検出装置により撮影されている。図3aの場合、角度範囲α1は、図3bのα2の角度範囲より小さい。aの再生画像であるa’1とa’2は、ほぼ同一である。しかしながら、bに対するb’1の(図3a)拡大率は、bに対するb’2の拡大率より大きい(図3b)。
このような、広い角度範囲を持つ受像器によって引き起こされるような撹乱効果(アイコンタクト効果の欠落、及び、歪んだ遠近感)を低減可能にする解決方法は、図2aに示す線ad’と線a1で形成された角度βを制限することにある。ETST(European Telecommunications standards Institute)の規格は、この角度βは5度を超えては成らないと明記されている。この角度は、視界軸(viewing axis)の周辺のカメラを撤去、あるいは設置することで撮影される場面を制限することによって、得られる。
この不都合を補正するために、図4aと図4bに示したような、有用な画像検出装置1がいくつか存在する。受像器(image capture)の連続性を確実にするために、これらの装置の光軸は放射状かつ同一面上にある。また、これらの装置は近接している、すなわち複数の装置1が“連結”している。しかしながら、画像検出範囲は共通であるか、あるいは重複している領域ZRであり、1つあるいは数個の近接した再生装置(各々が1つの画像検出装置に対応する)で再生された画像は、再現された部分あるいは重複からの不連続性を呈する。画像の重複は、より広くあるいは狭い重複領域を有する別のカメラによって捕らえられた、同じ光景のいくつかの部分を複合的に再現したものである。
図4aに示したような2つの画像検出装置1の場合、2つの重複ZRをもった領域が1つ存在する。図4bに示したような3つの画像検出装置1の場合、被写体が画像検出装置に近づいたときには2つの重複ZRをもつ領域が1つ存在し、被写体が離れたときには3つの重複が存在する。
画像検出装置の範囲角度が増大すると、この画像重複現象は増大する。
画像処理ソフトウェアはこの問題を処理する目的で開発されている。しかしながら、いまだに十分な結果は得られていない。
本発明の目的は、このようなシステムをあらゆる状況に対して適応可能にすることにある。その目的は特に、使用可能な空間の制約がないような導入(installation)を可能にすることである。
以上のように、本発明は、独立した複数のモジュールからなるモジュラーシステムを提案するものである。これらモジュールは、導入者(installer)が利用できる空間によって規定される数に応じて組み合わされ、形成される。次に、連結、あるいは連結したモジュールとは、これらモジュールが物理にも動作においても、連続した状態を形成していることを表している。本発明によれば、これらのモジュールは次のような問題を呈することなく、操作上独立である。問題とは、現地場面のモジュールの前を使用者が通り過ぎるときに、遠隔地場面で見ている人に対して画像と音声が連続性しない、という現象に起因する問題である。
本発明は、このように、それが設置された周囲の状況に完全に適応し、また、そのモジュール性にもかかわらず、従来技術でみられた問題点を示さないという、モジュラー相互交流型システムを提案するものである。
それゆえ、本発明の目的は、現地場面と遠隔地場面とを1つにまとめた視聴覚システムを得ることにある。主には以下のことを含むことを特徴としている。
複数の連結した視聴覚モジュールであって、各モジュールが、現地場面の画像検出装置及び音声検出装置と、画像平面Iにおける遠隔地の画像再生装置及び音声再生装置とを含んでおり、またこれらモジュールは通信ネットワークに接続している、複数の連結した視聴覚モジュールと、
上記各種モジュール間のフィードバック制御および制御手段であって、撮影あるいは記録されている人が、その場の各種の画像および音声検出装置の前を通過する場合に、画像平面上の画像と音声の連続性を確実にするためフィードバック制御および制御手段。
上記各種モジュール間のフィードバック制御および制御手段であって、撮影あるいは記録されている人が、その場の各種の画像および音声検出装置の前を通過する場合に、画像平面上の画像と音声の連続性を確実にするためフィードバック制御および制御手段。
モジュールは、近接したモジュールの現検出器を含んでおり、これらモジュールはフィードバック制御および制御手段に接続している。
近接したモジュールの検出手段は、現検出器から構成されていてもよい。
近接したモジュールの検出手段は、音声受信手段と、この受信の修正を検出する手段からなっていてもよい。
フィードバック制御および制御手段は、画像検出装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信してもよい。
フィードバック制御および制御手段は、画像再生装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信することができる。
基準信号は、外部の装置または上記モジュールの1つによって供給されてもよい。
基準信号は、近接したモジュールにより、各モジュールに供給される。
上記基準が外部である場合、この基準は、音声検出装置により得られてもよい。
フィードバック制御および制御手段は、音声検出および音声再生装置のフィードバック制御手段を含み、この音声検出および音声再生装置は、基準信号に応じて装置をフィードバック制御するための基準信号を受信することができる。
フィードバック制御手段は、必要なフィードバック制御手段を実行するようにプログラムされたプログラムメモリを含む処理ユニットによって、実行可能である。
フィードバック制御および制御手段が、各々のモジュールから独立して、データフロー(IPあるいは他のプロトコール)を超え、ネットワーク上の伝達を制御することができる。
本発明の他の特徴と利点は、限定されない例についての説明を読み、添付した図面を見る中で明らかになるであろう。
図1は、現地室と遠隔地室の間の画像と音声の経路全体に存在する要素のつながりを概略的に表している。
図2a、図2b、および図2cはアイコンタクトの欠落の効果を示した図である。
図3aおよび図3bは画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である。
図4aおよび図4bは、それぞれ2つおよび3つの画像検出装置を用いた場合の重複領域を示した図である。
図5aおよび図5bは、第1および第2の実施形態における本発明の原理を示した図であり、連結した装置を3つのみ示した。
図6aはモジュールカメラのフィードバック制御の図をより詳細に示した図である。
図6bは画像の連続性を確実にするためのフィードバック制御の例を示した図である。
図7はモジュールプロジェクタのフィードバック制御をより詳細に示した図である。
図8は画像および音声検出装置と再生装置のフィードバック制御を表した図である。
図9aと図9bは、連結したモジュールに関連する画像検出装置の2つの実施形態を示した図である。
図10は画像検出装置とモジュールの再生装置の例を詳細示した図である。
図11は相互作用視聴覚システムを多角形のキオスクの形態で実施した場合の外観を示した図である。
視聴覚モジュールM1は現地場面の画像検出装置と音声検出装置とを含む。また、視聴覚モジュールM1は画像平面I内に、遠隔地場面の画像再生装置と音声再生装置も含む。
実用的には、画像検出装置はカメラC1を含み、音声検出装置は1つあるいは複数のマイクロフォンMiを含む。
画像再生装置は、画像プロジェクタP1、及び、スクリーンE、すなわち、映像プロジェクタ、または、例えばプラズマシステムのような他の視覚装置を含む。音声再生装置は1つあるいは複数のスピーカーHPを含む。
画像検出装置はその装置が接続されている通信ネットワークを通じて、現地場面を次に伝達することを可能にする。また、現地装置に接続された遠隔地装置を用いて、現地場面を再生することを可能にする。
他の実施例によれば、カメラにより受像された画像が折りたたまれた画像になることが予測されうる。使用者が、記録される場面と画像検出装置との間の距離を縮めたいと考えた場合に、この配置が選択される。実用的には、並列された鏡がカメラの前に設置される。
室がそれを許可した場合、またモジュールの特定の実施例がいかなるものであろうと、複数の独立したモジュールが接続可能であり、これらは画像および音声を確実に連続させると共に、操作上従属している。
本発明は、特に、再生中の画像の重複あるいは音声のずれを予防可能にする。例えば、声の高さの変化や音声響レベルの変化、また音声検出に合わないような領域に対しても、音声のずれは一致する。
さらに本発明は、人がキオスク、スクリーン、または、画像ウォールの前で動いた場合に、画像と音声品質の連続性を確実にする。
最後に、本発明によれば、システムを構成する各種要素をフィードバック制御及び制御手段があってもよい。原理を示した図が図5aと5bである。
一例として、3つのモジュールが連結されている。それぞれのモジュールは、2つの操作ブロックに分かれた1つのブロックで表されている。この2つの操作ブロックは、一つが視覚装置1、もう一つが聴覚装置2に相当する。隣接したモジュールの現検出器Dは、現信号をフィードバック制御と制御装置Pとに再送信することを可能にする。現検出器Dは、当業者にはよく知られた型の検出器、例えば光電池、超音声波検出器、現存の家庭用検出器等を用いて、実行されうる。
システム全体は、各モジュール同士がその周辺と相互交流するかのように作動し、視覚聴覚の特性を修飾する(送信装置およびネットワーク多重送信と同じように)。例えば、各モジュールが他から分離したデータフローを伝達するか、nモジュールのnフローが単一のチャネルで多重送信される。制御装置はモジュールが同じチャンネル(ADSL、VLAN、IP、バーチャルチャンネル、ATM)を使用することを許可する。もちろん、それらのモジュールは、ここには示していない通信ネットワークに接続している。データフローは、例えばIPプロトコールまたは他の本来のATMプロトコールに基づいて、コンピュータディベロッパー(computer developer)の基準を流すことができる。
図5aに示したように、これらモジュールの1つ、マスターモジュールは、他のモジュールをフィードバック制御する基準として用いられる。図5aに示したように、フィードバック制御操作ブロックAは、マスターモジュールまたは外部からの制御に組み込まれた処理ユニットを使用し、実行される。
図5bに示したように、同様に、フィードバック制御基準はシステムの外部であってもよい。
同様に、各モジュールは、例えば回転軸(turn axis)による回転を基準にして、切り替わっていてもよい。
説明を簡単にする為に、以下では各々に3つのみのモジュールを含むシステムと、モジュールのうちの一つを基準とするフィードバック制御について説明する。上述したように、基準は外部装置によって供給されうる。この外部装置において、初期値は、連結したモジュールの数にしたがってフィードバック制御される各種パラメーターに対して、プログラムされる。
図6は、受像器のフィードバック制御を表している。3つのモジュールの3つのカメラは、重複が起きないように、それらの位置においてフィードバック制御を受ける。2つのカメラは、同様に、画像解析、特に比色分析信号と輝度とについて、色調および白黒のレベルを均等化するように、フィードバック制御を受ける。
第1のフィードバック制御手段は、撮影される領域のすべての重複を排除するために、他方のカメラの位置に対する一方のカメラの位置をフィードバック制御する。例えば、伝達ダイオードDが使用されていてもよい。または、テストパターンが、カメラの個々のフレームに対する基準を供給するために、画像ウォールI上に設置されていてもよい。次いで、カメラC2とC3をC1のフレームに合わせて補正する。
この実施例では、撮影される画像は、図10について後述するように、屈折鏡を使って、これらのカメラに再送信される。
フィードバック制御装置U1は、位置信号P1を受信する。この位置信号P1は、ダイオードDによって伝達された信号の検出後に得られたフレーミングから生じる。U1装置は、第1のカメラC1の位置指令(positioning command)により伝達された信号を受信する。そして、第2のカメラC2及び第3のカメラC3の位置指令信号PS2及びPS3を出力する。
さらに、フィードバック制御装置は、第2及び第3のカメラの比色分析信号と輝度信号に作用する。そして、フィードバック制御装置は、これらを第1のカメラの信号に合わせる、または、フィードバック制御する。これら比色分析信号パラメーターは信号S1によって得られ、図6aに示すように、他の2つのカメラの指令信号S2及びS3を生じることを可能にする。
図6bは、カメラの領域自動校正により画像の連続性を確実にするための、フィードバック制御の例を示している。
1つのモジュールが他方のモジュールと重なった場合に、画像ウォールは均一、つまり画像の連続性を有していなければならない。自動操作は、手動あるいは自動校正によって実行されうる。これを行うために、有用な基準点(reference point)がある。例としてペーパーテストパターン(paper test pattern)がある(これは装飾内の被写体や、明るい点である。)。その結果、近接するカメラ(ここでは2台だけ示す)の光軸の方向は、画像の連続性あるいは遠隔制御ズームが使用可能、あるいはカメラの位置、x、y、zを設定可能にするように、フィードバック制御を受ける。
上記例では、装飾内に配置されている3つの光ダイオードD1〜D3が、カメラの基準点として使われる。コンピュータに取り込まれたフィードバック制御プログラムは、受信した2つの画像を解析し、また2つの画像における上記ダイオードの位置を検出する。このプログラムは、カメラの指令パラメーターあるいは光線の屈折鏡に対して、これらを融合するように作用するように、作られている。
この図に示された制御カメラCCは、再生画像を解析するのに使われる。このカメラは例えば、並列された画像を解析することで映像プロジェクタを固定するために使われる。また、このカメラは、近接した画像が同一比色分析であるかを確かめるためにも使われる。
映像品質を確実なものにするために、例えば、同じ被写体(定比例、あるいは対数比例関係にある灰色の基準)が各カメラの前に置かれ、映像プロジェクタを制御するグラフィックカードインターフェース(interface)がコントラスト、シグナルガンマ、明度等を均一化するように作動される。比色分析についても同じ方法がとられる。
処理ユニットは、図に示したようにコンピュータを用いて作り出される。受像、処理、および再生は、この目的のためにプログラムされたコンピュータによって、また必要なフィードバック制御要素を使って、制御される。処理は、電子制御ユニットを使用する当業者により容易に実行されるものでよい。例えば、製造会社支給のAPIs(プログラムインターフェイス programme interface)を用いるPCグラフィックカードをプログラムすることで、容易に実行可能である。
3つのプロジェクタP1、P2、及び、P3は、同様に、個々に、あるいは、外部の基準に対して、フィードバック制御を受ける。
図7に示し説明する例では、3つのプロジェクタのうち1つが、基準映像信号V1(特に比色分析および輝度信号)をフィードバック制御装置U2に供給している。その結果、この装置は、他方のプロジェクタの映像信号V2及びV3を、既知の基準値に適応させる。コントロールカメラは近接した画像が同一の比色分析であるかを確かめるために使われる。
さらに、フィードバック制御装置U2は、基準映像プロジェクタから受けた指令シグナルF1を使う映像プロジェクタにおける、焦点指令F2及びF3のフィードバック制御を含む。それはまた同様に、この焦点と完全に異なるサイズ及びパラメーター、例えば基本的な変形あるいは輝度、比色分析あるいはガンマシグナル、を含みうる。基準映像プロジェクタは、スクリーンEの周囲に分配された光センサーCpによって伝達された信号SCpの受信を用いることで、自動的にその焦点を調節する。
同様に、各々のモジュールの照明Rは、画像ウォールに沿って上記照明の均一性を確実にする目的で、フィードバック制御によって制御されうる。これを行うため、1つのモジュールの照明装置L1は、基準点をフィードバック制御システムに供給し、それによってこのシステムは他の照明装置L2、L3を、例えば、輝度(ルクス、言い換えるとカンデラ毎平方メートル)、色温度(比色分析)、あるいは他の“心理と視覚の”大きさ、を測定する装置の形を成す基準に従って制御する。
図8を参照してもらいたい。
同じように、モジュールそれぞれの、音声検出および再生装置AU1、AU2、及び、AU3は、基準信号に応じたフィードバック制御を受ける。この基準信号は、モジュールの音声検出および再生装置によって与えられる例に応じて、供給される。
映像データは、音声を制御およびフィードバック制御するために、使用可能である。実際、音声パラメーターは、画像が修正された場合に、修飾されうる。画像は例えば1人の人の到着によって修飾を受ける。
例えば、音声の反響の制御、音声声ネットワーク処理、音声検出システム制御、音声再生制御システム、あるいは、上記2つの室間の音声声情報伝達を確立するために必要な他の要素において、フィードバック制御は実行可能である。
画像と合致する音声の空間的な広がりを持たせるための、モジュールは、複数の音声検出装置とそれに相当する数の音声再生装置を含んでいてもよい。各モジュールのすべてのマイクロフォンMiによって得られた信号は、処理ユニットU3、U4、及び、U5を用いて処理される。これらユニットはそれぞれ、各々のモジュールに対応しており、例えば、マイクロフォンの平回路(loop)の安定性を高めるため、反響が確実に消去されるようにプログラムされている。スピーカーは左右対称に接続され、検出率を減少させる(ラーセン効果(Larsen effect)あるいは反響)。その結果、予測結果(foreseen)は、ラーセン効果を妨げるため、また基準に基づいて同じ処理ユニットU3、U4、U5を用いてモジュールをフィ−ドバック制御するために、各々のモジュールにおいて処理過程を実行する。この基準は、モジュールのうちの1つから供給される。その結果システム全体が、対象となる領域の、“包括的な”あるいは完全な音声検出システムを形成する。
もちろん、予測結果(foreseen)は、画像検出の対象範囲を確かめるための音声検出装置であり、この装置は、その場面の末端モジュールを超えることができる。
フィードバック制御装置は、超小型演算装置、マイクロコントローラ、自動演算装置(automatic operator)、計算センターユニット(computer central unit)のような処理ユニットによって作られることが望ましい。このため、処理ユニットは、必要なフィードバック制御手段を実行するためにプログラムされたプログラムメモリを有する。図5aおよび図5bで示したように、これらの装置はマスターモジュール(master module)あるいは外部のモジュールへと組み込まれる。
モジュールは、音声および画像検出要素への連結情報を受信することで、他のモジュールをフィードバック制御できる。
例えば、各々のモジュールのコネクタCT(1つあるいは2つのモジュールがこのコネクタに接続している)が存在可能である。検出シグナルはマスターモジュールに送信され、マスターモジュールは連携、および各種モジュールへの指令の送信を制御する。あるいはそれは、連携、およびコネクタ信号の受信における各種モジュールへの指令の送信、を確立するため外部の基準装置となることも可能である。このような2つの例を図5cおよび5dに示した。
近接した2つのモジュールの存在は、検出され、制御装置Pに送信される。制御装置Pは、各々のモジュールの視聴覚特性を修正することによって、各種モジュールを制御可能にする。
連結は、物理学的あるいは電気的な重なりを用いることができる。
同様に、テレビ画像を用いて音声を制御する方法がある。例えば、モジュールのカメラの視野は、このモジュールの装置の音声検出ローブによって制御可能であり、逆もまた同様である。
音声検出装置は、複数のモジュールの連結を検出することを可能にする。実際、仮に例えば音声の受信が修正を実行し、この修正が、装置の前を人の通過したことに起因するだけでなく、音声検出連鎖内の応答フィルターによって検出されるとすると、連結は検出され、各種モジュールのフィードバック制御手段が作動される。
次に、モジュールの構成における装置の実施形態を数例あげる。
図9aおよび図9bは、連結した画像検出装置を実施した、2つの例である。近接した2つの鏡10a、10b、および10cはそれぞれ光路Fa、Fb、Fc上に設置される。視界αa、αb、およびαcは完全に等しい。
図9aの場合、鏡は、多角形あるいは湾曲した部分に従ってキオスクの中に設置される。視界をより開けるため、多角形の辺は長くなり、画像検出装置1a、1b、1cは互いに遠く離れている。この型の配置では、すべての物は、画像検出装置1a、1b、1cが位置100において二重写しされたかのような状態になる。
上記鏡は平坦であってもよい。
図9bの場合、画像検出システムはテレセントリックである。すなわち、鏡10a、10b、10cは凹形であり、各々が焦点を有する。そのため、各々が鏡の焦点上に位置するような装置1a、1b、1cで伝達が起こると、相互並行な線から成る光線Fa、Fb、Fcは円筒形になる。受像器は1つの画像検出装置に対してもはや円錐状ではなく、円筒状となる。このように、この型のテレセントリックシステムは、“アイコンタクトの欠落”現象と画像の重複を低減する、あるいは排除するという効果を奏する。
次に、モジュールの画像検出装置および再生装置を示した図10で描かれている、特別な実施形態の例を詳しく説明する。
再生モジュールは、現地参加者と対面するスクリーンEに遠隔地の画像を投影する、映像プロジェクタP1を含む。スクリーンEはプラズマ、LCD、CRT等の表示装置であってもよい。画像はいかなる形式(16/9、4/3、3/4)の映画規格(cinema standard)、写真等であってもよい。この場合、現地参加者PLは、伝達容量に応じて半反射領域(semi-reflective section)21を用い、スクリ−ンE上で形成された遠隔地の画像を観る。半反射領域は、反射率と伝達率(例えばそれぞれ、30%、70%)において特徴的である。
画像検出装置に付随の、例えばカメラC1は、光線を屈折させる2つの鏡、例えば光線Fを屈折させるための2つの鏡11及び12と半反射領域21である。それは同様に、カメラの光線の光学距離を低減するためにレンズO、例えばフレネルレンズ(Fresnel lens)を含んでもよい。
半反射領域は、その反射容量に応じて用いられ、その結果、鏡10の機能を確立する。参照番号100は、この場合事実上のカメラと一致するが、光線が屈折していない場合に対応する。
この独立した画像検出装置は、テレプレゼンス効果(アイコンタクト効果の欠落の削減、画像の非重複、全景効果(panoramic effect))を作り出すことを可能にし、また再生システムに接続している。この再生システムは近接しているので、キオスク効果(kiosk effect)を有し、キオスク効果は近接しているので、可能な限り平面状のスクリーン上に、投影画像が並列される(キオスクは大きく開放されている)。スクリーンは湾曲していてもよい。
図11では遠近法を使い、本発明における視聴覚相互作用システムを概略的に示す。本発明は複数のモジュールを含み、モジュールは図10に示したモジュールと類似し、また多角形のキオスクに設置される。スクリーンが湾曲している場合、その形態は円状の弓形となる。
このシステムは、複数の半反射領域21a、21b(隠れている)、21c(隠れている)および複数の鏡11a(隠れている)、11bおよび11cを含む。
音声に関しては、一実施形態では、モジュールの前に位置する人の音声を受信するために、半反射領域21の頂部あるいは下部に、1つまたは複数のマイクロフォンが設置され、また音声を再生するために、半反射領域21の頂部あるいは下部に、1つあるいは複数のスピーカーが設置されている。
カメラ、映像プロジェクタ、システムを使う人の目等の光学距離を中断するような、末端の聴覚機器はないものとする。さらに、これら末端の聴覚機器は、正確な音声の受信と再生を可能にするように、できるだけ使用者に近づけて設置することが必要である。
Claims (21)
- 現地場面と遠隔地場面を統合する視聴覚システムであって、
複数の連結した視聴覚モジュールであって、各モジュールは、変数フィールド画像検出装置及び現地場面の音声検出装置と、画像平面I上の遠隔地場面の画像再生装置及び音声再生装置を含み、上記モジュールは通信ネットワークに接続されている、複数の連結した視聴覚モジュールと、
撮影あるいは記録される人が、関連場面の画像検出装置および音声検出装置の前を通過した場合に、上記撮影領域の重複を排除するとともに、上記画像平面における画像及び音声の品質の連続性を確実にするための、各種モジュール間の受像器のフィードバック制御及び制御手段と、
を含むことを特徴とする視聴覚システム。 - 上記モジュールは、フィードバック制御と制御手段に接続された、近接したモジュールの現検出器を含むことを特徴とする、請求項1に記載の視聴覚システム。
- 上記近接したモジュールの検出手段は、現センサーを含むことを特徴とする、請求項2に記載の視聴覚システム。
- 上記近接したモジュールの検出手段は、音声受信手段、及び、当該受信の修正の検出から成ることを特徴とする、請求項2に記載の視聴覚システム。
- 上記フィードバック制御及び制御手段は、画像検出装置のフィードバック制御手段を含み、当該画像検出装置が、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項1〜4のいずれかに記載の視聴覚システム。
- 上記フィードバック制御手段は、画像再生装置のフィードバック制御手段を含み、当該画生検出装置が、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項1〜5のいずれかに記載の視聴覚システム。
- 上記基準信号が、外部の装置またはモジュールの1つによって供給されることを特徴とする、請求項5及び6に記載の視聴覚システム。
- 上記基準が外部のものである場合、当該基準は音声検出装置により得られることを特徴とする、請求項6に記載の視聴覚システム。
- 上記フィードバック制御および制御手段は、音声検出装置および音声再生装置のフィードバック制御手段を含み、当該音声検出装置および音声再生装置は、基準信号に応じて当該装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項1〜8のいずれかに記載の視聴覚システム。
- 上記基準が外部のものである場合、当該基準は画像検出装置により得られることを特徴とする、請求項9に記載の視聴覚システム。
- 上記基準信号が、各モジュール、または、近接するモジュールにより供給されることを特徴とする、請求項9に記載の視聴覚システム。
- 上記フィードバック制御手段は、処理ユニットにより実行され、当該処理ユニットは、所要の上記フィードバック制御手段を動作するようにプログラムされたプログラムメモリを含むことを特徴とする、請求項1〜11のいずれかに記載の視聴覚システム。
- フィードバック制御および制御手段は、各々のモジュールと独立して、データフローにおけるネットワークの伝達を制御することを特徴とする、請求項1〜12のいずれかに記載の視聴覚システム。
- フィードバック制御および制御手段は、すべてのモジュールに対する1つのネットワークチャンネルの複合的な伝達を制御することを特徴とする、請求項1〜13のいずれかに記載の視聴覚システム。
- 上記再生装置(2)は、少なくとも遠隔地場面の画像が形成されたスクリーン(E)と、画像平面(I)上に形成可能な半透過性の鏡(21)とを含み、上記スクリーン(E)の画像および上記半透過性の鏡(21)は、上記モジュールに接続された画像検出装置の鏡(11)と、遠隔地の間に、光線が上記半透過性の鏡(21)を横断し、画像検出装置の鏡(11)に到達するように設置されていることを特徴とする、請求項1〜14のいずれか1項に記載の視聴覚システム。
- 半透過性の鏡(21)が平坦あるいは凹形であることを特徴とする、先の請求項に記載のシステム。
- 半透過性の鏡(21)は凹形であって、上記鏡(21)は、焦点を有し、かつ、上記システムは、さらに、上記鏡(21)の焦点の近傍に配置されたプロジェクタ(P)を含むことを特徴とする、先の請求項に記載のシステム。
- 半透過性の鏡(21)が円筒または円環形状である、または、回転鏡であることを特徴とする、先の請求項に記載のシステム。
- 画像検出装置及び/または再生装置が一列に並べられていることを特徴とする、請求項15に記載のシステム。
- 画像検出装置及び/または再生装置が、凸形の曲線に応じて設置されていることを特徴とする、請求項15に記載のシステム。
- 例えばフレネルレンズ(Fresnel lens)のような、カメラの光線の光学距離を低減するようなレンズを含むことを特徴とする、請求項15に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR01/14572 | 2001-11-12 | ||
FR0114572A FR2832282B1 (fr) | 2001-11-12 | 2001-11-12 | Systeme audiovisuel modulaire avec modules concatenables pour mettre en presence une scene locale et une scene distante |
PCT/FR2002/003864 WO2003043324A1 (fr) | 2001-11-12 | 2002-11-12 | Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005510142A JP2005510142A (ja) | 2005-04-14 |
JP2005510142A6 true JP2005510142A6 (ja) | 2005-08-04 |
JP2005510142A5 JP2005510142A5 (ja) | 2007-12-27 |
Family
ID=8869280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003545025A Pending JP2005510142A (ja) | 2001-11-12 | 2002-11-12 | 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US7391439B2 (ja) |
EP (1) | EP1444827A1 (ja) |
JP (1) | JP2005510142A (ja) |
KR (1) | KR100729657B1 (ja) |
CN (1) | CN1633807A (ja) |
FR (1) | FR2832282B1 (ja) |
WO (1) | WO2003043324A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2814309B1 (fr) * | 2000-09-15 | 2002-10-25 | France Telecom | Systeme interactif audiovisuel |
US7868847B2 (en) * | 2005-05-24 | 2011-01-11 | Mark W Miles | Immersive environments with multiple points of view |
US20070279483A1 (en) * | 2006-05-31 | 2007-12-06 | Beers Ted W | Blended Space For Aligning Video Streams |
TW200822745A (en) * | 2006-11-01 | 2008-05-16 | Inventec Corp | Electronic device |
US20080163656A1 (en) * | 2007-01-05 | 2008-07-10 | Tse Wen Chang | Identifiers for keys permitting visual, low-light and tactile recognition |
US7961157B2 (en) * | 2007-05-14 | 2011-06-14 | Christie Digital Systems Usa, Inc. | Configurable imaging system |
US7965257B2 (en) * | 2007-05-14 | 2011-06-21 | Christie Digital Systems Usa, Inc. | Configurable imaging system |
US9047039B2 (en) | 2007-05-14 | 2015-06-02 | Christie Digital Systems Usa, Inc. | Configurable imaging system |
US20090172756A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Lighting analysis and recommender system for video telephony |
US20090244492A1 (en) * | 2008-03-28 | 2009-10-01 | Christie Digital Systems Usa, Inc. | Automated geometry correction for rear projection |
US7918565B2 (en) * | 2008-07-31 | 2011-04-05 | Christie Digital Systems Usa, Inc. | Expanding chassis for imaging systems |
TWI384887B (zh) * | 2009-06-11 | 2013-02-01 | Univ Nat Central | 多視點影像編解碼方法 |
US8520064B2 (en) * | 2009-07-21 | 2013-08-27 | Telepresence Technologies, Llc | Visual displays and TelePresence embodiments with perception of depth |
US8457155B2 (en) * | 2009-09-11 | 2013-06-04 | Nokia Corporation | Encoding and decoding a multi-view video signal |
US8611072B2 (en) | 2010-05-17 | 2013-12-17 | Christie Digital Systems Usa, Inc. | Thermal actuator for configurable imaging systems |
US8451315B2 (en) | 2010-11-30 | 2013-05-28 | Hewlett-Packard Development Company, L.P. | System and method for distributed meeting capture |
KR20160073540A (ko) * | 2014-12-17 | 2016-06-27 | 삼성전자주식회사 | 멀티비전 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4890314A (en) * | 1988-08-26 | 1989-12-26 | Bell Communications Research, Inc. | Teleconference facility with high resolution video display |
US5117285A (en) * | 1991-01-15 | 1992-05-26 | Bell Communications Research | Eye contact apparatus for video conferencing |
WO1995014972A1 (en) * | 1993-11-29 | 1995-06-01 | Philips Electronics N.V. | Ranking-based address assignment in a modular system |
US5572248A (en) * | 1994-09-19 | 1996-11-05 | Teleport Corporation | Teleconferencing method and system for providing face-to-face, non-animated teleconference environment |
FR2728753A1 (fr) * | 1994-12-21 | 1996-06-28 | Grenier Yves | Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage |
US6731334B1 (en) * | 1995-07-31 | 2004-05-04 | Forgent Networks, Inc. | Automatic voice tracking camera system and method of operation |
EP0765084A3 (en) * | 1995-09-21 | 1997-10-15 | At & T Corp | Automatic video tracking system |
FR2761562B1 (fr) * | 1997-03-27 | 2004-08-27 | France Telecom | Systeme de visioconference |
US6545700B1 (en) * | 1997-06-25 | 2003-04-08 | David A. Monroe | Virtual video teleconferencing system |
US6611241B1 (en) * | 1997-12-02 | 2003-08-26 | Sarnoff Corporation | Modular display system |
US6310650B1 (en) * | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
US6275251B1 (en) * | 1998-11-05 | 2001-08-14 | Motorola, Inc. | Teleconference system with personal presence cells |
GB9918704D0 (en) * | 1999-08-10 | 1999-10-13 | White Peter M | Device and method for eye to eye communication overa network |
US20030067587A1 (en) * | 2000-06-09 | 2003-04-10 | Masami Yamasaki | Multi-projection image display device |
FR2811501B1 (fr) * | 2000-07-04 | 2003-06-13 | France Telecom | Terminal et systeme de communication |
US6727864B1 (en) * | 2000-07-13 | 2004-04-27 | Honeywell International Inc. | Method and apparatus for an optical function generator for seamless tiled displays |
FR2814309B1 (fr) * | 2000-09-15 | 2002-10-25 | France Telecom | Systeme interactif audiovisuel |
FR2818860B1 (fr) * | 2000-12-22 | 2004-01-16 | France Telecom | Systeme interactif audiovisuel comprenant plusieurs dispositif de prise de vue |
US7019713B2 (en) * | 2002-10-30 | 2006-03-28 | The University Of Chicago | Methods and measurement engine for aligning multi-projector display systems |
FR2848762A1 (fr) * | 2002-12-13 | 2004-06-18 | France Telecom | Systeme audiovisuel interactif |
US7864210B2 (en) * | 2005-11-18 | 2011-01-04 | International Business Machines Corporation | System and methods for video conferencing |
-
2001
- 2001-11-12 FR FR0114572A patent/FR2832282B1/fr not_active Expired - Fee Related
-
2002
- 2002-11-12 KR KR1020047007162A patent/KR100729657B1/ko not_active IP Right Cessation
- 2002-11-12 CN CNA028224426A patent/CN1633807A/zh active Pending
- 2002-11-12 JP JP2003545025A patent/JP2005510142A/ja active Pending
- 2002-11-12 WO PCT/FR2002/003864 patent/WO2003043324A1/fr active Application Filing
- 2002-11-12 EP EP02803049A patent/EP1444827A1/fr not_active Withdrawn
- 2002-11-12 US US10/495,292 patent/US7391439B2/en not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005510142A6 (ja) | 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム | |
US10182208B2 (en) | Panoramic image placement to minimize full image interference | |
JP2005510142A (ja) | 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム | |
JP2005510142A5 (ja) | ||
US6882358B1 (en) | Apparatus, system and method for enabling eye-to-eye contact in video conferences | |
US8228371B2 (en) | Projection screen and camera array | |
US8947500B1 (en) | Telepresence camera system | |
US20040008423A1 (en) | Visual teleconferencing apparatus | |
US7048386B2 (en) | Interactive audio-visual system | |
KR101856629B1 (ko) | 실물 크기 비디오 회의용 스튜디오 및 시스템 | |
WO2007005752A2 (en) | Visual and aural perspective management for enhanced interactive video telepresence | |
US7336294B2 (en) | Arrangement and method for improved communication between participants in a videoconference | |
JPH10145763A (ja) | 会議システム | |
US6943818B2 (en) | Audio-visual interactive system comprising several filming devices | |
TW202211667A (zh) | 全視角會議攝影裝置 | |
WO2000023842A1 (en) | Anamorphic technique for filming and projecting images of 360 degree | |
JPH06233290A (ja) | 撮像・表示装置 | |
JP2021177587A (ja) | 全方向映像表示装置、その表示方法、および全方向映像表示システム | |
JPH11103499A (ja) | テレビ会議システム | |
JPH04150684A (ja) | 表示・撮像装置 | |
JPH03283889A (ja) | テレビ会議端末装置 |