JP2006074388A - 撮像装置、それを含む双方向対話型システム、及びａｖデータの補正方法 - Google Patents

Abstract

【課題】 双方向対話型システムにおいて送受信されるＡＶデータの最適化を可能にする構造を備えた端末装置等を提供する。
【解決手段】 この発明に係る端末装置は、AVデータの送受信を行いながら遠隔対話を実現する双方向対話型システムに適用可能であって、相手側端末装置から送信され、映像データを取り込むための撮像部(5)に対する調節及び／又は取り込まれた映像データに対する補正を指示するための映像補正指示情報が格納されるメモリ(262)を備え、このメモリ(262)に格納された映像補正指示情報に従って、制御手段(6,240,263)は撮像部(5)の調節及び／又は取り込まれた映像データに対するディジタル処理を行う。
【選択図】 図５

Description

この発明は、遠隔地間での画面上に表示される相手側対話者像を見ながら遠隔地対話を実現するための構造を備えた双方向対話型システムに適用可能な端末装置であって、相手側端末から送信された補正指示に従って撮像部やマイクを調節したり該撮像部やマイクから取り込まれたＡＶ（オーディオ・ビジュアル）データを一旦補正し、補正後ＡＶデータを相手側端末装置に送信する端末装置、該端末装置を含む双方向対話型システム、ＡＶデータの補正方法等に関するものである。

近年、遠隔地の対話者間で互いに相手側対話者の映像を互いに視線一致した状態でモニタに表示しながらテレビ会議やカウンセリング等の親密な対話を実現する双方向対話型システムが提案されている。この視線一致技術には種々の技術が提案されており、相手側対話者像が表示されるモニタ前面の所定位置にＣＣＤカメラのような撮像デバイスを配置することにより視線一致を実現している（特許文献１参照）。
特許第３０７４６７７号公報 昭和４２年電気四学会連合大会（Ｎｏ．１９９８）

発明者らは、上述のような双方向対話型システムについて検討した結果、以下のような課題を発見した。すなわち、テレビ電話システムやテレビ会議システムなど、従来の双方向対話型システムに適用される端末装置では、相手側対話者の映像データや音声データを所定の伝送手段を介して受信し、該受信された映像データを表示装置に表示させたり該受信された音声データをスピーカやヘッドホンに出力していた。このように送受信される映像データの画質調節（明るさや色合いの調節等を含む）は、受信側端末装置において、表示装置の明るさや色合いを調節することで行われていた。また、音声データの場合、その調節（音量の調節等を含む）は、受信側端末装置において、スピーカボリュームを調節することで行われていた。

しかしながら、発明者らは、双方向での円滑なコミュニケーションを前提とする双方向対話型システムでは、受信されたＡＶデータを単に受信側端末装置における表示装置やスピーカなどの出力手段のみを調節していたのでは不十分であることを発見した。

具体的に、双方向対話において映像データを送信する双方向対話型システムでは、相手側端末装置の設置環境の照明により受信される相手側対話者像が暗かったり逆に明るすぎる場合がある。これを自端末装置における表示装置の調節機能のみを使用して調節した場合、表示画面全体が変化してしまう。そのため、自端末装置における表示装置に相手側対話者のみが表示されている場合はよいが、他の情報や複数の相手側対話者像が表示されている場合には、個別に調節することができないと言う課題がある。また、このように表示される映像データの色合いや画質は、相手側端末装置における撮像部（カメラ）の設定や自端末装置における表示装置の設定の両方が相互に影響するため、自端末装置側のみの調節をしても十分な効果は得られなかった。

一方、音声データの場合も同様に、相手側端末装置におけるマイクの設定（性能）と自端末装置におけるスピーカの設定の両方が相互に影響するとともに、自端末装置におけるスピーカのみの調節では、有意な音声データのみでなくノイズ音なで大きくなってしまう。

特に、テレビ電話やテレビ会議などでは、一定レベルであればある程度の性能低下は許容される一方、遠隔地間で行われるカウンセリングなど特定用途に適用される双方向対話型システムでは、相手側対話者の顔色や声の抑揚等を正しく伝える必要がある。

この発明は、上述のような課題を解決するためになされたものであり、双方向対話型システムにおいて送受信されるＡＶデータの最適化を可能にする構造を備えた端末装置、該端末装置を含む双方向対話型システム、ＡＶデータの補正方法、該ＡＶデータの補正方法を実行するコンピュータプログラム、該コンピュータプログラムが記録された記録媒体を提供することを目的としている。

この発明に係る端末装置は、撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムに適用可能な端末装置であって、該相手側対話者の像を表示する表示装置と、該対話者を撮像するための撮像部とを少なくとも備える。さらに、この発明に係る端末装置は、遠隔地間で行われるカウンセリングなど、相手側対話者の顔色や声の抑揚等を正しく伝える必要がある特定用途の双方向対話型システムに適用されるため、入出力部、メモリ、制御手段を備える。

上記入出力部は、相手側端末装置から送信され、映像データを取り込むための撮像部に対する調節あるいは該撮像部から取り込まれた映像データに対する補正を指示するための映像補正指示情報を受信する。上記メモリは、入出力部を介して受信された前記映像補正指示情報が格納される。上記制御手段は、メモリに格納された映像補正指示情報に従って、撮像部の設定を調節するか、あるいは該撮像部から取り込まれた映像データに対してディジタル処理を行う。また、上記制御手段は、調節後の撮像部から取り込まれた映像データあるいは取り込み後にディジタル処理された映像データを入出力部を介して相手側端末装置に送信させるよう機能する。

また、この発明に係る端末装置は、対話者を撮像するための撮像部と、該相手側対話者の像を表示する表示装置と、該対話者の発する音声を収音するためのマイクとを少なくとも備えてもよい。この場合も、当該端末装置は、入出力部と、メモリと、制御手段を備える。すなわち、上記入出力部は、相手側端末装置から送信され、対話者が発する音声データを取り込むためのマイクに対する調節あるいは該マイクにより収音された音声データに対する補正を指示するための音声補正指示情報を受信する。上記メモリは、入出力部を介して受信された音声補正指示情報が格納される。上記制御手段は、メモリに格納された音声補正指示情報に従って、マイクを調節するか、あるいは該マイクにより収音された音声データに対してディジタル処理を行う。また、上記制御手段は、調節後のマイクにより収音された音声データあるいは収音後にディジタル処理された音声データを入出力部を介して相手側端末装置に送信させるよう機能する。

また、この発明に係る双方向対話型システムは、上述のような構造を有する端末装置（この発明に係る端末装置）を含み、撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する。なお、このような双方向対話型システムには、例えばテレビ電話システム、テレビ会議システム等の複数の端末装置間で音声データや画像データの送受信を通じて一対一、一対多、多対一、あるいは多対多の双方向対話を実現する通信システムが含まれる。

さらに、この発明に係るＡＶデータの補正方法は、上述のような双方向対話型システムに適用される端末装置間において行われる。すなわち、当該ＡＶデータの補正方法は、相手側端末装置から送信され、映像データを取り込むための撮像部に対する調節あるいは該撮像部から取り込まれた映像データに対する補正を指示するための映像補正指示情報を受信し、該受信された映像補正指示情報を一旦メモリに格納し、該メモリに格納された映像補正指示情報に従って、撮像部を調節するか、あるいは該撮像部から取り込まれた映像データに対してディジタル処理を行い、そして、調節後の撮像部から取り込まれた映像データあるいは取り込み後にディジタル処理された映像データを入出力部を介して相手側端末装置に送信する。

一方、この発明に係るＡＶデータの補正方法は、相手側端末装置から送信され、対話者が発する音声データを取り込むためのマイクに対する調節あるいは該マイクにより収音された音声データに対する補正を指示するための音声補正指示情報を受信し、該受信された音声補正指示情報を一旦メモリに格納し、該メモリに格納された音声補正指示情報に従って、マイクを調節するか、あるいは該マイクにより収音された音声データに対してディジタル処理を行い、そして、調節後のマイクにより収音された音声データあるいは収音後にディジタル処理された音声データを入出力部を介して前記相手側端末装置に送信してもよい。

上述のようなＡＶデータの補正方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、DVD、フラッシュメモリ等の記録媒体に格納されていてもよい。

この発明によれば、映像や音声などのＡＶデータが再生出力される側の端末装置が、該ＡＶデータを取り込む側の端末装置に対して、ＡＶデータの取り込み状態を調節したり取り込まれたＡＶデータの補正を指示することができるので、遠隔地間で行われるカウンセリングなどにおいて、相手側対話者の顔色や声の抑揚等を正しく伝えることができる。

以下、この発明に係る撮像装置、端末装置、双方向対話型システム等の各実施形態を、図１〜図６を用いて詳細に説明する。なお、図面の説明において、同一部位、同一部材には同一符号を付して重複する説明を省略する。

この発明に係る撮像装置は、所定の伝送手段を介して接続された端末装置（この発明に係る端末装置）に適用可能であり、このような端末装置間での遠隔地対話を実現する双方向対話型システムに適用可能である。

まず、ここでは、当該撮像装置を含む端末装置の利用形態の一例として上記双方向対話型システムについて説明する。なお、この双方向対話型システムは、視線一致した状態での遠隔地対話を実現するシステムであるが、当該撮像装置を含む端末装置は、対話者間で視線一致できない構成であっても適用可能である。

（双方向対話型システム及び端末装置）
図１は、遠隔地に居る対話者間の視線一致を可能にする双方向対話型システム全体を示す論理構成図である。このシステムは、Ａ地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる対話者３Ｂ（第２対話者）との間で双方向対話を実現するシステムである。このシステムは遠隔地にいる対話者間でも親密な信頼関係を確立し綿密なコミュニケーションを実現するシステムであり、例えばカウンセリング・システムや家庭学習を志向したサービス提供システムとして余地居ることができる。その場合、少なくとも一方の対話者として、教師、医師、心理学者などのサービス提供者を想定している。したがって、このシステムはこれらサービス提供者がサービスを提供するために必要な情報、及び理想的な環境を提供できるよう種々の機能及び構成を備える。

具体的には、Ａ地点において、（ａ）対話者３Ａ（例えばカウンセラ）が座る椅子４Ａ（高さ調節機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ａとが設置され、対話者３Ａはパーティション２２Ａによって隔離されている。一方、Ｂ地点には、（ａ）対話者３Ｂ（例えばカウンセリングを受けるクライアント）が座る椅子４Ｂ（高さ調節機構４０Ｂを有する）と、（ｂ）対話者３Ｂが向かうテーブル２Ｂと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ｂとが設置され、対話者３Ｂはパーティション２２Ｂにより隔離されている。ここで、伝送手段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で画像情報及び音声情報の送受信を可能にするため、光ファイバ伝送路３１（主伝送路）及び衛星通信伝送路３２（バックアップ用伝送路）等を含む。なお、この伝送手段２７は有線、無線のいずれであってもよい。また、伝送手段は、既に敷設された電話回線網等のネットワークを含み、さらに種々のデータベースを備えた電子掲示板システム（BBS: Bulletin Board System）も含む。

Ａ地点において、上述の椅子４Ａは対話者３Ａの位置を規定するために機能する。この椅子４Ａは端末装置２０Ａの表示部（表示装置）２１Ａとの距離を一定に保つために固定されるのが好ましい。しかし、該椅子４Ａが固定されていない場合であっても、テーブル２Ａを対話者３Ａと表示部２１Ａに設置することによりこの椅子４Ａと表示部２１Ａとの距離を一定に保つことが可能になる（テーブル２Ａの存在が対話者３Ａの心理的な距離の基準となる事実が確認されている）。なお、相手側の対話者３Ｂ（例えば、カウンセリングを受ける者等）がいるＢ地点の端末装置２０Ｂの構成も同様である。

Ａ地点において、端末装置２０Ａは、(1)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた画像情報に基づいて対話者３Ｂの映像などを表示する、テーブル２Ａの上に配置された、モニタＴＶ１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ（撮像部）５Ａを所定位置に保持するための本体部６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた音声情報に基づいて対話者３Ｂの音声を出力するための音声出力部２３Ａ（スピーカ）と、(4)対話者３Ａの音声を音声情報として集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するための音声入力部２４Ａ（マイク）を備える。さらに、このシステムはカウンセリング・システムとしてより綿密なコミュニケーションを実現するため、(5)対話者３Ａが文字や図形を入力し、入力された文字や図形を表示部２１Ａに表示するとともに、文字図形情報としてＢ地点の端末装置２０Ｂへ向けて伝送するための文字図形入力部２５Ａ（キーボード、ポインティング・デバイス、タッチパネルなどのインターフェース）と、(6)上記各構成要素と伝送手段２７との間に設けられ、信号処理、伝送制御及び映像データの編集作業等を行う映像処理装置２６Ａ（制御部含む）とを備える。なお、Ｂ地点の端末装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様に構成されており、具体的には、表示部２１Ｂ、ＣＣＤカメラ５Ｂと本体部６Ｂからなる撮像装置６００Ｂ、音声出力部２３Ｂ、音声入力部２４Ｂ、文字図形入力部２５Ｂ、及び映像処理装置２６Ｂを備える。

さらに、Ａ地点及びＢ地点の端末装置２０Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂの構成を説明する。なお、説明の都合上、Ａ地点及びＢ地点の各端末装置２０Ａ、２０Ｂに共通する構成要素について言及する場合には、例えば撮像装置６００のように、各地点を区別する文字Ａ、Ｂを省略して説明する。また、特に説明がされていない場合には、原則としてＡ地点の端末装置２０Ａについて説明しているものとして、共通する構成を有するＢ地点の端末装置２０Ｂについては重複する説明は省略する。

この撮像装置６００は、撮像部であるＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持した状態で所定位置に設置するための本体部６を備える。モニタＴＶ１（１Ａ）はテーブル２（２Ａ）の上に載置されており、対話者３（３Ａ）はこのモニタＴＶ１から距離Ｌ（ｍ）離れて置かれた高さ調整機構４０（４０Ａ）を備えた椅子４（４Ａ）に座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上５ｍ以下に設定される。撮影される対話者３及びモニタＴＶ１間には、外径φ２０ｍｍ以下，長さ約１００ｍｍの円筒状のＣＣＤカメラ５が設けられている。また、このＣＣＤカメラ５はその撮像方向が撮影される対話者３に向けられるよう設置されている。そしてＣＣＤカメラ５で撮像された対話者３の映像は、画像情報として他方の対話者側に伝送される（伝送手段２７を介してＢ地点の端末装置２０Ｂに伝送される）。なお、対話者によっては表示部２１と該対話者間の間隔が僅かにずれる可能性もある。したがって、このような状況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いものを選択するのが好ましい。

次に、ＣＣＤカメラ５の具体的な設置位置を図２を用いて説明する。

まず、撮像装置６００の本体部６は伝送されてきた他方の対話者の映像を表示するための表示部２１上に設置される。なお、スイッチ２１０はモニタＴＶ１の電源をオン／オフする電源スイッチ等を含む。ＣＣＤカメラ５は、伝送されてきた他方の対話者３Ｂの像９が表示されるモニタ画面８の前方の所定位置に本体部６によって配置される。なお、このモニタ画面８は４インチ程度であれば十分に利用できる。

具体的には、ＣＣＤカメラ５はモニタ画面８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８に表示された対話者像９の頭部９ａ付近に配置される。円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像９の目の位置の上方ｈ（ｃｍ）の部位に位置している。

このようにＣＣＤカメラ５は、大型モニタＴＶ１の画面８に表示された対話者像９の目の位置より上の頭部付近に位置しているため、双方向対話に特別な支障は生じない。例えば、ＣＣＤカメラ５が画面８に表示された対話者像９の目の位置（図中、点線で示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニタＴＶ１及び対話者３間の距離Ｌが約２．５（ｍ）に設定されているシステム構成の場合、視差角は２．３°で十分検知限界の視差角３°を下回ることが可能である（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃｍ）程度ある場合でも、視差角の変動には特に影響はない）。つまり、視線一致時に相手の目（モニタ画面８に表示された他方の対話者３Ｂの像の目）がはっきりと見えれば、その頭部辺りにカメラ５が設けてあっても、モニタＴＶ１の画面８が大型であれば、双方向対話に支障はほとんどないことが確認されている。この画面８の大きさは、実験の結果、横３５ｃｍ、縦２６ｃｍ程度以上の大きさがあれば良好な双方向対話が実現できることも確認されている。なお、相互の対話者が知人同志であれば、画面の大きさは小さくとも心理的な障害も少ない傾向を示す結果も得られており、画面サイズに関しては用途に応じて使いわけるとよい。

さらに、視差角について、図３を用いて説明する。この明細書において、視差角とは、図３に示されたように、モニタ画面８に表示された対話者像９へ向けられた、撮影される対話者３の視線と、ＣＣＤカメラ５へ向けられた、該対話者３の視線とがなす角度θを言う。換言すれば、対話者３の視線に対するＣＣＤカメラ５の設置位置のずれ角を意味している。また、ここでいう視線一致とは、非特許文献１で報告されているように、ＣＣＤカメラ５の設置位置による不自然さの許容限界以下を意味している。定量的には、視差角として、左右方向４．５°以下（対話者像９の目の中心Ａに対し、該像９の両こめかみ側），真上方向１２°（像中心Ａに対し、像９の頭部９ｂ側），真下方向８°（像中心Ａに対し、像９の胴体側）以下を視線一致範囲内としている。もちろん、この視差角は小さい方が良く、左右上下方向３°以下が検知限界とされている。したがって、ＣＣＤカメラ５が設置可能な領域は、図４に示された円錐領域である。なお、この円錐領域は、対話者３の目３０とモニタ画面８に表示された対話者像９の中心点Ａ（この実施形態では、対話者像９の両目の中心を該対話者像９の中心点Ａとして定義している）とを結ぶ該対話者３の視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致領域９ｂ、及び、該対話者３の目３０の位置とで規定される。

なお、モニタ画面８上に表示される対話者像９のサイズが小さい場合には、必ずしも該ＣＣＤカメラ５と対話者像９の頭部が重なっている必要はない。むしろ対話者９の頭部がＣＣＤカメラ５に隠れてしまい見にくくなる。上述のように視線一致の条件は視差角３°の領域内にＣＣＤカメラ５と対話者像９の目が存在することであり、具体的に画面から５０ｃｍ離れた位置で約３ｃｍ程度（図２におけるｈ）である。したがって、この範囲内であればＣＣＤカメラ５と対話者像９の頭部をずらしても視線一致状態は維持される。この対話者像９とＣＣＤカメラ５をずらすには、例えばモニタ画面８上における画像表示位置を調節したり、ＣＣＤカメラ５の支持部を調節してＣＣＤカメラ5自体の位置を変更することにより実現される。

（端末装置）
図５は、この発明に係る端末装置の構成を示す図である。この端末装置は、モニタ等の表示装置２１（図１に示された双方向対話型システムにおける表示部２１Ａ、２１Ｂに相当）と、映像処理部２６（図１に示された双方向対話型システムにおける映像処理装置２６Ａ、２６Ｂに相当）と、外部記録装置７００と、マウス等のポインティングデバイス９００と、表示装置２１の前方に位置する対話者を撮像するＣＣＤカメラ５等の撮像部及び撮像ユニット６からなる撮像装置６００、相手対話者の音声を出力するための音源コントローラ９２０、スピーカー９１０、対話者自身の音声を収音するためのマイク２４及びマイクコントローラ２４０とを備える。上記映像処理部２６は、撮像手段に含まれる撮像ユニット６からの画像情報や他の情報メディアの取り込みや伝送手段２７を介して相手側対話者の画像情報の送受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、制御部２６３、送受信される画像情報の他、相手側端末装置から送信され、映像データを取り込むためのカメラ５に対する設定調節あるいは該カメラ５から取り込まれた映像データに対する補正を指示するための映像補正指示情報や、相手側端末装置から送信され、対話者が発する音声データを取り込むためのマイクに対する調節あるいは該マイクにより収音された音声データに対する補正を指示するための音声補正指示情報を格納しておくためのメモリ２６２、表示装置２１へ制御部２６３の指示に従って所定のパターンを表示させる描画部２６４と、マウス等のポインティングデバイス９００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）とを備える。

なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含む。また、上記制御部２６３は、カメラ５の設定を調節するよう撮像ユニット６に対して制御信号を出力したり、マイク２４の設定を調節するようマイクユニット２４０に対して制御信号を出力することが可能である。

次に、この発明に係るＡＶデータの補正方法を、図６を用いて説明する。この発明に係るＡＶデータの補正方法は、撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムに適用され、図５に示されたような構造を有する端末装置間において実行される。

まず、ここでは図６（ａ）に示されたように、端末装置２０Ａにおけるモニタ画面８上に表示された相手側対話者像８００ａやスピーカ９１０ａ、９１０ｂから出力される相手側対話者の音声を調節する場合について説明する。

端末装置２０Ａでは、モニタ画面８上に相手側対話者像８００ａとともに表示された操作ウィンドウ８５０内の操作パネル８５０ａ〜８５０ｄをカーソル８６０の位置をマウス９００で操作することにより設定する。

この操作ウィンドウ８５０におけるレイアウトの一例が図６（ｂ）に示されている。この操作ウィンドウ８５０内には、端末装置２０Ａのモニタ画面８上に表示される相手側対話者像の、明るさ、色合い（赤色、青色等）を調節する調節バー８５０ａ〜８５０ｃと、収音音量を調節するための音量調節バー８５０ｄが用意されている。なお、映像データの補正の場合、上述の項目には限定されず、例えばγ補正等の映像補正項目が設けられてもよい。

端末装置２０Ａにおけるモニタ画面８上でのカーソル８６０の操作により設定された情報は、映像補正指示情報及び音声補正指示情報として、伝送手段２７を介して相手側端末装置２０Ｂに送信される。

相手側端末装置２０Ｂでは、映像処理部２６Ｂにおいて受信された映像補正指示情報及び音声補正指示情報が一旦メモリに格納される。映像処理部２６Ｂは、これら映像補正指示情報及び音声補正指示情報に従って、カメラ５Ｂの設定を調節するよう撮像ユニット６Ｂを制御したり、マイク２４Ｂの設定を調節するようマイクユニットを制御する。このように調節されたカメラ５Ｂ及びマイク２４Ｂから取り込まれた映像データ及び音声データが、伝送手段２７を介して端末装置２０Ａに送信される。なお、映像処理部２６Ｂでは、カメラ５Ｂやマイク２４Ｂから取り込まれたデータをディジタル処理し、この処理後のデータを補正後ＡＶデータとして端末装置２０Ａに送信するようにしてもよい。

以上の動作を経て、端末装置２０Ａでは、自ら指示した内容に従って相手側端末装置２０Ｂにおいて補正された相手側対話者像８００ａがモニタ画面８上に表示されるとともに、同様に補正された音声がスピーカ９１０ａ、９１０ｂから出力される。

一方、図６（ｃ）は、端末装置２０Ｂにおけるモニタ画面８上に表示された相手側対話者像８００ｂやスピーカ９１０ａ、９１０ｂから出力される相手側対話者の音声を調節する場合を示す。

この端末装置２０Ｂでは、モニタ画面８上に相手側対話者像８００ｂとともに表示された操作ウィンドウ８５０内の操作パネル８５０ａ〜８５０ｄをカーソル８６０の位置をマウス９００で操作することにより設定する。なお、モニタ画面８上に表示される操作ウィンドウ８５０のレイアウトは、図６（ｂ）に示されたレイアウトと同様である。

端末装置２０Ｂにおけるモニタ画面８上でのカーソル８６０の操作により設定された情報は、映像補正指示情報及び音声補正指示情報として、伝送手段２７を介して相手側端末装置２０Ａに送信される。

相手側端末装置２０Ａでは、映像処理部２６Ａにおいて受信された映像補正指示情報及び音声補正指示情報が一旦メモリに格納される。映像処理部２６Ａは、これら映像補正指示情報及び音声補正指示情報に従って、カメラ５Ａの設定を調節するよう撮像ユニット６Ａを制御したり、マイク２４Ａの設定を調節するようマイクユニットを制御する。このように調節されたカメラ５Ａ及びマイク２４Ａから取り込まれた映像データ及び音声データが、伝送手段２７を介して端末装置２０Ｂに送信される。なお、映像処理部２６Ａでは、カメラ５Ａやマイク２４Ａから取り込まれたデータをディジタル処理し、この処理後のデータを補正後ＡＶデータとして端末装置２０Ｂに送信するようにしてもよい。

以上の動作を経て、端末装置２０Ｂでは、自ら指示した内容に従って相手側端末装置２０Ａにおいて補正された相手側対話者像８００ｂがモニタ画面８上に表示されるとともに、同様に補正された音声がスピーカ９１０ａ、９１０ｂから出力される。

この発明は、遠隔地間で行われるカウンセリングなど、相手側対話者の顔色や声の抑揚等を正しく伝える必要がある特定用途の双方向対話型システムに適用される。

遠隔地間において伝送手段を介して視線一致を実現する双方向対話型システム（この発明に係る端末装置及び双方向対話型システム）の一構成を示す図である。 図１に示された撮像装置を示す図であって、視線一致のためのＣＣＤカメラの設置方法を説明するための図である。 視差角を説明するための図である。 ＣＣＤカメラが設置されるべき領域を示す図である。 この発明に係る端末装置の構造を示すブロック図である。 この発明に係るＡＶデータの補正方法を説明するための図である。

符号の説明

８…モニタ画面
２０Ａ、２０Ｂ…端末装置
２１（２１Ａ、２１Ｂ）…表示部（表示装置）
２４（２４Ａ、２４Ｂ）…マイク
２４０…マイクユニット
３（３Ａ、３Ｂ）…対話者Ａ、Ｂ
５（５Ａ、５Ｂ）…撮像部（ＣＣＤカメラ）
６（６Ａ、６Ｂ）…撮像ユニット
２６（２６Ａ、２６Ｂ）…映像処理装置
６００（６００Ａ、６００Ｂ）…撮像装置
２６２…メモリ
２６３…制御部
２６４…描画部
７００…外部記録装置
８５０…操作ウィンドウ
８６０…カーソル
９００…マウス

Claims (8)

1. 映像を表示する表示装置と、映像データを取り込むための撮像部とを少なくとも備えた端末装置であって、
   前記撮像部に対する調節、及び、該撮像部から取り込まれた映像データに対する補正の少なくともいずれかを指示するための映像補正指示情報を受信する受信手段と、
   前記受信手段を介して受信された前記映像補正指示情報が格納されるメモリと、
   前記メモリに格納された映像補正指示情報に従って、前記撮像部を調節、及び、該撮像部から取り込まれた映像データに対するディジタル処理の少なくともいずれかを行う制御手段と、
   調節後の前記撮像部から取り込まれた映像データあるいは取り込み後にディジタル処理された映像データを送信するための送信手段とを備えた端末装置。
2. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムであって、請求項１記載の端末装置を含む双方向対話型システム。
3. 映像を撮像するための撮像部と、映像を表示する表示装置と、音声を収音するためのマイクとを少なくとも備えた端末装置であって、
   音声データを収音するための前記マイクに対する調節、及び、該マイクにより収音された音声データに対する補正の少なくともいずれかを指示するための音声補正指示情報を受信する受信手段と、
   前記受信手段を介して受信された前記音声補正指示情報が格納されるメモリと、
   前記メモリに格納された音声補正指示情報に従って、前記マイクの調節、及び、該マイクにより収音された音声データに対するディジタル処理の少なくともいずれかを行う制御手段と、
   調節後の前記マイクにより収音された音声データあるいは収音後にディジタル処理された音声データを送信する送信手段とを備えた端末装置。
4. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムであって、請求項３記載の端末装置を含む双方向対話型システム。
5. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムに適用される請求項１記載の端末装置間におけるＡＶデータの補正方法であって、
   相手側端末装置から送信され、映像データを取り込むための前記撮像部に対する調節、及び、該撮像部から取り込まれた映像データに対する補正の少なくともいずれかを指示するための映像補正指示情報を受信し、
   受信した前記映像補正指示情報をメモリに格納し、
   前記メモリに格納された映像補正指示情報に従って、前記撮像部の調節、及び、該撮像部から取り込まれた映像データに対するディジタル処理の少なくともいずれかを行い、
   調節後の前記撮像部から取り込まれた映像データあるいは取り込み後にディジタル処理された映像データを前記相手側端末装置に送信するＡＶデータの補正方法。
6. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での遠隔地対話を実現する双方向対話型システムに適用される請求項３記載の端末装置間におけるＡＶデータの補正方法であって、
   相手側端末装置から送信され、前記対話者が発する音声データを取り込むための前記マイクに対する調節、及び、該マイクにより収音された音声データに対する補正の少なくともいずれかを指示するための音声補正指示情報を受信し、
   受信された前記音声補正指示情報をメモリに格納し、
   前記メモリに格納された音声補正指示情報に従って、前記マイクの調節、及び、該マイクにより収音された音声データに対するディジタル処理の少なくともいずれかを行い、
   調節後の前記マイクにより収音された音声データあるいは収音後にディジタル処理された音声データを前記相手側端末装置に送信するＡＶデータの補正方法。
7. コンピュータにより請求項５又は６記載のＡＶデータの補正方法を実行するコンピュータプログラム。
8. コンピュータにより請求項５又は６記載のＡＶデータの補正方法を実行するコンピュータプログラムが記録された記録媒体。

Images