JP2006093864A - 画像表示方法、端末装置、及び双方向対話型システム - Google Patents

Abstract

【課題】 現実の対面対話のような臨場感ある円滑な双方向対話を可能にするための画像表示方法等を提供する。
【解決手段】 １つの相手対話者像データに基づいて第１表示用画像を生成するとともに、第２表示用画像を生成し、モニタ画面(8)上における第１表示エリア(80a)に生成された第１表示用画像を表示するとともに、第１表示エリア(80b)から所定距離離れた第２表示エリア(80b)に生成された第２表示用画像を表示させる。モニタ画面(8)の前方に位置する対話者が対話中にいずれかの画像を見ることにより、１台のカメラ(5)でも異なる角度の対話者像が撮像できるので、対話者自身により視線一致状態での対話と視線不一致状態での対話の選択が可能になる。
【選択図】 図２

Description

この発明は、モニタ上に表示される相手側対話者像を見ながらの双方向対話を可能にするための画像表示方法、該画像表示方法を実現する端末装置、該端末装置を含む双方向対話型システムに関するものである。

近年、遠隔地の対話者間で互いに相手側対話者の映像を互いに視線一致した状態でモニタに表示しながらテレビ会議やカウンセリング等の親密な対話を実現する双方向対話型システムが提案されている。この視線一致技術には種々の技術が提案されており、相手側対話者像が表示されるモニタの所定位置にＣＣＤカメラのような撮像デバイスを配置することにより視線一致を実現している（特許文献１参照）。
特許第３０７４６７７号公報 昭和４２年電気四学会連合大会（Ｎｏ．１９９８）

発明者らは、従来の双方向対話型システムについて検討した結果、以下のような課題を発見した。すなわち、人と人との対面対話において、両者の視線は対話を円滑にすすめていく上で、重要な役割を担っていることが知られている。一方で、常に視線を合わすことは、逆に両者に緊張をもたらす。従来の双方向対話型システムは、対話者間における視線一致状態の実現に注目するあまり、対話者がモニタ画面に表示される相手側対話者像と対面した対話環境を前提としており、臨場感が向上するとより現実の対面対話に近づくため、ケースによっては対話中、対話者に対面対話と同様な視線一致による緊張が発生する場合も考えられる。

例えば、図８は、現実の対面対話時における視線移動の様子を示すタイムチャートである。この図８に示されたように、現実の対面対話では、対話者自身の視線と相手側対話者の視線は常に一致している状態で進行するわけではない。すなわち、対話者の視線は、相手側対話者との視線一致状態が実現可能になる領域（一致領域）と視線一致できない領域（不一致領域）との間を断続的に往復している。一方、相手側対話者の視線も一致領域と不一致領域との間を断続的に往復しており、対話者及び相手側対話者双方の視線がともに一致領域に向いたときに視線一致（ＥＣ：Eye Contact）が実現される。このように、現実の対面対話において、視線一致状態は対話全体の一部を構成しているに過ぎない。また、必要なときに視線−致ができ、それ以外のときは相手と目を合わさずに相手の表情や動きを感じとりながら対話が進行していく方が、現実の対面対話では自然な状態である。

加えて、対話者同士の信頼感を重視するカウンセリングなどの対面対話では、視線の不一致状態で相手対話者の表情観察の重要性はさらに増す。例えば、対話者同士が対面した座り方は緊張形成のため不適切であり、横並びも、相手の表情、身振りの観察が困難になるので不適切である。好ましい座り方は、斜め座りである。斜め座りは、視線を合わすことができるとともに、視線をはずした状態でも、相手の表情、身振りの観察が自然にできるからである（相手対話者を十分に観察しながら、リラックスして対話ができる）。このように、対話者間での視線一致状態と視線不一致状態の円滑な切り替えやその合図は、従来の双方向対話型システムでは実現することが困難であった。

この発明は、上述のような課題を解決するためになされたものであり、現実の対面対話同等以上の臨場感ある円滑な双方向対話を可能にするための画像表示方法、該画像表示方法を実現する端末装置、該端末装置を含む双方向対話型システム、さらには該画像表示方法を実行するコンピュータプログラム、該コンピュータプログラムが格納された記録媒体を提供することを目的としている。

この発明に係る画像表示方法は、モニタ画面上の所望位置に、視線一致用の画像と視線不一致用の画像を同時に表示させることにより、上述の対面対話のような自然な対話環境を実現する。なお、この明細書における視線一致は、厳密な意味での一致のみならず、一致の程度は対話の進行状態に応じて相対的に変化するものである。

具体的に、この発明に係る画像表示方法は、表示させるべき画像データを用意する。この画像は、相手側対話者を撮像した動画像の一部を構成する画像フレームであってもよい。当該画像表示方法では、この用意された画像データの少なくとも一部から第１表示用画像が生成されるとともに、該用意された画像データの少なくとも一部から第２表示用画像が生成される。そして、モニタ画面上における第１表示エリアに生成された第１表示用画像が表示されるとともに、第１表示エリアから所定距離（例えば表示エリアの中心間距離が１０ｃｍ以上）だけ離れた第２表示エリアに生成された第２表示用画像が表示される。

以上の構成において、モニタ画面の前方に位置する対話者が対話中にいずれかの画像を見ることにより、１台の固定されたＣＣＤカメラなどの撮像部でも異なる角度の対話者像が撮像可能になる。例えば、上記第１表示用画像に重なるように撮像部が設置されれば、この第１表示用画像を見る対話者の視線は、相手側対話者との間で視線一致可能になる。一方、第２表示用画像を対話者が見ている状態では、視線をはずした対話者像が撮像部により撮像されることになる。このような画像表示方法により、所定の伝送手段を介して対話者像を送信し合って双方向対話を実現する（擬似的に対面対話を実現する）双方向対話型システム（この発明に係る双方向対話型システム）では、対話中における視線の一致状態と不一致状態とが円滑に切り替え可能になる。

なお、リアルタイムでの対話進行を実現するため、上記用意された画像データは、動画像データを構成する一フレームに相当する画像であるのが好ましい。また、上記第１表示用画像のサイズと上記第２表示用画像のサイズとは異なっていてもよい。上記第１及び第２表示用画像の少なくともいずれかは、上記用意された画像データの少なくとも一部（全部でもよい）を拡大又は縮小することにより生成された画像であってもよい。

この発明に係る画像表示方法において、上記第１表示用画像が表示される第１表示エリアと上記第２表示用画像が表示される第２表示エリアのそれぞれは、１つのモニタ画面内に設定されてもよい。また、上記第１表示用画像が表示される第１表示エリアは第１表示装置のモニタ画面上に設定される一方、上記第２表示用画像が表示される第２表示エリアは該第１表示装置とは異なる第２表示装置のモニタ画面上に設定されてもよい。

さらに、この発明に係る端末装置は、撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での対話を実現する双方向対話型システムに適用可能な端末装置であり、表示システムと、制御部と、描画部とを、少なくとも備える。

具体的に、上記表示システムでは、モニタ画面上の所望位置に複数の画像が同時に表示される。上記制御部は、用意された画像データの少なくとも一部から第１表示用画像を生成するとともに、該用意された画像データの少なくとも一部から第２表示用画像を生成する。また、上記描画部は、モニタ画面上における第１表示エリアに制御部により生成された第１表示用画像を表示させるともに、第１表示エリアから所定距離離れた第２表示エリアに制御部により生成された第２表示用画像を表示させる。

この発明に係る端末装置は、第１表示エリアの近傍又はその一部と重なるよう配置された撮像部と、該撮像部により取り込まれた画像データを伝送手段に送出する一方、該伝送手段を介して送信されてきた画像データを受信するための入出力手段とをさらに備えるのが好ましい。このとき、用意された画像データが、動画像データを構成する一フレームに相当する画像であれば、動画像データを構成する画像フレームを時間軸に沿って個別に圧縮していくことで、時間軸方向の圧縮も同時に行うＭＰＥＧ方式とは異なり、優れた高速応答性が実現可能になる。この場合、例えば静止画像圧縮方式であるＪＰＥＧ２０００（以下、ＪＰ２という）、特にライセンスフリーのＰａｒｔ−Ｉ技術を利用することができる。上記制御部は、このＪＰ２ Ｐａｒｔ−Ｉ方式のタイリング技術により、撮像部により取り込まれた画像データを圧縮していく。なお、このＪＰ２ Ｐａｒｔ−Ｉ方式のタイリング技術は、複数の領域に分割し、これら分割領域（タイル）を個別に圧縮していく画像処理技術であり、一般に処理単位を小さくすることにより大規模画像の符号化や並列処理を可能にする技術である。

この発明に係る端末装置において、上記制御部は、それぞれのサイズが異なるよう第１及び第２表示用画像を生成してもよい。また、上記制御部は、第１及び第２表示用画像の少なくともいずれかを、用意された画像データの少なくとも一部（全部でもよい）を拡大又は縮小することにより生成してもよい。

なお、対話中は、上記第１表示エリアの近傍又はその一部と重なるように上記撮像部により取り込まれた対話者自身の自己像が表示されるとともに、第２表示エリアそれぞれの近傍又はその一部と重なるように上記撮像部により取り込まれた対話者自身の自己像が表示されるのが好ましい。対話者が第１及び第２表示エリアのいずれを見ている状態でも自己の対話状況を確認できからである。また、この際、各表示エリアに表示される相手対話者像と自己像とは対面状態で表示されるのが好ましく、そのため、該自己像は撮像部により取り込まれたが画像を左右反転した状態で表示される。

さらに、この発明に係る端末装置において、上記表示システムが、少なくとも１台の表示装置を含む場合、第１表示用画像が表示される第１表示エリアと第２表示用画像が表示される第２表示エリアのそれぞれは、ともに１つのモニタ画面内に設定される。また、上記表示システムは、第１表示用画像が表示される前記第１表示エリアがそのモニタ画面上に設定される第１表示装置と、第２表示用画像が表示される第２表示エリアがそのモニタ画面上に設定される、該第１表示装置とは異なる第２表示装置とを含んでもよい。

上述のような構造を有する端末装置は、撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での擬似的な対面対話を実現する双方向対話型システム（この発明に係る双方向対話型システム）への適用が可能である。すなわち、当該双方向対話型システムは、所定の伝送手段を介して接続された複数の端末装置を含み、それら端末装置の少なくともいずれかの端末装置が上述のような構造を有する。

なお、上述のような画像表示方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、ＤＶＤ、フラッシュメモリ等の記録媒体に格納されていてもよい。

以上のようにこの発明によれば、対話者前方に配置される１又は複数の表示装置のモニタ画面上に複数の画像が同時表示されるため、１台の固定されたカメラでも異なる角度の対話者像の撮像が可能になる。この場合、相手対話者が視線一致領域以外に設定された表示エリアに視線を向けていても、この表示エリアに表示される対話者像の撮像角度の変化、すなわち対話者自身が視線一致領域に設定された表示エリアを見ることがそのまま視線−致の合図となる。その結果、相手対話者がその視線変化に気づいて視線一致領域に設定された表示エリアを見ることにより両対話者の視線を自然に一致させることが可能になる。逆に、視線を合わさないときは、視線不−致の状態で相手対話者の正面顔でない斜め顔を観察しながら対話が続けられる。すなわち、この発明によれば、各対話者自身により、視線の一致状態と不一致状態の選択と状況認知が可能になる。また、この発明によれば、対話者間での対話中、視線一致を可能にするとともに、視線が不一致状態でも相手対話者の表情を観察できる観察モードも実現できる。

以下、この発明に係る画像表示方法、端末装置、双方向対話型システムの各実施形態を、図１〜図７を用いて詳細に説明する。なお、必要に応じて図８も参照する。また、図面の説明において、同一部位、同一部材には同一符号を付して重複する説明を省略する。

この発明に係る画像表示方法は、所定の伝送手段を介して接続された端末装置において実行可能であり、このような端末装置間での対話を実現する、例えば上記特許文献１に記載された双方向対話型システムに適用可能である。

まず、ここでは、当該画像表示方法を実行する端末装置が適用可能な双方向対話型システムについて説明する。なお、この双方向対話型システムは、視線一致した状態での対話を実現するシステムであるが、当該撮像装置を含む端末装置は、対話者間で視線一致できない構成であって単に対話者像の画像データ（動画又は静止画のいずれでもよい）の送受信が可能な双方向対話型システムにも適用可能である。

（双方向対話型システム及び端末装置）
図１は、異なる地点に居る対話者間の視線一致を可能にする双方向対話型システム全体を示す論理構成図である。このシステムは、Ａ地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる対話者３Ｂ（第２対話者）との間で双方向対話を実現するシステムである。このシステムは異なる地点にいる対話者間でも親密な信頼関係を確立し綿密なコミュニケーションを実現するシステムであり、例えばカウンセリング・システムや家庭学習を志向したサービス提供システムとして用いることができる。その場合、少なくとも一方の対話者として、教師、医師、心理学者などのサービス提供者を想定している。したがって、このシステムはこれらサービス提供者がサービスを提供するために必要な情報、及び理想的な対話環境を提供できるよう種々の機能及び構成を備える。

具体的には、Ａ地点において、（ａ）対話者３Ａ（例えばカウンセラ）が座る椅子４Ａ（高さ調節機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ａとが設置され、対話者３Ａはパーティション２２Ａによって隔離されている。一方、Ｂ地点には、（ａ）対話者３Ｂ（例えばカウンセリングを受けるクライアント）が座る椅子４Ｂ（高さ調節機構４０Ｂを有する）と、（ｂ）対話者３Ｂが向かうテーブル２Ｂと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ｂとが設置され、対話者３Ｂはパーティション２２Ｂにより隔離されている。ここで、伝送手段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で画像情報及び音声情報の送受信を可能にするため、光ファイバ伝送路３１（主伝送路）及び衛星通信伝送路３２（バックアップ用伝送路）等を含む。なお、この伝送手段２７は有線、無線のいずれであってもよい。また、伝送手段は、既に敷設された電話回線網等のネットワークを含み、さらに種々のデータベースを備えた電子掲示板システム（BBS: Bulletin Board System）も含む。

Ａ地点において、上述の椅子４Ａは対話者３Ａの位置を規定するために機能する。この椅子４Ａは端末装置２０Ａの表示部（表示装置）２１Ａとの距離を一定に保つために固定されるのが好ましい。しかし、該椅子４Ａが固定されていない場合であっても、テーブル２Ａを対話者３Ａと表示部２１Ａに設置することによりこの椅子４Ａと表示部２１Ａとの距離を一定に保つことが可能になる。なお、相手側の対話者３Ｂ（例えば、カウンセリングを受ける者等）がいるＢ地点の端末装置２０Ｂの構成も同様である。

Ａ地点において、端末装置２０Ａは、(1)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた画像情報に基づいて対話者３Ｂの映像などを表示する、テーブル２Ａの上に配置された、モニタＴＶ１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ（撮像部）５Ａを所定位置に保持するための本体部６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた音声情報に基づいて対話者３Ｂの音声を出力するための音声出力部２３Ａ（スピーカ）と、(4)対話者３Ａの音声を音声情報として集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するための音声入力部２４Ａ（マイク）を備える。さらに、このシステムはカウンセリング・システムとしてより綿密なコミュニケーションを実現するため、(5)対話者３Ａが文字や図形を入力し、入力された文字や図形を表示部２１Ａに表示するとともに、文字図形情報としてＢ地点の端末装置２０Ｂへ向けて伝送するための文字図形入力部２５Ａ（キーボード、ポインティング・デバイス、タッチパネルなどのインターフェース）と、(6)上記各構成要素と伝送手段２７との間に設けられ、信号処理、伝送制御及び映像データの編集作業等を行う映像処理装置２６Ａ（制御部含む）とを備える。なお、Ｂ地点の端末装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様に構成されており、具体的には、表示部２１Ｂ、ＣＣＤカメラ５Ｂと本体部６Ｂからなる撮像装置６００Ｂ、音声出力部２３Ｂ、音声入力部２４Ｂ、文字図形入力部２５Ｂ、及び映像処理装置２６Ｂを備える。

さらに、Ａ地点及びＢ地点の端末装置２０Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂの構成を説明する。なお、説明の都合上、Ａ地点及びＢ地点の各端末装置２０Ａ、２０Ｂに共通する構成要素について言及する場合には、例えば撮像装置６００のように、各地点を区別する文字Ａ、Ｂを省略して説明する。また、特に説明がされていない場合には、原則としてＡ地点の端末装置２０Ａについて説明しているものとして、共通する構成を有するＢ地点の端末装置２０Ｂについては重複する説明は省略する。

この撮像装置６００は、撮像部であるＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持した状態で所定位置に設置するための本体部６を備える。モニタＴＶ１（１Ａ）はテーブル２（２Ａ）の上に載置されており、対話者３（３Ａ）はこのモニタＴＶ１から距離Ｌ（ｍ）離れて置かれた高さ調整機構４０（４０Ａ）を備えた椅子４（４Ａ）に座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上５ｍ以下に設定される。撮影される対話者３及びモニタＴＶ１間には、小型のＣＣＤカメラ５が設けられている。また、このＣＣＤカメラ５はその撮像方向が撮影される対話者３に向けられるよう設置されている。そしてＣＣＤカメラ５で撮像された対話者３の映像は、画像情報として他方の対話者側に伝送される（伝送手段２７を介してＢ地点の端末装置２０Ｂに伝送される）。なお、対話者によっては表示部２１と該対話者間の間隔が僅かにずれる可能性もある。したがって、このような状況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いものを選択するのが好ましい。

次に、ＣＣＤカメラ５の具体的な設置位置を図２を用いて説明する。

まず、撮像装置６００の本体部６は伝送されてきた他方の対話者の映像を表示するための表示部２１上に設置される。なお、スイッチ２１０はモニタＴＶ１の電源をオン／オフする電源スイッチ等を含む。ＣＣＤカメラ５は、伝送されてきた他方の対話者３Ｂの像９が表示されるモニタ画面８の前方の所定位置（表示エリア８０ａと重なる位置）に本体部６によって配置される。なお、このモニタ画面８は４インチ程度であれば十分に利用できる。

具体的には、ＣＣＤカメラ５はモニタ画面８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８の表示エリア８０ａ内に表示された対話者像９の頭部９ａ付近に配置される。円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像９の目の位置の上方ｈ（ｃｍ）の部位に位置している。モニタ画面８上に設けられた表示エリア８０ｂには、対話者の視線を不一致状態に導くための対話者３Ｂの像９が表示される。なお、図２の例では、表示エリア８０ａには相手対話者の表情を観察し易くするために該相手対話者の顔部分が拡大表示されており、表示エリア８０ｂには相手対話者像の上半身が表示されている（表示エリア８０ａと８０ｂに表示される像は逆であってもよい）。

このようにＣＣＤカメラ５は、モニタＴＶ１の画面８の表示エリア８０ａ内に表示された対話者像９の目の位置より上の頭部付近に位置しているため、双方向対話に特別な支障は生じない。例えば、ＣＣＤカメラ５が画面８の表示エリア８０ａ内に表示された対話者像９の目の位置（図中、点線で示す位置）の上方ｈ＝約５（ｃｍ）以下に設けられ、モニタＴＶ１および対話者３間の距離Ｌが約１００（ｃｍ）に設定されているシステム構成の場合、視差角は十分検知限界の視差角３°を下回っている。なお、視線一致時に相手の目（モニタ画面８の表示エリア８０ａ内に表示された他方の対話者３Ｂの像の目）がはっきりと見えれば、その頭部辺りにカメラ５が設けてあっても、相手の目線以下の表情（鼻や口元など）が観察できるので、双方向対話に支障はほとんどないことが確認されている。

さらに、視差角について、図３を用いて説明する。この明細書において、視差角とは、図３に示されたように、モニタ画面８に表示された対話者像９へ向けられた、撮影される対話者３の視線と、ＣＣＤカメラ５へ向けられた、該対話者３の視線とがなす角度θを言う。換言すれば、対話者３の視線に対するＣＣＤカメラ５の設置位置のずれ角を意味している。また、ここでいう視線一致とは、非特許文献１で報告されているように、ＣＣＤカメラ５の設置位置による不自然さの許容限界以下を意味している。定量的には、視差角として、左右方向４．５°以下（対話者像９の目の中心Ａに対し、該像９の両こめかみ側）、真上方向１２°（像中心Ａに対し、像９の頭部９ｂ側）、真下方向８°（像中心Ａに対し、像９の胴体側）以下を視線一致範囲内としている。もちろん、この視差角は小さい方が良く、左右上下方向３°以下が検知限界とされている。したがって、ＣＣＤカメラ５が設置可能な領域は、図４に示された円錐領域である。なお、この円錐領域は、対話者３の目３０とモニタ画面８に表示された対話者像９の中心点Ａ（この実施形態では、対話者像９の両目の中心を該対話者像９の中心点Ａとして定義している）とを結ぶ該対話者３の視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致領域９ｂ、及び、該対話者３の目３０の位置とで規定される。

なお、モニタ画面８上に表示される対話者像９のサイズが小さい場合には、視差角を十分小さくできるので、必ずしも該ＣＣＤカメラ５と対話者像９の頭部が重なっている必要はない。上述のように視線一致の条件は視差角３°の領域内にＣＣＤカメラ５と対話者像９の目が存在することであり、具体的に画面から５０ｃｍ離れた位置で約３ｃｍ程度（図２におけるｈ）である。したがって、この範囲内であればＣＣＤカメラ５と対話者像９の頭部をずらしても視線一致状態は維持される。この対話者像９とＣＣＤカメラ５をずらすには、例えばモニタ画面８上における画像表示位置を調節したり、ＣＣＤカメラ５の支持部を調節してＣＣＤカメラ5自体の位置を変更することにより実現される。

この発明は、視線一致状態に導くための画像と意図的に視線不一致状態に導くための画像とを同時にモニタ画面上に表示しておくことにより（この発明に係る画像表示方法）、一台のＣＣＤカメラにより、相手対話者に自然な対話者像を提示することを可能にする。なお、この発明に係る画像表示方法は、上述のような構造を有する双方向対話型システムに適用される端末装置において実行される。

（端末装置）
図５は、この発明に係る画像表示方法を実行するための端末装置の構成を示す図である。この図５中に示された（ａ）には、１台の表示装置２１のモニタ画面８内に複数の画像（視線一致状態に導くための画像と視線不一致状態に導くための画像）を同時に表示するための構造が示され、（ｂ）には、視線一致状態に導くための画像と視線不一致状態に導くための画像をそれぞれ異なる表示装置２１、２１０のモニタ画面８、８００に表示するための構造が示されている。

まず、（ａ）の端末装置は、モニタ等の表示装置２１（図１に示された双方向対話型システムにおける表示部２１Ａ、２１Ｂに相当）と、映像処理部２６（図１に示された双方向対話型システムにおける映像処理装置２６Ａ、２６Ｂに相当）と、外部記録装置７００と、マウス等のポインティングデバイス９００と、タッチペン９２０と、表示装置２１の前方に位置する対話者を撮像するＣＣＤカメラ５等の撮像部及び撮像ユニット６からなる撮像装置６００、スピーカー９１０とを備える。上記映像処理部２６は、撮像手段に含まれる撮像ユニット６からの画像情報や他の情報メディアの取り込みや伝送手段２７を介して相手側対話者の動画像データ（符号化データ）の送受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、この発明に係る画像表示方法を実行する制御部２６３と、送受信される動画像データを格納しておくための画像データベース２６２（図中、画像Ｄ／Ｂ）と、表示装置２１へ制御部２６３の指示に従って所定のパターンを表示させる描画部２６４と、マウス等のポインティングデバイス９００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）と、相手対話者の音声が出力されるスピーカー９１０を制御するための音源コントローラ９３０とを備える。

なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含み、この発明に係る動画像データの符号化・復号化方法を実行するコンピュータプログラムや相手側対話者の動画像データなどが格納される。

図５中の（ａ）に示された構造を有する端末装置において、この発明に係る画像表示方法が実行されることにより、図２中に示された表示装置２１のモニタ画面８上に複数の画面が同時に表示される。

すなわち、制御部２６３は、受信された動画像データを構成する画像フレームを順次復号化していき、復号化された各画像を画像Ｄ／Ｂ２６２に格納していく。一方、制御部２６３は、一フレーム分の画像データのうち対話者像の顔部分を切り出し、視線一致状態に導くための画像として、切り出された領域の拡大画像（第１表示用画像）を生成するとともに、該一フレームの画像データから、視線不一致状態に導くための画像として、第２表示用画像を生成する。制御部２６３で生成された第１及び第２表示用画像は、それぞれ描画部２６４に送られ、表示装置２１のモニタ画面８上に同時に表示される。具体的には、描画部２６２は、図２に示されたように、ＣＣＤカメラ５が配置された、モニタ画面８内の表示エリア８０ａに第１表示用画像を表示させるとともに、表示エリア８０ｂに第２表示用画像を表示させる。

モニタ画面８内に設定された表示エリア８０ａと表示エリア８０ｂは、対話者が見たときに視線一致状態と視線不一致状態とを自然に切り替えられる程度の距離だけ離れている必要がある。具体的には、これら表示エリア８０ａ、８０ｂは、中心間の距離が１０ｃｍ以上離れていればよい。したがって、対話者が表示エリア８０ａ内に表示された相手対話者像９を見ていれば、ＣＣＤカメラ５により、視線一致可能な状態の対話者像が取り込まれることになる。一方、対話者が表示エリア８０ｂ内に表示された相手対話者像９を見ていれば、ＣＣＤカメラ５により、視線不一致状態の対話者像が取り込まれることになる。このように、当該画像表示方法によれば、対話者前方に配置される１又は複数の表示装置のモニタ画面上に複数の画像が同時表示されるため、１台の固定されたカメラでも異なる角度の対話者像の撮像が可能になる。

なお、（ａ）に示された端末装置の表示システムは、図５中の（ｂ）に示されたように、複数の表示装置２１、２１０に画像を表示させる構成であってもよい。この場合、制御部２６３で生成された視線一致状態に導くための第１表示用画像は描画部２６４ａに送られ、描画部２６４ａが表示装置２１に第１表示用画像を表示させる。一方、制御部２６３で生成された視線不一致状態に導くための第２表示用画像は描画部２６４ｂに送られ、描画部２６４ｂが表示装置２１０に第２表示用画像を表示させる。

次に、双方向対話型システムにおいて実行されるこの発明に係る画像表示方法について、図６を用いて説明する。

なお、Ａ地点の端末装置には、２台の表示装置２１Ａ、２１０Ａが設置され、ており、表示装置２１Ａ上には該表示装置２１Ａの前方に位置する対話者を撮像するためのＣＣＤカメラ５Ａと本体６Ａから構成された撮像装置６００Ａが設置されているものとする。また、表示装置２１Ａのモニタ画面８Ａには、視線一致状態に導くための第１表示用画像として伝送手段２７を介して受信された相手対話者像９Ｂが、該相手対話者の頭部がＣＣＤカメラ５Ａと重なるよう表示され、表示装置２１０Ａのモニタ画面８００Ａには、視線不一致状態に導くための第２表示用画像として相手対話者像９Ｂが表示される。そして、表示装置２１Ａの前方に位置する対話者は、視線不一致状態に導くための画像（モニタ画像８００Ａに表示された相手対話者像９Ｂ）を見ているものとする（３０Ａは対話者の目、３１Ａは対話者の視線）。

一方、Ｂ地点の端末装置にも、２台の表示装置２１Ｂ、２１０Ｂが設置され、ており、表示装置２１Ｂ上には該表示装置２１Ｂの前方に位置する対話者を撮像するためのＣＣＤカメラ５Ｂと本体６Ｂから構成された撮像装置６００Ｂが設置されているものとする。また、表示装置２１Ｂのモニタ画面８Ｂには、視線一致状態に導くための第１表示用画像として伝送手段２７を介して受信された相手対話者像９Ａが、該相手対話者の頭部がＣＣＤカメラ５Ｂと重なるよう表示され、表示装置２１０Ｂのモニタ画面８００Ｂには、視線不一致状態に導くための第２表示用画像として相手対話者像９Ａが表示される。そして、表示装置２１Ｂの前方に位置する対話者は、視線一致状態に導くための画像（モニタ画面８Ｂに表示された対話者像９Ａ）を見ているものとする（３０Ｂは対話者の目、３１Ｂは対話者の視線）。

以上のように構成された端末装置間で、対話者像の送受信がリアルタイムで行われることにより、双方向対話が実現される。なお、Ａ地点の端末装置とＢ地点の端末装置間で伝送手段２７を介して送受信される画像データ（ＣＣＤカメラ５Ａにより取り込まれた対話者像９Ａ、ＣＣＤカメラ５Ｂにより取り込まれた対話者像９Ｂ）は、それぞれＪＰ２ Ｐａｒｔ−Ｉ方式のタイリング技術により圧縮されるのが好ましい。特に、このＪＰ２ Ｐａｒｔ−Ｉ方式のタイリング技術は、第１表示用画像として相手対話者像の顔画像を拡大表示するのに適している。

具体的には、Ｂ地点の端末装置からＡ地点の端末装置に対話者像９Ｂを送信する場合、まず、ＣＣＤカメラ５Ｂにより取り込まれた対話者像９Ｂは、複数のタイル（分割領域）９００ａ〜９００ｆに分割される。そして、これらタイル９００ａ〜９００ｆが個別に符号化され、Ａ地点の端末装置に送信される。Ａ地点の端末装置では、受信された符号化データが復号化され、対話者像９Ｂを構成するタイルが得られる。これら得られたタイルは合成され、モニタ画面８Ａ及びモニタ画面８００Ａそれぞれに得られた対話者像９Ｂが同時に表示される。なお、Ａ地点においてＣＣＤカメラ５Ａにより取り込まれた対話者像９Ａについても、Ａ地位点及びＢ地点の端末装置間で同様に画像処理が行われる。

一方、図２に示されたように、１つのモニタ画面上に視線一致用の第１表示エリア８０ａと、視線不一致用の第２表示エリア８０ｂが設定されている場合、得られたタイルのうち対話者像９Ｂの顔部分が拡大されて第１表示エリア８０ａに表示される一方、得られたタイル全体が合成された対話者９Ｂの上半身が第２表示エリア８０ｂに表示される。

以上の構成により、相手対話者が視線一致領域以外に設定された表示エリアに視線を向けていても、この表示エリアに表示される対話者像の撮像角度の変化が、そのまま視線−致の合図となり、結果的に両対話者の視線を自然に一致させることが可能になる。逆に、視線を合わさないときは、視線不−致の状態で相手対話者の正面顔でない斜め顔を観察しながら対話が続けられる。このように、この発明に係る画像表示方法によれば、視線一致可能な臨場感ある双方向対話ができる一方で、視線伝達の選択ができるため、斜め顔を視野中心に入れて、相手を十分に観察しながら、リラックスして対話も構成でき、現実の対面対話と同様以上の自然な観察型、共感型の対話が実現され得る。

特に、図７に示された実施形態のように、自己像を相手対話者像の周辺に配置することにより、視線一致状態なのかあるいは視線不一致状態なのかが対話者自身によって容易に確認できる。

図７は、この発明に係る画像表示方法の他の実施形態を説明するための図である。この実施形態では、視線一致状態を実現するために用意された表示装置２１（撮像装置６００が設置されている）と視線不一致状態を実現するために用意された表示装置２１０それぞれのモニタ画面８、８００に、相手対話者像９とともにＣＣＤカメラ５で撮像された自己像９０も表示される。このとき、自己像９０は、斜め方向から撮像された相手対話者像９と向き合うよう表示されるのが好ましい。このように１つのモニタ画面内に相手対話者像と自己像が向き合うよう表示されることにより、臨場感が増す。逆に、相手対話者像と自己像とが背を向けるよう表示されると不自然感が増す。この操作は、対話者像の左右を反転（鏡像）させることにより実現可能である。

なお、図６及び図７に示された実施形態では、異なるモニタ画面（１つの連続したモニタ画面でない）の例として、ミラ−リンクディスプレ−連結が示されているが、例えば折れ重なり式の３枚統合ディスプレイであってもよい。この場合、３枚統合ディスプレイの右側モニタ画面には視線一致用カメラが設けられる。例えば、この右側モニタ画面には対話者像の顔部分が中心に表示され、中央モニタ画面には対話者像の上半身が表示され、左側モニタ画面には対話者像の全身（部屋）が表示されるように構成される。このような表示形態は、広角カメラにより対話者を撮影し、画像で対話者を表示するよう周辺トリミングすることにより可能になる。

この発明は、伝送手段を介してリアルタイムの対話を実現する双方向対話型システムへの適用が可能である。

異なる地点間において伝送手段を介して視線一致を可能にする双方向対話型システム（この発明に係る端末装置及び双方向対話型システム）の一構成例を示す図である。 図１に示された撮像装置を示す図であって、視線一致のためのＣＣＤカメラの設置方法を説明するための図である。 視差角を説明するための図である。 ＣＣＤカメラが設置されるべき領域を示す図である。 この発明に係る端末装置の構造を示すブロック図である。 この発明に係る画像表示方法の一実施形態を説明するための図である。 この発明に係る画像表示方法の他の実施形態を説明するための図である。 対話時における視線移動の様子を説明するためのタイムチャートである。

符号の説明

３（３Ａ、３Ｂ）…対話者Ａ、Ｂ
５（５Ａ、５Ｂ）…撮像部（ＣＣＤカメラ）
６（６Ａ、６Ｂ）…撮像ユニット
８（８Ａ、８Ｂ）、８００（８００Ａ、８００Ｂ）…モニタ画面
２０Ａ、２０Ｂ…端末装置
２１（２１Ａ、２１Ｂ）…表示部（表示装置）
２４（２４Ａ、２４Ｂ）…マイク
２６（２６Ａ、２６Ｂ）…映像処理装置
８０ａ、８０ｂ…表示エリア
２６１、２６５…入出力部（Ｉ／Ｏ）
２６２…画像データベース（Ｄ／Ｂ）
２６３…制御部
２６４、２６４ａ、２６４ｂ…描画部
６００（６００Ａ、６００Ｂ）…撮像装置
７００…外部記録装置
９００ａ〜９００ｆ…タイル

Claims (19)

1. モニタ画面上の所望位置に複数の画像を同時に表示させるための画像表示方法であって、
   表示させるべき画像データを用意し、
   前記用意された画像データの少なくとも一部から第１表示用画像を生成するとともに、前記用意された画像データの少なくとも一部から第２表示用画像を生成し、
   前記モニタ画面上における第１表示エリアに前記生成された第１表示用画像を表示するとともに、前記第１表示エリアから所定距離離れた第２表示エリアに前記生成された第２表示用画像を表示する画像表示方法。
2. 前記用意された画像データは、動画像データを構成する一フレームに相当する画像であることを特徴とする請求項１記載の画像表示方法。
3. 前記第１表示用画像のサイズと前記第２表示用画像のサイズとは異なっていることを特徴とする請求項１記載の画像表示方法。
4. 前記第１及び第２表示用画像の少なくともいずれかは、前記用意された画像データの少なくとも一部を拡大又は縮小することにより生成されたことを特徴とする請求項１記載の画像表示方法。
5. 前記第１表示用画像が表示される前記第１表示エリアと前記第２表示用画像が表示される前記第２表示エリアのそれぞれは、１つのモニタ画面内に設定されていることを特徴とする請求項１〜４のいずれか一項記載の画像表示方法。
6. 前記第１表示用画像が表示される前記第１表示エリアは第１表示装置のモニタ画面上に設定される一方、前記第２表示用画像が表示される前記第２表示エリアは前記第１表示装置とは異なる第２表示装置のモニタ画面上に設定されることを特徴とする請求項１〜４のいずれか一項記載の画像表示方法。
7. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での対話を実現する双方向対話型システムに適用可能な端末装置であって、
   モニタ画面上の所望位置に複数の画像が同時に表示される表示システムと、
   前記伝送手段を介して受信された前記相手対話者の画像データの少なくとも一部から第１表示用画像を生成するとともに、前記相手対話者の画像データの少なくとも一部から第２表示用画像を生成する制御部と、
   前記モニタ画面上における第１表示エリアに前記制御部により生成された第１表示用画像を表示させるともに、前記第１表示エリアから所定距離離れた第２表示エリアに前記制御部により生成された第２表示用画像を表示させる描画部を備えた端末装置。
8. 前記第１表示エリアの近傍又はその一部と重なるよう配置された撮像部と、前記撮像部により取り込まれた画像データを前記伝送手段に送出する一方、前記伝送手段を介して送信されてきた画像データを受信するための入出力手段とをさらに備えたことを特徴とする請求項７記載の端末装置。
9. 前記用意された画像データは、動画像データを構成する一フレームに相当する画像であり、
   前記制御部は、ＪＰＥＧ２０００ Ｐａｒｔ−Ｉ方式のタイリング技術により、前記撮像部により取り込まれた画像データを複数の領域に分割し、これら分割領域を個別に圧縮することを特徴とする請求項８記載の端末装置。
10. 前記制御部は、それぞれのサイズが異なるよう前記第１及び第２表示用画像を生成することを特徴とする請求項７〜９のいずれか一項記載の端末装置。
11. 前記制御部は、前記第１及び第２表示用画像の少なくともいずれかを、前記用意された画像データの少なくとも一部を拡大又は縮小することにより生成することを特徴とする請求項７〜９のいずれか一項記載の端末装置。
12. 前記撮像部により取り込まれた前記対話者自身の自己像が前記第１表示エリアの近傍又はその一部に重なるように表示されるとともに、前記撮像部により取り込まれた前記対話者自身の自己像が前記第２表示エリアの近傍又はその一部に重なるように表示されることを特徴とする請求項８記載の端末装置。
13. 前記第１及び第２表示エリアの近傍又はその一部に重なるよう表示される自己像それぞれは、左右が反転した状態で表示されることを特徴とする請求項１２記載の端末装置。
14. 前記表示システムは、少なくとも１台の表示装置を含み、前記第１表示用画像が表示される前記第１表示エリアと前記第２表示用画像が表示される前記第２表示エリアのそれぞれは、ともに１つのモニタ画面内に設定されていることを特徴とする請求項７〜１３のいずれか一項記載の端末装置。
15. 前記表示システムは、前記第１表示用画像が表示される前記第１表示エリアがそのモニタ画面上に設定される第１表示装置と、前記第２表示用画像が表示される前記第２表示エリアがそのモニタ画面上に設定される、前記第１表示装置とは異なる第２表示装置とを含むことを特徴とする請求項７〜１３のいずれか一項記載の端末装置。
16. 撮像された対話者像を所定の伝送手段を介して相手側対話者に互いに提示し合うことにより該対話者と該相手側対話者間での対話を実現する双方向対話型システムであって、少なくとも、請求項７〜１５のいずれか一項記載の端末装置を備えた双方向対話型システム。
17. 前記伝送手段を介して送受信される画像データは、ＪＰＥＧ２０００ Ｐａｒｔ−Ｉ方式のタイリング技術により圧縮されていることを特徴とする請求項１６記載の双方向対話システム。
18. コンピュータにより請求項１〜６のいずれか一項記載の画像表示方法を実行するコンピュータプログラム。
19. コンピュータにより請求項１〜６のいずれか一項記載の画像表示方法を実行するコンピュータプログラムが記録された記録媒体。

Images