JP2003009108A - 画像通信システム、画像通信装置、および画像通信方法 - Google Patents

Abstract

(57)【要約】 【課題】 各ユーザーが、直接対面しているように相手
を常に自然な角度で見ながら対話することができる画像
通信システム、画像通信装置、および画像通信方法の提
供を目的とする。 【解決手段】 画像通信装置１のカメラ１２ａ、１２
ｂ、１２ｃにより撮影したユーザーＵ１の画像に基づい
て、ユーザーＵ１の視点位置を取得する。その取得した
ユーザーＵ１の視点位置と、画像通信装置２のカメラ２
２ａ、２２ｂ、２２ｃにより撮影したユーザーＵ２の画
像とに基づいて、ユーザーＵ１の視点位置に対応したユ
ーザーＵ２の画像を生成し、その画像をユーザーＵ１の
画像通信装置１のディスプレイ１１に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像通信システ
ム、画像通信装置、および画像通信方法に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】従
来、テレビ会議などのように、互いに離れた場所にいる
ユーザーが相手を見ながら対話することができる画像通
信システムが知られている。この画像通信システムは、
一のユーザーを撮影するカメラと、他のユーザーの画像
を表示するディスプレイとがそれぞれ各ユーザーに配置
され、一のユーザーのカメラにより撮影された一のユー
ザーの画像を他のユーザーに相互に送信するとともに、
送信されてきた他のユーザーの画像を相互に受信し、そ
の受信した他のユーザーの画像を一のユーザーのディス
プレイに表示するものである。これにより、各ユーザー
は、自己の画像が相手のディスプレイに表示されるとと
もに、相手の画像が自己のディスプレイに表示され、互
いに相手を見ながら対話することができる。

【０００３】しかしながら、従来の画像通信システムで
は、ユーザーは相手の画像を見るべく視線をディスプレ
イの方向に向けるが、その状態でディスプレイ周辺に配
置されたカメラにより撮影されると、相手のディスプレ
イには視線が合っていない自己の画像が映し出され、各
ユーザーは互いに視線を合わせて対話することができな
いという問題があった。

【０００４】そこで、特開平６−９０４４５号公報に
は、撮影装置によりユーザーの３次元画像を撮影し、そ
のユーザーの頭部画像を垂直軸回りに１０度回転させる
ことにより、ユーザーの視線が正面を向くように補正す
る技術が開示されている。ところが、これでは、ユーザ
ーは常にディスプレイの正面にいなけれならないという
問題がある。

【０００５】また、特開平７−９９６４４号公報には、
ユーザーが、自己の位置に応じて相手の画像の表示角度
をポインティングデバイスで変更する技術が開示されて
いる。ところが、これでは、ユーザーは、自己の位置が
変化するたびに、相手の画像の表示角度をポインティン
グデバイスで変更しなければならず面倒であるという問
題がある。

【０００６】さらに、特開２０００−９０２８８号公報
には、複数の撮影装置によりユーザーを複数方向から撮
影し、それら複数の画像から各ユーザーの相対位置に最
も適合する一の画像を選択して相手のディスプレイに表
示するものが開示されている。ところが、これでは、各
ユーザーの相対位置に適合する一の画像を確実に選択す
るためには多くの撮影装置が必要となり、コストも高く
なるというという問題がある。

【０００７】この発明は、上述の問題に鑑みてなされた
ものであって、各ユーザーが、直接対面しているように
相手を常に自然な角度で見ながら対話することができる
画像通信システム、画像通信装置、および画像通信方法
の提供を目的とする。

【０００８】

【課題を解決するための手段】この発明に係る画像通信
システムは、上記目的を達成するために、一のユーザー
を撮影する撮影手段と、他のユーザーの画像を表示する
表示手段とがそれぞれ各ユーザーに配置され、一のユー
ザーの撮影手段により撮影された一のユーザーの画像を
他のユーザーに相互に送信するとともに、送信されてき
た他のユーザーの画像を相互に受信し、その受信した他
のユーザーの画像を一のユーザーの表示手段に表示する
画像通信システムであって、前記表示手段に対する一の
ユーザーの位置を取得する位置取得手段と、該位置取得
手段により取得された一のユーザーの位置と、他のユー
ザーの撮影手段により撮影された他のユーザーの画像と
に基づいて、一のユーザーの位置に対応した他のユーザ
ーの画像を生成する画像生成手段と、該画像生成手段に
より生成された他のユーザーの画像を、一のユーザーの
表示手段に表示させる表示制御手段と、を備えることを
特徴とする。

【０００９】この画像通信システムによれば、表示手段
に対する一のユーザーの位置に対応して他のユーザーの
画像を生成し、その生成した他のユーザーの画像を一の
ユーザーの表示手段に表示させるので、一のユーザーの
位置が移動するのに伴って他のユーザーの画像が変わっ
ていき、各ユーザーは直接対面しているように相手のユ
ーザーを常に自然な角度で見ながら対話することができ
る。

【００１０】また、前記位置取得手段は、一のユーザー
の視点位置を求めることにより表示手段に対する一のユ
ーザーの位置を取得するのが望ましい。

【００１１】これによれば、表示手段に対する一のユー
ザーの位置をより簡単かつ確実に取得することができ
る。

【００１２】また、前記画像生成手段により生成された
他のユーザーの画像を、前記一のユーザーの視線方向に
対して垂直な仮想画面に表示されるかのように補正する
画像補正手段を備え、前記表示制御手段は、前記画像補
正手段により補正された他のユーザーの画像を一のユー
ザーの表示手段に表示させるのが望ましい。

【００１３】これによれば、一のユーザーは、表示手段
の中心線から比較的ずれた位置にいる場合であっても、
一のユーザーの位置に対応した他のユーザーの画像をよ
り正確に見ることができる。

【００１４】また、この発明に係る画像通信装置は、請
求項１に記載の画像通信システムに用いられる画像通信
装置であって、記表示手段に対する一のユーザーの位置
を取得する位置取得手段、該位置取得手段により取得さ
れた一のユーザーの位置と、他のユーザーの撮影手段に
より撮影された他のユーザーの画像とに基づいて、一の
ユーザーの位置に対応した他のユーザーの画像を生成す
る画像生成手段、該画像生成手段により生成された他の
ユーザーの画像を、一のユーザーの表示手段に表示させ
る表示制御手段、のうち少なくとも一つを備えることを
特徴とする。

【００１５】これによれば、画像通信装置を前記撮影手
段および表示手段と接続することによって、上記画像通
信システムを簡単かつ確実に実現することができる。

【００１６】なお、この画像通信装置は、各ユーザーご
とに設置されるものであってもよいし、ネットワーク上
のコンピュータのように各ユーザーに共通の装置として
設置されるものであってもよい。

【００１７】また、この発明に係る画像通信方法は、一
のユーザーを撮影する撮影手段と、他のユーザーの画像
を表示する表示手段とをそれぞれ各ユーザーに配置し、
一のユーザーの撮影手段により撮影した一のユーザーの
画像を他のユーザーに相互に送信するとともに、送信さ
れてきた他のユーザーの画像を相互に受信し、その受信
した他のユーザーの画像を一のユーザーの表示手段に表
示する画像通信方法であって、前記表示手段に対する一
のユーザーの位置を取得し、その取得した一のユーザー
の位置と、他のユーザーの撮影手段により撮影した他の
ユーザーの画像とに基づいて、一のユーザーの位置に対
応した他のユーザーの画像を生成し、その生成した他の
ユーザーの画像を、一のユーザーの表示手段に表示させ
ることを特徴とする。

【００１８】この画像通信方法によれば、一のユーザー
の位置に対応して他のユーザーの画像を生成し、その生
成した他のユーザーの画像を一のユーザーの表示手段に
表示させるので、一のユーザーの位置が移動するのに伴
って他のユーザーの画像が変わっていき、各ユーザーは
直接対面しているように相手のユーザーを常に自然な角
度で見ながら対話することができる。

【００１９】

【発明の実施の形態】［実施形態１］以下、この発明の
一実施形態を図面に基づいて説明する。

【００２０】図１は、この発明の一実施形態に係る画像
通信システムの構成概略図である。

【００２１】図１において、１、２は画像通信装置、Ｕ
１、Ｕ２は画像通信装置１、２を利用するユーザーで、
各画像通信装置１、２は互いにアンテナ１３、２３によ
り基地局等（図示略）を介して通信可能な状態となされ
ている。

【００２２】この画像通信装置１、２はいずれも、図２
に示すように、ディスプレイ１１、２１と、該ディスプ
レイ１１、２１の右上隅部、左上隅部、および下中央部
に配置された３台のカメラ１２ａ、１２ｂ、１２ｃ（２
２ａ、２２ｂ、２２ｃ）とが装置に一体に設けられてい
る。これにより、ユーザーＵ１、Ｕ２の画像は、画像通
信装置１、２のカメラ１２ａ、１２ｂ、１２ｃ（２２
ａ、２２ｂ、２２ｃ）により撮影されたあと、アンテナ
１３、２３により基地局等を介して相手のユーザーＵ
１、Ｕ２の画像通信装置１、２に送信されて、相手のユ
ーザーＵ１、Ｕ２のディスプレイ１１、１２に表示さ
れ、各ユーザーＵ１、Ｕ２が互いに相手を見ることがで
きるようになっている。

【００２３】また、画像通信装置１、２には、ディスプ
レイ１１、２１の下方両側部にそれぞれスピーカー１
４、２４が設けられるとともに、装置の右下隅部および
左下隅部にそれぞれマイク１５、２５が設けられてい
る。これにより、ユーザーＵ１、Ｕ２の音声は、画像通
信装置１、２のマイク１５、２５に取り込まれたあと、
アンテナ１３、２３により基地局等を介して相手のユー
ザーＵ１、Ｕ２の画像通信装置１、２に送信されて、相
手のユーザーＵ１、Ｕ２のスピーカ１４、２４から出力
され、各ユーザーＵ１、Ｕ２が互いに相手と対話するこ
とができるようになっている。

【００２４】図３は、画像通信装置１の電気的構成を示
すブロック図で、図４は画像通信装置２の電気的構成を
示すブロック図である。なお、この実施形態では、説明
の便宜上、画像通信装置１を画像の受信側とし、かつ画
像通信装置２を画像の送信側として説明するが、いずれ
の画像通信装置１、２も、他方の画像通信装置２、１の
電気的構成をも有し、画像の送信側としても受信側とし
ても機能するものである。また、音声に関する電気的構
成については公知なのでその説明を省略する。

【００２５】前記画像通信装置１は、図３に示すよう
に、上述のようにカメラ１２ａ、１２ｂ、１２ｃとディ
スプレイ１１を前面に備えるほか、内部に人物用３次元
画像生成部１０１、視点位置取得部１０２、３次元画像
記憶部１０３、視点情報送信部１０４、合成画像受信部
１０５、および表示制御部１０６を備えている。

【００２６】前記人物用３次元画像生成部１０１は、各
カメラ１２ａ、１２ｂ、１２ｃにより撮影された画像に
基づいてユーザーＵ１の３次元画像を生成し、そのユー
ザーＵ１の３次元画像を前記視点位置取得部１０２に出
力するものである。この実施形態では、３次元画像の生
成方法は、複数のカメラを用いて同一の点を認識してそ
れを元に３次元画像を組み立てる方法を採用するが、格
子状の光を目標に当てその格子の歪み具合から３次元画
像を得る方法などその他の方法を採用してもよい。

【００２７】前記視点位置取得部１０２は、前記人物用
３次元画像生成部１０１により生成されたユーザーＵ１
の顔の３次元画像の特徴と、３次元画像記憶部１０３に
データベース化されている様々な視点に対応する顔の３
次元画像の特徴とのパターンマッチングを行い、そのパ
ターンマッチングの結果に基づいてユーザーＵ１の視点
位置を取得し、そのユーザーＵ１の視点位置を前記視点
情報送信部１０４に出力するものである。ユーザーＵ１
の視点位置とは、この実施形態では、ディスプレイ１１
の中心部に対するユーザーＵ１の両目間の中央点の座標
位置のことをいい、このユーザーＵ１の視点位置を求め
ることによりディスプレイ１１に対するユーザーＵ１の
位置を取得することができる。

【００２８】なお、この実施形態では、ユーザーＵ１の
視点位置を求めることによりディスプレイに対するユー
ザーＵ１の位置を取得するものとしたが、ユーザーＵ１
の３次元画像の重心位置などその他の位置を求めること
によりユーザーＵ１の位置を取得するものとしてもよ
い。また、ユーザーＵ１の視点位置を求めることにより
ディスプレイ１１に対するユーザーＵ１の位置を取得す
るものとしたが、ユーザーＵ１の視点位置を求めること
なく、発信器等を用いてユーザーＵ１の位置を直接取得
するものとしてもよい。さらに、ディスプレイ１１の中
心部を目標にしたユーザーＵ１の視点位置を求めること
によりディスプレイ１１に対するユーザーＵ１の位置を
取得するものとしたが、ディスプレイ１１の中心部以外
の部分を目標にしたユーザーＵ１の視点位置を求めるこ
とによりディスプレイ１１に対するユーザーＵ１の位置
を取得するものとしてもよいし、あるいは画像通信装置
１の決まった位置に設けられるマイク等のその他の箇所
を目標にしたユーザーＵ１の視点位置を求めることによ
りディスプレイ１１に対するユーザーＵ１を取得するも
のとしてもよい。

【００２９】前記視点情報送信部１０４は、前記視点位
置取得部１０２により取得されたユーザーＵ１の視点位
置を視点情報として画像通信装置２に送信するものであ
る。

【００３０】また、前記合成画像受信部１０５は、画像
通信装置２から送信されてきたユーザーＵ２の合成画像
を受信し、そのユーザーＵ２の合成画像を表示制御部１
０６に出力するものである。

【００３１】前記表示制御部１０６は、前記合成画像受
信部１０５により受信されたユーザーＵ２の合成画像を
ディスプレイ１１に表示させるものである。このディス
プレイ１１に表示されるユーザーＵ２の合成画像につい
ては後に詳述する。

【００３２】一方、前記画像通信装置２は、図４に示す
ように、上述のようにカメラ２２ａ、２２ｂ、２２ｃを
前面に備えるほか、内部に背景用２次元画像生成部２０
１ａ、２０１ｂ、２０１ｃ、背景用２次元画像合成部２
０２、人物用３次元画像生成部２０３、人物用２次元画
像生成部２０４、視点情報受信部２０５、視点位置変換
部２０６、位置関係算出部２０７、画像合成部２０８、
合成画像送信部２０９を備えている。

【００３３】前記背景用２次元画像生成部２０１ａ、２
０１ｂ、２０１ｃは、それぞれカメラ２２ａ、２２ｂ、
２２ｃにより撮影された画像に基づいて背景の２次元画
像を生成し、それを背景用２次元画像合成部２０２に出
力するものである。

【００３４】前記背景用２次元画像合成部２０２は、前
記２次元画像生成部２０１ａ、２０１ｂ、２０１ｃによ
り生成された各背景の２次元画像を一つの背景の２次元
画像に合成し、前記画像合成部２０８に出力するもので
ある。

【００３５】前記人物用３次元画像生成部２０３は、各
カメラ２２ａ、２２ｂ、２２ｃにより撮影された画像に
基づいてユーザーＵ２の３次元画像を生成し、そのユー
ザーＵ２の３次元画像を前記人物用２次元画像生成部２
０４に出力するものである。この３次元画像の生成方法
については、画像通信装置１の人物用３次元画像生成部
１０１と同じ方法でよい。

【００３６】前記視点情報受信部２０５は、画像通信装
置１から送信されてきたユーザーＵ１の視点情報を受信
し、その視点情報の中の視点位置を前記視点位置変換部
２０６に出力するものである。

【００３７】前記視点位置変換部２０６は、前記視点情
報受信部２０５により受信されたユーザーＵ１の視点位
置を、ユーザーＵ２から見た視点位置に座標変換し、そ
の座標変換したユーザーＵ１の視点位置を前記人物用２
次元画像生成部２０４と位置関係算出部２０７に出力す
るものである。即ち、前記視点情報受信部２０５により
受信されたユーザーＵ１の視点位置は、ユーザー１の画
像通信装置１のディスプレイ１１の中心部が基準である
ので、それをユーザーＵ２の視点位置が基準となるよう
に座標変換する。

【００３８】前記位置関係算出部２０７は、前記視点位
置変換部２０６により座標変換されたユーザーＵ１の視
点位置からユーザーＵ２と背景の位置関係を算出し、そ
のユーザーＵ２と背景の位置関係を前記画像合成部２０
８に出力するものである。

【００３９】前記人物用２次元画像生成部２０４は、前
記人物用３次元画像生成部２０３により生成されたユー
ザーＵ２の３次元画像と、前記視点位置変換部２０６に
より座標変換されたユーザーＵ１の視点位置とに基づい
て、ユーザーＵ１の視点位置に対応したユーザーＵ２の
２次元画像を生成し、それを画像合成部２０８に出力す
るものである。即ち、人物用２次元画像生成部２０４
は、図５に示すように、ユーザーＵ１があたかも窓
（Ｍ）越しにユーザーＵ２と直接対面しているようなユ
ーザーＵ２の２次元画像を生成する。

【００４０】前記画像合成部２０８は、前記背景用２次
元画像生成部２０２により合成された背景の２次元画像
と、前記人物用２次元画像生成部２０４により生成され
たユーザーＵ２の２次元画像とを合成し、それを合成画
像送信部２０９に出力するものである。このとき、ユー
ザーＵ２の背景の画像は、前記位置関係算出部２０７に
より算出されたユーザーＵ２と背景の位置関係に基づい
て、図５に示すように、ユーザーＵ１が窓（Ｍ）越しに
ユーザーＵ２の背景を直接見ているような画像に変換さ
れる。なお、ユーザーＵ２と背景を別々に撮影した後で
合成することも考えられる。この場合、ユーザーＵ２に
より影になる部分があるので、複数のカメラで撮影した
画像を合成して補完することもできる。ユーザーＵ２と
背景の区別は例えば距離により行う。

【００４１】しかして、前記画像合成部２０８では、例
えば、ユーザーＵ１とユーザーＵ２とが図６（ａ）に示
すような位置関係にある場合、ユーザーＵ１がユーザー
Ｕ２と背景を窓（Ｍ）越しにやや左側から見た画像Ａが
合成される。また、ユーザーＵ１とユーザーＵ２とが図
６（ｂ）に示すような位置関係にある場合、ユーザーＵ
１がユーザーＵ２と背景を窓（Ｍ）越しに正面から見た
画面Ｂが合成される。さらに、ユーザーＵ１とユーザー
Ｕ２とが図６（ｃ）に示すような位置関係にある場合、
ユーザーＵ１がユーザーＵ２を窓（Ｍ）越しにやや右側
から見た画像Ｃが合成される。

【００４２】前記合成画像送信部２０９は、前記画像合
成部２０８により合成された合成画像を画像通信装置１
に送信するものである。

【００４３】次に上記画像通信システムにおける画像通
信方法について説明する。なお、この実施形態では、画
像通信装置１を画像の受信側とし、かつ画像通信装置２
を画像の送信側として、画像通信装置２において撮影し
たユーザーＵ２と背景の画像を画像通信装置１のディス
プレイ１１に表示する場合について説明する。

【００４４】まず、画像通信装置１において、ユーザー
Ｕ１の視点位置を取得し、そのユーザーＵ１の視点位置
を視点情報として前記画像通信装置２に送信する。

【００４５】即ち、各カメラ１２ａ、１２ｂ、１２ｃに
よりユーザーＵ１を撮影し、前記人物用３次元画像生成
部１０１において、それらカメラ１２ａ、１２ｂ、１２
ｃにより撮影した画像に基づいてユーザーＵ１の３次元
画像を生成し、そのユーザーＵ１の３次元画像を前記視
点位置取得部１０２に出力する。

【００４６】前記視点位置取得部１０２では、前記人物
用３次元画像生成部１０１により生成されたユーザーＵ
１の顔の３次元画像の特徴と、３次元画像記憶部１０３
にデータベース化されている様々な視点に対応する顔の
３次元画像の特徴とのパターンマッチングを行い、その
パターンマッチングの結果に基づいてユーザーＵ１の視
点位置を取得し、そのユーザーＵ１の視点位置を前記視
点情報送信部１０４に出力する。

【００４７】前記視点情報送信部１０４では、前記視点
位置取得部１０２により取得されたユーザーＵ１の視点
位置を視点情報として相手の画像通信装置２に送信す
る。

【００４８】次に、画像通信装置２において、ユーザー
Ｕ２と背景を撮影し、前記通信装置１において取得した
ユーザーＵ１の視点位置に基づいて、ユーザーＵ１の視
点位置に対応したユーザーＵ２と背景の画像を合成し、
そのユーザーＵ２と背景の合成画像を画像通信装置１に
送信する。

【００４９】即ち、まず視点情報受信部２０５におい
て、画像通信装置１から送信されてきたユーザーＵ１の
視点情報を受信し、その視点情報の中の視点位置を前記
視点位置変換部２０６に出力する。

【００５０】前記視点位置変換部２０６では、前記視点
情報受信部２０５により受信されたユーザーＵ１の視点
位置を、ユーザーＵ２から見た視点位置に座標変換し、
その座標変換したユーザーＵ１の視点位置を前記人物用
２次元画像生成部２０４と位置関係算出部２０７に出力
する。

【００５１】前記位置関係算出部２０７では、前記視点
位置変換部２０６により座標変換されたユーザーＵ１の
視点位置からユーザーＵ２と背景の位置関係を算出し、
そのユーザーＵ２と背景の位置関係を前記画像合成部２
０８に出力する。

【００５２】一方、各カメラ２２ａ、２２ｂ、２２ｃに
よりユーザーＵ２と背景を撮影し、前記各背景用２次元
画像生成部２０１ａ、２０１ｂ、２０１ｃにおいて、そ
れぞれカメラ２２ａ、２２ｂ、２２ｃにより撮影した画
像に基づいて背景の２次元画像を生成し、それを背景用
２次元画像合成部２０２に出力する。

【００５３】前記背景用２次元画像合成部２０２では、
前記２次元画像生成部２０１ａ、２０１ｂ、２０１ｃに
より生成した各背景の２次元画像を一つの背景の２次元
画像に合成し、前記画像合成部２０８に出力する。

【００５４】また、前記人物用３次元画像生成部２０３
では、各カメラ２２ａ、２２ｂ、２２ｃにより撮影した
画像に基づいてユーザーＵ２の３次元画像を生成し、そ
のユーザーＵ２の３次元画像を前記人物用２次元画像生
成部２０４に出力する。

【００５５】前記人物用２次元画像生成部２０４では、
前記人物用３次元画像生成部２０３により生成されたユ
ーザーＵ２の３次元画像と、前記視点位置変換部２０６
により座標変換されたユーザーＵ１の視点位置とに基づ
いて、ユーザーＵ１の視点位置に対応したユーザーＵ２
の２次元画像を生成し、それを画像合成部２０８に出力
する。

【００５６】前記画像合成部２０８では、前記背景用２
次元画像生成部２０２により合成された背景の２次元画
像と、前記人物用２次元画像生成部２０４により生成さ
れたユーザーＵ２の２次元画像とを合成し、それを合成
画像送信部２０９に出力する。

【００５７】前記合成画像送信部２０９では、前記画像
合成部２０８により合成された合成画像を画像通信装置
１に送信する。

【００５８】次に、画像通信装置１において、画像通信
装置２において合成したユーザーＵ１の視点位置に対応
したユーザーＵ２と背景の合成画像をディスプレイ１１
に表示させる。

【００５９】即ち、前記合成画像受信部１０５におい
て、画像通信装置２から送信されてきたユーザーＵ２の
合成画像を受信し、そのユーザーＵ２の合成画像を表示
制御部１０６に出力する。

【００６０】表示制御部１０６では、前記合成画像受信
部１０５により受信されたユーザーＵ２の合成画像をデ
ィスプレイ１１に表示させる。

【００６１】このように、ユーザーＵ１の視点位置に対
応してユーザーＵ２の画像を生成し、その生成したユー
ザーＵ２の画像をユーザーＵ１の画像通信装置１のディ
スプレイ１１に表示させるので、ユーザーＵ１び視点位
置が移動するのに伴ってユーザーＵ２の画像が変わって
いき、各ユーザーＵ１、Ｕ２は直接対面しているように
相手のユーザーＵ１、Ｕ２を常に自然な角度で見ながら
対話することができる。

【００６２】例えば、ユーザーＵ１とユーザーＵ２とが
図６（ａ）に示すような位置関係にある場合、ユーザー
Ｕ１のディスプレイ１１にはユーザーＵ２と背景を窓
（Ｍ）越しにやや左側から見た画像Ａが表示されるの
で、ユーザーＵ１は、ユーザーＵ２のやや右側面を見る
ことができるとともに、ユーザーＵ２の背景（丸印）を
ユーザーＵ２の左肩部に見ることができる。また、ユー
ザーＵ１とユーザーＵ２とが図６（ｂ）に示すような位
置関係にある場合、ユーザーＵ１のディスプレイ１１に
はユーザーＵ２と背景を窓（Ｍ）越しに正面から見た画
面Ｂが表示されるので、ユーザーＵは、ユーザーＵ２を
正面から見ることができるとともに、ユーザーＵ２の背
景（丸印および星印）をユーザーＵ２の両側に見ること
ができる。さらに、ユーザーＵ１とユーザーＵ２とが図
６（ｃ）に示すような位置関係にある場合、ユーザーＵ
１のディスプレイ１１にはユーザーＵ２と背景を窓
（Ｍ）越しにやや左側から見た画像Ｃが表示されるの
で、ユーザーＵ１は、ユーザーＵ２のやや左側面を見る
ことができるとともに、ユーザーＵ２の背景（星印）を
ユーザーＵ２の右肩部に見ることができる。、なお、こ
の実施形態では、人物用３次元画像生成部１０１、視点
位置取得部１０２，３次元画像記憶部１０３、および表
示制御部１０６は、いずれも画像通信装置１に設けるも
のとしたが、それらの一部または全部を画像通信装置２
に設けるものとしてもよい。

【００６３】また、背景用２次元画像生成部２０１ａ、
２０１ｂ、２０１ｃ、背景用２次元画像合成部２０２、
人物用３次元画像生成部２０３、人物用２次元画像生成
部２０４、視点情報受信部２０５、視点位置変換部２０
６、位置関係算出部２０７、画像合成部２０８、および
合成画像送信部２０９は、いずれも画像通信装置２に設
けるものとしたが、それらの一部または全部を画像通信
装置１に設けるものとしてもよい。

【００６４】また、画像通信装置１の各部１０１〜１０
６と画像通信装置２の各部２０１〜２０９の一部または
全部を、ネットワーク上に設置された画像通信装置に設
け、そのネットワーク上の画像通信装置においてネット
ワークを介して送信されてきた画像その他の情報に基づ
いて上記各処理を行うものとしてもよい。

【００６５】また、カメラ１２ａ、１２ｂ、１２ｃ（２
２ａ、２２ｂ、２２ｃ）やディスプレイ１１、１２を画
像通信装置１、２に一体に設けるものとしたが、カメラ
やディスプレイと画像通信装置１、２とを別々の構成と
し、カメラやディスプレイを画像通信装置１、２に脱着
可能なものとしてもよい。

【００６６】また、画像通信装置１、２は、据置型のも
のとしたが、携帯電話、携帯型情報端末装置などのよう
な携帯型のものであってもよい。

【００６７】画像通信装置１、２は、アンテナ１３、２
３により通信するものとしたが、有線により通信するも
のとしてもよい。 ［実施形態２］次に、この発明の他の実施形態に係る画
像通信システムについて説明する。

【００６８】この実施形態では、図９に示すように、前
記画像合成部１０８で合成されたユーザーＵ２の合成画
像を、ユーザーＵ１の視線方向に対して垂直な仮想画面
Ｇに表示されるかのように補正し、その補正したユーザ
ーＵ２の合成画像を画像通信装置１のディスプレイ１１
に表示するものである。

【００６９】画像通信装置１は、図７に示すように、合
成画像受信部１０５と表示制御部１０６との間に合成画
像補正部１０７が設けられている。また、画像通信装置
２は、図８に示すように、視点情報受信部２０５と合成
画像送信部２０９との間に仮想画面設定部２１０および
マトリックス算出部２１１が設けられている。なお、画
像通信装置１、２のその他の部分については、図３およ
び図４に示すものと同一なので、同一の符合を付しその
説明を省略する。

【００７０】前記仮想画面設定部２１０は、前記視点情
報受信部２１０に受信されたユーザーＵ１の視点位置に
基づいて、ユーザーＵ１の視線に垂直な仮想画面Ｇを設
定するものである。この仮想画面Ｇは、ユーザーＵ１の
視点位置とディスプレイ１１の中心部を結んだ線分に垂
直で、仮想画面中央が前記線分を通り、かつディスプレ
イ１１の中心部からの距離が設計値により一定となるよ
うな面である。

【００７１】前記マトリックス算出部２１１は、前記仮
想画面設定部２１０により設定された仮想画面Ｇに基づ
いて所定のマトリックスを算出するものである。このマ
トリックスは、前記画像合成部２０８により合成された
ユーザーＵ２の合成画像を、仮想画面Ｇからディスプレ
イ１１に投影したような画像に補正するためのマトリッ
クスである。また、このマトリックスは、前記合成画像
送信部２０９において、前記画像合成部により合成され
たユーザーＵ２の合成画像に関連付けられた状態で、当
該合成画像とともに画像通信装置１に送信される。

【００７２】一方、前記画像補正部１０７は、前記合成
画像受信部１０５に受信されたユーザーＵ２の合成画像
に、そのユーザーＵ２の合成画像に関連付けられた前記
マトリックスを乗じることにより、ユーザーＵ２の合成
画像の補正を行うものである。即ち、補正前のユーザー
Ｕ２の合成画像は、図１０（ａ）に示すような正規の画
像となるが、これをそのまま画像通信装置１のディスプ
レイ１１に表示させると、ディスプレイ１１の中心線か
らずれた位置にいるユーザーＵ１からは幅狭の画像に見
えてしまう。そこで、前記仮想画面Ｇに図１０（ａ）に
示すような正規の画像が表示されるかのようにするため
に、ユーザーＵ２の合成画像に前記マトリックスを乗じ
る補正を行い、ディスプレイ１１に図１０（ｂ）に示す
ような幅広の補正合成画像を表示させる。

【００７３】このように、ユーザーＵ２の合成画像を、
ユーザーＵ１の視線方向に垂直な仮想画面Ｇに表示され
るかのように補正することによって、ユーザーＵ１は、
ディスプレイ１１の中心線から比較的ずれた位置にいる
場合であっても、自己の視点位置に対応したユーザーＵ
２の画像をより正確に見ることができる。

【００７４】なお、この実施形態では、仮想画面設定２
１０とマトリックス算出部２１１を画像通信装置２に設
けるものとし、かつ合成画像補正部１０７を画像通信装
置１に設けるものとしたが、それぞれ他方の画像通信装
置１、２に設けるものとしてもよいし、あるいはネット
ワーク上に設けられた画像通信装置に設けるものとして
もよい。

【００７５】

【発明の効果】請求項１に係る発明によれば、表示手段
に対する一のユーザーの位置に対応して他のユーザーの
画像を生成し、その生成した他のユーザーの画像を一の
ユーザーの表示手段に表示させるので、一のユーザーの
位置が移動するのに伴って他のユーザーの画像が変わっ
ていき、各ユーザーは直接対面しているように相手のユ
ーザーを常に自然な角度で見ながら対話することができ
る。

【００７６】請求項２に係る発明によれば、表示手段に
対する一のユーザーの位置をより簡単かつ確実に取得す
ることができる。

【００７７】請求項３に係る発明によれば、一のユーザ
ーは、表示手段の中心線から比較的ずれた位置にいる場
合であっても、一のユーザーの位置に対応した他のユー
ザーの画像をより正確に見ることができる。

【００７８】請求項４に係る発明によれば、画像通信装
置を前記撮影手段および表示手段と接続することによっ
て、上記画像通信システムを簡単かつ確実に実現するこ
とができる。

【００７９】請求項５に係る発明によれば、一のユーザ
ーの位置に対応して他のユーザーの画像を生成し、その
生成した他のユーザーの画像を一のユーザーの表示手段
に表示させるので、一のユーザーの位置が移動するのに
伴って他のユーザーの画像が変わっていき、各ユーザー
は直接対面しているように相手のユーザーを常に自然な
角度で見ながら対話することができる。

【図面の簡単な説明】

【図１】この発明の一実施形態に係る画像通信システム
の構成概略図である。

【図２】図１の画像通信装置１、２の正面図である。

【図３】図１の画像通信装置１の電気的構成を示すブロ
ック図である。

【図４】図１の画像通信装置２の電気的構成を示すブロ
ック図である。

【図５】各ユーザーの位置関係を示す図である。

【図６】各ユーザーの種々の位置関係を示す図である。

【図７】この発明の他の実施形態に係る画像通信システ
ムの画像通信装置１の電気的構成を示すブロック図であ
る。

【図８】この発明の他の実施形態に係る画像通信システ
ムの画像通信装置２の電気的構成を示すブロック図であ
る。

【図９】各ユーザーの位置関係と仮想画面を示す図であ
る。

【図１０】補正前と補正後の合成画像を示す図である。

【符号の説明】

１、２・・・画像通信装置 １２ａ、１２ｂ、１２ｃ（２２ａ、２２ｂ、２２ｃ）・
・・カメラ １１、２１・・・ディスプレイ １４、２４・・・スピーカ １５、２５・・・マイク

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA12 CA05 DA07 EA18 EA19 EA27 FA02 5B057 BA02 BA13 CA08 CA13 CA16 CB08 CB12 CB16 CD01 CE08 CH14 DA07 DB03 DB09 DC05 DC06 DC33 5C064 AA02 AC02 AC13 AC22 AD02 AD14

Claims (5)

【特許請求の範囲】
1. 【請求項１】 一のユーザーを撮影する撮影手段と、他
   のユーザーの画像を表示する表示手段とがそれぞれ各ユ
   ーザーに配置され、一のユーザーの撮影手段により撮影
   された一のユーザーの画像を他のユーザーに相互に送信
   するとともに、送信されてきた他のユーザーの画像を相
   互に受信し、その受信した他のユーザーの画像を一のユ
   ーザーの表示手段に表示する画像通信システムであっ
   て、 前記表示手段に対する一のユーザーの位置を取得する位
   置取得手段と、 該位置取得手段により取得された一のユーザーの位置
   と、他のユーザーの撮影手段により撮影された他のユー
   ザーの画像とに基づいて、一のユーザーの位置に対応し
   た他のユーザーの画像を生成する画像生成手段と、 該画像生成手段により生成された他のユーザーの画像
   を、一のユーザーの表示手段に表示させる表示制御手段
   と、 を備えること特徴とする画像通信システム。
2. 【請求項２】 前記位置取得手段は、一のユーザーの視
   点位置を求めることにより表示手段に対する一のユーザ
   ーの位置を取得する請求項１に記載の画像通信システ
   ム。
3. 【請求項３】 前記画像生成手段により生成された他の
   ユーザーの画像を、前記一のユーザーの視線方向に対し
   て垂直な仮想画面に表示されるかのように補正する画像
   補正手段を備え、 前記表示制御手段は、前記画像補正手段により補正され
   た他のユーザーの画像を一のユーザーの表示手段に表示
   させる請求項１に記載の画像通信システム。
4. 【請求項４】 請求項１に記載の画像通信システムに用
   いられる画像通信装置であって、 前記表示手段に対する一のユーザーの位置を取得する位
   置取得手段、 該位置取得手段により取得された一のユーザーの位置
   と、他のユーザーの撮影手段により撮影された他のユー
   ザーの画像とに基づいて、一のユーザーの位置に対応し
   た他のユーザーの画像を生成する画像生成手段、 該画像生成手段により生成された他のユーザーの画像
   を、一のユーザーの表示手段に表示させる表示制御手
   段、 のうち少なくとも一つを備えることを特徴とする画像通
   信装置。
5. 【請求項５】 一のユーザーを撮影する撮影手段と、他
   のユーザーの画像を表示する表示手段とをそれぞれ各ユ
   ーザーに配置し、一のユーザーの撮影手段により撮影し
   た一のユーザーの画像を他のユーザーに相互に送信する
   とともに、送信されてきた他のユーザーの画像を相互に
   受信し、その受信した他のユーザーの画像を一のユーザ
   ーの表示手段に表示する画像通信方法であって、 前記表示手段に対する一のユーザーの位置を取得し、 その取得した一のユーザーの位置と、他のユーザーの撮
   影手段により撮影した他のユーザーの画像とに基づい
   て、一のユーザーの位置に対応した他のユーザーの画像
   を生成し、 その生成した他のユーザーの画像を、一のユーザーの表
   示手段に表示させることを特徴とする画像通信方法。