JP2017026893A - 画像表示装置 - Google Patents

Abstract

【課題】ユーザの位置に対応して双方向の円滑なコミュニケーションを可能にすること。
【解決手段】この画像表示装置１は、ユーザＵの両眼の三次元位置を示す位置情報を取得する瞳孔位置検出部４と、ユーザの顔を含むユーザ画像を取得するカラーカメラ３と、外部から取得した表示対象画像を表示する表示用ディスプレイ５と、表示用ディスプレイ５における表示対象画像の表示状態を制御するプロセッサ６とを備え、プロセッサ６は、位置情報を基に両眼の三次元位置と表示用ディスプレイ５との位置関係を計算し、位置関係を基に表示用ディスプレイ５における表示対象画像の表示位置を設定するように制御する。
【選択図】図１

Description

本発明は、双方向のコミュニケーションのために表示対象の画像を表示する画像表示装置に関する。

近年、双方向のコミュニケーションツールとして、パーソナルコンピュータ等を用いて、お互いの顔画像を送受信する通信システムが利用されてきている。 一般に、このような通信システムを利用した場合は、双方のカメラに対する相対的位置に関係なく双方の画像が表示されるため、実際に対面して対話する場合に比較して、円滑なコミュニケーションが困難となる場合がある。このような撮影対象の位置に対応した撮像装置としては、下記特許文献１に記載された装置がある。この装置では、シーン内を移動する移動物体を追跡して撮像するために、複数の撮像手段を用いて複数の視点からシーン内を撮影し、それらの撮像の結果から移動体の状態を予測する。

特開２０００−３４８１８１号公報

しかしながら、上述した従来の装置では、画像データからの特徴点の抽出や、カルマンフィルターを用いた移動体の状態予測等の処理が必要とされるため、処理時間の短縮化が難しく、双方向コミュニケーション用として使用した場合には双方向の円滑なコミュニケーションが困難である。

本発明は、上記課題に鑑みて為されたものであり、ユーザの位置に対応して双方向の円滑なコミュニケーションを可能にする画像表示装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる画像表示装置は、ユーザの両眼の三次元位置を示す位置情報を取得する眼部位置取得部と、ユーザの顔を含むユーザ画像を取得する画像取得部と、外部から取得した表示対象画像を表示する画像表示部と、画像表示部における表示対象画像の表示状態を制御する制御部とを備え、制御部は、位置情報を基に両眼の三次元位置と画像表示部との位置関係を計算し、位置関係を基に画像表示部における表示対象画像の表示位置を設定するように制御する。

上記形態の画像表示装置によれば、ユーザの両眼の三次元位置と画像表示部との位置関係を基に、画像表示部に表示される表示対象画像の表示位置が設定されるので、ユーザの両眼の画像表示部に対する相対的位置に応じて表示対象画像の表示位置が調整される結果、ユーザにとってコミュニケーションの容易な表示画像が得られる。これにより、ユーザの位置に対応して双方向の円滑なコミュニケーションが可能とされる。

ここで、制御部は、位置関係として両眼を結ぶ線の画像表示部を基準とした傾きを計算し、傾きを基に画像表示部上における画像を回転させるように表示対象画像の表示位置を設定することとしてもよい。この場合、ユーザの頭部の傾きに応じたコミュニケーションの容易な表示画像が得られる。

また、制御部は、位置関係として両眼の三次元位置の中点と画像表示部上の規定位置とを結ぶ線に垂直な平面を設定し、画像表示部から中点に向けて投影される平面上の投影画像の歪を無くすように、表示対象画像を構成する画素の画像表示部上における表示位置を設定することとしてもよい。この場合には、ユーザの表示画面に対する顔の向きに応じて、歪の少ないコミュニケーションの容易な表示画像が得られる。

また、制御部は、位置関係として両眼を結ぶ線の平面を基準とした傾きを計算し、画像表示部から中点に向けて投影される平面上の投影画像が傾きに応じて回転されるように、表示対象画像を構成する画素の画像表示部上における表示位置を設定することとしてもよい。この場合、歪が少なくされた表示画像が得られると共にユーザの頭部の傾きに応じたコミュニケーションの容易な表示画像が得られる。

また、制御部は、平面上の位置に対応する画素の表示位置を、中点と当該位置とを結ぶ直線の画像表示部上の交点に設定することとしてもよい。この場合には、ユーザの表示画面に対する顔の向きに応じて、より歪の少ない表示画像が得られる。

また、相手側ユーザの顔を含む表示対象画像と、相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部をさらに備え、制御部は、相手側位置情報を基に相手側ユーザの両眼の位置を結ぶ線の傾きを計算し、表示対象画像から傾きに応じて設定された範囲の画像を切り出し、当該画像を画像表示部に表示させるように制御することとしてもよい。この場合には、コミュニケーションの相手側のユーザの両眼の位置及びそのユーザの顔の傾きに合わせて、画像表示部に表示させる表示対象画像の範囲が設定される。その結果、相手側のユーザの頭部の動きに応じたコミュニケーションの容易な表示画像が得られる。

また、画像取得部によって取得されたユーザ画像と眼部位置取得部によって取得された位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、相手側ユーザの顔を含む表示対象画像と、相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部とを備え、制御部は、相手側ユーザ情報及び画像取得部が配置された位置を基に、画像表示部上に表示される表示対象画像の相手側ユーザの両眼の位置に基づく基準位置と、画像表示部上における画像取得部の位置とが一致するように、表示対象画像の表示位置を設定することとしてもよい。この場合、画像表示部上に表示される相手側ユーザの両眼の位置を基準にした基準位置が、画像表示部上の画像取得部の位置に一致するように設定されるので、双方のユーザの視線を一致させることができる。これにより、一層円滑なコミュニケーションが可能にされる。

また、画像取得部によって取得されたユーザ画像と眼部位置取得部によって取得された位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、相手側ユーザの顔を含む表示対象画像と、相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部と、画像取得部の撮像角度を調整する角度調整機構とを備え、制御部は、相手側ユーザ情報及び画像取得部が配置された位置を基に、画像表示部上に表示される表示対象画像の相手側ユーザの両眼の位置に基づく基準位置と、画像表示部上における画像取得部の位置とが一致するように、画像取得部の撮像角度を調整するように角度調整機構を制御することとしてもよい。この場合は、画像表示部上に表示される相手側ユーザの両眼の位置を基準にした基準位置が、画像表示部上の画像取得部の位置に一致するように撮像角度が設定されるので、双方のユーザの視線を一致させることができる。これにより、一層円滑なコミュニケーションが可能にされる。

また、画像取得部によって取得されたユーザ画像と眼部位置取得部によって取得された位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、相手側ユーザの顔を含む表示対象画像と、相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部と、画像取得部の画像表示部に対する位置を調整する位置調整機構とを備え、制御部は、相手側ユーザ情報及び画像取得部が配置された位置を基に、画像表示部上に表示される表示対象画像の相手側ユーザの両眼の位置に基づく基準位置と、画像表示部上における画像取得部の位置とが一致するように、位置調整機構を制御することとしてもよい。この場合も、画像表示部上に表示される相手側ユーザの両眼の位置を基準にした基準位置が、画像表示部上の画像取得部の位置に一致するように撮像位置が設定されるので、双方のユーザの視線を一致させることができる。これにより、一層円滑なコミュニケーションが可能にされる。

さらに、制御部は、基準位置が、画像取得部の位置とユーザの両眼の三次元位置を基準とした位置とを結ぶ線の画像取得部の表示面の交点に一致するように制御することでもよい。こうすれば、双方のユーザの視線を確実に一致させることができる。これにより、より一層円滑なコミュニケーションが可能にされる。

また、制御部は、位置情報と画像表示部との位置を基に、画像表示部に表示される表示対象画像の全体のサイズを、ユーザの両眼の画像表示部からの距離に対応したサイズになるように設定することでもよい。この場合、ユーザにとって表示対象画像の認識が容易となり、より一層円滑なコミュニケーションが可能にされる。

さらに、相手側ユーザの顔を含む表示対象画像と、相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部をさらに備え、制御部は、相手側ユーザ情報を基に、画像表示部に表示される表示対象画像の全体のサイズを、相手側ユーザの顔の大きさが相手側ユーザの両眼の位置の関係に対応するように設定することでもよい。この場合、ユーザが相手側ユーザの顔を実際の大きさに対応して認識することができ、より一層円滑なコミュニケーションが可能にされる。

本発明によれば、ユーザの位置に対応した双方向の円滑なコミュニケーションが可能となる。

本発明の好適な実施形態に係る画像表示装置の構成を示す側面図である。 図１のカラーカメラ及び瞳孔位置検出光学系の配置を示す平面図である。 図１のプロセッサ６の機能構成を示すブロック図である。 図１の位置制御部６４によって表示対象画像から切り出された画像のイメージを示す図である。 図１の位置制御部６４によって表示対象画像から切り出された画像のイメージを示す図である。 （ａ）は、カラーカメラ３によって取得されたユーザ画像のイメージを示す図、（ｂ）は、（ａ）の状態において図１の位置制御部６４によって表示位置が制御された表示対象画像のイメージを示す図である。 図１の位置制御部６４により設定される投影画像上の表示対象画像の表示位置を示す概念図である。 図１の位置制御部６４による画素の輝度値の対応付け処理のイメージを示す図である。 本発明の変形例における角度調整機構の構成の一例を示す平面図である。 本発明の変形例におけるカラーカメラ３の撮像角度の調整状態を示す側面図である。 本発明の変形例にかかる空中ディスプレイ装置１０５の構成を示す側面図である。 本発明の変形例にかかる角度調整機構の構成を示す斜視図である。 本発明の変形例におけるカラーカメラ３の位置の調整状態を示す平面図である。 本発明の変形例におけるカラーカメラ３の位置の調整状態を示す平面図である。 本発明の変形例における両目の位置関係の計算のイメージを示す図である。

以下、図面を参照しつつ本発明に係る画像表示装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

本発明の好適な一実施形態にかかる画像表示装置１は、ユーザＵの顔を含むユーザ画像を取得するとともに、外部装置から取得した表示対象画像である相手側ユーザの顔を含む画像を表示する装置であり、この画像表示装置１を一組備えることにより、一組のユーザ間で互いのユーザの顔画像を観察しながらコミュニケーションするコミュニケーションシステムを構成する。

図１には、本実施形態にかかる画像表示装置１の概略構成を示している。同図に示すように、画像表示装置１は、ユーザＵの顔に対面するように配置され、ユーザＵの顔の画像を撮影するカラーカメラ（画像取得部）３と、ユーザＵの顔に対面するように配置され、ユーザＵの両眼の瞳孔の空間座標（三次元位置）を実時間計測するための瞳孔位置検出部（眼部位置取得部）４と、外部から取得した相手側ユーザの顔を含む表示対象画像を映す表示用ディスプレイ（画像表示部）５と、カラーカメラ３、瞳孔位置検出部４、及び表示用ディスプレイ５の動作を制御するプロセッサ（制御部）６とを備える。瞳孔位置検出部４の構成としては、本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置を採用できる。この画像表示装置１は、同一の構成の装置（以下、「対向装置」と呼ぶ。）と通信ネットワークを介して接続され、画像表示装置１のカラーカメラ３によって取得されたユーザ画像を対向装置に向けて送信するとともに、対向装置によって取得されたユーザ画像を表示対象画像として受信し、その表示対象画像を表示用ディスプレイ５に表示する。

図２には、カラーカメラ３及び瞳孔位置検出部４の光学系の配置を示している。カラーカメラ３は、ユーザＵの顔を撮像することでユーザ画像をカラー画像として取得する。このカラーカメラ３と、瞳孔位置検出部４を構成する瞳孔座標計測用の瞳孔位置検出用光学系８とは、同図に示すようにユーザＵと相対するように配置されている。この瞳孔位置検出用光学系８は、赤外線光に感度を持つカメラ（瞳孔検出用カメラ）９と近赤外光源１０とを組み合わせた構成を２組有する。また、瞳孔位置検出部４として後述するプロセッサ６の瞳孔位置算出部６３（図３参照）も含まれており、瞳孔位置算出部６３は、ステレオ較正された瞳孔位置検出用光学系８からの出力画像（顔画像）を基に、ユーザＵの右の瞳孔及び左の瞳孔のそれぞれの三次元座標（位置）を算出する。また、ユーザＵの顔を撮影するためのカラーカメラ３は、２組の瞳孔位置検出用光学系８によって挟まれた位置に配置される。ただし、カラーカメラ３の位置は瞳孔位置検出用光学系８によって挟まれた位置には限定されず、瞳孔位置検出用光学系８から離れた位置であってもよい。

なお、カラーカメラ３、及び２つの瞳孔検出用カメラ９は、それらの位置関係が、それぞれが得た画像上にユーザＵの顔全体を含むほぼ同じ範囲が映るように、最初に設定される。これらの瞳孔検出用カメラ９とカラーカメラ３とは、本実施形態における眼部位置取得部と画像取得部としてそれぞれ機能する。

瞳孔検出用カメラ９及びカラーカメラ３は、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（X_W,Y_W,Z_W）と各カメラのカメラ座標系における座標（X_C,Y_C,Z_C）との間には（式１）の関係があると仮定され、

（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。

表示用ディスプレイ５は、液晶ディスプレイ装置等の画像表示用デバイスによって構成された平面状の画像面７ａを有する画像投影装置５ａと、画像投影装置５ａから投影された画像をユーザＵに向けて反射する平面状の反射面７ｂを有するハーフミラー５ｂとを含んで構成される。画像投影装置５ａは、例えば、ユーザＵの前方上方に配置され、ユーザＵの上方から下方に向けて画像を投影する。ハーフミラー５ｂは、画像投影装置５ａの下方であってユーザＵとカラーカメラ３及び瞳孔検出用カメラ９との間に配置され、その反射面７ｂが画像投影装置５ａの画像面７ａに対して斜めに向けられ、画像投影装置５ａから投影された画像をユーザＵに向けて反射させるように構成されている。このように構成されることにより、ユーザＵの顔画像が瞳孔検出用カメラ９及びカラーカメラ３によって取得可能にされるとともに、ユーザＵに向けて表示対象画像が表示可能とされる。また、表示用ディスプレイ５では、プロセッサ６の処理により、ユーザＵによって観察されるハーフミラー５ｂによる反射後の表示対象画像において変形が生じないように、画像投影装置５ａから投影される表示対象画像の縮尺が予め二次元的に調整されている。

次に、プロセッサ６の構成について説明する。プロセッサ６は、物理的には、パーソナルコンピュータ、画像処理デバイス等のデータ処理装置によって構成され、ＣＰＵ等の演算処理回路、ＲＡＭ、ＲＯＭ等のメモリ、ハードディスク装置等のデータ記憶装置、及び通信デバイスを内蔵している。そして、プロセッサ６は、機能的構成要素として、図３に示すように、情報入力部６１、情報出力部６２、瞳孔位置算出部６３、及び位置制御部６４を含む。

プロセッサ６の瞳孔位置算出部６３は、カメラ較正の結果を利用して、２台の瞳孔検出用カメラ９を含む瞳孔位置検出用光学系８で瞳孔の世界座標系における三次元座標（位置情報）を算出した後に、３次元座標をカラーカメラ３に関する（式１）に相当する式に代入することで、カラーカメラ３のカメラ座標系における瞳孔の座標（位置情報）を算出する。瞳孔位置算出部６３は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことでユーザＵのユーザ画像中の瞳孔位置を定める。もしくは、カラーカメラ３のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他の瞳孔検出用カメラ９のカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、２台の瞳孔検出用カメラ９によって求まる瞳孔の３次元座標は、カラーカメラ３のカメラ座標系における座標として求まる。それをカラーカメラ３のユーザ画像中の座標に変換することでユーザＵの瞳孔位置を定める。このとき、瞳孔位置算出部６３は、上述した処理を繰り返すことによりユーザ画像中における右の瞳孔及び左の瞳孔の座標（位置情報）を算出する。また、瞳孔位置算出部６３は、時間的に連続した動画像としてユーザ画像を取得する場合には、ユーザ画像に含まれる時系列の画像フレームに対応して両眼の瞳孔の座標（位置情報）を算出することができる。

情報出力部６２は、カラーカメラ３によって取得されたユーザ画像と、そのユーザ画像に対応して瞳孔位置算出部６３によって算出された両眼の瞳孔の座標の情報とを含むユーザ情報を、通信ネットワークを介して対向装置側に出力する。例えば、情報出力部６２は、ユーザ情報として、ユーザ画像の各画像フレームごと、或いは画像フレーム群ごとに、ユーザ画像の座標上の右眼の瞳孔の二次元座標情報（Ｘ１_Ｒ，Ｙ１_Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ１_Ｌ，Ｙ１_Ｌ）を含めて出力する。このような二次元座標情報は、例えば、ユーザ画像のデータに付加されるメタデータとして生成される。

情報入力部６１は、対向装置から通信ネットワークを介して出力された相手側ユーザ情報が入力される部分である。この相手側ユーザ情報には、対向装置のユーザである相手側ユーザの顔を含む表示対象画像と、表示対象画像の座標上における相手側ユーザの両眼の瞳孔座標の情報（相手側位置情報）とが含まれている。例えば、情報入力部６１は、相手側ユーザ情報として、表示対象画像の各画像フレームごと、或いは画像フレーム群ごとに、表示対象画像の座標上の右眼の瞳孔の二次元座標情報（Ｘ２_Ｒ，Ｙ２_Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ２_Ｌ，Ｙ２_Ｌ）を含めて受け付ける。このような二次元座標情報は、例えば、表示対象画像のデータに付加されるメタデータとして入力される。

位置制御部６４は、表示用ディスプレイ５における対向装置から入力された表示対象画像の表示状態を制御する。すなわち、位置制御部６４は、瞳孔位置算出部６３によって算出されたユーザＵの両眼の瞳孔の位置情報を基に表示用ディスプレイ５における表示対象画像の表示位置を設定する。また、位置制御部６４は、表示対象画像から相手側ユーザに関する相手側位置情報を基に設定された範囲の画像を切り出し、切り出した画像を表示用ディスプレイ５に表示させるように制御する。また、位置制御部６４は、相手側位置情報及びカラーカメラ３の配置位置を基に表示用ディスプレイ５における表示対象画像の表示位置を設定する。

上記の情報入力部６１、情報出力部６２、瞳孔位置算出部６３、及び位置制御部６４は、１つのプロセッサ６内で実現されてもよいし、複数のプロセッサ上に分散されて実現されてもよい。

次に、位置制御部６４における表示対象画像の表示状態の制御機能について詳細に説明する。

位置制御部６４は、情報入力部６１によって受け付けられた表示対象画像を表示用ディスプレイ５に表示させる際に、次のようにして、表示対象画像から画像を切り出して表示させる。図４は、位置制御部６４によって表示対象画像から切り出された画像のイメージを示す図である。このように、位置制御部６４は、表示対象画像を構成する画像フレームＦ_１において、相手側位置情報によって特定される右眼の瞳孔の二次元座標情報（Ｘ２_Ｒ，Ｙ２_Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ２_Ｌ，Ｙ２_Ｌ）を基にして、右眼の瞳孔と左眼の瞳孔との間の中点座標Ｍ_１を算出する。そして、位置制御部６４は、中点座標Ｍ_１を基準位置とした所定の座標幅の範囲の画像Ｇ_１を切り出して、切り出した画像Ｇ_１を表示用ディスプレイ５に表示させるように出力する。例えば、位置制御部６４は、中点座標Ｍ_１が画像Ｇ_１の範囲の横方向の中央に位置し、中点座標Ｍ_１が画像Ｇ_１の範囲の縦方向における所定比率の位置（より具体的には、縦方向を２対３に分割する位置）に位置するように、画像Ｇ_１の範囲を設定する。ここで、画像Ｇ_１の範囲は、予め画像表示装置１のユーザによって設定可能にされていてもよい。また、位置制御部６４は、画像Ｇ_１の範囲の幅を、右眼の瞳孔の二次元座標と左眼の瞳孔の二次元座標とから計算される瞳孔間距離を基準にして設定してもよい。例えば、表示対象画像上の座標における瞳孔間距離が分かれば、カメラのピンホールモデルから実寸の瞳孔間距離が分かるので、位置制御部６４は、相手側ユーザの顔全体が含まれるように画像Ｇ_１の範囲を設定することができる。その結果、相手側ユーザの対向装置のカラーカメラに対する距離が変化しても、表示用ディスプレイ５にいつも同じ大きさの顔画像を映し出すことができる。これにより、相手側ユーザの顔が対向装置から遠くなった場合は、本来は顔画像が小さくなって映し出されるが、画像を切り出す処理を施すことで顔画像が拡大される結果、顔の表情を観察しやすくなる。なお、位置制御部６４は、処理対象画像から画像を切り出した後、表示用ディスプレイ５の画像面７ａの縦横の画素数に合わせるために、画像の拡大・縮小処理、及び画素の補間処理を行った後に表示用ディスプレイ５に出力してもよい。このような補間処理としては、バイリニア補間法等を採用することができる。

また、位置制御部６４は、表示対象画像から画像を切り出す際には、表示対象画像に映る相手側ユーザの顔の傾きに対応して切り出す範囲を設定することもできる。図５は、位置制御部６４によって表示対象画像から切り出された画像のイメージを示す図である。位置制御部６４は、表示対象画像を構成する画像フレームＦ_１において、相手側位置情報によって特定される右眼の瞳孔の二次元座標情報（Ｘ２_Ｒ，Ｙ２_Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ２_Ｌ，Ｙ２_Ｌ）を基にして、右眼の瞳孔位置と左眼の瞳孔位置とを結ぶ直線Ｌ_１の横方向の座標軸であるＸ２軸からの傾きα_１を算出する。そして、位置制御部６４は、その傾きα１に対応してＸ２軸に対して傾いた範囲の画像Ｇ_１を切り出して、切り出した画像Ｇ_１を表示用ディスプレイ５に表示させるように出力する。これにより、相手側ユーザの対向装置に対する顔の傾きに対応して、顔全体の画像をユーザＵに対して正対した状態で表示用ディスプレイ５に表示させることができる。

位置制御部６４は、瞳孔位置算出部６３によって取得された両眼の瞳孔の三次元座標と表示用ディスプレイ５との位置関係を計算し、その位置関係を基に表示用ディスプレイ５における表示対象画像の表示位置を設定する。具体的には、位置制御部６４は、位置関係として、ユーザＵの両眼の瞳孔を結ぶ直線Ｌ_２と、表示用ディスプレイ５の反射面７ｂから投影される画像の横方向の座標軸であるＸ１軸からの縦方向の傾きα_２を計算する。さらに、位置制御部６４は、表示対象画像を表示用ディスプレイ５によって投影させる際に、投影される画像を、ユーザＵの顔の傾きに対応して傾きα_２で回転させるように投影位置を制御する。図６（ａ）には、カラーカメラ３によって取得されたユーザ画像のイメージを示し、図６（ｂ）には、図６（ａ）の状態において位置制御部６４によって表示位置が制御された表示対象画像のイメージを示す。このように、ユーザＵの両眼を結ぶ線の表示用ディスプレイ５の投影画像を基準とした傾きα_２に応じて、表示対象画像が回転される。これにより、ユーザＵが相手側ユーザの顔画像を常に正対した画像として観察することができる。

また、位置制御部６４は、次のように表示対象画像の表示位置を制御することによって、ユーザＵの顔の空間位置に合わせた歪のない画像表示を可能とする。位置制御部６４が上述のように切り出した画像をそのまま表示用ディスプレイ５に表示させた場合には、表示用ディスプレイ５の正面から外れた位置のユーザＵにとっては、切り出した範囲の画像がそのままの縮尺で投影される。従って、ユーザＵにとっては画像が（例えば、台形状に）歪んで見えることになる。このような場合、相手の顔の縦横比が変わって見えることになり、ユーザＵがコミュニケーションの際に不自然な印象を受ける場合がある。

そこで、位置制御部６４は、表示用ディスプレイ５によって反射面７ｂから投影される画像を予め変形させることによりユーザＵにおいて観察される投影画像の歪を無くすように制御する。図７を参照しながら、詳細に説明する。図７は、位置制御部６４により設定される投影画像上の表示対象画像の表示位置を示す概念図である。まず、位置制御部６４は、ユーザＵの両眼の瞳孔の三次元座標Ｐ_Ｒ，Ｐ_Ｌを基に、瞳孔間中点Ｍ_２と反射面７ｂから投影される投影画像の画像面Ｇ_２の中心Ｏ’を結ぶ直線Ｍ_２Ｏ’を設定する。さらに、位置制御部６４は、直線Ｍ_２Ｏ’に垂直な瞳孔間中点Ｍ_２からの距離が所定値Ｌの平面Ｓ１を設定し、直線Ｍ_２Ｏ’とその平面Ｓ１との交点Ｏを特定する。また、位置制御部６４は、平面Ｓ１上に頂点Ａ，Ｂ，Ｃ，Ｄを有し、交点Ｏを中心とする所定の大きさの長方形の範囲ＡＢＣＤを決定する。次に、位置制御部６４は、両眼の瞳孔の三次元座標Ｐ_Ｒ，Ｐ_Ｌから平面Ｓ１上に垂線をおろしそれぞれの垂線と平面Ｓ１との交点Ｅ，Ｆの位置を算出する。さらに、位置制御部６４は、線分ＥＦの傾きを両眼を結ぶ線の平面Ｓ１を基準とした傾きとして計算し、線分ＡＤ及び線分ＢＣがその傾きと等しくなるように（線分ＥＦと平行になるように）範囲ＡＢＣＤを回転させることによりその範囲の位置を計算する。そして、位置制御部６４は、瞳孔間中点Ｍ_２と点Ａ，Ｂ，Ｃ，Ｄのそれぞれとを結ぶ線と、投影画像の画像面Ｇ_２との交点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標を計算する。この画像面Ｇ_２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に投影される画像が長方形ＡＢＣＤを通過してユーザＵに向けて投影されることになる。そこで、位置制御部６４は、長方形ＡＢＣＤの範囲に歪の無い顔画像を投影するために、切り出した画像（図４及び図５の長方形Ａ”Ｂ”Ｃ”Ｄ”の範囲の画像）を変形させて画像面Ｇ_２上に投影させるように、その画像を構成する画素の画像面Ｇ_２上での表示位置を設定する。これにより、長方形ＡＢＣＤの範囲に投影される顔画像の位置がユーザＵの両眼を結ぶ線の傾きに応じて回転される。

上記の位置制御部６４による投影画像の変形方法についてさらに詳細に説明する。位置制御部６４は、設定した長方形ＡＢＣＤの範囲を水平方向にＭ等分、垂直方向にＮ等分（Ｍ，Ｎは規定の整数）することにより、Ｍ×Ｎ個の正方形領域に分割し、平面Ｓ１に沿った二次元座標系ｘ３−ｙ３におけるそれぞれの正方形領域の位置を示す座標（ｘｉ，ｙｉ）を算出する。さらに、位置制御部６４は、長方形ＡＢＣＤの範囲内の全ての正方形領域の座標（ｘｉ，ｙｉ）のそれぞれと瞳孔間中点Ｍ_２とを通る複数の線を特定し、複数の直線のそれぞれと投影画像の画像面Ｇ_２との交点の座標（Ｘｉ，Ｙｉ）を、画像面Ｇ_２に沿った二次元座標系Ｘ１−Ｙ１上で求める。これにより、長方形ＡＢＣＤ内の各点の座標が、画像面Ｇ_２上のどの位置に対応しているかがわかる。また、位置制御部６４は、長方形ＡＢＣＤの形状は表示対象画像から切り抜いた長方形Ａ”Ｂ”Ｃ”Ｄ”と相似形をなしているので、長方形ＡＢＣＤの内の各座標（ｘｉ，ｙｉ）から長方形Ａ”Ｂ”Ｃ”Ｄ”内の対応する座標（ｘｉ”，ｙｉ”）を求めることができる（図８）。そして、表示対象画像から切り抜いた画像の輝度値を参照して、バイリニア補間法などを用いて座標（ｘｉ”，ｙｉ”）に対応する輝度値を算出し、その輝度値を長方形ＡＢＣＤの内の各座標（ｘｉ，ｙｉ）の輝度値とする。さらに、位置制御部６４は、設定した各座標（ｘｉ，ｙｉ）の輝度値を画像面Ｇ_２上の対応する座標（Ｘｉ，Ｙｉ）の輝度値とし、各座標（Ｘｉ，Ｙｉ）の輝度値を用いて長方形Ａ’Ｂ’Ｃ’Ｄ’内の全ての画素の画素値を計算し、計算した画素値を基に画像面Ｇ_２上の長方形Ａ’Ｂ’Ｃ’Ｄ’の範囲内に画像を投影するように制御する。このとき、画像面Ｇ_２に投影される画像もＸ１軸方向及びＹ１軸方向に均等に並んだ画素で構成されているので、位置制御部６４は、各座標（Ｘｉ，Ｙｉ）の輝度値を参照しながらバイリニア補間法などを用いて画素を補間することにより、画像面Ｇ_２に投影する画像、すなわち、画像投影装置５ａの画像面７ａに表示させる画像を生成する。このような投影画像の変形処理により、ユーザＵが斜めから画像面Ｇ_２を観察しても、ユーザＵの瞳孔間中点Ｍ_２に向けて投影される投影画像の歪を無くすように制御されることにより、ユーザＵが歪の無い画像を観察することができる。

ここで、上記の位置制御部６４による投影画像の変形処理においては、長方形ＡＢＣＤの辺ＡＤ，ＡＢの長さ及び平面Ｓ１の瞳孔間中点Ｍ_２からの距離Ｌは一定に設定されている。従って、投影画像の変形処理によって、ユーザＵの瞳孔間中点Ｍ_２と表示用ディスプレイ５の画像面Ｇ_２との距離を基に、画像面Ｇ_２に表示される画像のサイズがその距離に対応するサイズとなるように設定されている。具体的には、ユーザＵが表示用ディスプレイ５の画像面Ｇ_２に近づくと、画像面Ｇ_２に表示される画像のサイズがその分小さくなることによって、ユーザＵから見た画像の視野角、つまり、画像面Ｇ_２に表示される画像の全体のサイズは不変とされる。すなわち、ユーザＵが頭部を前後に動かした場合も相手側ユーザまでの距離は変わらないように見えることになる。

その一方で、ユーザＵに相手側ユーザが同じ位置（例えば画像面Ｇ_２上）にいるように見せるためには、位置制御部６４が、ユーザＵが画像面Ｇ_２に近づいた場合に画像面Ｇ_２に投影される画像が小さくならないように設定してもよい。例えば、瞳孔間中点Ｍ_２から点Ｏ’までの距離｜Ｍ_２Ｏ’｜に比例するように距離Ｌを変化させてもよい。また、位置制御部６４が、長方形Ａ’Ｂ’Ｃ’Ｄ’の範囲が表示用ディスプレイ５の投影可能な画像面Ｇ_２からはみ出す場合もありうるが、この場合は画像面Ｇ_２の領域内のみの画像を生成すればよい。また、位置制御部６４は、ユーザＵの効き目が予め判明している場合には、瞳孔間中点Ｍ_２の代わりに効き目の瞳孔位置を画像の表示位置の計算に用いてもよい。この際、瞬きなどで効き目の瞳孔が検出できなくなった場合には、画像の投影を停止してもよいし、直前に検出されていた瞳孔間中点Ｍ_２もしくは効き目の瞳孔位置を用いて画像の表示位置の計算を行ってもよい。

上述した位置制御部６４による表示対象画像からの画像の切り出し処理、及び表示対象画像の表示位置を設定処理では、図４、図５、および図７に示したように、表示用ディスプレイ５に映し出す表示対象画像の中心がユーザＵから見て相手側ユーザの両眼を結ぶラインよりも下側に位置していた。このような状態では、カラーカメラ３が画像面Ｇ_２の中央の点Ｏ’の真後ろに配置されている場合には、ユーザＵが相手側ユーザの顔画像の両眼のレベルを見れば、カラーカメラ３によって取得されたユーザ画像においてはユーザＵがすこし上を見ているような状態で写ることになる。また、カラーカメラ３は実際は画像面Ｇ_２上ではなく画像面Ｇ_２よりもユーザＵから見て後ろに配置されているため、画像面Ｇ_２の中央の点Ｏ’に相手側ユーザの瞳孔間中点が表示されていたとしても、カラーカメラ３によって取得されたユーザ画像において相手側ユーザは自分に視点が向いていないと感じる。位置制御部６４は、ユーザＵと相手側ユーザとの間で視線が一致した状態のコミュニケーションを実現するために、次のようにして、表示用ディスプレイ５における表示対象画像の表示位置を設定する。すなわち、位置制御部６４は、取得された相手側ユーザ情報と表示用ディスプレイ５が配置された位置の情報を基に、表示用ディスプレイ５の画像面Ｇ_２上に表示される表示対象画像における相手側ユーザの両眼の瞳孔座標に基づく基準位置と、画像面Ｇ_２上におけるカラーカメラ３の位置とが一致するように、表示対象画像の表示位置を設定する。詳細には、位置制御部６４は、カラーカメラ３の配置された座標が既知であり、ユーザＵの両眼の瞳孔の三次元座標を基準とした瞳孔間中点Ｍ_２の三次元座標が計算できるので、カラーカメラ３のレンズの中心位置と瞳孔間中点Ｍ_２の位置とを結ぶ線と画像面Ｇ_２（表示用ディスプレイ５の表示面）との交点Ｏ_Ｃ’を、カラーカメラ３の画像面Ｇ_２上の位置として算出する。そして、位置制御部６４は、表示対象画像から切り出した画像の基準位置が交点Ｏ_Ｃ’に一致するように画像の表示位置を制御する。例えば、画像の基準位置としては、図４に示す四角形Ａ”Ｂ”Ｃ”Ｄ”の画像中の瞳孔間中点Ｍ_１の位置に設定される。このような処理により、ユーザＵと相手側ユーザとの間でお互いの顔画像を観察した際にお互いの視線が一致しやすくなる。

以上説明した画像表示装置１によれば、ユーザＵの両眼の瞳孔の三次元位置と表示用ディスプレイ５との位置関係を基に、表示用ディスプレイ５に表示される表示対象画像の表示位置が設定されるので、ユーザＵの両眼の表示用ディスプレイ５に対する相対的位置に応じて表示対象画像の表示位置が調整される結果、ユーザＵにとってコミュニケーションの容易な表示画像が得られる。これにより、ユーザＵの位置に対応して双方向の円滑なコミュニケーションが可能とされる。特に、上記位置関係として両眼の瞳孔を結ぶ線の表示用ディスプレイ５を基準とした傾きを計算し、その傾きを基に表示用ディスプレイ５の投影画像を回転させるように表示対象画像の表示位置が設定される。これにより、ユーザＵの頭部の傾きに応じたコミュニケーションの容易な表示画像が得られる。また、位置関係として両眼の三次元位置の中点と画像表示部上の規定位置とを結ぶ線に垂直な平面を設定し、表示用ディスプレイ５からユーザＵに向けて投影される投影画像の歪を無くすように表示対象画像を構成する画素の表示用ディスプレイ５上における表示位置が設定される。この場合は、ユーザＵの表示用ディスプレイ５の画像面に対する顔の向きに応じて、歪の少ないコミュニケーションの容易な表示画像が得られる。

さらに、本実施形態によれば、相手側位置情報を基に相手側ユーザの両眼の瞳孔位置を結ぶ線の傾きを計算し、表示対象画像からその傾きに応じて設定された範囲の画像を切り出し、当該画像を表示用ディスプレイ５に表示させるように制御される。こうすることで、コミュニケーションの相手側のユーザの両眼の位置及びそのユーザの顔の傾きに合わせて、表示用ディスプレイ５に表示させる表示対象画像の範囲が設定されるので、相手側のユーザの頭部の動きに応じたコミュニケーションの容易な表示画像が得られる。

また、相手側ユーザ情報及びカラーカメラ３が配置された位置の情報を基に、表示用ディスプレイ５の画像面上に表示される表示対象画像の基準位置と、その画像面上におけるカラーカメラ３の位置とが一致するように、表示対象画像の表示位置が設定される。この場合、双方のユーザの視線を一致させることができ、一層円滑なコミュニケーションが可能にされる。

本発明は、上述した実施形態に限定されるものではない。

例えば、上記実施形態においては、双方のユーザの視線を一致させるための構成として、カラーカメラ３の撮像角度を調整する角度調整機構を備える構成を採用してもよい。このような機構を備えることにより、対向装置でユーザＵの顔画像を表示する際に画像の切り出し位置を調整する処理が不要となる。図９には、角度調整機構の構成の一例を示している。図９に示す角度調整機構１１は、カラーカメラ３と一組の瞳孔位置検出用光学系８とを、ユーザＵに対する撮像光軸を互いに直交する２方向（例えば、水平方向と垂直方向）に沿って回転可能に一体的に支持する。この角度調整機構１１の回転角度は、プロセッサ６によって電子的に制御可能にされ、角度調整機構１１としては、例えばステッピングモータ等を備える駆動装置が採用される。このような構成において、プロセッサ６は、カラーカメラ３によって取得されるユーザ画像においてユーザＵの瞳孔間中点が所定位置（画像の中央もしくは中央の少し上）に位置するように角度調整機構１１の回転角度を制御する。すなわち、プロセッサ６は、瞳孔位置算出部６３によって算出されたユーザＵの両眼の瞳孔の三次元座標を用いて角度調整機構１１の回転状態を制御する。このとき、カラーカメラ３と一組の瞳孔位置検出用光学系８とはステレオ較正が為されているので、算出された両眼の瞳孔の三次元座標をカラーカメラ３の画像上の座標に変換し、それらの座標から求まる瞳孔間中点の画像上の所定位置からのずれ量を計算し、フィードバック制御により角度調整機構１１の回転を制御する。また、角度調整機構１１の回転中心をカラーカメラ３の中心位置ＯＰ（カラーカメラ３をピンホールモデルで考えた場合のピンホール位置）に設定してもよい。この場合、プロセッサ６は、カラーカメラ３の中心位置ＯＰから見た瞳孔間中点Ｍの方向を示す角度と、カラーカメラ３の画像で瞳孔間中点が映るべき座標のカラーカメラ３の中心位置ＯＰから見た角度とを、ピンホールモデルを用いて計算し、両者の角度の差が水平方向及び垂直方向において共に零に近づくように、角度調整機構１１の２方向の回転角度α，βを制御してもよい。また、角度調整機構１１は、カラーカメラ３をその光軸周りに回転角度γで回転可能に支持するように構成されていてもよい。この場合、プロセッサ６は、両眼の三次元座標を画像上の座標に変換し、フィードバック制御により両眼の位置を結んだ線が画像上で水平になるように（ユーザＵが正対した画像となるように）角度調整機構の回転を制御してもよい。

このような変形例によれば、常に相手側ユーザに表示される顔画像においてユーザＵの顔が画面中央に映ることになる。つまり、ユーザＵの頭部が動いても、対向装置の表示用ディスプレイにおいて画面の中央にユーザＵの瞳孔間中点が映ることになる。これにより、相手の眼を見ながらのコミュニケーションが容易になる。ここで、ユーザ画像においてユーザＵの瞳孔間中点が位置する所定位置の座標は、画像表示装置１のユーザによって設定可能にされていてもよい。

また、図９に示した角度調整機構１１を備える変形例においては、表示用ディスプレイ５の画像面上に表示される表示対象画像の基準位置と、表示用ディスプレイ５の画像面上のカラーカメラ３の位置とが一致するように、カラーカメラ３の撮像角度が調整されてもよい。すなわち、プロセッサ６は、カラーカメラ３の中心位置ＯＰとユーザＵの瞳孔間中点Ｍ_２の位置とを結ぶ線と画像面Ｇ_２（表示用ディスプレイ５の表示面）との交点Ｏ_Ｃ’を、カラーカメラ３の画像面Ｇ_２上の位置として算出し、その位置が表示用ディスプレイ５上に表示される画像の基準位置と一致するように、角度調整機構１１の回転角度を制御する。例えば、画像の基準位置としては、図４に示す四角形Ａ”Ｂ”Ｃ”Ｄ”の画像中の瞳孔間中点Ｍ_１の位置に設定される（図１０）。このような変形例によれば、表示用ディスプレイ５上に表示される相手側ユーザの両眼の位置を基準にした基準位置が、表示用ディスプレイ５の画像面上のカラーカメラ３の位置に一致するように撮像角度が設定されるので、双方のユーザの視線を一致させることができる。これにより、一層円滑なコミュニケーションが可能にされる。

また、本発明は、図１に示したような構成の表示用ディスプレイ５を備える実施形態には限定されない。例えば、本発明の変形例としては、表示用ディスプレイ５の代わりに図１１に示すような空中ディスプレイ装置１０５を画像表示部として備える構成であってもよい。この空中ディスプレイ装置１０５としては、例えば、特許第5047403号、特許第5437436号、特許第5036898号、特許第5085631号等に開示された光学結像装置を内蔵する構成を採用できる。光学結像装置は透明平板の内部に平面光反射部が並べて配置された構造を有する。空中ディスプレイ装置１０５は、液晶ディスプレイ装置等の画像投影装置で構成された画像面１０６と、画像面１０６に対して斜めに向くように配置された光学結像装置１０７とを内蔵する。このような構成によれば、画像面１０６から出射した光は、いったん放射状に広がって光学結像装置１０７内を通過することによって、光学結像装置１０７を基準にして画像面１０６と対称な位置の空中の結像面１０８において集光する。このような空中ディスプレイ装置１０５を、ユーザＵに対して結像面１０８が向かい合うように配置することにより、ユーザＵが結像面１０８に結像した画像を空中に浮かんだ像として観察することができる。

図１１に示す変形例においては、カラーカメラ３は、ユーザＵの顔を正面から撮像するために、空中ディスプレイ装置１０５の内部のユーザから見た光学結像装置１０７の前面に配置される。このように構成することによって、カラーカメラ３の前面には障害物が無くなるために良質なユーザ画像を得ることができる。このとき、カラーカメラ３は光学結像装置１０７の一部を遮ることになるが、ユーザＵによって観察される画像にはほとんど影響はない。つまり、画像面１０６の各画素から出射する光はある程度広範囲の方向に広がるため、光学結像装置１０７の広範囲の位置で反射し、その後結像面１０８上の一点に集光する。従って、画像面１０６上の一点からの多数の光線のうちの一部の光線が遮られたとしても、残りの多くの光線が結像面１０８で結像するため、結像面１０８での光量が少し減少するくらいである。その結果、結像面１０８に結像する画像の質を落とすことはない。ここで、結像面１０８は、画像面１０６の全体に対応する範囲を有するが、画像面１０６と結像面１０８とは同じサイズでなくてもよく、例えば１対４のサイズであってもよく、画像面１０６と結像面１０８とのなす角は９０度には限定されず、他の角度（６０度など）に設定されてもよい。

さらに、図１１に示す変形例においては、カラーカメラ３の撮像角度を調整する角度調整機構が組み合わされてもよい。図１２には、空中ディスプレイ装置１０５に備えられる角度調整機構１１１の構成の一例を示している。このように、角度調整機構１１１は、空中ディスプレイ装置１０５の光学結像装置１０７の前面側にその表面全体を縦横に横切るように配置される十字状の支持部材１１１ａによって構成され、その支持部材１１１ａの中央においてカラーカメラ３と一組の瞳孔位置検出用光学系８とが回転可能に支持される。この支持部材１１１ａは、光学結像装置１０７を縦あるいは横のみに横切る部材のみで構成されていてもよい。このような構造の角度調整機構１１１を用いることで、上下方向に画像面１０６からの光線の光路を曲げる作用と左右に曲げる作用とを有する光学結像装置１０７に対して、縦方向および横方向のどちらにおいても画像面１０６からの光線の光路を一部しか遮らないようにできる。

また、図１２に示す変形例においては、カラーカメラ３の画像表示部上の位置を調整する位置調整機構が組み合わされてもよい。すなわち、図１２に示す支持部材１１１ａが、カラーカメラ３と瞳孔位置検出用光学系８とを、光学結像装置１０７の前面に沿って水平方向及び上下方向に一体的に移動可能に支持するように構成されていていてもよい。この場合、プロセッサ６は、位置調整機構を制御することによって、結像面１０８に表示される表示対象画像の基準位置と、結像面１０８上のカラーカメラ３の位置とが一致するように、カラーカメラ３の位置を調整してもよい。

具体的には、図１３に示すように、プロセッサ６は、カラーカメラ３の中心位置ＯＰとユーザＵの瞳孔間中点Ｍ_２と位置とを結ぶ線と結像面１０８（空中ディスプレイ装置１０５の表示面）との交点Ｏ_Ｃ’を、カラーカメラ３の結像面１０８上の位置として算出し、その位置と結像面１０８上に表示される画像の基準位置とが水平方向で一致するように位置調整機構の位置の移動量を制御する。例えば、画像の基準位置としては、図４に示す四角形Ａ”Ｂ”Ｃ”Ｄ”の画像中の瞳孔間中点Ｍ_１の位置に設定される。このような変形例によっても、双方のユーザの視線を一致させることができる。これにより、一層円滑なコミュニケーションが可能にされる。

特に、図１０に示した角度調整機構を備える変形例によれば、ユーザＵの表示面に沿った移動に応じて撮像角度のみ調整される結果（図１３の左側のカラーカメラ３の制御状態）、表示面において相手側ユーザの画像がユーザＵから離れた位置に表示される場合がある。その結果、ユーザＵが相手側ユーザの画像を見るためには頭部を大きく回転させる必要がある。それに対して、本変形例では、カラーカメラ３の位置が表示面に沿って移動可能に制御されるので（図１３の右側のカラーカメラ３の制御状態）、そのようなユーザＵの負担を軽減できる。なお、ユーザＵの負担をより軽減させる態様としては、カラーカメラ３の位置がユーザＵの瞳孔間中点Ｍ_２を通る結像面１０８に対する垂線から近い位置となるように、画像の表示位置もあわせて制御されることが好適である。図１４には、本変形例の画像表示装置１を一組備えるコミュニケーションシステムにおいて、結像面１０８を挟んだユーザの移動状態及びカラーカメラ３の制御状態の一例を示している。この図においては、一対の画像表示装置１の結像面１０８を重ね合わせ、一方の画像表示装置１のユーザＵ_１の位置を、他方の画像表示装置１のユーザＵ_２の位置に対する結像面１０８を挟んだ反対側の空間に仮想的に示している。このように、一方のユーザＵ_１と他方にユーザＵ_２とが結像面１０８に沿って水平方向に同時に移動した場合、それに対応してそれぞれの画像表示装置１のカラーカメラ３が水平方向に移動するように制御される。その結果、両者のカラーカメラ３を仮想的な空間内で両者のユーザＵ_１，Ｕ_２の瞳孔間中点を結ぶ直線上に位置するように移動させることが可能となり、これにより、例えばユーザＵ_１，Ｕ_２が、あたかも横に並んで歩いているような疑似体験をすることができる。

上述した実施形態あるいは変形例の画像表示装置１においては、ユーザＵに相手側ユーザが同じ位置（例えば画像面Ｇ_２上）にいるように見せるためには、位置制御部６４が、相手側ユーザ側の装置で検出された左右の瞳孔の三次元座標を基に、画像面Ｇ_２に投影される画像のサイズを相手側ユーザの両目の位置関係に対応するように設定してもよい。例えば、図１５に示すように、本変形例の位置制御部６４は、相手側ユーザの左右の瞳孔の三次元位置を基にそれらの中点の位置Ｍ_３を算出する。そして、位置制御部６４は、その中点Ｍ_３を通り相手側のカラーカメラ３の撮像面に平行な平面Ｓ２の位置と、相手側のカラーカメラ３から各瞳孔に向いた直線Ｌ_３，Ｌ_４の位置とを求め、さらに、この平面Ｓ２と各直線Ｌ_３，Ｌ_４との交点Ｐ_３，Ｐ_４の三次元位置を求める。そして、位置制御部６４は、交点Ｐ_３，Ｐ_４の２つの三次元位置の間の距離を求め、その距離とユーザＵの見ている画像上の相手側ユーザの瞳孔間距離とが等しくなるように、投影画像のサイズを設定する。具体的には、位置制御部６４は、投影する画像上の左右の瞳孔の座標が既知であるので、それらの座標間の距離が交点Ｐ_３，Ｐ_４から計算した距離と等しくなるように投影画像のサイズを変更すればよい。このとき、位置制御部６４は、表示対象画像から図４に示すような投影対象の画像Ｇ_１を切り出す際には、その画像Ｇ１の範囲の幅を、Ｐ_３，Ｐ_４の三次元位置の間の距離を基にして、相手側ユーザの頭部全体が入り、かつ、投影画像上の瞳孔間の距離がその距離と等しく見えるように、設定するとよい。

上述した実施形態あるいは変形例の画像表示装置１においては、表示対象画像がディスプレイ装置で表示されると同時にカラーカメラ３によってユーザＵの顔が撮像される。このディスプレイ装置からの光はユーザＵの顔を照らすことになる。従って、画像表示装置１と対向装置とを接続してコミュニケーションを行っている際に、相手側ユーザの顔の画像の明るさ或は色に変化があった場合には、ユーザＵの顔への照明の明るさ或いは色が変化する。例えば、相手側ユーザが赤い服を着ていた場合にはユーザＵの顔が赤く見えてしまう。これにより、ユーザＵの自然な顔画像が撮影できず、相手側ユーザにとっても不自然な画像と感じさせてしまう。これを防ぐためには、プロセッサ６の制御により、ディスプレイ装置において周期的（断続的）に表示対象画像の画像光を投影するようにし、画像光が投影されていない期間に常に同期させてカラーカメラ３のシャッタを開くようにする。例えば、６０Ｈｚ（周期16.7ms）でディスプレイ装置から画像光を投影させ、その周期の所定割合（例えば、半分）の期間においてはディスプレイ装置からの画像光の投影を停止させる。そして、画像光が停止された期間のみにおいて繰り返しカラーカメラ３のシャッタを開くように制御する。これにより、カラーカメラ３は、ディスプレイ装置からの画像光に影響されることなく周囲の照明のみが反映されたユーザ画像を取得することができる。この際、ディスプレイ装置は、図１１に示すような液晶シャッタなどのシャッタ１１２を画像面の前面に配置させて、このシャッタ１１２を閉じるように制御することによってディスプレイ装置から放出される画像光を遮ってもよい。

上述した実施形態および変形例においては、ユーザＵの両眼の瞳孔位置を検出してその位置を基にして画像の表示位置や切り出し位置を設定していたが、瞳孔の位置を検出することには限定されない。例えば、ユーザの眼の位置の基準となる黒目全体、角膜反射等の位置を検出してもよいまた、ユーザの目頭、目尻等を検出してもよく、ワイヤーフレーム法によって目を検出してもよく、Ｍｃｒｏｓｏｆｔ社のＫｉｎｅｃｔを用いて頭部の左右の傾きを検出してその検出結果を用いてもよい。

１…画像表示装置、３…カラーカメラ（画像取得部）、４…瞳孔位置検出部、５…表示用ディスプレイ（画像表示部）、６…プロセッサ（制御部）、８…瞳孔位置検出用光学系（眼部位置取得部）、９…瞳孔検出用カメラ（眼部位置取得部）、１０…近赤外光源（眼部位置取得部）、１１…角度調整機構、６１…情報入力部、６２…情報出力部、６３…瞳孔位置算出部（眼部位置取得部）、６４…位置制御部、１０５…空中ディスプレイ装置（画像表示部）、１１１…角度調整機構、位置調整機構、Ｕ…ユーザ。

Claims (13)

1. ユーザの両眼の三次元位置を示す位置情報を取得する眼部位置取得部と、
   前記ユーザの顔を含むユーザ画像を取得する画像取得部と、
   外部から取得した表示対象画像を表示する画像表示部と、
   前記画像表示部における前記表示対象画像の表示状態を制御する制御部とを備え、
   前記制御部は、前記位置情報を基に前記両眼の三次元位置と前記画像表示部との位置関係を計算し、前記位置関係を基に前記画像表示部における前記表示対象画像の表示位置を設定するように制御する、
   画像表示装置。
2. 前記制御部は、
   前記位置関係として前記両眼を結ぶ線の前記画像表示部を基準とした傾きを計算し、前記傾きを基に前記画像表示部上における画像を回転させるように前記表示対象画像の表示位置を設定する、
   請求項１記載の画像表示装置。
3. 前記制御部は、
   前記位置関係として前記両眼の三次元位置の中点と前記画像表示部上の規定位置とを結ぶ線に垂直な平面を設定し、前記画像表示部から前記中点に向けて投影される前記平面上の投影画像の歪を無くすように、前記表示対象画像を構成する画素の前記画像表示部上における表示位置を設定する、
   請求項１記載の画像表示装置。
4. 前記制御部は、
   前記位置関係として前記両眼を結ぶ線の前記平面を基準とした傾きを計算し、前記画像表示部から前記中点に向けて投影される前記平面上の投影画像が前記傾きに応じて回転されるように、前記表示対象画像を構成する画素の前記画像表示部上における表示位置を設定する、
   請求項３記載の画像表示装置。
5. 前記制御部は、
   前記平面上の位置に対応する前記画素の表示位置を、前記中点と当該位置とを結ぶ直線の前記画像表示部上の交点に設定する、
   請求項３又は４に記載の画像表示装置。
6. 相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部をさらに備え、
   前記制御部は、
   前記相手側位置情報を基に前記相手側ユーザの両眼の位置を結ぶ線の傾きを計算し、前記表示対象画像から前記傾きに応じて設定された範囲の画像を切り出し、当該画像を前記画像表示部に表示させるように制御する、
   請求項１〜５のいずれか１項に記載の画像表示装置。
7. 相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部をさらに備え、
   前記制御部は、
   前記相手側位置情報を基に前記相手側ユーザの両眼の間の距離を計算し、前記表示対象画像から前記距離に応じて設定された範囲の画像を切り出し、当該画像を前記画像表示部に表示させるように制御する、
   請求項１〜５のいずれか１項に記載の画像表示装置。
8. 前記画像取得部によって取得された前記ユーザ画像と前記眼部位置取得部によって取得された前記位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、
   相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部とを備え、
   前記制御部は、
   前記相手側ユーザ情報及び前記画像取得部が配置された位置を基に、前記画像表示部上に表示される前記表示対象画像の前記相手側ユーザの両眼の位置に基づく基準位置と、前記画像表示部上における前記画像取得部の位置とが一致するように、前記表示対象画像の表示位置を設定する、
   請求項１記載の画像表示装置。
9. 前記画像取得部によって取得された前記ユーザ画像と前記眼部位置取得部によって取得された前記位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、
   相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部と、
   前記画像取得部の撮像角度を調整する角度調整機構とを備え、
   前記制御部は、
   前記相手側ユーザ情報及び前記画像取得部が配置された位置を基に、前記画像表示部上に表示される前記表示対象画像の前記相手側ユーザの両眼の位置に基づく基準位置と、前記画像表示部上における前記画像取得部の位置とが一致するように、前記画像取得部の撮像角度を調整するように前記角度調整機構を制御する、
   請求項１記載の画像表示装置。
10. 前記画像取得部によって取得された前記ユーザ画像と前記眼部位置取得部によって取得された前記位置情報に基づく情報とを含むユーザ情報を出力する情報出力部と、
    相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部と、
    前記画像取得部の前記画像表示部に対する位置を調整する位置調整機構とを備え、
    前記制御部は、
    前記相手側ユーザ情報及び前記画像取得部が配置された位置を基に、前記画像表示部上に表示される前記表示対象画像の前記相手側ユーザの両眼の位置に基づく基準位置と、前記画像表示部上における前記画像取得部の位置とが一致するように、前記位置調整機構を制御する、
    請求項１記載の画像表示装置。
11. 前記制御部は、
    前記基準位置が、前記画像取得部の位置と前記ユーザの両眼の三次元位置を基準とした位置とを結ぶ線の前記画像取得部の表示面の交点に一致するように制御する、
    請求項８〜１０のいずれか１項に記載の画像表示装置。
12. 前記制御部は、
    前記位置情報と前記画像表示部との位置を基に、前記画像表示部に表示される表示対象画像の全体のサイズを、前記ユーザの両眼の前記画像表示部からの距離に対応したサイズになるように設定する、
    請求項１記載の画像表示装置。
13. 相手側ユーザの顔を含む前記表示対象画像と、前記相手側ユーザの両眼の位置を示す相手側位置情報とを含む相手側ユーザ情報が入力される情報入力部をさらに備え、
    前記制御部は、
    前記相手側ユーザ情報を基に、前記画像表示部に表示される表示対象画像の全体のサイズを、前記相手側ユーザの顔の大きさが前記相手側ユーザの両眼の位置の関係に対応するように設定する、
    請求項１記載の画像表示装置。

Images