JP2018125727A - 顔画像処理装置 - Google Patents

Abstract

【課題】３人以上の複数のユーザ間コミュニケーションを円滑にすること。【解決手段】この顔画像処理装置１は、ユーザＵの視線方向を検出する視線方向検出部４と、対向装置から取得した相手側ユーザの表示対象顔画像を複数の表示領域ごとに分割して表示するディスプレイ５と、ディスプレイ５の表示領域のそれぞれに対応して配置され、ユーザＵのユーザ顔画像を撮像するカラーカメラ３ａ，３ｂと、ディスプレイ５における表示対象顔画像の表示状態を制御するとともに、ユーザＵの視線方向に一致する表示領域に対応して配置されたカラーカメラ３ａ，３ｂによって取得された出力対象顔画像を、少なくとも出力するプロセッサ６とを備え、プロセッサ６は、対向装置から出力対象顔画像を取得し、当該顔画像を表示対象顔画像として表示領域に表示させるように制御する。【選択図】図１

Description

本発明は、双方向のコミュニケーションのために顔画像を取得および表示する顔画像処理装置に関する。

近年、双方向のコミュニケーションツールとして、パーソナルコンピュータ等を用いて、お互いのユーザの顔画像を送受信する通信システムが利用されてきている。例えば、１対１の円滑なコミュニケーションを可能にする構成として、コミュニケーションを行う双方のユーザ間で双方の視線が一致するようにし、かつ、互いの顔を見やすくするように顔画像を補正するコミュニケーションシステムが知られている（非特許文献１）。

山本 祥之、他２名、「遠隔瞳孔検出に基づく頭部移動を許容する視線一致型コミュニケーションシステムの提案」、映像情報メディア学会年次大会、２０１５年、１３Ｃ−３

しかしながら、上述した従来のコミュニケーションシステムでは、１対１でのコミュニケーションには対応できるが、３人以上の複数のユーザの間でのコミュニケーションには対応が困難である。すなわち、従来では３人以上の複数のユーザ間でのコミュニケーションを円滑にするシステムは実現されていない。

本発明は、上記課題に鑑みて為されたものであり、３人以上の複数のユーザ間コミュニケーションを円滑にすることが可能な顔画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる顔画像処理装置は、自ユーザの顔画像を取得して外部装置に出力し、他ユーザの顔画像を外部装置から取得して表示する顔画像処理装置であって、自ユーザの視線方向あるいは顔方向を検出する方向検出部と、外部装置から取得した複数の他ユーザの顔画像である複数の表示対象顔画像を複数の表示領域ごとに分割して表示する画像表示部と、画像表示部の複数の表示領域のそれぞれに対応して配置され、自ユーザの顔の画像であるユーザ顔画像を撮像する複数の撮像部と、画像表示部における複数の表示対象顔画像の表示状態を制御するとともに、自ユーザの視線方向あるいは顔方向に一致する表示領域に対応して配置された撮像部によって取得されたユーザ顔画像である出力対象顔画像を、少なくとも出力する制御部とを備え、制御部は、外部装置から出力対象顔画像として出力された他ユーザの顔画像を取得し、当該顔画像を表示対象顔画像として当該他ユーザに対応した表示領域に表示させるように制御する。

上記形態の顔画像処理装置によれば、外部装置から、他ユーザの視線方向あるいは顔方向に対応する位置の撮像部によって取得された顔画像が取得され、当該顔画像が他ユーザに対応した表示領域に表示される。その一方で、自ユーザの視線方向あるいは顔方向に対応する位置の撮像部によって取得された顔画像が、外部装置における表示対象の出力対象顔画像として出力される。これにより、複数の他ユーザと自ユーザとの間でコミュニケーションする際に自ユーザにとって複数の他ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。

ここで、制御部は、複数の撮像部によって撮像された複数のユーザ顔画像のうち、視線方向あるいは顔方向に一致する表示領域に対応して配置された撮像部によって取得されたユーザ顔画像を選択し、当該ユーザ顔画像を出力対象顔画像として出力することとしてもよい。この場合、ユーザ顔画像を撮像する側の装置で出力対象顔画像を選択して、その出力対象顔画像を当該画像を表示する側の装置に出力するので、表示する側の装置における処理を簡略化することで遅延の少ない画像表示を実現することができる。

また、制御部は、複数の撮像部によって撮像された複数のユーザ顔画像と、複数のユーザ顔画像から出力対象顔画像を選択するための選択用情報とを出力し、外部装置から出力された複数のユーザ顔画像うちから、外部装置から出力された選択用情報を基に表示対象顔画像を選択し、当該表示対象顔画像を他ユーザに対応した表示領域に表示させるように制御することとしてもよい。この場合には、ユーザ顔画像を表示する側の装置において選択用情報を基に表示対象顔画像を選択して表示するので、表示する側の装置において表示対象顔画像を選択する自由度が高まる。

また、方向検出部は、自ユーザの両眼の三次元位置をさらに検出し、制御部は、表示対象顔画像を両眼の三次元位置に応じて補正し、補正した表示対象顔画像を表示させるように制御することとしてもよい。この場合、表示対象顔画像を自ユーザの両眼の三次元位置に応じて補正することで、表示対象顔画像の自ユーザに対する視認性を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

また、制御部は、表示対象顔画像のサイズを外部装置で算出された他ユーザの両眼の三次元位置に応じて補正することとしてもよいし、表示対象顔画像を両眼の三次元位置に応じて歪調整するように補正することとしてもよい。この場合には、表示対象顔画像を自ユーザあるいは他ユーザの両眼の三次元位置に応じて補正することで、自ユーザから観察される他ユーザの顔画像のサイズおよび歪を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

また、画像表示部は、表示領域において複数の方向に異なる画像を表示可能に構成されており、制御部は、外部装置から他ユーザの顔画像を複数取得し、当該他ユーザに対応する表示領域において、複数の他ユーザの顔画像のいずれかを、複数の方向に表示させるように制御することとしてもよい。この場合には、自ユーザに複数のユーザが含まれる場合に、それぞれのユーザに対して適した他ユーザの顔画像を表示させることができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

また、制御部は、外部装置から取得された出力対象顔画像を、複数の方向のそれぞれに応じて歪調整し、歪調整した出力対象顔画像を複数の方向のそれぞれに表示させるように制御することとしてもよい。この場合、自ユーザに複数のユーザが含まれる場合に、それぞれのユーザに対して視認性が調整された他ユーザの顔画像を表示させることができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

また、制御部は、方向検出部によって検出された視線方向を基に、複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、注目表示領域に表示させる他ユーザの顔画像を強調表示させるように制御することとしてもよい。この場合、コミュニケーション相手のユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

また、制御部は、方向検出部によって検出された視線方向を基に、複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、注目表示領域に対応する他ユーザの使用する外部装置に対して、出力対象顔画像とともに特定の結果を出力し、外部装置から、他ユーザの顔画像とともに特定の結果を取得した場合には、他ユーザの顔画像を強調表示させるように制御することとしてもよい。この場合も、コミュニケーションを求めているユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

また、制御部は、外部からのドラック入力により、複数の他ユーザの顔画像の表示位置を、複数の表示領域の間で変更可能に構成されていてもよい。この場合、他ユーザの顔画像の表示位置を自由に変更することができ、ユーザ間でのコミュニケーションをより円滑にすることができる。

本発明によれば、１対多あるいは多対多でのユーザ間コミュニケーションを円滑にすることができる。

本発明の第１実施形態に係る顔画像処理装置の構成を示す側面図である。 図１の視線方向検出部４の光学系の配置を示す平面図である。 ユーザＵの位置する正面側から見たカラーカメラ３ａ，３ｂと表示用ディスプレイ５との位置関係を示す正面図である。 図１のプロセッサ６の機能構成を示すブロック図である。 図４の情報出力部６２によって出力対象顔画像から切り出された画像のイメージを示す図である。 図４の位置制御部６４により設定される投影画像上の表示対象顔画像の表示位置を示す概念図である。 図１の顔画像処理装置１の使用状態のイメージを示す図である。 本発明の第２実施形態に係る顔画像処理装置１Ａの構成を示す側面図である。 図８のプロセッサ６Ａの機能構成を示すブロック図である。 図８の顔画像処理装置１Ａの使用状態のイメージを示す図である。 図８の顔画像処理装置１Ａの使用状態のイメージを示す図である。 本発明の変形例における両眼の位置関係の計算のイメージを示す図である。 本発明の変形例における表示用ディスプレイ５上の表示対象顔画像の表示状態を示す図である。 本発明の変形例における表示用ディスプレイ５上の表示対象顔画像の表示状態を示す図である。

以下、図面を参照しつつ本発明に係る顔画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
（第１実施形態）

本発明の第１実施形態にかかる顔画像処理装置１は、顔画像処理装置１のユーザであるユーザ（自ユーザ）Ｕの顔を含む顔画像を取得して外部装置に出力するとともに、外部装置から取得した表示対象顔画像である相手側ユーザ（他ユーザ）の顔を含む画像を表示する装置であり、この顔画像処理装置１を複数（本実施形態では３つ）備えることにより、複数（本実施形態では３人）のユーザ間で互いのユーザの顔画像を観察しながらコミュニケーションするコミュニケーションシステムを構成する。

図１には、本実施形態にかかる顔画像処理装置１の概略構成を示している。同図に示すように、顔画像処理装置１は、ユーザＵの顔に向けて配置され、ユーザＵの顔の画像であるユーザ顔画像を撮影（撮像）する２つのカラーカメラ（撮像部）３ａ，３ｂと、ユーザＵの顔に向けて配置され、ユーザＵの視線方向及びユーザＵの両眼の瞳孔の空間座標（三次元位置）を実時間計測するための視線方向検出部４と、外部装置から取得した２人の相手側ユーザの顔を含む表示対象顔画像を表示する表示用ディスプレイ（画像表示部）５と、カラーカメラ３ａ，３ｂ、視線方向検出部４、及び表示用ディスプレイ５の動作を制御するプロセッサ（制御部）６とを備える。視線方向検出部４の構成としては、本願発明者による国際公開公報WO2013/176265に記載の瞳孔検出装置を採用できる。この顔画像処理装置１は、同一の構成の２台の外部装置（以下、「対向装置」と呼ぶ。）と通信ネットワークを介して接続され、顔画像処理装置１の２台のカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像から出力対象顔画像を選択して、その出力対象顔画像を２台の対向装置に向けて送信するとともに、２台の対向装置によって取得されたそれぞれのユーザ顔画像を表示対象顔画像として受信し、２つの表示対象顔画像を表示用ディスプレイ５に並べて表示する。

図２には、視線方向検出部４の光学系の配置を示している。視線方向検出部４を構成する３台のカメラ９は、同図に示すようにユーザＵに向けて配置されている。それぞれのカメラ９は、赤外線光に感度を持つカメラであって、近赤外光源１０と組み合わされて構成されている。また、視線方向検出部４として後述するプロセッサ６の視線方向算出部６３（図４参照）も含まれており、視線方向算出部６３は、ステレオ較正された３台のカメラ９のうちの２台のカメラ９からの出力画像を基に、ユーザＵの右の瞳孔及び左の瞳孔のそれぞれの三次元座標（位置）及び二次元座標（位置）を算出するとともに、それぞれの出力画像上におけるユーザＵの左右の眼部の角膜反射の二次元座標（位置）を算出する。

図１に戻って、表示用ディスプレイ５は、液晶ディスプレイ装置等の画像表示用デバイスによって構成された平面状の画像面７ａを有する画像投影装置５ａと、画像投影装置５ａから投影された画像をユーザＵに向けて反射する平面状の反射面７ｂを有するハーフミラー５ｂとを含んで構成される。画像投影装置５ａは、例えば、ユーザＵの前方上方に配置され、ユーザＵの上方から下方に向けて画像を投影する。ハーフミラー５ｂは、画像投影装置５ａの下方であってユーザＵとカラーカメラ３ａ，３ｂ及びカメラ９との間に配置され、その反射面７ｂが画像投影装置５ａの画像面７ａに対して斜めに向けられ、画像投影装置５ａから投影された画像をユーザＵに向けて反射させるように構成されている。このように構成されることにより、ユーザＵの顔画像がカメラ９及びカラーカメラ３ａ，３ｂによって取得可能にされるとともに、ユーザＵに向けて、２台の対向装置から受信された２つの表示対象顔画像を並べて表示可能とされる。また、表示用ディスプレイ５では、プロセッサ６の処理により、ユーザＵによって観察されるハーフミラー５ｂによる反射後の表示対象顔画像において変形が生じないように、画像投影装置５ａから投影される表示対象顔画像の縮尺が予め二次元的に調整されている。

図３には、ユーザＵの位置する正面側から見たカラーカメラ３ａ，３ｂと表示用ディスプレイ５との位置関係を示す正面図である。図３に示すように、表示用ディスプレイ５は、後述するプロセッサ６の位置制御部６４（図４参照）の制御により、反射面７ｂ上における２つの分割された矩形の表示領域１３ａ，１３ｂのそれぞれに２台の対向装置から受信した表示対象顔画像を表示するように動作する。２つのカラーカメラ３ａ，３ｂは、正面側から見てそれぞれの表示領域１３ａ，１３ｂに対応した位置に配置されている。詳細には、カラーカメラ３ａは、正面側から見て表示領域１３ａの中央の奥に配置されることにより、その光軸が表示領域１３ａの略中央を通ってユーザＵに向くようにされている。同様に、カラーカメラ３ｂは、正面側から見て表示領域１３ｂの中央の奥に配置されることにより、その光軸が表示領域１３ｂの略中央を通ってユーザＵに向くようにされている。なお、カラーカメラ３ａ，３ｂは、その本体部が必ずしも表示領域１３ａ，１３ｂの奥に配置される必要は無く、ミラー等の光学部材を利用することでそれらの光軸が表示領域１３ａ，１３ｂを通るように構成されていればよい。

ここで、２つのカラーカメラ３ａ，３ｂ、及び３つのカメラ９は、それらの位置関係が、それぞれが得た画像上にユーザＵの顔全体を含むほぼ同じ範囲が映るように、最初に設定される。また、それぞれのカラーカメラ３ａ，３ｂ及びカメラ９の視野角は、ユーザＵが移動した場合もユーザＵの顔全体が撮像可能なように十分広く設定される。

なお、３つのカメラ９及び２つのカラーカメラ３ａ，３ｂは、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（X_W,Y_W,Z_W）と各カメラのカメラ座標系における座標（X_C,Y_C,Z_C）との間には（式１）の関係があると仮定され、

（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。

次に、プロセッサ６の構成について説明する。プロセッサ６は、物理的には、パーソナルコンピュータ、画像処理デバイス等のデータ処理装置によって構成され、ＣＰＵ等の演算処理回路、ＲＡＭ、ＲＯＭ等のメモリ、ハードディスク装置等のデータ記憶装置、及び通信デバイスを内蔵している。そして、プロセッサ６は、機能的構成要素として、図４に示すように、情報入力部６１、情報出力部６２、視線方向算出部６３、及び位置制御部６４を含む。

プロセッサ６の視線方向算出部６３は、カメラ較正の結果を利用して、３台のカメラ９から選択した２台のカメラ９によって撮像された出力画像を用いて、ユーザＵの左右の瞳孔の世界座標系における三次元座標（位置情報）、ユーザＵの左右の瞳孔のカメラ座標系における二次元座標、及びユーザＵの左右の眼部の角膜反射のカメラ座標系における二次元座標を算出する。この選択した２台のカメラの画像を用いた、瞳孔の三次元座標及び二次元座標と、角膜反射の二次元座標の算出は、本願発明者による国際公開公報WO2013/176265に記載の方法を採用できる。このように、選択した２台のカメラ９の出力画像を用いることで、１つのカメラ９の出力画像において瞳孔と眼鏡反射が重なる場合でもより確実に瞳孔検出を行うことができる。そして、視線方向算出部６３は、算出した瞳孔の三次元座標及び二次元座標と、角膜反射の二次元座標とを用いて、ユーザＵの視線ベクトル（視線方向）を算出し、この視線ベクトルを基に反射面７ｂ上のユーザＵの注視点を算出する。この視線ベクトル及び注視点の算出は、本願発明者による特許第４５１７０４９号に記載の方法を採用できる。この際、視線方向算出部６３は、選択した２台のカメラ９のいずれかの出力画像を用いて視線ベクトル及び注視点を算出してもよいし、選択した２台のカメラ９の出力画像を用いた計算結果を両方用いて（平均化等して）、視線ベクトル及び注視点を算出してもよい。また、視線ベクトル及び注視点は、ユーザＵの右の眼に関する算出結果と、ユーザＵの左の眼に関する算出結果とのうちどちらかを用いて算出されてもよいし、両方の算出結果を用いて（平均化等して）算出されてもよい。

さらに、視線方向算出部６３は、瞳孔の三次元座標を２つのカラーカメラ３ａ，３ｂに関する（式１）に相当する式に代入することで、カラーカメラ３ａ，３ｂのカメラ座標系における瞳孔の座標（位置情報）をそれぞれ算出する。視線方向算出部６３は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことでユーザＵのユーザ顔画像中の瞳孔位置を定める。このとき、視線方向算出部６３は、上述した処理を繰り返すことによりそれぞれのユーザ顔画像中における右の瞳孔及び左の瞳孔の座標（位置情報）を算出する。また、視線方向算出部６３は、時間的に連続した動画像としてユーザ顔画像を取得する場合には、ユーザ顔画像に含まれる時系列の画像フレームに対応して両眼の瞳孔の座標（位置情報）を算出することができる。

情報出力部６２は、カラーカメラ３ａ，３ｂによって取得されたそれぞれのユーザ顔画像と、そのユーザ顔画像に対応して視線方向算出部６３によって算出された両眼の瞳孔の位置情報と、そのユーザ顔画像を取得するタイミングで検出されたユーザＵの注視点の情報とを用いて、２台の対向装置に出力する出力対象顔画像をそれぞれ生成する。そして、情報出力部６２は、それぞれの出力対象顔画像を通信ネットワークを介して２台の対向装置に向けて出力する。このとき、情報出力部６２は、出力対象顔画像に加えて、その画像に対応して算出されたユーザＵの両眼の瞳孔の位置情報を出力することもできる。

すなわち、情報出力部６２は、ユーザＵの注視点が反射面７ｂ上の表示領域１３ａに一致している場合には、具体的には、注視点が表示領域１３ａ内の所定範囲（例えば、中央から所定距離）に有る場合には、その表示領域１３ａに対応するカラーカメラ３ａによって取得されたユーザ顔画像を、出力対象顔画像として選択する。そして、情報出力部６２は、その出力対象顔画像を、表示領域１３ａが相手側ユーザの表示用として割り当てられた一方の対向装置に向けて出力する。その一方で、情報出力部６２は、表示領域１３ｂが相手側ユーザの表示用として割り当てられた他方の対向装置に対しては、その対向装置による予めの設定に応じて、注視点に対応する側のカラーカメラ３ａによって取得されたユーザ顔画像、又は、注視点に対応しない側のカラーカメラ３ｂによって取得されたユーザ顔画像のいずれかを、出力対象顔画像として選択して出力する。

同様に、情報出力部６２は、注視点が表示領域１３ｂ内の所定範囲に有る場合には、その表示領域１３ｂに対応するカラーカメラ３ｂによって取得されたユーザ顔画像を、出力対象顔画像として選択する。そして、情報出力部６２は、その出力対象顔画像を、表示領域１３ｂが相手側ユーザの表示用として割り当てられた他方の対向装置に向けて出力する。その一方で、情報出力部６２は、表示領域１３ａが相手側ユーザの表示用として割り当てられた一方の対向装置に対しては、その対向装置による予めの設定に応じて、注視点に対応する側のカラーカメラ３ｂによって取得されたユーザ顔画像、又は、注視点に対応しない側のカラーカメラ３ａによって取得されたユーザ顔画像のいずれかを、出力対象顔画像として選択して出力する。

加えて、情報出力部６２は、ユーザ顔画像から出力対象顔画像を選択する際には、ユーザ顔画像を所定範囲で切り出すように加工して加工後の出力対象顔画像を出力することもできる。詳細には、情報出力部６２は、選択した出力対象顔画像報を、その出力対象顔画像に対応して検出されたユーザＵの両眼の瞳孔の位置情報を利用して画像を切り出すことにより加工する。図５は、情報出力部６２によって出力対象顔画像から切り出された画像のイメージを示す図である。このように、情報出力部６２は、出力対象顔画像を構成する画像フレームＦ_１において、位置情報によって特定される右眼の瞳孔の二次元座標情報（Ｘ２_Ｒ，Ｙ２_Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ２_Ｌ，Ｙ２_Ｌ）を基にして、右眼の瞳孔と左眼の瞳孔との間の中点座標Ｍ_１を算出する。そして、情報出力部６２は、中点座標Ｍ_１を基準位置とした所定の座標幅の範囲の画像Ｇ_１を切り出して、切り出した画像Ｇ_１を出力対象顔画像として対向装置に出力する。例えば、情報出力部６２は、中点座標Ｍ_１が画像Ｇ_１の範囲の横方向の中央に位置し、中点座標Ｍ_１が画像Ｇ_１の範囲の縦方向における所定比率の位置（より具体的には、縦方向を２対３に分割する位置）に位置するように、画像Ｇ_１の範囲を設定する。ここで、画像Ｇ_１の範囲は、予め対向装置のユーザによって設定可能にされていてもよい。また、情報出力部６２は、画像Ｇ_１の範囲の幅を、右眼の瞳孔の二次元座標と左眼の瞳孔の二次元座標とから計算される瞳孔間距離を基準にして設定してもよい。このように切り出した出力対象顔画像を出力する場合には、情報出力部６２は、その切り出した画像上の位置を示すように両眼の瞳孔の位置情報を補正して、補正した位置情報を出力対象顔画像に付加して出力する。

情報入力部６１は、２つの対向装置のそれぞれから、通信ネットワークを介して出力対象顔画像として出力された、それぞれの対向装置の相手側ユーザの顔画像（表示対象顔画像）が入力される部分である。

位置制御部６４は、２つの対向装置から入力されたそれぞれの表示対象顔画像の表示用ディスプレイ５における表示状態を制御する。すなわち、位置制御部６４は、２つの対向装置のうちの一方の対向装置から入力された顔画像（表示対象顔画像）を、その対向装置の相手側ユーザの表示用に割り当てられた表示用ディスプレイ５の表示領域１３ａに表示させるように制御する。同時に、位置制御部６４は、２つの対向装置のうちの他方の対向装置から入力された顔画像（表示対象顔画像）を、その対向装置の相手側ユーザの表示用に割り当てられた表示用ディスプレイ５の表示領域１３ｂに表示させるように制御する。このとき、位置制御部６４は、表示対象顔画像の表示領域１３ａ，１３ｂにおける表示位置を、対向装置によって算出された相手側ユーザの両眼の瞳孔の位置情報を用いて、表示対象顔画像における相手側ユーザの左右の瞳孔の中心位置が、表示領域１３ａ，１３ｂ上のカラーカメラ３ａ，３ｂの光軸の位置に一致するように調整してもよい。このようにすれば、ユーザＵと相手側ユーザとの間で視線の一致したコミュニケーションが可能となる。

また、位置制御部６４は、次のように表示対象顔画像の表示位置を制御することによって、ユーザＵの顔の空間位置に合わせた歪のない画像表示を可能とする。対向装置によって切り出された表示対象画像をそのまま表示用ディスプレイ５に表示させた場合には、表示用ディスプレイ５の正面から外れた位置のユーザＵにとっては、切り出した範囲の画像がそのままの縮尺で投影される。従って、ユーザＵにとっては画像が（例えば、台形状に）歪んで見えることになる。このような場合、相手の顔の縦横比が変わって見えることになり、ユーザＵがコミュニケーションの際に不自然な印象を受ける場合がある。

そこで、位置制御部６４は、表示用ディスプレイ５によって反射面７ｂの表示領域１３ａ，１３ｂのそれぞれから投影される表示対象顔画像を、歪調整によって予め補正することにより、ユーザＵにおいて観察される投影画像の歪を無くすように制御する。図６を参照しながら、詳細に説明する。図６は、位置制御部６４により設定される投影画像上の表示対象顔画像の表示位置を示す概念図である。まず、位置制御部６４は、ユーザＵの両眼の瞳孔の三次元座標Ｐ_Ｒ，Ｐ_Ｌを基に、瞳孔間中点Ｍ_２と反射面７ｂから投影される投影画像の画像面Ｇ_２の中心Ｏ’を結ぶ直線Ｍ_２Ｏ’を設定する。さらに、位置制御部６４は、直線Ｍ_２Ｏ’に垂直な瞳孔間中点Ｍ_２からの距離が所定値Ｌの平面Ｓ１を設定し、直線Ｍ_２Ｏ’とその平面Ｓ１との交点Ｏを特定する。また、位置制御部６４は、平面Ｓ１上に頂点Ａ，Ｂ，Ｃ，Ｄを有し、交点Ｏを中心とする所定の大きさの長方形の範囲ＡＢＣＤを決定する。次に、位置制御部６４は、両眼の瞳孔の三次元座標Ｐ_Ｒ，Ｐ_Ｌから平面Ｓ１上に垂線をおろしそれぞれの垂線と平面Ｓ１との交点Ｅ，Ｆの位置を算出する。さらに、位置制御部６４は、線分ＥＦの傾きを両眼を結ぶ線の平面Ｓ１を基準とした傾きとして計算し、線分ＡＤ及び線分ＢＣがその傾きと等しくなるように（線分ＥＦと平行になるように）範囲ＡＢＣＤを回転させることによりその範囲の位置を計算する。そして、位置制御部６４は、瞳孔間中点Ｍ_２と点Ａ，Ｂ，Ｃ，Ｄのそれぞれとを結ぶ線と、投影画像の画像面Ｇ_２との交点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標を計算する。この画像面Ｇ_２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に投影される画像が長方形ＡＢＣＤを通過してユーザＵに向けて投影されることになる。そこで、位置制御部６４は、長方形ＡＢＣＤの範囲に歪の無い顔画像を投影するために、表示対象顔画像を変形させて画像面Ｇ_２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に投影させるように、その表示対象顔画像を構成する画素の画像面Ｇ_２上での表示位置を設定する。これにより、長方形ＡＢＣＤの範囲に投影される顔画像の位置がユーザＵの両眼を結ぶ線の傾きに応じて回転される。

以上説明した顔画像処理装置１によれば、対向装置から、相手側ユーザの視線方向に対応する位置のカラーカメラによって取得された顔画像が取得され、当該顔画像が相手側ユーザに対応した表示領域１３ａ，１３ｂに表示される。その一方で、ユーザＵの視線方向に対応する位置のいずれかのカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像が、対向装置における表示対象の出力対象顔画像として出力される。これにより、複数の相手側ユーザとユーザＵとの間でコミュニケーションする際にユーザＵにとって複数の相手側ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。

ここで、プロセッサ６は、２つのカラーカメラ３ａ，３ｂによって撮像されたユーザ顔画像のうち、視線方向に一致する表示領域１３ａ，１３ｂに対応して配置されたカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像を選択し、そのユーザ顔画像を出力対象顔画像として出力する。こうすることで、ユーザ顔画像を撮像する側の装置で出力対象顔画像を選択して、その出力対象顔画像を当該画像を表示する側の装置に出力するので、通信ネットワークを介したデータの伝送量が削減されるとともに、表示する側の装置における処理を簡略化することができる。その結果、遅延の少なくストレスの低減されたコミュニケーションを実現することができる。

また、プロセッサ６は、ユーザＵの両眼の三次元位置をさらに検出し、表示対象顔画像を両眼の三次元位置に応じて歪調整によって補正し、補正した表示対象顔画像を表示用ディスプレイ５に表示させている。こうすることで、表示対象顔画像のユーザＵに対する視認性を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

図７を参照して、本実施形態による作用効果を具体的に説明する。図７は、本実施形態の顔画像処理装置１の使用状態のイメージを示す図である。

この場合、ユーザＵの前面に本実施形態の顔画像処理装置１の表示用ディスプレイ５が配置され、この顔画像処理装置１が通信ネットワークを介して顔画像処理装置１と同一構成の２台の対向装置１０１，２０１と接続されている。この２台の対向装置１０１，２０１は、相手側ユーザＵ１，Ｕ２の前面にそれぞれ配置されているものとする。そして、顔画像処理装置１の表示用ディスプレイ５の表示領域１３ａ，１３ｂは、それぞれ、ユーザＵ１，Ｕ２の顔画像表示用として予め割り当てられて設定されているものとする。このような形態では、ユーザＵの視線方向が相手側ユーザＵ１の顔画像が表示されている表示領域１３ａを向いていると検出された場合には、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が表示領域１３ａの割り当てられている相手側ユーザＵ１の対向装置１０１に送信される。そうすると、対向装置１０１において、ユーザＵに割り当てられている表示領域１１３ｂに、顔画像処理装置１から出力された出力対象顔画像が表示される。一方で、表示領域１３ｂが割り当てられている相手側ユーザＵ２の対向装置２０１には、相手側ユーザＵ２の設定に応じて、ユーザＵの視線方向に対応したカラーカメラ３ａ、又は、相手側ユーザＵ２に対して固定的に割り当てられたカラーカメラ３ｂのいずれかの出力画像が、出力対象顔画像として送信される。そして、対向装置２０１において、ユーザＵに割り当てられている表示領域２１３ａに、顔画像処理装置１から出力された出力対象顔画像が表示される。対向装置１０１，２０１も、顔画像処理装置１と同様に動作する。このような形態によれば、ユーザＵが相手側ユーザＵ１の顔画像を見ているときには、相手側ユーザＵ１にとっては自分を見ていると感じるようにユーザＵの顔が映る。一方で、相手側ユーザＵ２にとっては、ユーザＵが自分を見ていなくて相手側ユーザＵ１を見ていると感じさせることもできるし、常に自分を見ているように感じさせることもできる。このように、３人のユーザ間でのコミュニケーションを実際に対面しているかのようにスムーズに行うことができる。
［第２実施形態］

次に、本発明の第２実施形態について説明する。図８は、第２実施形態にかかる顔画像処理装置１Ａの概略構成を示し、図９は、顔画像処理装置１Ａに含まれるプロセッサ６Ａの機能構成を示している。図８に示す顔画像処理装置１Ａの第１実施形態との相違点は、顔画像処理装置１Ａの前面に位置する複数のユーザ（自ユーザ）のそれぞれの顔画像を別々に出力対象顔画像として取得し、それらの出力対象顔画像を対向装置に出力可能に構成されている点である。顔画像を取得可能なユーザの数は特定の数には限定されないが、図８には、ユーザ数が２の場合を例示している。以下、第１実施形態との相違点のみ説明する。

２つのカラーカメラ３ａ，３ｂ及び３つのカメラ９は、２人のユーザＵＡ，ＵＢの顔全体を含む同じ範囲が映るように設定され、それらの視野角はユーザＵＡ，ＵＢが移動した場合もユーザＵＡ，ＵＢの顔全体が撮像可能なように設定される。

プロセッサ６Ａの視線方向算出部６３Ａは、３台のカメラ９のうちの２台のカメラ９によって撮像された出力画像を用いて、それぞれのユーザＵＡ，ＵＢの左右の瞳孔の三次元座標及び二次元座標と、それぞれのユーザＵＡ，ＵＢの視線方向及び注視点とを算出する。出力画像に含まれる複数のユーザの瞳孔の位置の検出方法は、国際公開公報WO2013/176265に記載の方法を採用できる。そして、視線方向算出部６３Ａは、それぞれのユーザＵＡ，ＵＢに関して、カラーカメラ３ａ，３ｂの出力画像中の左右の瞳孔の位置情報もそれぞれ算出する。

情報出力部６２Ａは、ユーザＵＡ，ＵＢのそれぞれに関して、第１実施形態と同様にして、ユーザＵＡ，ＵＢの視線方向に基づいて、２つのカラーカメラ３ａ，３ｂによって撮像されたユーザ顔画像のうちから出力対象顔画像を選択する。この際、情報出力部６２Ａは、ユーザ顔画像をユーザＵＡ，ＵＢの瞳孔の位置情報を利用して所定範囲で切り出すようにして、出力対象顔画像を加工する。さらに、情報出力部６２Ａは、ユーザＵＡ、ＵＢに関して選択された出力対象顔画像のそれぞれを、対向装置に向けて出力する。

このような第２実施形態にかかる顔画像処理装置１Ａによれば、複数のユーザが同一の装置を使用する場合にも、複数の相手側ユーザと複数のユーザＵＡ，ＵＢとの間でコミュニケーションする際にユーザＵＡ，ＵＢにとって複数の相手側ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。

図１０及び図１１は、本実施形態の顔画像処理装置１Ａの使用状態のイメージを示す図である。

この場合、２人のユーザＵＡ，ＵＢの前面に本実施形態の顔画像処理装置１Ａの表示用ディスプレイ５が配置され、この顔画像処理装置１Ａが通信ネットワークを介して顔画像処理装置１Ａと同一構成の対向装置３０１と接続されている。この対向装置３０１は、２人の相手側ユーザＵＣ，ＵＤの前面にそれぞれ配置されているものとする。そして、顔画像処理装置１Ａの表示用ディスプレイ５の表示領域１３ａ，１３ｂは、それぞれ、ユーザＵＤ，ＵＣの顔画像表示用として予め割り当てられて設定されており、対向装置３０１の表示領域３１３ａ，３１３ｂは、それぞれ、ユーザＵＢ，ＵＡの顔画像表示用として予め割り当てられて設定されているものとする。

図１０に示す形態では、画像を通じて仮想的にユーザＵＡとユーザＵＤとの目が合っており、画像を通じて仮想的にユーザＵＢとユーザＵＣとの目が合っていることを想定する。このような場合、ユーザＵＢの視線方向が相手側ユーザＵＣの顔画像が表示されている表示領域１３ｂを向いていると検出されるので、表示領域１３ｂの奥に設置されているカラーカメラ３ｂからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＢに割り当てられている表示領域３１３ａに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。その際、表示される出力対象顔画像は、相手側ユーザＵＣの瞳孔の三次元位置を基に歪調整されるとともに、出力対象顔画像における瞳孔間中点が表示領域３１３ａ上でカラーカメラの光軸に一致するように位置補正される。同時に、ユーザＵＡの視線方向が相手側ユーザＵＤの顔画像が表示されている表示領域１３ａを向いていると検出されるので、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＡに割り当てられている表示領域３１３ｂに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。このような動作をする顔画像処理装置１Ａと同様な動作を行う対向装置３０１とを接続すれば、２つの装置を使って対向する４人のユーザ間でのコミュニケーション時に相手の顔画像を正面から見た画像とすることができる。

図１１に示す形態では、仮想的にユーザＵＡとユーザＵＣとの目が合っており、仮想的にユーザＵＢとユーザＵＤとの目が合っていることを想定する。このような場合、ユーザＵＢの視線方向が相手側ユーザＵＤの顔画像が表示されている表示領域１３ａを向いていると検出されるので、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＢに割り当てられている表示領域３１３ａに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。その際、表示される出力対象顔画像は、相手側ユーザＵＤの瞳孔の三次元位置を基に歪調整されるとともに、出力対象顔画像における瞳孔間中点が表示領域３１３ａ上でカラーカメラの光軸に一致するように位置補正される。このような歪調整の処理は、ユーザＵＤが斜めからユーザＵＢの顔画像を観察することになるため特に重要である。同時に、ユーザＵＡの視線方向が相手側ユーザＵＣの顔画像が表示されている表示領域１３ｂを向いていると検出されるので、表示領域１３ｂの奥に設置されているカラーカメラ３ｂからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＡに割り当てられている表示領域３１３ｂに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。このような形態でも、２つの装置を使って２対２で対向するユーザ間でのコミュニケーション時に相手の顔画像を正面から見た画像とすることができる。

本発明は、上述した実施形態に限定されるものではない。

例えば、上記第１及び第２実施形態においては、ユーザＵ，ＵＡ，ＵＢの視線方向を基に出力対象顔画像が選択されていたが、ユーザＵ，ＵＡ，ＵＢの顔姿勢（顔方向）を基に出力対象顔画像を選択するような機能を有していてもよい。このような構成の場合、プロセッサ６の視線方向算出部６３は、カメラ９の出力画像を用いて、国際公開公報WO2013/176265、特許第４４３１７４９号公報、特許第４７６５００８号公報、および国際公開公報WO2010/010926等に記載の方法によってユーザＵの顔姿勢を算出する。ここでは、特開２０１５−２３２７７１号公報に記載されたように、ユーザＵの鼻孔検出用の光学系として光源を備えないカメラを用いることもできる。そして、情報出力部６２は、算出したユーザＵの顔姿勢が表示領域１３ａ，１３ｂのどちらの方向に対応しているかを判断し、その判断結果に応じて出力対象顔画像を選択する。

また、上記第１及び第２実施形態においては、カラーカメラ３ａ，３ｂから出力されたユーザ顔画像から出力対象顔画像を選択する機能、ユーザ顔画像から所定範囲を切り出す機能を、出力元の顔画像処理装置１，１Ａに有していたが、これらの機能が出力先の顔画像処理装置１，１Ａに備えられてもよい。

このような構成の場合、プロセッサ６の情報出力部６２は、カラーカメラ３ａ，３ｂのそれぞれによって撮像されたユーザ顔画像と、それぞれのユーザ顔画像に対応して算出された両眼の瞳孔の位置情報とに加えて、ユーザＵの視線方向に応じて決定された、それらのユーザ顔画像から出力対象顔画像を選択するための選択用情報を、対向装置に出力する。この選択用情報としては、出力対象顔画像を識別するための情報（番号情報、ファイル名情報等）、又はユーザＵの視線方向を示す情報等が挙げられる。プロセッサ６の位置制御部６４は、対向装置から入力された２つのユーザ顔画像のうちから、選択用情報を用いて出力対象顔画像を選択する。そして、位置制御部６４は、選択した出力対象画像を、画像切り出し処理及び歪調整処理を加えてから、出力対象画像に映る相手側ユーザに対応した表示領域１３ａ，１３ｂに表示させる。

また、上記第１及び第２実施形態においては、表示領域１３ａ，１３ｂに表示させる表示対象顔画像のサイズをユーザＵの両眼の瞳孔の三次元位置に応じて補正する機能を有していてもよい。

すなわち、第１実施形態の顔画像処理装置１においては、ユーザＵに相手側ユーザが同じ位置（例えば表示領域１３ａ，１３ｂの画像面Ｇ_２上）にいるように見せるためには、位置制御部６４が、相手側ユーザ側の対向装置で検出された左右の瞳孔の三次元座標を基に、画像面Ｇ_２に投影される画像のサイズを相手側ユーザの両眼の位置関係に対応するように設定してもよい。例えば、図１２に示すように、本変形例の位置制御部６４は、相手側ユーザの左右の瞳孔の三次元位置を基にそれらの中点の位置Ｍ_３を算出する。そして、位置制御部６４は、その中点Ｍ_３を通り、表示対象顔画像を撮像した対向装置側のカラーカメラ１０３の撮像面１０３ａに平行な平面Ｓ２の位置と、カラーカメラ１０３から各瞳孔に向いた直線Ｌ_３，Ｌ_４の位置とを求め、さらに、この平面Ｓ２と各直線Ｌ_３，Ｌ_４との交点Ｐ_３，Ｐ_４の三次元位置を求める。そして、位置制御部６４は、交点Ｐ_３，Ｐ_４の２つの三次元位置の間の距離を求め、その距離とユーザＵの見ている画像上の相手側ユーザの瞳孔間距離とが等しくなるように、投影画像のサイズを設定する。具体的には、位置制御部６４は、投影する表示対象顔画像上の左右の瞳孔の座標が既知であるので、それらの座標間の距離が交点Ｐ_３，Ｐ_４から計算した距離と等しくなるように投影画像のサイズを変更すればよい。このとき、位置制御部６４は、表示対象顔画像から図５に示すような投影対象の画像Ｇ_１を切り出す際には、その画像Ｇ_１の範囲の幅を、Ｐ_３，Ｐ_４の三次元位置の間の距離を基にして、相手側ユーザの頭部全体が入り、かつ、投影画像上の瞳孔間の距離がその距離と等しく見えるように、設定するとよい。このような変形例によれば、相手側ユーザが頭部を回転させてカメラに映る瞳孔間の距離が変化したような場合でも、ユーザＵにとって相手側ユーザがあたかも表示画像上の位置に存在しているように感じさせることができる。

また、第２実施形態においては、表示用ディスプレイ５が表示領域１３ａ，１３ｂにおいてユーザＵＡ，ＵＢに向かう２つの方向に異なる画像を表示可能に構成されていてもよく、位置制御部６４によって表示領域１３ａ、１３ｂにおいて２つの方向に異なる表示対象顔画像を表示させるように制御されてもよい。

具体的には、表示用ディスプレイ５として、画面上の画素群のそれぞれが２つの方向に映像を投影可能なステレオディスプレイ（立体ディスプレイともいう。）の構成を採用する。このようなステレオディスプレイとしては、インターネットＵＲＬ：http://gigazine.net/news/20160527-3d-tv-nhk2016（２０１７年１月１８日検索）に開示された立体テレビの技術を利用する。そして、位置制御部６４は、ユーザＵＤに対応する表示領域１３ａ（図１０参照）において、ユーザＵＡの方向には、対向装置３０１から出力された出力対象顔画像として、ユーザＵＡの瞳孔位置を基に歪調整された顔画像を表示すると同時に、ユーザＵＢの方向には、対向装置３０１から出力された出力対象顔画像として、ユーザＵＢの瞳孔位置を基に歪調整された顔画像を表示するように制御する。また、位置制御部６４は、ユーザＵＤに対応する表示領域１３ａにおいて、ユーザＵＡの方向とユーザＵＢの方向のそれぞれに向けて、対向装置３０１から出力された出力対象顔画像から選択された異なる表示対象顔画像を同時に表示するように制御してもよい。例えば、図１０の例によれば、ユーザＵＡに対しては、ユーザＵＤの正面のカラーカメラによって撮影されたユーザＵＤの顔画像を表示し、ユーザＵＢに対しては、ユーザＵＤの斜め方向のカラーカメラによって撮影されたユーザＵＤの顔画像を表示するようにしてもよい。このようにすれば、ユーザＵＡに対してはユーザＵＤが正対するように感じさせることができ、ユーザＵＢに対してはユーザＵＤがユーザＵＡに向いているように感じさせることができる。その結果、コミュニケーション時の臨場感がアップする。

また、上記第１及び第２実施形態においては、顔画像処理装置１が、出力対象顔画像、ユーザＵの瞳孔の位置情報、及び選択用情報等を、同時に複数の対向装置に送信する際には、マルチキャスト通信を用いて送信することが好適である。

また、上記第１及び第２実施形態においては、表示用ディスプレイ５及び位置制御部６４が、２つの表示領域１３ａ，１３ｂに分割して表示対象画像を表示可能に構成され、それらの２つの表示領域１３ａ，１３ｂに対応して２つのカラーカメラ３ａ，３ｂが設けられていたが、表示領域及びそれに対応したカメラの数は特定数には限定されず、３以上であってもよい。また、表示用ディスプレイ５及び位置制御部６４は、相手側ユーザの顔画像に加えて、カラーカメラ３ａ，３ｂによって撮像されるユーザＵの顔画像を並べて表示可能に構成されていてもよい。

このように表示用ディスプレイ５に３以上の表示領域を表示可能に構成されている場合は、いずれかの表示領域に表示される表示対象顔画像が強調表示されてもよい。

例えば、第１及び第２実施形態の変形例として、位置制御部６４は、図１３に示すように、６つの複数の表示領域１３ａ〜１３ｇのそれぞれに表示対象顔画像を表示させるように制御する。これらの表示領域１３ａ〜１３ｆのそれぞれは、予め他ユーザＵ１〜Ｕ６の表示対象顔画像の表示用として割り当てられている。位置制御部６４は、１以上の対向装置から入力された他ユーザＵ１〜Ｕ６の顔画像を、それぞれに割り当てられた表示領域１３ａ〜１３ｆに表示させるように制御する。表示領域１３ａ〜１３ｆの中央には、表示領域１３ａ〜１３ｆよりも目立つようにサイズの大きい表示領域１３ｇが設定されている。そして、これらの表示領域１３ａ〜１３ｇの対応する位置に、ユーザＵのユーザ顔画像を撮像するカラーカメラ３ａ〜３ｇがそれぞれ設けられる。ここで、位置制御部６４は、視線方向算出部６３によってユーザＵの視線方向を基に算出された表示用ディスプレイ５上の注視点を用いて、ユーザＵの視線方向が示す注目表示領域を、表示領域１３ａ〜１３ｆのうちから特定する。具体的には、位置制御部６４は、ユーザＵの注視点が、一定時間（例えば、０．５秒以上）継続して位置する表示領域１３ａ〜１３ｆを、注目表示領域として特定する。一定時間継続するかで注目表示領域を特定するのは、ユーザＵの視線のふらつきによる表示領域の頻繁な切り替わりを防止して、顔画像表示の安定動作を図るためである。安定動作を図るための別の方法としては、移動平均を施したユーザの注視点が位置する表示領域１３ａ〜１３ｆを、注目表示領域として特定してもよい。そして、位置制御部６４は、注目表示領域を特定した際には、その注目表示領域に表示されているユーザの表示対象顔画像を拡大（強調）して表示領域１３ｇにも同時に表示させるように制御する。図１３には、注目表示領域として表示領域１３ｅが特定され、表示領域１３ｅに表示されている顔画像が同時に表示領域１３ｇにも表示されている例を示している。

このような変形例によれば、ユーザＵがコミュニケーションを図りたい相手の他ユーザの顔画像に視線を向けるだけで、その他ユーザの顔画像が強調表示される。その結果、コミュニケーションしたい他ユーザの表情が見やすくなりコミュニケーションが円滑化される。なお、表示領域１３ｇにおける顔画像の切り替わりをユーザＵに把握させやすくするためには、位置制御部６４は、注目表示領域を特定した際に、注目表示領域として特定された表示領域１３ｅの顔画像を、拡大させながら中央の表示領域１３ｇに向けて移動させるようにアニメーション化して表示させてもよい。さらに、位置制御部６４は、表示領域１３ｅを注目表示領域として特定した後に、表示領域１３ｆを注目表示領域として特定した際には、それまで中央の表示領域１３ｇに表示されていた顔画像を、縮小させながら表示領域１３ｅに向けて移動させるようにアニメーション化して表示させてもよい。このような制御により、ユーザＵが顔画像の切り替わりを容易に認識することができる。

また、上記の変形例において、表示領域１３ａ〜１３ｆのそれぞれに対する他ユーザＵ１〜Ｕ６の表示対象顔画像の割り当ては、ユーザＵの操作によって変更可能にされていてもよい。すなわち、位置制御部６４は、外部からのマウス等の入力装置を用いたドラック入力により、他ユーザＵ１〜Ｕ６の顔画像の表示位置を、表示領域１３ａ〜１３ｆの間で変更可能に構成されてもよい。より詳細には、表示領域１３ａから表示領域１３ｂに向けてのドラック入力を検出した場合は、位置制御部６４は、表示領域１３ａに割り当てられていたユーザＵ１を表示領域１３ｂに切り替えるように動作する。この際、ユーザＵによるマウスを用いた操作が困難な場合には、本発明者らによる文献「瞳孔マウスの提案」（第１０回画像センシングシンポジウム講演論文集, Ｂ−２８, ｐｐ．１６７−１７２， ２００４）に開示された瞳孔マウスの技術、又は、本発明者らによる文献「注視点検出法と瞳孔マウスの組み合わせによるPC入力法の提案」（ViEW2011ビジョン技術の実利用化ワークショップ, OS1-H1(IS1-A1), 7pages， 2012）に開示された視線と瞳孔マウスとを組み合わせた入力技術を用いて、ドラック入力が検出されてもよい。

また、位置制御部６４は、上述した注目表示領域の特定、又は表示領域１３ａ〜１３ｆの割り当ての変更を、瞳孔マウスによる入力、または検出したユーザＵの顔方向を基に実行可能に構成されていてもよい。ただし、位置制御部６４は、瞳孔マウスまたは顔方向によって示される入力位置にカーソル等の視標を表示させることが好適である。瞳孔マウスを利用する場合は、絶対的な基準位置が存在せず、瞳孔の動きの検出量に応じてその量だけ入力位置の移動が制御されるため、カーソルが存在しないと入力位置が分かりにくい。顔方向を利用する場合にもカーソルが存在しないと入力位置が分かりにくい。カーソルが表示されることにより、ユーザＵにとって入力されている位置が明確化される。ただし、常にカーソルが表示されているとユーザＵにとって顔画像の視認性が低下するので、位置制御部６４は、中央の表示領域１３ｇの中に入力位置が認識されている際にはカーソルを表示させないように制御し、入力位置が中央の表示領域１３ｇの外側に移動した際にその入力位置にカーソルを表示させるように制御することが好適である。

さらに、位置制御部６４は、図１４に示すように、６つの複数の表示領域１３ａ〜１３ｆに表示されている他ユーザＵ１〜Ｕ６の表示対象顔画像のうち、ユーザＵの顔画像に視線を向けている他ユーザの顔画像を強調表示させるように制御してもよい。このような変形例では、情報出力部６２が、ユーザＵの視線方向に基づく注視点を用いて、ユーザＵの視線方向が示す注目表示領域を、表示領域１３ａ〜１３ｆのうちから特定する。そして、情報出力部６２は、特定した注目表示領域に割り当てられている他ユーザＵ１〜Ｕ６の使用する対向装置に対して、ユーザＵの出力対象画像とともに、注目表示領域として特定された結果が出力される。出力される結果としては、注目表示領域に視線を向けているユーザＵを識別する情報等が挙げられる。一方、位置制御部６４は、対向装置から、他ユーザＵ１〜Ｕ６に関する表示対象顔画像とともに、ユーザＵに割り当てられている表示領域が注目表示領域として特定された結果が出力された場合には、その特定結果によって識別されるいずれかの他ユーザＵ１〜Ｕ６の顔画像を強調表示させるように制御する。図１４では、表示領域１３ａ，１３ｄが割り当てられたユーザＵ１，Ｕ４の使用する対向装置から特定結果が出力された結果、それらのユーザＵ１，Ｕ４の顔画像が表示領域１３ａ，１３ｄにおいて太線で囲まれて強調表示された例を示している。ここでの強調表示は、顔画像を点滅させるような表示であってもよいし、外枠の色を変えるような表示であってもよい。このような制御により、ユーザＵに対してコミュニケーションを求めている他ユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

１，１Ａ…顔画像処理装置、３ａ，３ｂ…カラーカメラ（撮像部）、４…視線方向検出部、５…表示用ディスプレイ（画像表示部）、６，６Ａ…プロセッサ（制御部）、１３ａ，１３ｂ…表示領域、６１…情報入力部、６２，６２Ａ…情報出力部、６３…視線方向算出部（視線方向検出部）、６３，６３Ａ…視線方向算出部、６４…位置制御部、１０１，２０１，３０１…対向装置（外部装置）、Ｕ，ＵＡ，ＵＢ…ユーザ（自ユーザ）、Ｕ１，Ｕ２，ＵＣ，ＵＤ…相手側ユーザ（他ユーザ）。

Claims (11)

1. 自ユーザの顔画像を取得して外部装置に出力し、他ユーザの顔画像を前記外部装置から取得して表示する顔画像処理装置であって、
   自ユーザの視線方向あるいは顔方向を検出する方向検出部と、
   前記外部装置から取得した複数の他ユーザの顔画像である複数の表示対象顔画像を複数の表示領域ごとに分割して表示する画像表示部と、
   前記画像表示部の前記複数の表示領域のそれぞれに対応して配置され、前記自ユーザの顔の画像であるユーザ顔画像を撮像する複数の撮像部と、
   前記画像表示部における前記複数の表示対象顔画像の表示状態を制御するとともに、前記自ユーザの視線方向あるいは顔方向に一致する表示領域に対応して配置された前記撮像部によって取得された前記ユーザ顔画像である出力対象顔画像を、少なくとも出力する制御部とを備え、
   前記制御部は、前記外部装置から前記出力対象顔画像として出力された前記他ユーザの顔画像を取得し、当該顔画像を前記表示対象顔画像として当該他ユーザに対応した前記表示領域に表示させるように制御する、
   顔画像処理装置。
2. 前記制御部は、前記複数の撮像部によって撮像された複数のユーザ顔画像のうち、前記視線方向あるいは顔方向に一致する表示領域に対応して配置された前記撮像部によって取得されたユーザ顔画像を選択し、当該ユーザ顔画像を前記出力対象顔画像として出力する、
   請求項１記載の顔画像処理装置。
3. 前記制御部は、前記複数の撮像部によって撮像された複数の前記ユーザ顔画像と、複数の前記ユーザ顔画像から前記出力対象顔画像を選択するための選択用情報とを出力し、前記外部装置から出力された複数の前記ユーザ顔画像のうちから、前記外部装置から出力された前記選択用情報を基に前記表示対象顔画像を選択し、当該表示対象顔画像を前記他ユーザに対応した前記表示領域に表示させるように制御する、
   請求項１記載の顔画像処理装置。
4. 前記方向検出部は、前記自ユーザの両眼の三次元位置をさらに検出し、
   前記制御部は、前記表示対象顔画像を前記両眼の三次元位置に応じて補正し、補正した前記表示対象顔画像を表示させるように制御する、
   請求項１〜３のいずれか１項に記載の顔画像処理装置。
5. 前記制御部は、前記表示対象顔画像のサイズを前記外部装置で算出された前記他ユーザの両眼の三次元位置に応じて補正する、
   請求項４記載の顔画像処理装置。
6. 前記制御部は、前記表示対象顔画像を前記両眼の三次元位置に応じて歪調整するように補正する、
   請求項４又は５記載の顔画像処理装置。
7. 前記画像表示部は、前記表示領域において複数の方向に異なる画像を表示可能に構成されており、
   前記制御部は、前記外部装置から前記他ユーザの顔画像を複数取得し、当該他ユーザに対応する前記表示領域において、前記複数の他ユーザの顔画像のいずれかを、前記複数の方向に表示させるように制御する、
   請求項１〜６のいずれか１項に記載の顔画像処理装置。
8. 前記制御部は、前記外部装置から取得された前記出力対象顔画像を、前記複数の方向のそれぞれに応じて歪調整し、歪調整した前記出力対象顔画像を前記複数の方向のそれぞれに表示させるように制御する、
   請求項７記載の顔画像処理装置。
9. 前記制御部は、前記方向検出部によって検出された前記視線方向を基に、前記複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、前記注目表示領域に表示させる前記他ユーザの顔画像を強調表示させるように制御する、
   請求項１〜８のいずれか１項に記載の顔画像処理装置。
10. 前記制御部は、前記方向検出部によって検出された前記視線方向を基に、前記複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、前記注目表示領域に対応する他ユーザの使用する外部装置に対して、前記出力対象顔画像とともに前記特定の結果を出力し、
    前記外部装置から、前記他ユーザの顔画像とともに前記特定の結果を取得した場合には、前記他ユーザの顔画像を強調表示させるように制御する、
    請求項１〜９のいずれか１項に記載の顔画像処理装置。
11. 前記制御部は、外部からのドラック入力により、複数の前記他ユーザの顔画像の表示位置を、前記複数の表示領域の間で変更可能に構成される、
    請求項１〜１０のいずれか１項に記載の顔画像処理装置。

Images