JP2008129775A - 表示制御装置、表示装置、表示制御方法 - Google Patents

Abstract

【課題】小型の機器においてもユーザの視線を正確に推定し、推定した視線方向に応じて表示画面を制御することにより、ユーザに違和感を与えることなくユーザの見たい情報を優先的に表示できる利便性の高い表示制御装置を提供する。
【解決手段】表示制御装置を、ユーザの身体の部位の位置にかかる情報を取得する検出部１、検出部１によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定すると共に、設定されたパターンの変化を検出する変換パラメータ決定部２、検出された当該変化の状態に基づいて、表示すべき画像を変換する変換部４を備えるよう構成する。
【選択図】 図１

Description

本発明は、表示制御装置、表示装置、表示制御方法にかかり、特に比較的小型のディスプレイ画面を使ってディスプレイ画面よりも大きい画像を表示する表示制御装置、表示装置、表示制御方法に関する。

近年、パーソナルコンピュータ等、個人的に使用される通信端末装置の普及率が高まっている。個人的に使用される通信端末装置の多くは、携帯可能に構成されていて、特に小型化の要請が高い。小型の装置に設けられたディスプレイ画面におけるコンテンツの表示方法を工夫して、小型でありながらユーザにとって表示された情報がみやすい、あるいは臨場感があるといった効果を得る手法も提案されている。

情報を見やすく表示する従来技術として、例えば、特許文献１が挙げられる。特許文献１に記載された発明は、移動可能な通信端末装置の向きや姿勢を検出し、通信端末装置の状態に合わせて表示画像を制御する特許文献２に記載された発明がある。特許文献１に記載された発明は、ゲーム機器に用いられ、通信端末装置の姿勢によってユーザの視点を決定し、決定した視点から見た画像をディスプレイ画面に表示する。
このような特許文献２に記載された発明によれば、ユーザに対し、ディスプレイ画面を通して実空間を見ているような臨場感を与えることができる。
２００６−３１５１５号公報

しかしながら、上記した特許文献１は、通信端末装置の向きや姿勢等によってのみ画像を制御すると、ユーザの視線と通信端末装置の向き等が一致しない場合には、画像がユーザの意に反して動くことになり、ユーザに違和感を与える可能性がある。
また、ユーザの視点の検出は、一般的にユーザをカメラ等で撮影し、撮影された画像を処理してユーザの目の位置等を抽出することによってなされる。視線を正確に検出するためには、ユーザをディスプレイ画面の方向からのみでなく、横方向から撮影した画像をも使うことが望ましい。

しかしながら、特許文献１に記載されているような小型のディスプレイを持った機器にユーザを複数の方向から撮影するシステムを取り付けることは困難である。このため、小型の機器にあっては、ユーザの視線方向を正確に検出することが難しく、このためにユーザの視線方向と表示される画像との間にずれが生じてユーザに違和感を与えるおそれがある。

本発明は、以上述べた点に鑑みてなされたものであって、小型の機器においてもユーザの視線を正確に推定し、推定した視線方向に応じて表示画面を制御することにより、ユーザに違和感を与えることなくユーザの見たい情報を優先的に表示できる利便性の高い表示制御装置、表示装置及び表示制御方法を提供することを目的とする。

以上の課題を解決するため、本発明の請求項１の表示制御装置は、ディスプレイ画面に表示される画像を制御する表示制御装置であって、ユーザの身体の部位の位置にかかる情報を取得する特徴部位情報取得手段と、前記特徴部位情報取得手段によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定するパターン設定手段と、前記パターン設定手段によって設定されたパターンの変化を検出するパターン変化検出手段と、
前記パターン変化検出手段によって検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換手段と、を備えることを特徴とする。このような発明によれば、ユーザの身体の部位の位置にかかる情報を取得し、この部位の位置に基づいて所定のパターンを設定することができる。そして、設定されたパターンの変化を検出し、当該変化の状態に基づいて、表示すべき画像を変換することができる。したがって、単に部位の位置のみでなく、部位同士の位置関係に基づいてユーザとディスプレイ画面との位置関係を判定することができる。このため、人間の目等という比較的小さな部位の位置そのものの移動を検出するのでなく、より大きなパターンの変形からユーザとディスプレイ画面との位置関係を判定することができる。また、ユーザを正面の一方向から撮影した画像からユーザとディスプレイ画面との位置関係を判定することができる。このような本発明は、比較的小型のディスプレイ画面を使った表示装置に適用しても、ユーザの視線の検出精度を高めることができる。

また、本発明の請求項２に記載の表示制御装置は、請求項１に記載の発明において、画像を蓄積する画像蓄積手段をさらに備え、前記画像変換手段が、前記パターンの変化の状態に基づいて変換された変換画像が前記画像蓄積手段に蓄積されている場合、前記画像蓄積手段から変換画像を取得し、変換画像が前記画像蓄積手段に蓄積されていない場合、前記画像蓄積手段に蓄積されている画像を変換することを特徴とする。このような発明によれば、蓄積されている変換画像をそのまま使用することができるので、変換が必要な都度画像を変換する処理を省き、処理効率を高めることができる。また、全ての変換画像を蓄積しておく必要がなく、蓄積手段の容量が使用頻度の少ない変換画像をも保存するために大型化することを防ぐことができる。

また、本発明の請求項３に記載の表示制御装置は、請求項１または２に記載の発明において、前記パターン設定手段が、前記特徴部位情報取得手段によって取得された少なくとも３つの部位の位置に基づいて所定のパターンを設定することを特徴とする。このような発明によれば、最小限の特徴部位を使い、ユーザの顔を正面から見た画像だけを使ってユーザの顔の向きを認識することができる。

また、本発明の請求項４に記載の表示制御装置は、前記特徴部位情報取得手段は、ユーザの身体の部位を撮影した画像から前記部位の位置の情報を検出する検出手段を含むことを特徴とする。このような発明によれば、ユーザをリアルタイムで撮影し、ユーザの視線や姿勢に応じて変換された画像をユーザに提供することができる。
また、本発明の請求項５に記載の表示制御装置は、請求項１または２に記載の発明において、前記特徴部位情報取得手段が、ユーザの身体の部位の位置の情報を入力する入力手段を含むことを特徴とする。このような発明によれば、予め抽出されたユーザの身体の部位の情報を入力することができるので、身体の部位の移動等を検出する構成を小型、簡易化でき、ひいては表示制御装置を備える表示装置を小型化することができる。

また、本発明の請求項６に記載の表示制御装置は、請求項1から請求項５のいずれか１項に記載の発明において、前記特徴部位情報取得手段が、取得されたユーザの身体の部位の位置の情報のうち、所定の閾値以上の位置の移動のみを移動と判定することを特徴とする。このような発明によれば、固視微動のような微小な視線の動きが表示画像に反映されることを防ぎ、ユーザに与える違和感を抑えることができる。

また、本発明の請求項７に記載の表示制御装置は、請求項1から請求項５のいずれか１項に記載の発明において、前記特徴部位情報取得手段は、取得されたユーザの身体の部位の位置の情報のうち、所定の時間内に検出された位置の移動量の平均値を前記所定の時間後の移動量と判定することを特徴とする。このような発明によれば、固視微動のような微小な視線の動きが計算において打ち消され、微細な動きが表示画像に反映されることを防ぎ、ユーザに与える違和感を抑えることができる。

また、本発明の請求項８に記載の表示装置は、ディスプレイ画面と、前記ディスプレイ画面に表示された画像を視認するユーザの身体の部位の位置にかかる情報を取得する特徴部位情報取得手段と、前記特徴部位情報取得手段によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定するパターン設定手段と、前記パターン設定手段によって設定されたパターンの変化を検出するパターン変化検出手段と、前記パターン変化検出手段によって検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換手段と、を備えることを特徴とする。このような発明によれば、ユーザの身体の部位の位置に基づいて所定のパターンを設定することができる。そして、設定されたパターンの変化を検出し、当該変化の状態に基づいて、表示すべき画像を変換することができる。したがって、単に部位の位置のみでなく、部位同士の位置関係に基づいてユーザとディスプレイ画面との位置関係を判定することができる。このため、人間の目等という比較的小さな部位の位置そのものの移動を検出するのでなく、より大きなパターンの変形からユーザとディスプレイ画面との位置関係を判定することができる。また、ユーザを正面の一方向から撮影した画像からユーザとディスプレイ画面との位置関係を判定することができる。このような本発明は、比較的小型のディスプレイ画面を使った表示装置に適用しても、ユーザの視線の検出精度を高めることができる。

また、請求項９に記載の表示制御方法は、ディスプレイ画面に表示される画像を制御する画像制御方法であって、ユーザの身体の部位の位置にかかる情報に含まれる身体の部位の位置に基づいて所定のパターンを設定するパターン設定ステップと、前記パターン設定ステップに置いて設定されたパターンの変化を検出するパターン変化検出ステップと、

前記パターン変化検出ステップにおいて検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換ステップと、を含むことを特徴とする。このような発明によれば、ユーザの身体の部位の位置に基づいて所定のパターンを設定することができる。そして、設定されたパターンの変化を検出し、当該変化の状態に基づいて、表示すべき画像を変換することができる。したがって、単に部位の位置のみでなく、部位同士の位置関係に基づいてユーザとディスプレイ画面との位置関係を判定することができる。このため、人間の目等という比較的小さな部位の位置そのものの移動を検出するのでなく、より大きなパターンの変形からユーザとディスプレイ画面との位置関係を判定することができる。また、ユーザを正面の一方向から撮影した画像からユーザとディスプレイ画面との位置関係を判定することができる。このような本発明は、比較的小型のディスプレイ画面を使った表示装置に適用しても、ユーザの視線の検出精度を高めることができる。

以上述べたように、本発明は、小型の機器においてもユーザの視線を正確に推定し、推定した視線方向に応じて表示画面を制御することにより、ユーザに違和感を与えることなくユーザの見たい情報を優先的に表示できる利便性の高い表示制御装置、表示装置及び表示制御方法を提供することができる。

以下、本発明の実施形態１、実施形態２について説明する。
実施形態１
（表示装置の構成）
図１は、本発明の実施形態１、実施形態２に共通の表示装置の全体構成を示した図である。表示装置は、検出部１と、変換パラメータ決定部２と、蓄積部３と、変換部４と、提示部５と、入力部６と、操作部７と、センサ８とによって構成されている。変換パラメータ決定部２、蓄積部３、変換部４、入力部６、操作部７が表示制御装置を構成し、画像を表示するための提示部５を備えて表示装置を構成している。

なお、本明細書では、表示装置に表示される図画、文字、写真等、あるいはこの組合せを全て画像と記すものとする。さらに、画像は、静止画像であっても動画像であってもよい。
検出部１は、図示しないセンサから、ユーザの身体の部位の位置にかかる情報を取得する。センサ８は、可視光カメラや赤外線照射による撮影装置といった撮影装置であって、検出部１は、撮影された画像から特にユーザの目の位置や頭部位置の検出を行う。なお、実施形態１では、センサ８が提示部５から見たユーザの正面の画像を撮影するものだけでよく、提示部５が設けられている面と同一の面に唯一も受けられたＣＣＤ（Charge Coupled Device）カメラ等によって実現できる。ただし、センサ８はこのような構成に限定されるものでなく、表示装置と別個に設けられるものであってもよい。

このような本実施形態は、携帯電話機等の小型の機器において、ユーザの視線を検出可能な構成を設けることに適したものといえる。
検出部１は、センサ８によって撮影された画像を取り込んで画像処理し、ユーザの顔の特徴部位を検出する。画像処理では、赤外線照射時の反射像を撮影することによるユーザの視線方向を検出することができる。さらに、撮影された画像から顔モデルを作成することにより、頭部位置や目の位置を検出することができる。なお、以上の検出は、周知の技術によって実現できるため、これ以上の説明を省くものとする。

また、実施形態１の表示装置は、ユーザの顔の特徴部位や視線の情報を検出部１によって検出するものに限定されるものではない。例えば、カメラ等で撮影されたユーザの画像からユーザの目の位置や頭部位置、視線を別個の情報処理装置で予め検出しておき、ユーザの身体の部位の位置の情報をユーザ情報として入力することも可能である。実施形態１の表示装置は、ユーザ情報を入力するための入力部６を備えている。

操作部７は、ユーザが表示装置に指示を入力するために操作されるボタンやタッチパネル等である。ユーザは、画像の提示方法を決定する場合にも、操作部７を介して決定した提示方法を表示装置に入力する。
変換パラメータ決定部２は、検出部１によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定する。実施形態１では、部位の位置に関する情報を、以降検出情報とも記すものとする。

また、変換パラメータ決定部２は、検出部１が出力する検出情報、または入力部６から入力されたユーザ情報に基づいて画像の変換パラメータを決定する。変換パラメータは、ユーザの目の位置の移動の状態や、設定されたパターンの変化の状態に基づいて決定される。変換パラメータには、移動させるべき画像の距離や画像の回転角度があって、画像は変換パラメータにしたがって変換される。変換パラメータの決定の方法は、後で詳細に説明するものとする。

蓄積部３は、コンテンツを蓄積しておく構成である。なお、本明細書では、コンテンツを視聴可能な画像や音楽といった情報全般を指すものと定義し、コンテンツに含まれる各画像を単位として変換がされるものとして説明をする。
変換パラメータ決定部２は、パターンの変化の状態に基づいて蓄積部３に蓄積されているコンテンツに含まれる画像を変換する。また、実施形態１では、変換後の画像を変換パラメータに対応させて蓄積部３に蓄積しておくものとする。このように構成することで、一度変換された画像を再度表示する場合、変換処理が省けて処理の効率を高めることが可能になる。

蓄積部３は、変換された変換画像と、変換の基となる画像（モデル画像）とをコンテンツごとに保存している。変換画像を管理するため、蓄積部３は、変換パラメータに対応するコンテンツの管理テーブルを有している。図２は、蓄積部３の管理テーブルを例示した図である。図示した管理テーブルでは、例えば、変換パラメータθａに対応して三次元のコンテンツに含まれるモデル画像を正面から６ａ回転した角度から見た変換画像が蓄積されている。

変換パラメータ決定部２は、決定した変換パラメータに対応する変換画像を検索し、該当する変換画像が蓄積部３内にある際は該当する変換画像を提示部５に渡す。該当する変換画像が蓄積部３にない場合、モデル画像を変換部４に渡す。
蓄積部３は、表示装置に内蔵されているメモリであってもよいし、通信網を介したサーバであってもよい。
変換部４は、蓄積部３から受け取ったモデル画像を、変換パラメータ決定部２で得られた変換パラメータにしたがって変換する。

提示部５は、変換パラメータ決定部２あるいは蓄積部３の出力に応じて画像を提示する。提示部５には既存のディスプレイ画面を用いることができる。また、提示部５は、ディスプレイ画面と、ディスプレイ画面の表示を制御する構成とを含む概念を指すものとする。
以上述べた構成において、検出部１、入力部６が特徴部位情報取得手段として機能する。変換パラメータ決定部２はパターン設定手段及びパターン変化検出手段として機能する。変換部４は画像変換手段、蓄積部３は、実施形態１の蓄積手段に相当する。

（処理）
次に、以上述べた構成の表示装置によって実行される処理について説明する。
・１ 考え方
図３は、実施形態１の表示装置によってなされる処理の概略を説明するための図である。実施形態１では、携帯電話機等の小型の表示装置６２を想定し、表示装置６２のディスプレイ画面６２ａの奥に大きなディスプレイ画面６１があると仮定する。ユーザは、ディスプレイ画面６２ａを通してディスプレイ画面６１を見ているものとする。

このような場合、ユーザには、視線方向を示す矢線６５の先にあるディスプレイ画面６１の部分だけが見えている。一般に、人間は、見たいと思う部分に視線を移動するため、矢線６５の先にはユーザが見たい部分があることと、この部分がディスプレイ画面６２ａ上にあるものとし、ユーザの目とディスプレイ画面６２ａを結ぶ線６４を視線であると推定する。このような方法によれば、ユーザの目の位置情報のみから視線方向を推定することができる。

・２−Ｉ ユーザとディスプレイ画面との距離の判定と画像変換
実施形態１では、センサ８によって撮影された画像からユーザの目の画像を抽出し、周知の技術によって矢線６４で示す視線を推定する。
ただし、提示部５から見たユーザの画像のみを使う実施形態１では、ユーザとディスプレイ画面６２ａとの距離をユーザの横方向から見て判定することはできない。このため、実施形態１では、次のようにしてパターンを作成し、ユーザの目とディスプレイ画面６２ａとの距離を推定している。

図４（ａ）、（ｂ）は、センサ８によって撮影されたユーザを正面から見た画像のみを使ってユーザの目とディスプレイ画面６２ａとの距離を推定するための方法を説明するための図である。実施形態１では、検出部１が、ユーザの画像８１から両目の位置を検出する。そして、両目と両目との間隔８１ａを判定し、間隔８１ａの長さを示す直線をパターンとして設定する。そして、このパターンの長さの変化によって図３に示したｚ軸方向のユーザの目の移動量を推定する。

すなわち、センサ８によって時刻ｔ−１に（ａ）に示す画像が撮影され、時刻ｔにおいては（ｂ）に示す画像が撮影された場合、検出部１は、両目の間隔の変化量△ｘを用い、次式（１）により、図３に示したｚ軸方向の移動量を推定する。
△ｚ＝β（△ｘ（ｔ）−△ｘ（ｔ−１）） …（１）
上記した式（１）において、βは変数であり、βを調節することによって△ｘと△ｚを対応付けることができる。

また、実施形態１では、Δｘが増加した場合にはユーザがディスプレイ画面６２ａに顔を近づけた、すなわちユーザとディスプレイ画面６２ａとのｚ方向の距離が短くなったとし、画像の表示範囲を縮小するよう変換する。また、表示範囲の縮小に伴って、画像を拡大して表示してもよい。反対に、Δｘが減少した場合にはユーザがディスプレイ画面６２ａから顔を遠ざけた、すなわちユーザとディスプレイ画面６２ａとのｚ方向の距離が長くなったとし、画像の表示範囲を拡大するよう変換する。また、表示範囲の拡大に伴って、画像を縮小して表示してもよい。

なお、画像の拡大、縮小の程度は、コンテンツの画像を式（１）によって求められる△Ｚ（＝α△ｚ）分だけ平行移動させた場合にユーザが見る画像の変化に合わせて決定される。このようにすれば、実施形態１の表示装置は、図３に示したように、ディスプレイ画面６２ａを通してディスプレイ画面６１に表示されているコンテンツを見ているような臨場感をユーザに与えることができる。

・２−ＩＩ 視線と画像変換
次に、ユーザの視線のｘ軸方向、ｙ方向の移動と画像の変換との関係について説明する。
図５は、（ａ）に示したコンテンツの画像を、（ｂ）〜（ｅ）に示した視線に基づいて変換した場合に得られる画像を示した図である。検出部１は、画像からユーザの目の位置を抽出し、この位置の変化をｘ方向、ｙ方向についてそれぞれ検出する。変換パラメータ決定部２は、検出されたｘ方向の変化Δｘ、ｙ方向の変化Δｙに基づいて、変換パラメータ（△Ｘ，△Ｙ，△Ｚ，Ｒ）を決定する。

図４（ｂ）〜（ｄ）は、視線が移動している様子を示しており、（ｂ）〜（ｃ）は視線のｘ方向への移動、（ｅ）はｙ軸方向の視線の移動を示している。視線がｘ軸方向に△ｘ動くことによって、画像はΔＸ平行移動する。視線移動量△ｘは、式（２）に示すように、画像移動量ΔＸに変換される。αは表示装置や仕様、コンテンツに応じて決まる変数であり、α＝１であれば画像は実空間と同量に変化し、αを変えるよって仮想空間内の画像の移動量を調節することができる。
ΔＸ＝α△ｘ …（２）
同様に、視線がｙ軸方向に△ｙ動くことによって、画像はΔＹ平行移動する。視線移動量△ｙは、式（３）に示すように、画像移動量ΔＹに変換される。
ΔＹ＝α△ｙ …（３）

次に、ユーザの視線が回転を伴う場合の視線と画像変換との関係について説明する。視線の回転は、ユーザが画像を中心にして回転する、いわゆる回り込み、ユーザの位置は固定した状態で視線だけを回転させる、いわゆる見渡しなどによって起こり得る。
図６は回り込みの場合の画像変換を説明するための図であり、図７は見渡しの画像変換を説明するための図である。図６、図７のいずれにおいても、コンテンツは画像を三次元で表示する三次元コンテンツである。また、図６（ｂ）〜（ｄ）、図７（ｂ）〜（ｄ）は、ユーザの視線位置に応じた画像表示の一例であり、視線が図６（ｂ）〜（ｄ）、図７（ｂ）〜（ｄ）へ移動している様子を示している。

回り込み、見渡しのいずれにおいても、ユーザの視線を特定するためには、ユーザによって見られている画像の部分の変化、あるいは視線の変化を画像の回転角度θａとして検出する必要がある。実施形態１は、前記したように、ユーザを正面から見た画像だけを使ってユーザの視線を推定する。図８は、実施形態１においてθａを推定する方法を説明するための図である。

実施形態１では、図８に示したように、ディスプレイ画面６２ａと目８２との距離をｄと仮定し、ｘ軸方向の目の動き△ｘから回転角θａを推定する。この回転角θａから回転パラメータＲを、以下の式（４）を用いて決定する。なお、回転パラメータＲは、視線の回転量に対応して決定される三次元コンテンツ中の画像の回転角度である。
θａ＝ａｔａｎ（△ｘ／ｄ） …（４）
なお、ｄは、ユーザの両目の間隔Δｘの長さが所定の範囲にある場合の値を予め設定しておくことができる。そして、Δｘの長さが変化して所定の範囲から外れた場合、この変化を先に示した式（１）を使って調整することも可能である。

回転パラメータＲを使って三次元コンテンツの画像を回転させた場合、仮想空間内におけるユーザの視線はｙ軸周りにθａ分回転する。また、同様に、目がｙ軸方向に移動した場合、式（５）を使ってθａを推定し、ｘ軸周りに画像をθａ分回転させて表示する。
θａ＝ａｔａｎ（△ｙ／ｄ） …（５）

・３ 画像表示範囲の移動の速度
以上述べたように、実施形態１では、画像を変換することにより、コンテンツの画像全体のうちディスプレイ画面６２ａに表示される画像の範囲を移動させることが可能になる。実施形態１では、この移動の速度を変更し、ユーザが画像を見る際の利便性をいっそう高めることが可能である。

図９は、実施形態１において、表示範囲の移動速度を変化させる処理を説明するための図である。実施形態１では、図９に示したように、ディスプレイ画面６２ａを複数のエリアａ１〜ａ４に分割し、エリア内において、ユーザが視線を向けている位置によってコンテンツの画像の表示範囲の移動速度を制御する。各エリア中に記した矢線は、表示範囲の方向を示している。また、実施形態１は、各エリアにおいて、視線が外側にあるほど表示範囲を高速に移動させている。

このような方法により、ディスプレイ画面６２ａ上に表示されている画像のうち、ユーザが見ようとしている方向にある画像が少なくなった場合には高速に表示範囲を移動させることができる。一方、ユーザが見ようとしている方向にある画像が十分ある場合、比較的低速で表示範囲を移動させ、画像を視認する個人差等を充分に吸収することができる。

（表示制御方法）
図１０は、実施形態１の表示制御方法を説明するためのフローチャートである。実施形態１では、画像制御に先立って、コンテンツの正面と表示装置の正面を一致させる。このため、表示装置の電源が○Ｎにされると（Ｓ１０１）、ユーザが選択したコンテンツが表示される（Ｓ１０２）。このとき、三次元コンテンツの正面の画像が表示されていれば（Ｓ１０３：Ｙｅｓ）、そのまま画像を蓄積部３に保存する（Ｓ１０６）。

一方、ステップＳ１０３において、画像の正面と表示装置の正面が一致していないと判断された場合（Ｓ１０３：Ｎｏ）、ディスプレイ画面６２ａと表示される画像との方向の基準を一致させる基準合わせ処理をする（Ｓ１０４）。
図１１は、ステップＳ１０４において実行される基準合わせ処理を説明するための図である。基準合わせ処理は、ディスプレイ画面６２ａの法線方向をｚ軸とし、ディスプレイ画面６２ａのｘ軸、ｙ軸と画像１１１のｘ軸、ｙ軸とを一致させることによって正面を合わせる。このとき、ユーザが、画像を正面に向ける操作などをすることによって正面の画像がディスプレイ画面６２ａに表示される。

画像の正面とディスプレイ画面６２ａの正面とが一致し、正面の画像が決定すると（Ｓ１０５）、この画像が蓄積部３に保存される（Ｓ１０６）。
図１２は、図１０で説明した処理の後、実施形態１の表示装置が実行する処理を説明するためのフローチャートである。検出部１は、センサ８によって撮影された画像からユーザの両目の位置を座標（ｘ，ｙ）として順次検出する（Ｓ１２１）。両目の座標（ｘ，ｙ）を検出することによって、ユーザの視線の移動が検出できる。

変換パラメータ決定部２は、視線の移動の状態から、画像をどのように変換するか判定する。変換方法としては、図５で説明した画像の左右の平行移動、図４で説明した画像の拡大・縮小、図６で説明した回り込み、図７で説明した空間の見渡しがある。
変換を自動でする場合、変換パラメータ決定部２は、変換パラメータを決定する（Ｓ１２２）。なお、この際、ユーザの目とディスプレイ画面６２ａとの距離を求める場合には、両目の間隔を示す直線をパターンとし、このパターンの長さに基づいて変換パラメータを決定する。

次に、変換パラメータ決定部２は、決定した変換パラメータによって変換済みのコンテンツが蓄積部３に蓄積されているか否かを判断する（Ｓ１２３）。この判断は、図２に示した管理テーブルを変換パラメータ決定部２が検索することによって行われる。変換済みのコンテンツの画像がある場合、このコンテンツに含まれる必要な画像を表示する（Ｓ１２５）。

また、変換された必要な画像がない場合、変換パラメータ決定部２は、モデル画像及び変換パラメータを変換部４に渡す。変換部４は、必要な画像を変換パラメータに応じて変換する（Ｓ１２４）。
以上述べたフローチャートにおいて、ステップ１２２がパターン設定ステップ及びパターン変化検出ステップに相当する。また、ステップ１２４が画像変換ステップに相当する。
変換された画像は、提示部５に渡されて表示される（Ｓ１２５）。

例えば、コンテンツが三次元コンテンツの場合、コンテンツに含まれる画像を−θａ回転させるよう変換の処理をすることができる。また、コンテンツが二次元コンテンツの場合、θａに合わせて画像を投影させる、あるいは視線の移動距離△ｘ、△ｙ、△ｚに合わせて画像を平行移動させる。
画像変換を自動的に行う場合、実施形態１の表示装置は、視線をコンテンツを操作するコマンドとして利用することができる。また、視線の移動方向と逆の方向にコンテンツを移動させることによって、表示装置のディスプレイ画面を、コンテンツを覗き込む「窓」として利用することもできる。

なお、実施形態１は、主に自動的に画像を変換する例について説明したが、実施形態１は、このような構成に限定されるものではない。例えば、画像の表示範囲の移動や回り込み、見渡しといった画像の変換方法をユーザが操作部７を介して表示装置に入力してもよい。また、この場合にも、ユーザが指定した移動等の量や回り込み等の回転角度は、ユーザの視線の移動量に基づいて自動的に決定しても良いし、ユーザによるスクロール等の操作によって行うように切換えてもよい。
このように、実施形態１の表示装置は、変換済みのコンテンツがない場合にはコンテンツを変換することにより、変換パラメータに対応してコンテンツを変換して予め保存しておく必要がなく、蓄積部３の容量を抑えることができる。

（ぶれの抑止）
ところで、ユーザの視線に基づいて表示されている画像を制御する場合、視線の微小な変動が画像のいわゆる「ぶれ」を発生させ、ユーザに違和感を与える場合がある。このような問題は、人間の身体が本人の意思とは無関係に微動していて、このために視線にも固視微動と呼ばれる不随意の微動が生じることによって起こる。

実施形態１では、このようなぶれを解消するため、目等の特徴部位あるいはパターンの移動量に閾値を設ける。そして、検出部１が、パターン等の閾値以上の移動のみを移動として判定する。このような手法によれば、特徴部位が閾値以上移動しない場合は画像を変換しないように制御することができるので、固視微動による画像のぶれを解消することが可能になる。
また、視線の微動に伴う画像のぶれは、所定の時間内に取得された視線の位置の平均を現在の位置として用いることによって抑えることができる。また、ユーザの位置情報を時系列で取得していれば、例えばカルマンフィルタを用いてユーザの状態を推定することによって、ユーザの微動によって起こる画像のぶれを防ぐことができる。

実施形態１では、上記した点に鑑み、検出部１が、ユーザの目の位置情報のうち、所定の時間内に検出された位置の移動量の平均値をこの所定の時間後の移動量と判定することができる。このような手法によれば、画像の移動量△Ｘが、式（２）に代えて以下の式（６）によって算出される。なお、式（７）において、ｘ１はある時刻における特徴部位のｘ座標、ｘ２はｔ秒後のｘ座標である。
△Ｘ＝α（ｘ２−ｘ１）／ｔ …（６）

このような手法によれば、過去の一定時間分の移動量の平均をとっておき、ユーザのわずかな動きにより生じるぶれを抑える効果が期待できる。
さらに、実施形態１では、表示装置に加速度センサを取り付け、ユーザの手の動きを検出し、手の動きと逆にコンテンツを動かすことによって、手の細かい動きによるコンテン
ツのぶれを防ぐことができる。このとき、一定の値より小さい手の動きのみを検出すれば、人間の不随意の動きによる画像のぶれを抑えることができる。

（実施形態１の効果）
以上述べたように、実施形態１は、携帯電話のような小さなディスプレイ画面を有する表示装置において、正面から撮影した画像だけを使って視線を推定することができる。また、推定した視線に合わせて表示された画像を変換することにより、ユーザが見たいと思う画像をディスプレイ画面に表示することができる。また、ユーザの視線を、表示されている画像を選択するポインティングデバイス、あるいは画面をスクロールするコマンドとして利用することができる。

また、実施形態１は、視線の向きでディスプレイ画面に表示されている画像を操作することにより、携帯電話のような小さなディスプレイ画面を、コンテンツを見る「窓」の役割として機能させつことが可能になる。すなわち、ユーザは視線を動かすことにより、小型のディスプレイ画面を介してコンテンツの全体像を見ることができる。
したがって、実施形態１では、ディスプレイ画面が小さい場合であっても、ユーザは画像の表示サイズを変えることなく画像の全体を見ることができ、擬似的に大画面を知覚することができる。

また、実施形態１は、視線の方向と同じ方向に画像の表示範囲を移動させるので、画像と視線の位置関係が常に一定に保たれる。このため、ディスプレイ画面が手振れ等によって動いていても、ユーザは画像を固定した状態で見ることができる。このことにより、携帯電話などのモバイル機器で手ぶれが起こった際にも、画像を、ユーザが感じるぶれが少ない状態で表示することができる。
さらに、実施形態１では、表示装置画面とユーザの相対位置を検出しているため、視線を動かすのではなく、表示装置を動かすことによって同じ効果を得ることができる。

（変形例）
また、実施形態１で説明した発明を用い、遠隔地にあるカメラを携帯電話機から視線で操作することも可能である。この場合、カメラは、少なくとも携帯電話機が送信する信号を受信する機能と、受信した信号にしたがって前後、左右、上下、ロール、ピッチ、ヨーといった動作を実行する機能と、動作しながら撮影した画像を携帯電話機に送信する機能を備えることが必要になる。

ユーザは、カメラから送信された信号を受信して、携帯電話機のディスプレイ画面を介してカメラによって撮影された画像を見ることができる。ユーザが見たい方向に視線を移動させると、実施形態１の表示制御装置がユーザの視線から変換パラメータを決定し、変換パラメータをカメラに送信する。カメラは、送信された信号にしたがって撮影される方向を変更し、ユーザの視線の先にある箇所の画像を撮影してユーザに送信する。

このような構成によれば、ユーザは、視線を左右、上下、前後に動かすことによってカメラのパン・チルト・ズームを操作することができる。また、カメラが固定されていない場合、カメラ自体を視線で回転・平行移動させることもできる。視線でカメラを操作することによって広範囲の場所を高い精度で監視することができる。

実施形態２
次に、本発明の実施形態２について説明する。実施形態２は、実施形態１が両目という２点の特徴部分を抽出し、この間隔をパターンを設定していたのに対し、３点を特徴部分によってパターンを設定するものである。実施形態２では、特徴部分の３点として、両目の他、鼻を用いるものとした。

図１３は、実施形態２の特徴部分の抽出を説明するための図である。実施形態２は、図１３のように、両目の位置を特徴部分９１、９２とし、さらに鼻の頂点を特徴部分９３として作られる三角形の大きさや形状、さらには移動量を用い、特に顔の角度を推定する。そして、推定された結果に基づいて、コンテンツの画像を変換する。
なお、実施形態２の表示制御装置及び表示装置の構成は、実施形態１の表示制御装置及び表示装置の構成と同様であるため、図示及び説明を略すものとする。

（処理）
実施形態２では、先ず、ユーザが、表示装置を操作するのに先立って、視線位置とコンテンツの基準位置及び三角形の基準の大きさ等を設定する。基準の設定は、例えば、以下のようにして実行できる。
ユーザは、通常表示装置を操作する場合の姿勢及びディスプレイ画面６２ａとの距離をとり、提示部５のディスプレイ画面６２ａに視線を向ける。検出部１は、ユーザの視線位置がセンサ８であるカメラのレンズの中心にきたとき、提示部５を制御してディスプレイ画面６２ａの中心位置を提示する。ユーザは提示された中心位置に視線を向け、検出部１は、センサ８によって撮影された画像から特徴部分９１、９２、９３でなる三角形を記録する。記録された三角形を、以降基準三角形と記す。

なお、中心位置の提示や三角形の記録は、自動、手動のいずれで行うことも可能である。
また、コンテンツの表示が開始された後、センサ８は、所定の時間間隔でユーザの顔を正面から撮影する。検出部１は、撮影された画像から特徴部分９１、９２、９３でなる三角形のパターンを順次抽出し、変換パラメータ決定部２に渡す。変換パラメータ決定部２は、三角形の大きさや形状、位置を先に記録されている基準三角形と比較して変換パラメータを決定する。

図１４は、実施形態２の変換パラメータを決定する方法を説明するための図である。新たに撮影された三角形の大きさが基準三角形と変わらず、上下左右に移動する場合、変換パラメータ決定部２は、画像を三角形の移動量（△ｘ、△ｙ）に合わせて上下左右に△Ｘ（＝α△ｘ）、△Ｙ（＝α△ｙ）分だけ動かすよう変換パラメータを決定する（図１４（ｂ））。

また、三角形の大きさが基準三角形と比較して変化する場合、ｚ方向にのみ画像が平行移動したように表示されるよう、変換パラメータＺを決定する。この場合、三角形が大きくなる場合は、画像を拡大、三角形が小さくなる場合は画像を縮小するように変換する。
上記した処理において、△Ｘ、△Ｙを決定するαの大きさは、変化後の三角形の大きさに合わせて変化させることもできる。三角形が基準三角形より大きくなった場合にはαを大きくし、三角形が基準より小さくなった場合にはαを小さくすれば、ユーザは、より直感的に表示装置を操作することが可能となる。

また、変換パラメータ決定部２は、基準三角形の形状が変化する場合、三次元コンテンツの画像をＹ軸を中心にして回転させる。このとき、コンテンツの回転量θａは、基準三角形をアフィン変換等することによって得られる角度を用いてもよい。
また、図１４（ｃ）に示すように、三角形の特徴点９３が、基準三角形における位置よりユーザの正面に向って右に移動した場合、ユーザが左を向いたと判断できる。このとき、変換パラメータ決定部２は、三次元コンテンツの画像を右に回転させるよう変換してもよい。また、図１４（ａ）に示すように、三角形の特徴点９３が、基準三角形における位置よりユーザの正面に向って左に移動した場合、ユーザが右を向いたと判断できる。このとき、変換パラメータ決定部２は、三次元コンテンツの画像を左に回転させるよう変換してもよい。

図１４に示した方法によって画像を変換する場合、回転角度Δθａは、式（７）によって求められる。式（６）中のΔＬは、特徴部分９１または特徴部分９２と特徴部分９３とを結ぶ直線Ｌの時刻ｔ−１から時刻ｔの間の変化量である。γは、画像の角度の変化である回転角度θａと三角形の変形量とを対応付ける変数である。
△θａ＝γ△Ｌ＝γ（Ｌ（ｔ）−Ｌ（ｔ−１）） …（７）

以上述べたように、実施形態２は、ユーザの両目の位置の他、鼻を特徴部分として用い、パターンを作成している。このため、ユーザの顔を正面から撮影した画像だけを使ってユーザの顔の向きやその角度を判定し、ユーザの視線の方向を推定することができる。
また、実施形態２は、パターンの生成に両目及び鼻を特徴部分とするものに限定されるものでなく、眉や口等、他の顔の特徴部分となり得る箇所を使ってパターンを作成することも可能である。さらに、特徴部分を顔の部位に限定せず、全身のうちから特徴分となる部位を抽出することも可能である。

以上述べた本発明は、携帯電話の他、画像を一度に表示し難い程度に小型のディスプレイを備えた表示装置に適用することに特に有効である。また、ユーザが直感的に見たい方向を向いても、この動作に追従して画像の表示範囲を移動、変更することができるので、ゲーム機器等に使用することも考えられる。

本発明の実施形態１、実施形態２に共通の表示装置の全体構成を示した図である。 図１に示した蓄積部の管理テーブルを例示した図である。 本発明の実施形態１の表示装置によってなされる処理の概略を説明するための図である。 本発明の実施形態１のユーザの目とディスプレイ画面との距離を推定するための方法を説明するための図である。 本発明の実施形態１において、視線に基づいて変換された画像を示した図である。 本発明の実施形態１の回り込みの場合の画像変換を説明するための図である。 本発明の実施形態１の見渡しの画像変換を説明するための図である。 実施形態１においてθａを推定する方法を説明するための図である。 実施形態１において、表示範囲の移動速度を変化させる処理を説明するための図である。 実施形態１の表示制御方法を説明するためのフローチャートである。 図１０に示したステップＳ１０４において実行される基準合わせ処理を説明するための図である。 図１０で説明した処理の後、実施形態１の表示装置が実行する処理を説明するためのフローチャートである。 本発明の実施形態２の特徴点から設定されるパターンを説明するための図である。 本発明の実施形態２の変換パラメータをッ決定する方法を説明するための図である。

符号の説明

１ 検出部、２ 変換パラメータ決定部、３ 蓄積部
４ 変換部、５ 提示部、６ 入力部、７ 操作部
８ センサ、６２ 表示装置、６２ａ ディスプレイ画面

Claims (9)

1. ディスプレイ画面に表示される画像を制御する表示制御装置であって、
   ユーザの身体の部位の位置にかかる情報を取得する特徴部位情報取得手段と、
   前記特徴部位情報取得手段によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定するパターン設定手段と、
   前記パターン設定手段によって設定されたパターンの変化を検出するパターン変化検出手段と、
   前記パターン変化検出手段によって検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換手段と、
   を備えることを特徴とする表示制御装置。
2. 画像を蓄積する画像蓄積手段をさらに備え、
   前記画像変換手段は、前記パターンの変化の状態に基づいて変換された変換画像が前記画像蓄積手段に蓄積されている場合、前記画像蓄積手段から変換画像を取得し、変換画像が前記画像蓄積手段に蓄積されていない場合、前記画像蓄積手段に蓄積されている画像を変換することを特徴とする請求項１に記載の表示制御装置。
3. 前記パターン設定手段は、前記特徴部位情報取得手段によって取得された少なくとも３つの部位の位置に基づいて所定のパターンを設定することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記特徴部位情報取得手段は、ユーザの身体の部位を撮影した画像から前記部位の位置の情報を検出する検出手段を含むことを特徴とする請求項１または２に記載の表示制御装置。
5. 前記特徴部位情報取得手段は、ユーザの身体の部位の位置の情報を入力する入力手段を含むことを特徴とする請求項１または２に記載の表示制御装置。
6. 前記特徴部位情報取得手段は、取得されたユーザの身体の部位の位置の情報のうち、所定の閾値以上の位置の移動のみを移動と判定することを特徴とする請求項1から請求項５のいずれか１項に記載の表示制御装置
7. 前記特徴部位情報取得手段は、取得されたユーザの身体の部位の位置の情報のうち、所定の時間内に検出された位置の移動量の平均値を前記所定の時間後の移動量と判定することを特徴とする請求項1から請求項５のいずれか１項に記載の表示制御装置
8. ディスプレイ画面と、
   前記ディスプレイ画面に表示された画像を視認するユーザの身体の部位の位置にかかる情報を取得する特徴部位情報取得手段と、
   前記特徴部位情報取得手段によって取得された情報に含まれる部位の位置に基づいて所定のパターンを設定するパターン設定手段と、
   前記パターン設定手段によって設定されたパターンの変化を検出するパターン変化検出手段と、
   前記パターン変化検出手段によって検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換手段と、
   を備えることを特徴とする表示装置。
9. ディスプレイ画面に表示される画像を制御する画像制御方法であって、
   ユーザの身体の部位の位置にかかる情報に含まれる身体の部位の位置に基づいて所定のパターンを設定するパターン設定ステップと、
   前記パターン設定ステップに置いて設定されたパターンの変化を検出するパターン変化検出ステップと、
   前記パターン変化検出ステップにおいて検出された当該変化の状態に基づいて、表示すべき画像を変換する画像変換ステップと、
   を含むことを特徴とする表示制御方法。

Images