JP2013196158A - 制御装置、電子機器、制御方法、及びプログラム - Google Patents

Abstract

【課題】より快適な操作性を実現すること。
【解決手段】表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を備える、情報処理装置が提供される。
【選択図】図９

Description

本技術は、制御装置、電子機器、制御方法、及びプログラムに関する。

近年、視差を考慮した映像を表示することで視聴者に映像の立体感を認識させる立体視表示技術が注目されている。立体視表示技術は、視差を考慮して左目用映像と右目用映像とを用意しておき、左目用映像が視聴者の左目に投影され、右目用映像が視聴者の右目に投影されるようにして映像の立体感を認識させる技術である。この技術には、専用のメガネを利用して左右の目に異なる映像を投影する方式（偏光などを利用する方式）と、レンチキュラレンズやパララックスバリアなどを利用して左右の目に入る光を分離する方式（所謂、裸眼３Ｄ方式）とがある（下記の特許文献１を参照）。

これらの技術は立体視表示技術として広く知られているが、レンチキュラレンズやパララックスバリアなどを利用して異なる視点に異なる映像や画像を表示する技術は、より一般化することができる。例えば、レンチキュラレンズやパララックスバリアなどを利用すれば、２つの視点（つまり、左右の目）に限定されず、３つ以上の視点に対しても異なる画像を投影することが可能である。また、立体視表示に拘らなければ、３つ以上の異なる視点に対して、それぞれ全く関係のない画像を投影することもできる。このような技術を多視差表示技術と呼ぶことにする。

特開２００６−２３５１１６号公報

本件発明者は、上記のような多視差表示技術及びそれに準ずる技術をユーザインターフェースへと応用する方法について検討を進めてきた。その過程で、現在普及している多くの電子機器が採用しているユーザインターフェースの構成について様々な疑問を抱くようになった。その１つは、タッチパネルをはじめとして様々な入力デバイスが存在し、それらを利用して多くの場合はユーザが快適に操作をしているが、ある種の操作については、そうした操作デバイスに触れずに操作できたら更に高い操作性が得られるのではないか、という疑問である。また、そうした操作デバイスに触れずに操作できるようなユーザインターフェースが実現されれば、これまでは想到し得なかった新たなサービスが実現できる可能性もあることに気づいた。

そこで、本技術は、上記のような事情を受けて考案されたものであり、より快適な操作性を実現することが可能な、新規かつ改良された制御装置、電子機器、制御方法、及びプログラムを提供することを意図している。

本技術のある観点によれば、表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を備える、情報処理装置が提供される。

また、本技術の別の観点によれば、ユーザの視線を検出する視線検出部と、表示オブジェクトを表示する表示部と、前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する情報取得部と、前記情報取得部により取得された情報を前記表示部に表示する情報表示部と、を備える、表示装置が提供される。

また、本技術の別の観点によれば、表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する工程を含む、注視オブジェクト選択方法が提供される。

また、本技術の別の観点によれば、ユーザの視線を検出する工程と、表示オブジェクトを表示する工程と、前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する工程と、前記取得する工程で取得された情報を表示する工程と、を含む、情報表示方法が提供される。

また、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本技術によれば、より快適な操作性を実現することが可能になる。

多視差表示について説明するための説明図である。 多視差表示について説明するための説明図である。 多視差表示について説明するための説明図である。 オブジェクトの表示方法について説明するための説明図である。 オブジェクトの表示方法について説明するための説明図である。 オブジェクトの表示方法について説明するための説明図である。 第１実施例の概要について説明するための説明図である。 第１実施例の概要について説明するための説明図である。 第２実施例の概要について説明するための説明図である。 環境揺れの検出及び対策の検討について説明するための説明図である。 実施例に係る技術を適用可能なシステム構成例について説明するための説明図である。 実施例に係る技術を適用可能なシステム構成例について説明するための説明図である。 第１実施例に係る電子機器の機能構成について説明するための説明図である。 第１実施例に係る電子機器の機能構成について説明するための説明図である。 第１実施例に係るサーバの機能構成について説明するための説明図である。 第１実施例に係るシステムの動作について説明するための説明図である。 第１実施例に係る電子機器の機能構成について説明するための説明図である。 第１実施例に係る電子機器の機能構成について説明するための説明図である。 第１実施例に係るシステムの動作について説明するための説明図である。 視線方向に応じたアプリケーションの切り替え動作について説明するための説明図である。 視線方向に応じたツールの切り替え動作について説明するための説明図である。 視線方向に応じた再生速度の切り替え動作について説明するための説明図である。 重畳情報のフィルタリングについて説明するための説明図である。 操作オブジェクトのフィルタリングについて説明するための説明図である。 コンテンツのフィルタリングについて説明するための説明図である。 コンテンツのフィルタリングについて説明するための説明図である。 注視点に関連する情報の表示方法について説明するための説明図である。 注視角度に応じたフィルタリングについて説明するための説明図である。 覗き込みによる拡大／縮小動作について説明するための説明図である。 覗き込みによる拡大／縮小動作について説明するための説明図である。 ジェスチャーによる表示内容の固定動作について説明するための説明図である。 所定領域への視線移動による表示内容の固定動作について説明するための説明図である。 静止時間又は瞬きに基づく表示内容の固定動作について説明するための説明図である。 第２実施例に係る電子機器の機能構成について説明するための説明図である。 第２実施例に係るサーバの機能構成について説明するための説明図である。 第２実施例に係るシステムの動作について説明するための説明図である。 第２実施例に係るシステムの動作について説明するための説明図である。 第２実施例に係る電子機器の機能構成について説明するための説明図である。 第２実施例に係るシステムの動作について説明するための説明図である。 ３Ｄ表示について説明するための説明図である。 ２Ｄ表示における奥行き情報について説明するための説明図である。 視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 オブジェクトの領域分割を適用した視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 オブジェクトの領域分割を適用した視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 注視時間に基づくオブジェクトの選択判定方法について説明するための説明図である。 視線の移動速度に基づくオブジェクトの選択判定方法について説明するための説明図である。 ジェスチャー又は瞬きによる確定操作について説明するための説明図である。 オブジェクトの移動による絞り込み操作の補助について説明するための説明図である。 オブジェクトの移動による絞り込み操作の補助について説明するための説明図である。 選択オブジェクトの変更方法について説明するための説明図である。 視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 物体識別結果に基づく個人化を適用した視線交差数に基づくオブジェクトの選択方法について説明するための説明図である。 選択結果の順位付け表示について説明するための説明図である。 視線交差数に応じたオブジェクトの強調表示方法について説明するための説明図である。 ヒートマップ表示について説明するための説明図である。 数値又は文字による視線交差数の表示について説明するための説明図である。 インジケータによる視線交差数の表示について説明するための説明するための説明図である。 注目しやすい部分の視線交差数に重み付けする方法について説明するための説明図である。 本実施形態に係る電子機器及びサーバの機能を実現可能なハードウェア構成について説明するための説明図である。

以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。

まず、図１〜図１２を参照しながら、本実施形態に係る技術の概要について述べる。次いで、図１３〜図３３を参照しながら、本実施形態の第１実施例について説明する。次いで、図３４〜図５９を参照しながら、本実施形態の第２実施例について説明する。次いで、図６０を参照しながら、ユーザが注目しやすいオブジェクトの部分を意識したオブジェクトの選択方法について説明する。次いで、本実施形態の第１及び第２実施例を組み合わせる方法の一例を紹介する。次いで、図６１を参照しながら、本実施形態に係る技術を実現することが可能なハードウェア構成例について述べる。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：はじめに
１−１：基本技術の紹介
１−１−１：多視差表示について
１−１−２：ヘッドトラッキングについて
１−２：一般的なＵＩの例及び改善案の検討
１−２−１：オブジェクトの表示方法について
１−２−２：オブジェクトの操作方法について
１−３：第１実施例（情報のフィルタリングなど）の概要
１−４：第２実施例（情報の選択など）の概要
１−５：環境揺れの検出及び対策の検討
１−６：システム構成例
１−６−１：構成例＃１（クラウド環境を利用する構成）
１−６−２：構成例＃２（機器の機能を利用する構成）
２：第１実施例（情報のフィルタリングなど）の詳細
２−１：構成例＃１の場合
２−１−１：電子機器の機能構成
２−１−２：サーバの機能構成
２−１−３：システムの基本的な動作
２−２：構成例＃２の場合
２−２−１：電子機器の機能構成
２−２−２：システムの基本的な動作
２−３：（応用例）アプリケーションの制御
２−３−１：視線方向に応じたアプリケーションの切り替え動作
２−３−２：視線方向に応じたツールの切り替え動作
２−３−３：視線方向に応じた再生速度の切り替え動作
２−４：（応用例）フィルタの構成
２−４−１：重畳情報のフィルタリング
２−４−２：操作オブジェクトのフィルタリング
２−４−３：コンテンツのフィルタリング
２−５：（応用例）覗き込み操作
２−５−１：注視点に関連する情報の表示
２−５−２：注視角度に応じたフィルタリング
２−５−３：覗き込みによる拡大／縮小
２−６：（応用例）表示内容の固定
２−６−１：ジェスチャーによる表示内容の固定
２−６−２：所定領域への視線移動による表示内容の固定
２−６−３：静止時間に基づく表示内容の固定
２−６−４：瞬き（表情変化）による表示内容の固定
２−７：適用例
２−８：効果
３：第２実施例（情報の選択など）の詳細
３−１：構成例＃１の場合
３−１−１：電子機器の機能構成
３−１−２：サーバ機器の機能構成
３−１−３：システムの基本的な動作
３−２：構成例＃２の場合
３−２−１：電子機器の機能構成
３−２−２：システムの基本的な動作
３−３：（補足）奥行き表現
３−３−１：３Ｄ表示
３−３−２：２Ｄ表示＋奥行き情報
３−４：オブジェクト選択方法＃１（単ユーザ）
３−４−１：視線交差数に基づく選択方法
３−４−２：オブジェクトの領域分割
３−４−３：注視時間に基づく選択判定
３−４−４：視線の移動速度に基づく選択判定
３−４−５：ジェスチャーによる確定操作
３−４−６：瞬き（表情変化）による確定操作
３−４−７：オブジェクトの移動による絞り込み操作の補助
３−４−８：選択オブジェクトの変更
３−５：オブジェクト選択方法＃２（複数ユーザ）
３−５−１：視線交差数に基づく選択方法
３−５−２：物体識別結果に基づく個人化（年齢／性別／登録者など）
３−５−３：選択結果の順位付け表示
３−６：注視状況の表示
３−６−１：視線交差数に応じた強調表示（色／動き／透過など）
３−６−２：ヒートマップ表示
３−６−３：数値又は文字による視線交差数の表示
３−６−４：インジケータによる視線交差数の表示
３−７：キャンセル方法
３−８：注目しやすい領域を考慮する方法
３−９：適用例
３−１０：効果
４：応用例（組み合わせ）
４−１：視線方向に応じたオブジェクトの表示＋視線による選択
４−１−１：オブジェクト表示の固定＋視線移動による選択
４−１−２：上下移動による表示制御＋左右移動による選択操作
４−２：複数機器の組み合わせ
４−２−１：携帯機器（フィルタ）＋テレビジョン受像機（視線操作）
４−２−２：携帯機器（フィルタ）＋デジタルサイネージ端末（視線操作）
５：ハードウェア構成例
６：まとめ

＜１：はじめに＞
はじめに、本実施形態に係る技術について詳細に説明するに先立ち、当該技術に関係する基本技術及び後段で詳述する実施例の概要について述べる。

［１−１：基本技術の紹介］
まず、多視差表示技術及びヘッドトラッキング技術について紹介する。

（１−１−１：多視差表示について（図１〜図３））
先に述べたように、多視差表示技術は、３Ｄ表示の基本技術として広く利用されている。多視差表示は、図１に示すように、視界制限デバイスを利用して視界を制限し、視点の位置に応じて異なる表示領域が見えるようにすることで実現される。視界制限デバイスとしては、例えば、パララックスバリアやレンチキュラレンズなどがある。もちろん、レンチキュラレンズは、遮光により視界を制限するものではないが、導光路を制御して見える領域を制限するという点でパララックスバリアと同等の機能を実現可能である。

図１の例では、視点Ｅ１から表示領域Ｒ１、Ｒ２、Ｒ３、Ｒ４が見えない。同様に、視点Ｅ２から表示領域Ｌ１、Ｌ２、Ｌ３、Ｌ４が見えない。なお、本稿においては、見る位置（例えば、目の位置）を「視点」と呼ぶことにする。図１の例において、表示領域Ｒ１、Ｒ２、Ｒ３、Ｒ４に右目用画像を表示し、表示領域Ｌ１、Ｌ２、Ｌ３、Ｌ４に左目用画像を表示すると、視点Ｅ１がユーザの左目、視点Ｅ２がユーザの右目である場合、そのユーザには画像が立体的に認識される。

３Ｄ表示の場合、２つの視点に対して異なる画像を見せれば足りるが、同様の方法で３つ以上の視点に対して異なる画像を見せることも可能である。具体的には、図２に示すように、視界制限デバイスを制御して視界制限範囲を調整することにより、３つ以上の視点から見える範囲をそれぞれ所定の表示領域に制限することが可能である。図２の例では、視点Ｅ１から見える範囲は表示領域＃１に制限され、視点Ｅ２から見える範囲は表示領域＃２に制限され、視点Ｅ３から見える範囲は表示領域＃３に制限されている。

３Ｄ表示の場合は左右の目を意識し、２つの視点に対応する２種類の表示領域に視差を考慮して２種類の画像を表示したが、同じ画像を表示すれば２Ｄ表示となる。従って、多視差表示は、３Ｄ表示に限らず、２Ｄ表示にも適用可能である。そのため、以下の説明では、説明の都合上、３Ｄ表示又は２Ｄ表示のいずれか一方を例に説明を進めることがあるが、いずれの表示方式においても後述する技術は適用可能である点に注意されたい。また、図３に示すように、表示画面の一部だけを多視差表示とすることも可能である。

以上、多視差表示について簡単に説明した。

（１−１−２：ヘッドトラッキングについて）
上記のように、多視差表示は、視界制限デバイスを利用して視界を制限することにより、視点位置毎に異なる情報を見せる仕組みである。なお、この仕組み以外にも、視点位置毎に異なる情報を見せる仕組みとして、例えば、ヘッドトラッキング技術を利用した仕組みが考えられる。そこで、ヘッドトラッキング技術について簡単に紹介する。

ヘッドトラッキング技術とは、所定部位（例えば、頭部）の動きを追尾する技術である。例えば、撮像装置に関し、シャッタ操作前にユーザに提示されるプレビュー画像を撮像する場合など、複数の画像が連続して撮像される場合に、連続して撮像された画像から被写体を追尾する技術が知られている。具体的には、シリコン網膜を利用して被写体を追尾する技術（例えば、特開２００４−２４０５９１号公報を参照）や、深度感知撮像技術を利用して被写体を追尾する技術（例えば、特表２００７−５１４２１１号公報を参照）が知られている。

また、Ｊｅａｎ−Ｙｖｅｓ Ｂｏｕｇｕｅｔ「Ｐｙｒａｍｉｄａｌ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｌｕｃａｓ ＫａｎａｄｅＦｅａｔｕｒｅ Ｔｒａｃｋｅｒ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ」Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ Ｒｅｓｅａｒｃｈ Ｌａｂｓ （２０００） ＯｐｅｎＣＶ Ｄｏｃｕｍｅｎｔｓには、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを利用して被写体を追尾する仕組みが提案されている。

また、シリコン網膜や深度感知撮像技術を利用する技術の場合、シリコン網膜や深度カメラといった特殊な器具が必要となる。また、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを利用する仕組みの場合、特徴点の検出や被写体の追尾に要する処理負荷が高く、処理に時間がかかってしまう。さらに、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの欠点として、被写体の形状変化が激しい場合などに、安定して被写体の追尾が行えない点が指摘されている。こうした点を踏まえ、最近、改良されたトラッキング技術が開発された（例えば、特開２０１１−１５０５９４号公報を参照）。この技術を適用すると、特殊な器具を搭載していない撮像装置で安定して被写体（例えば、頭部など）の追尾が可能になる。

上記のトラッキング技術を利用すると、顔の向き、目の位置、視線方向などを検出することができる。そのため、視点位置の検出結果に応じて表示内容を切り替えることにより、多視差表示の場合と同様に、視点位置毎に異なる情報を見せる仕組みを実現することが可能になる。

以上、ヘッドトラッキングについて簡単に説明した。

［１−２：一般的なＵＩの例及び改善案の検討］
次に、一般的なユーザインターフェース（以下、ＵＩ）の例を示し、改善すべき点について検討してみたい。

（１−２−１：オブジェクトの表示方法について（図４、図５））
図４に示すように、現在普及している電子機器のうち、一部の電子機器には立体視オブジェクトを表示する機能が搭載されている。既に述べたように、左右の目に見える表示領域を制限し、視差を考慮してオブジェクトの画像を表示することにより、オブジェクトが立体的に見えるように表示可能である。この場合、ちょうど、表示画面からオブジェクトが飛び出しているように見える。このような表示方法は、例えば、携帯端末、携帯ゲーム機、携帯電話、テレビジョン受像機、デジタルサイネージ端末、その他ディスプレイ装置などの電子機器に広く適用可能である。

また、図５に示すように、電子機器の撮像機能を利用して撮像した被写体をリアルタイムに表示する技術が知られている。さらに、一部の電子機器には、表示した被写体に情報（以下、重畳情報）を重畳して表示する機能が搭載されている。重畳情報としては、例えば、建造物の名前、店舗の名前、取り扱い商品、ジャンル、人気度など、被写体に関連する様々な情報がある。また、こうした関連情報の存在を明示するためのオブジェクトが重畳情報として表示される場合もある。さらに、そのオブジェクトを操作体で接触することにより、詳細な重畳情報が得られるようなアプリケーションも存在する。

（１−２−２：オブジェクトの操作方法について（図６））
さらに、重畳情報の表示機能を搭載した電子機器の多くでは、図６に示すように、重畳情報の種類や量をボタン操作で切り替える操作体系が用いられている。図６に例示した電子機器の場合、ボタンＡを押下した場合に重畳情報Ａ１、Ａ２が表示され、ボタンＢを押下した場合に重畳情報Ｂ１、Ｂ２が表示される。

確かに、多くのユーザにとって、こうした操作体系で極端に不自由を感じる機会は少ないであろう。しかし、大きな荷物を抱えて電子機器を操作しているユーザなど、手がふさがっている場合ではどうであろうか。少なくとも一方の手で電子機器を把持する必要があるため、もう一方の手がふさがっていると、ユーザは、電子機器を把持している手でボタン操作を行うことになる。図６の例では、簡単のために、２つの大きなボタンを操作する状況が示されているが、実際には、多数の小さいボタンが配置されていることであろう。また、ボタンを大きくすれば情報の表示領域が狭くなるし、ボタンの数を減らせば、それだけ情報の切り替えや絞り込みが難しくなる。

ボタン操作の例を挙げたが、図５に示した例のように画面内の所定領域をタッチ操作する場合についても同様の事が言える。さらに、図４に示した例のように、立体視表示を適用する場合、そもそも操作体でオブジェクトを操作することに熟練を要する。こうした状況に鑑みると、操作体が電子機器の表示画面に対して物理的に触れたり、操作体が立体視オブジェクトに対して現実的又は仮想的に触れたりする必要のあるユーザインターフェース自体に操作性を低下させる要素が含まれていると考えられよう。もちろん、操作体で触れることを要する操作体系を完全に排除することはやはり操作性を低下させる要因となることが予想されるため、必要に応じて新たな操作手法を組み合わせることが得策であると考えられる。

では、新たな操作手法として、どのような仕組みが考えられるであろうか。また、どのような場面で新たな操作手法が有効に機能するのか。本件発明者は、このような思考のもと、鋭意検討を重ね、「見る」というユーザの動作を新たな操作手法として利用する仕組みを考案した。以下では、その具体的な実施例について紹介する。

［１−３：第１実施例（情報のフィルタリングなど）の概要（図７、図８）］
まず、第１実施例の概要について述べる。第１実施例は、視点の移動により表示情報を切り替える操作手法に関する。この操作手法は、上述した多視差表示又はヘッドトラッキングなどを利用した視点検出技術に基づくものである。

例えば、電子機器１０は、ユーザが表示画面を見る角度θに応じて見える情報の種類を切り替える（フィルタリングする）機能を有する。そのため、図７に示すように、電子機器１０は、例えば、表示画面に向かって右側から見た場合（つまり、電子機器１０を左向きに傾けた場合）に重畳情報Ａ１、Ａ２が見えるようにする。同様に、電子機器１０は、例えば、表示画面に向かって左側から見た場合（つまり、電子機器１０を右向きに傾けた場合）に重畳情報Ｂ１、Ｂ２が見えるようにする。このような機能を有することで、ユーザは、電子機器１０を把持した状態で電子機器１０の向きを左右に傾けるだけで表示情報を切り替えることが可能になる。なお、図７では、左右に電子機器１０を傾ける例を示しているが、上下など、他の方向についても同様の機能を設けることができる。

また、図７の例では重畳情報を切り替える手法が示されたが、図８に示すように、操作オブジェクトＯＢＪ１、ＯＢＪ２を切り替えるように変形することもできる。さらに、角度θの領域を複数の範囲に分け、範囲毎に表示内容が変化する構成としてもよい。例えば、正面を０°として、−１５°〜１５°を第１範囲、１６°〜３０°を第２範囲、３１°〜を第３範囲、−１６°〜−３０°を第４範囲、−３１°〜を第５範囲などと設定することが可能である。そして、角度θの絶対値が大きくなるほど、情報の量や内容の詳細さが大きく（又は小さく）なるように設定することができる。

このような情報の段階的な表示をボタンなどのオブジェクトで実現しようとすると、多数のボタンが必要になったり、或いは、ダイヤルや操作バーなどの特殊なユーザインターフェースが必要になったりする。さらに、そうした操作オブジェクトを操作するために、機器を把持している手とは反対の手が必要になったり、操作工程が増えてしまったりする。しかし、図７及び図８に示すような新たな操作手法を適用すると、操作工程の少ない直感的な操作で情報の段階的な表示を実現することが可能になる。

また、多視差表示を利用する場合、角度領域毎にユーザが見る画素群に対して、予め表示すべき情報を表示しておくことで、画像の切り替えによる遅延が一切発生せずに、表示情報の切り替えが素早く実現される。なお、この場合、ユーザから見える情報が切り替わるだけで、電子機器１０は画像を切り替えていない点に注意されたい。一方、ヘッドトラッキングを利用する場合、電子機器１０は、角度領域毎に画像を切り替える必要がある。この場合、電子機器１０は、正面付近（角度０°付近）に対応する画像を先に取得しておき、角度が小さい角度領域に対応する画像から順に取得するようにするとよい。

多くの場合、ユーザは、電子機器１０を正面から見て表示内容を確認し、その後に角度を変化させるからである。このように、ユーザの操作を想定して画像を取得するタイミングを調整することにより、画像取得に要するトラフィックが低減し、スループットの向上に寄与する。また、正面付近に対応する画像から順に取得するため、画像の取得待ちで表示遅延が発生する可能性は低い。従って、ユーザには、スムーズな操作感を提供することができる。なお、この構成はネットワークを介して接続されたサーバ（クラウドシステムなどを含む）から画像を取得する場合に高い効果が期待できるが、機器内のストレージデバイスから画像を取得する場合であっても効果が得られる。

以上、第１実施例の概要について述べた。

［１−４：第２実施例（情報の選択など）の概要（図９）］
次に、第２実施例の概要について述べる。第２実施例は、視線方向を利用してオブジェクトを選択する操作手法に関する。この操作手法は、上述した多視差表示又はヘッドトラッキングなどを利用した視線検出技術に基づくものである。なお、ここでは３Ｄ表示を例に挙げて説明するが、深度情報を持ったオブジェクトについては２Ｄ表示の場合も同様にして同実施例の技術を適用可能である。

図９に示すように、電子機器２０は、オブジェクトを立体的に表示する機能を有する。また、電子機器２０は、ユーザの視線を検出する。そして、電子機器２０は、視線とオブジェクトとの交差を判定する。さらに、電子機器２０は、オブジェクト毎に交差数をカウントする。例えば、視線Ｑ１が検出された場合、電子機器２０は、視線Ｑ１とオブジェクトＯＢＪ１との交差を検出し、オブジェクトＯＢＪ１に対する交差数を１とする。なお、簡単のため、視線Ｑ１、Ｑ２はオブジェクトＯＢＪ２〜ＯＢＪ４とは交差していないものとする。次いで、視線Ｑ２が検出された場合、電子機器２０は、視線Ｑ２とオブジェクトＯＢＪ１との交差を検出し、オブジェクトＯＢＪ１に対する交差数を２に更新する。

同様に、視線Ｑ３が検出された場合、電子機器２０は、視線Ｑ３とオブジェクトＯＢＪ１との交差を検出し、オブジェクトＯＢＪ１に対する交差数を３に更新する。また、図９の例において、視線Ｑ３がオブジェクトＯＢＪ２と交差しているため、電子機器２０は、視線Ｑ３とオブジェクトＯＢＪ２との交差を検出し、オブジェクトＯＢＪ２に対する交差数を１とする。ここで、オブジェクトＯＢＪ１に対する交差数が３、オブジェクトＯＢＪ２に対する交差数が１、オブジェクトＯＢＪ３、ＯＢＪ４に対する交差数が０であるから、電子機器２０は、交差数が最大となったオブジェクトＯＢＪ１を選択する。

なお、視線Ｑ１〜Ｑ３は、単一ユーザの視線であってもよいし、複数ユーザの視線であってもよい。例えば、電子機器２０が所定周期で視線を検出するものとし、所定期間に検出された各オブジェクトに対する交差数に基づいてオブジェクトの選択が行われるようにしてもよい（単一又は複数ユーザの場合）。また、あるタイミングで電子機器２０が視線を検出するものとし、その瞬間に検出された各オブジェクトに対する交差数に基づいてオブジェクトの選択が行われるようにしてもよい（複数ユーザの場合）。また、交差数が最大となるオブジェクトだけでなく、交差数が所定数以上となったオブジェクトが選択されるように構成されていてもよい。

このような第２実施例の操作手法を適用すると、注目するだけでオブジェクトを選択することができるため、立体感のあるオブジェクトを容易に選択することが可能になる。特に、見えているけれど触覚を得られないオブジェクトの操作手法として好適である。また、複数ユーザが同時に注目しているオブジェクトを検出することが可能になるため、その統計データをマーケティングに利用したり、効果的な広告の表示に利用したりするなど、様々なサービスに応用できる可能性を秘めている。

以上、第２実施例の概要について述べた。

［１−５：環境揺れの検出及び対策の検討（図１０）］
ところで、見る方向又は視線を向ける方向によって表示を切り替えるユーザインターフェースの場合、ユーザが意図しない揺れによって表示が切り替わり、視認性が低下してしまう可能性がある。例えば、電車やバスなどの揺れ（以下、環境揺れ）によって表示が頻繁に切り替わってしまうと、視認性の低下はもちろんのこと、体調悪化につながる恐れが懸念される。

そこで、図１０に示すように、環境揺れによる傾き程度では表示が切り替わらないように、傾き角度が所定の閾値を越えるまでは表示を固定する。また、乗り物モードなどを用意し、乗り物モードの場合に閾値を大きく、それ以外の場合に閾値を小さくするなどのモード切り替え機能を搭載する仕組みも考えられる。さらに、ジャイロセンサや加速度センサなどと連携し、瞬間的に大きな環境揺れが生じた場合に、表示内容を固定する仕組みなども考えられる。こうした仕組みを設けることにより、第１及び第２実施例に係る操作手法を適用しても、環境揺れがもたらすユーザへの悪影響を回避することができる。

［１−６：システム構成例］
ここで、第１及び第２実施例の技術を適用可能なシステム構成例について述べる。第１及び第２実施例に係る技術を適用可能なシステム構成としては、例えば、主にクラウド環境を利用する構成（構成例＃１）と、主に機器の機能を利用する構成（構成例＃２）とが考えられる。そこで、各システム構成例について紹介する。

（１−６−１：構成例＃１（クラウド環境を利用する構成）（図１１））
まず、構成例＃１について述べる。図１１に示すように、構成例＃１に係るシステムは、ネットワークを介して互いに接続された電子機器（電子機器１０、２０）及びサーバ（サーバ３０）により構成される。また、電子機器１０、２０としては、例えば、表示装置、情報処理装置、端末装置などが考えられる。そして、サーバ３０としては、単体のサーバ装置、又は複数のサーバ装置で構成されるサーバ群などが考えられる。さらに、サーバ群の形態としては、データセンタなどに設置される分散型並列演算システムや、所謂クラウドシステムなどが考えられる。しかし、第１及び第２実施例の技術を適用する上で、こうした形態の違いは重要ではなく、任意の形態に対して適用可能である。

（１−６−２：構成例＃２（機器の機能を利用する構成）（図１２））
次に、構成例＃２について述べる。図１２に示すように、構成例＃２に係るシステムは、電子機器（電子機器１０、２０）単体により構成される。但し、電子機器１０、２０が一切ネットワークから独立しているわけではなく、ここでは第１及び第２実施例の技術を適用するにあたって主要な処理を機器自身が実行する構成を意図している。なお、電子機器１０、２０としては、例えば、表示装置、情報処理装置、端末装置などが考えられる。

以上、システム構成例について述べた。以下では、これら２種類のシステム構成例を念頭において説明を進める。もちろん、現在又は将来における技術動向に鑑みて適宜システム構成を変形することは可能であり、そうした変形を施したシステムに対して第１及び第２実施例に係る技術を適用することは当然に可能である。

＜２：第１実施例（情報のフィルタリングなど）の詳細＞
以下、第１実施例について詳細に説明する。

［２−１：構成例＃１の場合］
構成例＃１の場合、第１実施例に係る電子機器１０の機能構成及びサーバ３０の機能構成は、例えば、以下のように表現される。

（２−１−１：電子機器の機能構成（図１３、図１４））
まず、図１３及び図１４を参照しながら、電子機器１０の機能構成について説明する。図１３は、多視差表示を利用した操作手法を実現可能な電子機器１０の機能構成を示した説明図である。図１４は、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成を示した説明図である。なお、ここでは説明の都合上、第１実施例に係る操作手法により重畳情報を切り替える構成（図７を参照）について説明するが、例えば、オブジェクトを切り替える構成（図８を参照）などについても同様である。

（多視差表示デバイスを利用する場合（図１３））
図１３に示すように、電子機器１０は、主に、多視差表示部１０１と、表示制御部１０２と、重畳情報取得部１０３とにより構成される。多視差表示部１０１は、図１又は図２のようにして多視差表示を実現可能な多視差表示デバイスである。表示制御部１０２は、多視差表示部１０１に情報を表示させる機能を有する。重畳情報取得部１０３は、ネットワークを介してサーバ３０から重畳情報を取得する機能を有する。なお、電子機器１０は、被写体を撮像する撮像部（非図示）、情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

例えば、図７に例示したケースについて考えてみよう。この場合、まず、表示制御部１０２は、被写体を撮像した撮像画像を多視差表示部１０１にリアルタイムに表示させる。次いで、重畳情報取得部１０３は、現在位置や撮像方向の情報など、被写体に含まれる対象物を特定するために利用可能な情報をサーバ３０に送信し、対象物に関する関連情報を取得する。関連情報を取得した重畳情報取得部１０３は、撮像画像に重畳して表示する重畳情報として、サーバ３０から取得した関連情報を表示制御部１０２に入力する。重畳情報を取得した表示制御部１０２は、撮像画像の対象物に対応する位置又は関連情報を表示すべき表示領域に重畳情報を表示する。

このとき、表示制御部１０２は、ユーザが見る方向に応じて見える画素群が異なることを考慮し、各方向に対応する画素群に対して異なる重畳情報を表示する。例えば、表示制御部１０２は、重畳情報を属性毎に仕分けるフィルタを利用し、各方向に予め対応付けられたフィルタを用いて重畳情報を仕分け、対応する画素群に仕分け後の重畳情報を表示させる。この場合、ユーザには、見る方向に応じて属性の異なる重畳情報が見えることになる。また、各方向に予め重畳情報の数が対応付けられている場合、表示制御部１０２は、各方向に対応する画素群に対し、ランダム又は所定のルールで数を絞り込んだ重畳情報を表示させる。この場合、ユーザには、見る方向に応じて異なる数の重畳情報が見えることになる。

表示制御部１０２による表示方法は、上記の例に限定されず、様々な変形が可能である。上記の例では、方向による属性の制御、方向による数の制御が実現されるが、例えば、重畳情報の詳細度合いや、対象物を含む表示領域の制御などについても同様にして実現可能である。なお、属性の識別には、例えば、「飲食」「ランチ」「雑貨」「銀行」「銀行ＡＴＭ」「銀行窓口」「郵便局」「駅」「バス亭」など、対象物の特性を表すメタデータが利用可能である。このようなメタデータは、サーバ３０から取得してもよいし、予め用意して記憶部に保持していてもよい。

さて、多視差表示を利用する場合、表示制御部１０２は、重畳情報が用意できた段階で、全ての画素群に対して対応する重畳情報を表示させる。このように、ユーザが見る角度を変えたか否かにかかわらず事前に重畳情報を表示しておくことで、重畳情報の切り替えに要する待ち時間が発生しない。その結果、高速に表示内容の切り替えが可能になる。また、事前に重畳情報を表示しない場合、重畳情報取得部１０３は、正面向けの重畳情報をサーバ３０から先に取得し、その後、正面に近い方向向けの重畳情報から順に重畳情報を取得する。このような構成にすることで、重畳情報の取得レイテンシを低減することが可能になる。

以上、多視差表示を利用した操作手法を実現可能な電子機器１０の機能構成について説明した。次に、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成について説明する。

（ヘッドトラッキングを利用する場合（図１４））
図１４に示すように、電子機器１０は、主に、表示部１１１と、表示制御部１１２と、重畳情報取得部１１３と、撮像部１１４と、ヘッドトラッキング部１１５とにより構成される。なお、電子機器１０は、被写体を撮像する撮像部（非図示）、情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

ここでも、図７に例示したケースについて考えてみたい。この場合、まず、表示制御部１１２は、被写体を撮像した撮像画像を表示部１１１にリアルタイムに表示させる。次いで、重畳情報取得部１１３は、現在位置や撮像方向の情報など、被写体に含まれる対象物を特定するために利用可能な情報をサーバ３０に送信し、対象物に関する関連情報を取得する。関連情報を取得した重畳情報取得部１１３は、撮像画像に重畳して表示する重畳情報として、サーバ３０から取得した関連情報を表示制御部１１２に入力する。重畳情報を取得した表示制御部１１２は、撮像画像の対象物に対応する位置又は関連情報を表示すべき表示領域に重畳情報を表示する。

このとき、撮像部１１４は、ユーザを撮像する。ユーザを撮像した撮像画像は、逐次、撮像部１１４からヘッドトラッキング部１１５に入力される。ヘッドトラッキング部１１５は、ヘッドトラッキング技術を利用して撮像画像からユーザの所定部位を追跡し、その追跡結果から視点の位置を検出する。ヘッドトラッキング部１１５による検出結果は、フィルタ選択部１１６に入力される。検出結果が入力されると、フィルタ選択部１１６は、入力された検出結果が示す方向に基づいて当該方向に対応するフィルタを選択する。このフィルタは、例えば、属性により重畳情報を仕分けするものであってもよいし、重畳情報の数を制限するものであってもよい。フィルタ選択部１１６により選択されたフィルタの情報は、表示制御部１１２に入力される。

フィルタが入力された表示制御部１１２は、入力されたフィルタを用いて重畳情報を仕分け、表示部１１１に仕分け後の重畳情報を表示させる。この場合、ユーザには、仕分け後の重畳情報が見えることになる。また、ユーザが見る方向を変えると、フィルタ選択部１１６によりフィルタが変更され、表示制御部１１２により変更後のフィルタで仕分けされた重畳情報が表示部１１１に表示される。そのため、多視差表示を利用した場合と同様、ユーザは、見る方向を変えるだけで異なる重畳情報を見ることができる。

なお、表示制御部１１２による表示方法は、上記の例に限定されず、様々な変形が可能である。上記の例では、方向による属性の制御、方向による数の制御が実現されるが、例えば、重畳情報の詳細度合いや、対象物を含む表示領域の制御などについても同様にして実現可能である。なお、属性の識別には、例えば、「飲食」「ランチ」「雑貨」「銀行」「銀行ＡＴＭ」「銀行窓口」「郵便局」「駅」「バス亭」など、対象物の特性を表すメタデータが利用可能である。このようなメタデータは、サーバ３０から取得してもよいし、予め用意して記憶部に保持していてもよい。

また、重畳情報取得部１１３は、正面向けの重畳情報をサーバ３０から先に取得し、その後、正面に近い方向向けの重畳情報から順に重畳情報を取得するように構成されていてもよい。このような構成にすることで、重畳情報の取得レイテンシを低減することが可能になる。

以上、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成について説明した。次に、サーバ３０の機能構成について説明する。

（２−１−２：サーバの機能構成（図１５））
図１５に示すように、サーバ３０は、主に、重畳情報提供部３０１と、重畳情報選択部３０２と、被写体情報取得部３０３とにより構成される。まず、被写体情報取得部３０３は、電子機器１０から被写体に含まれる対象物を特定するための情報（以下、被写体情報）を取得する。被写体情報としては、例えば、ＧＰＳなどで検出された位置情報、各種センサなどで検出された撮像方向の情報などがある。被写体情報取得部３０３により取得された被写体情報は、重畳情報選択部３０２に入力される。

被写体情報が入力されると、重畳情報選択部３０２は、入力された被写体情報に基づいて対象物に関する重畳情報を選択する。このとき、重畳情報選択部３０２は、必要に応じて外部のシステムから重畳情報を取得してもよい。重畳情報選択部３０２により選択された重畳情報は、重畳情報提供部３０１に入力される。重畳情報が入力された重畳情報提供部３０１は、被写体情報を送信した電子機器１０に対して、入力された重畳情報を提供する。なお、サーバ３０は、電子機器１０に対して予め用意したフィルタの情報を提供するように構成されていてもよい。

以上、サーバ３０の機能構成について説明した。

（２−１−３：システムの基本的な動作（図１６））
次に、図１６を参照しながら、第１実施例に係るシステムの基本的な動作について説明する。図１６は、第１実施例に係るシステムの基本的な動作について説明するための説明図である。

図１６に示すように、まず、電子機器１０は、ユーザが見ている方向（視線方向）を検出する（Ｓ１０１）。但し、多視差表示を利用する場合、視線方向の検出は不要である。次いで、電子機器１０は、視線方向の検出結果に応じてフィルタを選択する（Ｓ１０２）。但し、多視差表示を利用する場合、電子機器１０は、このステップにおいて、各視線方向に対応するフィルタを準備する。次いで、電子機器１０は、重畳情報をサーバ３０から取得する（Ｓ１０３）。次いで、電子機器１０は、サーバ３０から取得した重畳情報をステップＳ１０２で選択したフィルタに基づいてフィルタリングする（Ｓ１０４）。次いで、電子機器１０は、フィルタリングした重畳情報を表示する（Ｓ１０５）。

以上、第１実施例に係るシステムの基本的な動作について説明した。

以上説明したように、構成例＃１の場合、電子機器１０とサーバ３０との間で重畳情報などのやり取りが発生する。次に、構成例＃２の場合について述べる。

［２−２：構成例＃２の場合］
構成例＃２の場合、第１実施例に係る電子機器１０の機能構成は、例えば、以下のように表現される。

（２−２−１：電子機器の機能構成（図１７、図１８））
まず、図１７及び図１８を参照しながら、電子機器１０の機能構成について説明する。図１７は、多視差表示を利用した操作手法を実現可能な電子機器１０の機能構成を示した説明図である。図１８は、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成を示した説明図である。なお、ここでは説明の都合上、第１実施例に係る操作手法により重畳情報を切り替える構成（図７を参照）について説明するが、例えば、オブジェクトを切り替える構成（図８を参照）などについても同様である。

（多視差表示デバイスを利用する場合（図１７））
図１７に示すように、電子機器１０は、主に、多視差表示部１２１と、表示制御部１２２と、重畳情報保持部１２３とにより構成される。多視差表示部１２１は、図１又は図２のようにして多視差表示を実現可能な多視差表示デバイスである。表示制御部１２２は、多視差表示部１２１に情報を表示させる機能を有する。重畳情報保持部１２３は、情報を記憶しておく機能を有する。なお、電子機器１０は、被写体を撮像する撮像部（非図示）、重畳情報以外の情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

例えば、図７に例示したケースについて考えてみよう。この場合、まず、表示制御部１２２は、被写体を撮像した撮像画像を多視差表示部１２１にリアルタイムに表示させる。次いで、重畳情報保持部１２３は、現在位置や撮像方向の情報など、被写体に含まれる対象物を特定するために利用可能な情報に基づき、対象物に関する関連情報を選択する。関連情報を選択した重畳情報保持部１２３は、撮像画像に重畳して表示する重畳情報として関連情報を表示制御部１２２に入力する。重畳情報を取得した表示制御部１２２は、撮像画像の対象物に対応する位置又は関連情報を表示すべき表示領域に重畳情報を表示する。

このとき、表示制御部１２２は、ユーザが見る方向に応じて見える画素群が異なることを考慮し、各方向に対応する画素群に対して異なる重畳情報を表示する。例えば、表示制御部１２２は、重畳情報を属性毎に仕分けるフィルタを利用し、各方向に予め対応付けられたフィルタを用いて重畳情報を仕分け、対応する画素群に仕分け後の重畳情報を表示させる。この場合、ユーザには、見る方向に応じて属性の異なる重畳情報が見えることになる。また、各方向に予め重畳情報の数が対応付けられている場合、表示制御部１２２は、各方向に対応する画素群に対し、ランダム又は所定のルールで数を絞り込んだ重畳情報を表示させる。この場合、ユーザには、見る方向に応じて異なる数の重畳情報が見えることになる。

表示制御部１２２による表示方法は、上記の例に限定されず、様々な変形が可能である。上記の例では、方向による属性の制御、方向による数の制御が実現されるが、例えば、重畳情報の詳細度合いや、対象物を含む表示領域の制御などについても同様にして実現可能である。なお、属性の識別には、例えば、「飲食」「ランチ」「雑貨」「銀行」「銀行ＡＴＭ」「銀行窓口」「郵便局」「駅」「バス亭」など、対象物の特性を表すメタデータが利用可能である。このようなメタデータは、外部のシステムから取得してもよいし、予め用意して記憶部に保持していてもよい。

さて、多視差表示を利用する場合、表示制御部１２２は、重畳情報が用意できた段階で、全ての画素群に対して対応する重畳情報を表示させる。このように、ユーザが見る角度を変えたか否かにかかわらず事前に重畳情報を表示しておくことで、重畳情報の切り替えに要する待ち時間が発生しない。その結果、高速に表示内容の切り替えが可能になる。

以上、多視差表示を利用した操作手法を実現可能な電子機器１０の機能構成について説明した。次に、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成について説明する。

（ヘッドトラッキングを利用する場合（図１８））
図１８に示すように、電子機器１０は、主に、表示部１３１と、表示制御部１３２と、重畳情報保持部１３３と、撮像部１３４と、ヘッドトラッキング部１３５とにより構成される。なお、電子機器１０は、被写体を撮像する撮像部（非図示）、重畳情報以外の情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

ここでも、図７に例示したケースについて考えてみたい。この場合、まず、表示制御部１３２は、被写体を撮像した撮像画像を表示部１３１にリアルタイムに表示させる。次いで、重畳情報保持部１３３は、現在位置や撮像方向の情報など、被写体に含まれる対象物を特定するために利用可能な情報に基づいて、対象物に関する関連情報を選択する。関連情報を選択した重畳情報保持部１３３は、撮像画像に重畳して表示する重畳情報として関連情報を表示制御部１３２に入力する。重畳情報を取得した表示制御部１３２は、撮像画像の対象物に対応する位置又は関連情報を表示すべき表示領域に重畳情報を表示する。

このとき、撮像部１３４は、ユーザを撮像する。ユーザを撮像した撮像画像は、逐次、撮像部１３４からヘッドトラッキング部１３５に入力される。ヘッドトラッキング部１３５は、ヘッドトラッキング技術を利用して撮像画像からユーザの所定部位を追跡し、その追跡結果から視点の位置を検出する。ヘッドトラッキング部１３５による検出結果は、フィルタ選択部１３６に入力される。検出結果が入力されると、フィルタ選択部１３６は、入力された検出結果が示す方向に基づいて当該方向に対応するフィルタを選択する。このフィルタは、例えば、属性により重畳情報を仕分けするものであってもよいし、重畳情報の数を制限するものであってもよい。フィルタ選択部１３６により選択されたフィルタの情報は、表示制御部１３２に入力される。

フィルタが入力された表示制御部１３２は、入力されたフィルタを用いて重畳情報を仕分け、表示部１３１に仕分け後の重畳情報を表示させる。この場合、ユーザには、仕分け後の重畳情報が見えることになる。また、ユーザが見る方向を変えると、フィルタ選択部１３６によりフィルタが変更され、表示制御部１３２により変更後のフィルタで仕分けされた重畳情報が表示部１３１に表示される。そのため、多視差表示を利用した場合と同様、ユーザは、見る方向を変えるだけで異なる重畳情報を見ることができる。

なお、表示制御部１３２による表示方法は、上記の例に限定されず、様々な変形が可能である。上記の例では、方向による属性の制御、方向による数の制御が実現されるが、例えば、重畳情報の詳細度合いや、対象物を含む表示領域の制御などについても同様にして実現可能である。なお、属性の識別には、例えば、「飲食」「ランチ」「雑貨」「銀行」「銀行ＡＴＭ」「銀行窓口」「郵便局」「駅」「バス亭」など、対象物の特性を表すメタデータが利用可能である。このようなメタデータは、外部のシステムから取得してもよいし、予め用意して記憶部に保持していてもよい。

以上、ヘッドトラッキングを利用した操作手法を実現可能な電子機器１０の機能構成について説明した。

（２−２−２：システムの基本的な動作（図１９））
次に、図１９を参照しながら、第１実施例に係るシステムの基本的な動作について説明する。図１９は、第１実施例に係るシステムの基本的な動作について説明するための説明図である。

図１９に示すように、まず、電子機器１０は、ユーザが見ている方向（視線方向）を検出する（Ｓ１１１）。但し、多視差表示を利用する場合、視線方向の検出は不要である。次いで、電子機器１０は、視線方向の検出結果に応じてフィルタを選択する（Ｓ１１２）。但し、多視差表示を利用する場合、電子機器１０は、このステップにおいて、各視線方向に対応するフィルタを準備する。次いで、電子機器１０は、重畳情報をステップＳ１１２で選択したフィルタに基づいてフィルタリングする（Ｓ１１３）。次いで、電子機器１０は、フィルタリングした重畳情報を表示する（Ｓ１１４）。

以上、第１実施例に係るシステムの基本的な動作について説明した。

［２−３：（応用例）アプリケーションの制御］
これまで、視線方向に応じて重畳情報が切り替わるように、視線方向毎にフィルタを変更して表示する仕組みについて説明してきた。ここでは、この仕組みを応用して様々な表示制御を実現する方法について紹介する。

（２−３−１：視線方向に応じたアプリケーションの切り替え動作（図２０））
まず、１つの応用例として、図２０に示すような視線方向の移動によるアプリケーションの切り替え動作が考えられる。図２０の例では、電子機器１０を左側へと傾けた場合（右側から見た場合）に音楽プレーヤアプリケーションの画面が表示され、電子機器１０を右側へと傾けた場合（左側から見た場合）にカメラアプリケーションの画面が表示されている。このように、第１実施例の技術を応用すると、異なる種類のアプリケーションを見る向きによって切り替えるユーザインターフェースが実現される。なお、多視差表示を利用する場合、表示内容を切り替えるわけではないため、アクティブな複数のアプリケーションにおいて操作ボタンなどのオブジェクトが同じ又は近い位置とならないように配置を工夫することが望まれる。

（２−３−２：視線方向に応じたツールの切り替え動作（図２１））
また、他の１つの応用例として、図２１に示すような視線方向の移動によるツールの切り替え動作が考えられる。図２１の例では、電子機器１０を左側へと傾けた場合（右側から見た場合）に第１のツールリスト（＃１）が画面に表示され、電子機器１０を右側へと傾けた場合（左側から見た場合）に第２のツールリスト（＃２）が画面に表示される。このように、第１実施例の技術を応用すると、同じ種類のアプリケーションの中で、見る向きによってツール群を切り替えられるユーザインターフェースが実現される。なお、多視差表示を利用する場合、表示内容を切り替えるわけではないため、複数のツールリストにおいて各ツールのアイコンなどが同じ又は近い位置とならないように配置を工夫することが望まれる。

（２−３−３：視線方向に応じた再生速度の切り替え動作（図２２））
また、他の１つの応用例として、図２２に示すような視線方向の移動による再生速度の切り替え動作が考えられる。図２２の例では、電子機器１０を左側へと傾けた場合（右側から見た場合）に再生速度が減少し、電子機器１０を右側へと傾けた場合（左側から見た場合）に再生速度が増加する。なお、速度の増減は、傾き量に応じて変化するようにしてもよいし、所定量だけ変化するようにしてもよいし、或いは、傾けている時間に応じて変化するようにしてもよい。このように、第１実施例の技術を応用すると、見る向きによって再生速度を切り替えられるユーザインターフェースが実現される。なお、この動作は、多視差表示を単体で利用する場合には向かず、ヘッドトラッキングなどの技術と組み合わせる必要がある。

以上、アプリケーションの制御に関する応用例を紹介した。

［２−４：（応用例）フィルタの構成］
次に、フィルタの構成に関する応用例を紹介する。

（２−４−１：重畳情報のフィルタリング（図２３；具体例））
重畳情報をフィルタリングするフィルタとしては、例えば、図２３に示すように、ＡＴＭフィルタ、食事フィルタ、交通機関フィルタなどが挙げられる。ＡＴＭフィルタを適用すると、例えば、「銀行」「郵便局」の重畳情報はパスするが、「焼肉店」「駅」「バス亭」は除外される。同様に、食事フィルタを適用すると、例えば、「焼肉店」の重畳情報はパスするが、「銀行」「駅」「バス亭」「郵便局」は除外される。また、交通機関フィルタを適用すると、例えば、「駅」「バス停」の重畳情報はパスするが、「銀行」「焼肉店」「郵便局」は除外される。このようにして重畳情報のフィルタリングを実行することができる。

（２−４−２：操作オブジェクトのフィルタリング（図２４））
重畳情報の他にも、例えば、操作オブジェクトをフィルタリングする構成も考えられる。操作オブジェクトをフィルタリングするフィルタとしては、例えば、図２４に示すように、写真フィルタ、ＭＵＳＩＣフィルタ、ＭＯＶＩＥフィルタなどが挙げられる。写真フィルタを適用すると、例えば、「シャッター」「ズーム」の各オブジェクトはパスするが、「再生」「停止」「送信」の各オブジェクトは除外される。同様に、ＭＵＳＩＣフィルタ又はＭＯＶＩＥフィルタを適用すると、例えば、「再生」「停止」の各オブジェクトはパスするが、「シャッター」「ズーム」「送信」の各オブジェクトは除外される。このようにして操作オブジェクトのフィルタリングを実行することができる。

（２−４−３：コンテンツのフィルタリング（図２５、図２６））
重畳情報や操作オブジェクトの他にも、例えば、コンテンツをフィルタリングする構成も考えられる。音楽コンテンツをフィルタリングするフィルタとしては、例えば、図２５に示すように、ｂａｌｌａｄｅフィルタ、ｗａｌｔｓフィルタ、Ｅｔｕｄｅフィルタなど、音楽の特徴で分類するフィルタが挙げられる。また、映像コンテンツをフィルタリングするフィルタとしては、図２６に示すように、ホラーフィルタ、アクションフィルタ、恋愛物語フィルタなど、映像の特徴で分類するフィルタが挙げられる。また、アーティストやジャンルなどでコンテンツを絞り込むフィルタなども考えられる。このようなフィルタを用いると、コンテンツのフィルタリングを実行することができる。

以上、フィルタの構成に関する応用例を紹介した。

［２−５：（応用例）覗き込み操作］
次に、覗き込み操作に関する応用例を紹介する。ここで言う覗き込みとは、画面に表示されている対象物を見ているユーザが、その対象物をより深い角度で見る動作を言う。このとき、ユーザの頭部と表示画面との距離などが考慮されてもよい。

（２−５−１：注視点に関連する情報の表示（図２７））
例えば、図２７に示すように、ユーザが注視している点（以下、注視点）について関連情報を表示している場面で、ほぼ正面から見ている場合（視点Ｅ２）には概要を表示し、覗き込んだ場合（視点Ｅ１）には詳細を表示するなどの応用例が考えられる。多くのユーザは、注視点にある対象物に対して興味が深くなり、その対象物を良く見ようとする場合に、その対象物を覗き込むような動作をしたり、顔を近づけたりする傾向にある。そこで、このような動作に連動して情報の詳細度を変えることにより、より直感的なユーザインターフェースが実現される。なお、ヘッドトラッキングを利用する場合であれば、ユーザの頭部と表示画面との距離も推測できるため、その推測結果に応じて詳細度を徐々に高めるような構成にしてもよい。

（２−５−２：注視角度に応じたフィルタリング（図２８））
また、覗き込み動作をユーザインターフェースとして考える上で、ユーザが覗き込む角度（以下、注視角度）も考慮に入れることが望ましい。例えば、図２８に示すように、注視角度に応じてフィルタの種類を切り替えるように構成することが可能である。図２８の例では、注視角度０°〜１０°の場合に店名フィルタが適用され、注視角度が１１°〜２０°の場合に職種フィルタが適用され、注視角度が２１°〜３０°の場合に価格帯フィルタが適用される。さらに、注視角度が３１°〜の場合、全てのフィルタが適用される。なお、注視角度が大きくなるにつれて適用対象のフィルタ数が多くなるようにすれば、注視角度に応じて絞り込み度合いが大きくなる。逆に、注視角度が大きくなるにつれて適用対象のフィルタ数が少なくなるようにすれば、注視角度に応じて絞り込み度合いが小さくなる。また、適用するフィルタの組み合わせを工夫することで、注視角度に応じて徐々にユーザの嗜好に適した絞り込みができるようにすることも可能である。

（２−５−３：覗き込みによる拡大／縮小（図２９、図３０））
また、覗き込み動作に応じて表示の拡大／縮小を制御できるようにする仕組みも考えられる。例えば、図２９に示すように、注視角度が大きくなるにつれて表示倍率が大きくなるように構成することが可能である。また、図３０に示すように、表示画面とユーザの頭部との間の距離に応じて表示倍率が変化するように構成することも可能である。さらに、これらを組み合わせ、頭部の２次元又は３次元的な動作により表示倍率を自由に変更できるように構成することも可能である。この場合、図２９に示した表示倍率と、図３０に示した表示倍率との積などに基づいて最終的な表示倍率を決めればよい。

以上、覗き込み操作に関する応用例を紹介した。

［２−６：（応用例）表示内容の固定］
次に、表示内容を固定する操作の例を紹介する。見る方向に応じて表示内容を切り替えられる仕組みは有用であるが、ある方向に対応する表示内容で固定し、その表示内容を正面から見たい場合などもある。そこで、このような場合に対応するための仕組みについて紹介する。

（２−６−１：ジェスチャーによる表示内容の固定（図３１））
例えば、図３１に示すように、ジェスチャーにより表示内容を固定する方法が考えられる。ジェスチャーとしては、例えば、電子機器１０を左右に揺さぶるなどの方法が考えられる。また、大きく揺さぶったり、素早く揺さぶったりすることで表示内容が固定されるようにする方法も考えられる。こうしたジェスチャーの検出は、電子機器１０に搭載された加速度センサやジャイロセンサなどを利用して実現可能である。また、撮像画像の変化からジェスチャーを検出する方法も考えられる。この方法を用いると、見る方向を変えず、手軽に固定操作が行える。

（２−６−２：所定領域への視線移動による表示内容の固定（図３２））
また、図３２に示すように、視線方向を所定の領域へ移動した場合（視線方向Ｑ２）、或いは、視線方向を素早く画面外に移動した場合に表示内容を固定する方法が考えられる。この場合、視線方向の変化に応じて表示内容が切り替わってしまう可能性もあるため、視線方向の変化時間や変化量に応じて表示内容の固定操作なのか、表示内容の切り替え操作なのかを判定する仕組みが設けられている方が好ましい。また、所定領域へ視線方向が移動した場合に、例えば、視線方向の移動前に表示されていた表示内容に戻す機能などを追加することで、表示内容の固定操作をユーザが安心して行えるようになると期待される。このような追加も必要に応じて行われることが好ましい。

（２−６−３：静止時間に基づく表示内容の固定（図３３））
また、図３３に示すように、視線が静止した時間に基づいて表示内容を固定する方法も考えられる。多くの場合、長い時間、同じ注視点に視線方向を向けておくことは難しい。そのため、ユーザが故意にそのような動作を行わない限り、長い時間、視線が静止した状態を保つことはほとんどない。そこで、ユーザの故意を判定するために、視線の静止時間を利用する方法は有効である。図３３に示すように、短い時間の視線停止は表示内容の固定とみなさず、長い時間の視線停止を表示内容の固定と判定する仕組みとすればよい。視点の長時間静止動作は人が凝視する動作と通じるため、この仕組みにより、より直感的なユーザインターフェースが実現される。

（２−６−４：瞬き（表情変化）による表示内容の固定（図３３））
また、図３３に示すように、表示内容の固定を解除する仕組みも設けることが望ましい。その方法として、図３３に示すように、視線の微細動や瞬きなどが考えられる。また、偶然の瞬きで固定が解除されないよう、所定回数の瞬きや、瞬きのパターンなどにより固定解除が行われるようにすることが好ましい。

以上、表示内容の固定操作について紹介した。

［２−７：適用例］
これまで説明してきた第１実施例に係る技術は、様々な機器に適用可能である。例えば、携帯電話、携帯情報端末、携帯ゲーム機、携帯音楽プレーヤ、携帯映像プレーヤなどの携帯機器に適用可能である。また、デジタルサイネージ端末など、街角に設置された大型のディスプレイ装置に適用することも可能である。さらに、テレビジョン受像機や撮像装置などの映像機器に対して適用することもできる。また、テレビジョン受像機と組み合わせて、セットトップボックス、録画再生装置、或いは、ゲーム機などに適用することもできる。その他にも、例えば、カーナビゲーションシステムに適用したり、ＡＴＭ、自動券売機、自動販売機などの装置に対しても適用可能である。但し、少なくとも表示機能を有するか、表示機能を搭載した機器に接続された装置であることが必要である。

［２−８：効果］
第１実施例の構成を適用すると、ユーザは、所定部位を移動させるか、或いは、機器を傾けるだけで表示情報を切り替えることが可能になり、物理的なインターフェースデバイスに接触しない方法で快適に操作を行うことができるようになる。例えば、表示画面を有するデバイスを片手で把持し、そのデバイスを傾けたり、自身の所定部位を傾けたりするだけで、表示情報の切り替えが可能になる。その結果、片手に荷物を抱えている場合など、自由に両手が使えない場面においても快適に操作を行うことができるようになる。また、携帯ゲーム機など、両手で操作する機器において、両手の操作とは異なる追加的な操作を行うことが可能になる。

以上、第１実施例について説明した。

＜３：第２実施例（情報の選択など）の詳細＞
以下、第２実施例について詳細に説明する。

［３−１：構成例＃１の場合］
構成例＃１の場合、第２実施例に係る電子機器２０の機能構成及びサーバ３０の機能構成は、例えば、以下のように表現される。

（３−１−１：電子機器の機能構成（図３４））
まず、図３４を参照しながら、電子機器２０の機能構成について説明する。図３４は、視線方向を利用してオブジェクトを選択する操作手法を実現可能な電子機器２０の機能構成を示した説明図である。なお、ここでは説明の都合上、第２実施例に係る操作手法によって、３Ｄ表示されたオブジェクトを選択する構成（図９を参照）について説明するが、例えば、深度情報を有する２Ｄ表示されたオブジェクトを選択する構成などについても同様である。

図３４に示すように、電子機器２０は、主に、表示部２０１と、表示制御部２０２と、通信部２０３と、撮像部２０４と、視線方向検出部２０５とにより構成される。なお、電子機器２０は、被写体を撮像する撮像部（非図示）、情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

表示部２０１は、３Ｄ表示又は２Ｄ表示の方式でオブジェクトを表示する機能を有する。表示制御部２０２は、表示部２０１にオブジェクトを表示させる。また、表示制御部２０２は、オブジェクトを強調表示させたり、追加情報を表示させたり、或いは、オブジェクトの表示位置を移動させたりする。通信部２０３は、サーバ３０と通信する。また、撮像部２０４は、ユーザを撮像する。

撮像部２０４により撮像された撮像画像は、視線方向検出部２０５に入力される。撮像画像が入力されると、視線方向検出部２０５は、撮像画像からユーザの視線方向を検出する。例えば、視線方向検出部２０５は、上述したヘッドトラッキング技術や他の画像解析手法を利用して頭部の向きや目の位置などを検出し、ユーザの視線方向を検出する。視線方向検出部２０５により検出された視線方向の情報（以下、視線情報）は、通信部２０３を介してサーバ３０に送信される。このとき、通信部２０３は、視線情報と共に、オブジェクトの表示位置を示す情報（以下、表示情報）をサーバ３０へと送信する。

また、後述するように、サーバ３０は、表示情報及び視線情報に基づいてオブジェクトを選択し、その選択結果を電子機器２０に送信する。この選択結果は、通信部２０３により受信され、表示制御部２０２に入力される。選択結果が入力されると、表示制御部２０２は、入力された選択結果に基づいてオブジェクトの表示を変化させたり、選択されたオブジェクトに対応する処理を実行したりする。

以上、電子機器２０の機能構成について説明した。

（３−１−２：サーバの機能構成（図３５））
次に、図３５を参照しながら、サーバ３０の機能構成について説明する。図３５に示すように、サーバ３０は、主に、通信部３１１と、視線解析部３１２とにより構成される。通信部３１１は、電子機器２０と通信するための通信デバイスである。視線解析部３１２は、通信部３１１を介して電子機器２０から取得した視線情報及び表示情報に基づいてオブジェクトを選択する機能を有する。例えば、視線解析部３１２は、視線情報で特定される視線と、表示情報で特定される各オブジェクトの表示範囲とが交差するか否かを判定する。さらに、視線解析部３１２は、各オブジェクトに対する視線の交差数が所定数を越えたか否かを判定する。そして、視線解析部３１２は、交差数が所定数を越えたオブジェクトを選択し、通信部３１１を介して選択結果を電子機器２０に送信する。

以上、サーバ３０の機能構成について説明した。なお、オブジェクトの選択方法については、具体例を交えて後段で詳述する。

（３−１−３：システムの基本的な動作（図３６、図３７））
ここで、図３６及び図３７を参照しながら、第２実施例に係るシステムの基本的な動作について説明する。図３６及び図３７は、第２実施例に係るシステムの基本的な動作について説明するための説明図である。

図３６に示すように、まず、電子機器２０は、ユーザの視線方向を検出し（Ｓ２０１）、視線情報及び表示情報をサーバ３０へと送信する。次いで、サーバ３０は、視線情報及び表示情報に基づいて解析処理を実行し（Ｓ２０２）、オブジェクトに交差する視線の数（以下、視線交差数）を算出する。図３７の例では、視線Ｑ１〜Ｑ３がオブジェクトＯＢＪ１と交差しており、視線Ｑ３がオブジェクトＯＢＪ２と交差している。そのため、サーバ３０は、オブジェクトＯＢＪ１の視線交差数ｗ１をｗ１＝３、オブジェクトＯＢＪ２の視線交差数ｗ２をｗ２＝１と算出する。

次いで、サーバ３０は、視線交差数の多いオブジェクトを選択し（Ｓ２０３）、選択結果を電子機器２０に送信する。このとき、サーバ３０は、視線交差数が最大となるオブジェクト又は視線交差数が所定の閾値Ｗｔｈを越えたオブジェクトを選択する。図３７の例では、例えば、視線交差数が最大のオブジェクトＯＢＪ１が選択される。次いで、電子機器２０は、サーバ３０により選択されたオブジェクトを強調表示する（Ｓ２０４）。

例えば、電子機器２０は、図３７に示すように、選択されたオブジェクトの色を変化させる。なお、視線交差数が更新される度に、オブジェクトの色が変化するように構成されていてもよい。また、選択結果を電子機器２０に送信したサーバ３０は、解析処理の過程で得られた結果（例えば、選択されたオブジェクトの情報や視点交差数の分布など）の履歴を更新する（Ｓ２０６）。また、ここではオブジェクトを選択するタイミングについて言及しなかったが、所定のタイミングで選択処理が実行されるようにしてもよいし、オブジェクトに対する視線交差数が閾値Ｗｔｈを越えたタイミングで選択処理が実行されるようにしてもよい。

以上、第２実施例に係るシステムの基本的な動作について説明した。

［３−２：構成例＃２の場合］
構成例＃２の場合、第２実施例に係る電子機器２０の機能構成は、例えば、以下のように表現される。

（３−２−１：電子機器の機能構成（図３８））
まず、図３８を参照しながら、電子機器２０の機能構成について説明する。図３８は、視線方向を利用してオブジェクトを選択する操作手法を実現可能な電子機器２０の機能構成を示した説明図である。なお、ここでは説明の都合上、第２実施例に係る操作手法によって、３Ｄ表示されたオブジェクトを選択する構成（図９を参照）について説明するが、例えば、深度情報を有する２Ｄ表示されたオブジェクトを選択する構成などについても同様である。

図３８に示すように、電子機器２０は、主に、表示部２１１と、表示制御部２１２と、視線解析部２１３と、撮像部２１４と、視線方向検出部２１５とにより構成される。なお、電子機器２０は、被写体を撮像する撮像部（非図示）、情報を記憶しておく記憶部（非図示）、ＧＰＳ、ジャイロセンサ、加速度センサなどを有していてもよい。

表示部２１１は、３Ｄ表示又は２Ｄ表示の方式でオブジェクトを表示する機能を有する。表示制御部２１２は、表示部２１１にオブジェクトを表示させる。また、表示制御部２１２は、オブジェクトを強調表示させたり、追加情報を表示させたり、或いは、オブジェクトの表示位置を移動させたりする。視線解析部２１３は、視線方向の検出結果に基づいて各オブジェクトの視線交差数を算出し、その算出結果に基づいてオブジェクトを選択する。また、撮像部２１４は、ユーザを撮像する。

撮像部２１４により撮像された撮像画像は、視線方向検出部２１５に入力される。撮像画像が入力されると、視線方向検出部２１５は、撮像画像からユーザの視線方向を検出する。例えば、視線方向検出部２１５は、上述したヘッドトラッキング技術や他の画像解析手法を利用して頭部の向きや目の位置などを検出し、ユーザの視線方向を検出する。視線方向検出部２１５により検出された視線方向の情報（視線情報）は、視線解析部２１３に入力される。また、視線解析部２１３には、表示制御部２１２から各オブジェクトの表示位置を示す表示情報が入力される。

視線情報及び表示情報が入力されると、視線解析部２１２は、入力された表示情報及び視線情報に基づいてオブジェクトを選択し、その選択結果を表示制御部２１２に入力する。例えば、視線解析部２１３は、視線情報で特定される視線と、表示情報で特定される各オブジェクトの表示範囲とが交差するか否かを判定する。さらに、視線解析部２１３は、各オブジェクトに対する視線の交差数が所定数を越えたか否かを判定する。そして、視線解析部２１３は、交差数が所定数を越えたオブジェクトを選択する。選択結果が入力されると、表示制御部２１２は、入力された選択結果に基づいてオブジェクトの表示を変化させたり、選択されたオブジェクトに対応する処理を実行したりする。

以上、電子機器２０の機能構成について説明した。

（３−２−２：システムの基本的な動作（図３９））
ここで、図３９を参照しながら、第２実施例に係るシステムの基本的な動作について説明する。図３９は、第２実施例に係るシステムの基本的な動作について説明するための説明図である。

図３９に示すように、まず、電子機器２０は、ユーザの視線方向を検出する。（Ｓ２１１）。次いで、電子機器２０は、視線情報及び表示情報に基づいて解析処理を実行し（Ｓ２１２）、オブジェクトに交差する視線の数（視線交差数）を算出する。前出の図３７の例では、視線Ｑ１〜Ｑ３がオブジェクトＯＢＪ１と交差しており、視線Ｑ３がオブジェクトＯＢＪ２と交差している。そのため、電子機器２０は、オブジェクトＯＢＪ１の視線交差数ｗ１をｗ１＝３、オブジェクトＯＢＪ２の視線交差数ｗ２をｗ２＝１と算出する。

次いで、電子機器２０は、視線交差数の多いオブジェクトを選択する（Ｓ２１３）。このとき、電子機器２０は、視線交差数が最大となるオブジェクト又は視線交差数が所定の閾値Ｗｔｈを越えたオブジェクトを選択する。前出の図３７の例では、例えば、視線交差数が最大のオブジェクトＯＢＪ１が選択される。次いで、電子機器２０は、選択したオブジェクトを強調表示する（Ｓ２１４）。

例えば、電子機器２０は、前出の図３７に示すように、選択されたオブジェクトの色を変化させる。なお、視線交差数が更新される度に、オブジェクトの色が変化するように構成されていてもよい。また、電子機器２０は、解析処理の過程で得られた結果（例えば、選択されたオブジェクトの情報や視点交差数の分布など）の履歴を更新する（Ｓ２１５）。また、ここではオブジェクトを選択するタイミングについて言及しなかったが、所定のタイミングで選択処理が実行されるようにしてもよいし、オブジェクトに対する視線交差数が閾値Ｗｔｈを越えたタイミングで選択処理が実行されるようにしてもよい。

以上、第２実施例に係るシステムの基本的な動作について説明した。

［３−３：（補足）奥行き表現］
ここで、奥行き表現の扱い方について説明を補足する。

（３−３−１：３Ｄ表示（図４０））
左目と右目とで見える画素群が異なるようにし、視差を考慮した２種類の画像をそれら画素群に表示させることで３Ｄ表示が実現されることについては既に述べた。３Ｄ表示の場合、視差が変化するように２種類の画像を調整することで、図４０に示すように、奥行き方向にオブジェクトの表示位置を制御することができる。実際、２種類の画像は表示画面上に表示されているのであるが、ユーザには、視差でおおよそ規定される奥行きだけオブジェクトが飛び出して見えるのである。この飛び出し量は、視差などのパラメータから容易に算出することができる。従って、電子機器２０は、ユーザが認識するであろう３次元空間内におけるオブジェクトの位置を把握できる。

３Ｄ表示されたオブジェクトを視線で追うユーザは、３次元空間内に視線を走らせるであろう。しかし、上記のように画像は表示画面上に表示されている。そこで、３Ｄ表示の場合、電子機器２０は、ユーザが認識するであろう３次元空間内におけるオブジェクトの位置を把握しておき、その位置と実際にユーザが向ける視線とが交差するか否かを判定する。そして、電子機器２０は、その判定結果に基づいてオブジェクトを選択する。このように、３Ｄ表示の場合、オブジェクトの仮想的な飛び出し量を考慮して視線の交差判定を実施する必要がある。

（３−３−２：２Ｄ表示＋奥行き情報（図４１））
一方、２Ｄ表示の場合、ユーザは、表示画面上に表示された画像をそのまま認識することになる。従って、表示画面からオブジェクトが飛び出すことはない。しかし、２Ｄ表示であっても、図４１に示すように、奥行き感のある画像は存在する。例えば、同じ身長の人であっても、手前に映っている人は大きく、奥側に映っている人が小さくなる。そのため、２Ｄ表示であっても、画像から奥行きを検出することが可能である。

また、動画などの場合、一定速度で移動しながら撮影した映像を見ると、手前の物体は移動速度に近い速度で後方に過ぎ去るが、遠くにある山や雲は画角から外れるまでの時間がとても長い。このような原理から映像内の奥行きを検出することも可能である。このような奥行き感は、ユーザも同様に感じる。そのため、奥行き感のある２Ｄ表示の画像や映像に対しても、ユーザは奥行きを意識して視線を向けることができる。従って、２Ｄ表示であっても、奥行き情報を考慮することで、３Ｄ表示の場合と同様のアルゴリズムで第２実施例に係るオブジェクトの選択手法を適用することができる。

以上、奥行き表現の扱い方について説明した。

［３−４：オブジェクト選択方法＃１（単ユーザ）］
以下、オブジェクトの選択方法について、より詳細に説明する。また、具体例を挙げながら、その応用例について紹介する。なお、ここでは１人のユーザが視線を移動させつつ、オブジェクトを選択する操作手法について述べる。

（３−４−１：視線交差数に基づく選択方法（図４２〜図４４））
まず、これまでも説明した視線交差数に基づく選択方法について、より詳細に説明する。図４２に示すように、視線が検出されると、その視線と交差するオブジェクト（以下、交差オブジェクト）が検出される。図４２の例では、視線Ｑ１に対し、オブジェクトＯＢＪ１〜ＯＢＪ３が交差オブジェクトとして選択される。こららの交差オブジェクトは、最終的に選択されるオブジェクト（以下、注視オブジェクト）の候補として選択される。注視オブジェクトの候補は、図４２に示すように、所定の表現方法（例えば、色彩、明度、点滅、透明化／不透明化、ぼかしなど）で強調表示されてもよい。

次に、図４３に示すように、視点が移動して新たな視線Ｑ２が検出されると、視線Ｑ２に対し、交差オブジェクトが検出される。図４３の例では、オブジェクトＯＢＪ１及びＯＢＪ２が交差オブジェクトとして検出される。このとき、電子機器２０は、オブジェクトＯＢＪ１及びＯＢＪ２の視線交差数を２に更新する。また、オブジェクトＯＢＪ１及びＯＢＪ２はさらに強調表示されてもよい。例えば、絞り込みが進むにつれて強調度合いが強くなるように（例えば、色を濃くするなど）表現を変更する構成などが考えられる。

次に、図４４に示すように、視点が移動して新たな視線Ｑ３が検出されると、視線Ｑ３に対し、交差オブジェクトが検出される。図４４の例では、オブジェクトＯＢＪ２が交差オブジェクトとして検出される。このとき、交差オブジェクトの数が１つに絞られたため、電子機器２０は、オブジェクトＯＢＪ２を注視オブジェクトとして選択する。なお、ここでは一例として、１つに絞り込まれるまで視線の検出及び交差オブジェクトの選択を繰り返す方法を紹介したが、あるタイミングで視線交差数が最大のオブジェクトを注視オブジェクトして選択する方法なども考えられる。

また、あるタイミングで視線交差数が多い所定数又は所定数以下のオブジェクトを注視オブジェクトとして選択する方法も考えられる。なお、視線の検出は、所定の時間間隔で周期的に実施されてもよいし、所定のパターンで検出されるようにしてもよい。また、注視オブジェクトの選択処理は、ユーザが手動で開始及び終了の操作をしてもよいし、タイマーやプログラムなどを利用して自動的に開始及び終了の操作が行われるようにしてもよい。このような視線交差数に基づいてオブジェクトを選択する仕組みを利用すると、ユーザは、視線を動かすだけで所望のオブジェクトを選択することが可能になる。例えば、遠くにあるディスプレイに映ったオブジェクトを操作することなどが可能になる。

なお、オブジェクトの選択という操作について説明しているが、注視オブジェクトが選択されたタイミングで所定の処理が実行されるようにすれば、視線だけで電子機器２０を複雑に制御することも可能である。その場合、各処理に対応する操作オブジェクトを表示しておくなどの工夫をしておくことが望まれる。例えば、音楽プレーヤの再生ボタンや停止ボタン、コンテンツの切り替え操作オブジェクトなどを表示し、各オブジェクトに対応する処理が実行されるようにする構成などが考えられる。また、早送りボタンを表示し、そのボタンに対する視線交差数に応じて再生速度が段階的に大きくなるような構成も考えられる。このような変形についても、当然に第２実施例の技術的範囲に属する。

（注視オブジェクトが明らかな場合の選択処理について）
複数のオブジェクトの中から注視オブジェクトを選択する方法について述べたが、対象とするオブジェクトの数が１つの場合や、視線の交差が検出されたオブジェクトの周囲に他のオブジェクトが存在しない場合などは、視線の交差が検出されたオブジェクトを即座に選択する仕組みとする方法も考えられる。例えば、視線交差数が所定の閾値を越えなくても、即座にオブジェクトが選択されるため、選択の遅延によりユーザに与えるストレスを格段に軽減することが可能になる。

（３−４−２：オブジェクトの領域分割（図４５、図４６））
さて、これまではほぼ同じ大きさのオブジェクトの中から１つのオブジェクトを注視オブジェクトとして選択する方法について述べてきた。しかし、オブジェクトのサイズは、多くの場合、図４５に示すように様々である。そのため、大きなサイズのオブジェクトがあると、そのオブジェクトに視線が集中してしまい、大きなオブジェクトの裏側にあるオブジェクトや小さなサイズのオブジェクトが選択されにくくなってしまう。図４５の例では、オブジェクトＯＢＪ１の影にあるオブジェクトＯＢＪ２は選択されにくい。

そこで、図４６に示すように、各オブジェクトを所定サイズのブロックに分け、各ブロックの視線交差数をカウントする方法を提案する。この方法は、各ブロックの視線交差数をカウントした後、その各ブロックを含むオブジェクト全体における１ブロック当たりの平均視線交差数を求め、その平均視線交差数に基づいてオブジェクトを選択するというものである。所定サイズよりも小さなオブジェクトの場合には、サイズの比率分だけ視線交差数に重み付けすればよい。このような構成にすると、小さなサイズのオブジェクトが選択されにくい状況を改善することが可能になる。

なお、平均視線交差数をそのままオブジェクトの選択に用いる構成を紹介したが、平均視線交差数に基づく重み値を用いて実際の視線交差数に重み付けし、重み付け後の視線交差数に基づいてオブジェクトを選択する構成も考えられる。このように重み値で調整することにより、小さなサイズのオブジェクトが選択されやすくなる度合いと、大きなサイズのオブジェクトが選択されやすくなる度合いとをバランス良く調整することが可能になる。

上記のように、大きなオブジェクトを複数ブロックに領域分割し、そのサイズに応じた重みを付けて選択されやすさを調整する方法を用いると、小さなサイズのオブジェクトはすぐに選択されるが、大きなサイズのオブジェクトはなかなか選択されないといった状況が生じるかもしれない。しかし、このような状況は、ちょうど、小さな物体には熱が全体に素早く伝わるが、大きな物体には熱が全体になかなか伝わらない様子に似ている。従って、ユーザは、大きなサイズのオブジェクトにはじっくりと視線を送る必要があることを直感的に認識し、直感に従って違和感なく操作できるようになるだろう。このように、領域分割する構成を適用すると、直感的なユーザインターフェースの実現にも寄与する。

（３−４−３：注視時間に基づく選択判定（図４７））
さて、視線を小さな領域に正確に向け続けることは比較的難しい。しかし、この性質を逆に利用して選択精度を高める方法が考えられる。例えば、図４７に示すように、視点が所定時間より長く静止した状態になった場合に、そのオブジェクトを選択するか、視線交差数に大きな重みを付けるなどの方法が考えられる。あるオブジェクトに視線が交差した状態で長い時間静止しているということは、ユーザが強い意志を持って、そのオブジェクトを選択しようとしていると考えられる。そのため、視線の静止が所定時間以上続いた場合に、そのオブジェクトを選択すれば、ユーザの強い意志を反映した選択結果が得られる。

また、重なって表示されている複数のオブジェクトと交差する視線が静止した場合に、奥側に位置するオブジェクトが選択されるような構成にしてもよい。奥にある物体を透かしてみようとする場合、或いは、一部分だけがはみ出した物体を見ようとする場合、ユーザは、その物体を凝視する。つまり、ユーザは、ある程度の高い集中力を持って視線を静止させようとする。上記の構成は、このような自然な動作をユーザインターフェースとして実現したものと言える。従って、かかる構成により、ユーザは、より直感的な操作を行うことが可能になるのである。

（３−４−４：視線の移動速度に基づく選択判定（図４８））
また、視線を静止させることに加え、視線の移動速度を考慮することで、さらにオブジェクトの選択精度を高めたり、操作性を高めたりすることが可能になる。先に述べたように、大きなサイズのオブジェクトよりも奥に位置する小さなサイズのオブジェクトは選択しづらい。これに対し、オブジェクトを領域分割する方法については既に述べた通りであるが、図４８に示すように、視線の移動速度を考慮してオブジェクトが選択されるようにしても、同様の効果が期待できる。

図４８に示すように、奥側にあるオブジェクトに視線を向けたまま、ゆっくりと視線を移動させると、オブジェクトＯＢＪ２に対する視線交差数が大きく上昇する。従って、オブジェクトＯＢＪ２が選択される確率は高まる。しかし、奥側にあるオブジェクトが大きく隠れてしまっている場合、ゆっくりと視線を移動させても十分に選択される確率が高まらない可能性がある。そこで、視線の移動速度に応じて視線交差数に重み付けする構成が考えられる。例えば、視線の移動速度が半分になった場合、その速度で移動中に視線が交差したオブジェクトに対し、１．５倍の視線交差数を付与するなどの仕組みが考えられる。

また、視線の移動速度に応じて、視線交差を検出する際の分解能を変化させる仕組みも考えられる。ここで言う分解能とは、例えば、（分解能）＝（基準速度Ｖ０）／（実際の速度Ｖ）で定義される。この分解能を乗じた頻度で視線交差数を検出することにより、実際の速度Ｖが小さい場合には高頻度で視線交差数の検出が行われるようになる。その結果、ユーザが視線をゆっくりと移動させている際に視線が交差したオブジェクトに対する視線交差数がより大きくなり、ユーザの意図をより正確に反映したオブジェクトの選択が行われるようになる。このような仕組みを用いると、小さなサイズのオブジェクトや奥側にあるオブジェクトが選択しやすくなる。

（３−４−５：ジェスチャーによる確定操作（図４９））
これまでは、あるタイミングで自動的にオブジェクトの選択状態が確定されていたが、ユーザが自分の意志で任意に選択状態を確定できるようにすることが望まれるケースもある。例えば、交差オブジェクトが１つに絞り込まれていないが、現在選択されている複数の交差オブジェクトを即座に注視オブジェクトとして選択したい場合などが該当する。

そこで、図４９を参照しながら、ジェスチャーを利用して選択状態を確定させる仕組みについて紹介する。ジェスチャーとしては、例えば、小刻みに視線方向を移動させたり、所定のパターンで視線方向を変化させたり、視線の移動速度を所定のパターンで変化させたりする方法などが考えられる。また、表情認識技術を活用し、ユーザの表情が所定の表情（例えば、笑顔やしかめっ面など）になった場合に選択状態を確定させるといった方法も考えられる。こうした方法であれば、あくまでも視線の移動を含む頭部の動きによる操作手法の範囲内で確定操作を実現することができる。

もちろん、ポインティングデバイスを併用したり、頭部以外の部位（例えば、手など）を動かすジェスチャーを併用したりする方法も考えられる。こうした方法の場合、頭部以外の部位を動かす動作が必要になるが、細かい操作や、より正確な操作が求められる場面では、頭部の動きで操作するよりも、より精度良く容易な操作が可能になる。従って、利用形態やオブジェクトの種類などに応じて、これらの仕組みを組み合わせて利用することが望まれる。

（３−４−６：瞬き（表情変化）による確定操作（図４９））
また、視線を移動するのではなく、視線を消失させる方法が考えられる。つまり、ユーザの瞬きを検出して、その瞬きに応じてオブジェクトの選択状態を確定させるのである。また、類似の考え方で、表情変化によりオブジェクトの選択状態を確定させるユーザインターフェースも考えられる。表情変化は、リアルタイムで撮像された顔画像の特徴量変化から検出することができる。また、特定の表情に変化した場合にオブジェクトの選択状態が確定されるように構成することも可能である。いずれの方法も、視線移動に基づく操作手法の範囲内で確定操作を実現することができる。

（３−４−７：オブジェクトの移動による絞り込み操作の補助（図５０、図５１））
これまで紹介した方法を適用することで、多くの場合、ユーザは快適にオブジェクトの選択操作を行うことができると期待される。しかしながら、どのようなユーザであっても熟練を要せずに利用できるようなユーザインターフェースを実現することが究極的には求められる。そこで、注視オブジェクトの候補を識別しやすくすると同時に、次の絞り込み操作を行いやすくすることを目的として、図５０のように、候補以外のオブジェクトを移動させる構成を提案する。

また、候補以外のオブジェクトを移動させる代わりに、候補以外のオブジェクトの表示を一時的又は永続的に抑制する方法も考えられる。表示を抑制する方法としては、例えば、表示を消したり、半透明な表示にしたりする方法などが考えられる。この構成を適用すると、絞り込み過程が一目で把握できるようになる上、次の絞り込み操作を格段に容易ならしめることができる。

また、視線によるオブジェクトの絞り込み操作が難しくなる場面として、複数のオブジェクトが近隣に位置する状況が考えられる。このような状況において、これら複数のオブジェクトに対して、ほぼ同数の視線交差数が維持され、いつまでも絞り込みが進まないといった事態になる可能性がある。そこで、図５１に示すように、注視オブジェクトの候補として選択されたオブジェクトをそれぞれ異なる方向に移動させ、移動中に視線の追従を検出したオブジェクトを注視オブジェクトとして選択する仕組みを提案する。

具体的には、移動中のオブジェクトに対する視線交差数が増加した場合には、そのオブジェクトに視線が追従しているものと判定し、そのオブジェクトを注視オブジェクトとして選択する仕組みなどが考えられる。この仕組みを設けることで、選択判定の精度向上と操作性の向上が期待できる。

（３−４−８：選択オブジェクトの変更（図５２））
これまではオブジェクトの選択が確定するまでの操作手法について説明してきた。しかし、注視オブジェクトを変更したい場合もある。そこで、時間の経過と共に、各オブジェクトに対する視線交差数が漸減する仕組みを提案する。また、この仕組みと共に、視線交差数に最大数を設ける仕組みを提案する。例えば、オブジェクトＯＢＪ１を注視すると、図５２の区間１に示すように、オブジェクトＯＢＪ１に対する視線交差数が増加する。しかし、視線交差数が最大数に達すると、視線が向いていても視線交差数が最大数に固定される（区間２を参照）。また、オブジェクトＯＢＪ１から視線が逸れると、時間の経過とともに視線交差数が減少する（区間３〜区間５を参照）。

また、オブジェクトＯＢＪ１から視線を逸らし、一方でオブジェクトＯＢＪ２に視線を向けると、オブジェクトＯＢＪ２に対する視線交差数が増加する（区間２〜区間５）。そして、区間４においてオブジェクトＯＢＪ２の視線交差数がオブジェクトＯＢＪ１の視線交差数を越え、区間５の始点においてオブジェクトＯＢＪ１の視線交差数が所定の閾値（選択確定用閾値）を越える。この時点でオブジェクトＯＢＪ２が注視オブジェクトとして選択される。一方、オブジェクトＯＢＪ１は、区間３の終点で所定の閾値を下回り、注視オブジェクトとして選択された状態が解除される。このように、上記の仕組みを適用すると、視線の移動だけで注視オブジェクトの選択状態を切り替えることが可能になる。

以上、オブジェクトの選択手法などについて説明した。

［３−５：オブジェクト選択方法＃２（複数ユーザ）］
次に、複数のユーザが向ける視線に基づいてオブジェクトを選択する方法について述べる。なお、上記のオブジェクト選択方法＃１をそのまま複数ユーザのケースに適用することも可能である。そのため、ここでは複数ユーザのケースに対して適用すべき特有の工夫について紹介する。

（３−５−１：視線交差数に基づく選択方法（図５３））
上記のオブジェクト選択方法＃１の場合、ある期間に検出された視線とオブジェクトとの交差数に基づいてオブジェクトの選択を行っていた。しかし、複数のユーザが視線を向けている場合、図５３に示すように、ある瞬間の視線交差数をカウントすることが可能になる。また、視線交差数の分布が時間的に変化する様子を検出したり、その検出結果を統計的に処理してマーケティングなどに利用する方法も考えられる。この場合、あるタイミングで検出された複数の視線のそれぞれについて、各オブジェクトとの交差を判定し、各オブジェクトに対する視線交差数が多い１つ又は所定数のオブジェクトを注目オブジェクトとして選択することになる。

（３−５−２：物体識別結果に基づく個人化（年齢／性別／登録者など）（図５４））
また、顔認識技術などを組み合わせると、各ユーザを識別することができるため、図５４に示すように、各ユーザがそれぞれ注視オブジェクトを選択することが可能になる。この場合、どのユーザがどのオブジェクトを選択したかが判別できるように、注視オブジェクト又はその候補として選択されたオブジェクトに、ユーザを識別できる何らかの表示（例えば、ユーザに割り当てた色、ユーザ名、ＩＤ、顔写真、アバターなど）を付与することが望ましい。また、ユーザ単位ではなく、グループ単位でオブジェクトの選択ができるようにしてもよい。この場合、グループと各ユーザとを対応付けるグループ情報を用意しておき、顔識別結果とグループ情報とを利用して、各視線とグループとの対応関係を認識できるようにすればよい。

（３−５−３：選択結果の順位付け表示（図５５））
第２実施例に係る技術を適用すると、複数ユーザによる各オブジェクトへの注視状況が視線交差数として得られる。そのため、視線交差数に基づいてオブジェクトを順位付けることも可能になる。また、顔認識技術などを利用すると、各ユーザの年齢や性別などを判別できるため、図５５に示すように、年齢層毎や性別毎にオブジェクトの注視度ランキングを生成することが可能になる。このような注視度ランキングの情報は、リアルタイムに表示画面に表示してもよいし、その情報を統計的に処理してマーケティングなどに利用してもよい。

例えば、第２実施例に係る技術をデジタルサイネージ端末で実施した場合、街角で新商品の人気投票を簡単に行うことが可能になる。また、各家庭のテレビジョン受像機に第２実施例に係る技術を適用すれば、性別毎や年代毎に人気のある番組出演者を抽出したり、家族構成毎に人気のあるＣＭ中の商品を検出したりすることなども可能になる。このように、第２実施例に係る技術は、操作性の高い優れたユーザインターフェースを実現するだけでなく、様々な統計データの収集に利用することが可能である。

以上、オブジェクトの選択手法などについて説明した。

［３−６：注視状況の表示］
次に、注視状況の表示方法について説明する。

（３−６−１：視線交差数に応じた強調表示（色／動き／透過など）（図５６））
これまでも簡単に紹介してきたが、オブジェクトの選択過程において、ユーザに選択状況を知らせることは有意義である。例えば、図５６に示すように、視線交差数に応じて各オブジェクトの色を変化させたり、各オブジェクトを動かしたり、各オブジェクトの透明度を変化させたりする方法などが考えられる。ぼかし表現や点滅表現なども考えられる。さらに、立体音響機能を搭載した音声出力デバイスが接続されている場合には、そのオブジェクトの位置から、視線交差数に応じた所定の音声を出力するような構成にしてもよい。

（３−６−２：ヒートマップ表示（図５７））
また、これまでは各オブジェクトの表現を変化させる構成について説明してきたが、図５７に示すように、視線交差数に基づいて空間全体をヒートマップで表示する方法なども考えられる。ここで言うヒートマップとは、例えば、視線交差数が多い部分を濃く、視線交差数が少ない部分を薄く表示する表現方法である。なお、適用可能な表現方法としては、濃淡変化の他、赤みや青みを変化させる方法などがある。また、空間全体をヒートマップ表示するのではなく、各オブジェクトの内部をヒートマップ表示する方法も考えられる。特に、先に説明した領域分割を利用するオブジェクトの選択手法を適用する場合には、各オブジェクトのヒートマップ表示が有効であろう。

（３−６−３：数値又は文字による視線交差数の表示（図５８））
また、図５８に示すように、視線交差数を直に画面表示する方法が考えられる。図５８の例では、視線交差数が数値表示されていたり、視線交差数に基づく順位が文字で表示されていたりする。その他にも、文字や数字を利用して様々な表現方法が考えられるが、図５８と同様にして任意の表現方法で視線交差数の情報を表示する方法が適用可能である。

（３−６−４：インジケータによる視線交差数の表示（図５９））
また、図５９に示すように、インジケータを利用して視線交差数を表示する方法も考えられる。インジケータ表示を用いると、視線交差数の多寡が一目で把握できる。なお、オブジェクトの選択判定用閾値を設けている場合には、その閾値の目盛りをインジケータに表示することで、あとどのくらいの視線を送れば、そのオブジェクトが選択されるのかをユーザが容易に認識できるようになる。

［３−７：キャンセル方法］
ここで、注視オブジェクトのキャンセル方法について簡単に述べる。既に示唆しているが、注視オブジェクトをキャンセルする方法として、例えば、瞬き、欄外への視線の移動、表情変化、視線によるジェスチャーなどが考えられる。また、電子機器２０自体を揺さぶるなどの物理的作用を与えてキャンセルする方法なども考えられる。

［３−８：注目しやすい領域を考慮する方法］
ところで、１つのオブジェクトの中には、ユーザが注目しやすい部分と、そうでない部分とが存在する。例えば、図６０に示すような瓶のラベルなどは、ユーザに注目されやすい部分の代表例である。ユーザは、あるオブジェクトに興味を惹かれた場合、そのオブジェクトについて、より詳細な情報を得ようとする。図６０に示した瓶を例に挙げると、その瓶に注目しようとするユーザは、その瓶の中身や出自に関する情報などをより詳細に知りたいと考え、瓶のラベルに注目するだろう。仮に、この瓶が店頭に並んでいた場合、ラベルと共に、値札なども注目される部分となり得る。

そこで、こうしたユーザの心理や行動パターンなどを考慮に入れ、より精度良く注視オブジェクトを選択できるようにする仕組みを提案する。例えば、注目度の高い部分に対してユーザの視線が交差した場合に、そのオブジェクトに対する視線交差数に重みを付ける方法が考えられる。具体的には、図６０に例示したオブジェクトＯＢＪに対する視線交差数がＷａであった場合、ラベルに交差した視線数に応じた重み値ω（ω＞１）をＷａに乗じた値Ｗｂ＝Ｗａ×ωをオブジェクトＯＢＪに対する視線交差数として用いる方法などが実現可能であろう。

閾値Ｗｔｈを越えたオブジェクトを注視オブジェクトとして選択する仕組みを採用している場合、上記の方法を適用すると、ユーザは、ラベルなどの注目部分に視線を向けることで素早く注視オブジェクトを選択することが可能になる。また、あるタイミングで視線交差数の大きいオブジェクトを注視オブジェクトとして選択する仕組みを採用している場合、注目部分に視線を向けたオブジェクトが選択されやすくなり、ユーザの意図をより精度良く反映した注視オブジェクトの選択が実現される。このように、ユーザが注目しやすい領域を考慮してオブジェクトの選択を行うことで、選択精度や操作のスムーズさが向上し、操作性を格段に高めることが可能になる。

［３−９：適用例］
これまで説明してきた第２実施例に係る技術は、様々な機器に適用可能である。例えば、携帯電話、携帯情報端末、携帯ゲーム機、携帯音楽プレーヤ、携帯映像プレーヤなどの携帯機器に適用可能である。また、デジタルサイネージ端末など、街角に設置された大型のディスプレイ装置に適用することも可能である。さらに、テレビジョン受像機や撮像装置などの映像機器に対して適用することもできる。また、テレビジョン受像機と組み合わせて、セットトップボックス、録画再生装置、或いは、ゲーム機などに適用することもできる。その他にも、例えば、カーナビゲーションシステムに適用したり、ＡＴＭ、自動券売機、自動販売機などの装置に対しても適用可能である。但し、少なくとも表示機能を有するか、表示機能を搭載した機器に接続された装置であることが必要である。

［３−１０：効果］
第２実施例の構成を適用すると、ユーザは、視線を移動させるか、或いは、機器を傾けるだけでオブジェクトを選択することが可能になり、物理的なインターフェースデバイスに接触しない方法で快適に操作を行うことができるようになる。例えば、表示画面を有するデバイスを片手で把持し、そのデバイスを傾けたり、自身の所定部位を傾けたりするだけで、オブジェクトの選択が可能になる。その結果、片手に荷物を抱えている場合など、自由に両手が使えない場面においても快適に操作を行うことができるようになる。また、携帯ゲーム機など、両手で操作する機器において、両手の操作とは異なる追加的な操作を行うことが可能になる。さらに、ユーザから離れた位置にあるデジタルサイネージ端末など、遠くにあるデバイスを操作することが可能になる。

＜４：応用例（組み合わせ）＞
ここで、応用例として第１及び第２実施例を組み合わせる構成について紹介する。

［４−１：視線方向に応じたオブジェクトの表示＋視線による選択］
第１実施例によるオブジェクトの表示と、第２実施例によるオブジェクトの選択とを組み合わせたユーザインターフェースについて述べる。

（４−１−１：オブジェクト表示の固定＋視線移動による選択）
まず、第１実施例による操作手法によりオブジェクトの表示を切り替える。次いで、第１実施例による操作手法により表示内容を固定する。次いで、第２実施例による操作手法により表示されているオブジェクトを選択する。このような操作工程とすることで、第１及び第２実施例を組み合わせることができる。

（４−１−２：上下移動による表示制御＋左右移動による選択操作）
また、第１実施例による操作手法を視点の上下移動に限り、第２実施例による操作手法を視線の左右移動に限ると、上下左右の視点移動によりオブジェクト表示の切り替えと、オブジェクトの選択操作を組み合わせることができる。

［４−２：複数機器の組み合わせ］
次に、複数の機器を組み合わせる構成について紹介する。

（４−２−１：携帯機器（フィルタ）＋テレビジョン受像機（視線操作））
例えば、第１実施例の操作手法を携帯機器に適用し、第２実施例の操作手法をテレビジョン受像機に適用する構成について紹介する。携帯機器においてテレビジョン受像機の操作用アプリケーションと録画再生装置の操作用アプリケーションとを第１実施例の操作手法により切り替え、その切り替え結果がテレビジョン受像機に送信されるようにし、その切り替え結果に応じて各機器に対応するチャンネル切り替えインターフェースが表示されるようにする。そして、そのインターフェースが表示されたところで、第２実施例の操作手法が有効になり、その操作手法を利用してチャンネルを選択できるようにする構成などが考えられる。

（４−２−２：携帯機器（フィルタ）＋デジタルサイネージ端末（視線操作））
また、第１実施例の操作手法を携帯機器に適用し、第２実施例の操作手法をデジタルサイネージ端末に適用する構成も考えられる。例えば、携帯機器の撮像部をデジタルサイネージ端末に向けて表示内容を撮像し、その撮像画像に重畳する重畳情報を第１実施例の操作手法で切り替えるようにする。その切り替え結果がデジタルサイネージ端末の表示に反映され、反映後の表示内容に含まれるオブジェクトに対して第２実施例に係る視線交差数の検出処理が行われるようにする。このような構成にすることで、単にデジタルサイネージ端末に表示された一般的な情報に対する統計データではなく、ユーザによる情報の選択を考慮した情報に対する統計データが得られるようになる。

以上、第２実施例について説明した。

＜５：ハードウェア構成例（図６１）＞
上記の電子機器１０、２０及びサーバ３０が有する各構成要素の機能は、例えば、図６１に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図６１に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図６１に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜６：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。なお、これらの情報処理装置は、後述する制御装置又は電子機器として機能する。さらに、当該情報処理装置は、後述する制御方法を実現することが可能である。また、後述するプログラムにより、当該情報処理装置を動作させることも可能である。

（１）
表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を備える、
情報処理装置。

（２）
前記注視オブジェクト選択部は、前記交わる数が多い表示オブジェクトを前記注視オブジェクトの候補として抽出し、当該候補の中から前記注視オブジェクトを選択し、
前記情報処理装置は、前記注視オブジェクト選択部による抽出工程において前記注視オブジェクトの候補を第１の表現で強調表示させ、前記注視オブジェクトが選択された場合に前記第１の表現とは異なる第２の表現で当該注視オブジェクトを強調表示させる表示強調部をさらに備える、
上記（１）に記載の情報処理装置。

（３）
前記注視オブジェクト選択部は、所定のタイミングで前記交わる数が所定数以上となった１つ又は複数の表示オブジェクトを前記注視オブジェクトとして選択する、
上記（１）又は（２）に記載の情報処理装置。

（４）
前記注視オブジェクト選択部は、前記所定のタイミング以前に、前記交わる数が所定数以上となった表示オブジェクトが１つに絞り込まれた場合、当該表示オブジェクトを前記注視オブジェクトとして選択する、
上記（３）に記載の情報処理装置。

（５）
前記注視オブジェクト選択部は、所定のタイミングで前記交わる数が最大となった表示オブジェクトを前記注視オブジェクトとして選択する、
上記（１）又は（２）に記載の情報処理装置。

（６）
前記ユーザの視線は、所定の時間間隔で検出され、
前記注視オブジェクト選択部は、所定の期間に検出されたユーザの視線について、前記交わる数に基づく注視オブジェクトの選択処理を実行する、
上記（１）〜（５）のいずれか１項に記載の情報処理装置。

（７）
前記ユーザの視線は、所定のタイミングで同時に検出され、
前記注視オブジェクト選択部は、所定のタイミングで略同時に検出されたユーザの視線について、前記交わる数に基づく注視オブジェクトの選択処理を実行する、
上記（１）〜（５）のいずれか１項に記載の情報処理装置。

（８）
前記注視オブジェクト選択部は、前記ユーザの視線が移動する速度が大きいほど小さくなる重みを考慮し、前記交わる数に当該重みを掛けた評価値に基づいて前記注視オブジェクトを選択する、
上記（１）〜（６）のいずれか１項に記載の情報処理装置。

（９）
前記注視オブジェクト選択部は、前記注視オブジェクトの候補を１つずつ移動させ、移動する当該候補に対して前記ユーザの視線が追従したものを前記注視オブジェクトとして選択する、
上記（２）に記載の情報処理装置。

（１０）
前記注視オブジェクト選択部は、前記注視オブジェクトの候補が他の表示オブジェクトと重なって表示されている場合に、当該候補を１つずつ移動させ、移動する当該候補に対して前記ユーザの視線が追従したものを前記他の表示オブジェクトよりも前面に表示させる、
上記（２）に記載の情報処理装置。

（１１）
前記表示オブジェクトを所定サイズの分割領域に分け、当該各分割領域と前記ユーザの視線との交わる数を検出し、当該表示オブジェクトにおいて検出された交わる数の平均数又は当該平均数に関する情報が得られている場合に、前記注視オブジェクト選択部は、当該平均数が大きいほど大きくなる重みを考慮し、前記交わる数に当該重みを掛けた評価値に基づいて前記注視オブジェクトを選択する、
上記（１）〜（７）のいずれか１項に記載の情報処理装置。

（１２）
前記注視オブジェクト選択部は、前記ユーザの視線が前記表示オブジェクトから逸れた場合、当該表示オブジェクトに関する前記交わる数を時間の経過とともに減少させる、
上記（１）〜（６）、（８）〜（１１）のいずれか１項に記載の情報処理装置。

（１３）
少なくとも前記ユーザの視線が交わっている各表示オブジェクトについて前記交わる数に関する情報を付加的に表示させる付加情報表示部をさらに備える、
上記（１）〜（１１）のいずれか１項に記載の情報処理装置。

（１４）
前記注視オブジェクト選択部は、前記ユーザが目を閉じた状態で所定時間が経過した場合に、前記注視オブジェクトの候補又は前記注視オブジェクトとして選択された全ての前記表示オブジェクトの選択状態を解除する、
上記（１）〜（１３）のいずれか１項に記載の情報処理装置。

（１５）
前記表示オブジェクトについて前記交わる数が所定の最大数に達した場合、当該表示オブジェクトに対する視線の交差が検出されても、当該交わる数を当該所定の最大数で固定したまま更新しないように設定されている、
上記（１）〜（１４）のいずれか１項に記載の情報処理装置。

（１６）
前記注視オブジェクト選択部は、前記注視オブジェクトの候補又は前記注視オブジェクトに関する前記交わる数が所定数を下回った場合に、該当する前記表示オブジェクトの選択状態を解除する、
上記（１２）に記載の情報処理装置。

（１７）
ユーザの視線を検出する視線検出部と、
表示オブジェクトを表示する表示部と、
前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する情報取得部と、
前記情報取得部により取得された情報を前記表示部に表示する情報表示部と、
を備える、
表示装置。

（１８）
前記注視オブジェクト選択部を有する装置を搭載した、
上記（１７）に記載の表示装置。

（１９）
表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する工程を含む、
注視オブジェクト選択方法。

（２０）
ユーザの視線を検出する工程と、
表示オブジェクトを表示する工程と、
前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する工程と、
前記取得する工程で取得された情報を表示する工程と、
を含む、
情報表示方法。

（２１）
上記（１）〜（１６）のいずれか１項に記載の情報処理装置が有する各部の機能をコンピュータに実現させることが可能なプログラム。

（２２）
上記（１７）又は（１８）に記載の表示装置が有する各部の機能をコンピュータに実現させることが可能なプログラム。

（２３）
上記（２１）又は（２２）に記載のプログラムが記録された、コンピュータにより読み取り可能な記録媒体。

（備考）
上記の電子機器１０、２０、サーバ３０は、情報処理装置の一例である。上記の電子機器１０、２０は、表示装置の一例である。上記の表示制御部２０２、２１２、視線解析部２１３、視線解析部３１２は、注視オブジェクト選択部の一例である。

以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。

１０、２０ 電子機器
３０ サーバ
１０１、１２１ 多視差表示部
１０２、１２２ 表示制御部
１０３ 重畳情報取得部
１１１、１３１ 表示部
１１２、１３２ 表示制御部
１１３ 重畳情報取得部
１１４、１３４ 撮像部
１１５、１３５ ヘッドトラッキング部
１１６、１３６ フィルタ選択部
１２３、１３３ 重畳情報保持部
２０１、２１１ 表示部
２０２、２１２ 表示制御部
２０３ 通信部
２０４、２１４ 撮像部
２０５、２１５ 視線方向検出部
２１３ 視線解析部
３０１ 重畳情報提供部
３０２ 重畳情報選択部
３０３ 被写体情報取得部
３１１ 通信部
３１２ 視線解析部

Claims (20)

1. 表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を備える、
   情報処理装置。
2. 前記注視オブジェクト選択部は、前記交わる数が多い表示オブジェクトを前記注視オブジェクトの候補として抽出し、当該候補の中から前記注視オブジェクトを選択し、
   前記情報処理装置は、前記注視オブジェクト選択部による抽出工程において前記注視オブジェクトの候補を第１の表現で強調表示させ、前記注視オブジェクトが選択された場合に前記第１の表現とは異なる第２の表現で当該注視オブジェクトを強調表示させる表示強調部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記注視オブジェクト選択部は、所定のタイミングで前記交わる数が所定数以上となった１つ又は複数の表示オブジェクトを前記注視オブジェクトとして選択する、
   請求項１に記載の情報処理装置。
4. 前記注視オブジェクト選択部は、前記所定のタイミング以前に、前記交わる数が所定数以上となった表示オブジェクトが１つに絞り込まれた場合、当該表示オブジェクトを前記注視オブジェクトとして選択する、
   請求項３に記載の情報処理装置。
5. 前記注視オブジェクト選択部は、所定のタイミングで前記交わる数が最大となった表示オブジェクトを前記注視オブジェクトとして選択する、
   請求項１に記載の情報処理装置。
6. 前記ユーザの視線は、所定の時間間隔で検出され、
   前記注視オブジェクト選択部は、所定の期間に検出されたユーザの視線について、前記交わる数に基づく注視オブジェクトの選択処理を実行する、
   請求項１に記載の情報処理装置。
7. 前記ユーザの視線は、所定のタイミングで同時に検出され、
   前記注視オブジェクト選択部は、所定のタイミングで略同時に検出されたユーザの視線について、前記交わる数に基づく注視オブジェクトの選択処理を実行する、
   請求項１に記載の情報処理装置。
8. 前記注視オブジェクト選択部は、前記ユーザの視線が移動する速度が大きいほど小さくなる重みを考慮し、前記交わる数に当該重みを掛けた評価値に基づいて前記注視オブジェクトを選択する、
   請求項１に記載の情報処理装置。
9. 前記注視オブジェクト選択部は、前記注視オブジェクトの候補を１つずつ移動させ、移動する当該候補に対して前記ユーザの視線が追従したものを前記注視オブジェクトとして選択する、
   請求項２に記載の情報処理装置。
10. 前記注視オブジェクト選択部は、前記注視オブジェクトの候補が他の表示オブジェクトと重なって表示されている場合に、当該候補を１つずつ移動させ、移動する当該候補に対して前記ユーザの視線が追従したものを前記他の表示オブジェクトよりも前面に表示させる、
    請求項２に記載の情報処理装置。
11. 前記表示オブジェクトを所定サイズの分割領域に分け、当該各分割領域と前記ユーザの視線との交わる数を検出し、当該表示オブジェクトにおいて検出された交わる数の平均数又は当該平均数に関する情報が得られている場合に、前記注視オブジェクト選択部は、当該平均数が大きいほど大きくなる重みを考慮し、前記交わる数に当該重みを掛けた評価値に基づいて前記注視オブジェクトを選択する、
    請求項１に記載の情報処理装置。
12. 前記注視オブジェクト選択部は、前記ユーザの視線が前記表示オブジェクトから逸れた場合、当該表示オブジェクトに関する前記交わる数を時間の経過とともに減少させる、
    請求項１に記載の情報処理装置。
13. 少なくとも前記ユーザの視線が交わっている各表示オブジェクトについて前記交わる数に関する情報を付加的に表示させる付加情報表示部をさらに備える、
    請求項１に記載の情報処理装置。
14. 前記注視オブジェクト選択部は、前記ユーザが目を閉じた状態で所定時間が経過した場合に、前記注視オブジェクトの候補又は前記注視オブジェクトとして選択された全ての前記表示オブジェクトの選択状態を解除する、
    請求項１に記載の情報処理装置。
15. 前記表示オブジェクトについて前記交わる数が所定の最大数に達した場合、当該表示オブジェクトに対する視線の交差が検出されても、当該交わる数を当該所定の最大数で固定したまま更新しないように設定されている、
    請求項１に記載の情報処理装置。
16. 前記注視オブジェクト選択部は、前記注視オブジェクトの候補又は前記注視オブジェクトに関する前記交わる数が所定数を下回った場合に、該当する前記表示オブジェクトの選択状態を解除する、
    請求項１２に記載の情報処理装置。
17. ユーザの視線を検出する視線検出部と、
    表示オブジェクトを表示する表示部と、
    前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する情報取得部と、
    前記情報取得部により取得された情報を前記表示部に表示する情報表示部と、
    を備える、
    表示装置。
18. 前記注視オブジェクト選択部を有する装置を搭載した、
    請求項１７に記載の表示装置。
19. 表示オブジェクトとユーザの視線とが交わる数に基づき、複数の表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する工程を含む、
    注視オブジェクト選択方法。
20. ユーザの視線を検出する工程と、
    表示オブジェクトを表示する工程と、
    前記表示オブジェクトと前記ユーザの視線とが交わる数に基づき、複数の前記表示オブジェクトの中から前記ユーザが注視している表示オブジェクトを注視オブジェクトとして選択する注視オブジェクト選択部を有する装置から、当該注視オブジェクトに関する情報を取得する工程と、
    前記取得する工程で取得された情報を表示する工程と、
    を含む、
    情報表示方法。

Images