JP2011509480A - ３ｄグラフィカルユーザインタフェースをナビゲートするためのシステム及び方法 - Google Patents

Abstract

システムは、グラフィカルオブジェクトの１つを選択するために、移動機器のディスプレイ画面上に描画された複数のグラフィカルオブジェクトを見ているユーザが、書くグラフィカルオブジェクトのレンダリングを操作することを可能とする。システムは、ディスプレイ画面、及びユーザの顔からの移動機器の距離を判定する顔接近システムを備える。グラフィカルユーザインタフェース制御システムは、ディスプレイ画面上のグラフィカルオブジェクトのレンダリングを実行する。さらに、移動機器とユーザの顔との距離の変化の通知を受信し、かつ移動機器とユーザの顔との距離が変化したことを判定すると、グラフィカルユーザインタフェース制御システムは、ディスプレイ画面上のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかを変更する。

Description

本発明は、３Ｄグラフィカルユーザインタフェース、及び３Ｄグラフィカルユーザインタフェースをナビゲートするためのシステム及び方法に関するものであり、特に、このような３Ｄグラフィカルユーザインタフェースをナビゲートするために、オブジェクトのレンダリングを操作するシステム及び方法に関する。

Microsoft Windows（登録商標）や、アップルコンピュータ社によって開発されている様々なオペレーティングシステムにより提供されるようなグラフィカルユーザインタフェースは、グラフィカルユーザインタフェース内のオブジェクトにより表される様々なコンピュータの機能をナビゲート及び選択するために、グラフィカルユーザインタフェース内に描画されたオブジェクトのレンダリングをユーザが操作することを可能にするための標準のようなものになりつつある。

例えば、マウスやその他のポインティングデバイスは、グラフィカルインタフェース内にマウスポインタやカーソルを移動し、グラフィカルユーザインタフェース内に描画されたオブジェクトを選択し、当該オブジェクトにより表される機能の呼び出しを開始するために用いられてもよい。機能の呼び出しは、ファイルを開くためにアプリケーションを起動したり、起動中(existing)のアプリケーションでファイルを開いたり、複数階層のメニューの階層を下ったり(drilling down)」、及び一般にグラフィカルユーザインタフェースで描画されたオブジェクトにより示されたその他の機能を呼び出したりするものであってよい。

携帯電話、ポータブルデータアシスタント（ＰＤＡ）、及びその他の移動電子機器を含む現代の移動機器は大抵、高解像度のカラーディスプレイ画面を備え、電話帳アプリケーション、メモ帳アプリケーション、デジタル写真管理アプリケーション、ゲーム等の複数のソフトウェアアプリケーションを実行可能である。

そのため、移動機器を制御するために、グラフィカルユーザインタフェースを使用することは一般的になってきている。ユーザは、グラフィカルユーザインタフェースのオブジェクトにより表される様々なコンピュータ機能をナビゲートするために、グラフィカルユーザインタフェース内に描画されたオブジェクトのレンダリングを操作する際に、タッチパネル、スタイラス、５Ｗａｙナビゲーションコントロール、及び他のコントロールを用いることができる。

３次元（３Ｄ）グラフィカルユーザインタフェースシステムもまた提案されている。例えば、川原らの特許文献１には移動機器における３Ｄグラフィカルユーザインタフェースシステムの実装について述べられている。川原らは、割り込みアプリケーションにおいてユーザの注目が必要な場合に、割り込みより前にユーザが注目していたアプリケーションは傾いた状態で描画されたオブジェクトで示され、割り込みアプリケーションはより目立つ状態で描画されたオブジェクトで示されることを述べている。

傾いた状態で描画されたオブジェクトにより示される実行中のアプリケーション、及びより目立つ状態で描画されたオブジェクトにより示されるアプリケーションを、ユーザは移動機器の数字キー、矢印キー及びジョグダイアルを使用してナビゲートすることができる。

移動機器の２Ｄグラフィカルユーザインタフェースは一般的であり、川原らは移動機器に置いて３Ｄグラフィカルユーザインタフェースシステムの使用について述べているが、移動機器のユーザインタフェースは限られた数のキー（一般的には「１２キー」または「伝統的な電話」のキーボードとして知られる）を有するキーボードと、もし存在すれば、小さいディスプレイ上のタッチスクリーン（またはスタイラスによって活性化されるパネル）や５Ｗａｙマルチ機能ボタンを備えうるポインティングデバイスによって構成されるのが一般的であるため、課題はまだ存在する。このタイプのユーザインタフェースは、ＱＷＥＲＴＹ型フルキーボード及びマウスを用いて一般的なコンピュータシステムで操作するより、あらゆるグラフィカルユーザインタフェースのユーザにとって扱いにくい。

前述の点を考えると、移動機器において便利に実装される３Ｄグラフィカルユーザインタフェース、及びこのような３Ｄグラフィカルユーザインタフェースシステムをナビゲートするためのシステム及び方法、特には移動機器の備えるキーパッド及びタッチパネルの伝統的な使用を必要としない方式でこのような３Ｄグラフィカルユーザインタフェースをナビゲートするためにオブジェクトのレンダリングを操作するためのシステム及び方法が必要である。

米国特許出願公開第２００７／０２５０７８７号明細書

本発明の第１の側面は、グラフィカルオブジェクト及び詳細画面の少なくともいずれか、または当該グラフィカルオブジェクトのサブオブジェクトの１つを選択するために、移動機器のディスプレイ画面上に遠近法により描画された複数のグラフィカルオブジェクトを見ているユーザが、書くグラフィカルオブジェクトのレンダリングを操作することを可能とするシステムを備える。

システムはディスプレイ画面、ユーザの顔からの移動機器の距離を判定する顔接近システム、及びグラフィカルユーザインタフェース制御システムを備える。グラフィカルユーザインタフェース制御システムは、ｉ）ディスプレイ画面上の複数のグラフィカルオブジェクトの基本レンダリングを実行し、ｉｉ）移動機器とユーザの顔との距離の変化の通知を受信する。

移動機器とユーザの顔との距離が変化したと判定すると、グラフィカルユーザインタフェース制御システムはディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかを変更する。例示的な一実施形態において、サイズまたは遠近感の変化は、
ｉ）複数のグラフィカルオブジェクトのサブオブジェクトに関連する、より詳細な情報のレンダリングのための「ズームイン」された効果の生成、及び
ｉｉ）複数のグラフィカルオブジェクトにより構成される情報の概観を描画するための「ズームアウト」された効果の生成
の少なくともいずれかを目的としてもよい。

さらに、リセットイベントの通知を受信すると、グラフィカルユーザインタフェース制御システムは、複数のグラフィカルオブジェクトの基本レンダリングに戻すために、ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかを変更する。

第１の側面において、顔接近システムはさらにユーザの顔に向けられ、ユーザの顔の一連の画像を撮像するカメラを備えてもよい。このようなサブの実施形態に置いて、距離解析モジュールは、
ｉ）画像におけるユーザの顔のサイズが、前の画像における当該ユーザの顔のサイズより小さい場合、移動機器とユーザの顔との距離が増加したと判定し、
ｉｉ）画像におけるユーザの顔のサイズが、前の画像における当該ユーザの顔のサイズより大きい場合、移動機器とユーザの顔との距離が減少したと判定する。
それぞれの場合において距離解析モジュールは、移動機器とユーザの顔との距離の変化の通知を生成する。

第１のサブの実施形態において、
ｉ）移動機器とユーザの顔との距離の変化の通知は、移動機器とユーザの顔との距離が減少していることを示す通知を含み、
ｉｉ）ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、「ズームイン」された効果を生成するために、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、複数のサブオブジェクトの各々のレンダリングによって置換することを含む。

第２のサブの実施形態において、顔接近システムはさらに、ユーザのディスプレイ画面上の視角の変化を判定する視角モジュールを備える。このサブの実施形態において、グラフィカルユーザインタフェース制御システムはさらに、ユーザのディスプレイ画面の視角の変化の通知を受信し、視角が変化したと判定すると、ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングの遠近感を変更する。視角モジュールは、一連の画像のうちの１つの画像におけるユーザの顔の位置が、一連の画像のうちの前の画像における当該ユーザの顔の位置から移動されたことを判定することにより、ユーザのディスプレイ画面の視角の変化を判定してもよい。ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含んでもよい。

第３のサブの実施形態において、システムはさらに、移動機器の加速度を示す信号を生成する加速度計を備えてもよい。このサブの実施形態において、視角モジュールは、加速度を示す信号を受信し、画像及び前の画像間のユーザの顔の移動と、及び移動機器の加速度を示す信号との両方が、視角について同様の変化を示すことを判定することにより、ディスプレイ画面の視角の変化を判定する。

第４のサブの実施形態において、加速度計はさらに、移動機器の特有の選択動作を示す選択信号を生成してもよい。特有の選択動作は、例えば移動機器の短い揺れの動作であってもよい。このサブの実施形態において、グラフィカルユーザインタフェース制御システムはさらに、選択信号を受信し、当該受信に応じて、
ｉ）ディスプレイ画面上の第１のオブジェクト及び第２のオブジェクト間でグラフィカルセレクタを移動し、
ｉｉ）グラフィカルセレクタが位置づけられている、複数のグラフィカルオブジェクトの選択を通知する選択信号をアプリケーションに対してを生成する。

第２の側面において、顔接近システムは、
ｉ）ユーザの顔に向けて信号を送信する送信機と、
ｉｉ）ユーザの顔で反射された信号を捉える受信機と、
ｉｉｉ）距離解析モジュールと、
を備えてもよい。距離解析モジュールは、
ｉ）信号を送信してからレシーバが反射された当該信号を捉えるまでの時間が、前の信号を送信してからレシーバが反射された当該信号を捉えるまでの時間より大きい場合、移動機器とユーザの顔との距離が増加したと判定し、
ｉｉ）信号を送信してからレシーバが反射された当該信号を捉えるまでの時間が、前の信号を送信してからレシーバが反射された当該信号を捉えるまでの時間より小さい場合、移動機器とユーザの顔との距離が減少したと判定する。
それぞれの場合において、距離解析モジュールは移動機器とユーザの顔との距離の変化の通知を生成する。

また、第１のサブの実施形態として、
ｉ）移動機器とユーザの顔との距離の変化の通知は、移動機器とユーザの顔との距離が減少していることを示す通知を含み、
ｉｉ）ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、「ズームイン」された効果を生成するために、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、複数のサブオブジェクトのそれぞれのレンダリングによって置換することを含む。

第２のサブの実施形態として、顔接近システムはさらに、
ｉ）移動機器の加速度を示す信号を生成する加速度計と、
ｉｉ）移動機器の加速度を示す信号に関連する視角の変化を判定することにより、ディスプレイ画面の視角及びユーザの顔の変化を判定する視角モジュールと、
を備える。このサブの実施形態として、グラフィカルユーザインタフェース制御システムはさらに、ディスプレイ画面上の視角及びユーザの顔の変化の通知を受信し、視角が変化していると判定すると、ディスプレイの画面の複数のグラフィカルオブジェクトのレンダリングの遠近感を変更する。また、ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含んでもよい。

第３のサブの実施形態において、加速度計はさらに、移動機器の特有の選択動作を示す選択信号を生成してもよい。このサブの実施形態において、グラフィカルユーザインタフェース制御システムはさらに、選択信号を受信し、当該受信に応じて、
ｉ）ディスプレイ画面上の第１のオブジェクト及び第２のオブジェクト間でグラフィカルセレクタを移動し、
ｉｉ）グラフィカルセレクタが置かれている、複数のグラフィカルオブジェクトの選択を通知する選択信号をアプリケーションに対して生成する。

第４の側面において、顔接近システムはさらに、
ｉ）移動機器の加速度を示す加速度信号を生成する加速度計と、
ｉｉ）距離解析モジュールと、
を備える。距離解析モジュールは、
ｉ）移動機器がユーザの顔から離される（このような増加と一致する）方向の当該移動機器の加速度を示す加速度信号を判定すると、移動機器とユーザの顔との距離が増加していると判定し、
ｉｉ）移動機器がユーザの顔に向かう（このような減少と一致する）方向の当該移動機器の加速度を示す加速度信号を判定すると、移動機器とユーザの顔との距離が減少していると判定する。
それぞれの場合において、距離解析モジュールは、移動機器とユーザの顔との距離の変化の通知を生成する。

また、第１のサブの実施形態において、
ｉ）移動機器とユーザの顔との距離の変化の通知は、移動機器とユーザの顔との距離が減少していることを示す通知を含んでもよく、
ｉｉ）ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、「ズームイン」された効果を生成するために、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、複数のサブオブジェクトのそれぞれのレンダリングによって置換することを含む。

第２のサブの実施形態において、顔接近システムはさらに、移動機器の加速度を示す信号に関連する視角の変化の判定により、ディスプレイ画面の視角及びユーザの顔の変化を判定する視角モジュールを備えてもよい。このサブの実施形態において、グラフィカルユーザインタフェース制御システムはさらに、ディスプレイ画面の視角及びユーザの顔の変化の通知を受信し、視角が変化していると判定すると、ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングの遠近感を変更する。また、ディスプレイ画面上の複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含む。

前述の効果及び関連する目的のために、発明は以下に十分に記載される、請求項において特に述べられる特徴を含む。以下の詳細な記述及び添付の図面は、発明のある例示的な複数の実施形態の詳細を記述している。しかしながら、これらの実施形態は発明の原理に使用されるかもしれない様々な方法のいくつかを示したものである。発明の他の目的、効果及び新たな特徴は、図面とあわせて検討した際に以下の発明の詳細な記述から明らかになるであろう。

本明細書において、「を含む（を有する）」という用語が用いられる場合、記載された機能、整数(integers)、ステップ又は構成要素の存在を特定するものと解釈されるが、他の機能、整数(integers)、ステップ又は構成要素の１つ以上の存在を排除しないことを強調しておく。

本発明の一実施形態に係る３次元グラフィカルユーザインタフェースをナビゲートするための例示的なシステム及び方法の１つの側面を示した図。 本発明の一実施形態に係る３次元グラフィカルユーザインタフェースをナビゲートするための例示的なシステム及び方法の別の側面を示した図。 本発明の一実施形態に係る３次元グラフィカルユーザインタフェースをナビゲートするための例示的なシステム及び方法のさらに別の側面を示した図。 本発明の一実施形態に係る３次元グラフィカルユーザインタフェースをナビゲートするための例示的なシステム及び方法のさらに別の側面を示した図。 本発明の一実施形態に係る３次元グラフィカルユーザインタフェースをナビゲートするための例示的なシステム及び方法の第２の側面を示した図。 本発明の一実施形態に係るグラフィカルユーザインタフェース制御システムの例示的な動作を示したフローチャート。

本明細書で「電子装置」として示される語句は、携帯無線通信装置を含む。また、本明細書において「移動無線端末」または「移動機器」とも呼ぶ「携帯無線通信装置」という語句は、携帯電話、ページャ、例えば電子手帳のようなコミュニケータ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン等の全ての装置を含む。

本明細書で述べられる多くの要素は、「システム」、「モジュール」、「回路」又は同様の呼ばれ方をしているかどうかに関わらず、１つ以上のハードウェア回路、ソフトウェアコードを実行するプロセッサ、またはハードウェア回路及びコードを実行するプロセッサの組み合わせにおいて実施されてもよい。また、本明細書を通して用いられる回路という語句は（個別の要素でも集積回路ブロックでもよい）ハードウェア回路、コードを実行するプロセッサ、またはハードウェア回路及びコードを実行するプロセッサの組み合わせ、または本技術分野に属する当業者に知られるそれらの組み合わせを包含することが意図されている。

図において、参照番号の付された要素のそれぞれは、参照番号の後に独立した文字記号を伴う同一の参照番号が付された他の要素と類似する。また明細書において、参照番号の後に個別の文字記号を伴う参照番号は、番号及び文字記号が付された個別の要素を参照し、個別の文字記号を伴わない参照番号は、複数の図において参照番号の後に独立した文字記号を伴う、同一の参照番号が付された全ての要素を参照するものとする。

図１は、移動機器１０のデータまたは機能を示すオブジェクト１４ａ、１６ａで構成される３次元（３Ｄ）グラフィカルユーザインタフェース１３を描画するためのディスプレイ画面１２を備える、携帯電話、携帯ＰＤＡ、デジタルカメラ、ＭＰ３プレーヤ、またはその他のハンドヘルド移動機器が統合された、例示的な移動機器１０を示している。図１に示されるオブジェクト１４ａから１４ｂへの遠近感の変化により示されるように、各オブジェクト１４ａ，１６ａが、深さを有し、また様々な深さのレベルがサブオブジェクトまたはサブ機能を表現するような視覚的効果を与える奥行きのある形状を有する点で、３Ｄグラフィカルユーザインタフェース１３は２Ｄグラフィカルユーザインタフェースとは異なる。

３次元（３Ｄ）グラフィカルユーザインタフェース制御システム１８は、本発明の教示に従って、３Ｄグラフィカルユーザインタフェースを動作させ、グラフィカルユーザインタフェース１３をナビゲートするユーザに従い、オブジェクト１４ａ、１６ａのサイズ及び奥行きの組み合わせを操作するとともにオブジェクト１４ａ、１６ａのレンダリングを駆動する。

第１の側面において、このような３Ｄグラフィカルユーザインタフェースのナビゲートをユーザに可能にするために、移動機器はデジタルカメラ２６、顔接近システム２０、及び任意の加速度計３２を含む。

デジタルカメラ２６は、顔接近システム２０に入力するための一連の画像（または動画像）を生成してよい。特に、デジタルカメラ２６は、ユーザがディスプレイ画面１２を見ているときに、ユーザの顔が、サムネイル画像４５ａ及び４５ｂで示されるように一連の画像（または動画像）４５に描画されるような視野を有してよい。

顔接近システム２０は、一連の画像（または動画像）４５を受信する。距離解析モジュール２８は、画像（例えばサムネイル画像４５ｂ）におけるユーザの顔のサイズが、前の画像（例えばサムネイル画像４５ａ）におけるユーザの顔のサイズより大きい場合、移動機器１０とユーザの顔との距離が減少したと判定してよい。距離解析モジュールは、ユーザの顔の容易に認識された特徴のサイズを比較することにより、上述したように判定してもよい。例えば、ユーザの２つの眼及び鼻により形成される三角形は、ユーザの顔の容易に認識される特徴（例えば眼及び鼻）のサイズを形成し、画像４５ａ及び４５ｂ間における、（三角形４７ａ及び４７ｂで示されるような）この三角形のサイズの増加は、移動機器１０とユーザの顔との距離が減少したことを示す。

同様に、距離解析モジュールは、画像におけるユーザの顔のサイズが、前の画像におけるユーザの顔のサイズより小さい場合、移動機器１０とユーザの顔との距離が増加したと判定してよい。

距離解析モジュール２８は、移動機器とユーザの顔との距離が増加または減少したことの判定を受けて、距離通知信号２２を生成してよい。距離通知信号２２は、グラフィカルユーザインタフェース制御システム１８に入力されてよい。

移動機器とユーザの顔との距離が減少したことを示す距離通知信号２２を受信すると、グラフィカルユーザインタフェース制御システム１８は、グラフィカルユーザインタフェース１３にユーザが「ズームイン」する効果を生成するために、グラフィカルユーザインタフェース１３のレンダリングを操作してよい。このような「ズームイン」する効果は、グラフィカルオブジェクト１４ａ、１６ａのサイズの増加、またはそれぞれのグラフィカルオブジェクトの遠近感の、グラフィカルオブジェクト１４ｂ、１６ｂにより描画されるような「ズームイン」された遠近感への変化を含んでよい。この例では、「ズームイン」された遠近感（オブジェクト１４ｂ、１６ｂ）は、「ズームアウト」された遠近感（オブジェクト１４ａ、１６ａ）ではラベルを描画せず、個別に選択できないサブオブジェクトに対し、ラベルが付され、個別に選択可能であってよいサブオブジェクト１５及び１７を含む。

図２では、顔接近システム２０はさらに視角モジュール３０を含んでもよい。視角モジュール３０は、画像（例えばサムネイル画像４５ｄ）におけるユーザの顔の位置が、前の画像（例えばサムネイル画像４５ｃ）におけるユーザの顔の位置から水平軸方向に移動した場合、ユーザのディスプレイ画面の視角の変化が起きたと判定してもよい。それぞれの場合、視角モジュール３０は、視角の変化の通知２４をグラフィカルユーザインタフェース１８に対して生成する。

視角２４の変化の通知を受信すると、グラフィカルユーザインタフェース制御システム１８は、「ズームイン」された遠近感を有する複数のオブジェクトの変化の効果を生成するために、グラフィカルユーザインタフェース１３のレンダリングを操作してよい。図２に示されるように、水平軸方向の視角の変化の通知２４を受けて、（「ズームイン」された遠近感の）オブジェクト１４ｂのサイズ及び遠近感は（「ズームアウト」された遠近感の）オブジェクト１４ａに変化し、（「ズームアウト」された遠近感の）オブジェクト１６ａのサイズ及び遠近感は（「ズームイン」された遠近感の）オブジェクト１６ｂに変化するように、グラフィカルユーザインタフェース制御システム１８はグラフィカルユーザインタフェース１３を変化させてよい。

図３に簡易的に示すように、グラフィカルユーザインタフェース１３が、オブジェクト１６ｂのような複数の選択可能なサブ要素１７を伴う「ズームイン」された遠近感で描画されるオブジェクトである場合、フレーム４５ｅ及び４５ｆ間のユーザの顔の水平移動により示される、視角の水平変化の通知２４を受信すると、グラフィカルユーザインタフェース制御システム１８は第１のサブ要素（要素１７ａ）から第２のサブ要素（要素１７ｂ）に（ハイライトバーのような）セレクタを移動または切り替える効果を生成するために、グラフィカルユーザインタフェース１３のレンダリングを操作してよい。

図４に簡易的に示すように、視角モジュール３０は、画像（例えばサムネイル画像４５ｈ）におけるユーザの顔の位置が、前の画像（例えばサムネイル画像４５ｇ）におけるユーザの顔の位置から垂直軸方向に移動した場合、ユーザのディスプレイ画面の視角の変化が起きたと判定してもよい。また、それぞれの場合、視角モジュール３０は視角の変化の通知２４をグラフィカルユーザインタフェースに対して生成する。

図４に示すように、垂直軸方向の視角の変化の通知２４を受けて、（「ズームイン」された遠近感の）オブジェクト１６ｂは、それぞれのサブ要素１７ｃ、１７ｄに関連する異なるデータを表示するように（点線矢印１９で示される方向に）回転された（同じく「ズームイン」された遠近感の）オブジェクト１６ｃに変化するように、グラフィカルユーザインタフェース制御システム１８はグラフィカルユーザインタフェース１３を変化させてよい。特に、オブジェクト１６ｂは、表示されたある文字情報、及び「樽」の裏側に隠された追加の情報である存在情報とともに、「樽型」オブジェクト１６ｂとして積み重ねられたサブオブジェクトのグループの透視レンダリングである。オブジェクト１６ｃは、事前に「樽」の裏側に隠されていた文字情報が、ユーザに見えるように回転されたオブジェクトを示している。

図１、２、３及び４において、加速度計３２は顔接近システム２０に、移動機器１０の加速度の方向及び大きさの両方を示す、加速度ベクトルであってよい加速度信号３４を供給してもよい。距離解析モジュール２８及び視角モジュール３０は、加速度信号３４を受信してもよい。このような実施形態では、距離の変化の通知信号２２は加速度信号３４の機能、または一連の画像４５におけるユーザの顔のサイズの変化により判定された距離の変化及び加速度信号３４の両方の機能であってよい。このような機能は、画像及び前の画像間の移動端末１０とユーザの顔との距離の変化と加速度信号３４とが、距離において同様の変化を示すことの判定を含んでもよい。

同様に、視角の変化の通知２４は、加速度信号３４の機能、または一連の画像４５におけるユーザの顔の移動により判定された視角の変化及び加速度信号３４の両方の機能であってよい。このような機能は、画像及び前の画像間のユーザの顔の遠近感の変化と加速度信号３４とが、視角において同様の変化を示すことの判定を含んでもよい。

特に図３を参照すると、加速度計３４はさらに、移動機器１０の明確な選択動作を示す選択信号５０を生成する。加速度計３４により容易に検出可能な、例示的な特有の選択動作は、移動機器１０を短く振動させる(brief shake)動作であってよい。この側面において、グラフィカルユーザインタフェース１８は選択信号５０を受信してもよく、当該選択信号５０を受けて、ディスプレイ画面の第１のオブジェクト及び第２のオブジェクト間でグラフィカルセレクタ（例えばハイライトバー）を移動し、グラフィカルユーザインタフェースのグラフィカルオブジェクトの選択を通知する、他のアプリケーションへの選択信号を生成する。

図５は、第２の側面において、このような３Ｄグラフィカルユーザインタフェースのナビゲートをユーザに可能とするために、移動機器１０がユーザの顔に対して信号を方向付けるトランスミッタ４４、ユーザの顔で反射した信号を捉える少なくとも１つのレシーバ４２ａ、４２ｂ、及び距離解析モジュール２８を含んでもよいことを示している。

例示的な実施形態において、
ｉ）トランスミッタ４４は、ユーザの顔に向けて赤外光のパルスを定期的に送信する赤外トランスミッタであってもよく、そしてレシーバ４２ａ、４２ｂは反射された赤外光を検出してもよい。また、
ｉｉ）トランスミッタ４４は、ユーザの顔に向けて高周波音声パルスを定期的に送信する超音波トランスミッタであってもよく、そしてレシーバ４２ａ、４２ｂは反射された音声の周波数を検出するマイクであってもよい。

両方の例において、信号制御システム３９は、トランスミッタ４４からの信号の送信と、レシーバ４２ａ、４２ｂによる反射された信号の受信との時間のずれを示す信号３８を、顔接近システム２０の距離解析モジュール２８に供給する。信号制御システム３９はまた、それぞれのレシーバ４２ａ、４２ｂで受信された、反射された信号の強度を示す信号４０を供給してもよい。

距離解析モジュール２８は、トランスミッタ４４が信号を送信してからレシーバ４２ａ、４２ｂが反射された当該信号を捉えるまで（送信された信号は４６ｂ、反射された信号は４８ｂで示される）の時間が、前の信号送信からレシーバが反射された当該信号を捉えるまで（送信された信号は４６ａ、反射された信号は４８ａで示される）の時間より少ない場合、移動機器１０とユーザの顔との距離が減ったことを判定する。同様に、距離解析モジュール２８は、トランスミッタ４４が信号を送信してからレシーバ４２ａ、４２ｂが反射された信号を捉えるまでの時間が、前の信号送信からレシーバが反射された当該信号を捉えるまでの時間より増加した場合、移動機器とユーザの顔との距離が増加したことを判定する。

いずれかの場合、距離解析モジュール２８は距離の変化の通知信号２２を生成してよく、移動機器とユーザの顔との距離が減少したことを通知する距離通知信号２２の受信を受けて、グラフィカルユーザインタフェース制御システム１８は、グラフィカルユーザインタフェース１３にユーザが「ズームイン」している効果を生成するために、グラフィカルユーザインタフェース１３のレンダリングを操作してもよい。このような「ズームイン」している効果は、グラフィカルオブジェクト１４ａ、１６ａのサイズの増加や、それぞれのグラフィカルオブジェクトの遠近感が、グラフィカルオブジェクト１４ｂ、１６ｂに示されるような「ズームイン」された遠近感となるような変化を含んでもよい。

視角モジュール３０は、（信号４０により示されるような）反射された信号の強度が、
ｉ）レシーバ４２ａにより測定された反射された信号の強度、及び
ｉｉ）レシーバ４２ｂにより測定された反射された信号の強度
の差について物理的な変化を通知する場合、ユーザのディスプレイ画面の視角の変化が生じたことを判定してよい。

また本側面において加速度計３２は、移動機器１０の加速度の方向及び大きさの両方を示す加速度ベクトルであってよい加速度信号３４を、顔接近システム２０に供給してもよい。距離解析モジュール２８及び視角モジュール３０は、加速度信号３４を受信してもよい。このような実施形態において距離の変化の通知信号２２は、ユーザの顔に向けて送信され、反射された信号が検出されるまでに要する時間の変化により判定された距離の変化及び加速度信号３４の機能であってよい。このような機能は、反射された信号の検出に係る時間の変化により判定される、移動機器１０とユーザの顔との距離の変化と、加速度信号３４とが、距離について同様の変化を示すことの判定を含んでもよい。

同様に、視角の変化通知２４は、レシーバ４２ａ、４２ｂにおいて測定される反射された信号の強度の差の物理的な変化により判定される視角の変化及び加速度信号３４の機能であってよい。このような機能は、レシーバ４２ａ、４２ｂで測定された反射された信号の強度の差の物理的な変化により判定された、ユーザの顔の遠近感の変化と、加速度信号３４とが、視角について同様の変化を示すことの判定を含んでもよい。

図６は、グラフィカルユーザインタフェース制御システム１８の例示的な動作を示すフローチャートを示している。図１に係る図６のフローチャートにおいて、ステップ５２は、ディスプレイ画面１２にグラフィカルユーザインタフェース１３（例えば基本画面３９）においてオブジェクト１４ａ、１６ａの初期レンダリングの生成を示している。

初期レンダリングまたは基本画面は、グラフィカルユーザインタフェース１３を基本画面３９にリセットする適切なタイミングで生成されてもよい。例えば、初期レンダリングの生成は以下のリセットイベントに応じて生じてもよい。
ｉ）グラフィカルユーザインタフェースに対するユーザによるインタラクションが発生せずに所定の時間が経過した場合（例えば非活動タイムアウト）。
ｉｉ）ユーザによる特定のリセット信号の入力に応じて。

このようなリセット信号は例えば、ユーザによる特定のキーの操作（例えばユーザが「*」キー３３を２秒間押し続けた）、ユーザによる特定のキーの一連の操作（例えばユーザが「*」キー３３、「0」キー３５に続けて再び「*」キー３３を操作する一連の操作）、ディスプレイ画面１２に描画されたリセットコントロール３７がタッチパネルに振れることにより操作された、またはカメラ２６により検出されるかもしれない特定のリセットジェスチャ等であってよい。

ボックス５４は、オブジェクト１４ａ、１６ａの遠近感及びサイズの少なくともいずれかの変更を実行するかもしれない、様々なイベントを示している。例示的なイベントは、移動機器１０とユーザの顔との距離の変化を示す距離変化イベント６２を含む。

別の例示的なイベントは、移動機器１０のディスプレイ画面１２におけるユーザの視角の変化を示す視角変化イベント６４を含む。視角の変化は、
ｉ）左方向への移動イベント６４ａ、右方向への移動イベント６４ｂを意味する水平移動
ｉｉ）上方向への移動イベント６４ｃ、下方向への移動イベント６４ｄを意味する垂直移動
であってもよい。

さらに別の例示的なイベントである選択信号イベント６６は、独立した選択動作を示す（加速度計３４により生成された）選択信号５０の検出を示してもよい。

さらに別の例示的なイベントであるリセットイベント６５は、ユーザインタフェースが上述した（図１の）基本画面３９にリセットされることの判定を示してもよい。

距離変化イベント６２を受けて、グラフィカルユーザインタフェース制御システム１８は、図１に関して述べられた「ズームイン」及び「ズームアウト」効果により示されるように、オブジェクトのサイズ及びオブジェクトの遠近感を変更してもよい。

水平移動イベント（イベント６４ａ、６４ｂ）を受けて、グラフィカルユーザインタフェース制御システム１８は、図２及び図３に関して述べられた効果により示されるように、オブジェクトの遠近感を変更してもよい。同様に、垂直移動イベント（イベント６４ｃ、６４ｄ）を受けて、グラフィカルユーザインタフェースは図４に関して述べられた効果により示されるように、オブジェクトの遠近感を変更してもよい。

選択信号イベント６６を受けて、グラフィカルユーザインタフェース制御システム１８は、ディスプレイ画面上の第１及び第２のオブジェクト間でグラフィカルセレクタを移動させ、グラフィカルユーザインタフェースにおいて選択されているグラフィカルオブジェクトを通知する別のアプリケーションに選択信号を生成してもよい。

リセットイベント６５を受けて、グラフィカルユーザインタフェース制御システム１８は、ステップ５２と同様に、上述した基本画面を生成してもよい。

発明を、ある好ましい実施形態について示し、かつ説明してきたが、本明細書を読み理解することにより、本技術分野に属する他の当業者が等価物や変形物を実現できることは明らかである。本発明は、そのような等価物や変形物を全て含み、以下の請求項によってのみ限定される。

Claims (18)

1. 移動機器のディスプレイ画面上に遠近法により描画された複数のグラフィカルオブジェクトを見ているユーザが、各グラフィカルオブジェクトのレンダリングを操作することを可能とするシステムであって、
   ディスプレイ画面と、
   前記ユーザの顔からの前記移動機器の距離を判定する顔接近システムと、
   グラフィカルユーザインタフェース制御システムであって、
   前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトの基本レンダリングを実行し、
   前記移動機器と前記ユーザの顔との距離の変化の通知を受信し、前記移動機器と前記ユーザの顔との距離が変化したと判定すると、前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかを変更する、グラフィカルユーザインタフェース制御システムと、を備えることを特徴とするシステム。
2. 前記グラフィカルユーザインタフェース制御システムはさらに、リセットイベントの通知を受信すると、前記複数のグラフィカルオブジェクトの基本レンダリングに戻すために、前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかを変更することを特徴とする請求項１に記載のシステム。
3. 前記顔接近システムは、
   前記ユーザの顔に向けられ、前記ユーザの顔の一連の画像を撮像するカメラと、
   距離解析モジュールであって、
   画像における前記ユーザの顔のサイズが、前の画像における当該ユーザの顔のサイズより小さい場合、前記移動機器と前記ユーザの顔との距離が増加したと判定し、
   画像における前記ユーザの顔のサイズが、前の画像における当該ユーザの顔のサイズより大きい場合、前記移動機器と前記ユーザの顔との距離が減少したと判定し、
   それぞれの場合において、前記移動機器と前記ユーザの顔との距離の変化の通知を生成する、距離解析モジュールと、を備えることを特徴とする請求項２に記載のシステム。
4. 前記移動機器と前記ユーザの顔との距離の変化の通知は、前記移動機器と前記ユーザの顔との距離が減少していることを示す通知を含み、
   前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、前記複数のサブオブジェクトの各々のレンダリングによって置換することを含むことを特徴とする請求項２に記載のシステム。
5. 前記顔接近システムはさらに、前記ユーザの前記ディスプレイ画面上の視角の変化を判定する視角モジュールを備え、
   前記グラフィカルユーザインタフェース制御システムはさらに、前記ディスプレイ画面の視角の変化の通知を受信し、視角が変化したと判定すると、前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感を変更することを特徴とする請求項３に記載のシステム。
6. 前記視角モジュールは、前記一連の画像のうちの１つの画像における前記ユーザの顔の位置が、前記一連の画像のうちの前の画像における当該ユーザの顔の位置から移動したことを判定することにより、前記ユーザの前記ディスプレイ画面の視角の変化を判定することを特徴とする請求項５に記載のシステム。
7. 前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含むことを特徴とする請求項５に記載のシステム。
8. さらに、前記移動機器の加速度を示す信号を生成する加速度計を備え、
   視角モジュールは、前記加速度を示す信号を受信し、画像及び前の画像間の前記ユーザの顔の遠近感の変化と、及び前記移動機器の前記加速度を示す信号との両方が、視角について同様の変化を示すことを判定することにより、前記ディスプレイ画面の視角の変化を判定することを特徴とする請求項４に記載のシステム。
9. 前記加速度計はさらに、前記移動機器の特有の選択動作を示す選択信号を生成し、
   前記グラフィカルユーザインタフェース制御システムはさらに、前記選択信号を受信し、当該受信に応じて、前記ディスプレイ画面上の第１のオブジェクト及び第２のオブジェクト間でグラフィカルセレクタを移動し、ｉｉ）前記グラフィカルセレクタが位置づけられている、前記複数のグラフィカルオブジェクトの選択を通知する選択信号をアプリケーションに対して生成する請求項８に記載のシステム。
10. 前記顔接近システムは、
    前記ユーザの顔に向けて信号を送信する送信機と、
    前記ユーザの顔で反射された信号を捉える受信機と、
    距離解析モジュールであって、
    信号を送信してから前記レシーバが反射された当該信号を捉えるまでの時間が、前の信号を送信してから前記レシーバが反射された当該信号を捉えるまでの時間より大きい場合、前記移動機器と前記ユーザの顔との距離が増加したと判定し、
    信号を送信してから前記レシーバが反射された当該信号を捉えるまでの時間が、前の信号を送信してから前記レシーバが反射された当該信号を捉えるまでの時間より小さい場合、前記移動機器と前記ユーザの顔との距離が減少したと判定し、
    それぞれの場合において、前記移動機器と前記ユーザの顔との距離の変化の通知を生成する、距離解析モジュールと、を備えることを特徴とする請求項２に記載のシステム。
11. 前記移動機器と前記ユーザの顔との距離の変化の通知は、前記移動機器と前記ユーザの顔との距離が減少していることを示す通知を含み、
    前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、前記複数のサブオブジェクトのそれぞれのレンダリングによって置換することを含むことを特徴とする請求項１０に記載のシステム。
12. 前記顔接近システムはさらに、
    前記移動機器の加速度を示す信号を生成する加速度計と、
    前記移動機器の加速度を示す信号に関連する視角の変化を判定することにより、前記ユーザの前記ディスプレイ画面の視角の変化を判定する視角モジュールと、を備え、
    前記グラフィカルユーザインタフェース制御システムはさらに、前記ディスプレイ画面の視角の変化の通知を受信し、前記視角が変化していると判定すると、前記ディスプレイの画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感を変更することを特徴とする請求項１０に記載のシステム。
13. 前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含むことを特徴とする請求項１２に記載のシステム。
14. 前記加速度計はさらに、前記移動機器の特有の選択動作を示す選択信号を生成し、
    前記グラフィカルユーザインタフェース制御システムはさらに、前記選択信号を受信し、当該受信に応じて、前記ディスプレイ画面上の第１のオブジェクト及び第２のオブジェクト間でグラフィカルセレクタを移動し、ｉｉ）前記グラフィカルセレクタが置かれている、前記複数のグラフィカルオブジェクトの選択を通知する選択信号をアプリケーションに対して生成する請求項１２に記載のシステム。
15. 前記顔接近システムは、
    前記移動機器の加速度を示す信号を生成する加速度計と、
    距離解析モジュールであって、
    前記信号が前記移動機器と前記ユーザの顔との距離の増加と一致する判定すると、前記移動機器と前記ユーザの顔との距離が増加していると判定し、
    前記移動機器の加速度を示す信号に関連する視角の変化を判定した場合に、前記ディスプレイ画面上の視角及び前記ユーザの顔の変化を判定すると前記移動機器と前記ユーザの顔との距離が減少していると判定し、
    それぞれの場合において、前記移動機器と前記ユーザの顔との距離の変化の通知を生成する、距離解析モジュールと、を備えることを特徴とする請求項２に記載のシステム。
16. 前記移動機器と前記ユーザの顔との距離の変化の通知は、前記移動機器と前記ユーザの顔との距離が減少していることを示す通知を含み、
    前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングのサイズ及び遠近感の少なくともいずれかの変更は、複数のサブオブジェクトを表す１つのオブジェクトのレンダリングを、前記複数のサブオブジェクトのそれぞれのレンダリングによって置換することを含むことを特徴とする請求項１５に記載のシステム。
17. 前記顔接近システムはさらに、前記移動機器の加速度を示す信号に関連する視角の変化の判定により、前記ユーザの前記ディスプレイ画面の視角の変化を判定する視角モジュールを備え、
    前記グラフィカルユーザインタフェース制御システムはさらに、前記ディスプレイ画面の視角の変化の通知を受信し、前記視角が変化していると判定すると、前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感を変更することを特徴とする請求項１５に記載のシステム。
18. 前記ディスプレイ画面上の前記複数のグラフィカルオブジェクトのレンダリングの遠近感の変更は、選択できないオブジェクトによって少なくとも１つの選択可能なオブジェクトを置換することを含むことを特徴とする請求項１７に記載のシステム。

Images