JP2008536196A - ３ｄポインティングを使用してテレビアプリケーションを向上させる方法およびシステム - Google Patents

Abstract

本発明によるシステムおよび方法は、大小のコレクションからメディアアイテム、たとえば映画、曲などを容易かつ迅速に選択することを可能にするポイント、クリック、スクロール、ホバー、ズームの基本制御プリミティブの集まりのためのオプションの3D制御装置に結合されたグラフィカルユーザインターフェースを含む、メディアアイテムを編成し、選択し、開始するための制御フレームワークを提供する。リモコンが、自然な手の動きおよびジェスチャを関連するコマンドにマップするとともに、グラフィカルディスプレイが、ユーザによるメディアアイテム間の容易な編成、選択、およびナビゲーションを提供するために、GUIオブジェクトの詳細および連続性レベルを増加/減少させるためにズームする画像を使用する。

Description

本出願は、参照によりその開示が本明細書に組み込まれている、2005年2月14日に出願された米国特許仮出願第60/653229号、「Methods and Systems for Enhancing Television Applications Using Free-Space Pointing」に関し、かつその優先権を主張するものである。

本発明は、メディアアイテムを編成し、選択し、開始するためのフレームワークについて説明する。そのフレームワークの一部は、ポイント、クリック、スクロール、ホバー、およびズームの基本ビルディングブロックを備えたグラフィカルユーザインターフェース、より詳細には、リモートの3Dポインティングで使用され得るメディアアイテムに関連するグラフィカルユーザインターフェースの設計および操作を伴う。

情報の伝達に関連する技術は、この数十年の間に急速に進化した。(ほんのいくつかを挙げると)テレビ、携帯電話、インターネット、および光通信技術が組み合わさって、非常に多くの利用可能な情報および娯楽の選択肢が消費者に与えられている(inundate with)。一例としてテレビを挙げると、この30年間に、ケーブルテレビサービス、衛星テレビサービス、ペイパービュー方式の映画、およびビデオオンデマンドが導入された。1960年代のテレビ視聴者は一般に、そのテレビ受信機上で恐らく4つまたは5つの電波テレビチャンネル(over-the-air TV channel)を受信することができたが、今日のテレビ視聴者は、何百また潜在的には何千ものショーおよび情報チャンネルから選択する機会を得ている。現在主としてホテルなどで使用されているビデオオンデマンド技術は、何千もの映画タイトルの中から自宅で楽しむコンテンツ(in-home entertainment)を選択する潜在性を提供している。たとえばTiVo, Inc.社、2160 Gold Street、Alviso、CA 95002によって提供されるデジタルビデオ録画(DVR: Digital video recording)機器は、使用可能な選択肢をさらに広げている。

それほど多くの情報およびコンテンツをエンドユーザに提供する技術的な能力は、機会と課題の両方を、システム設計者およびサービスプロバイダに与える。1つの課題は、一般にエンドユーザは、少ない数よりむしろ、より多くの選択肢を有することを好むが、選択プロセスが迅速かつ単純であることを望むことによってこの嗜好が相殺されるということである。残念ながら、エンドユーザがメディアアイテムにアクセスするためのシステムおよびインターフェースの開発によって、迅速でも単純でもない選択プロセスが結果として生じている。テレビ番組の例について再び考慮されたい。テレビが黎明期にあったとき、どの番組を視聴するかの決定は、主として選択肢が少数であったため、比較的に単純なプロセスであった。人々は印刷されたガイドを調べ、このガイドはたとえば、(1)近くのテレビチャンネルと、(2)それらのチャンネル上で送信される番組と、(3)日時との対応を示した一連の列および行としてフォーマットされていた。テレビはチューナのつまみを調整することによって所望のチャンネルに合わせられ、視聴者は、選択した番組を見ていた。後に、視聴者が離れたところからテレビをチューニングすることを可能にするリモコン装置が導入された。ユーザテレビインターフェースへのこの追加は、「チャンネルサーフィン」として知られている現象をもたらし、このチャンネルサーフィンによって視聴者は、複数のチャンネル上で放送されている短い部分を迅速に見て、その時々でどの番組を見ることができるかを素早く知ることができた。

チャンネルの数および視聴可能なコンテンツの量が劇的に増加したにも拘らず、テレビについての一般に使用可能なユーザインターフェース、ならびに制御装置オプションおよびフレームワークは、過去30年にわたってあまり変更していない。印刷されたガイドが、番組情報を伝えるための依然として最も普及している手段である。単純な上下の矢印を備えた複数ボタンのリモコンは、依然として最も普及しているチャンネル/コンテンツ選択手段である。テレビユーザインターフェースを設計し実装する人々の、使用可能なメディアコンテンツの増加への反応は、既存の選択手順およびインターフェースオブジェクトの単純明快な拡張を行うことであった。したがって、印刷されたガイド内の行および列の数は、より多くのチャンネルを収容するように増加されてきた。リモコン装置上のボタンの数は、たとえば図1に示されるように、追加の機能およびコンテンツ処理をサポートするように増加してきた。しかし、この手法によって、視聴者が使用可能な情報を調べるのに要する時間と、選択を実施するのに要する動作の複雑さの両方が著しく増加した。消費者は、遅くかつ複雑すぎると既に見なしているインターフェースをさらに複雑にする新しいサービスに抵抗を示している。そのため、既存のインターフェースの扱いにくい性質が、一部のサービス、たとえばビデオオンデマンドの商業的な実施の妨げとなってきたことは恐らく間違いない。

帯域幅およびコンテンツの増加に加えて、ユーザインターフェースのネックとなっている問題が、技術の集約により悪化している。消費者は、多くの分離可能なコンポーネントではなく、一体化されたシステムを購入する選択肢を有することに肯定的な反応を示している。この傾向のよい例は、以前は独立していた3つのコンポーネントが今日では一体化されたユニットとして販売されている、一体型テレビ/VCR/DVDである。この傾向は継続する可能性が高く、潜在的には、最終的に家庭で現在見受けられる通信装置のすべてではないにせよほとんどが、一体化ユニット、たとえばテレビ/VCR/DVD/インターネットアクセス/ラジオ/ステレオユニットとしてパッケージ化されることになる。別個のコンポーネントを購入する人々でさえ、それらの間のシームレスな制御および相互作用を望む。このさらなる集約に伴って、ユーザインターフェースのさらなる複雑さの潜在性が生じる。たとえば、いわゆる「汎用」遠隔ユニットが、たとえばTV遠隔ユニットとVCR遠隔ユニットの機能性を組み合わせるために導入される場合、これらの汎用遠隔ユニット上のボタンの数は一般に、TV遠隔ユニットまたはVCR遠隔ユニット上に個々にあるボタンの数よりも多い。この追加された数のボタンおよび機能性によって、リモコン上のまさに正しいボタンを捜し求めることなく、TVまたはVCRの最も単純な側面以外のことを制御することが非常に難しくなる。しばしば、これらの汎用リモコンは、特定のテレビに特有の多くの制御レベルまたは特徴にアクセスするのに十分なボタンを提供しない。これらの場合では、元の装置の遠隔ユニットが依然として必要とされ、また複数のリモコンを扱う元来の煩わしさは、集約の複雑さから生じるユーザインターフェースの問題のせいで残ったままである。一部の遠隔ユニットは、エキスパートコマンドでプログラムされ得る「ソフト」ボタンを追加することによってこの問題に対処してきた。これらのソフトボタンは、その動作を示すための付属のLCD表示装置を有することがある。これらもまた、テレビからリモコンまで目を離さずにそれを使用するのは難しいという欠点を有する。しかし、これらの遠隔ユニットの別の欠点は、ボタンの数を減少させようとしてモードを使用することである。「モード付きの(moded)」汎用遠隔ユニットでは、リモコンがテレビ、DVDプレーヤー、ケーブルセットトップボックス、VCRなどと通信すべきかどうか選択するための特別のボタンが存在する。これは、間違った装置にコマンドを送信すること、リモコンが正しいモードにあることを確かめるためにユーザにリモコンを見るよう強いることを含めて、使いやすさについての多くの問題を引きこし、またそれは、複数の装置の一体化への単純化につながっていない。これらの汎用遠隔ユニットのうちで最も進化したものは、ユーザが複数の装置へのコマンドシーケンスをリモコン内にプログラムすることを可能にすることによって、いくらかの一体化を実現している。これが非常に難しい作業であるので、多くのユーザは、汎用遠隔ユニットをプログラムするためのインストール専門業者を雇う。

エンドユーザとメディアシステムの間の画面インターフェースを現代的なものにしようとするいくつかの試みもなされてきた。電子番組ガイド(EPG: Electronic program guide)は、上記のメディアガイドに取って代わるために開発され、実装されてきた。初期のEPGは、本質的には印刷されたメディアガイドの電子レプリカであるものを提供していた。たとえば、ケーブルサービス事業者は、専用チャンネルが特定の時間範囲(たとえば次の2時間)にわたって、チャンネルおよびその関連の番組のゆっくりとスクロールするグリッドを表示する、アナログEPGを提供していた。100個のチャンネルでもこのようにスクロールすることは退屈なことがあり、重要な追加コンテンツの展開(たとえばビデオオンデマンド)を含めるように、うまくはスケーリングすることができない。より精巧なデジタルEPGも開発されてきた。デジタルEPGでは、番組スケジュール情報、および任意選択でアプリケーション/システムソフトウェアが、専用EPG機器、たとえばデジタルセットトップボックス(SIB: digital set-top box)に送信される。デジタルEPGは、ローカルの双方向性を提供し、またユーザと、視聴されるメディアアイテムの選択との間に1つまたは複数のインターフェース層を置く能力により、メディアシステム用のユーザインターフェースの設計におけるさらなる柔軟性をもたらす。こうしたインターフェースの一例は、参照によりその開示が本明細書に組み込まれている、米国特許第6421067号、Kamen他で見ることができる。図2は、'067号特許に記載されたGUIを示している。同特許では、Kamen他によれば、第1列190は番組チャンネルをリストし、第2列191は、現在再生している番組を示し、列192は、次の30分に再生する番組を示し、第4の列193は、その後の30分に再生する番組を示す。野球バットのアイコン121は、列191と列192にまたがっており、それによって、野球の試合が、列192に対応する時間枠へと継続すると予想されることが示されている。しかし、テキストブロック111は、列192まで及んでいない。これは、フットボールの試合が、列192に対応する時間枠まで延長すると予想されないことを示している。見て分かるように、ピクトグラム194は、フットボール試合の後、ABCが競馬を放映することを示している。様々な特徴を実施するために、たとえば選択された番組に関連する情報をダウンロードするために、図2に示されるアイコンが、カーソル(図示せず)を使用して操作されてもよい。他のデジタルEPGおよび関連するインターフェースはたとえば、参照によりその開示がやはり本明細書に組み込まれている、米国特許第6314575号、第6412110号、および第6577350号に記載されている。

しかし、上記のインターフェースには、数ある欠点のうちで特に挙げると、大きいメディアアイテム集と小さいメディアアイテム集との間で容易にスケーリングできないという欠点がある。たとえば、アイテムリストを利用する(rely on)インターフェースは、小さいメディアアイテム集ではうまく働き得るが、メディアアイテム集が大きい場合には、ブラウズするのが退屈である。階層的ナビゲーション(たとえばツリー構造)を利用するインターフェースは、大きいメディアアイテム集では、リストインターフェースよりも横断するのが迅速であり得るが、小さいメディアアイテム集には容易には適応することができない。さらに、ユーザは、ツリー構造内の3つ以上の層を通って移動しなければならない選択プロセスへの関心を失う傾向がある。これらの場合のすべてについて、現在の遠隔ユニットは、リストまたは階層をナビゲートするためにユーザが上下ボタンを繰り返し押下するよう強いることによって、この選択プロセスをより退屈なものにさえしている。前ページおよび次ページなど、選択スキップのコントロールが使用可能な場合、ユーザは通常、これらのリモコンを見て特別のボタンを見つけ、またはそれらが存在さえすることを知るように訓練されなければならない。
米国特許仮出願第６０／６５３２２９号明細書 米国特許第６４２１０６７号明細書 米国特許第６３１４５７５号明細書 米国特許第６４１２１１０号明細書 米国特許第６５７７３５０号明細書 米国特許出願第１１／１１９９８７号明細書 「Quantum Treemaps and Bubblemaps for a Zoomable Image Browser」、Benjamin B. Bederson、UIST 2001、ACM Symposium on User Interface Software and Technology、CHI Letters、3(2)、71〜80頁

したがって、ユーザとメディアシステムの間の制御および画面インターフェースを単純化し、また選択プロセスを加速する編成フレームワーク、技術およびシステムを提供し、それと同時に多数のメディアアイテムおよび新しいサービスをユーザに供給することを容易にすることによって、プロバイダがエンドユーザ機器への使用可能帯域幅の増加を活用できるようにすることが望ましい。さらに、ブラウズされるメディアアイテム集のサイズに関係なく容易かつ高速な選択体験を提供するインターフェースを提供することが望ましい。

本発明によるシステムおよび方法は、容易かつ迅速なメディアアイテム選択を提供するユーザインターフェースのフレームワークを含めて、メディアアイテムを編成し、選択し、開始するための総合制御フレームワークを提供することによって、これらの必要性およびその他に対処する。このフレームワークの制御は、関連するグラフィカルユーザインターフェース上の選択物をポイントし、クリックし、スクロールするための最小限の1組のボタンおよびスクロールホイールを含む3Dポインティングデバイスを使用することができる。この例示的なグラフィカルユーザインターフェース(GUI: graphical user interface )は、画面上のポインタの使用によるユーザへのフィードバック、ポインタが選択物の上をホバーするときのグラフィカルアニメーション、ならびに概要と詳細画面の間で滑らかにナビゲートするための選択物へのズームインおよびズームアウトを提供する。本発明の例示的な実施形態は、画像、詳細レベルの増加/減少のためのズーミング、およびユーザによる容易なナビゲーションを可能にするGUIオブジェクトの連続性を使用する。本発明によるグラフィカルユーザインターフェースは、仮想表面上でメディアアイテム選択物を編成する。類似の選択物は、一緒にまとめることができる。最初に、このインターフェースは、表面のズームアウトビューを提示し、またほとんどの場合において、このレベルでは実際の選択物は、完全に詳細には見ることができない。ユーザが次第に内部へとズームするにつれて、メディアアイテムのグループまたは選択物に関してさらなる詳細が明らかにされる。異なるズームレベルでは、ユーザが選択物のグループ、個々の選択物を再生し、あるいは関連する他のメディアアイテムをブラウズするために仮想表面の別の部分に進むことができるように、それぞれ異なるコントロールが使用可能である。

本発明の例示的な一実施形態によれば、テレビ画面上に出力を表示するソフトウェアアプリケーションで3Dポインティングデバイスを使用するための方法が、ソフトウェアアプリケーションに関連するテレビ画面上に第1情報セットを表示する段階であって、ソフトウェアアプリケーションが電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集およびショッピングインターフェースのうちの少なくとも1つを含む段階と、3Dポインティングデバイスを移動する段階と、3Dポインティングデバイスの動きに関連するデータを、3Dポインティングデバイスの意図されない動きを補償するように処理する段階と、処理されたデータに基づいて、テレビ画面上に表示されたカーソルをテレビ画面上の新しい位置に移動する段階と、カーソルの新しい位置に応答してテレビ画面上の第1情報セットの表示を変更する段階とを含む。

本発明の別の例示的な実施形態によれば、システムが、3Dポインティングデバイスと、テレビと、テレビ上に出力を表示するソフトウェアアプリケーションを実行するためのプロセッサとを含む。プロセッサは、電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集およびショッピングインターフェースのうちの少なくとも1つに関連する第1情報セットをテレビ上に最初に表示する。さらに、3Dポインティングデバイスの動きに応答して、プロセッサが、意図されない動きに対して3Dポインティングデバイスからのデータ出力を補償し、次いで、補償されたデータに基づいて、テレビ画面上に表示されたカーソルをテレビ上の新しい位置に移動する。さらに、カーソルの新しい位置に応答して、第1情報セットの前記表示が変更される。

本発明の別の例示的な実施形態によれば、テレビ画面上に出力を表示するソフトウェアアプリケーションで3Dポインティングデバイスを使用するためのシステムが、ソフトウェアアプリケーションに関連するテレビ画面上に第1情報セットを表示する手段であって、ソフトウェアアプリケーションが電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集およびショッピングインターフェースのうちの少なくとも1つを含む手段と、3Dポインティングデバイスを移動する手段と、3Dポインティングデバイスの動きに関連するデータを、3Dポインティングデバイスの意図されない動きを補償するように処理する手段と、処理されたデータに基づいて、テレビ画面上に表示されたカーソルをテレビ画面上の新しい位置に移動する手段と、カーソルの新しい位置に応答してテレビ画面上の第1情報セットの表示を変更する手段とを含む。

本発明の別の例示的な実施形態によれば、3Dポインティングデバイスの動きに応答してテレビ画面上に情報を表示するためのソフトウェアアプリケーションが、動きデータをそこから意図されない動きを取り除くように処理する手段と、処理された動きデータに応答してテレビ画面上にカーソルを再位置決めする手段と、カーソルの再位置決めだけに応答してテレビ画面上の情報の表示を変更する手段とを含む。

添付の図面は、本発明の例示的な実施形態を示している。

本発明の以下の詳細な説明は、添付の図面に関するものである。それぞれ異なる図面内の同じ参考番号は、同じまたは類似の要素を同じものとして扱う。また、以下の詳細な説明は、本発明を限定するものではなく、本発明の範囲は、添付の特許請求の範囲によって定義される。

この考察のための何らかのコンテキストを提供するために、まず、本発明が実施され得る例示的な集約メディアシステム200について、図3に関して記載する。しかし、本発明は、このタイプのメディアシステムでの実施に限定されず、またより多くまたは少ない構成要素がこのシステム内に含まれ得ることが当業者には理解されよう。このシステムでは、入出力(I/O :input/output )バス210は、メディアシステム200内のシステム構成要素を互いに接続する。I/Oバス210は、メディアシステム構成要素間で信号をルーティングするための複数の異なる機構および技術を表している。たとえば、I/Oバス210は、オーディオ信号をルーティングする適切な数の独立したオーディオ「パッチ」ケーブルと、ビデオ信号をルーティングする同軸ケーブルと、制御信号をルーティングする2線式シリアル回線、または赤外線もしくは無線周波数トランシーバと、他のタイプの信号をルーティングする光ファイバまたは他の任意のルーティング機構とを含み得る。

この例示的な実施形態では、メディアシステム200は、I/Oバス210に結合されたテレビ/モニタ212と、ビデオカセットレコーダ(VCR: video cassette recorder)214と、デジタルビデオディスク(DVD :digital video disk)レコーダ/再生装置216と、オーディオ/ビデオチューナ218と、コンパクトディスクプレーヤー220とを含む。VCR214、DVD216およびコンパクトディスクプレーヤー220は、単一のディスクまたは単一のカセット装置とすることができ、あるいは、複数のディスクまたは複数のカセット装置であってもよい。それらは、独立のユニットであっても、一緒に一体化されていてもよい。さらに、メディアシステム200は、マイク/スピーカシステム222と、ビデオカメラ224と、無線I/O制御装置226とを含む。本発明の例示的な実施形態によれば、無線I/O制御装置226は、3Dポインティングをサポートしており、ナビゲーションサポートのための最小数のボタンを有しており、RF信号を介してエンターテイメントシステム200と通信するメディアシステムリモコンユニットである。たとえば、無線I/O制御装置226は、所望の特定のコマンドを決定するための画面位置と動きベクトルの両方を定義するためにジャイロスコープまたは他の機構を使用する3Dポインティングデバイスであってもよい。以下に記載の「クリック」プリミティブ、ならびに「戻る」ボタンを開始するために、1組のボタンが無線I/0装置226上に含まれることもできる。別の例示的な実施形態では、無線I/O制御装置226は、IR信号を介してエンターテイメントシステム200の構成要素と通信する、メディアシステムリモコンユニットである。別の実施形態では、無線I/O制御装置226は、ユーザがエンターテイメントシステム200のディスプレイにカーソルを置くことを可能にするトラックボールまたは他のナビゲーション機構の特徴が追加された一般的なエンターテイメントシステムリモコンに外観が類似したIRリモコン装置であってもよい。

エンターテイメントシステム200は、システムコントローラ228をも含む。本発明の例示的な一実施形態によれば、システムコントローラ228は、複数のエンターテイメントシステムデータソースから使用可能なエンターテイメントシステムデータを格納し表示し、またシステム構成要素のそれぞれに関連する幅広い特徴を制御するように動作する。図3に示されるように、システムコントローラ228は、必要に応じて、I/Oバス210を介してシステム構成要素のそれぞれに直接的または間接的に結合される。例示的な一実施形態では、I/Oバス210に加えて、システムコントローラ228は、IR信号またはRF信号を介してシステム構成要素と通信することができる無線通信送信機(またはトランシーバ)と共に構成される。制御媒体に関係なく、システムコントローラ228は、以下に記載のグラフィカルユーザインターフェースを介してメディアシステム200のメディア構成要素を制御するように構成される。

図3にさらに示されるように、メディアシステム200は、様々なメディアソースおよびサービスプロバイダからメディアアイテムを受信するように構成されてもよい。この例示的な実施形態では、メディアシステム200は、以下のソース、すなわちケーブル放送230、(たとえば衛星放送アンテナを介した)衛星放送232、(たとえば空中アンテナを介した)放送テレビ網243の超短波(VHF: very high frequency)または極超短波(UHF: ultra high frequency)無線周波数通信、電話網236、およびケーブルモデム238(またはインターネットコンテンツの別のソース)のいずれかまたはすべてからメディア入力を受信し、任意選択で、そこに情報を送信する。図3に関して示されかつ記載されたメディア構成要素およびメディアソースは、単に例示的なものであり、またメディアシステム200は、双方をより多く含むことも、より少なく含むこともあることが当業者には理解されよう。たとえば、システムへの他のタイプの入力は、AM/FMラジオおよび衛星ラジオを含む。

図4は、本発明による例示的なシステムコントローラ228の一実施形態を示すブロック図である。システムコントローラ228は、たとえばセットトップボックスとして実装されることができ、たとえば、プロセッサ300と、メモリ302と、ディスプレイコントローラ304と、(たとえばシステム200の他の構成要素に関連する)他のデバイスコントローラと、1つまたは複数のデータ記憶装置308と、I/Oインターフェース310とを含む。これらの構成要素は、バス312を介してプロセッサ300と通信する。プロセッサ300は、1つまたは複数の処理装置を使用して実装してもよいことが当業者には理解されよう。メモリデバイス302は、たとえばDRAMまたはSRAM、ROMを含んでもよく、その一部は、以下に記載のグラフィカルユーザインターフェースに関連するソフトウェアおよび/またはデータを含めて、プロセッサ300によって実行されるソフトウェア、および/またはこうしたプログラムによって使用可能なデータを格納するキャッシュメモリとして指定されてもよい。ディスプレイコントローラ304は、プロセッサ300によって、特に挙げると、以下に記載のGUI画面およびオブジェクトを表示するためにモニタ212の表示を制御するよう動作することができる。本発明の例示的な実施形態によるズーム可能GUIは、解像度から独立したズーミングを提供し、その結果、モニタ212は、任意の解像度の表示を提供することができる。デバイスコントローラ306は、メディアシステム200の他の構成要素とプロセッサ300の間のインターフェースを提供する。データストレージ308は、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、CD-ROM装置、または他の大容量記憶装置のうちの1つまたは複数を含んでもよい。入出力インターフェース310は、たとえばキーボードインターフェース、RFインターフェース、IRインターフェース、およびマイク/音声インターフェースを含めて、複数のインターフェースのうちの1つまたは複数を含んでもよい。本発明の例示的な一実施形態によれば、I/Oインターフェース310は、無線ポインティングデバイスの動きに関連する位置情報を受信するためのインターフェースを含む。

メディアアイテム選択情報表示のための本発明の例示的な一実施形態によるグラフィカルユーザインターフェースの生成および制御は、メモリ302内に含まれる命令のシーケンスを実行するプロセッサ300に応答してシステムコントローラ228によって実施される。こうした命令は、データ記憶装置308などの他のコンピュータ読取り可能媒体、またはメディアシステム200に外部的に接続されたコンピュータからメモリ302内に読み出されてもよい。メモリ302に含まれる命令シーケンスを実行すると、プロセッサは、モニタ212上に、特にグラフィカルユーザインターフェースオブジェクトおよびコントロールを生成することになる。変形例では、配線回路が、本発明を実装するためのソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。背景技術の節に記載したように、テレビ業界に関連する従来のインターフェースフレームワークは、単純であるが包括的な選択体験をユーザに提供する能力が厳しく制限されている。したがって、本明細書に記載する制御フレームワークは、これらの制限を克服し、したがって、それだけに限らないが、テレビで使用されることが意図されている。本明細書に記載する画期的な制御フレームワーク、グラフィカルユーザインターフェースおよび/または様々なアルゴリズムは、コンピュータおよび他の非テレビ装置で使用されてもよいインターフェースへの適用可能性を見出すことも予期されている。本発明の例示的な実施形態のこれらの様々な適用例を区別するために、用語「テレビ」および「TV」はこの明細書では、表示装置のサブセットを指し、用語「GUI」「GUI画面」、「表示」および「表示画面」は、総括的なものであり、テレビディスプレイ、コンピュータディスプレイおよび他の表示装置を指すためのものである。より具体的には、用語「テレビ」および「TV」は、テレビ信号を別の形式(たとえばコンピュータビデオフォーマット)に変換するためにアダプタを使用せずに、テレビ信号(たとえばNTSC信号、PAL信号、またはSECAM信号)を表示することができる表示装置のサブセットを指すためのものである。さらに、用語「テレビ」および「TV」は、(たとえばソファーから居間のテレビへと)数フィート以上の距離から一般に見られる表示装置のサブセットを指し、コンピュータディスプレイは一般に、(たとえば椅子からデスクトップモニタへと)近い距離で見られる。

本発明によるズーム可能グラフィカルインターフェースを含む制御フレームワークを実施するために使用され得る例示的なメディアシステムについて記載したが、次に、こうしたインターフェースのいくつかの例について記載する。本発明の例示的な実施形態によれば、ユーザインターフェースは、カテゴリによってグループ化することができる選択可能なアイテムを表示する。ユーザは、興味のある1つまたは複数のカテゴリに遠隔ユニットを向け、ズームインするために選択ボタンを、またはズームバックするために「戻る」ボタンを押下する。ユーザによる各ズームインまたはズームバック動作によって、ユーザインターフェースにより画面上にレンダリングされた選択可能アイテムの拡大レベルおよび/またはコンテキストの変化がもたらされる。例示的な実施形態によれば、拡大レベルの各変化は一貫したものとすることができ、すなわち拡大レベルの変化は、所定の段階において提供される。本発明の例示的な実施形態は、非常に大きなものへのスケーリングを達成するために、複数の視覚技術を組み込むユーザインターフェースをも提供する。これらの技術は、スケーラビリティと使いやすさの両方を達成する構築ブロックと技術、具体的にはユーザインターフェースオブジェクトに迅速に再び訪れることのためにユーザインターフェースをユーザの視覚的記憶を向上させるように適応させる技術との組合せを伴う。

ユーザインターフェースは主として、視覚体験である。こうした環境では、本発明の例示的な実施形態は、ユーザが視覚環境内のオブジェクトの位置を記憶する能力を利用する。これは、ユーザインターフェース選択アイテムための安定した信頼できる位置を提供することにより達成される。それぞれのオブジェクトは、ズーム可能レイアウト内に位置する。ユーザが興味のあるオブジェクトを見つけると、オブジェクトを探すためにどの方向に進んだかを記憶することは自然である。そのオブジェクトが特に興味のあるものである場合、ユーザは、そのアイテムを2度以上再び訪れる可能性が高く、それによって、ユーザのオブジェクトへの経路の記憶が強まる。本発明の例示的な実施形態によるユーザインターフェースは、ユーザが興味のあるアイテムの位置を記憶する助けとなる視覚的記憶法を提供する。こうした視覚的記憶法は、特に挙げると、パンおよびズームアニメーション、ユーザインターフェースの仮想表面を横切る動きの地理的な感覚を生成する遷移効果、および一貫したズーミングの機能を含み、それについては、以下に記載の例に基づいてより明らかになる。

ユーザが、非常に多数のアイテムセットから選択することを可能にするとともに、多数の選択セットに関連する詳細からは保護される編成機構が提供される。様々なタイプの編成機構を本発明に従って使用することができ、例について、以下に記載する。

まず図5から8を参照すると、音楽メディアアイテムの表示および選択に使用するための、本発明の例示的な実施形態によるズーム可能グラフィカルユーザインターフェースを含む例示的な制御フレームワークが示されている。本発明によるインターフェースに関連する変形例および/または追加の様々なGUI画面もまた、後の図で見ることができる。図5は、最大限にズームアウトされた状態のズーム可能GUIを描写している。この図で、インターフェースは、1組の形状500を表示している。それぞれの形状500内には、GUIのその部分を介してアクセス可能なメディアアイテム選択物のグループを示すテキスト502および/またはピクチャ504が表示されている。図5に示すように、形状500は矩形であり、テキスト502および/またはピクチャ504は、メディアのジャンルを示している。しかしながら、最初に見るこのGUIグループ化は、ユーザが使用可能なメディア選択物の他の側面、たとえばアーティスト、製作年、アーティストの居住地、アイテムの再生時間、または選択物の他の任意の特性を表し得ることが当業者には理解されよう。また、GUI内の様々なグループ化について要約するために使用される形状は、矩形である必要はない。形状のグループ分け500内のテキスト502および/またはピクチャ504の代わりに、またはそれに加えて、アルバムカバーの縮小バージョンおよび他のアイコンが、ユーザにさらなるナビゲーションヒントを提供するために使用されてもよい。GUI506の背景部分は、インターフェースを将来使用するのにより少ない読出しで済むように、無地として表示され、あるいは、ユーザがジャンルの空間位置を記憶する助けとするためのマップなど、ピクチャの一部であり得る。選択ポインタ(カーソル)508は、入力装置の動きを追い、ユーザが装置(図5に図示せず)上のボタンを押下するときにズームインする位置を示す。

本発明の例示的な一実施形態によれば、入力装置は、以下でより詳細に記載するポイント、クリック、スクロール、ホバー、およびズームのビルディングブロックをサポートするグラフィカルユーザインターフェースに結合された無線マウス、たとえばGyration, Inc.社、12930 Saratoga Avenue, Bldg. C、Saratoga、CA 95070によって製造された無線マウスであり得る。本発明と併せて使用するのに有益なこの例示的な入力装置の一特徴は、それが2つのボタンおよび1つのスクロールホイール、すなわち3つの入力動作オブジェクトだけを有することである。ボタンのうちの1つは、ZOOM IN(選択)ボタンとして構成することができ、1つのボタンは、ZOOM OUT(戻る)ボタンとして構成してもよい。従来のリモコンユニット、たとえば図1に示されるリモコンと比べて、本発明は、ユーザがメディアアイテムの選択を行うときに直面するボタンの数などを大幅に減らすことによってGUIのこの側面を単純化する。本発明の例示的な実施形態による入力装置の、必須ではないが、追加の好ましい特徴は、それがユーザのために「3Dポインティング」能力を提供するということである。「3Dポインティング」というフレーズは、この明細書では、ユーザが表示画面の正面の空中で入力装置を3次元(または4次元以上)で自由に動かす能力、およびユーザインターフェースがそれらの動きを画面上のカーソルの動きに直接に変換する対応する能力を指すために使用されている。したがって、「3Dポインティング」は、従来のコンピュータマウスポインティング技術とは異なるものであり、この従来のポインティング技術は、代理(proxy)表面として、表示画面以外の表面、たとえば机の表面やマウスパッドを使用し、この代理表面からマウスの相対的な動きが、コンピュータ表示画面上のカーソルの動きに変換される。本発明の例示的な実施形態による制御フレームワークにおいて3Dポインティングを使用することによって、ユーザの選択体験がさらに単純化され、それと同時に、インターフェースへの区別可能な入力としてジェスチャを導入する機会がもたらされる。ジェスチャは、ある期間にわたる動きの認識可能なパターンと見なすことができ、そのパターンは、GUIコマンド、たとえばx、y、z、ヨー、ピッチおよびロール次元の動きの関数、またはその任意の組合せに変換することができる。しかし、本発明によるズーム可能GUIと併せて、任意の適切な入力装置を使用してもよいことが当業者には理解されよう。適切な入力装置の他の例には、それだけに限らないが、トラックボール、タッチパッド、従来のテレビリモコン装置、音声入力、ユーザのジェスチャを通信し/GUIコマンドに変換することができる任意の装置、またはその任意の組合せが含まれる。本明細書に記載するGUI機能の各側面が、ジェスチャおよび音声コマンドのうちの少なくとも1つを使用して本発明によるフレームワークにおいて動作され得ることが意図されている。変形実装形態は、選択アイテムを識別するためにカーソルおよび/または他のリモコンキー、さらに音声入力を使用することを含む。

図6は、たとえばディスプレイ212上のジャンル3を囲む矩形によって取り囲まれた領域上にカーソル508を動かし、入力装置上のボタンを押下することによってユーザが図5からのジャンル3を選択する場合に表示される、ジャンル3のズームインビューを示している。このインターフェースは、ズームが生じたことがユーザに明らかになるように、図5から図6のズームをアニメーション化することができる。アニメーション化されたこうしたズーム/遷移効果の一例について、以下に記載する。ジャンル3を含む形状516がディスプレイ212上のほとんどの画面を占めると、このインターフェースは、このジャンルのアルバムを有するアーティストを明らかにする。この例では、7つのアーティストおよび/またはその作品が表示されている。図5のズームアウトビュー内のジャンル3に隣接していた未選択のジャンル515は、ズームインビュー内でも依然としてジャンル3に隣接しているが、ディスプレイ212の端によって切り取られている。これらの未選択ジャンルは、選択ポインタ508でそれらを選択することによって素早くナビゲートすることができる。しかし、本発明の他の例示的な実施形態は、近隣のオブジェクトの切取りを省き、そうではなく、切り取られていない選択物だけを提示し得ることが理解されよう。アーティストグループ、たとえばグループ512はそれぞれ、縮小されたアルバムカバーの画像、アーティストの写真、またはカテゴリがユーザによって作成されたプレイリストを含む場合のユーザによるカスタマイズ可能なアートワークを含み得る。

次いで、ユーザは、さらなるレビューおよび/または選択のために、アーティストグループのうちの1つを選択してもよい。図7は、カーソル508の位置決めおよび入力装置の動作を介したアーティスト3のユーザ選択に応答したさらにズームインされたビューを示しており、アルバムカバー520がビューに入ってくる。図5および図6のGUI画面からの遷移と同様に、未選択の隣接したアーティスト(この例ではアーティスト#2、6および7)が、ズームイン表示の側に向かって示されており、ユーザは、これらのアーティストビューにパンするために、選択ポインタ508でこれらをクリックすることができる。インターフェースのこの部分では、アルバムカバーの画像520に加えてアーティスト情報524が、アーティストグループ内のアイテムとして表示されてもよい。この情報は、たとえばアーティストのピクチャ、経歴、雑学的情報、ディスコグラフィ、影響、ウェブサイトへのリンク、および他の関連するデータを含んでもよい。アルバム画像520はそれぞれ、アルバムカバー、および任意選択でテキストデータを含んでもよい。アルバム画像520が、ユーザによって作成されたプレイリストを含む場合には、グラフィカルユーザインターフェースは、インターフェースによって自動的に選択され、またはユーザによって予め選択されたピクチャを表示することができる。

最後に、ユーザがグループ521内からアルバムカバー画像520を選択するとき、インターフェースは、図8に示すように、アルバムカバーへとズームインする。ズームが進行するにつれて、アルバムカバーは、アルバム530のアーティストおよびタイトル、トラックのリスト532、アルバムに関するさらなる情報536、より小さいバージョンのアルバムカバー528、ならびにコンテンツを再生し、カテゴリ化を修正し、アーティストウェブページにリンクし、または他の任意の情報を見つけるためのコントロール534、などのアイテムを含むビューへとフェードしまたは変形することができる。近隣のアルバム538が表示されており、この近隣アルバム538は、インターフェースにそれをビューに入れさせる選択ポインタ508を使用して選択することができる。上記のように、本発明の変形例は、たとえば、選択されたオブジェクト、たとえばアルバム5だけを表示するようにズームインし、未選択のオブジェクト、たとえばアルバム4および6の切り取られた部分を省略することができる。この最後のズームは、前のズームレベルでは見えなかった特定のGUI要素が明らかにされる、セマンティックズーミングの一例を提供している。本発明の例示的な実施形態よるセマンティックズーミングを実施するための様々な技術について、以下に記載する。

図5〜図8および明細書に示されるように、グラフィカルユーザインターフェースのこの例示的な実施形態は、音楽集のナビゲーションを提供している。本発明によるインターフェースは、DVD、VHSテープ、記録された他のメディア、ビデオオンデマンド、ビデオセグメント、およびホームビデオなどのビデオ集のために使用することもできる。他のオーディオの使用には、ラジオ番組、教育用テープ、歴史に関する資料、およびサウンドクリップ集のナビゲーションが含まれる。ニュース記事や電子ブックなどの印刷またはテキストメディア媒体が、本発明を使用して編成されアクセスされることもできる。

上記説明から当業者には明らかなように、本発明によるズーム可能グラフィカルユーザインターフェースは、多数(または少数)のメディアアイテムを迅速かつ容易にブラウズする能力をユーザに提供する。この能力は、それだけに限らないが、(1)特定のメディアアイテムについての選択情報のすべてまたは一部としての画像の使用、(2)ユーザが選択を行うのに必要とするできるだけ多いまたは少ない情報を迅速に提供するためのズーミングの使用、(3)GUIのナビゲーションがユーザの方向感覚を用いて遂行され、かつ記憶され得るように、インターフェース全体が単一の面上にあるという感覚をユーザに与えるために組み合わさる複数のGUIの使用を含めて、本発明の例示的な実施形態によるインターフェースの多くの特性に起因する。本発明によるGUIのこの後者の側面は、特に挙げると、たとえば近隣の未選択オブジェクトの端を現在のGUI画面の縁のまわりに表示することによって、あるGUI画面から次の画面へそれだけのGUIオブジェクトの連続性を維持することによって、様々なGUI画面を「地理的に」互いにリンクするにことによって遂行することができる。あるいは、よりクリアなビューが望まれ、また他のGUI技術が十分な地理的フィードバックを提供する場合、切り取られたオブジェクトは省略することができる。この本文では、「GUI画面」というフレーズは、1つまたは複数の表示装置で同時にレンダリングされた1組のGUIオブジェクトを指す。GUI画面は、メディアアイテムを出力する同じディスプレイ上でレンダリングされてもよく、またはそれは、異なるディスプレイ上でレンダリングされてもよい。ディスプレイは、TVディスプレイ、コンピュータモニタ、または他の適切な任意のGUI出力装置であり得る。

ユーザのGUI画面接続性の感覚を向上させる別のGUI効果は、ズームが実行されるとき、または現在選択されているオブジェクトと同じズームレベルでユーザが隣接オブジェクトを選択するときに引き起こされるパニングアニメーション効果である。図5の例に戻ると、ユーザが最初にこのGUI画面を見ているとき、その視点は、点550あたりに集中する。しかし、ユーザがズームインするためにジャンル3を選択するとき、その視点は、点552に移る。本発明の例示的な実施形態によれば、ズームインプロセスは、点550から552へのPOV中心の移動を伝えるようにアニメーション化される。このパニングアニメーションは、あらゆるGUI変化、たとえばズームレベルの変更、または同じGUIズームレベルのあるオブジェクトから別のオブジェクトへの変更について提供されてもよい。したがって、たとえば図6のGUI画面に位置するユーザが最も左端の未選択ジャンル515(ジャンル2)を選択した場合、左または西に「移動する」視覚的印象をユーザに与えるパニングアニメーションが生じる。本発明の例示的な実施形態は、こうした技術を使用して、ズームレベル間と、同じズームレベルのメディアアイテム間の両方でユーザがGUIをより迅速にナビゲートすることを可能にする、GUI画面の間の指向性の動きの一貫した感覚を提供する。

本発明によるズーム可能GUIを実装するために、様々なデータ構造およびアルゴリズムを使用することができる。たとえば、写真を表示する画像ブラウザ内のパニングおよびズーミングのためのデータ構造およびアルゴリズムは、参照によりその開示が本明細書に組み込まれている文献、「Quantum Treemaps and Bubblemaps for a Zoomable Image Browser」、Benjamin B. Bederson、UIST 2001、ACM Symposium on User Interface Software and Technology、CHI Letters、3(2)、71〜80頁に記載されている。しかしながら、高いレベルでは複数のアプリケーション間での切り換えができ、低いレベルでは様々なメディア選択機能の実施のために選択された画像に関連するコントロールをユーザに提供することができるメディア選択用のGUIを提供するには、追加のデータ構造およびアルゴリズムが必要である。

ズーム可能GUIは、表示装置のビューポート内でユーザインターフェースコンポーネントのシーンのまわりのパニングおよびズーミングをサポートするものと概念化することができる。この効果を達成するために、本発明の例示的な実施形態によるズーム可能GUIは、シーングラフデータ構造を使用して実装することができる。シーングラフ内の各ノードは、ボタンやテキストラベルなど、ユーザインターフェースコンポーネントのある部分、あるいはインターフェースコンポーネント群を表す。子ノードは、そのノードの内部のグラフィカル要素(線、テキスト、画像など)を表す。たとえば、アプリケーションは、シーングラフ内で、そのインターフェース内の様々なグラフィカル要素について子を伴うノードとして表すことができる。特別な2つのタイプのノードは、本明細書では、カメラおよびレイヤと呼ばれる。カメラは、レイヤノードを見ることによってシーングラフの別の部分へのビューポートを提供するノードである。これらのレイヤノードの下で、ユーザインターフェース要素が見られ得る。ズーム可能インターフェースのための制御ロジックは、カメラビュー変換をパニングおよびズーミングの効果を提供するようにプログラムに基づいて調整する。

図9は、本発明の例示的な実施形態を実施するために使用され得る基本のズーム可能インターフェース要素を含むシーングラフを示しており、具体的には、それは、1つのカメラノード900と1つのレイヤノード902とを含む。カメラノード900とレイヤノード902の間の点線は、カメラノード900がカメラのビューポート内でレイヤノード902の子をレンダリングするように構成されていることを示している。接続された表示装置904によって、ユーザは、カメラのビューポートを見ることができる。レイヤノード902は、円および1対の楕円を描く3つの子ノード906、908、910を有する。シーングラフはさらに、ノード912〜918によって円の中に矩形が描かれ、かつその矩形の中に三角形が描かれることを指定している。シーングラフは、ルートノード920によってデータ構造内の他のシーングラフへと結ばれる。それぞれのノード906〜918は、局所座標変換行列を使用することによってその親に対してそれ自体をスケーリングおよび位置決めする能力を有する。図10Aおよび10Bは、カメラによって第1ズームアウト拡大レベルおよび第2ズームイン拡大レベルでレンダリングされるときにシーングラフがどのように現れるかを示している。

シーングラフのレンダリングは、以下のように遂行することができる。ディスプレイ904が更新される必要があるときはいつでも、たとえばユーザが図10Aのビューから図10Bのビューへのズームインをトリガするときに、再描画イベントは、それ自体をレンダリングするために、ディスプレイ904に接続されたカメラノード900を呼び出す。これによって、次いでカメラノード900は、レイヤノード902に、カメラのビューポート内の領域をレンダリングするよう通知することになる。レイヤノード902は、その子らにそれら自体をレンダリングするよう通知することなどによって、それ自体をレンダリングする。現在の変換行列、および領域の更新のための境界矩形は、各段階で通過され、また任意選択で、レンダリングするためにノードが使用すべき適切なスケールおよびオフセットを各ノードに通知するように修正される。本発明によるズーム可能GUI内で動作するアプリケーションのシーングラフが何千ものノードを含み得るので、それぞれのノードは、その描画動作が実際にユーザによって見られることを保証するために、変換行列および更新される領域をチェックすることができる。上記の例は、1つのカメラノードと1つのレイヤノードとを含むシーングラフについて記載しているが、本発明の例示的な実施形態は、複数のカメラおよびレイヤを組み込み得ることが理解されよう。組み込まれたこれらのカメラは、ズーム可能インターフェース全体内のユーザの現在のビュー位置を示す小さいズームアウトマップなど、ユーザインターフェース要素を提供し、また、ユーザインターフェースコンポーネントが独立にズームおよびパンできるようにすることができる。

たとえば図14〜図18に関して以下に記載する例示的な映画ブラウザのような複数のアプリケーションの動作を調整するためにズーム可能インターフェースを使用する場合、各アプリケーションのメモリおよびリソースの要件は、メディアシステム内で使用可能な総メモリを超過することがある。これは、ユーザがそれをもはや見ていない場合には、アプリケーションがそのコードおよびデータの一部またはすべてをアンロードすることを示唆している。しかし、本発明によるズーム可能GUIでは、アプリケーションの一部またはすべてがユーザにはいつでもアクティブに見えるという外観を提供することが望ましいことがある。これらの2つの競合する目的を満たすために、ユーザの視点から見て「画面外の」アプリケーションは、一時的に中断された状態に置かれることができる。本発明の例示的な実施形態によるズーム可能GUI内でこの振舞いを達成するために、それがいつビューポートに入り、そこを出るかを示すためのイベントが、アプリケーションに送信される。こうしたイベントを実装する1つのやり方は、ユーザがいつビューポートに入るかをそれが検出するように、コンポーネントをレンダリングするコードにロジックを追加することである。しかし、これは、通知ロジックがあらゆるレンダリングイベントに関与するようになり、またより重要なことには、いつユーザがそのコンポーネントから離れてビューポートをナビゲートしたかを容易には検出し得ないことを示唆している。アプリケーションにイベントを送信するための別の方法は、それがカメラのビューポートを興味のあるコンポーネントを含むように変更するときコンポーネントに通知を送信するように、GUIナビゲーション要素(ハイパーリンクおよびボタンなど)に通知ロジックを組み込むことである。しかし、このことは、プログラマが用心してすべての可能なナビゲーションUI要素に通知コードを追加することを必要とする。

例示的な一実施形態によれば、計算効率のよいノードウォッチャーアルゴリズムが、GUIコンポーネントおよび/またはアプリケーションがいつカメラのビューに入り、またそこを出るかに関してアプリケーションに通知するために使用されることができる。高レベルでは、ノードウォッチャーアルゴリズムは、3つの主要な処理段階、すなわち(1)初期化と、(2)ビューポート変更評価と、(3)シーングラフ変更評価とを有する。初期化段階では、ビューポート変更評価段階によって使用されるノード量を計算し、適切なデータ構造を初期化する。ビューポート変更評価段階は、ビューポートが変化したときに呼び出され、ビューポートに入りまたはそこから出たすべての監視されたノードに通知する。最後に、シーングラフ変化評価段階は、シーングラフの変化により無効になった初期化段階で行われた計算を更新する。たとえば、監視されたノードの祖先ノードがシーングラフ内の位置を変更する場合、初期化で行われた計算は、再計算される必要があり得る。

これらの段階のうち、ビューポート変更評価では、ノードウォッチャーアルゴリズムの残りを駆動する。ノードがいつビューポートに入り、そこを出るかを示すために、初期化段階は、所望のノードの境界矩形を決定し、その局所座標系からビューポートの局所座標系へとそれを変換する。このように、ノードの入場のチェックに、各ビューポート変更の座標変換のシーケンスは必要ではない。ノードの親が変換行列を有し得るので、この初期化段階は、そのノードからカメラまでシーングラフを横断することを必要とする。以下に記載するように、組み込まれたカメラがシーングラフデータ構造で使用される場合、複数の場所に現れるノードに対処するために、複数の境界矩形が必要であり得る。

監視された各ノードについてビューポート座標系で境界矩形が計算されると、初期化段階は、ビューポート変更評価データ構造に境界矩形を追加する。ノードウォッチャーアルゴリズムは、シーンの各次元について、基本のビルディングブロックを使用する。例示的な一部の実施形態によるズーム可能インターフェースでは、これは、x次元と、y次元と、スケール次元とを含む。しかし、以下に記載するように、他の例示的な実装形態は、追加または異なる次元を有してもよい。スケール次元は、ビューポート内のノードの拡大レベルを示し、以下の数式によって表される。

ただし、sはスケールであり、dは、ノードの局所座標内のノードのある点から別の点までの距離であり、d'は、ビューポート内のその点からもう一方の点までの距離である。

図11は、ある次元でシーン入退場を検出するための例示的なビルディングブロックを示している。以下は、x次元の取扱いについて記載しているが、他の次元が類似のやり方で取り扱われ得ることが当業者には理解されよう。領域ブロック1100は、変換された境界矩形座標への参照を含む。これは、矩形の左右(上および下、または最小および最大スケール)オフセットを含む。左右のオフセットは、より小さい番号が付けられたオフセットが初めへと向かうように、順序付けられた二重リンクされたリスト内にそれ自体が置かれている遷移ブロック1102および1104内にそれぞれ格納される。現在のビューポート境界は、ビュー境界ブロック1106内に格納される。ブロック1106は、ビューの左および右側をちょうど超えた遷移ブロックを指すポインタを有しており、たとえば、ビュー左側によってポイントされたブロックのすぐ右の遷移ブロックは、後者のブロックがビュー右側によってポイントされていない限り、そのビュー内にある。

ビューポートが変化するとき、それぞれの次元について、以下の処理が行われる。まず、ビュー左側およびビュー右側ポインタが、遷移ブロックを含めまたは除外するために移動される必要があるかどうかチェックされ、次いで、ポインタのうちの1つまたは両方が移動される必要がある場合、それらは、遷移ブロックリスト上の新しい位置にスライドされる。次いで、ビュー左側およびビュー右側ポインタが通過した各遷移ブロックについて、ノードウォッチャーアルゴリズムは、以下に記載の遷移ブロック通知コードを実行する。この通知コードは、そのそれぞれのノードがビューポートに入りまたはそこから出たかもしれないかどうか判断する。そうである場合、そのノードは、事後処理リストに追加される。最後に、各次元についてのこの処理の終わりに、事後処理リスト上の各ノードが、そのビューポート状況が、(変化し、次いで変化して戻るのと異なり)実際に変化したかチェックされる。変更が生じた場合、このアルゴリズムは、コンポーネントにイベントを送信する。ビューポートがズーム可能インターフェースの新しい領域に素早くジャンプする場合、アルゴリズムは、より多くの偽の入退場イベントを検出し得ることに留意されたい。

遷移ブロック通知コードは、ノードが、チェックされている次元のビューポートに移動したか、またはそこから移動したかどうか判断するテーブルルックアップとして実装することができる。例示的なテーブルを以下に示す。

列1、2、および3は、遷移通知テーブルへの入力である。具体的には、ノードウォッチャーアルゴリズムは、評価されているノードが入場され、退場され、または影響を受けなかったかどうか判断するために、ノードの側、ビューの側、およびビュー移動方向の組合せを使用してテーブルをアドレス指定する。列1は、ビューポートポインタが通過した遷移ブロックによって表されたノードの側を指す。列2は、ビューポートの側を指し、列3は、ビューポートの側が、ノードの遷移ブロックを通過したときに移動していた方向を指す。出力列4または5は、ノードが部分的または完全にビュー内にあるときに通知を受けるべきかどうかに応じて選択される。たとえば、一部の実装では、部分的にビュー内にあるビデオウィンドウをズーム可能GUIにロードすることは視覚的に混乱を生じさせ得るので、ストリームビデオウィンドウなどのアプリケーションに、それが完全にビュー内に入った後にだけ通知することが望ましいことがある。

テーブルの出力が入場または退場を示すとき、ノードウォッチャーアルゴリズムは、事後処理リストにノードを追加する。テーブル1の出力の列は、以下の規則に基づいて埋められる。ノードがすべての次元で交差する場合は、事後処理段階で入場の通知が送信される。ノードがビュー内にあったが、現在は1つまたは複数の次元が交差を停止している場合は、退場の通知が送信される。事後処理リスト内のノードの数を減らすために、遷移ブロック通知コードは、ノードをリストに追加する前に、他の次元との交差についてチェックする。これによって、次元の総数、たとえば3つ以上のうちから1つまたは2つの次元だけが交差する場合には、事後処理段階が取り除かれる。ユーザインターフェースオブジェクト(たとえばアプリケーション)は、GUI内のそのビューポート状況についての通知を受けたい場合、ノードウォッチャーアルゴリズムに関数を登録する。アプリケーションがビューに入りまたはそこから出るとき、ノードウォッチャーアルゴリズムは、何が起こったか示すパラメータで、そのアプリケーションの登録された関数を呼び出す。あるいは、通知は、メッセージパッシングを使用して実施することができる。この場合、それぞれアプリケーションは、イベントキューを有する。アプリケーションは、ノードウォッチャーアルゴリズムに、どのようにそのイベントキューと通信するか伝える。たとえば、それは、キューのアドレスを指定し得る。次いで、ノードウォッチャーは、遷移を検出するとき、通知の原因を含むデータ構造を作成し、アプリケーションキュー内にそれを置く。

アプリケーションメモリ管理のためにノードウォッチャー通知を使用することに加えて、このアルゴリズムは、本発明によるズーム可能GUI内の他の機能のために使用することもできる。たとえば、ノードウォッチャーアルゴリズムは、たとえばオーディオ出力のフォーカスを、現在見られているアプリケーションに切り換えることによってユーザのビューフォーカスに基づいてアプリケーションの振舞いを変更するために使用することができる。ノードウォッチャーアルゴリズムの別の適用例は、拡大レベルが変化するときに、より高い解像度の合成画像をロードおよびアンロードすることである。これは、グラフィックスレンダラの計算負荷を、解像度がディスプレイにより密接に一致する、より少数のオブジェクトをそれにレンダリングさせることによって減少させる。ノードウォッチャーアルゴリズムにカメラのビューポートを監視させることに加えて、アニメーション後にそれがどこで終了するかをビューポート伝えるナビゲーションコードをそれに監視させることも有用である。これは、ビューに入っていくコンポーネントについてのより早期の通知を提供し、また本発明の例示的な実施形態によるズーム可能GUIが、パニングアニメーションのせいで通過されるノードに通知を送らないようにすることを可能にする。

ノードウォッチャーアルゴリズムの動作をよりよく理解するために、図12A、図12B、図13A、および図13Bを参照して、一実施例について次に記載する。図12Aおよび図12Bは、ズーム可能GUIの一部を2つの異なる拡大レベルで示している。図12Aのより低い拡大レベルでは、3つのノードが、すなわち、円、三角形、および楕円が見える。図12Bでは、ビューは、楕円および円が部分的にだけ見え、三角形が完全にビューの外側に来るまでズームインされている。これらのノードは、たとえば、効率的なイベント通知に依存しており、したがって、本発明の例示的な実施形態によるノードウォッチャーアルゴリズムによって追跡されるアプリケーションまたはユーザインターフェースコンポーネントを表し得る。この例では、各ノードの境界矩形が図12Aおよび12Bに明示的に示されているが、境界矩形は一般に、GUI上に表示されないことが当業者には理解されよう。図12Aおよび12Bでは各境界矩形の各辺にラベルが付けられており、これらのラベルは、境界矩形の辺と、上記の遷移ブロックデータ構造との対応を示すために使用される。

図13Aは、図12Aのズームアウトビューの水平次元についての例示的なノードウォッチャーデータ構造を示している。この図では、ノードの境界矩形の各辺が、遷移ブロックを使用して表されている。図13Aで、水平遷移ブロックは、それらがGUI画面上に現れる順序で左から右に示されている。たとえば、円の左側C_Leftが最初に、次いで三角形の左側T_leftが来て、以下同様に続き、最後に、楕円の右側E_Rightがある。リストの両端は、空の標識遷移ブロックでマーク付けされる。図13Aに、各ノードの領域ブロック、およびその境界矩形の水平遷移ブロックを指す対応するポインタも示されている。図13Aの下部に、現在のビューのちょうど外側の遷移ブロックを指すポインタを含むビュー境界データ構造がある。ズームアウトビューでは、すべてのノードが完全に見え、したがって、それらの遷移ブロックはすべて、ビュー境界データ構造によってポイントされた遷移ブロック間にある。

図13Bは、図12Bのズームインビューのノードウォッチャーデータ構造を示している。この図では、これらの2つの境界矩形の辺が現在の(ズームイン)ビューのちょうど外側であるので、データ構造のビュー境界部分が三角形の右側T_Rightおよび楕円の右側E_Rightの遷移ブロックを現在ポイントするように変化していることが見て分かる。

これらの例示的なデータ構造およびGUIシーンについて考慮して、ズーム遷移が生じている間のノードウォッチャーアルゴリズム内の関連する処理について以下のように記載することができる。ビューの左側から始めて、ノードウォッチャーアルゴリズムは、左側のビューのちょうど外側の遷移ブロックに達するまで、ビュー左側ポインタを右に移動する。図13Bに示されるように、ビュー左側ポインタはまず、C_Left遷移ブロックを通過する。この例について、円ノードは、それがビュー内で完全には見えないときに通知を必要とするズーム可能GUIに関連するアプリケーションまたは他のユーザインターフェースオブジェクトを表すものと仮定する。ノードウォッチャーアルゴリズムへのこれらの入力について考慮すると、テーブル1は、円ノードが水平次元についての退場通知を受信すべきであることを示している。もちろん、ノードウォッチャーアルゴリズムは一般に、冗長な退場通知を送信しないようにするために、ノードへの通知の前にすべての次元からの通知を集約する。次に、ビュー左側ポインタは、三角形の左側T_Leftを通過している。三角形ノードが、それがいつビューを完全に離れたかについての通知を要求している場合、ノードウォッチャーアルゴリズムは、テーブル1によって、通知が必要ないことを示している。しかし、ビューポインタがT_Rightを通過するとき、テーブル1は、三角形がビューから完全に出ており、通知されるべきであることを示している。ビューポインタは、円の境界矩形の右辺C_Rightがビュー内にまだ見えるので、ここで停止している。

右側から、ノードウォッチャーアルゴリズムの処理は類似する。ビュー右側ポインタは、左から楕円の右側E_Rightに移動する。楕円が完全通知を要求しているか、それとも部分通知を要求しているかに応じて、ノードウォッチャーアルゴリズムは、テーブル1に従って楕円に通知を送信し、または送信しない。垂直次元は、類似のデータ構造、ならびに上下の境界矩形値を使用して、同じように処理することができる。より厳密な通知が必要とされる場合に非矩形ノードを近似するために、複数の境界矩形が使用され得ることも当業者には理解されよう。さらに、本発明は、たとえば、時間のような非幾何学的な次元のみならず第3の幾何学的な（深さまたはスケール）次元、コンテンツ格付け(アダルト、PG-13など)、およびコンテンツタイプ(ドラマ、コメディなど)のような、他の次元を介した動きが、ノードウォッチャーアルゴリズムによって追跡され処理され得ることを企図している。使用される次元の数に応じて、このアルゴリズムは、境界区分、矩形、およびn次元のハイパーキューブの交差をより正確に検出する。

上記のノードウォッチャーアルゴリズムに加えて、本発明の例示的な実施形態は、本発明の例示的な実施形態によるズーム可能GUI内で使用され得る、解像度一貫のセマンティックズーミングアルゴリズムを提供する。セマンティックズーミングは、ズーム可能GUI内のコンポーネントの詳細を、そのコンポーネントの拡大レベルに応じて追加し、削除し、変更することを指す。たとえば、以下に記載の映画ブラウザインターフェースでは、ユーザが映画の画像の十分近くにズームするとき、それは、映画メタデータおよび再生コントロールを示すように変化する。拡大レベルの計算は、コンポーネントが表示装置上で使用するピクセルの数に基づく。ズーム可能GUIは、たとえば映画メタデータおよび再生コントロールなしのビューから、映画メタデータおよび再生コントロールを備えたビューへの切換えがいつ行われるべきかを示す、閾値拡大レベルを格納することができる。

テレビおよびコンピュータディスプレイは、広く変化する表示解像度を有する。一部のモニタは、低解像度ディスプレイ上では読むことができるグラフィックスおよびテキストが、非常に小さいので完全に読めなくなるというような高い解像度を有する。これは、特にHDTVなどの高解像度ディスプレイ上でセマンティックズーミングを使用するアプリケーションにとっての問題をも引き起こす。この環境では、表示されたピクセル数に基づいてレンダリングするセマンティックズーミングコードが、より詳細なビューが読めるようになる前に画像を変更する。セマンティックズーミングがコンポーネントビューを変更する閾値をプログラムにより修正することは、1つの解像度についてだけうまく働き得る。

望ましい結果は、セマンティックズーミングがすべてのモニタ解像度にわたって一貫して行われることである。1つの解決策は、解像度がすべてのディスプレイ上で同一となるように、高解像度モニタ上でより低い解像度の表示モードを使用することである。しかし、高解像度モニタのユーザは、セマンティックズーミングが予想どおりに依然として働くならば、グラフィックスがその最良の解像度でレンダリングされることを好む。したがって、本発明の例示的な実施形態は、上記のセマンティックビューイングの問題なしに、すべての異なる解像度のディスプレイをサポートするセマンティックズーミング技術を提供する。これは、たとえばシーングラフ内に仮想表示を作成することによって遂行することができる。これは、組み込まれた仮想カメラノード1200を使用し、表示解像度を補償するためのロジックを加えることにより、図14に示されている。仮想カメラノード1200はビューポートを定義し、このビューポートのサイズは、ユーザのビュー距離およびモニタサイズにマップする。たとえば、大きな仮想カメラビューポートは、ユーザがモニタの十分近くに座っており、または多くの詳細を解像できるほど十分に大きいモニタを有することを示す。あるいは、小さいビューポートは、ユーザがモニタから離れており、より大きいフォントおよび画像を必要とすることを示す。ズーム可能GUIコードは、セマンティックズーミングの遷移を、この仮想カメラ上で見られ、ユーザの好む視聴条件を使用するコンポーネントの拡大レベルに基づかせることができる。

表示装置1204に接続されたメインカメラノード1202は、仮想カメラ1200が示していることすべてを表示するように構成されたビューポートを有する。画像およびテキストがこのメインカメラ1202までマップされないので、品質の損失が仮想カメラから生じない。この結果、高解像度モニタは、より高品質の画像を表示し、また表示をより読みづらくするセマンティックズームミング変化を引き起こさないようになる。

本発明の例示的な一実施形態によれば、このプロセスは、以下のように働く。シーングラフ内の各カメラおよびノードは、関連する変換行列(T₁からT_n)を有する。これらの行列は、そのノードの局所座標系をディスプレイに向かって次のノードの局所座標系に変換する。この図では、T₁は、そのビューポートからの座標を表示座標に変換する。同様に、T₂は、その局所座標系をカメラのビューポートに変換する。リーフノード1206がディスプレイ上に何かをレンダリングする必要がある場合、それは、以下の行列を計算する。
A=T₁T₂...T_n
この計算は、シーングラフを横断する間に実施することができる。セマンティックズーミングをサポートするためのコンポーネント変更は仮想カメラ1200に基づくので、以下の計算が実施される。
B=T₄T₅...T_n
一般に、T₁からT₃は、モニタの解像度を照会し、シーングラフを検査することによって、前もって決定することができる。したがって、AからBを決定することは、以下のようにこれらの行列を反転し乗算することにより遂行される。
B=(T₁T₂T₃)^-1A
T₁からT₃を前もって計算することが問題である場合、たとえばグラフィックスAPIによって追加の変換が隠される場合、ディスプレイをレンダリングするためにそれが使用した変換行列を遮るためのロジックが仮想カメラに追加される。次いで、遮られたこの変換は、セマンティックズーミング閾値の計算のために、上記のように反転され乗算される。

本発明の例示的な実施形態によるズーム可能インターフェースの1つの長所は、インターフェースをナビゲートする間、コンテキストを維持する能力である。インターフェースコンポーネントはすべて、ズーム可能な世界に存在するように見え、ユーザは、そのいずれかに達するようにパンし、ズームすることだけが必要である。上記のセマンティックズーミング技術は、ズームまたは拡大レベルに応じてコンポーネントの外観を変化させる。図15Aおよび図15Bは、コンポーネントのズームアウトバージョン(図15A)がピクチャであり、ズームインバージョン(図15B)が同じピクチャ、ならびにいくつかのコントロールおよび詳細を含んでいる、コンポーネントのセマンティックズーミングの一例を示している。このより詳細ないくつかの例が、以下に示される。セマンティックズーミングに付随する1つの課題は、ビュー間の変化が突然生じることがあり、アルファブレンディングなどの遷移技術が、こうした2つのビュー間で遷移するときに視覚的に好ましい結果をもたらさないということである。

したがって、本発明の例示的な実施形態は、セマンティックズームが実施されるときに遷移効果の焦点を設けるために、コンポーネントのすべてのビュー内に何らかの共通の画像またはテキストを提供する。たとえば図15Aおよび図15Bでは、共通の要素はピクチャである。ズームアウトバージョンとズームインバージョンの間の遷移効果は、たとえば上記のノードウォッチャーアルゴリズムを以下のように使用してトリガすることができる。まず、ノードウォッチャーへの登録が、メインカメラのビューポートが、コンポーネントのズームアウトバージョンの拡大レベルからズームインバージョンに遷移するときにイベントを受信するために実施されることができる。次いで、イベントが生じるとき、アニメーションを表示することができ、このアニメーションは、ズームアウトバージョンの位置からズームインバージョンの位置へと縮小し変化する共通の要素を示す。一方、カメラのビューポートは、コンポーネントにズームインし続ける。

本発明によるグラフィカルユーザインターフェースのこれらの能力は、図16〜20に関連して以下に記載する別の例示的な実施形態を精査するとより明らかになる。この図では、起動時のGUI画面1400が、メディアグループを表現するものとして動作する複数の編成オブジェクトを表示している。ホームビデオ、映画、TV、スポーツ、ラジオ、音楽およびニュースのメディアグループの単に例示的なメディアグループの表現物は、もちろん、異なるより多くのまたは少ないメディアグループ表現物を含んでもよい。ユーザがこれらのアイコンのうちの1つを操作すると、この例示的な実施形態によるGUIは、それぞれが特定のカテゴリまたはジャンルにグループ化された複数の画像を表示する。たとえば、図16の「MOVIES」アイコンがユーザによって操作された場合、図17のGUI画面が表示され得る。この図では、多数の、たとえば120個以上の選択オブジェクトが表示される。これらの選択オブジェクトは、特定のグループ、たとえばアクション、古典、コメディ、ドラマ、ファミリーおよび新版に分類することができる。より多くのまたはより少ないカテゴリが提供されてもよいことが当業者には理解されよう。この例示的な実施形態では、メディアアイテム画像は、それぞれの映画選択に関連するカバーアートであり得る。図17のブロックのサイズは、この比較的に大きい選択アイテム画像グループを詳細な図示を可能するには小さすぎるが、実装では画像の拡大レベルは、テキストの一部またはすべてが小さすぎて容易には読めない場合でも、映画の識別が、その関連する映像によって分かるものである。

次いで、カーソル(図17に図示せず)は、映画画像グループの上に置かれ、かつ入力装置が、グループのうちの1つについての選択の表示を提供するように動作させられる。この例では、ユーザは、ドラマグループを選択し、次いで、グラフィカルユーザインターフェースは、図18に見られるように、ドラマ画像グループのズームされたバージョンを表示している。上記の実施形態と同様に、遷移効果は、図17のGUI画面から図18のGUI画面へのGUI変更として表示することもでき、たとえば、GUIは、ズームする間または前に、図17のGUI画面の中央からドラマ画像グループの中央までビューをパンし得る。図18のドラマグループのズームされたバージョンは、ドラマグループ内の画像総数のうちのサブセットだけを表示しているが、このズームされたバージョンは変形例として、選択されたグループ内の画像のすべてを含んでもよいことに留意されたい。選択されたグループ内の画像のすべてをGUI画面の所与の任意のズームインバージョンで表示するかどうかの選択は、たとえば、グループ内のメディアアイテムの数、および特定のズームレベルについてメディアアイテムの望ましい最小拡大レベルに応じて行うことができる。本発明によるGUIのこの後者の特性は、システム設計者/サービスプロバイダによって事前に決定されてもよく、またはGUI内のソフトウェア設定を介してユーザによってカスタマイズ可能であり得る。たとえば、グループ内のメディアアイテムの数、ならびに最小および/または最大拡大レベルは、サービスプロバイダまたはエンドユーザのいずれかまたは両方によって構成可能であり得る。こうした特徴は、たとえば視力が弱いユーザが、表示されているメディアアイテムの拡大レベルを増加させることを可能にする。反対に、特に視力のよいユーザは、拡大レベルを減少させ、それによって、任意のあるときにGUI画面上に表示されるメディアアイテムの数を増加させ、ブラウズ時間を減少させることができる。

本発明によるグラフィカルユーザインターフェース内で使用され得る1つの例示的な遷移効果は、本明細書では、「shoe-to-detail」ビュー効果と呼ばれる。動作時、この遷移効果は、ズームアウト画像を取り、このズームアウト画像をより小さいビュー、すなわち次に高い拡大レベルへと同時に縮小し変換する。図17のGUI画面で使用される拡大レベルから図18のGUI画面で使用されるより大きい拡大レベルへの遷移によって、図18のズームインバージョンで表示される画像について、追加の詳細がGUIによって明らかにされることになる。GUIは、それらの詳細が、現在選択されているズームレベルでよく表示されるかどうかに基づいて、各ズームレベルで詳細を選択的に明らかにし、または隠す。肉眼に見えることに関係なく詳細を解像しようと試みるカメラズームと異なり、本発明の例示的な実施形態は、構成可能なズームレベルパラメータを提供し、この構成可能なズームレベルパラメータは、完全な画像を示すときと、抑えられた詳細を伴う画像のバージョンを示すときの間の遷移点を指定する。遷移点は、テレビ/モニタ212の解像度ではなく、画像の内部解像度から独立した描写に基づいてもよい。このように、本発明によるGUIは、メディアシステム内で使用される表示装置の解像度に関係なく一貫したものである。

この例示的な実施形態では、特定の画像についての追加の拡大量が、特定の画像上にカーソルを通過させることによって提供されてもよい。この特徴は図19で見ることができ、この図では、カーソルが、映画「Apollo 13」の画像の上に移動されている。図19には示されていないが、こうした追加の拡大によって、関連するメディアアイテムのカバーアート上に現れる、引用「Houston, we have a problem」は、より低い拡大レベルである図18のGUI画面内の対応する画像と比べて読みやすくなる。たとえば入力装置上のボタンを押下することによってこの画像をユーザが選択すると、図20に示される詳細を表示するためのさらなるズームがもたらされ得る。これは、図19のGUI画面では使用可能でなかった様々な情報および制御要素が図20のGUI画面内に存在するので、上記のように、セマンティックズーミングのさらに別の例を提供している。たとえば、特に挙げると、映画の上映時間、価格、および俳優の情報を含めて、映画「Apollo 13」に関する情報が示される。ここでは他のタイプの情報が提供されてもよいことが当業者には理解されよう。さらに、このGUI画面は、たとえば、映画を購入し、トレーラーを視聴し、または前のGUI画面に戻る(入力装置上のZOOM OUTボタンを押下することによって遂行することもできる)ためのボタン制御オブジェクトを含めて、GUI制御オブジェクトを含む。たとえば、図20のGUI画面の右下隅で識別された関連の映画に関連するGUI画面、またはこの映画の俳優に関連する情報にユーザがジャンプすることを可能にするために、ハイパーリンクを使用することもできる。この例では、標題「Filmography」の下の映画タイトルの一部またはすべてがハイパーリンクとして実施されることができ、入力装置を介してユーザによって操作されるときこのハイパーリンクは、GUIに、示された映画について図20のGUI画面に対応するGUI画面をGUIに表示させる。

ユーザがハイパーリンクを動作させるときに、遷移効果を使用することもできる。ハイパーリンクが非常に高い拡大レベルで生成され得るので、リンクされたメディアアイテムに単にジャンプすると、ユーザは、メディアアイテム選択「マップ」内のどこにいるか見失うことになり得る。したがって、本発明の例示的な実施形態は、ハイパーリンクが動作させられるときにユーザの地理的な位置感覚を維持する助けとなる遷移効果を提供する。この目的のために使用され得る1つの例示的な遷移効果は、ホップ遷移である。遷移効果の最初の段階では、GUIは、ハイパーリンクによってポイントされたアイテムの方向にズームアウトおよびパンする。ズームアウトおよびパニングは、宛先の画像と元の画像の両方がユーザによって見えるまで継続する。図20の例を再び使用して記載すると、ユーザが「Saving Private Ryan」のためのハイパーリンクを選択する場合、ハイパーリンクホップ効果の第1段階は、「Saving Private Ryan」と「Apollo 13」の画像の両方がユーザに見えるようになるまで、「Saving Private Ryan」の画像に向かってズームアウトおよびパンすることを含む。この時点で、遷移効果は、宛先画像に向かって上方に弧を描くように移動されている視覚的印象をユーザに与えていた。宛先画像がビューに入ると、遷移効果の第2段階は、たとえば弧のもう一方の半分で宛先画面をズームインし、パンする視覚的印象をユーザに与える。ホップ時間、すなわちこの遷移効果の第1と第2の両方の段階が表示される時間量は、任意の2つのハイパーリンク画像アイテム間で生じるものとして固定することができる。あるいは、ホップ時間は、たとえばGUI上で移動される距離に基づいて変化することがある。たとえば、ホップ時間は、HopTime=A log(ズームインスケールレベル/ホップ頂点スケールレベル)+B(ハイパーリンクメディアアイテム間の距離)+Cとしてパラメータ化することができ、ただしA、BおよびCは、適切に選択された定数である。

図9〜図13Bに関して上記のノードウォッチャーアルゴリズムは、図19の例示的なGUI画面および図20の例示的なGUI画面に示されたズームレベル間の遷移の助けとするために使用することもできる。選択された画像の他のズームレベルバージョンでは見えないテキストおよび/またはコントロール要素を含むGUI画面のレンダリングは、より低い拡大レベルの画像よりも多くの計算および/またはメモリを要することがある。したがって、ノードウォッチャーアルゴリズムは本発明の例示的な実施形態では、ズームインされている特定のメディアアイテムをより迅速に識別するためにGUIナビゲーションコードを監視することによって、図20に示されるGUI画面などのGUI画面を事前にロードする助けとするために使用することもできる。

本発明の例示的な実装形態には、画面位置およびセマンティックベースのナビゲーションコントロールが含まれる。これらのコントロール領域は、ユーザがカーソルをそれらのコントロールに関連する領域の近くまたはその中に置くとき、図21に示されるように、それらコントロールが適切である場合に現れる。たとえば、映画を再生するときは、早送り、巻戻し、休止、停止などのいわゆるトリック機能が、意味的に適切である。この例示的な実施形態では、それらの機能に割り当てられた画面領域は、右下隅であり、カーソルがその領域の近くにまたはその領域内に置かれるとき、それらのトリック機能の1組のアイコンが現れる。次いで、これらのアイコンは、関与する機能が明らかに完了されたとき、またはカーソルが画面上のどこか置かれるときに消える。同じ技術を、テキスト検索およびホームスクリーン選択のような他のナビゲーション特徴をカバーするために使用することもできる。この例示的な実装形態では、これらのコントロールは、すべての画面上で意味的に関連しており、それらに割り当てられた領域は、右上隅である。カーソルがその領域の近くまたは中に置かれるとき、それらのナビゲーション制御のための1組のアイコンが現れる。次いで、これらのアイコンは、機能がアクティブ化され、またはカーソルが画面上のどこかに置かれるときに消える。ユーザ訓練のため、関連する制御アイコンが最初、任意選択で、体験していないユーザにその存在について知らせるために、関連する画面の一部またはすべてに短い間(たとえば5秒)現れてもよいことに留意されたい。

本発明によるズーム可能グラフィカルユーザインターフェースのいくつかの例を示したが、こうしたインターフェースを使用するための例示的なフレームワークおよび基盤について次に記載する。図22は、様々な高レベルのアプリケーション1900、たとえば映画、テレビ、音楽、ラジオおよびスポーツなどに関連するズーム可能インターフェースが、(図では「atoms」と呼ばれる)プリミティブ1902によってサポートされているフレームワーク図を示している。この例示的な実施形態では、プリミティブ1902は、POINT(ポイント)、CLICK(クリック)、ZOOM(ズーム)、HOVER(ホバー)およびSCROLL(スクロール)を含むが、たとえばPAN(パン)およびDRAG(ドラッグ)など、他のプリミティブも同様に、このグループ内に含まれてもよいことが当業者には理解されよう。上記のように、POINTおよびCLICKプリミティブは、たとえばユーザがハンドヘルド入力装置上のZOOM INまたはZOOM OUTボタンを動作させるときに、カーソル位置を決定し、イベントをトリガするように動作する。これらのプリミティブは、ナビゲーションを単純化し、繰り返される上下右左のボタン動作の必要性を取り除く。上記に示されたように、ZOOMプリミティブは、可能な選択物の概要を提供し、選択肢を狭めるときのコンテキストをユーザに与える。この概念は、インターフェースが多数のメディア選択物、および任意の表示サイズにスケーリングされることを可能にする。SCROLLプリミティブは、例示的なハンドヘルド入力装置上でスクロールホイール入力装置からの入力を対処し、たとえば線形のメニューナビゲーションを加速するために使用することができる。HOVERプリミティブは動的に、コミットせずにユーザが潜在的な選択物をブラウズすることを可能にするために、ポインタの下の選択物を拡大する(および/または選択のコンテンツを変更する)。上記のプリミティブ動作はそれぞれ、本発明によるGUI内で、複数の異なるやり方で動作させることができる。たとえば、POINT、CLICK、HOVER、SCROLLおよびZOOMはそれぞれ、ユーザによって実施され得る異なるジェスチャに関連付けることができる。このジェスチャは、3Dポインタ、トラックボール、タッチパッドなどいずれにせよ、入力装置を介してシステムに通信され、適切なプリミティブの動作に変換されることができる。同様に、プリミティブはそれぞれ、各々の音声コマンドに関連付けることができる。

下位レベルのプリミティブ1902と上位レベルのアプリケーション1900の間に、本発明によるズーム可能GUIに関連する画像の生成に関与する様々なソフトウェアおよびハードウェア基盤1904が存在する。図22に見られるように、こうした基盤1904は、ハンドヘルド入力装置/ポインタ、アプリケーションプログラムインターフェース(APIs: application program interfaces)、ズーム可能GUI画面、開発者ツールなどを含んでもよい。

上記の例示的な実施形態は、単に説明的な性質のものである。ズームレベルの数、ならびに各レベルでユーザに提供される特定の情報およびコントロールは、様々であり得る。本発明は、ユーザが映画および音楽などのメディアアイテムを容易に検索し、ブラウズし、編成し再生できるように、ズーム可能インターフェースを使用して大きいおよび小さいメディアアイテムセットを提示するための革新的な技術を提供することが当業者には理解されよう。本発明によるグラフィカルユーザインターフェースは、同様の選択物が一緒にグループ化されるように、仮想表面上にメディアアイテム選択物を編成する。このインターフェースは最初、表面のズームアウトビューを提示し、ほとんどの場合、このレベルでは実際の選択物を見るのではなく、グループ名が見えるにすぎない。ユーザが次第に内部へとズームするにつれて、メディアアイテムグループまたは選択物に関してさらなる詳細が明らかになる。それぞれのズームレベルでは、ユーザが選択物のグループ、個々の選択を再生し、あるいは関連する他のメディアアイテムをブラウズするために仮想表面の別の部分に進むことができるように、様々なコントロールが使用可能である。本発明の例示的な実施形態によるグラフィカルユーザインターフェースのズーミングは、任意の深さならびにカテゴリのカテゴリにネストされた画像カテゴリを含み得る。メディアアイテムは、ローカルに格納され、放送プロバイダによって放送され、コンテンツプロバイダからの直接接続を介してまたはピアベースで受信されるコンテンツを含み得る。メディアアイテムは、日時情報があるレベルのGUIで提供されるスケジューリング形式で提供することができる。さらに、本発明の例示的な実施形態によるフレームワークおよびGUIは、選択アイテムがユーザに販売されているテレビでの商取引に適用することもできる。

従来のテレビアプリケーションは、選択するためにはユーザが関連する画面領域またはオブジェクトのセットから意識的かつ意図的に選択しなければならないと考えている。一般にこれは、関心領域を強調する画面と共に、上下左右の矢印で行われる。ユーザは、そこに達すると、たとえば「OK」ボタンを押下して進む。それとは対照的に、本発明の例示的な実施形態は、ユーザが画面上の興味のあることを何でも直接にポイントすることを可能にする。これは、選択を遥かに直覚的かつ迅速にする。それは、拡張情報が、ポインティング、本明細書では「セマンティックホバー」と呼ばれるものの一環として表示されることをも可能にする。本発明の例示的な実施形態のセマンティックホバーの一例は、テレビアプリケーション内の番組タイトルの上でホバーすると、その番組についての拡張情報が表示されるようになることである。さらに、それによって、動作は、興味領域に関連したものとなることができる。ユーザは単に、興味のある特定のオブジェクトを含むことも、含まないこともある画面の領域をポイントし、画面上の他のどこかで関連性のない動作を行うことができる。本発明によるアプリケーション内のこの一例は、画面の左部分にカーソルを移動すると、チャンネル選択機能に連動することである。次いで、ユーザは、スクロールホイールを使用してチャンネルを変更し、またはスライダバーを単にポイントして、対応するチャンネルをセットすることができる。このいずれも、従来のナビゲーション方式では容易に遂行されない。

3D装置を本発明の例示的な実施形態によるオンスクリーンナビゲーションシステムと一体化することに関連する別の固有の特徴は、震動および望まれない動きの両方に対処する能力である。これは、デスクトップマウスおよびPC画面を伴う状況とは非常に異なる。その場合、マウスは平面上にあり、望まれない移動は、摩擦および静止する能力のおかげで自然に取り除かれる。しかし、3D装置では、それは、ユーザの手に任意の角度で持たれ、その結果、制御環境が非常に異なっている。3D装置の動きデータの処理に関連するアルゴリズム、あるいはそのデータを受信するアプリケーションのいずれか(または両方)が、震動および望まれない動きに対処できなければならない。本発明によるこうした組合せの別の側面は、精度である。一般に、デスクトップマウスのポインティング解像度は、3D装置のそれより優れている。これは、デスクトップマウスが、3D装置がポイントできるものより小さい画面オブジェクトをポイントできることを意味する。

本発明の例示的な実施形態によるシステムは、これらのことの3つすべて行う。アルゴリズム自体では、所望の動きだけが使用されるように、震動および所望の動きがモデル化され処理される。さらに、ユーザがボタンを押下し、3Dポインティングデバイスのスクロールホイールを回転しているためだけに生成される3D装置の動きは、モデル化され補償される。さらに、3Dポインティングデバイスのユーザの動きに関連する処理された動きデータを受信する下流のアプリケーションでは、3D解像度および動きの特性についての知識が、アプリケーション画面の設計に含められ、それによって、システムをより制御しやすくするためのセマンティックフィードバックも提供される。

オンスクリーンナビゲーションと組み合わせた3Dポインティングの利点は、この対形成により様々なアプリケーションにおいて可能である新しい特徴および機能をも含む。それぞれ異なるアプリケーションによって分類された一部の例を、以下に挙げる。上記の技術を使用して、図23〜図33に示されたGUI画面のすべてがナビゲートできることに留意されたい。

テレビ:テレビのガイドでは、以下の例示的な利点がある。
1.番組リストをポイントすると、クリックまたは画面変更の必要なしに、番組に関する追加の情報が明らかになる(セマンティックホバー)。たとえば、この技術を示す図23Aおよび図23Bを参照されたい。この図では、電子番組ガイドは、複数のチャンネル、およびGUI画面上に表示されたそれらのチャンネルについての番組情報を有しており、この番組情報は、上記のように、たとえばより高いレベルのGUI画面からアクセスすることができる。図23Aに示された時刻では、現在選択されているチャンネル情報ペイン2300は、AM8:30〜AM9:00にチャンネル15に現れる番組、すなわち「Happy Days」に関連する情報を表示している。カーソル2302は現在、番組リストをポイントしていない。図23Bに示された別の時刻では、カーソルは、たとえばテレビ画面の前の3Dポインティング機構の対応する動きによって、AM9:00にチャンネル15に現れるショー「Beverly Hillbillies」をポイントするように移動している。これによって自動的に、また本発明のこの例示的な実施形態によるユーザからのポイント以外の入力を伴わずに、現在選択されているチャンネル情報ペイン2300に表示された情報が、図23Bに示されるような新しく選択された番組に関する情報を表示するように変化することになる。この例では、GUI画面は、現在選択されているチャンネルに関連するビデオのおよび/またはオーディオ情報を表示するライブフィードセクション2304を有することもできる。

2.番組リスト間でスクロールすることによって、線形の長いリストを容易にナビゲートすることが可能となる。この場合もやはり、こうしたスクロールは、たとえば3Dポインティング機構でテレビを単にポイントすることによって実施することができる。たとえば、図24Aおよび24Bを参照されたい。図24Aで、GUI画面は現在、チャンネル2〜10およびその対応する番組情報を含む番組情報を表示している。カーソル2400をリストの下の画面の部分に移動することによって、スクロール機能は、ユーザに他のいずれかの措置を取るよう求めずに番組ガイドがスクロールダウンするように自動的にアクティブ化することができる。このスクロール活動からもたらされるGUI画面が、図24Bに示されている。

3.ボリュームおよびチャンネルなど、要求されたときにだけ表示される画面コントロール。たとえば、図25Aは、特定のテレビチャンネルが選択されており、そのチャンネルに関連するビデオおよびオーディオフィードがシステムによって出力されているGUI画面を示している。3Dポインタをテレビの前に移動し、それに対応してカーソル2500をGUI画面の右手側に移動することによって、音量制御スライダバー2502が画面に表示され、ユーザによって、たとえば音量アイコン2504を上または下にドラッグすることによって操作することができる。ユーザが、GUI画面の左方向にカーソルが移動するように3Dポインタを移動する場合、図25Cに示されるように、チャンネル変更コントロール2506が表示されてもよい。何らかの番組ガイド情報がポップアップパネル2508に表示されることもでき、このポップアップパネル2508は、たとえば図25Dに示されるようなタブをポイントすることによって操作することができる。チャンネル制御バー2510をポイントすることによって、チャンネル制御バー2510(図25E)のポイントされた場所に位置するチャンネルを示すポップアップ2512が表示される。後の入力(たとえばボタン押下など)、または所定の時間の間この位置で休止することによって、チャンネルが変更され、表示ペイン2508(図25F)内の情報の対応する変化が生じることになる。

4.同時に多くのオプションをユーザに提示し、またそこからユーザが、単にポイントすることによって選択することができる、視覚ブラウザ。本発明の例示的な実施形態のこの側面が、上記の図17〜図20に示されている。

5.ユーザがホバーし、またはアイテムを選択するときに表示される自動的なクロスリンクの提案。本発明の例示的な実施形態のこの側面は、本明細書に記載するインターフェースおよびシステムに関連する様々なGUI画面で見ることができる。たとえば、図26Aに示されるように、クロスリンクは、この図に示されたGUI画面の上方部分の表示ペイン2602によって明らかに示された「Paid Programming」の最初のユーザ選択に基づいて、他の「オンデマンド」GUI画面についての番組ガイドの右側ペイン2600に設けられることができる。たとえば、ユーザが表示ペイン2600内の「Movielink」リンクを、たとえばカーソルをその上に移動し、「Movielink」テキストをクリックすることによって操作する場合、図26Bとして示されたGUI画面が、その操作の結果として表示され得る。

6.オンスクリーントランスポートコントロール(たとえば巻戻し、早送り、再生、停止、シーンスキップ、最後および最初へ)によって、ビデオ再生の容易な制御が可能となる。上記で説明した音量およびチャンネル選択コントロールのように、これらのコントロールは、ユーザがカーソルを表示領域の所定の部分に移動したことに応答して表示することができる。図27Aおよび27Bを参照されたい。これらの図では、ボックス2704によって定義された領域内にカーソル2702を置くことに応答して、オンスクリーントランスポートコントロール2700が、図27B内に表示される。

写真:写真アプリケーションでは、以下の例示的な利点がある。
1.写真集をポイントし、次いでユーザは、それを自動的にプレイリストに追加することができ、あるいは任意選択で、ドラッグアンドドロップの動きで追加することができる。たとえば、図28A示すように、(映画および図17〜図20に関して上記とほとんど同じやり方で写真のブックシェルフの一部へとズームインすることにより到達した)「Europe」集内の特定の写真をポイントすると、写真2800が拡大され、GUI画面のプレイリスト部分2801に自動的に追加される「ホバーズーム」効果がもたらされる。写真2800のより小さいバージョン2802が、このリストへのその追加を表すために、プレイリスト部分2801に置かれている。
2.写真アルバムへのズームインは、さらなるコンテキスト情報を提供し、階層的ソートを可能にすることができる。写真プレイリストが増加するにつれて、スクロールコントロール2805は、プレイリスト部分2801内にいつでも表示されるより小さいバージョンの画像の数を制限するように現れる(図28Bを参照)。
3.オンスクリーントランスポートコントロールは、スライドショーの再生、たとえば図28Aおよび28Bの「Play」また「Clear」ボタンの容易な制御を可能にする。

ホームムービー:ホームムービーアプリケーションでは、以下の例示的な利点がある。
1.ホームビデオ集をポイントし、次いでユーザは、それをプレイリストに自動的に追加することができ、あるいは任意選択で、図29Aに示すようなドラッグアンドドロップの動きで追加することができる。この図では、「Ballet」集からの「Hats Part3」ムービーが、GUI画面のコレクション領域2902内のその画像をポイントすることによりプレイリスト2900に追加されている。このGUI画面の左上側部分にある「Recital」ボタンを選択すると、コレクション領域内の画像が「Recital」集の一部として格納される画像へと変化し、図29Bに示されるように、この「Recital」集から、別のホームムービーがプレイリスト2900に追加される。
2.映画アルバムへのズームインは、さらなるコンテキスト情報を提供し、階層的ソートを可能にすることができる。
3.オンスクリーントランスポートコントロール、たとえば「Play」また「Clear」は、ホームビデオの容易な制御、および図29Aおよび29Bに見られるようなホームビデオプレイリストの再生を可能にする。

カレンダー:カレンダーアプリケーションでは、以下の例示的な利点がある。
1.ユーザは、図30Aおよび30Bに示すように、あるカレンダー日付の上でホバーし、クリックせずにその日付の約束についての追加情報を見ることができる。
2.ユーザはある日へとズームインして、追加の詳細を見て、またはオンスクリーンテキスト入力システムを備えた画面上でこうした詳細を編集することができる。
3.ユーザは、興味のある異なるメンバ間の予定の重複を確かめるために、カレンダーをソートすることができる。

インターネットブラウジング:インターネットブラウジングアプリケーションでは、以下の例示的な利点がある。
1.ユーザは、テレビ上のウェブサーフィンを、たとえば図31Aに示されるようなデスクトップ上でそれが行われるのとよく似たやり方で行うことができる。違いは、3Dの複雑さが対処されることである。
2.テキスト入力は、ユーザがキーボードに煩わされたくない場合、たとえば図31Bに示されるようなオンスクリーンツールを備えた画面上で行うことができる。

音楽:音楽アプリケーションでは、以下の例示的な利点がある。
1.ユーザは、音楽リストまたは視覚的な音楽表現物をポイントし、それをプレイリストに自動的に追加し、またはそれを単に再生することができる。たとえば、ユーザは、図32Aに示すようなアルバムカバーのブックシェルフの一部にナビゲートし、それをポイントすることによって特定のアルバムを選択することができる。これによって、個々の音楽トラックが選択され、GUI画面のプレイリスト部分3200に追加されることができる、図32Bに示した画面などの画面が表示され得る。
2.ユーザは、(類似のアーティストまたは類似のアルバムなど)興味のあるものをポイントすることによってクロスリンクを容易にナビゲートすることができる。
3.オンスクリーントランスポートコントロール3202は、図32Cに示すように、曲またはプレイリスト再生の容易な制御を可能にし、任意のビジュアルディスプレイに追加することもできる。

ショッピング:ショッピングアプリケーションでは、以下の例示的な利点がある。
1.ユーザは、ショッピングアイテムリストまたは視覚的な商品のプレゼンテーションをポイントし、それをショッピングカートに自動的に追加し、または単にそれを購入することができる。たとえば、図33Aに示されるように、第1ズームレベルでは、販売アイテムの複数の異なるカテゴリが、何らかの一般的な語句および画像を使用して示されてもよい。ユーザが特定のカテゴリ、たとえば図33Bの「Handbags」の上でカーソル3300を止めるとき、画像が、その現在の選択を示すようにわずかに拡大される。次いで、自動的に、または追加のユーザ入力(たとえばボタン押下)の結果として、ズームインが、「Handbags」カテゴリ上で実施され、図33Cに示すように、ハンドバックのブックシェルフが明らかにされる。この場合もやはり、カーソルの位置は、図33Cの「Smooth Leather」アイテムカテゴリのホバーズームによって反映された、ブックシェルフ内の現在の選択を示している。別のズームインが再び、このカテゴリのポインティングのある経過時間後に自動的に、またはハンドヘルド装置を介した特定のユーザ入力に応答して実施され、図33Dに示すように、このカテゴリのより詳細なビューがもたらされ得る。特定のハンドバックの画像を選択すると、たとえば上記のズーム、パンおよび/または変換効果を使用して、図33Eの詳細なビューへとズームインされることになり得る。
2.ユーザは、(同じストアからの他の商品、一致するアクセサリ、類似のデザイナのような)興味のあるものをポイントすることによってクロスリンクを容易にナビゲートすることができる。たとえば、図33Eに示されるように、靴のアクセサリへのクロスリンクが、画像3300として表示される。そのリンクがアクティブ化される場合、ユーザは、図33Fに見られるように、それに達するためにより高いレベルの様々な画面をナビゲートする必要なしに、そのアイテムについての詳細なビューにジャンプすることができる。
3.ユーザは、ホバリングまたはズーミングによって、興味のあるアイテムについてのより多くの情報を容易に得ることができる。

ユーザは、何が望まれるかを示すために単に画面をポイントすることが許される。任意選択でジェスチャ自体を、アプリケーション入力の一部と見なすことができる。アプリケーションを、3Dナビゲーションについての考慮(たとえば震動、意図されない動き、画面解像度)と、活用(たとえばセマンティックホバー、ズーム、画面画像関連のコントロール)の両方を行うように調整することによって、真に強力な双方向テレビアプリケーションが可能となる。3Dポインティングデバイスの意図されない動きに対処するための例示的な技術についての追加の考察は、参照によりその開示が本明細書に組み込まれている、2005年5月2日に出願された米国特許出願第11/119987号、「Methods and Devices for Removing Unintentional Movement in 3D Pointing Devices」に記載されている。

上記の例示的な実施形態は、すべての点において、本発明を限定するものではなく、例示するためのものである。したがって、本発明は、当業者によって、本明細書に含まれる説明から導き出すことができる詳細な実装形態の多くの変形が可能である。こうした変形および修正は、特許請求の範囲によって定められる本発明の範囲および精神の範囲内のものと見なされる。本出願についての説明で使用される要素、行為または手段は、そのように明示的に示されていないならば、本発明にとって重大なまたは本質的なものと解釈すべきでない。また、本明細書では、冠詞「1つの(a)」は、1つまたは複数のアイテムを含むものである。

エンターテイメントシステム用の従来のリモコンユニットを示す図である。 エンターテイメントシステム用の従来のグラフィカルユーザインターフェースを示す図である。 本発明の例示的な実施形態(ディスプレイ及びリモコンの両方)が実装され得る、例示的なメディアシステムを示す図である。 図3のシステムコントローラをより詳細に示す図である。 本発明の例示的な一実施形態によるメディアシステム用のグラフィカルユーザインターフェースを示す図である。 本発明の例示的な一実施形態によるメディアシステム用のグラフィカルユーザインターフェースを示す図である。 本発明の例示的な一実施形態によるメディアシステム用のグラフィカルユーザインターフェースを示す図である。 本発明の例示的な一実施形態によるメディアシステム用のグラフィカルユーザインターフェースを示す図である。 本発明の例示的な一実施形態による例示的なデータ構造を示す図である。 本発明の例示的な一実施形態による、図9のデータ構造を使用して作成された例示的なGUIの一部のズームアウトバージョンを示す図である。 本発明の例示的な一実施形態による、図9のデータ構造を使用して作成された例示的なGUIの一部のズームインバージョンを示す図である。 本発明の例示的な一実施形態による、GUIディスプレイを生成するために使用される2重リンクされた順序リストを示す図である。 本発明の例示的な一実施形態による、ノードウォッチャーアルゴリズムの動作を示すために使用された別の例示的なGUIの一部のズームアウトバージョンを示す図である。 本発明の例示的な一実施形態による、ノードウォッチャーアルゴリズムの動作を示すために使用された別の例示的なGUIの一部のズームインバージョンを示す図である。 本発明の例示的な一実施形態による、GUIが図12Aのビューから図12Bのビューに遷移する間のノードウォッチャーアルゴリズムの動作を示すために使用された例示的なデータ構造を示す図である。 本発明の例示的な一実施形態による、GUIが図12Aのビューから図12Bのビューに遷移する間のノードウォッチャーアルゴリズムの動作を示すために使用された例示的なデータ構造を示す図である。 解像度一貫ズーミングで使用する仮想カメラを含む、本発明の別の例示的な実施形態によるデータ構造を示す図である。 本発明の例示的な一実施形態による、セマンティックズーミングを示す例示的なGUIの一部のズームアウトバージョンを示す図である。 本発明の例示的な一実施形態による、セマンティックズーミングを示す例示的なGUIの一部のズームインバージョンを示す図である。 本発明の別の例示的な実施形態による、ズーム可能グラフィカルユーザインターフェースを示す図である。 本発明の別の例示的な実施形態による、ズーム可能グラフィカルユーザインターフェースを示す図である。 本発明の別の例示的な実施形態による、ズーム可能グラフィカルユーザインターフェースを示す図である。 本発明の別の例示的な実施形態による、ズーム可能グラフィカルユーザインターフェースを示す図である。 本発明の別の例示的な実施形態による、ズーム可能グラフィカルユーザインターフェースを示す図である。 本発明の例示的な実施形態に従って提供され得る例示的な1組のオーバーレイコントロールを示す図である。 本発明による、ズーム可能グラフィカルユーザインターフェースを実装するために例示的なフレームワークを示す図である。 本発明の例示的な一実施形態による、電子番組ガイド内で異なるチャンネルを選択するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、電子番組ガイド内で異なるチャンネルを選択するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、電子番組ガイド内でチャンネルリストをスクロールするための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、電子番組ガイド内でチャンネルリストをスクロールするための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオフィードに関連するコントロール要素を表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、電子番組ガイド内のメディアアイテム間のより効率的な遷移を可能にするリンクを表示するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、電子番組ガイド内のメディアアイテム間のより効率的な遷移を可能にするリンクを表示するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオストリームのトランスポートオーバーレイコントロールを表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ビデオストリームのトランスポートオーバーレイコントロールを表示しかつ/または取り除くための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、写真集インターフェース内で写真を操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、写真集インターフェース内で写真を操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ホームビデオ集インターフェース内でビデオを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ホームビデオ集インターフェース内でビデオを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、インターフェース内でカレンダーを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、インターフェース内でカレンダーを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、インターネットインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、インターネットインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、音楽インターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、音楽インターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、音楽インターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。 本発明の例示的な一実施形態による、ショッピングインターフェースを操作するための3Dポインティングの使用を示すGUI画面の図である。

符号の説明

200 メディアシステム、エンターテイメントシステム
210 入出力バス
212 テレビ/モニタ
214 ビデオカセットレコーダ
216 デジタルビデオディスクレコーダ/再生装置
218 オーディオ/ビデオチューナ
220 コンパクトディスクプレーヤー
222 マイク/スピーカシステム
224 ビデオカメラ
226 無線I/O制御装置
228 システムコントローラ
230 ケーブル放送
232 衛星放送
236 電話網
238 ケーブルモデム
243 放送テレビ網
300 プロセッサ
302 メモリ
304 ディスプレイコントローラ
306 デバイスコントローラ
308 データ記憶装置
310 I/Oインターフェース
312 バス
900 カメラノード
902 レイヤノード
904 表示装置
906 子ノード
908 子ノード
910 子ノード
912 ノード
914 ノード
916 ノード
918 ノード
920 ルートノード
1200 仮想カメラノード
1202 メインカメラノード
1204 表示装置
1206 リーフノード

Claims (53)

1. テレビ画面上に出力を表示するソフトウェアアプリケーションで3Dポインティングデバイスを使用するための方法であって、
   前記ソフトウェアアプリケーションに関連する前記テレビ画面上に第1情報セットを表示する段階と、
   前記3Dポインティングデバイスを移動する段階と、
   前記3Dポインティングデバイスの動きに関連するデータを、前記3Dポインティングデバイスの意図されない動きを補償するように処理する段階と、
   前記処理されたデータに基づいて、前記テレビ画面に表示されたカーソルを前記テレビ画面上の新しい位置に移動する段階と、
   前記カーソルの前記新しい位置に応答して、前記テレビ画面上の前記第1情報セットの前記表示を変更する段階と
   を具備し、
   前記ソフトウェアアプリケーションは、電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集、およびショッピングインターフェースのうちの少なくとも1つを具備する、方法。
2. 前記意図されない動きが、前記3Dポインティングデバイスを持つユーザに関連する震動によって引き起こされる請求項1に記載の方法。
3. 前記意図されない動きが、ユーザが前記3Dポインティングデバイス上の可動要素を動作させることによって引き起こされる請求項1に記載の方法。
4. 前記カーソルを移動する前記段階後の前記カーソルの前記新しい位置に少なくとも一部基づいて、前記テレビ画面上に第2情報セットを表示する段階をさらに具備し、
   前記第2情報セットは、前記第1情報セットと異なる、請求項1に記載の方法。
5. 前記第1情報セットが複数の画像を具備し、かつ前記第2情報セットが、前記第1情報セットに関連する画像のホバーズームである請求項4に記載の方法。
6. 前記第2情報セットを表示する前記段階が、前記カーソルの前記移動に加えて、ユーザからの追加の入力を必要とする請求項4に記載の方法。
7. 前記第2情報セットを表示する前記段階が、ユーザからの追加の入力を必要とせずに、前記カーソル位置に直接応答して前記第2情報セットを表示する段階をさらに具備する請求項4に記載の方法。
8. 前記第1情報セットが番組ガイドであり、かつ前記第2情報セットが、線形の番組リストをスクロールすることによって表示される請求項4に記載の方法。
9. 前記第1情報セットが番組ガイドであり、かつ前記第2情報セットが、ユーザ要求に応答して表示される画面コントロールである請求項4に記載の方法。
10. 前記第1情報セットが番組ガイドであり、かつ前記第2情報セットが、前記第1情報セットの一部として表示されたアイテム上のホバリング、または前記アイテムの選択に応答して表示されたクロスリンクを具備する請求項4に記載の方法。
11. 前記第1情報セットが番組ガイドであり、かつ前記第2情報セットが、ビデオ再生の制御に関連するオンスクリーントランスポートコントロールを具備する請求項4に記載の方法。
12. 前記第1情報セットが写真集であり、かつ前記第2情報セットが、前記写真集が追加されるプレイリストである請求項4に記載の方法。
13. 前記第1情報セットが写真集であり、かつ前記第2情報セットが、階層的ソートを可能にする前記写真集に関連するコンテキスト情報を提供する前記写真集のズームバージョンである請求項4に記載の方法。
14. 前記第1情報セットが写真集であり、かつ前記第2情報セットが、ユーザが写真のスライドショープレゼンテーションを制御できるようにするオンスクリーントランスポートコントロールを具備する請求項4に記載の方法。
15. 前記第1情報セットがビデオ集であり、かつ前記第2情報セットが、前記ビデオ集が追加されるプレイリストである請求項4に記載の方法。
16. 前記第1情報セットがビデオ集であり、かつ前記第2情報セットが、階層的ソートを可能にする前記ビデオ集に関連するコンテキスト情報を提供する前記ビデオ集のズームバージョンである請求項4に記載の方法。
17. 前記第1情報セットがビデオ集であり、かつ前記第2情報セットが、ユーザが前記ビデオ集のプレゼンテーションを制御できるようにするオンスクリーントランスポートコントロールを具備する請求項4に記載の方法。
18. 前記第1情報セットがカレンダーであり、かつ前記第2情報セットが、前記カレンダーの各部分上の前記カーソルの動きに応答して前記テレビ画面上に表示された、前記カレンダーの特定の日に関連する情報である請求項4に記載の方法。
19. 前記第1情報セットがカレンダーであり、かつ前記第2情報セットが、オンスクリーンテキスト入力システムを使用してユーザによって編集され得る、前記カレンダー上の特定の日に関連する情報である請求項4に記載の方法。
20. 前記第1情報セットがカレンダーであり、かつ前記第2情報セットが、前記カレンダーのソートされたバージョンである請求項4に記載の方法。
21. 前記第1情報セットがインターネットウェブページであり、かつ前記第2情報セットが、異なるインターネットウェブページである請求項4に記載の方法。
22. 前記第1情報セットがインターネットウェブページであり、かつ前記第2情報セットが、前記ユーザによってオンスクリーンテキスト入力ツールを介して入力された何らかの追加テキストを具備する前記インターネットウェブページである請求項4に記載の方法。
23. 前記第1情報セットが音楽リストであり、かつ前記第2情報セットが、前記カーソルの前記動きに応答して前記音楽リストが追加されるプレイリストである請求項4に記載の方法。
24. 前記第1情報セットが、音楽に関するクロスリンクを具備し、かつ前記第2情報セットが、前記カーソルの前記動きに応答して前記クロスリンクのうちの1つを介して到達した他の音楽情報である請求項4に記載の方法。
25. 前記第1情報セットが、選択可能な音楽メディアアイテムを具備し、かつ前記第2情報セットが、音楽再生を制御するためのオンスクリーントランスポートコントロールを具備する請求項4に記載の方法。
26. 前記第1情報セットが、ショッピングアイテムリストまたは視覚プレゼンテーションを具備し、かつ前記第2情報セットが、ショッピングカートを具備する請求項4に記載の方法。
27. 3Dポインティングデバイスと、
    テレビと、
    前記テレビ上に出力を表示するソフトウェアアプリケーションを実行するためのプロセッサと
    を具備するシステムであって、
    前記プロセッサは、電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集、およびショッピングインターフェースのうちの少なくとも1つに関連して前記テレビ上に第1情報セットを最初に表示し、
    さらに、前記3Dポインティングデバイスの動きに応答して、前記プロセッサが、意図されない動きに対して前記3Dポインティングデバイスからのデータ出力を補償し、次いで、前記補償されたデータに基づいて、前記テレビ上に表示されたカーソルを前記テレビ上の新しい位置に移動し、
    さらに、前記テレビ画面上の前記第1情報セットの前記表示が、前記カーソルの前記新しい位置に応答して変更される、システム。
28. 前記意図されない動きが、前記3Dポインティングデバイスを持つユーザに関連する震動によって引き起こされる請求項27に記載のシステム。
29. 前記意図されない動きが、ユーザが前記3Dポインティングデバイス上の可動要素を動作させることによって引き起こされる請求項27に記載のシステム。
30. 前記第1情報セットが複数の画像を具備し、かつ前記第1情報セットの前記表示の前記変化が、前記第1情報セットに関連する画像のホバーズームである請求項27に記載のシステム。
31. 前記第1情報セットの前記表示の前記変化が、前記カーソルの前記動きに加えて、ユーザからの追加の入力を必要とする請求項27に記載のシステム。
32. 前記第1情報セットの前記表示の前記変化が、ユーザからの追加の入力を必要とすることなしに、前記新しいカーソル位置に直接応答する請求項27に記載のシステム。
33. 前記第1情報セットが番組ガイドであり、かつ前記第1情報セットの前記表示の前記変化が、線形の番組リストのスクロールを具備する請求項27に記載のシステム。
34. 前記第1情報セットが番組ガイドであり、かつ前記第1情報セットの前記表示の前記変化が、ユーザ要求に応答して表示される画面コントロールである請求項27に記載のシステム。
35. 前記第1情報セットが番組ガイドであり、かつ前記第1情報セットの前記表示の前記変化が、前記第1情報セットの一部として表示されたアイテム上のホバリング、または前記アイテムの選択に応答して表示されたクロスリンクを具備する請求項27に記載のシステム。
36. 前記第1情報セットが番組ガイドであり、かつ前記第1情報セットの前記表示の前記変化が、ビデオ再生の制御に関連するオンスクリーントランスポートコントロールを具備する請求項27に記載のシステム。
37. 前記第1情報セットが写真集であり、かつ前記第1情報セットの前記表示の前記変化が、前記写真集が追加されるプレイリストである請求項27に記載のシステム。
38. 前記第1情報セットが写真集であり、かつ前記第1情報セットの前記表示の前記変化が、階層的ソートを可能にする前記写真集に関連するコンテキスト情報を提供する前記写真集のズームバージョンである請求項27に記載のシステム。
39. 前記第1情報セットが写真集であり、かつ前記第1情報セットの前記表示の前記変化が、ユーザが写真のスライドショープレゼンテーションを制御できるようにするオンスクリーントランスポートコントロールを具備する請求項27に記載のシステム。
40. 前記第1情報セットがビデオ集であり、かつ前記第1情報セットの前記表示の前記変化が、前記ビデオ集が追加されるプレイリストである請求項27に記載のシステム。
41. 前記第1情報セットがビデオ集であり、かつ前記第1情報セットの前記表示の前記変化が、階層的ソートを可能にする前記ビデオ集に関連するコンテキスト情報を提供する前記ビデオ集のズームバージョンである請求項27に記載のシステム。
42. 前記第1情報セットがビデオ集であり、かつ前記第1情報セットの前記表示の前記変化が、ユーザが前記ビデオ集のプレゼンテーションを制御できるようにするオンスクリーントランスポートコントロールを具備する請求項27に記載のシステム。
43. 前記第1情報セットがカレンダーであり、かつ前記第1情報セットの前記表示の前記変化が、前記カレンダーの各部分上の前記カーソルの動きに応答して前記テレビ画面上に表示された、前記カレンダーの特定の日に関連する情報である請求項27に記載のシステム。
44. 前記第1情報セットがカレンダーであり、かつ前記第1情報セットの前記表示の前記変化が、オンスクリーンテキスト入力システムを使用してユーザによって編集され得る、前記カレンダー上の特定の日に関連する情報である請求項27に記載のシステム。
45. 前記第1情報セットがカレンダーであり、かつ前記第1情報セットの前記表示の前記変化が、前記カレンダーのソートされたバージョンである請求項27に記載のシステム。
46. 前記第1情報セットがインターネットウェブページであり、かつ前記第1情報セットの前記表示の前記変化が、異なるインターネットウェブページである請求項27に記載のシステム。
47. 前記第1情報セットがインターネットウェブページであり、かつ前記第1情報セットの前記表示の前記変化が、前記ユーザによってオンスクリーンテキスト入力ツールを介して入力された何らかの追加テキストを具備する前記インターネットウェブページである請求項27に記載のシステム。
48. 前記第1情報セットが音楽リストであり、かつ前記第1情報セットの前記表示の前記変化が、前記カーソルの前記動きに応答して前記音楽リストが追加されるプレイリストである請求項27に記載のシステム。
49. 前記第1情報セットが、音楽に関するクロスリンクを具備し、かつ前記第1情報セットの前記表示の前記変化が、前記カーソルの前記動きに応答して前記クロスリンクのうちの1つを介して到達した他の音楽情報である請求項27に記載のシステム。
50. 前記第1情報セットが、選択可能な音楽メディアアイテムを具備し、かつ前記第2情報セットが、音楽再生を制御するためのオンスクリーントランスポートコントロールを具備する請求項27に記載のシステム。
51. 前記第1情報セットが、ショッピングアイテムリストまたは視覚プレゼンテーションを具備し、かつ前記第1情報セットの前記表示の前記変化が、ショッピングカートを具備する請求項27に記載のシステム。
52. テレビ画面上に出力を表示するソフトウェアアプリケーションで3Dポインティングデバイスを使用するためのシステムであって、
    前記ソフトウェアアプリケーションに関連して前記テレビ画面上に第1情報セットを表示する手段と、
    前記3Dポインティングデバイスを移動する手段と、
    前記3Dポインティングデバイスの動きに関連するデータを、前記3Dポインティングデバイスの意図されない動きを補償するように処理する手段と、
    前記処理されたデータに基づいて、前記テレビ画面上に表示されたカーソルを前記テレビ画面上の新しい位置に移動する手段と、
    前記カーソルの前記新しい位置に応答して、前記テレビ画面上の前記第1情報セットの前記表示を変更する手段とを具備し、
    前記ソフトウェアアプリケーションは、電子番組ガイド、テレビ画面コントロール、写真アルバム、ホームビデオ集、およびショッピングインターフェースのうちの少なくとも1つを具備する、システム。
53. 3Dポインティングデバイスの動きに応答してテレビ画面上に情報を表示するためのソフトウェアアプリケーションであって、
    動きデータを、前記動きデータから意図されない動きを取り除くように処理する手段と、
    前記処理された動きデータに応答して前記テレビ画面上にカーソルを再位置決めする手段と、
    前記カーソルの前記再位置決めだけに応答して、前記テレビ画面上の情報の表示を変更する手段とを具備するソフトウェアアプリケーション。

Images