JP2009519552A - 相互対話的な電子的にシミュレートされた環境の音声および映像制御 - Google Patents

Abstract

グラフィカル・ユーザ・インタフェースにおいて物体を移動する方法であって、インタフェースのユーザのビデオ画像を取得し、ビデオ画像がディスプレイ上に表示された一つまたは複数の物体と重なるように、ディスプレイ上にビデオ画像を表示し、ユーザのビデオ画像の動作の認識に基づきディスプレイ上に表示される一つまたは複数の物体を移動させることを含む。ビデオ画像の動作の認識は、ユーザの手の画像の動作の認識を含んでもよい。
【選択図】図２Ｂ

Description

（関連出願の相互参照）
この出願は、２００４年６月２２日に出願された「グラフィカルユーザインタフェースの高速スクロール」と題する米国特許出願第１０／８７４，８６３号に関連しており、これは、２００４年５月１１日に出願された「グラフィカルユーザインタフェースの高速スクロール」と題する同時係属中の米国仮特許出願第６０／５７０，２６６号の優先権の利益を主張する。米国特許出願第１０／８７４，８６３号および第６０／５７０，２６６号の開示は、参照により本明細書に援用される。

グラフィカルユーザインタフェースは、コンピュータプログラムとのエンドユーザ・インタラクションを単純化しており、コンピュータプログラムを効率的かつ効果的に使用するために特定のコマンドおよび／またはキーストロークの組合せについての知識が要求されないように設計されている。こうして、選択、マウスでクリック、またはグラフィカルユーザインタフェース（ＧＵＩ）で利用可能な特定の選択をすることによるＧＵＩを有するコンピュータアプリケーションによって機能を実行することができる。

グラフィカル・ユーザ・インタフェースは、ユーザにできるだけ多くの情報を提供しようと試みることが多い。しかし、モニターなどのユーザが利用する表示装置のサイズによって、および／または情報をユーザに対して表示するＧＵＩ内の要素のサイズによって、空間は限定されている。したがって、ウィンドウの端を超えて論理的に存在する追加の情報をエンドユーザに伝えたり、またはＧＵＩの他の要素を任意の所与の時間に表示したりする技術が開発されてきた。このような技術には、表示情報をスクロールして以前には表示されていなかった追加の情報を示す「スクロール」と呼ばれるＧＵＩ動作が含まれる。コンピュータ用語によると、スクロールとは、単一の表示画像内に含めることができない要素を見るために、ＧＵＩ内に表示されている要素をディスプレイ上で上下左右に移動させる能力のことである。

典型的なウィンドウベースのＧＵＩシステムでは、一群の視覚的に異なった表示物体が表示スクリーン上に提供されており、一般に「アイコン」と呼ばれている。各アイコンは機能または物体を表しており、機能または物体をファイルまたはコンテンツに接続するポインタまたはシンボルとして構成されてもよい。ＧＵＩを用いて表示装置上の複数のウィンドウを使用するコンピュータによりユーザにファイルまたはコンテンツを提示することが当技術分野で知られている。ある機能がデータに適用される前に、マウスまたはトラックボールなどのポインティングデバイスを用いてファイル内のデータを選択する技術も、当技術分野で知られている。さらに、グラフィック入力をウィンドウに提供するためにポインティングデバイスを使う方法も周知である。

しかし、上述したように、これらの技術には、ファイルに含まれる情報が一度にウィンドウ内で示すことができる情報よりも大きいという事実を含む、様々な問題点がある。同様に、ユーザはウィンドウサイズを上回るグラフィック入力を望むこともある。このように、ユーザがポインティングデバイスを用いてウィンドウ境界を越える情報を選択したり入力したりできるようにするために、いくつかの方法を採用しなければならない。

一つの可能性のある解決策は、ウィンドウを拡張することである。しかし、利用可能なウィンドウサイズよりもデータ量が少ないときにだけ有効であるに過ぎない。もう一つの解決策は、スクロールバーとして知られている視覚装置を提供することである。スクロールバーにより、ウィンドウ境界の端を越えたユーザの操縦が可能になる。

しかしながら、これら先行技術の解決策は限定的であることが多く、ＧＵＩシステムの能力を完全に利用することができない。例えば、一連の画像がスクロールされるような状況では、すべての画像をスクロールして視覚的に滑らかに表示するための十分高速な画像処理能力をＧＵＩシステムが提供できないことがある。さらに、ポインティングデバイスで構成可能なユーザインタフェースを提供し、ユーザインタラクションのためにジョイスティック、マウスまたはトラックボールに対して依存することなくユーザがインタフェースを制御できるようにする方法を提供することが望ましい。

本発明は、グラフィカル・ユーザ・インタフェースにおいて物体を移動する方法および装置を提供する。一実装例では、グラフィカル・ユーザ・インタフェースにおいて物体を移動する方法は、インタフェースのユーザのビデオ画像を取得し、ビデオ画像がディスプレイ上に表示される一つまたは複数の物体と重なるように、ディスプレイ上にビデオ画像を表示し、ユーザのビデオ画像の動作の認識に基づきディスプレイ上に表示される一つまたは複数の物体を移動させることを含む。ビデオ画像の動作の認識は、ユーザの手の画像の動作の認識を含んでもよい。

一つまたは複数の物体を移動することは、アイコンを選択し、ドラッグし、操作すること、ディスプレイ上に表示される複数のコンテンツアイコンから一つまたは複数のアイコンをドラッグし、操作し、スクロールしおよび／または選択する命令を受け取ること、そして、コンテンツアイコンデータベースから適当な数の追加のコンテンツアイコンを取り出して、グラフィカル・ユーザ・インタフェースでスクロール表示を提供することを含んでもよい。コンテンツアイコンデータベースは複数のエントリに分割されていてもよく、複数のエントリの各エントリは、複数のコンテンツアイコンのうち一つのコンテンツアイコン用のデータと、一つのコンテンツファイルへのリンクとを含み、コンテンツアイコン用のデータに高速にアクセスでき、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールできるように、データベースの各エントリのサイズが固定されている。

別の実施形態によると、マルチメディアアイコンの選択を容易にするユーザから供給された入力を受け取るのに適したユーザが利用しやすいグラフィカル・ユーザ・インタフェースは、第一の方向に配置され、ユーザが選択可能な複数の媒体アイコンを含む媒体アイコン配列と、第二の方向に配置され、ユーザが選択可能な複数のコンテンツアイコンを含むコンテンツアイコン配列と、グラフィカル・ユーザ・インタフェースのユーザのリアルタイムビデオ画像と、を含んでもよい。媒体アイコン配列とコンテンツアイコン配列とがユーザの画像の上に重ね合わされ、媒体アイコン配列および／またはコンテンツアイコン配列からアイコンが選択されてユーザの画像の動作に基づき移動される。ユーザが選択可能な複数のコンテンツアイコンが、複数のエントリに分割されたデータベースからアクセスされてもよい。比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンに高速にアクセスしスクロールできるように、各エントリのサイズが固定されており、ユーザが選択可能な複数のコンテンツアイコンの各アイコン用のデータを各エントリが少なくとも含む。

別の実施形態によると、グラフィカル・ユーザ・インタフェースで物体を移動させるために有形の記録媒体に格納されるコンピュータプログラムは、インタフェースのユーザのビデオ画像を取得し、ビデオ画像をディスプレイに表示し、ユーザのビデオ画像の動作の認識に基づき、グラフィカル・ユーザ・インタフェースに表示される一つまたは複数の物体を移動させるようにコンピュータを動作せしめる実行可能な命令を含んでもよい。

別の実施形態によると、マルチメディア処理装置は、グラフィカル・ユーザ・インタフェースのユーザのリアルタイムビデオ画像を取得するの適したビデオ画像取得装置と、ユーザの画像に重ね合わせるように媒体アイコン配列とコンテンツアイコン配列とを表示するのに適したディスプレイと、ユーザの画像の動作の認識に基づき、グラフィカル・ユーザ・インタフェースで示される物体をユーザが移動できるようにするディスプレイコントロールと、を備えてもよい。

別の実施形態によると、グラフィカル・ユーザ・インタフェースでファイルタイプ（音楽、映画、ゲームを含むがこれらに限定されない）のカテゴリを選ぶ方法は、カテゴリに向けられた音声命令を受け取り、これによってカテゴリが選択され本発明のスキームにしたがって表示されることを含んでもよい。

別の実施形態によると、グラフィカル・ユーザ・インタフェースでファイルタイプ（音楽、映画、ゲームを含むがこれらに限定されない）のカテゴリ内で個々のファイル（歌、映画または保存されたゲームファイルを含むがこれらに限定されない）を選ぶ方法は、本発明のスキームにしたがって選択または起動された歌、映画または保存されたゲームに向けられた音声命令を受け取ることを含んでもよい。

別の実施形態によると、グラフィカル・ユーザ・インタフェースでスクロールをする方法は、グラフィカル・ユーザ・インタフェースで表示される複数のコンテンツアイコンをスクロールするための音声命令を受け取り、コンテンツアイコンデータベースから適当な数の追加のコンテンツアイコンを取り出してグラフィカル・ユーザ・インタフェースでスクロール表示を提供することを含んでもよい。コンテンツアイコンデータベースは複数のエントリに分割されていてもよく、複数のエントリの各エントリは、複数のコンテンツアイコンのうち一つのコンテンツアイコン用のデータと、一つのコンテンツファイルへのリンクとを含み、コンテンツアイコン用のデータに高速にアクセスでき、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールできるように、データベースの各エントリのサイズが固定されている。

さらに別の実施形態によると、マルチメディア処理装置は、音声信号取得装置と、複数のコンテンツアイコン用のデータとマルチメディアコンテンツへのリンクとを含む複数のエントリを有する、コンテンツアイコンデータベースとして構成されたメモリであって、複数のコンテンツアイコンに高速でアクセスして、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールすることができるように、複数のエントリの各エントリのサイズが固定されているメモリと、音声信号取得装置に接続されたプロセッサであって、ユーザからの一つまたは複数の音声命令に基づき前記複数のコンテンツアイコンをロードして、該複数のコンテンツアイコンから特定のコンテンツアイコンをユーザがスクロールしおよび選択できるように構成されたプロセッサと、を備えてもよい。

本開示で使用するとき、「コンテンツ」という用語は、動画、音声およびテキストを含むマルチメディアコンテンツを指すことができる。「メディア」という用語は、ハードディスク、光ディスク、メモリカードおよび放送線などの情報を搬送または送信する手段を指すことができ、また圧縮フォーマットなどのデータフォーマットを表すこともできる。

この開示は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）で高速スクロールを可能にするシステムおよび方法を説明する。特に、高速スクロールするシステムおよび方法の様々な実装が、ゲーム機やメディアコントローラなどのマルチメディア装置のために記述される。しかしながら、記述されたシステムおよび方法は、ＧＵＩを使用する他のデバイスおよび装置にも適用できる。これらの実装例も、視覚的に円滑にアイコンを表示する一方で比較的高速にマルチメディアコンテンツを表すアイコンをスクロール可能とする方法について述べている。

図１はマルチメディア処理システム１００の一実装例を示す。マルチメディア処理システムは、複数のメディアを越えて広がる複数のコンテンツ（例えば静止画像、動画、音楽、放送およびゲーム）を処理することができる複合装置を含む。複数のコンテンツの処理には、プレゼンテーション、レコーディング、およびマルチメディア処理システム１００によって実行される他の関連するタスクが含まれる。マルチメディア処理システム１００は、マルチメディア処理装置１０２、ディスプレイ１０４（例えば、モニターまたはテレビ）、およびコントローラ１１４を含む。

マルチメディア処理装置１０２は、放送メディア、インターネットメディア、光ディスク１１０およびメモリカード１１２などの様々なメディアソースからマルチメディアコンテンツを受け取る。放送メディアからのコンテンツがライン１０６を通して受け取られる一方で、インターネットメディアからのコンテンツはライン１０８を通して受け取られることができる。放送メディアおよびインターネットメディアからのコンテンツは、マルチメディア処理装置１０２で記録および保存することができる。受け取られたコンテンツは、マルチメディア処理装置１０２の様々な機能（例えば、ゲーム）により使用することができる。

受け取られたマルチメディアコンテンツはディスプレイ１０４に表示される。ユーザは、コントローラ１１４によって、マルチメディア処理に関連した様々な指示を入力したり、マルチメディア処理装置１０２の機能を制御することができる。

システム１００は、ディスプレイ１０４に提示される画像とともにユーザインタラクションを容易にするための音声入力および映像入力を含んでもよい。そのような入力は、カメラなどのビデオ画像取得装置１１６と、マイクロフォンなどの音声信号取得装置１１８を含んでもよい。ビデオ画像取得装置１１６は、ディスプレイ１０４の上部に配置されるかまたはディスプレイ１０４に統合されてもよく、またマルチメディア処理装置１０２に接続される。画像取得装置１１６は、ディスプレイ１０４の前方に位置する画像を取得可能な任意の他の近接位置に配置されてもよいことを理解すべきである。これらの運動とインタラクションを捕えるための技術は様々であるが、そのような技術の例は、それぞれ２００３年２月２１日に出願された英国特許出願ＧＢ ０３０４０２４．３（ＰＣＴ／ＧＢ２００４／０００６９３）およびＧＢ ０３０４０２２．７（ＰＣＴ／ＧＢ２００４／０００７０３）に記述されており、それぞれ参照により本明細書に援用される。画像取得装置１１６は、例えばＵＳＢ ２．０タイプのカメラであるデジタルカメラであってもよい。この種のカメラは約７５度の視野と約１．５のＦストップを有してもよく、また毎秒最大約１２０コマのフレーム速度で画像を取得可能であってもよい。一例として、ビデオ画像取得装置は、カリフォルニア州フリーモントのＬｏｇｉｔｅｃｈ社から入手可能なＥｙｅＴｏｙ Ｃａｍｅｒａであってもよい。メディア処理装置１０２は、ゲーム機、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブル・セットトップボックス、家庭用メディアサーバまたは消費者向け電子装置であってもよく、ユーザの制御を受ける任意のデバイスを含む。

図２Ａは、マルチメディア処理装置１０２の一実装例を示す機能ブロック図である。図示の実装例では、マルチメディア処理装置１０２は、コントローラ１１４、ビデオ画像取得装置１１６、音声信号取得装置１１８、データ入出力（Ｉ／Ｏ）部２００、表示出力部２０２、表示制御部２０４、記憶部２０８およびゲームプロセッサ２０６を含む。一例として、ゲームプロセッサ２０６は、一つまたは複数の相乗処理ユニット（ＳＰＵ）に接続されるパワー処理ユニット（ＰＰＵ）を備えるセルプロセッサなどの並列プロセッサを含んでもよい。セルプロセッサは、例えば米国特許出願第１１／２３８，０７７号に記述されており、参照により本明細書に援用される。マルチメディア処理装置１０２は、データ入力機能、データ保持機能、画像処理機能、レンダリング機能および他の関連した機能などの様々な機能を実行するためのプログラムおよび命令をさらに含む。

コントローラ１１４は、ユーザ入力から４つの方向（すなわち、上方向、下方向、左方向、右方向）のうち一つまたはその組合せを決定するための方向決定部２２２と、ユーザ入力から命令を決定するための命令決定部２２４とを含む。命令は、マルチメディアコンテンツを表示する命令、表示を停止する命令、メニュー画面を呼び出す命令、および他の関連する命令および／または指示を発行する命令を含んでもよい。コントローラ１１４、ビデオ画像取得装置１１６および音声信号取得装置１１８の出力は、表示出力部２０２、表示制御部２０４およびゲームプロセッサ２０６に向けられる。

図１および図２Ａに示す実装例では、方向決定部２２２および命令決定部２２４は、方向および指示を動かし、感知し、決定するためのボタンの組合せ、回路、およびプログラムを有するように構成される。ボタンは、十字形のキーまたはジョイスティックを含むことができる。ボタンが押されるたびにメニュー画面が表示モードと非表示モードの間で切り替えられることができるように、メニュー画面を呼び出すための指示に関連するボタンをトグル態様で設定することができる。実施するための指示に関連したボタンはトグル方法でセットされることができる。

一実装例では、方向決定部２２２は、動きが二つの方向のうちの一つであることが確認されるバイナリ命令として、ボタンの斜めの動きを決定してもよい。したがって、上方向と右方向の間の斜めの動きが、上方向または右方向のいずれかであると確かめることができる。別の実装例では、方向決定部２２２は、動きが測定精度を上限とする特定の方向であることが確かめられるアナログ命令として、ボタンの斜めの動きを決定してもよい。したがって、上方向と右方向の間の斜めの動きが北西方向であることを確かめることができる。方向運動は、後述するように、ユーザ、ビデオ画像取得装置１１６および表示制御部２０４の間の相互作用を通して決定することもできる。

データ入出力部２００は、テレビライン１０６を通して放送コンテンツを入力するための放送入力部２１２と、インターネットライン１０８を通してウェブコンテンツなどのデータを入出力するためのネットワーク通信部２１４と、ディスク１１０に格納されたデータを入力するためのディスク読み取り部２１６と、メモリカード１１２から入出力するためのメモリカード読み取り部２１８とを含む。データ入出力部２００の出力は、表示出力部２０２、表示制御部２０４、ゲームプロセッサ２０６および記憶部２０８に向けられる。

表示出力部２０２は、デコーダ２３２、シンセサイザ２３４、出力バッファ２３６、およびオンスクリーンバッファ２３８を含む。デコーダ２３２は、データ入出力部２００または記憶部２０８から受け取られる入力データをデコードする。したがって、入力データは放送コンテンツ、映画、および音楽を含んでもよい。シンセサイザ２３４は、コントローラ１１４から受け取られるユーザ方向／指示に基づきデコードされた入力データを処理する。シンセサイザ２３４の出力は、出力バッファ２３６に保存される。オンスクリーンバッファ２３８は、表示制御部２０４で発生するメニュー画面の画像データを格納する。表示出力部２０２の出力は、ディスプレイ１０４に送られる。

表示制御部２０４は、メニュー管理部２４２、エフェクト処理部２４４、コンテンツ制御部２４６、画像生成部２４８を含む。メニュー管理部２４２は、記憶部２０８とデータ入出力部２００から受け取られメニュー画面に表示されるメディアアイテムとマルチメディアコンテンツとを管理する。エフェクト処理部２４４は、メニュー画面上のアイコンとアイコン配列の動作を処理する。エフェクト処理部２４４は、メニュー画面上に表示される様々な動作とエフェクトも管理する。コンテンツ制御部２４６は、メディアアイテムとマルチメディアコンテンツの処理、およびデータ入出力部、記憶部２０８およびゲームプロセッサ２０６からのデータの処理を制御する。画像生成部２４８は、媒体アイコン配列とコンテンツアイコン配列とを含むメニュー画面を生成するよう動作する。

ゲームプロセッサ２０６は、データ入出力部２００から、または記憶部２０８から読み込まれたデータを使用してゲームプログラムを実行する。ゲームプロセッサ２０６は、コントローラ１１４から受け取るユーザ指示に基づきゲームプログラムを実行する。実行されたゲームプログラムの表示データは、表示出力部２０２に送られる。

本発明の実施形態では、ビデオ画像取得装置１１６および音声信号取得装置１１８からの信号により、ユーザはディスプレイ１０４上に表示される画像と相互対話し、また画像を操作することができる。具体的には、本発明の実施形態により、ユーザはディスプレイ１０４上のある位置から別の位置まで物体を「つかんで」、「ドラッグする」ことができる。図２Ｂに示すように、ビデオ画像取得装置１１６は、ユーザＵの画像Ｉｕをポイントして取得する。続いて、画像Ｉｕは、アルファブレンディングとして知られている技術によって、他のイメージの背景内でディスプレイ１０４上に表示されてもよい。

「アルファブレンディング」という用語は、通常、コンピュータグラフィック中で透明度効果を考慮に入れた二色の凸結合のことを言う。カラーコード内の値アルファは０．０から１．０まで変化してよい。ここで、０．０は完全に透明な色を表し、１．０は完全に不透明な色を表す。一例として、カラーＶａｌｕｅ１がカラーＶａｌｕｅ０の背景の上に引き寄せられた結果生じる色の値は、次式によって与えることができる。
Ｖａｌｕｅ＝Ｖａｌｕｅ０（１．０−アルファ）＋Ｖａｌｕｅ１（アルファ）

アルファ成分は、３２ビットのＲＧＢＡの場合のように、赤、緑および青の成分を等しく混合するのに使用される。または代替的に、スペクトラル色フィルタリング用の原色のそれぞれに対応して指定される三つのアルファ値が存在する。

ユーザの手ｈが認識されると、エフェクト処理部は、ユーザの手の方向変位と、通常はコントローラ１１４から受け取られる方向入力とを関連付ける。選択的に、変位の大きさで入力速度を制御することができる。

特定の実施形態では、画像Ｉｕはユーザの頭Ｈおよびユーザの手ｈを含んでもよい。画像Ｉｕを用いたユーザインタラクションを容易にするために、ユーザ画像Ｉｕを、ユーザＵの鏡像としてスクリーン上に表示してもよいことに注意する。したがって、ユーザＵが彼の手ｈをユーザの左へ移動すると、手の画像Ｉｈもユーザの左へ移動する。エフェクト処理部２４４は、ユーザの手ｈを認識するように構成されてもよく、手画像Ｉｈの縦横比（高さと幅の比）の変化を認識する。縦横比のこれらの変化は、ディスプレイ上に表示された物体１４０をユーザが「つかんだ」か、または「クリックした」ことをコントローラ１１４に合図するために用いられてもよい。続いて、エフェクト処理部２４４は、ユーザの手ｈの画像Ｉｈの動作とともに選択された物体を移動することができる。一部の実施形態では、ビデオ画像取得装置１１６からの画像を解釈するとき、エフェクト処理部２４４により容易に認識されやすい色が付けられた変形可能な「Ｃ」字形の物体１４２をユーザが保持してもよい。以下「二枚貝（ｃｌａｍ）」と呼ぶ物体１４２の変形により、ディスプレイ１０４内で物体を「つかむ」か「クリックする」という命令として認識される縦横比の変化を与えることができる。

エフェクト処理部２４４は、ユーザＵが左手または右手のいずれを使用してディスプレイ１０４上の物体１４０を操作しているかを認識可能であることが多くの場合望ましい。例えば、左手でディスプレイ１０４上の物体を操作する場合、ユーザの頭Ｈの左側に物体を出現させることが多くの場合望ましい。この場合、コントローラは、ユーザの手ｈ、頭Ｈ、腕Ａおよび胸Ｃを、それらの対応する画像Ｉｈ、ＩＨ、ＩＡおよびＩＣによって認識するソフトウェアを含んでもよい。この情報によって、コントローラ１１４はユーザが左手または右手のいずれを用いているかを決定することができる。例えば、ユーザの手ｈが頭Ｈの左側にあり、腕Ａが胸を横切っていないならば、ユーザＵは左手を用いていると決定することができる。同様に、ユーザの手ｈが頭の左側にあり、腕が胸を横切っているならば、ユーザＵは右手を用いていると決定することができる。

本発明の特定の実施形態では、画像取得装置１１６および音声信号取得装置１１８は、機器の同一の部分に結合されていてもよい。例えば、図２Ｃおよび図２Ｄは、マルチメディア処理システム１００とともに使用可能な画像取得装置１２０を示す。装置１２０は、光学画像取得装置１２２（例えば、デジタルカメラ）と一つ以上のマイクロフォン１２４とを含む。マイクロフォン１２４は整列して配置され、既知の距離で互いに間隔を空けて置かれてもよい。一例として、一般性を失うことなく、マイクロフォン１２４は、隣接するマイクロフォンと中心間で約２ｃｍ離して直線状に配置されてもよい。各マイクロフォンは、約４８キロヘルツの共振周波数を有してもよい。

本発明の特定の実施形態では、マイクロフォン１２４が画像取得装置１２２とともに移動することが望ましい。例えば、マイクロフォン１２４は、画像取得装置に対して（例えば、レンズ１２８に対して）マイクロフォンと一定の位置関係を保つフレーム１２６に取り付けられていてもよい。マイクロフォンは水平方向の直線配置として並んでいるように描かれているが、代わりに、垂直方向、斜め方向、または二次元態様で配置されていてもよい。

一部の実施形態では、装置１２０は可視光ＬＥＤ １３０と赤外線ＬＥＤ １３２とを含んでもよい。これらは、画像取得装置１２２の視野内の物体を照明するのに用いられてもよい。赤外線画像の取得を容易にするために、レンズ１２８は、可視光および選択された周波数（例えば、約９４０ｎｍの周波数）の赤外線を透過するいわゆる「デイ−ナイト」コーティングを含んでもよい。

本発明の実施形態は、特にメニュー画面内の物体の操作に適している。図３Ａは、マルチメディア処理装置１０２により生成されるメニュー画面３０２のディスプレイ３００の一実装例を示す。ディスプレイ３００は、二次元配列でメニュー画面３０２を表している。図示の実装例では、メニュー画面３０２は交差した形として示される。他の実装例では、メニュー画面は、任意の形状かつ任意の次元数で表示することができる。

二次元の配列は、水平方向に配置された媒体アイコン配列３０４と、垂直方向に配置されたコンテンツアイコン配列３０６とを含む。他の実装例では、配列３０４、３０６を異なる方向に配置することができる。このように、媒体アイコン配列３０４とコンテンツアイコン配列３０６とは、メニュー画面３０２の交差領域３０８で交差する。交差領域３０８はメニュー画面３０２の中心の近くに位置してもよいし、左側または右側近くに位置してもよい。媒体アイコン配列３０４は、複数の媒体アイコンを含む。コンテンツアイコン配列３０６は、複数のコンテンツアイコンを含む。アイコンは、装置によって提供されるか、ユーザによって選択されるか、またはメディアから取り出されることができる。

一例として、図３Ａにおいて、媒体アイコン配列３０４は、写真アイコン３１２、音楽アイコン３１４、動画アイコン３１６、放送アイコン３１８、光ディスクアイコン３２０、ウェブアイコン３２２およびゲームアイコン３２４を含んでもよい。他の実装例では、媒体アイコン配列３０４は、他の関連したアイコン、例えばストリーミングメディアアイコンまたはネットワークアイコンを含むことができる。これらのアイコンは、マルチメディア処理装置１０２での処理が可能なマルチメディアコンテンツのタイプを表している。

媒体アイコン３１２−３１４は、ビデオ画像取得装置１１６および／または音声信号取得装置１１８からの信号を用いてメニュー画面３０２を横切って移動またはスクロールさせて（例えば、３３０を参照）、上述したように媒体アイコン配列３０４と相互作用し媒体アイコン配列３０４を操作することができる。例えば、図２Ｂに関して上述したように、ユーザの鏡像を使用して、メニュー画面３０２の交差領域３０８へとアイコン３１６を移動することによって、特定の媒体アイコン（例えば、図３Ａ内の映像アイコン３１６）を選択することができる。媒体アイコン３１６が交差領域３０８へと移動されると媒体アイコン３１６は拡大されるが、これによりあるタイプのマルチメディアコンテンツ（この場合は映像）が選択されたことを示している。別の実装例では、中心領域以外の領域にアイコンを移動させるか、またはアイコンの上にポインタを動かしてアイコンを選ぶためにボタンをクリックすることによって、選択を行うことができる。別の実装例では、選択された媒体アイコンを、媒体アイコン配列内の他のアイコンの色と異なる色に変更することができる。別の実装例では、選択されたアイコンが他のアイコンと簡単に区別できるように、選択された媒体アイコンを光らすことができる。

表示制御部２０４内のエフェクト処理部２４４は、ユーザの手の動きに応じて水平方向に媒体アイコンをスクロールすることによって、メニュー画面３０２内で媒体アイコン配列３０４を操作する。媒体アイコン配列３０４内の媒体アイコン３１２−３２４は循環データベースで構成されているので、媒体アイコン配列３０４内のあらゆる媒体アイコンは、一方向に連続的にスクロールさせることによってエフェクト処理部２４４により選択および表示することができる。例えば、写真アイコン３１２はメニュー画面の交差領域３０８の左側にあるが、左側に連続的にスクロールすることによってアイコン３１２を交差領域３０８に移動することができる。代替的に、媒体アイコンを線形リストとして配置することができる。

本発明の特定の実施形態では、媒体アイコン配列３０４とコンテンツアイコン配列３０６とが、メニュー画面３０２の左端または右端の近くで交差することが望ましいことがある。これは、上述したようにビデオ画像取得装置１１６を用いてアイコンを操作するときに特に有用である。この場合、ユーザはユーザの頭の画像の左側または右側に交差領域３０８があることを好む。例えば、図３Ｂで示すように、ユーザが左手でアイコンを操作する場合、ユーザの手の画像Ｉｈの位置に基づき、交差領域３０８はユーザの頭の画像ＩＨの右側に現れる。対照的に、図３Ｃにおいて、画像Ｉｈで示すようにユーザが右手でアイコンを操作するとき、媒体アイコン配列３０４とコンテンツアイコン配列３０６の交差部にある中心領域は、ユーザの頭の画像ＩＨの右側に現れる。図３Ｂ〜図３Ｃにおいて、ユーザの腕がユーザの胸を横切っていないことに注意すべきである。ユーザの腕がユーザの胸を横切っている場合、おそらくユーザは交差領域がメニュー画面３０２の片側から別の側に切り替わることを望まないだろう。ユーザの腕がユーザの胸を横切っている場合、エフェクト処理部２４４はこの状況を認識し、交差領域３０８の位置をメニュー画面３０２の一端から他端に切り替えることを回避するように構成されてもよい。

本発明の別の実施形態では、特定の媒体アイコンまたはコンテンツアイコンが音声命令を用いて選択されてもよい。ユーザは、アイコンの名前を言うことによって、媒体アイコン３１２−３２４の内の一つを選択することができる。例えば、ユーザは「映像」という語を言うことによって、映像アイコン３１６を選ぶことができる。音声信号取得装置１１８は、「映像」と発声しているユーザの声の音を受け取り、これをマルチメディア処理装置１０２へと送信される信号に変換する。続いて、例えばコンテンツ制御部２４６またはエフェクト処理部２４４内の音声認識ルーチンがその信号を解釈し、映像アイコン３１６を選択するためにエフェクト処理部２４４への適切な命令に変換する。一例として、ルックアップテーブルを使用して信号と適切なアイコンとを一致させることができる。

アイコンを選ぶことに加えて、上、下、次、前などの操作用語を使用することで、音声命令を用いて媒体アイコン配列３０４および／またはコンテンツアイコン配列を横断することができる。さらに、音声命令を用いてコンテンツアイコンの選択を助けることができる。例えば、音楽カテゴリから曲を選択するときに「愛」などのキーワードをユーザが発声し、ディスプレイ３００がタイトルまたは歌詞に「愛」という語があるすべての歌を表示する。

上述したように、アイコンがスクロールされる間、エフェクト処理部２４４は同一の表示パラメータで媒体アイコンを表示する。しかしながら、媒体アイコンがメニュー画面３０２の交差領域３０８に移動され固定されるとき、エフェクト処理部２４４は見やすくするために表示パラメータを変更してもよい。表示パラメータは、色、サイズ、明度、彩度および／または色調を含むことができる。表示パラメータは、点滅または明滅などの特殊効果を含むこともできる。

図３Ａにおいて、メニュー画面３０２の交差領域３０８に映像アイコン３１６を動かすことによって、映像コンテンツ配列が選択される。他の媒体アイコンを選択すると、他のマルチメディアコンテンツファイルのためのコンテンツアイコン配列が表示される。図３において、選択により映像コンテンツアイコン配列３０６の表示がトリガされ、これは記憶部２０８に格納される映像コンテンツファイルのサムネイルアイコンを含む。このように、特定の媒体アイコンを交差領域３０８に入れるかそこから出すことによって、その特定の媒体アイコンに関連するマルチメディアコンテンツアイコンのフルセットが完全に展開されるかまたは収納される。

図３Ａは選択されたアイコンとして映像アイコン３１６を示しているが、他の媒体アイコン３１２−３１４、３１８−３２４も、他のタイプのマルチメディアコンテンツを処理／視聴するために選択することができる。例えば、保存された画像を処理または閲覧すべき場合、写真アイコン３１２を選択することができる。このように、コンテンツアイコン配列は、静止画像のサムネイルアイコンまたはデジタルカメラで撮影された小さな動画を含んでもよい。音声ファイルを再生するか処理する場合、音楽アイコン３１４を選択することができる。音声ファイルは、典型的に特定の圧縮フォーマットで光ディスク１１０から読み取られる。このように、コンテンツアイコン配列は曲またはアルバムのサムネイルアイコンを含んでもよい。曲またはアルバムのタイトルなどの情報を、選択されたアイコンに隣接して表示してもよい。表示可能な他の属性には、曲またはアルバムの時間が含まれる。

テレビライン１０６から受け取られるテレビ番組を視聴するか処理する場合、テレビアイコン３１８を選択することができる。このように、コンテンツアイコン配列は、放送チャンネルおよび／またはプログラムのサムネイルアイコンを含んでもよい。放送チャンネルの名前／番号などのテレビ番組の属性、プログラムのタイトルおよび放送時間を表示することができる。光ディスク１１０に保存された映像および／または音声を視聴する場合、ＤＶＤアイコン３２０を選択することができる。光ディスク１１０がＤＶＤと認識されると、記号「ＤＶＤ」が媒体アイコン３２０の上に表示される。または、光ディスクがＣＤと認識されると、記号「ＣＤ」が媒体アイコン３２０の上に表示される。一実装例では、ＤＶＤまたはＣＤに動画が保存されているとき、ショートビデオクリップのサムネイルをコンテンツアイコンとして用いることができる。別の実装例では、ＤＶＤまたはＣＤに音楽が保存されているとき、音楽のショートオーディオクリップをコンテンツアイコンとして用いることができる。

インターネットライン１０８からのデータを処理または表示する場合、ウェブアイコン３２２を選択することができる。この場合、コンテンツアイコン配列は、ウェブサイトまたはリンクのサムネイルアイコンを含んでもよい。ウェブサイトのＵＲＬなどのウェブサイトの属性を、選択されたアイコンに隣接して表示することができる。ゲームプログラムを再生するか実行する場合、ゲームアイコン３２４を選択することができる。この場合、コンテンツアイコン配列は、様々なゲームプログラムのサムネイルアイコンを含んでもよい。ゲームのタイトルなどのゲームプログラムの属性を、選択されたアイコンに隣接して表示することができる。

一般に、サムネイルアイコンは、リンク付けされたマルチメディアコンテンツファイルを表す静止画像である。しかしながら、サムネイルアイコンは一連のアニメーション画像であってもよく、これによりコンテンツファイルをより良く表すことができる。一実装例では、コンテンツアイコンは、コンテンツファイルのデータから（例えば、コンテンツデータとともに保存されるサムネイルデータから）取り出される。

図３Ａにおいて、映像コンテンツアイコン配列３０６が完全に展開されたモードにあるとき、配列３０６は、８つの映像コンテンツファイルを表している８つの可視の映像コンテンツアイコンを含む。一部の実装例では、可視のコンテンツアイコンの数を適当に変化させてもよい。他の映像コンテンツファイルを表す追加の映像コンテンツアイコンは、３３２で示すように、アイコンを上下にスクロールすることによって見えるようにすることができる。媒体アイコンの処理と同様に、アイコンがスクロールされる間、エフェクト処理部２４４は同一の表示パラメータで映像コンテンツアイコンを表示する。しかしながら、特定の映像コンテンツアイコン３４０が交差領域３０８の下の注意領域３１０に配置されると、エフェクト処理部２４４は、特定の映像コンテンツアイコン３４０の表示パラメータを見やすいように変更する。他の実装例では、注意領域３１０をコンテンツアイコン配列３０６の任意の場所に配置することができる。

アイコンが注意領域３１０に配置されると、エフェクト処理部２４４はアイコン３４０を拡大する。表示パラメータは、色、サイズ、明度、彩度および／または色調を含むことができる。表示パラメータは、点滅または明滅などの特殊効果を含むこともできる。さらに、映像コンテンツアイコン３４０が注意領域３１０に配置されると、アイコン３４０に関連する属性３５０がアイコンに隣接して表示される。例えば、一実装例では、属性３５０はタイトルと記録日付を含むことができる。

コントローラ１１４が特定のコンテンツアイコンまたはサムネイル３４０を選択する命令／指示を提供するとき（例えば、アイコン３４０が注意領域３１０に配置される間、選択命令または再生命令を入力することによって）、表示制御部２０４内の画像生成部２４８はディスプレイ３００からメニュー画面３０２を取り除く。ほぼ同時に、表示制御部２０４内のコンテンツ制御部２４６は、選択されたコンテンツアイコン３４０にリンク付けされたコンテンツファイルの表示を開始する。図示の実装例では、選択されたコンテンツファイルは唄うカルテットの映像である。

選択された映像が再生されると、図４に示すように、メニュー画面３０２のバックアップをもたらすコントローラ１１４からの命令／指示が、現在再生中の映像の上に重畳されるメニュー画面を起動する。表示されたメニュー画面３０２の注意領域３１０は、背景３３０で示される現在再生中の映像の映像コンテンツアイコン３４０を表す。図４に示す実装例では、背景３３０で示される現在再生中の映像は、メニュー画面３０２をハイライ強調するために薄暗くされる。

図５は、コンテンツアイコン配列３０６のコンテンツアイコンが図３の構成から上へスクロールされるときのメニュー画面５００の一構成を示す。唄うカルテットの映像アイコン５０２は、映像媒体アイコン３１６よりも上に移動されている。さらに、アイコン５０２のサイズが、コンテンツアイコン配列３０６の他のコンテンツアイコンのサイズとほぼ同じ寸法に変更されている。しかしながら、私のお気に入りのペット映像アイコン５０４が注意領域３１０に配置されている。このように、このアイコン５０４のサイズが、選択されたアイコン５０４の視聴を向上するために拡大されている。コンテンツアイコン配列３０６内の他のすべてのコンテンツアイコンは、１スロット上に移動されている。（図３内で）一番上のアイコン３６０は外に移動されており、一番下のアイコン５０６が可視のディスプレイ３００内へと移動している。また、映像アイコン５０４の選択により、映像アイコン５０４にリンク付けされた映像コンテンツファイルのアクセスと実行が開始される。この映像アイコン５０４の属性が５０８で表示される。

図６はディスプレイ３００の私のお気に入りのペットの映像６００の視聴モードの一実装例を示す。これは、映像アイコン５０４にリンク付けされた映像コンテンツファイルの実行の結果である。図示の実装例では、視聴モードは映像６００の上に重畳されるメニュー画面５００を含む。

再び図３Ａを参照して、コントローラ１１４はコンテンツアイコン配列３０６の中でコンテンツアイコンを動かすためのユーザ命令／指示を提供する。エフェクト処理部２４４はコントローラ１１４から命令／指示を受け取って、コンテンツアイコン上下にスクロールする。コンテンツアイコン配列３０６内のコンテンツアイコンは循環データベースで構成されているので、あらゆるコンテンツアイコンは一つの方向に連続的にスクロールすることによってエフェクト処理部２４４で選択し表示することができる。例えば、オペラ歌手３６０のサムネイルアイコンは図６においてメニュー画面３０２の注意領域３１０の上方にあるが、連続的に上にスクロールすることによってアイコン３６０を注意領域３１０へと移動することができる。代替的に、コンテンツアイコンを線形リストで配置してもよい。

コンテンツアイコン配列内に多数のコンテンツアイコンが存在することもあるので、コンテンツアイコンをあちこち捜すことは非常に時間のかかる仕事となり得る。例えば、テレビ／ケーブル放送には５００以上のチャンネルがあることもある。この場合、テレビ放送媒体アイコン３１８の選択は、コンテンツアイコン配列内で５００以上のチャンネルアイコンを繰り出すことになる。そのため、５００のチャンネルアイコンのすべてをスクロールすると長時間かかりうる。したがって、典型的なＧＵＩシステムは、比較的高速度でこれらのアイコンをスクロールするためにコントローラを介してユーザが命令／指示を入力できるようにしてもよい。しかしながら、上述したように、従来のＧＵＩシステムは、すべての画像をスクロールして視覚的に滑らかに表示するのに十分速いアイコン画像処理が困難であった。

図７はマルチメディア・コンテンツアイコン・データベース７００の一実装例を示し、これによりＧＵＩシステムでコンテンツアイコンを「高速」スクロールすることが可能になる。「高速」という用語は、例えば「速い」、「比較的高速度」などの用語と同義である。マルチメディア・コンテンツアイコン・データベース７００は、６を通して図３Ａのコンテンツアイコン配列３０６内のコンテンツアイコンと対応するエントリを含む。一実装例では、「高速」スクロールという用語は、コンテンツアイコンをスクロールして視覚的に滑らかに表示するのに十分速いスクロール速度を示すよう意図されている。例えば、「高速」という用語は、アイコン画像のロードを提供するために休止することなくコンテンツアイコンがスクロールされるスクロール速度を指してもよい。

図示の実装例では、コンテンツアイコンデータベース７００の各エントリは、サムネイルアイコン７０２、タイトル情報７０４、追加情報７０６およびポインタ７０８を含む。サムネイルアイコン７０２は、実際の映像コンテンツファイルを表す一つの画像として実装される。別の実装例では、サムネイルアイコン７０２は、映像コンテンツファイルを表す一連の画像として実装されてもよい。別の実装例では、サムネイルアイコン７０２は、映像コンテンツファイルを表す任意のメタデータ（例えば、音声または音楽）として実装されてもよい。タイトル情報７０４は、映像ファイルのタイトルと記録日付を含む。一般的に、アイコン７０２が選択されると、この情報７０４はメニュー画面上にアイコン７０２の隣に表示される。追加情報７０６は、映像ファイルに関連した他の情報（例えばファイルについてのコメント）を含む。ポインタ７０８は、アイコン７０２と関連した実際の映像コンテンツファイルへのリンクを提供する。メニュー画面上でアイコン７０２が選択されると、実際の映像コンテンツファイルはポインタ７０８を使用してアクセスされる。

図７で示すように、データベース７００のエントリは開始アドレス７１０を有する。各エントリがサイズ（ｘ）で固定されていることがわかる。さらに、コンテンツアイコン７０２のサイズが（ｙ）に固定されていてもよい。同様に、他のフィールドが一定のサイズを有していてもよい。したがって、ユーザが（コントローラを用いて）ＧＵＩに対して上下スクロールの命令／指示を出すと、ＧＵＩを走らせているプログラムはデータベース内の次のアドレスへジャンプすることによってコンテンツアイコン配列内の特定のスロット（例えば、図３のスロット３７０）の表示を更新することができる。次のアドレスは、現在のアドレスの後の固定量（ｘ）である。続いて、プログラムは、固定数のバイト（ｙ）にアクセスして、コンテンツアイコン配列内の特定のスロットのために次のコンテンツアイコンを表示することができる。

図示の実装例では、各エントリのサイズは他のエントリと同じである。別の実装例では、各エントリのサイズは、定数（例えば、ｘ）の倍数であってもよい。したがって、この実装例では、ＧＵＩを走らせているプログラムがアイコンをスクロールするために適当な量をジャンプすることができるように、倍数が各エントリの始めに示されていなければならない。

例えば、図３のスロット３７０は、「私のお気に入りのペット」という題名の映像アイコン３７２を含む。ＧＵＩプログラムによるメニュー画面３０２上のこの映像アイコン３７２の表示は、コンテンツアイコン・データベース７００によって可能となる。ＧＵＩプログラムは、アドレス「３ｘ」にジャンプしてデータベースから「ｙ」バイトを読み込むことによって、映像アイコン３７２のデータにアクセスする。ユーザが上スクロールする命令／指示を出すと、図３のメニュー画面３０２は図５のメニュー画面５００に変わるが、ここではスロット３７０は「山」という題名の映像アイコン５１２を含む。ＧＵＩプログラムによるメニュー画面５００上のこの映像アイコン５１２の表示は、コンテンツアイコン・データベース７００によって可能となる。ＧＵＩプログラムは、次のアドレス「４ｘ」にジャンプしてデータベースから「ｙ」バイトを読み込むことによって、映像アイコン５１２のデータにアクセスする。このように、ＧＵＩプログラムは、固定のデータベースアドレスの倍数を用いることで、横断することなく適切なアイコンにアクセスすることができる。データベース７００の最上部まで戻る前に、ＧＵＩプログラムは「ｎ」回コンテンツアイコンをスクロールする。

一部の実施形態では、データベース７００はキャッシュ（例えば、高速の専用メモリ）を用いて実装することができ、以下に述べるように構成することができる。複数のアイコン（例えば、１２８個のアイコン）がデータベース７００から取り出されて、キャッシュメモリに保存される。この例では、検索動作が、アイコンの数（１２８）と各アイコンの固定サイズ（例えば、ｘバイト）とを単に乗じることによって検索のサイズを計算し、データベースから二つの数の積（例えば、１２８ｘバイト）にアクセスするプログラムを含むので、ＧＵＩプログラムは高速スクロールを提供することができる。したがって、各エントリのサイズを定数（例えば、ｘ）に保つことによって、キャッシュの更新を比較的高速に実行して高速スクロールを提供することができる。

キャッシュに特に変更がなされない限り、データベースを更新することなく、キャッシュを上書きすることによって高速スクロールをさらに強化することができる。つまり、変更がなされるときにだけデータベース内のキャッシュされたデータを更新することによって、データベースに書き込むための比較的低速なメモリ動作を回避することができる。

図８は、フローチャートとして示されたＧＵＩで高速スクロールを実現する方法である。図示の実装例では、コンテンツアイコンデータベース７００が８００で設定される。データベース７００は、各エントリが少なくともコンテンツアイコンと、コンテンツアイコンに関連したコンテンツファイルへのリンクとを含む、複数のエントリに分割される。８０２で、データベース７００の各エントリがサイズが固定されるように構成する。一実装例では、各エントリのサイズは他のエントリと同じである。別の実装例では、各エントリのサイズは固定数の倍数であってもよい。したがって、この実装例では、ＧＵＩを走らせているプログラムがアイコンをスクロールするために適当な量だけジャンプすることができるように、各エントリの最初に倍数が示されていなければならない。８０４で、ＧＵＩはデータベース７００内を固定数の倍数だけジャンプしてコンテンツアイコンにアクセスする。

８０６で、キャッシュを用いてデータベースを構成することで、高速スクロールを実現することができる。キャッシュ構成でのデータ検索動作は、検索すべきアイコンの数と各アイコンの固定サイズとを乗じることによって検索のサイズを計算するＧＵＩプログラムを含む。続いて、二つの数字の積（すなわち、アイコンの数×固定サイズ）がデータベースから取り出される。したがって、各エントリのサイズを固定数（例えば、ｘ）に保つことによって、キャッシュの更新を比較的高速に実行して高速スクロールを提供することができる。上述のように、キャッシュに対して特に変更がなされない限り、データベースを更新することなくキャッシュを消去し上書きすることによって、高速スクロールをさらに強化することができる。８０８で、メニュー画面上のアイコンを新たにアクセスしたコンテンツアイコンで更新することによって、コンテンツアイコンのスクロールがＧＵＩにより可能になる。

本発明の様々な実装例は、電子ハードウェア、コンピュータソフトウェアまたはこれらの技術の組合せで実現される。ほとんどの実装例は、プログラム可能なコンピュータで実行される一つ以上のコンピュータプログラムを含む。例えば、一実装例では、ＧＵＩでコンテンツアイコンの高速スクロールを可能にするためのシステムは、高速スクロールを実装するソフトウェアを実行する一つ以上のコンピュータと、上述のデータベース構成とを含む。一般に、各コンピュータは、一つ以上のプロセッサ、一つ以上のデータ記憶要素（例えば、揮発性または不揮発性メモリモジュール、例えばハードディスク、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭドライブ、磁気テープドライブなどの持続的な光学または磁気記憶装置）、一つ以上の入力装置（例えば、マウスとキーボード）、および一つ以上の出力装置（例えば、表示コンソールとプリンタ）を含む。

コンピュータプログラムは、通常持続的な記憶媒体に保存され、実行時にメモリにコピーされる実行コードを含む。プロセッサは、定められた順序でメモリからプログラム命令を取り出すことによってコードを実行する。プログラムコードを実行すると、コンピュータは入力装置および／または記憶装置からデータを受け取り、データ上で演算を実行し、結果として生じるデータを出力装置および／または記憶装置に送る。

本発明の様々な例示的な実装例を説明したが、当業者は、さらなる実装例も可能でありそれらが本発明の範囲内にあることを理解するであろう。例えば、図７に示すデータベースがコンテンツアイコンのために実装される一方、ＧＵＩシステムで媒体アイコンの高速スクロールを可能にするために、媒体アイコンに対応するエントリを有する媒体アイコンデータベースに対してデータベース実装を同様に適用することができる。

したがって、本発明は上述の実装例のみに限定されるわけではない。

複数のコンテンツを処理可能である複合装置を含むマルチメディア処理システムの一実装例を示す図である。 マルチメディア処理装置の一実装例を示す機能ブロック図である。 音声および映像制御を含むマルチメディア処理システムの実装例を示す図である。 本発明の実施形態とともに使用されるマイクロフォン配列を含む画像取得装置を示す図である。 本発明の実施形態とともに使用されるマイクロフォン配列を含む画像取得装置を示す図である。 マルチメディア処理装置で発生するメニュー画面の表示を示す図である。 ビデオ画像取得装置を使用するマルチメディア処理装置で発生するメニュー画面の表示を示す図である。 ビデオ画像取得装置を使用するマルチメディア処理装置で発生するメニュー画面の表示を示す図である。 選択された映像アイコンと関連した現在再生中の映像の上に重畳されるメニュー画面を示す図である。 コンテンツアイコン配列内のコンテンツアイコンが図３Ａの構成から上へスクロールされるときのメニュー画面の一構成を示す図である。 現在再生中の映像の視聴モードの一実装例を示す図である。 マルチメディアコンテンツアイコン・データベースの一実装例を示す図である。 ＧＵＩで高速スクロールを可能にする方法をフローチャートとして示す図である。

Claims (67)

1. グラフィカル・ユーザ・インタフェースにおいて物体を移動する方法であって、
   インタフェースのユーザのビデオ画像を取得し、
   前記ビデオ画像がディスプレイ上に表示された一つまたは複数の物体と重なるように、ディスプレイ上にビデオ画像を表示し、
   ユーザのビデオ画像の動作の認識に基づきディスプレイ上に表示される一つまたは複数の物体を移動させることを含む方法。
2. ビデオ画像の動作の認識が、ユーザの手の画像の動作の認識を含む請求項１に記載の方法。
3. ユーザの手の画像の動作の認識が、ユーザの手の画像の縦横比の変化の認識を含む請求項２に記載の方法。
4. ビデオ画像の動作の認識が、コンテンツアイコン配列から一つまたは複数のアイコンを選択あるいは移動するために、ユーザが左手または右手のいずれを用いているかを認識することを含む請求項１に記載の方法。
5. ユーザが左手または右手のいずれを用いているかの認識が、ユーザの頭の画像に対するユーザの手の画像の相対位置を決定することを含む請求項４に記載の方法。
6. ユーザの頭の画像に対するユーザの手の相対位置を決定することが、ユーザの腕がユーザの胸を横切っているか否かを決定することを含む請求項５に記載の方法。
7. ビデオ画像の動作の認識が、ユーザの手またはユーザの手の中に把持された物体の縦横比の変化を認識することを含む請求項１に記載の方法。
8. 前記一つまたは複数の物体が複数のコンテンツアイコンを含む請求項１に記載の方法。
9. 複数のコンテンツアイコンから一つまたは複数のアイコンを選ぶために音声命令を受け取ることをさらに含む請求項８に記載の方法。
10. コンテンツアイコン配列から一つまたは複数のアイコンを選ぶために音声命令を受け取ることが、該音声命令内のキーワードに基づき選択されたコンテンツアイコンのリストを表示することを含む請求項９に記載の方法。
11. 音声命令を受け取ることが、ビデオ画像取得装置に備えられた一つ以上のマイクロフォンを有する装置の使用を含む請求項１０に記載の方法。
12. 一つまたは複数の物体を移動させることが、ディスプレイ上に表示された複数のコンテンツアイコンのうち一つまたは複数のコンテンツアイコンをスクロールおよび／または選択する命令を受け取ることと、コンテンツアイコンデータベースから適当な数の追加コンテンツアイコンを取り出し、グラフィカル・ユーザ・インタフェースでスクロール表示を提供することを含み、
    前記コンテンツ・アイコン・データベースが複数のエントリに分割されており、複数のエントリの各エントリが、複数のコンテンツアイコンのうち一つのコンテンツアイコンのデータと一つのコンテンツファイルへのリンクとを少なくとも含み、
    コンテンツアイコン用のデータに高速にアクセスでき、コンテンツアイコンが比較的高速度にグラフィカル・ユーザ・インタフェースでスクロールできるように、データベースの各エントリのサイズが固定されていることを特徴とする請求項８に記載の方法。
13. 比較的高速度とは、グラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールし視覚的にスムースにコンテンツアイコンを表示するのに十分に速いスクロール速度のことを示す請求項１２に記載の方法。
14. 各エントリのサイズを固定することは、複数のエントリのうちあらゆるエントリを特定のサイズに構成することを含む請求項１２に記載の方法。
15. 前記データベースがデータベースからのデータを格納するためのキャッシュを備える請求項１４に記載の方法。
16. 前記データベースから第一の複数のエントリを取り出し該エントリを前記キャッシュに格納することをさらに含む請求項１５に記載の方法。
17. 前記データベースから第二の複数のエントリを取り出すことと、前記キャッシュ内に格納された第一の複数のエントリのうち少なくとも一つのエントリに変更がなされない限り、前記データベース内の第一の複数のエントリを更新することなく、第二の複数のエントリでキャッシュ内のデータを上書きすることをさらに含む請求項１６に記載の方法。
18. 前記コンテンツアイコンがコンテンツファイル内のデータを表すサムネイル画像を含む請求項８に記載の方法。
19. 前記コンテンツアイコンがコンテンツファイル内のデータを表す一連のサムネイル画像を含む請求項１に記載の方法。
20. 前記一連のサムネイル画像がアニメーションシーケンスを形成する請求項１９に記載の方法。
21. 前記複数のエントリのうちあらゆるエントリにおいてコンテンツアイコンを特定のサイズに構成することをさらに含む請求項１に記載の方法。
22. 前記グラフィカル・ユーザ・インタフェースがマルチメディア処理システム用のメニュー画面を含む請求項１に記載の方法。
23. 前記メニュー画面が一連のアイコン配列として構成される請求項２２に記載の方法。
24. 一連のアイコン配列を構成することが媒体アイコン配列を水平方向に配置することを含む請求項２３に記載の方法。
25. 前記媒体アイコン配列が複数の媒体アイコンを含む請求項２４に記載の方法。
26. 前記複数の媒体アイコンが写真アイコン、音楽アイコン、動画アイコン、放送アイコン、光ディスクアイコン、ウェブアイコンおよびゲームアイコンを含む請求項２５に記載の方法。
27. 前記媒体アイコン配列が交差領域を含む請求項１９に記載の方法。
28. 一連のアイコン配列を構成することが、前記交差領域へとスクロールされる特定の媒体アイコンに対してコンテンツアイコン配列を垂直方向に配置することを含む請求項２７に記載の方法。
29. 一連のアイコン配列を構成することが、前記特定の媒体アイコンを移動および／または選択するためにユーザの左手または右手のいずれが用いられているかに基づき、ディスプレイの左側または右側に近接させて前記コンテンツアイコン配列を配置することを含む請求項２８に記載の方法。
30. 前記コンテンツアイコン配列が複数のコンテンツアイコンと注意領域とを含む請求項２９に記載の方法。
31. 前記注意領域へとスクロールされるコンテンツアイコンのコンテンツファイルにアクセスすることをさらに含み、前記注意領域へとスクロールされるコンテンツアイコンのデータベースエントリ内のリンクを使用して前記コンテンツファイルにアクセスすることを特徴とする請求項３０に記載の方法。
32. 前記データベースがマルチメディア処理装置に格納される請求項３１に記載の方法。
33. 前記グラフィカル・ユーザ・インタフェースがマルチメディア処理装置で実現される請求項１に記載の方法。
34. 前記マルチメディア処理装置がゲーム機、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブル・セットトップボックス、家庭用メディアサーバまたは消費者向け電子装置である請求項３３に記載の方法。
35. マルチメディアアイコンの選択を容易にするユーザから供給された入力を受け取るのに適したユーザが利用しやすいグラフィカル・ユーザ・インタフェースであって、
    第一の方向に配置され、ユーザが選択可能な複数の媒体アイコンを含む媒体アイコン配列と、
    第二の方向に配置され、ユーザが選択可能な複数のコンテンツアイコンを含むコンテンツアイコン配列と、
    グラフィカル・ユーザ・インタフェースのユーザのリアルタイムビデオ画像と、を含み、
    前記媒体アイコン配列と前記コンテンツアイコン配列とがユーザの画像の上に重ね合わされ、前記媒体アイコン配列および／またはコンテンツアイコン配列からアイコンが選択されてユーザの画像の動作に基づき移動され、
    前記ユーザが選択可能な複数のコンテンツアイコンが、複数のエントリに分割されたデータベースからアクセスされ、
    比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンに高速にアクセスしスクロールできるように、各エントリのサイズが固定されており、前記ユーザが選択可能な複数のコンテンツアイコンの各アイコン用のデータを各エントリが少なくとも含むことを特徴とするグラフィカル・ユーザ・インタフェース。
36. 前記媒体アイコン配列と前記コンテンツアイコン配列が、前記交差領域で十字型となるように構成される請求項３５に記載のグラフィカル・ユーザ・インタフェース。
37. 前記データベースからのデータを格納するように構成されるキャッシュをさらに含む請求項３５に記載のグラフィカル・ユーザ・インタフェース。
38. 前記キャッシュに対し変更が加えられない限り、前記データベースを更新することなく前記キャッシュが上書きされるように構成される請求項３７に記載のグラフィカル・ユーザ・インタフェース。
39. 前記データベースがマルチメディア処理装置に格納される請求項３５に記載のグラフィカル・ユーザ・インタフェース。
40. 前記グラフィカル・ユーザ・インタフェースがマルチメディア処理装置で実現される請求項３５に記載のグラフィカル・ユーザ・インタフェース。
41. 前記マルチメディア処理装置がゲーム機、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブル・セットトップボックス、家庭用メディアサーバまたは消費者向け電子装置である請求項４０に記載のグラフィカル・ユーザ・インタフェース。
42. グラフィカル・ユーザ・インタフェースで物体を移動させるために有形の記録媒体に格納されるコンピュータプログラムであって、
    インタフェースのユーザのビデオ画像を取得し、
    前記ビデオ画像をディスプレイに表示し、
    ユーザのビデオ画像の動作の認識に基づき、前記グラフィカル・ユーザ・インタフェースに表示される一つまたは複数の物体を移動させるようにコンピュータを動作せしめる実行可能な命令を含む、コンピュータプログラム。
43. グラフィカル・ユーザ・インタフェースで表示される一つまたは複数の物体を動かすことが、グラフィカル・ユーザ・インタフェースで表示される複数のコンテンツアイコンをスクロールすることを含む請求項４２に記載の方法。
44. グラフィカル・ユーザ・インタフェースでスクロール表示を提供するために、コンテンツアイコンデータベースから適当な数の追加のコンテンツアイコンを取り出すことをさらに含み、
    前記コンテンツアイコンデータベースは複数のエントリに分割されており、前記複数のエントリの各エントリは、複数のコンテンツアイコンのうち一つのコンテンツアイコン用のデータと、一つのコンテンツファイルへのリンクとを含み、コンテンツアイコン用のデータに高速にアクセスでき、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールできるように、データベースの各エントリのサイズが固定されていることを特徴とする請求項４３に記載の方法。
45. グラフィカル・ユーザ・インタフェースのユーザのリアルタイムビデオ画像を取得するの適したビデオ画像取得装置と、
    ユーザの画像に重ね合わせるように媒体アイコン配列とコンテンツアイコン配列とを表示するのに適したディスプレイと、
    ユーザの画像の移動の認識に基づき、グラフィカル・ユーザ・インタフェースで示される物体をユーザが移動できるようにするディスプレイコントロールと、
    を備えるマルチメディア処理装置。
46. 前記ディスプレイ・コントローラがユーザの手の画像の動作を認識するように構成される請求項４５に記載のマルチメディア処理装置。
47. 前記ディスプレイ・コントローラがユーザの手の画像の縦横比の変化を認識するように構成される請求項４６に記載のマルチメディア処理装置。
48. 前記ディスプレイ・コントローラが、前記コンテンツアイコン配列から一つまたは複数のアイコンを選択または移動するためにユーザが左手または右手のいずれを用いるかを認識するように構成される請求項４６に記載のマルチメディア処理装置。
49. ユーザが左手または右手のいずれを用いるかを認識することが、ユーザの頭の画像に対するユーザの手の画像の相対位置を決定することを含む請求項４８に記載のマルチメディア処理装置。
50. ユーザの頭の画像に対するユーザの手の相対位置を決定することが、ユーザの腕がユーザの胸を横切るか否かを決定することを含む請求項４８に記載のマルチメディア処理装置。
51. 前記ディスプレイ・コントローラが、ユーザの手またはユーザの手の中に把持されている物体の縦横比の変化を認識するように構成される請求項４６に記載のマルチメディア処理装置。
52. 前記ビデオ画像取得装置がデジタルカメラである請求項４５に記載のマルチメディア処理装置。
53. 音声命令によって前記媒体アイコン配列および／または前記コンテンツアイコン配列を操作するために前記ディスプレイコントローラに接続された一つまたは複数のマイクロフォンをさらに含む請求項４５に記載のマルチメディア処理装置。
54. 複数のコンテンツアイコン用のデータとマルチメディアコンテンツへのリンクとを含む複数のエントリを有する、コンテンツアイコンデータベースとして構成されたメモリをさらに含み、
    複数のコンテンツアイコンに高速でアクセスして、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールすることができるように、前記複数のエントリの各エントリのサイズが固定されており、前記複数のコンテンツアイコンをロードして、該複数のコンテンツアイコンから特定のコンテンツアイコンをユーザがスクロールしおよび選択できるように構成されたプロセッサをさらに含む請求項４５に記載のマルチメディア処理装置。
55. 前記グラフィカル・ユーザ・インタフェースがマルチメディア処理装置用のメニュー画面を含む請求項４５に記載のマルチメディア処理装置。
56. 前記メニュー画面が一連のアイコン配列として構成される請求項５５に記載のマルチメディア処理装置。
57. 前記一連のアイコン配列が水平方向に配置された媒体アイコン配列を含む請求項５６に記載のマルチメディア処理装置。
58. 前記媒体アイコン配列が複数の媒体アイコンを含む請求項５７に記載のマルチメディア処理装置。
59. 前記複数の媒体アイコンが写真アイコン、音楽アイコン、動画アイコン、放送アイコン、光ディスクアイコン、ウェブアイコンおよびゲームアイコンを含む請求項５８に記載のマルチメディア処理装置。
60. 前記媒体アイコン配列が中心領域を含む請求項５７に記載のマルチメディア処理装置。
61. 前記一連のアイコン配列が、前記中心領域へとスクロールされる特定の媒体アイコンに対して垂直方向に配置されたコンテンツアイコン配列を含む請求項６０に記載のマルチメディア処理装置。
62. 前記コンテンツアイコン配列が複数のコンテンツアイコンと注意領域とを含む請求項６１に記載のマルチメディア処理装置。
63. 複数のエントリ内の前記リンクを使用して、前記注意領域へとスクロールされるコンテンツアイコンのマルチメディアコンテンツにアクセスする請求項６２に記載のマルチメディア処理装置。
64. 前記マルチメディア処理装置がゲーム機、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブル・セットトップボックス、家庭用メディアサーバまたは消費者向け電子装置である請求項４５に記載のマルチメディア処理装置。
65. グラフィカル・ユーザ・インタフェースで表示される複数のコンテンツアイコンをスクロールするための音声命令を受け取り、コンテンツアイコンデータベースから適当な数の追加のコンテンツアイコンを取り出してグラフィカル・ユーザ・インタフェースでスクロール表示を提供することを含み、
    前記コンテンツアイコンデータベースは複数のエントリに分割されており、前記複数のエントリの各エントリは、複数のコンテンツアイコンのうち一つのコンテンツアイコン用のデータと、一つのコンテンツファイルへのリンクとを含み、コンテンツアイコン用のデータに高速にアクセスでき、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールできるように、データベースの各エントリのサイズが固定されていることを特徴とするグラフィカル・ユーザ・インタフェースでスクロールをする方法。
66. 音声信号取得装置と、
    複数のコンテンツアイコン用のデータとマルチメディアコンテンツへのリンクとを含む複数のエントリを有する、コンテンツアイコンデータベースとして構成されたメモリであって、複数のコンテンツアイコンに高速でアクセスして、比較的高速度でグラフィカル・ユーザ・インタフェースでコンテンツアイコンをスクロールすることができるように、前記複数のエントリの各エントリのサイズが固定されているメモリと、
    前記音声信号取得装置に接続されたプロセッサであって、ユーザからの一つまたは複数の音声命令に基づき前記複数のコンテンツアイコンをロードして、該複数のコンテンツアイコンから特定のコンテンツアイコンをユーザがスクロールしおよび選択できるように構成されたプロセッサと、
    を含むマルチメディア処理装置。
67. 前記マルチメディア処理装置がゲーム機、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブル・セットトップボックス、家庭用メディアサーバまたは消費者向け電子装置である請求項６６に記載のマルチメディア処理装置。

Images