JP2005512226A

JP2005512226A - グラフィクス支援された音声制御システムを備えたユーザインタフェース

Info

Publication number: JP2005512226A
Application number: JP2003551660A
Authority: JP
Inventors: エヴジェニィイーセテイン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-13
Filing date: 2002-11-20
Publication date: 2005-04-28
Also published as: CN1602461A; WO2003050668A2; US6791529B2; KR20040063170A; WO2003050668A3; US20030117365A1; EP1459163A2; AU2002351018A8; AU2002351018A1

Abstract

電子装置は第１のユーザ選択可能な選択肢を提供するＵＩを持つ。第２のユーザ選択可能な選択肢は、前記第１の選択肢の特定の１つを選択すると利用可能とされる。提示されたときの前記第１の選択肢の情報分解能は、提示されたときの前記第２の選択肢の情報分解能と異なる。また、前記第１の選択肢からの選択のためのＵＩとのユーザインタラクションの第１の様式は、前記第２の選択肢からの選択のためのＵＩとのユーザインタラクションの第２の様式と異なる。

Description

本発明はユーザインタフェース（ＵＩ）に関し、より詳細には、ハンドヘルド型の情報機器（パームトップ、電子腕時計、電子手帳（organizer）、携帯電話、ウェブパッド、リモートコントローラ、ＰＤＡ又はノート型コンピュータ等）のような小さな画面サイズを持つ装置のための多様なＵＩに関する。

現在の動向は、２００２年までに世界中で携帯電話の加入者が１０億人になるであろうことを示唆している。２００４年までには利用される携帯電話がＰＣよりも多くなるであろう。

携帯電話は、個人向けの信頼できる装置となってきている。Philips Electronics社により製造される「Genie」のような携帯電話は、典型的にユーザインタフェースの一部としてＬＣＤを持ち、より多くの数の搭載されたソフトウェアサービスを提供する傾向がある。前記電話は音声制御機能をも持つ。

例えば３ＣＯＭ社によって製造されるPalm（登録商標）又はWindows（登録商標） CEベースのｉＰＡＱ（登録商標）ハンドヘルド装置といったパーソナル・ディジタル・アシスタント（ＰＤＡ）のようなハンドヘルド型のコンピュータ装置は、無線モデム、又は２．５Ｇ（例えばＧＰＲＳ）若しくは３Ｇ（ＤｏＣｏＭｏ）サービスを介してネットワークに接続されることができる。結果として、インターネットを介したユビキタス型の情報アクセスが現実となってきている。後者のサービスは、装置が常に接続されたままであること、及びｅメール、インスタントメッセージ、ＩＰによる通話、オーディオ／ビデオ及び個人スケジュール又はカレンダのような情報にアクセスすることを可能とする。８０２．１１ｂ及びBluetoothのような無線ＬＡＮ及びＰＡＮ接続規格は、ＰＤＡ及び携帯電話が、それぞれのネットワークに配置された種々の情報コンテンツにインタラクトすることを可能とする。ＧＰＲＳ及び８０２．１１ｂの接続の組み合わせは、ワイド・エリア・ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）及び個人エリア・ネットワーク（ＰＡＮ）といった、異なるネットワーク間のシームレスなローミングを提供する。調査は更に、ＰＤＡ及び携帯電話の機能は集中し始めており、携帯型の情報社会が発展していることを示唆している。専用装置の出現もあるであろう。ＰＤＡは今や仕事に関連するものである。近い将来、ＰＤＡは常にユーザと共にあるパーソナライズされたコンピュータとなるであろう。ＰＤＡは更なる能力とより小さいサイズを獲得し、より多くの及びより汎用性のある機能を収容するであろう。殆どの接続された装置は、タッチスクリーンを利用して若しくは音声によってアイコン、メニューのアイテム（item）若しくはリストのアイテムを選択することにより、音声認識ソフトウェア及びハードウェアを利用してアイテムを選択することにより、又はボタンやスクロールホイール等のような専用のハードウェアインタフェースを利用することにより、ＵＩを介して制御されることができる。

携帯電話であろうと、パームトップであろうと、ＰＤＡであろうと、電子腕時計であろうと、利便性及びユーザフレンドリであることは、有用性及び実用性を制限する要因であると考えられている。とりわけ、接続された個人向け装置についてのＵＩ及びサービスのアクセス可能性は、市場で受け入れられるための重大な要因となってきている。とりわけ、ｅコマース又は電子ショッピングは、ユーザインタフェースのテクノロジがユーザが多様なデジタルコンテンツ及び通信の選択肢を持つインタラクションのための最良の選択肢を利用することを可能とする場合には、個人向け通信装置のユビキタス性から利益を得るであろう。

本発明は、数ある中でも、それぞれが特定の多ステップのタスクに対して最も適切なものである複数のインタフェースの様式をユーザに提供することにより、情報へのユーザアクセス、制御及び通信の選択肢を容易化する方法及び装置を提供することに対処する。本発明の他の態様は、特定の情報アクセス、制御又は通信タスクのための情報分解能（information resolution）に基づいて様式の選択を可能とする方法及び装置に関する。本発明の他の態様は、ＵＩ様式の選択のカスタマイズを可能とする。

本明細において利用される「情報分解能」なる語は、特に、しかし限定的にではなく、視覚、聴覚、触覚又は他の感覚による手段を介して知覚されたときに異なるアイテムの間を区別するユーザの能力を決定する、情報アイテムの集合の特性を指す。例えば前記分解能は、表示モニタ上に提示（render）されたとき（空間的な距離）、マイクロフォンによって捕捉されたとき、又はラウドスピーカによって提示されたとき（時間的な距離）に、選択又は作用されたアイテム間の相対距離に関連する。適切な分解能又は分可能間隔は、個々のユーザ、ＵＩの様式、装置の機能、環境の条件及び他の要因に依存し得る。例えば、Sung Choi及びJan van Eeに発行された米国特許６，２１１，８５６（整理番号ＰＨＡ２３，３８７）は（参照によって本明細に組み込まれたものとする）、電子装置の制御可能な機能を表示するためのグラフィカルなユーザインタフェースのタッチスクリーンに関する。前記機能はアイコンとして表示され、前記機能がユーザによって認識可能だが容易に前記機能の特徴にアクセスするには小さすぎるスケールのサイズで表示される。前記アイコンの少なくとも一部の拡大されたバージョンが、アイコンの前記一部をユーザが触れると提示される。上述の例において最初の情報分解能は、ユーザが例えばキーストロークのような所望のタスクに結果における高い度合いの信頼を伴って影響を及ぼすためには低すぎる。前記拡大されたバージョンは、対応する動作を表すそれぞれのアイコンのサイズを増大させることにより、特に制御の面で情報分解能を増大させる。この場合、情報分解能は、許容可能なレベルには元来不十分なサイズを増大させることにより、同一の論理的な大きさ（グラフィカルな表現）において直接増大させられる。

発明者は、ユーザの知覚に対して情報を提示するための特定のＵＩの様式によって情報分解能が影響され得ることに気付いた。代替のＵＩの様式が、異なる範囲の情報分解能を提供するために利用されることができる。「様式（modality）」という語は、ＵＩとのユーザのインタラクションに含まれる、１以上の特定の感覚の方法、又は１以上の特定の感覚的な知覚（例えば聴覚、視覚、運動感覚）及び／又は対応する生理学的なプロセス（例えば音声入力／出力、聴覚のフィードバック、グラフィカルな入力／フィードバック、触覚入力／フィードバック）を指す。情報アイテムは、明示的に（例えばグラフィカルに、聴覚に）又は暗黙的に（例えば直感的に明らかな若しくは経験による存在、又は記憶によって示唆される）ＵＩにおいて表現されることができる。

従って本発明は、ＵＩを備えた電子装置に関する。前記ＵＩは第１のユーザ選択可能な選択肢を提供する。第２のユーザ選択可能な選択肢は、前記第１の選択肢の特定の１つが選択されると利用可能となる。提示されるときの前記第１の選択肢の情報分解能は、提示されるときの前記第２の選択肢の情報分解能と異なる。前記第１の選択肢から選択するためのＵＩとのユーザインタラクションの第１の様式は、前記第２の選択肢から選択するためのＵＩとのユーザインタラクションの第２の様式と異なる。好ましくは、少なくとも前記第１の様式又は前記第２の様式は、前記ＵＩの設定モードにおいてプログラム可能である。このようにしてユーザは、メニュー中の種々のレベルにおいて、例えば該ユーザの好み又は情報分解能に依存して、前記ＵＩとインタラクトするための方法を設定することができる。例えば、多レイヤメニューにおいては、あるレイヤは多くの第１の選択肢を有し、他のレイヤはより少ない第２の選択肢を有する。例えばタッチスクリーンを利用して前記第１の選択肢から選択し、音声入力を利用して前記第２の選択肢から選択することはより便利であり得る。

好ましくは、ＵＩとのユーザインタラクションの付加的な様式が、少なくとも前記第１及び第２の選択肢からの選択のために利用可能である。本発明の実施例においては、前記装置は例えば電話、インスタントメッセンジャ又はｅメールハンドラ等のような通信機能を有する。

更なる実施例においては、前記装置はタッチスクリーン及び音声入力のためのマイクロフォンを持つ。前記第１及び第２の様式の一方はタッチスクリーンに触れることを含み、前記第１及び第２の様式の他方は音声入力を含む。

本発明の他の実施例においては、前記装置は、前記第１の選択肢の少なくとも幾つかを提示するための表示モニタと、ユーザが前記提示された第１の選択肢のそれぞれを複数の所定の属性の１つに関連付けることを可能とする第１の手段と、前記関連付けられた属性を通して前記提示された第１の選択肢の特定の１つを選択するための第２の手段とを有する。

本発明はまた、第１及び第２のレイヤに配置された選択肢を選択することを可能とするためのＵＩを提供する方法に関する。前記ＵＩにおいて提示されたとき、前記第１のレイヤにおける選択肢は、前記ＵＩにおいて提示されたときの前記第２のレイヤにおける選択肢の情報分解能と異なる情報分解能を持つ。前記方法は、前記第１のレイヤにおける選択肢のうちの第１のものを選択するための第１の様式を提供するステップを有し、前記第１の様式は第２のレイヤにおける選択肢のうちの第２のものを選択するための第２の様式とは異なる。本発明は、ユーザフレンドリな又はカスタマイズされたインタフェースを提供するため例えばウェブサイトを用いて利用されることができる。

本発明は更に、第１のユーザ選択可能な選択肢、及び前記第１の選択肢のうちの特定の１つを選択すると利用可能となる第２のユーザ選択可能な選択肢を提供するＵＩを生成するための、電子装置上での利用のためのソフトウェアに関する。ここで提示されたときの前記第１の選択肢の情報分解能は、提示されたときの前記第２の選択肢の情報分解能とは異なり、前記第１の選択肢から選択するためのＵＩとのユーザインタラクションの第１の様式は、前記第２の選択肢から選択するためのＵＩとのユーザインタラクションの第２の様式と異なる。ラップトップコンピュータ、ＰＤＡ又は携帯通信機器のような電子装置は、かくしてユーザのニーズ及び好みに合うように向上させられることができる。

本発明は図を参照しながら例として以下に更に詳細に説明される。

図を通して、同一の参照番号は対応する又は同様の特徴を示す。

装置のＵＩのユーザフレンドリさは、数ある中でも、前記ＵＩとのユーザインタラクションの様式、前記ＵＩにおいて提示されるときのインタラクトするためのアイテムの情報分解能、及び環境の影響に依存する。前記分解能は、ユーザインタラクションの様式、提示される特定のアイテムのセット、環境の影響、及び前記装置が実行することを要求されているタスクといった量のうちの幾つか又は全てに依存するものとして考えられることができる。例えば、電話帳中の名前のセットは、タッチスクリーン上にグラフィカルに提示されることができ、ユーザは特定の名前が提示された場所において画面に触れることにより前記特定の名前を前記セットから選択することができる。前記特定の名前の選択は音声認識を利用して実行されることもできる。しかしながら、名前は典型的にアルファベット順に配列され、提示されるセットは同一のテキストキャラクタ、それ故同一の音素（phoneme）から始まる名前を有し得る。このことは、音声様式についての分解能をかなり低くする。また、周囲のノイズがある場合には、音声又は声認識が妨害され、それ故音声様式についての分解能に悪影響を与え得る。

より詳細には、本発明における装置の以下の例を考える。即ち、電話ベースの電子アドレス帳である。ここでは特定のアドレスのセットは、画面のＧＵＩ上の画像に触れることにより、又は代わりに音声認識システムを利用して人物の名前を言うことにより選択されることができる。前記アドレス帳は、人物に電話をするか、ｅメールを送るか、又はインスタントメッセージを送るかの選択肢を提供する。次いで、選択された人物にｅメールを送るため、ユーザは対応するｅメールアイコンに触れるか又は前記選択肢の名前（「ｅメール」）を発声することができる。第１のステップにおいて特定の名前を選択するための音声インタフェースの情報分解能は、例えば列挙された名前の間の音声上の類似性のため、非常に低くなり得る。また、典型的な音声認識システムは、学習させられ個々のユーザに適応させられる必要がある。一方で、コンタクトの前記選択肢の限られた数の、及び予め決められたキャラクタのため、「ｅメール」と発声することは、第２の機能にアクセスするための高速でより正確な選択肢となるであろう。このことは第２のＧＵＩを開くことすらなく達成され得る。ユーザが全てのステップにおいてより良いＵＩの選択肢を利用することを可能とするため、前記システムは、最良の様式を決定することができ、推薦される様式の例えばアイコン又は他の表現のような、様式の手掛かりを提供することができる。上述した電話帳の例においては、前記システムは第１のステップにおいて「ペン」アイコンを表示し、第２のステップにおいて「音声」アイコンを表示しても良い。推薦される様式の代替例も、次のＵＩモジュールにアクセスする前に特定の機能へのアクセスを高速化することを可能とする。例えばスクロールホイールを利用することにより画面上の受信人をハイライトさせた後、アイテムに関連する、しかし明確に提示されていない特定の機能を起動するために、ユーザは例えば「家に電話する」といった音声コマンドを利用することを可能とさせられる。このタイプのインタラクションは、片手操作において特に有用となり得る。これに関連して、例えばWillem Bulthuisらによって1999年12月16日に出願された米国特許シリアル番号０９／４６４，８５５（整理番号ＰＨＡ２３，８７５）の「HAND-EAR USER INTERFACE FOR HAND-HELD DEVICE」を参照されたい。本文献は参照によって本明細書に組み込まれたものとする。この特許文献は、ユーザが片手のみを利用して装置を見る必要なくメニューから選択肢を選択することを可能とするハンドヘルド型の装置に関する。前記装置は、前記装置とのユーザインタラクションのためのユーザインタフェースを有する。前記ユーザインタフェースは、ユーザが選択肢のセット中を自由に移動することを可能とするためのナビゲート入力と、ユーザが自由に移動している間前記選択肢のそれぞれの選択可能な１つについてユーザにそれぞれの聴覚フィードバックを提供するフィードバック出力と、ユーザが前記フィードバックに基づき現在の選択肢を選択することを可能とする確認入力とを持つ。好ましくは、携帯電話のような、前記装置のハンドヘルド型のバージョンは、ユーザに選択肢の線形な又は循環的な配列を走査させるサムホイール又は他のステップスルー型の構成要素を持つ。各前記選択肢は、一段上又は下にホイールが回転されたときに再生されるそれぞれのオーディオ出力によって表される。このことは、ユーザが片手で前記装置を観る必要なく選択肢を選択することを可能とする。またこのことは、パーソナライズされた電話帳から電話をするために数字を入力するためのキーパッドが必要とされないため、従来の携帯電話のものよりも小さな形状因子を可能とする。

本発明によれば、選択プロセスを更に容易化するために、より高い分解能の情報の大きさが加えられる。上述したアドレス帳の例においては、属性のカラムが現在のアドレスリストのページに加えられる。前記カラムは、表示されているアドレス帳のレコードと関連する、例えば視覚的に異なる形状を含む。前記形状は、情報分解能及び利用可能な組み合わせの数を更に増大させるため、異なって色付けされても良い。前記形状及び／又は色は、例えば受信人の名前のようなデータベース中の特定のアイテムに関連しないが、例えば行のような、画面上の特定のアイテムの位置に関連する。前記属性のカラム中のアイテムは、ユーザが前記リストを上又は下にスクロールしても略同じままである。ユーザは、表示されたレコードと現在関連している形状及び／又は色の名前を発声することにより個々のレコードにアクセスする。例えば、「青い丸」というフレーズは、前記属性のカラムにおける対応する形状／色の組み合わせによってマークされたレコードを選択する。形状及び色の名前は、誤判別の可能性を減少させるために、音声的にかなり異なるように選択される。このことは、例えば互いに非常に類似して発音する、又は明確に発音されない、人物の名前のようなアイテムを分解するために特に有用となり得る。ユーザは、例えばボタンを押下することにより、該ユーザの自由に上述の例においてグラフィカルに支援された音声インタフェースを呼び出すことを可能とされる。代替として、前記形状及び色は、前記アドレス帳の筐体上の据え付けのボタンとして実装されても良い。ユーザは前記ボタンの特定の組み合わせを押下することによりレコードにアクセスすることを可能とされる。

他の実施例においては、情報分解能アプローチは、例えばＷＡＰ（wireless application protocol）技術、Bluetooth、802.11等を利用した、ＰＤＡ、パームトップ、ウェブパッド、携帯電話のような、インターネットアクセス（ブラウザ）及びディスプレイを備えたハンドヘルド型の情報処理装置のために利用される。かような装置は、インターネットからウェブページを取得し及び自由に移動するためのブラウザを利用することができるが、情報を失うことなくその全体を提示することはできない。しかしながら、前記ページの画像のレイアウト及び全体的な外見は、例えばハイパーリンクを含むように、一部がユーザにとって関心があるものであるか否かを示唆する。前記ページの特定の一部へのアクセスを容易化するため、ページの概観を提示するために「画像」「テキスト」「段落」といった高レベルのＨＴＭＬタグが利用されることができる。最上レベルのＸＭＬタグも利用されることができる。前記システムは、例えば「画像」のような前記ページの特定の一部を示す音声コマンドに応答することを可能とされる。前記ページに複数の画像が存在する場合、これら画像は番号、色、特別な記号等により示されることができる。前記システムは、情報アイテムの属性を示すコマンドに応答することを可能とされる。例えばカラー画面上において青のバーは第１の画像を示し一方緑のバーは他のものを示し、そのため「青の画像」というコマンドはユーザが前記第１の画像にズームインすることを可能とする。白黒画面上においては、情報アイテムは、例えば星型、丸、四角等のような、明確に区別される形状を持つ記号によって示されることができる。それ故、前記システムは「星型の画像」「丸のテキスト」及び同様のその他のもののようなコマンドに応答することを可能とされる。

本発明のシステムは好ましくは、多レイヤのメニューにおける種々のレベルについて、例えば音声、ポイント／タッチ、ボタン等といった、代替のアクセス様式の好みのようなカスタマイズの選択肢をユーザに提供する。ＰＣベースの又はインターネットサーバベースのソフトウェアは、設定段において情報の大きさ、様式、例えば形状、色、言語、発音等のような表現の選択肢を選択するようにユーザをガイドしても良い。例えばユーザは、幾何形状、果物、動物、数等のような、形状の代替のカテゴリを選択することを可能とされる。ユーザはまた、例えばネットワークサーバ、ＰＣ、ＰＤＡのようなコンピュータからグラフィックのセット及び／又はマッピングソフトウェアをダウンロードすることを可能とされる。

図１、２及び３は、電子アドレス帳を備えた通信装置１００のＵＩにおける連続的なレイヤの図である。装置１００は、本例においては無線機器であり、例えば携帯電話機能、ｅメール機能及びＳＭＳ機能を有する。前記アドレス帳は、装置１００の操作モードにおいてユーザに受信人の名前を選択させるためのメニューと、例えば通話を開始する、インスタントメッセージを送信する、ｅメールを送信する、ＳＭＳメッセージを送信する等の当該受信人に実行されるべき通信動作とを持つ。特定のエントリ、ここでは姓「Shteyn」が、例えばスクロールボタン（図示されていない）又は文字「Ｓ」を示すソフトタブキーを介して、又はマイクロフォン１０６によって受信され音声認識システム１０８によって処理される「Ｓ」を発音することによる音声入力を介して、名前の適切な群を選ぶことにより選択される。次いでユーザは、前記装置のタッチスクリーン１０４上に提示された前記メニューの第１のレイヤにおける名前のグラフィック表現１０２（例えば英数字表現、アイコン又は画像等）に触れる。代替としては、前記特定のエントリは、音声認識システム１０８に結合されたマイクロフォン１０６に関連する人物の名前を発音することにより選択される。前記第１のステップにおいて特定の名前を選択するための音声インタフェースの情報分解能は、数ある中でも、列挙された名前の間の音声上の類似性のために比較的低い。他の欠点は、音声認識システム１０８は典型的に、個々のユーザ毎に前記アドレス帳の各個々の名前のエントリについて学習させられる必要があるという点である。それ故音声制御が、ディスプレイ１０４に現在表示されている名前のそれぞれを、前記音声制御が予めプログラムされた所定の属性の特定の１つに一時的にマッピングさせることは、より便利である。前記属性はここではカラム１１０に示される。名前を上又は下にスクロールすることは、名前の他のサブセットが表示されることに帰着する。ディスプレイ１０４に提示される各サブセットはこのとき、操作の利用の間の選択のため同一の所定の属性に関連付けられることができる。即ち、ユーザが名前のリストを上又は下にスクロールしたときも、カラム１１０は静止したままである。示された例においては、前記属性は幾何学的な形状である。これらの代替は、例えば異なる色、数等である。名前の現在のサブセットを伴う示された例においては、属性「丸」は名前「Shteyn」に関連付けられ、属性「三角」は名前「Steen」に関連付けられ、属性「月型」は名前「Stein」に関連付けられ、属性「四角」は名前「Steyn」に関連付けられ、名前「Stijn」は属性「菱形」に関連付けられる。パネル１１０における属性は、例えばディスプレイ１０４の別個のウィンドウに提示され、又は装置１００上のハードボタンである等する。推薦される様式の手掛かり１１２は、音声認識システムが起動されていることを示す。ここで受信人「Shteyn」を選択することは、表示された情報アイテム「Shteyn」をグラフィカルな記号「丸」と視覚的に関連付けることにより、及び「丸」という語を発声することにより音声入力を介して、又はタッチスクリーン１０４上の丸に触れることにより達成される。従って、選択メカニズムは、名前「Shteyn」の意味内容の、（抽象的な）属性、ここでは「丸」への視覚的なマッピング、及び後者について名前を発音することを利用する。かくして前記選択は、視覚的な態様と音声とのハイブリッドな組み合わせを含む。受信人の名前「Shteyn」を選択すると、前記メニューは図２に示される次の状態に進む。

図２は、ひとたびエントリ、ここでは受信人の姓「Shteyn」が選択されたディスプレイ１０４を示す。前記アドレス帳のメニューは、当該選択について４つのとり得る選択肢「Eugene」、「Svetlana」、「Vladimir」及び「Alice」があることを示す。ユーザは「Alice Shteyn」に電話をしたいとする。エントリ「Alice」を選択するために、図１の属性マッピングが利用されても良い。しかしながら、このレベルにおいては、情報分解能が音声入力を利用するのに十分に高い限られた数の利用可能な選択肢のため、システム１０８を介した音声入力がより便利である。ユーザは当該受信人を選択するため語「Alice」を発声する。「Alice」を選択すると前記メニューは、当該受信人の電話番号、ｅメールアドレス、無線呼び出し機番号といったAliceにコンタクトするための選択肢、又はこれらのコンタクト情報アイテムを表すアイコンを列挙する次のレベルにグラフィカルに進む。図３の図を参照されたい。操作モードにおいては、ユーザは特定の通信モードで装置１００を介してコンタクトを開始することにのみ関心があるのであって、そのために利用されるまさにそのコンタクト情報に必ずしも関心はないため、番号又はｅメールアドレスが提示される必要はないことに留意されたい。通信のモードは限定されており、前記アドレス帳を通して全ての受信人に対して全く一般的なものであるため、Aliceについて列挙された通信の選択肢の提示は全く省かれさえもして良い。ユーザは本例においては「通話」又は「電話」と発音する。図２のメニューレベルが選択プロセスの最後となるようにユーザが「Alice」と発音した直後に「通話」又は「電話」と発音しても良いため、Aliceについて列挙された通信の選択肢の提示は全く省かれても良いことに留意されたい。次いで前記装置は、Alice Shteynの個人の携帯電話のものとして列挙された番号をダイアルし、通話を開始する。

図４は、本発明による装置又はシステムの実装とのユーザインタラクションの処理を示すフロー図である。該処理は音声入力及び他のユーザインタラクションの様式を可能とする。ステップ４０２において周囲のノイズレベルが決定され、ステップ４０４において閾値レベルと比較される。前記周囲のノイズレベルが特定の閾値よりも低くない場合、ステップ４０６においてタッチスクリーンアクセスモードが起動される。前記装置はまたステップ４０８において、例えばグラフィカルモードのような選択されたアクセスモードをユーザに通知するために適切なアクセスモードの手掛かりを選択し、ステップ４１０においてユーザに該手掛かりを提示する。ユーザは次いで前記タッチスクリーンを通して入力を与えることができる。前記周囲のノイズレベルが閾値より低い場合、前記システムの装置はステップ４１４においてグラフィック支援された音声制御システムを初期化する。ステップ４１６において、例えば前記システムによって自動的に、又はユーザによる音声入力を介して手動で、グラフィックスのセットが選択される。グラフィックスのセットは、表示モニタ上に提示される、例えば参照番号１１０によって示されたセットのような、アイコン又は記号の集合を有する。ステップ４１８において、一方のアイコン又は記号と、例えば図１における名前のようなグラフィカルに表示された情報アイテムとの関連を生成するために、結合メカニズムが確立される。ステップ４２０において、例えば提示された名前及びアイコンを伴った図１に示されたもののような、結合されたＧＵＩが生成される。ステップ４２２において、音声制御アクセスモードが起動され、ステップ４０８以下で上述したようにアクセスモードの手掛かりが選択される。

図５は、タグ付けられたコンテンツ（例えばＨＴＭＬ、ＸＭＬ）表現インタフェースのための、本発明におけるグラフィカルに支援された音声制御システムを示すフロー図である。ステップ５０２において、ユーザ装置又はその代理として動作するプロキシは、ユーザによって要求されたＨＴＭＬファイルをサーバから受信する。前記ＨＴＭＬファイルはウェブページ、例えばＵＰｎＰ装置インタフェースのようなユーザインタフェース表現等を表しても良い。ステップ５０４において、ページの表示サイズが、例えば画素で見積もる。ＨＴＭＬページサイズの決定は、当分野では良く知られている。例えば、Netscape（登録商標）ウェブブラウザのソースコードは、例えば

からインターネット上で入手可能である。ステップ５０６において、分解能の閾値が必要とされるものより低いか否かを決定するため、必要とされる表示サイズが、実際の装置のディスプレイサイズ又は表示のために利用可能な領域と比較される。前記閾値は、例えば前記ページの必要とされるサイズと実際の画面の利用可能なサイズとの間の比によって表現されることができる。前記装置の画像スケーリング機能も考慮に入れられても良い。前記表示の要求が前記閾値を超える場合、ステップ５０８において全タッチスクリーンアクセスモードが起動される。そうでなければ、ステップ５１６においてグラフィクス支援された音声制御システムが初期化される。前記初期化ステップは、当該処理の次のステップに含まれる処理のプログラム命令及び／又はデータセグメントをメモリにロードすることを含んでも良い。前記セグメントは、前記装置自体にあっても良いし、例えばパーソナルコンピュータ又はインターネットサーバのような他の装置にあっても良い。後者の場合には、前記装置は有線又は無線のネットワークを介して接続される。ステップ５１８において、表現タグセットが選択される。所定の実装において、前記タグセットは、例えばIMG、FORM、TABLEといったＨＴＭＬのタグ名のリストと、任意に当該タグが表現する要素の閾値画素サイズとを有する。前記タグはＨＴＭＬドキュメントの標準的な属性及び／又は特定のドキュメントタイプに関連する固有の拡張を表すことができる。ここで説明された実装においてＨＴＭＬドキュメントは、インターネットで利用され、一般に「マークアップ言語」と呼ばれるもので記述されるハイパーメディア・コンテンツの例を表す。ＳＧＭＬは、ドキュメントの構造を記述し、テキスト内の該構造を描写するタグのスキームを記述する、かような言語の１つである。ＨＴＭＬ、ＸＭＬ、ＸＨＴＭＬはＳＧＭＬのサブセットであり、ドキュメント表現及びドキュメント通信において広く利用されている。ステップ５２０において、ステップ５１８において選択されたタグセットにおいて列挙されたタグによって示される情報を抽出するため、前記ＨＴＭＬファイルがパースされる。元のファイルは将来の参照のために保存されても良いし、破棄されても良い。一方前記抽出された情報は、例えば前記選択されたタグセットに合致しない全てのタグ付けられたデータを取り除くことにより、表示される準備をされる。ステップ５２２において、前記ディスプレイに識別された、タグ付けされた情報を表示するためにグラフィックスのセットが選択される。前記グラフィックスのセットは、アイコン、幾何学的な形状、タグの名前等のセットを有しても良い。ステップ５２４において、前記タグ付けされた情報セグメントは、前記グラフィックスのセットにマッピングされ、これら２つのビジュアルな又はオーディオの対応関係を確立する。ステップ５２６において、元のＨＴＭＬファイルのディスプレイ表現を可能とするために結合されたＧＵＩが生成される。前記結合は、タグ付けされた情報セグメントを持つＨＴＭＬファイル及びステップ５２２において選択されたグラフィックスのセットの要素として実装される。本例においては、前記グラフィックスのセットの要素は、システム設定に依存して、IMG、FONTのようなＨＴＭＬタグによって示される。ステップ５２８において、「聴き取り」を可能とするため音声制御アクセスモードが起動され、前記グラフィックスのセットに関連する音声コマンドを抽出する。ステップ５１０において、好適なアクセスモードをユーザに提示するため、アクセスモードの手掛かりが選択される。ステップ５１２において前記手掛かりがユーザに提示され、ステップ５１４において前記システムはユーザ入力待ちに設定される。以上説明された処理は、表示装置自体に、又は分散環境若しくはクライアント−サーバ環境、又はこれらの組み合わせに実装されることができる。例えば、携帯電話のような不十分な計算リソースを持つ装置については、プロキシサーバがステップ５０４乃至５２６を実行しても良い。後者の場合においては、所定のインタラクションモードの示唆を伴う結果のＨＴＭＬファイル又はその圧縮された画像が前記装置に送信される。他の実装においては、表現タグセット及びグラフィックスのセットは、ユーザの好みデータベースの一部としてサーバに保存される。

メニューにおける連続するレイヤを示すＵＩを備えた装置の図である。メニューにおける連続するレイヤを示すＵＩを備えた装置の図である。メニューにおける連続するレイヤを示すＵＩを備えた装置の図である。電子アドレス帳のためのグラフィカルに支援された音声制御システムのブロック図である。タグ付けされたコンテンツ（ＨＴＭＬ、ＸＭＬ）表現インタフェースのためのグラフィカルに支援された音声制御システムのブロック図である。

Claims

ユーザインタフェースを持つ電子装置であって、
前記ユーザインタフェースは、第１のユーザ選択可能な選択肢と、前記第１の選択肢の特定の１つを選択すると利用可能となる第２のユーザ選択可能な選択肢とを提供し、
提示されたときの前記第１の選択肢の情報分解能は、提示されたときの前記第２の選択肢の情報分解能と異なり、
前記第１の選択肢から選択するための前記ユーザインタフェースとのユーザインタラクションの第１の様式は、前記第２の選択肢から選択するための前記ユーザインタフェースとのユーザインタラクションの第２の様式と異なる装置。
少なくとも前記第１の様式又は前記第２の様式は、前記ユーザインタフェースの設定モードにおいてプログラム可能である、請求項１に記載の装置。
少なくとも前記第１又は第２の選択肢から選択するための、前記ユーザインタフェースとのユーザインタラクションの付加的な様式が利用可能である、請求項１に記載の方法。
通信機能を有する、請求項１に記載の装置。
前記装置はタッチスクリーンを持ち、
前記装置は音声入力のためのマイクロフォンを持ち、
前記第１及び第２の様式の一方は前記タッチスクリーンに触れることを含み、
前記第１及び第２の様式の他方は前記音声入力を含む、請求項１に記載の装置。
前記第１の選択肢の少なくとも幾つかを提示するための表示モニタと、
ユーザが、前記提示された第１の選択肢のそれぞれを、複数の所定の属性のそれぞれに関連付けることを可能とする第１の手段と、
前記関連付けられた属性を通して、前記提示された第１の選択肢の特定の１つを選択するための第２の手段と、
を有する、請求項１に記載の装置。
第１及び第２のレイヤに配置された選択肢を選択することを可能とするユーザインタフェースを提供する方法であって、
前記ユーザインタフェースにおいて提示されたとき、前記第１のレイヤにおける選択肢は、前記ユーザインタフェースにおいて提示されたときの前記第２のレイヤにおける選択肢の情報分解能とは異なる情報分解能を持ち、
前記方法は、前記第２のレイヤにおける選択肢のうちの第２のものを選択するための第２の様式とは異なる、前記第１のレイヤにおける選択肢のうちの第１のものを選択するための第１の様式を提供するステップを有する方法。
前記第１及び第２の様式の一方はタッチスクリーンを含み、前記第１及び第２の様式の他方は音声入力を含む、請求項７に記載の方法。
第１のユーザ選択可能な選択肢と、前記第１の選択肢の特定の１つを選択すると利用可能となる第２のユーザ選択可能な選択肢とを提供するユーザインタフェースを生成するための、電子装置上での利用のためのソフトウェアであって、提示されたときの前記第１の選択肢の情報分解能は、提示されたときの前記第２の選択肢の情報分解能と異なり、前記第１の選択肢から選択するための前記ユーザインタフェースとのユーザインタラクションの第１の様式は、前記第２の選択肢から選択するための前記ユーザインタフェースとのユーザインタラクションの第２の様式と異なるソフトウェア。
前記第１及び第２の様式の一方はタッチスクリーンを含み、前記第１及び第２の様式の他方は音声入力を含む、請求項９に記載のソフトウェア。