JP2005524122A - 聴覚ユーザーインターフェイスにおける高速ナビゲーション方法及びシステム - Google Patents

聴覚ユーザーインターフェイスにおける高速ナビゲーション方法及びシステム Download PDF

Info

Publication number
JP2005524122A
JP2005524122A JP2004502598A JP2004502598A JP2005524122A JP 2005524122 A JP2005524122 A JP 2005524122A JP 2004502598 A JP2004502598 A JP 2004502598A JP 2004502598 A JP2004502598 A JP 2004502598A JP 2005524122 A JP2005524122 A JP 2005524122A
Authority
JP
Japan
Prior art keywords
mode
menu
auditory
user interface
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004502598A
Other languages
English (en)
Inventor
サルメンカイタ,ユッカ−ペッカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2005524122A publication Critical patent/JP2005524122A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals

Abstract

本発明によれば、経験豊富なユーザーは、デジタル装置及びサービスにアクセスするための聴覚ユーザーインターフェイスにおいて、オーディオ又は多モードメニュー構造を高速でナビゲートすることができる。聴覚ユーザーインターフェイスは、メニュー構造をナビゲートするための2つのモードを具備し、この中の1つが、通常使用のための標準モード(118)であり、もう1つが、ナビゲーションプロセスをスピードアップする高速モード(112)である。このモードは、ユーザーによるナビゲーションプロセスにおいて、いつでも変更可能である(104、106)。

Description

本発明は、デジタル装置及びサービスにアクセスするためのユーザーインターフェイスに関するものである。更に詳しくは、本発明は、音声及び多モードユーザーインターフェイスの有用性を向上させる方法である。ユーザーは、メニュー構造をナビゲートする2つのモードを選択可能であり、この1つは、通常使用のための標準モードであり、もう1つは、経験豊富なユーザー用の高速モードである。
デジタル装置及びサービス用のユーザーインターフェイスにおいては、(a)ユーザーに対して代替選択オプションを通知すると共に、(b)ユーザーが所望の選択オプションに向かってメニューレイヤをナビゲートするための手段を提供するべく、通常、メニュー階層が使用されており、このようなメニュー階層は、通常、視覚的な形態で提示されている。しかしながら、このメニュー階層の視覚的な提示は、例えば、デジタル装置及びサービスのハンズフリー(手を使わないで済む)又はアイズフリー(目を使わないで済む)な使用法が望ましい状況においては、実現不可能である。このような状況は、例えば、自動車やその他の車両内において、或いは視覚障害を有する人たちの場合に発生する。
このような状況においては、例えば、TTS(Text−To−Speech:テキスト音声読み上げ)合成や事前定義された音声プロンプトを使用してユーザーに代替選択オプションを通知する聴覚的な形態でメニュー階層を提示可能である。但し、ユーザーに代替選択オプションを通知するのに、この聴覚又は音声ユーザーインターフェイスは適しているが、ユーザーに対する情報の提示が相対的に低速であるという欠点を具備している。即ち、ユーザーが初めてメニュー構造をナビゲートする際には、ユーザーに対して代替選択オプションを通知すると共に、メニュー構造に関する知識をユーザーに提供する必要があるため、この遅さを正当化することができる。しかしながら、何回かメニューを繰り返してナビゲートした段階で、ユーザーは、既にメニュー構造に関する学習を完了し、この遅さをひどく不便なものと感じるようになるのである。そして、それにも拘らず、依然として、メニューレイヤをナビゲートすることが必要とされ、この結果、ユーザーは、メニューを迅速に通過する手段を要求することになろう。
ユーザーインターフェイスにおけるナビゲーションプロセスをスピードアップする既存の方法としては、いくつかのものが存在している。第1の方法は、TTS合成又は音声プロンプト提示全体の速度を加速化する方法である。これは、メニューの聴覚的な提示の形態は元のままで、より高速で発音が発せられるということを意味しており、この結果、メニューアイテムに関する理解度が低下する可能性がある。ナビゲーションプロセスを高速化する別の既存の方法は、手動のショートカットの生成によってユーザーインターフェイスをカスタマイズする選択肢をエンドユーザーに対して提供する方法である。この方法は、周知であり、ウェブブラウジングの分野において広く使用されている。そして、ナビゲーションプロセスをスピードアップする更に別の方法は、エンドユーザーに対して、デジタルサービスに対する自動的なショートカットを提供する方法である。後者の2つの方法は、視覚的なユーザーインターフェイスにおいて主に使用されているものであり、メニュー構造をショートカットと適合させるべく、かなり多数の手順をユーザーに強いることが予想される。又、ユーザーの以前の使用法に基づいて最も望ましい推奨メニューアイテムを生成することも可能ではあるが、この場合には、オリジナルのメニュー構造が混乱し、使用頻度の低いメニューアイテムのナビゲーションが複雑化することになる。但し、これらの代替選択肢は、いずれも、本発明の「課題を解決するための手段」の節に記載されている本発明を補完するべく使用可能である。
TTSクライアントアプリケーションを加速化する既存の方法の1つが、「Method for Dynamically Altering Text−to−Speech(TTS) Attributes of a TTS Engine not Inherently Capable of Dynamic Attribute Alteration」という名称の米国特許第6188983号明細書(US6188983)(文献[1])に記載されている。この文献には、再生の進行中に、TTSクライアントアプリケーションによって、例えば、ピッチと速度を変更できるようにする方法が開示されている。この機能は、このような変更の動的な実行がTTSエンジンにおいて許容されていない場合に使用可能である。但し、この方法は、再生を停止させることなしに、ユーザーによるTTS再生のピッチや速度などのTTSパラメータを調節することに限定されている。そして、この方法は、TTS再生との関連における汎用的な使用法を目的としており、ユーザー要求に応じて、テキストを高速又は低速で読み取り可能ではあるが、テキストの内容は、元の形態のままに留まることになる。要すれば、これは、ユーザーがメニューアイテムをナビゲートする際には、毎回、何度でも音声プロンプト(及びテキスト)の同一の繰り返しを聞かなければならないことを意味している。これは、音声プロンプト(及びテキスト)の内容に習熟したユーザーには不便である。
「System and Method of Voice Browsing for Mobile Terminals Using Dual−Mode Wireless Connection」という名称の国際特許第01/45086号明細書(WO 01/45086)(文献[2])には、ユーザーインターフェイスにおいてTTS又は事前に定義されたオーディオプロンプトを使用する別の既存の方法が記載されている。この場合には、モバイル端末とサーバーアプリケーション間で音声及びデータを交互に送信するべく、音声モード及びデータモードで対話型音声応答サービスを使用している。そして、1回の通話の中で、スピーチとデータをスワップする機能を有している。スピーチの内容、ユーザー入力、及びコマンドが、特定の音声アプリケーションに応じて変化するのである。この方法における主な考え方は、限定的なサイズの文法を使用して端末側におけるスピーチ認識を総合的に改善することにあり、これは、ナビゲーション特性(例:聴覚ユーザーインターフェイス自体の速度)には影響を及ぼさない。この場合にも、これは、ユーザーが、毎回、同じスピーチを聞かなければならないことを意味しており、スピーチの内容に習熟したユーザーにとって、これは不便である。
従って、特に経験豊富なユーザーがデジタル装置及びサービスにアクセスするための聴覚ユーザーインターフェイスにおけるナビゲーション特性を改善するというニーズが存在している。ユーザーインターフェイスのユーザーフレンドリーでハンズフリー及びアイズフリーな動作を確保するべく、柔軟で高速なナビゲーションプロセスが不可欠なニーズなのである。
本発明の目的は、聴覚ユーザーインターフェイスにおいてメニューアイテムの高速な音声スクローリングを可能にする方法及びシステムをユーザーに提供することである。本発明のこの目的は、メニューアイテムに対応する音声プロンプトを大幅に短縮し、これにより、従来技術によるものよりもユーザーインターフェイスが高速な高速モードを起動することにより、実現される。尚、この高速モードを解除した場合の標準モードにおいては、完全な長さの音声プロンプトが使用される。
本発明の利点は、メニュー構造に習熟したユーザーが、高速モードを容易に起動して使用することにより、標準モードのユーザーインターフェイスの遅さを自分で回避できることにある。一方、まだ使用法に習熟していない場合には、ユーザーは、標準モードによるメニューアイテムのナビゲートを選択可能である。本発明は、聴覚及び多モードユーザーインターフェイスの有用性を向上させ、必要に応じて、経験豊富なユーザーに対してメニューオプションを高速で提示する方法を提供する。そして、それ以外の場合には、ユーザーは、通常の順序で、標準モードにおいて継続可能である。又、本発明の更なる利点は、その他の方法及びシステムとの関連において使用することにより、ナビゲーションプロセスをスピードアップできる点である。
本発明の方法は、デジタル装置及びサービスにアクセスするためのユーザーインターフィエスにおいてナビゲートする方法に関するものであり(この装置は、少なくとも聴覚又は多モードユーザーインターフェイスと、ネットワーク装置への接続を有している)、この方法は、聴覚ユーザーインターフェイスの第2モードを起動する段階であって、この第2モードは、第1モードとは異なる短いコンテンツを有している、前記段階を有することを特徴としている。
本発明のシステムは、デジタル装置及びサービスにアクセスするための聴覚ユーザーインターフェイスにおいてナビゲートするシステムに関するものであり(この装置は、少なくとも聴覚又は多モードユーザーインターフェイス用の手段と、ネットワーク装置への接続の手段を有している)、このシステムは、聴覚ユーザーインターフェイスの第2モードを起動及び解除する手段を有することを特徴としている。
本発明によれば、ネットワーク装置は、ネットワーク内のサーバーであるか、或いは、ピアツーピア接続を使用するネットワーク内のコンピュータ装置である。
本発明の好適な一実施例においては、端末装置内に組み込まれているTTSエンジンを使用している。実施例の中には、TTSエンジンをネットワーク内に配置可能なものも存在し、この結果、TTSエンジンは、端末装置に対して、標準及び高速プロンプトの両方を(或いは、この代わりに、端末装置の現在のモードに応じて、標準又は高速モードのいずれかを)提供する。本発明の一実施例においては、標準及び高速モードの両方において、事前定義された音声プロンプトを使用している。本発明の単純化された一実施例においては、高速モードにおける音声プロンプトは、単なる短いオーディオ信号(例:ビープ音)である。本発明の実施例の中には、特殊キー又はメニューアップ及びメニューダウンキーの長い押下によって高速モードが起動するものが存在する。本発明の実施例の中には、高速早送り/巻戻し動作のためのメニューアップ/ダウンファンクションキーの長い押下によって高速モードが起動し、標準早送り/巻戻し動作のためのメニューアップ/ダウンキーの解放により、高速モードが解除されるものが存在する。
従属請求項には、本発明のいくつかの実施例が記載されている。
本発明の以上の及びその他の目的、特徴、及び利点は、添付の図面に示されている本発明の好適な実施例に関する以下の詳細な説明を参照することにより、明らかとなろう。
本発明によれば、聴覚又は音声ユーザーインターフェイスは、メニュー構造をナビゲートするための2つのモードを具備しており、この2つのモードは、標準(又は、通常)モードと、高速モードである。尚、本明細書においては、標準モードを「第1モード」と呼び、高速モードを「第2モード」と呼ぶことにする。ユーザーインターフェイスにおいて、例えば、TTS(Text−To−Speech:テキストの音声読み上げ)合成によって生成された音声プロンプト又は事前定義された音声プロンプトを使用し、聴覚的な形態でメニューオプション(メニューアイテム)を提示可能である。第2モードが起動すると、例えば、それぞれの音声プロンプトの第1音節のみを提示することにより、メニューアイテムに対応する音声プロンプトが大幅に短縮される。そして、第2モードが解除されると、第1モードが使用され、メニューアイテムに対応する音声プロンプトが、完全な長さの音声プロンプトとして提示されることになる。
図1は、本発明による聴覚ユーザーインターフェイスにおけるナビゲーション用の2つのモードのフローチャートを示している。第1モードは、ブロック11によって示されており、第2モードは、ブロック12によって示されている。これら2つのブロック間の切り換えは、例えば、別個のキーの押下、メニューアップ/ダウンキーの長い押下、特殊音声キー、又は音声コマンドの付与などによるユーザーによるサイン(合図)の付与によって実行される。尚、このモードの選択は、ナビゲーションプロセスにおける実際の位置とは無関係である(即ち、ユーザーは、所望するときに、いつでもモードを変更可能である)。例えば、オペレーションが大きくブロックされることによってネットワーク接続が固定された期間の後に自動的に切断される際に発生するような、タイムアウト状態においては、モードは、第1(通常)モードに自動的に変化する。従って、タイムアウト後の既定のモードは、第1モードである。
図2は、本発明の一実施例による聴覚ユーザーインターフェイスにおけるナビゲーション方法のフローチャートを示している。ユーザーは、段階100において、端末装置内におけるナビゲーションプロセスを開始すると、段階102に示されているように、所望のメニューを選択するためのメインメニューが提供される。ここでは、このメニューが、完全に音声対応になっており、アイズフリー状態(例:自動車の運転中)において、TTSエンジンを使用して、ユーザーに対して提示されるものとしよう。端末装置が携帯電話機の場合には、メインメニューのトップレベルのメニュー構造は、書面の形態において、次のようなものであってよい(但し、実際には、これは、聴覚的な形態になっている)。
(1)メッセージ
(2)着信履歴
(3)プロファイル
(4)設定
(5)ゲーム
(6)計算機
(7)タスクリスト
(8)カレンダ
(9)赤外線
(10)ラジオ
(11)付加機能
(12)サービス
ユーザーは、アイテム(7)「タスクリスト」にメモを追加したい。しかしながら、彼は、このアイテムが、「タスクリスト」、「ノートブック」、「ポストイットステッカ」、「To−doリスト」、又はその他のこれらに類似の表現のいずれで呼ばれているのかを記憶していない。但し、経験豊富なユーザーである彼は、所望のアイテムが、メニュー構造内の中間付近に存在していることを記憶している。
本発明によれば、このユーザーには、手順を進めるための複数の代替方法が提供される。即ち、図2の段階104において、彼は、標準(第1)又は高速(第2)モードにおけるナビゲートを選択することができる。そして、彼が、既定のモード(これは、通常、第1モードである)からのモード変更を所望する場合には、段階106において、彼は、例えば、別個のキーの押下又は解放(押下の停止)、メニューアップ/ダウンキーの長い押下又はメニューアップ/ダウンキーの解放、特殊音声キー、或いは音声コマンドの付与などによるサインの付与によって第2モードを選択することができる。彼は、従来同様に、メニューを上方又は下方にブラウズする方法を選択可能である。この段階106におけるユーザーの選択が、メニューダウンキーの長い押下であったと仮定しよう。段階108において、次のアイテムが、メニューからフェッチされる。次いで、段階110において、2つのモードの中のいずれが選択されたのかをチェックする。そして、これが第2モードである場合には、段階112により、メニューアイテムが、短縮された形態で発せられることになる(例:「メッセージ」というテキストの第1音節である「メ」)。そして、これが所望の選択内容である場合には、ユーザーは、段階114において、キーの押下、又は「YES」に対応する音声コマンドの付与によってサインを与え、段階116に進んで、正しいアイテムが選択されることになる。但し、この例においては、「メ」は、正しい選択内容ではなく、ユーザーは、段階114において、キーの押下、又は「NO」に対応する音声コマンドの付与によってサインを与え、次の新しいメニューアイテムを取得するべく、段階124に進むことになる。そして、その同一のメニュー内に、まだ残りのアイテムが存在する場合には、ユーザーは、段階124〜段階126を経由して段階106に再度戻る。一方、ユーザーが、ナビゲーションプロセスの停止を所望するか、或いは新しいメニュー又はサブメニューの選択を所望する場合には、彼は、段階124から段階128に移行することになる。又、メニューのすべてのアイテムのナビゲーションを完了した場合にも、彼は、新しいメニューを選択するべく、段階126から段階128に移行する。
この例においては、ユーザーは、「タスクリスト」というアイテムがメニュー構造内の中間付近に存在することを知っている。これは、段階104においてモードを変更する必要がないことを意味しており、本発明によれば、ユーザーは、第2モードにおいてメニューアイテム1〜5を続けることになり、正しい選択オプションが彼に提示される前に、これらのアイテムが、「メッセージ−着信履歴−プロファイル−設定−ゲーム」としてではなく、例えば、「メ−チャ−プ−セ−ゲ」と発せられることになる。即ち、本発明によれば、ユーザーは、最初の5つのアイテムを高速早送りし、正しいメニューアイテムの選択肢が存在すると自分が合理的な自信を有するメニュー領域のみを詳細に聞くことができるのである。
所望のアイテムが存在する可能性が最も高いメニュー領域に位置した際に、ユーザーは、段階104において、第2モードから第1モードへのモード変更を決定することができる。この選択は、段階106において実行され、例えば、別個のキーの押下、メニューアップ/ダウンキーの長い押下又はこのキーの解放、特殊音声キー、又は音声コマンドの付与などによるサインの付与により、第2モードが解除される。尚、このサインは、前述のものの中のいずれであってもよく、複数のサインがモード変更に使用されている場合には、モードの変更に使用された以前のサインと無関係のものであってもよい。又、この目的に、端末装置内において1つのサインのみが使用されている場合には、ユーザーは、モードを変更するべく同一のサインを再度付与することになる。段階106において第2モードを解除した後に、段階110に表示されている条件が満足されないため、選択結果は、標準モードとなる(即ち、段階118による第1モード)。この段階104〜段階106によるモード変更の後に、次のメニューアイテムが第6番の「計算機」であるとしよう。この場合には、次のメニューアイテムは、段階118において、第1モードで、完全な長さの形態の「計算機」として提示されることになる。しかし、この場合には、これは、正しい選択肢ではなく、段階120に従って、ユーザーは、段階124及び段階126を経由してメニュー構造を前進する。そして、段階104において、再度、モード変更の可能性があるが、この場合には、ユーザーは、これを実行せず、現在のモードを続ける。次いで、段階118において、次のアイテムが、「タスクリスト」と発せられ、これは、ユーザーにとって正しい選択内容であるため、彼は、段階122において、このアイテムを選択し、メモをタスクリストである「タスクリスト」に追加する。従って、この例においては、この段階までに、本発明により、トップレベルメニューの上昇方向において、「メ−コ−プ−セ−ゲ−計算機−タスクリスト」という形態で、最初の7つのメニューアイテムが提示されている。この後に、ユーザーは、段階124(及び段階126)を経て、段階128において、新しいメニューの選択の実行を所望するか、或いは、段階129において、ナビゲーションの終了を所望するかを選択可能である。
尚、図2において、段階104及び段階106を有するループは、フローチャート内のどこにでも配置可能である(即ち、モード変更は、ユーザーが実行したいときに、いつでも実行可能である)ことに留意されたい。この同一のループは、図1にも示されている。
本発明の好適な一実施例においては、図2の段階104及び段階106において、メニューアップ/ダウンキーの長い押下によって第2モードを起動している。即ち、メニューアップ/ダウンキーを押下した状態を期間tだけ維持する間に、段階108、110、112、114、(116)、124、及び126からなるループにより、第2モードにおいて、高速音声スクロールが実行される。そして、期間tの後に、メニューアップ/ダウンキーが解放され、これは、メニューアップ/ダウンキーの長い押下を停止すること(即ち、キーの解放)によって、段階104及び106のサインが付与されることを意味するものであり、この結果、モードは、第1モードに変化する。次いで、ユーザーの所望に従ってモードが段階104及び106において再度変更されるまで、段階108、110、118、120、(122)、124、及び126のループにより、第1モードにおいて、標準音声スクロールが実行されることになる。
本発明の一実施例によれば、第2モードにおいて、それぞれのアイテムの第1音節をビープ音「ピッ」などの単純なオーディオ信号によって置換することができる。この場合には、本発明により、最初の7つのメニューアイテムは、トップレベルメニューの上昇方向において、「ピッ−ピッ−ピッ−ピッ−ピッ−カレンダ−タスクリスト」という形態で提示されることになる。本発明のいくつかの実施例によれば、ビープ音の代わりに、TTSエンジンによって生成されるその他のオーディオ信号や聴覚特性、又は、例えば、トーン、ピッチ、又これらの組み合わせなどの事前定義された音声プロンプトをそれぞれのメニューアイテム又はメニューアイテムのそれぞれのグループにリンクすることができる。
要約すれば、本発明の一実施例は、携帯電話機のユーザーインターフェイスにおけるメニューアイテムの高速音声スクロールである。本発明による高速(第2)モードナビゲーションを使用することにより、選択されたメニューアイテムの高速早送り又は高速巻き戻しが可能であり、次いで、正しい選択オプションを標準(第1)モードにおいて提示することができる。これにより、特に、ハンズフリー及アイズフリーな使用状況において、メニューナビゲーションが円滑に実行される。
本発明の別の実施例においては、ユーザーの過去の装置及びサービスの使用法に関する情報を正しい選択オプションを推奨するための基礎として使用している。即ち、最も可能性の高いオプションを、異なるトーン、ピッチ、又はその他の音声特性によって提示し、オプションの選択を円滑に実行可能である。尚、この種の機能拡張は、例えば、モバイルサービス(mサービス)などのサービスを推奨する「推奨エンジン」を実装した端末装置において可能である。
本発明の更なる一実施例は、携帯電話機内に1つのアプリケーションとして組み込まれているか、或いは別個のアクセサリ装置である音声対応MP3プレーヤの音楽アイテムのメニューである。ユーザーは、例えば、音楽作品名などの音楽アイテムのメニューから選択することにより、様々な音楽作品間で選択を実行することができる。しかしながら、すべての名前をTTS合成によってユーザーインターフェイスに提供すると、プロセスが非常に低速になる。又、特に経験豊富なユーザーの場合には、彼は、作品の大まかな順序を記憶しているであろう。この場合には、本発明によれば、所望の音楽アイテムが存在する可能性が低いメニュー領域を高速早送り又は高速巻戻しすることが可能である。
本発明のいくつかのその他の実施例について更に説明する。メニューアイテムが、端末内のインターネットブラウザ又はこれと類似したアプリケーションのユーザーインターフェイス内におけるニュースヘッドラインである場合には、類似のトピックが並ぶように、ヘッドラインを配列することができる。この結果、本発明により、ユーザーは、第1モードにおいて、ヘッドラインを聞いたり、第2モードにおいて、彼には関心のないトピックを高速で音声スクロールすることができる。電子メールの場合には、メニューアイテムは、送信者の名前が前に付加された電子メールヘッダであってよい。この結果、ユーザーは、その時点で彼には関心のない送信者からのメッセージを高速音声スクロールすることができる。パーソナルオーガナイザ、携帯電話機、PDA、又はその他の類似の装置の場合には、メニューアイテムは、締切日付/時刻の順番に配列されたカレンダ又はタスクリストのエントリであってよい。この結果、本発明により、ユーザーは、彼が関心のある大まかな時点に対応するエントリーに高速で音声スクロールすることができる(例:今日のメモから明日のメモ/来月のメモへ)。
図3aは、本発明の別の実施例のフローチャートを示している。図2に示されている本発明の実施例に加え、段階111において、第2モードの聴覚ユーザーインターフェイスにおけるメニューアイテム又はメニューアイテムのグループに対応する属性を設定可能になっている。この属性は、例えば、キーの押下又は解放、又はキーの組み合わせ、或いは、属性に対応する音声コマンドの付与による事前定義されたサインにより、ユーザーによって選択される。この属性は、連番又はアルファベット順のアイテム、特定タイプのニュースヘッドライン又は音楽アイテム、名前、電子メールアドレス又は送信者の名前が前に付加されたヘッダ、時間又は日付、或いはその他の種類の類似の属性選択基準によって定義されるメニュー内におけるその位置に対応するメニュー構造内の特定のメニューアイテム又はアイテムのグループであってよい。又、属性は、ユーザーの以前の使用法に関する情報に対応するものであってもよい。段階111において、属性オプションを設定すると、その属性によって選択されるアイテム又はアイテムのグループが、ユーザーがなんらの手順を講ずることなしに、その属性が有効でなくなるまで(即ち、その属性基準を満足しないアイテムにメニューがスクロールダウンされるまで)、第2モードにおいて自動的に実行されることになる。段階113において、第2モードのナビゲーションにおいて、その属性がアイテム又はアイテムのグループについて有効である場合には、段階112を経て、第2モードにおいて「属性ループ」が繰り返される。一方、その属性が無効の場合には、ユーザーは、図2に示されている本発明の実施例に従い、段階104及び106において、新しいモード(この場合には、第1モードのナビゲーションである)を選択するかどうかを問われることになる。尚、図3aの実施例において破線で示されているすべてのその他の段階は、図2に示されているものと同一である。属性は、様々な方法により、メニューアイテム内において定義可能であり、例えば、同一の文字から始まるアイテムのグループ、同一のオーディオ信号(ビープ音)によって提示されるアイテムのグループ、或いは、その他の類似の方法によるアイテムのグループなどであってよい。尚、図2に関連して説明した本発明のその他のすべての実施例を、この属性機能と共に実現することも可能である。従って、図3aのこの属性オプションは、本発明による図2の標準モードループにも適用可能である。
図3bは、本発明の任意選択による実施例のフローチャートを示している。図2において説明した本発明の実施例に加え、段階111において、第2モードループの聴覚ユーザーインターフェイスにおけるメニューアイテム又はメニューアイテムのグループに対応する属性を設定可能になっている。この属性は、例えば、キーの押下又は解放、又はキーの組み合わせ、又は属性に対応する音声コマンドの付与などによる事前定義されたサインにより、ユーザーによって選択される。この実施例においては、属性は、類似の内容を具備する連続したプロンプトに対応するメニュー構造内における特定のメニューアイテム又はアイテムのグループである。例えば、電子メールメッセージの場合には、メニューアイテムは、送信者の名前が前に付加された電子メールヘッダであってよい。図3bに示されている本発明の実施例によれば、この高速(第2)モードの属性の選択は、段階111において行われる。この例の場合には、この属性の選択内容が、電子メールメッセージの送信者の名前であるとしよう。ユーザーは、図3aに示されているように、彼には関心のない送信者からのメッセージを高速で音声スクロールすることができる。同一の送信者からのメッセージは、多数存在する可能性があり、それらのメッセージは、第2モードにおいて、送信者の名前によって表現される(例えば、年代順に表現され、最新のメッセージが最初に提示される)。「ジョン・スミス」という名前の場合には、第2モードにおける音声プロンプトは「ジョン」であってよい。そして、彼が5件の電子メールメッセージを送信している場合には、図3aに示されている高速モードナビゲーションによれば、「ジョン−ジョン−ジョン−ジョン−ジョン」という形態で提示されることになる。図3bに示されている任意選択の実施例によれば、この場合にも、高速モードの属性は、音声プロンプト「ジョン」である。ジョンからの最新のメッセージは、図3bにおける段階113、115、及び112により、音声プロンプト「ジョン」として第2モードにおいて提示される。しかし、この任意選択の実施例によれば、この第2モードプロンプト「ジョン」は、類似の連続したプロンプトが続くために、「仮想的」な第1モードプロンプトのように振る舞うことになる。即ち、この場合には、連続して類似のコンテンツを有するプロンプトは、段階117により、例えば、オーディオ信号「ピッ」などの「仮想的」な第2モードプロンプトによって置換され、この結果、最新のメッセージについて、音声プロンプト「ジョン」がメニューアイテムとして提示された後に、「超高速モード」が自動的に起動することになるのである。この結果、この例においては、名前を5回反復する代わりに、「ジョン−ピッ−ピッ−ピッ−ピッ」というプロンプトの繰り返しが、高速モードナビゲーションにおいて提示されることになる。超高速モードにおけるこのプロンプトは、TTSエンジン又は事前定義された音声プロンプトによって生成される好ましい類似の又は異なるオーディオ信号又は聴覚特性であってよく、例えば、トーン、ピッチ、又はこれらの組み合わせをそれぞれのメニューアイテム又はメニューアイテムのそれぞれのグループにリンクすることができる。尚、図2に関連して説明した本発明のすべてのその他の実施例も、この属性機能と共に実現可能である。従って、図3aによるこの属性オプションは、本発明による図2の標準モードループにも適用可能である。
図4には、本発明の一実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーションシステムのブロックダイアグラムが示されている。この実施例においては、TTSエンジン302は、端末装置30内に組み込まれており、この端末装置は、少なくとも聴覚又は多モード入力及び出力用のユーザーインターフェイス300、メモリ307と関連付けられたプロセッサユニット304、信号処理用のDSPユニット305、及びネットワーク33を通じてアプリケーションサーバー35から送信された高周波信号を受信(及び送信)する受信機又はトランシーバユニット338をも有している。プロセッサユニット304は、ユーザーインターフェイスを介してユーザーに対してメニューアイテムを提示するべく動作し、メモリユニット307は、メニューアイテム及び任意選択の属性を保存する。メニューアイテムをユーザーに提示するのに必要なその他の手段は、ボックス301によって示されている適切なドライバと関連付けられたラウドスピーカ、マイクロフォン、及びディスプレイである。端末装置には、任意選択により、推奨エンジン(図示されてはいない)をTTSエンジンとの関連で組み込むことができる。ボックス306は、例えば、別個のキーの押下又は解放、メニューアップ/ダウンキーの長い押下又はこのキーの解放、又は音声コマンドの付与による音声キーの使用などによって第2モードを起動/解除する入力手段を示している。TTSエンジン302は、第1モードナビゲーション310と第2モードナビゲーション312用の別個の「パイプライン」と、ボックス306内において実行された選択の内容に従って正しいモード314及び316を選択する手段を有するように構成されている。ボックス314及び316によって示されているこれらの手段は、例えば、スイッチであってよい。ネットワーク側における構成は、アプリケーションプログラム350と、サーバーと関連付けられた送信機351を少なくとも有している。ネットワーク内におけるこれら端末装置30及びアプリケーションサーバー35、又はピアツーピア接続を使用するネットワーク内のコンピューター間における通信は、TCP/IP、CDMA、HSCSD、GPRS、WCDMA、EDGE、UMTS、Bluetooth、Telsedic、Iridium、Inmarsat、WLAN、DIGI−TV、及びiモードの中の少なくとも1つに準拠した既存の通信システムによって実行される(但し、これらに限定されない)。
図5は、本発明の別の実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーションシステムのブロックダイアグラムを示している。この実施例においては、TTSエンジン454は、ネットワーク側43(アプリケーションサーバー45)内に組み込まれており、このサーバーは、アプリケーションプログラム450、信号処理用のプロセッサユニット455及び関連するメモリ451、及び端末装置40にネットワーク43を介して高周波信号を送信(及び受信)する送信機又はトランシーバユニット452をも有している。又、任意選択により、推奨エンジン(図示されてはいない)TTSエンジンとの関連で組み込むことも可能である。TTSエンジン454は、第1モードナビゲーション456と第2モードナビゲーション458用の別個の「パイプライン」と、正しいモードを選択する手段(ボックス457及び459)を有するように構成されている。尚、これらの手段は、例えば、スイッチであってよい。端末装置40は、少なくとも聴覚又は多モード入力及び出力用のユーザーインターフェイス400、ユーザーに対してメニューアイテムを提示するプロセッサユニット404、メニューアイテムを保存するメモリ407、信号処理用のDSPユニット405、及びネットワーク43を通じてアプリケーションサーバー45から高周波信号を受信(及び送信)する受信機又はトランシーバユニット402を有している。ボックス406は、例えば、別個のキーの押下又は解放、メニューアップ/ダウンキーの長い押下又はこのメニューアップ/ダウンキーの解放、或いは音声キーの使用又は音声コマンドの付与などによって第2モードを起動及び解除する入力手段を示している。信号処理は、第1モード及び第2モードプロンプトの両方を(或いは、この代わりに、端末装置の現在のモードに応じて、第1モード又は第2モードプロンプトのいずれかを)端末装置40のボックス405に供給するべく、ボックス454内において構成されている。ナビゲーションの現在のモードは、ボックス406内において実行された選択の結果に基づいている。ユーザーにメニューアイテムを提示するのに必要なその他の手段は、ボックス401によって示されている適切なドライバと関連付けられたラウドスピーカ、マイクロフォン、及びディスプレイである。端末装置40とアプリケーションサーバー45、又はピアツーピア接続を使用するネットワーク内のコンピュータ装置間における通信は、TCP/IP、CDMA、HSCSD、GPRS、WCDMA、EDGE、UMTS、Bluetooth、Telsedic、Iridium、Inmarsat、WLAN、DIGI−TV、及びiモードの中の少なくとも1つに準拠した既存の通信システムによって実行される(但し、これらに限定されない)。
本発明は、いくつかのその他の既存の方法と共に使用することにより、ユーザーインターフェイスにおけるナビゲーションプロセスをスピードアップ可能なエンドユーザー用の任意選択のユーザーインターフェイスの機能拡張である。本明細書においては、これらの方法の例として、その中の3つについて説明した。即ち、第1の方法は、TTS合成又は音声プロンプト提示全体の速度を加速化するものであった。ナビゲーションプロセスを高速化する第2の既存の方法は、ウェブブラウジングの分野において周知のように、手動によるショートカットの生成によってユーザーインターフェイスをカスタマイズするオプションをエンドユーザーに提供するものであった。そして、ナビゲーションプロセスをスピードアップする第3の方法は、デジタルサービスに対する自動的なショートカットをエンドユーザーに対して提供するものであった。少なくともこれらのすべての選択肢を、本発明の実施例を補完するべく使用可能である。
以上、本発明の現時点における好適な実施例について詳細に図示及び説明したが、当業者であれば、本発明が、本明細書において説明したこれらの実施例に限定されるものではないことを認識するであろう。本発明は、添付の請求項に規定された概念の精神と範囲を逸脱することなしに、その他の方法によって実施可能である。
(参照文献)
[1]米国特許第6188983号明細書(US6188983)「Method for Dynamically Altering Text−to−Speech(TTS) Attributes of a TTS Engine not Inherently Capable of Dynamic Attribute Alteration」
[2]国際特許第01/45086号明細書(WO 01/45086)「System and Method of Voice Browsing for Mobile Terminals Using Dual−Mode Wireless Connection」
本発明によるモードの選択方法のフローチャート。 本発明の一実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーション方法のフローチャート。 本発明の別の実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーション方法のフローチャート。 本発明の任意選択の実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーション方法のフローチャート。 本発明の一実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーションシステムのブロックダイアグラム。 本発明の別の実施例による聴覚ユーザーインターフェイスにおける高速ナビゲーションシステムのブロックダイアグラム。

Claims (30)

  1. デジタル装置及びサービスにアクセスするための聴覚ユーザーインターフェイスにおいてナビゲートする方法であって、
    前記聴覚ユーザーインターフェイスのメニューアイテムを起動する段階(100、102)と、
    前記聴覚ユーザーインターフェイスの第1オーディオコンテンツを有する第1モード(11、118)を提示する段階(102)と、
    前記聴覚ユーザーインターフェイスの第2モードを起動(104、106)のために提示する段階(12、112)であって、前記第2モードは、前記第1モードに対する代替選択肢であり、前記第2モードは、変更されたオーディオコンテンツからなり、前記変更は、前記第1モードのオーディオコンテンツに基づいている、段階と、
    を有する方法。
  2. 前記第1モードは、前記第2モードが起動されない場合に自動的に選択される請求項1記載の方法。
  3. 前記第1モードは、タイムアウト状態の後に自動的に選択される請求項1記載の方法。
  4. 前記第1モード及び第2モードは、前記ナビゲーションプロセスにおける段階とは無関係に、前記ユーザーによって切り替えられる請求項1記載の方法。
  5. 前記第1モードにおけるメニューアイテムは、TTS(Text−To−Speech:テキスト音声読み上げ)合成、事前定義された音声プロンプト、又はその他の聴覚手段によって生成される完全な長さの形態で提示される請求項1記載の方法。
  6. 前記第2モードにおけるメニューアイテムは、前記第1モードと比較して、TTS(Text−To−Speech)合成、事前定義された音声プロンプト、又はその他の聴覚手段によって生成される短縮された形態で提示される請求項1記載の方法。
  7. 前記第2モードのオーディオコンテンツは、前記第1モードのオーディオコンテンツとは異なりかつそれよりも短い請求項1記載の方法。
  8. 前記第2モードは、短縮された形態のメニューアイテムを有し、前記短縮された形態は、プロンプトの1つの音節、発せられたアイテムの番号、トーン、ピッチ、ビープ、なんらかの聴覚特性、前記アイテムを参照するなんらかのオーディオ信号の中の1つである請求項1又は6記載の方法。
  9. 前記聴覚ユーザーインターフェイスの前記第2モードにリンクされた属性を選択する段階(111)と、
    前記属性が有効な場合に、前記聴覚ユーザーインターフェイスの前記第2モードを選択する段階(112、113)と、
    を更に有する請求項1記載の方法。
  10. 前記メニューアイテム又はアイテムのグループに対応する前記第2モードにリンクされた前記属性は、前記第2モードにおける類似のコンテンツ及び類似の音声プロンプトを有する連続するアイテムについて定義されており、この結果、複数の前記音声プロンプトは、前記元の選択(104、106)に応じて前記第2モード(112)において提示される類似のプロンプトの第1の音声プロンプトを除き、前記第2モードにおいて、更に短いオーディオ又は聴覚信号(117)によって置換される請求項1、8、又は9の中のいずれか一項記載の方法。
  11. 前記第2モードにおける前記更に短いオーディオ又は聴覚信号(117)は、同一であるか或いは異なっている請求項10記載の方法。
  12. 前記メニューアイテム又はアイテムのグループに対応する前記属性は、前記メニュー内におけるその位置、前記ユーザーの以前の使用法に関する情報、アイテムの短縮された形態を参照するオーディオ信号のタイプ、又はなんらかの類似の属性基準に基づいており、前記属性は、前記第2モードにリンクされている請求項1記載の方法。
  13. 前記属性が前記ユーザーの前記以前の使用法に基づいている場合には、最も可能性の高い選択肢が、異なるトーン、ピッチ、又はなんらかの類似のタイプのオーディオ又は音声特性によって提示される請求項12記載の方法。
  14. 前記メニューは、聴覚ユーザーインターフェイスのメニューアイテムを有し、前記アイテムは、携帯電話機メニューの聴覚ユーザーインターフェイス内のアイテム、MP3プレーヤメニューの音楽アイテム、電子メールメニューの電子メールヘッダ、インターネットサービスメニューのニュースヘッドライン、コミュニケータ又はPDAメニューのカレンダ又はタスクリスト、デジタル装置又はサービスのメニューのその他のアイテムの中の1つである請求項1記載の方法。
  15. デジタル装置及びサービスのハンズフリー及びアイズフリーな使用法において使用される請求項1記載の方法。
  16. デジタル装置及びサービスにアセクスするための聴覚ユーザーインターフェイスにおいてナビゲートするためのシステムであって、端末(30、40)が、少なくとも前記聴覚ユーザーインターフェイス用の手段(300、400)と、ネットワーク装置(35、45)に対する接続用の手段(338、351、402、452)を有する、システムにおいて、
    前記聴覚ユーザーインターフェイスのメニューアイテムを起動する手段(304、307、404、407)と、
    前記聴覚ユーザーインターフェイスの第1オーディオコンテンツを有する第1モードを選択する手段(310、314、316、456、457、459)と、
    前記聴覚ユーザーインターフェイスの第2モードを起動及び解除する手段(306、310、314、316、406、458、457、459)であって、前記第2モードは、前記第1モードに対する代替選択肢であり、前記第2モードは、変更されたオーディオコンテンツから構成されており、前記変更は、前記第1モードの前記オーディオコンテンツに基づいている、手段と、
    を有するシステム。
  17. 前記第2モードが起動されない場合に、前記第1モードを自動的に選択する手段を有する請求項16記載のシステム。
  18. タイムアウト状態の後に、前記第1モードが自動的に選択される請求項16記載のシステム。
  19. 前記第1モードにおいて、TTS(Text−To−Speech)合成、事前定義された音声プロンプト、又はその他の聴覚手段によって生成される完全な長さの形態で前記メニューアイテムを提示する手段(300、301、304、305、400、401、404、405)を有する請求項16記載のシステム。
  20. 前記第2モードにおいて、TTS(Text−To−Speech)合成、事前定義された音声プロンプト、又はその他の聴覚手段によって生成される短縮された形態でメニューアイテムを提示する手段(300、301、304、305、400、401、404、405)を有する請求項16記載のシステム。
  21. 前記第2モードのオーディオコンテンツは、前記第1モードのオーディオコンテンツとは異なり、更に短い請求項16記載のシステム。
  22. 前記端末装置(30)内に組み込まれたTTSエンジン(302)を有する請求項16記載のシステム。
  23. 前記ネットワーク側(43、45)にTTSエンジン(454)を有し、前記TTSエンジンは、前記第1モード及び前記第2モードの両方あるいは前記端末装置(40)の現在のモードに応じて前記第1モード又は前記第2モードのいずれかで、音声プロンプトを提供する手段(456、457、458、459)を有している請求項16記載のシステム。
  24. 前記第2モードを自動的に起動する手段(306、406)を有することを特徴とする請求項16記載のシステム。
  25. 前記第2モードを起動及び解除する手段(306、406)を有し、前記手段は、別個のキーの押下、別個のキーの解放、メニューアップ/ダウンキーの長い押下、メニューアップ/ダウンキーの解放、特殊音声キー、音声コマンドの中の1つである請求項16記載のシステム。
  26. 前記メニューアップ/ダウンファンクションキーの長い押下(306、406)により、高速早送り/巻戻し動作が起動し、前記メニューアップ/ダウンキーの解放により、標準早送り/巻戻し動作が起動する請求項16記載のシステム。
  27. 前記第2モードにリンクされた属性を選択し、正しい選択について前記属性を評価する手段(304、307、404、407)を更に有する請求項16記載のシステム。
  28. 前記ユーザーの以前の使用法に関する情報に基づいた前記属性が、前記端末装置内に組み込まれた前記推奨エンジンによって生成される請求項16記載のシステム。
  29. 前記聴覚ユーザーインターフェイスは、多モードユーザーインターフェイス用の手段(300、400)を有している請求項16記載のシステム。
  30. デジタル装置及びサービスのハンズフリー及アイズフリーな使用法において使用される請求項16記載のシステム。
JP2004502598A 2002-04-29 2002-04-29 聴覚ユーザーインターフェイスにおける高速ナビゲーション方法及びシステム Pending JP2005524122A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2002/000363 WO2003094489A1 (en) 2002-04-29 2002-04-29 Method and system for rapid navigation in aural user interface

Publications (1)

Publication Number Publication Date
JP2005524122A true JP2005524122A (ja) 2005-08-11

Family

ID=29286315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004502598A Pending JP2005524122A (ja) 2002-04-29 2002-04-29 聴覚ユーザーインターフェイスにおける高速ナビゲーション方法及びシステム

Country Status (3)

Country Link
JP (1) JP2005524122A (ja)
AU (1) AU2002251113A1 (ja)
WO (1) WO2003094489A1 (ja)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
EP1665222A4 (en) * 2004-06-03 2008-01-16 Leapfrog Entpr Inc INTERACTIVE INTERFACE CREATED BY THE USER
KR100704622B1 (ko) * 2004-09-24 2007-04-10 삼성전자주식회사 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8862252B2 (en) * 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN109885226B (zh) * 2019-02-21 2021-06-11 浪潮云信息技术股份公司 一种基于Vue.js实现二级导航菜单的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2292500A (en) * 1994-08-19 1996-02-21 Ibm Voice response system
US6487277B2 (en) * 1997-09-19 2002-11-26 Siemens Information And Communication Networks, Inc. Apparatus and method for improving the user interface of integrated voice response systems
US6188983B1 (en) * 1998-09-02 2001-02-13 International Business Machines Corp. Method for dynamically altering text-to-speech (TTS) attributes of a TTS engine not inherently capable of dynamic attribute alteration
AU2001242000A1 (en) * 2000-03-10 2001-09-24 Ods Properties, Inc. Interactive wagering systems with streamlined telephone-based wagering

Also Published As

Publication number Publication date
WO2003094489A1 (en) 2003-11-13
AU2002251113A1 (en) 2003-11-17

Similar Documents

Publication Publication Date Title
JP2005524122A (ja) 聴覚ユーザーインターフェイスにおける高速ナビゲーション方法及びシステム
US8019606B2 (en) Identification and selection of a software application via speech
US9900414B2 (en) Mobile terminal and menu control method thereof
EP2243088B1 (en) Methods and apparatus for implementing distributed multi-modal applications
KR101143034B1 (ko) 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템
US9070292B2 (en) Information providing system and vehicle-mounted apparatus
JP6353786B2 (ja) ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
US8457611B2 (en) Audio file edit method and apparatus for mobile terminal
US7561677B2 (en) Communication conversion between text and audio
KR101346931B1 (ko) 터치 스크린을 구비한 전자 기기 및 이를 이용한애플리케이션 실행 방법
US20010014860A1 (en) User interface for text to speech conversion
US20110117971A1 (en) Method and apparatus for operating mobile terminal having at least two display units
US20080235583A1 (en) Method and System for File Fast-Forwarding and Rewind
WO2007081665A2 (en) Application user interface with navigation bar showing current and prior application contexts
CN102163080A (zh) 用于基于语音的菜单和内容导航服务的多模输入系统
US9699287B2 (en) Content search method and mobile terminal
EP1873752B1 (en) Mobile communication terminal and text-to-speech method
US9167394B2 (en) In-vehicle messaging
KR101335771B1 (ko) 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 입력방법
Sawhney Contextual awareness, messaging and communication in nomadic audio environments
KR20120047195A (ko) 입력 신호에 따른 화면 변화 제어 방법 및 이를 지원하는 휴대 단말기
KR100698194B1 (ko) 이동 단말기, 및 이동 단말기에서의 티티에스 기능 제공방법
JP2000305749A (ja) 音声による情報提供装置
JP2001005634A (ja) 電子メール受信装置
Lai et al. Speech Trumps Finger: Examining Modality Usage in a Mobile 3G Environment

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090714