JP2002524806A - 音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース - Google Patents

音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース

Info

Publication number
JP2002524806A
JP2002524806A JP2000569391A JP2000569391A JP2002524806A JP 2002524806 A JP2002524806 A JP 2002524806A JP 2000569391 A JP2000569391 A JP 2000569391A JP 2000569391 A JP2000569391 A JP 2000569391A JP 2002524806 A JP2002524806 A JP 2002524806A
Authority
JP
Japan
Prior art keywords
entry
network object
grammar
context
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000569391A
Other languages
English (en)
Inventor
シー. ウィーバー、ディーン
Original Assignee
ワン ボイス テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22534628&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002524806(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ワン ボイス テクノロジーズ インコーポレーテッド filed Critical ワン ボイス テクノロジーズ インコーポレーテッド
Publication of JP2002524806A publication Critical patent/JP2002524806A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

(57)【要約】 発語、音声処理および自然言語処理を使用してコンピュータを介してネットワーク・オブジェクトと対話するシステムおよび方法。データ定義ファイルは、ネットワーク・オブジェクトおよび音声プロセッサを関連付ける。データ定義ファイルは、文法ファイルを含むネットワーク・オブジェクトを自然言語プロセッサに対して関連付けるメモリ構造を包含する。音声プロセッサは、上記発語に対する照合対象語句に関して第1文法ファイルを検索し、もし上記第1文法ファイル内で上記照合対象語句が発見されなければ上記照合対象語句に関して第2文法ファイルを検索する。上記システムはまた、上記照合対象語句に対する一致エントリに関してデータベースを検索する自然言語プロセッサ;および、もし上記一致エントリが上記データベース内で発見されたならば該一致エントリに関連付けられた動作を実施するアプリケーション・インタフェースも含む。上記システムは文脈固有文法を利用することにより、音声認識および自然言語処理の効率を高める。更に上記システムは、単語および語句ならびにそれらの関連意味を適合的にかつ対話的に“学習”する。

Description

【発明の詳細な説明】
【0001】 (発明の背景) I.発明の分野 本発明はネットワーク・コンピュータ用ユーザ・インタフェースの音声認識に
関する。より詳細には本発明は、音声認識および自然言語処理を使用してユーザ
とコンピュータが対話する新規な方法およびシステムに関する。本発明は、19
98年9月10日に出願されて“音声認識および自然言語処理を使用した対話型
ユーザ・インタフェース”と称された米国特許出願第09/150,459号の
一部継続出願である。
【0002】 II.関連技術の説明 コンピュータが普及するにつれ、コンピュータの理解およびコンピュータとの
対話が多くの人々に取り困難であることが明らかとなっている。コンピュータ操
作の為にユーザは、原始的なコマンドおよび直感的でない手順を学ぶべき場合が
多い。例えば殆どのパーソナルコンピュータは、概してメニュー主導であるウィ
ンドウズ(登録商標)式のオペレーティング・システムを使用する。故にユーザ は、どのメニュー・コマンドもしくは一連のコマンドが所望結果を与えるのかを 学ぶ必要がある。
【0003】 更に、コンピュータに対する習用の対話はキーボードもしくはマウスなどの手
動入力デバイスの故に遅くなることも多い。多くのコンピュータ・ユーザは熟練
タイピストではない。その結果、これらの手動入力デバイスによりコンピュータ
にコマンドおよび単語を入力するには相当の時間が掛かる。故に、コンピュータ
、ならびに、ウェブ・サイトなどのネットワーク・オブジェクトと対話する為の
容易かつ高速で更に直感的な方法が必要なことは明らかである。
【0004】 コンピュータとの対話の為に提案されたひとつの方法は、音声認識である。音
声認識は、人間の音声を音響的に検出すると共に検出された音声を一連の単語へ
と翻訳すべく協働するソフトウェアおよびハードウェアを必要とする。当業界に
おいて公知である如く音声認識は、ハードウェアが検出した音を、音素(pho
neme)と称される分割不能な更に小さな音へと分解することで機能する。各
音素は別個の音の単位である。例えば“those”という単語は3個の音素か
ら成り;第1の音素は“th”音であり、第2の音素は“o”音であり、第3の
音素は“s”音である。音声認識ソフトウェアは、検出された各音素を記憶辞書
からの既知の各単語と一致させるべく試行する。音声認識システムの一例は、1
998年11月8日に発行されて“音声認識装置および方法”と称され且つDr
agon Systems,Inc.に譲渡された米国特許第4,783,80
3号に与えられるが、該米国特許第は言及したことにより本明細書中に援用する
。現在では、Dragon Systems,Inc.およびInternat
ional Business Machines Inc.などの会社から市
販された多くの音声認識ソフトウェア・パッケージが在る。
【0005】 これらの音声認識ソフトウェア・パッケージもしくはシステムのひとつの制限
は、それらが通常はコマンドおよび制御もしくは聴音書取(dictation
)機能のみを実施することである。故にユーザは依然として、コンピュータを操
作する為にはコマンドの用語集を学ぶ必要がある。
【0006】 これらの音声認識システムに対して提案された改良は、検出された単語を自然
言語処理システムを用いて処理することである。自然言語処理は一般的に、検出
された単語の文法的関係および相対的文脈を分析することにより各単語の概念的
“意味”(例えば、話し手が意図している意味)を決定する必要がある。例えば
1989年12月12日に発行されると共に“自然言語テキストに対するパーサ
(PARSER)”と称され且つInternational Busines
s Machines Inc.に譲渡された米国特許第4,887,212号
は言及したことにより本明細書中に援用するが、該米国特許第は単語分離、形態
学的分析、辞書検索および文法分析を使用して入力単語ストリームを解析する方
法を教示している。
【0007】 音声認識とともに自然言語処理を使用すると、話された単語を使用して、キー
ボードもしくはマウスなどの手動入力よりも強力なコンピュータの操作ツールが
提供される。しかし乍ら従来の自然言語処理システムのひとつの欠点は、音声認
識システムにより検出された単語の正しい“意味”を自然言語処理システムが決
定し得ない可能性があることである。斯かる場合にユーザは通常、次回の試行で
はその自然言語処理システムが正しい“意味”を決定することを期待してその語
句を言い換えたり言い直したりする必要がある。これは、ユーザが文もしくはコ
マンドの全体を言い直す必要があるときに相当の遅延に繋がるのは明らかである
。従来システムの別の欠点は、音声認識に必要な処理時間が法外に長くなり得る
ことである。これは主として、処理されるべき大量の情報と比較して処理リソー
スの速度が有限だからである。例えば従来の多くの音声認識プログラムはおいて
は検索される辞書ファイルのサイズの故に、発語(utterance)の認識
に要する時間は長い。
【0008】 従来の音声認識/自然言語処理システムの更なる欠点は、それらが対話型で無
いので新たな状況に対処し得ないことである。未知のもしくは新たなネットワー
ク・オブジェクトにコンピュータ・システムが遭遇したとき、コンピュータとオ
ブジェクトとの間には新たなリレーションシップが形成される。故に従来の音声
認識/自然言語処理システムは、それまで未知であったネットワーク・オブジェ
クトにより課された新たなリレーションシップに起因する状況には対処し得ない
。結果として、コンピュータとの会話形式対話は不可能である。ユーザは、完全
な概念をコンピュータに伝達する必要がある。ユーザはまた断片的な文を話すこ
とが出来ない、と言うのも、(以前の発語の意味に依存する)それらの断片的な
文の意味が失われるからである。
【0009】 必要なものは、上述の各欠点を回避する音声認識および自然言語処理を活用し
た、コンピュータとの対話型ユーザ・インタフェースである。 (発明の概要) 本発明は、発語、音声処理および自然言語処理を使用してコンピュータと対話
する新規で優れたシステムおよび方法である。概略的に上記システムは音声プロ
セッサを含むが、該音声プロセッサは、上記発語に対する照合対象語句に関して
第1文法ファイルを検索し、且つ、もし上記第1文法ファイル内で上記照合対象
語句が発見されなければ上記照合対象語句に関して第2文法ファイルを検索する
。上記システムはまた、上記照合対象語句に対する一致エントリに関してデータ
ベースを検索する自然言語プロセッサ、および、もし上記一致エントリが上記デ
ータベース内で発見されたならば該一致エントリに関連付けられた動作を実施す
るアプリケーション・インタフェースも含む。
【0010】 好適実施例において上記自然言語プロセッサは、上記一致エントリが上記デー
タベース内で発見されなければ上記データベース、上記第1文法ファイルおよび
上記第2文法ファイルの少なくともひとつを上記照合対象語句により更新する。
【0011】 上記第1文法ファイルは文脈固有文法ファイルである。文脈固有文法ファイル
とは、特定主題に相当に関連する単語および語句を含むファイルである。上記第
2文法ファイルは一般文法ファイルである。一般文法ファイルとは、文脈に鑑み
て解釈の不要な単語および語句を含むファイルである。すなわち、上記一般文法
ファイル内の単語および語句は一切の起源文脈に属さない。本発明では上記一般
文法ファイルを検索する前に上記文脈固有文法ファイルを検索することから、ユ
ーザは更に会話的な形式でコンピュータと意志疎通でき、その場合に話された単
語は、もし上記文脈固有文法ファイル内で発見されれば、最も最近に話された主
題に鑑みて解釈される。
【0012】 本発明の更なる側面において上記音声プロセッサは、もし上記照合対象語句が
上記一般文法ファイル内で発見されなければ上記照合対象語句に関して聴音書取
文法を検索する。上記聴音書取文法は、一般的な単語および語句の大規模な用語
集である。上記文脈固有文法および一般文法を最初に検索することにより音声認
識時間が相当に短縮されることが期待されるが、これは、上記文脈固有文法およ
び一般文法は上記聴音書取文法よりも物理的に小さいからである。
【0013】 本発明の別の側面において上記自然言語プロセッサは、上記データベースを検
索する前に上記照合対象語句の少なくとも一個の単語を置換する。この置換は、
上記照合対象語句の少なくとも一個の単語をワイルドカードで置換する上記自然
言語プロセッサ内の変数リプレーサにより達成され得る。上記語句内の(“単語
変数”と称される)一定の単語をワイルドカードで置換することにより、上記デ
ータベース内のエントリ数は相当に減少され得る。更に上記自然言語プロセッサ
内の代名詞サブスティテュータは上記照合対象語句内の代名詞を固有名称に置換
することにより、上記データベース内にユーザ特有事実が記憶されるのを許容す
る。
【0014】 本発明の別の側面において文字列フォーマッタは上記データベースを検索する
前に上記照合対象語句をテキスト・フォーマットする。また単語ウェイタは、上
記データベースを検索する前に個々の単語の相対有意性に従い上記照合対象語句
内の個々の単語を加重する。これらの工程によれば上記データベースの更に高速
かつ正確な検索が許容される。
【0015】 上記自然言語プロセッサ内の検索エンジンは、上記一致エントリに対する確信
値を生成する。また上記自然言語プロセッサは上記確信値をスレッショルド値と
比較する。ブーリアン・テスタは、上記照合対象語句からの必要個数の単語が上
記一致エントリ内に存在するか否かを決定する。このブーリアン・テストは、上
記検索エンジンにより戻される結果を検証する役割を果たす。
【0016】 上記照合対象語句からの必要個数の単語が上記一致エントリ内に存在しなけれ
ば、曖昧さを排除すべく上記自然言語プロセッサはユーザに対し、上記一致エン
トリが上記発語の正しい解釈であるか否かを問い質す。上記一致エントリが上記
発語の正しい解釈でなければ、上記自然言語プロセッサはユーザに対し付加的情
報を問い質す。この付加的情報により、上記データベース、上記第1文法ファイ
ルおよび上記第2文法ファイルの少なくともひとつが更新される。この様にして
本発明は付加的な発語の意味を適合的に“学習”することにより、上記ユーザ・
インタフェースの効率を高める。
【0017】 上記音声プロセッサは、引き続く発語に対する引き続く照合対象語句に関連付
けられた文脈固有文法を有効化して検索する。これにより、最も適切な単語およ
び語句が最初に検索されて音声認識時間を短縮することが確実となる。
【0018】 概略的に本発明は、ウェブ・ページなどのネットワーク・オブジェクトとの音
声対話の為にコンピュータを更新する方法を含む。最初に、上記ネットワーク・
オブジェクトを上記音声対話システムに関連付けるネットワーク・オブジェクト
・テーブルがネットワークを介して上記コンピュータへと転送される。上記ネッ
トワーク・オブジェクト・テーブルの場所は、特定のインターネット・ウェブ・
サイトにて、または、複数のネットワーク・オブジェクトに対するネットワーク
・オブジェクト・テーブルを記憶する統合箇所にて、上記ネットワーク・オブジ
ェクト内に埋め込まれる。上記ネットワーク・オブジェクト・テーブルは、上記
ネットワーク・オブジェクトに一致するエントリに関して検索される。上記ネッ
トワーク・オブジェクトにエントリが一致すると、テキスト音声がスピーカから
音声発生され、文脈固有文法ファイルが使用され、または、自然言語プロセッサ
・データベースが使用されるなどの動作が行われ得る。上記ネットワーク・オブ
ジェクト・テーブルは、ダイアログ定義ファイルの一部とされ得る。ダイアログ
定義ファイルは、文脈固有文法ファイルを、または、自然言語プロセッサ・デー
タベースに対するエントリを、または両者を含み得る。
【0019】 本発明の別の側面において、ネットワーク・インタフェースは上記ネットワー
ク上からダイアログ定義ファイルを転送する。上記ダイアログ定義ファイルはネ
ットワーク・オブジェクト・テーブルを含む。データ・プロセッサは、上記ネッ
トワーク・オブジェクトに一致するテーブル・エントリに関して上記ネットワー
ク・オブジェクト・テーブルを検索する。この一致テーブル・エントリが発見さ
れたなら、アプリケーション・インタフェースは上記一致エントリにより特定さ
れた動作を実施する。
【0020】 本発明の別の側面においては、ネットワークと関連付けられたダイアログ定義
ファイルが発見されて読み出される。上記ダイアログ定義ファイルは、ウェブ・
サイト、記憶媒体などの種々の場所から、または、複数のネットワーク・オブジ
ェクトに対するダイアログ定義ファイルを記憶する場所から読み出され得る。上
記ネットワーク・オブジェクトに一致するテーブル・エントリを発見すべく、上
記ダイアログ定義ファイル内に含まれたネットワーク・オブジェクト・テーブル
が検索される。上記一致エントリは上記ネットワーク・オブジェクトと関連付け
られた動作を定義し、その動作はその後に上記システムにより実施される。ネッ
トワーク・オブジェクト・テーブルの他にも、上記ダイアログ定義ファイルは文
脈固有文法を、自然言語プロセッサ・データベースに対するエントリを、または
両者を含み得る。
【0021】 本発明の特徴、目的および利点は添付図面に関して以下に示された詳細な説明
から更に明らかとなるが、同一の参照符号は各図を通して対応している。 (好適実施例の詳細な説明) 次に、図1の好適なコンピュータ・システム100の機能ブロック図を参照し
て本発明を開示する。図1においてコンピュータ・システム100は、中央処理
ユニット(CPU)102を含んでいる。CPU 102は、図3A乃至図3D
に関して本明細書中で記述される方法を実施すべく適切にプログラムされた当業
界では公知の任意の汎用マイクロプロセッサもしくはマイクロコントローラとさ
れ得る。上記CPUをプログラムするソフトウェアは記憶媒体108から、又は
、コンピュータ・ネットワークを介した別の場所から読み取られ得る。例えばC
PU 102は、Intel社などにより製造されたPentium IIプロ
セッサなどの習用のマイクロプロセッサとされ得る。
【0022】 CPU 102は、ディスプレイ104、手動入力器106、記憶媒体108
、マイクロホン110、スピーカ112、データ入力ポート114およびネット
ワーク・インタフェース116などの複数の周辺装置と通信する。ディスプレイ
104は、ユーザに対してイメージおよびテキストを視覚表示する当業界で公知
のCRT、LCD画面、タッチパネルまたは他のモニタなどの視覚的ディスプレ
イとされ得る。手動入力器106は、習用のキーボード、キーパッド、マウス、
トラックボール、または、データの手動入力の為に当業界で公知の他の入力デバ
イスとされ得る。記憶媒体108は、磁気ディスク・ドライブ、フロッピー(登 録商標)・ディスク・ドライブ、CD−ROM、シリコン・メモリ、または、デ ータの記憶および読出しの為に当業界で公知の他のメモリ・デバイスとされ得る 。重要な点として、記憶媒体108はCPU 102から離間して配置され得る と共に、ローカル・エリア・ネットワーク(LAN)もしくはワイド・エリア・ ネットワーク(WAN)もしくはインターネットなどのネットワークを介してC PU 102に接続され得る。マイクロホン110は、CPU 102に対して オーディオ信号を提供する当業界で公知の任意の適切なマイクロホンとされ得る 。スピーカ112は、CPU 102からのオーディオ信号を再生する当業界で 公知の任意の適切なスピーカとされ得る。マイクロホン110およびスピーカ1 12は、適切ならばデジタル/アナログおよびアナログ/デジタル変換回路を含 み得る。データ入力ポート114は、RS−232、ユニバーサル・シリアル・ バスなどのデータ・プロトコルを使用して外部付属品とインタフェースする当業 界で公知の任意のデータ・ポートとされ得る。ネットワーク・インタフェース1 16は、コンピュータ・ネットワークを介してファイルを通信もしくは転送する 当業界で公知の任意のインタフェースとされ得るが、斯かるネットワークの例と しては、TCP/IP、イーサネット(登録商標)、またはトークン・リング・ ネットワークが挙げられる。これに加え、一定のシステム上にてネットワーク・ インタフェース116はデータ入力ポート114に接続されたモデムから成り得 る。
【0023】 故に図1は、コンピュータ・システム100の各機能要素を示している。コン
ピュータ・システム100の各要素は、上述の如き適切な既製の構成要素とされ
得る。本発明は、音声を使用してコンピュータ・システム100との人的対話を
行う方法およびシステムを提供する。
【0024】 図8に示された如くコンピュータ・システム100は、コンピュータ・ネット
ワークの集合であるインターネット700に接続され得る。インターネット70
0に接続する為に、コンピュータ・システム100はデータ入力ポート114に
接続されたモデムであるネットワーク・インタフェース116、または、当業界
で公知の他の任意の方法を使用し得る。ウェブ・サイト710、他のコンピュー
タ720および記憶媒体108もまた、当業界で公知の斯かる方法によりインタ
ーネットへと接続され得る。
【0025】 次に図2を参照すると、図2はCPU 102および記憶媒体108の拡大機
能ブロック図を示している。図2の各機能要素は全体的にソフトウェアもしくは
ハードウェアまたは両者にて具現され得ることは理解される。ソフトウェア実施
例の場合、そのソフトウェアは記憶媒体108にて、または、コンピュータ・ネ
ットワークを介した代替的箇所にて読み取られ得る。CPU 102は、音声認
識プロセッサ200、データ・プロセッサ201、自然言語プロセッサ202お
よびアプリケーション・インタフェース220を含む。データ・プロセッサ20
1は、ディスプレイ104、記憶媒体108、マイクロホン110、スピーカ1
12、データ入力ポート114およびネットワーク・インタフェース116とイ
ンタフェースする。データ・プロセッサ201によれば上記CPUは、これらの
ソースからデータを発見して読み出し得る。自然言語プロセッサ202は更に、
変数リプレーサ204、文字列フォーマッタ206、単語ウェイタ(word
weighter)208、ブーリアン・テスタ210、代名詞リプレーサ21
1および検索エンジン213を含んでいる。記憶媒体108は、複数の文脈固有
文法ファイル212、一般文法ファイル214、聴音書取文法216、および自
然言語処理(NLP)データベース218とを含んでいる。好適実施例において
各文法ファイル212、214および216は、ユーザが話す言語の構造を記述
するバッカス・ナウア記法(BNF)ファイルである。BNFファイルは言語の
構造を記述するものとして当業界で公知であることから、BNFファイルの詳細
は本明細書中では論じない。BNFファイルのひとつの利点は、語句もしくは単
語のシーケンスを記述する上でこれらの単語シーケンスの全ての組合せを明示的
に記述することなく、階層ツリー状構造が使用され得ることである。故に、該好
適実施例においてBNFファイルを使用することにより記憶媒体108内の各フ
ァイル212、214および216の物理的サイズは最小化され、以下に記述さ
れる如くこれらのファイルが有効化されて検索され得る速度が高まる。但し代替
実施例においては、他のファイル構造が使用される。
【0026】 次に図3A乃至図3Dのフローチャートを参照し、図2の各機能要素の動作お
よび相互作用を記述する。図3Aにおいて、フローはブロック300にて開始し
、音声プロセッサ200に対して発語(utterance)を提供する。発語
とは、始まりおよび終わりを有する一連の音であり、話された単語を一個以上含
み得る。話された単語を捕捉するマイクロホン110はブロック300の工程を
実施し得る。代替的に、発語はデータ入力ポート114を介して記憶媒体108
から音声プロセッサ200へと提供され得る。好適には、上記発語は公知の“.
wav”オーディオ・ファイル・フォーマットなどのデジタル・フォーマットで
ある。
【0027】 フローは判断302に進み、其処で音声プロセッサ200は、文脈固有文法2
12のひとつが有効化されているか否かを決定する。もし文脈固有文法212が
有効化されていれば、ブロック304にては各文脈固有文法212が検索される
。好適実施例において各文脈固有文法212は、起源文脈(parent co
ntext)に関する単語および語句を含むBNFファイルである。概略的に、
文脈が対象領域である。例えばパーソナルコンピュータに適用可能な本発明の一
実施例において、文脈の例は“ニュース(news)”、または“気象(wea
ther)”もしくは“株(stocks)”などである。斯かる場合に各文脈
固有文法212は、これらの文脈の夫々に対応するコマンド、制御単語、説明、
修飾語もしくはパラメータを含むことになる。各文脈を使用すると、情報の形式
に対して階層構造が提供される。各文脈およびそれらの用法は、NLPデータベ
ース218を参照して以下で更に説明する。
【0028】 もし文脈固有文法212が有効化されていれば、文脈固有文法212はブロッ
ク300にて提供された上記発語に対する一致に関して検索される。但し文脈固
有文法212が未だ有効化されていなければ、フローはブロック308へと進み
、其処で一般文法214が有効化される。
【0029】 好適実施例において一般文法214は単語および語句を含むBNFファイルで
あり、斯かる単語および語句自体は起源文脈に属しないが、文脈固有文法ファイ
ル212が存在する関連文脈を有し得る。換言すると、一般文法214中の単語
および語句は階層的文脈構造のルートに存在し得る。例えばパーソナルコンピュ
ータに適用可能な一実施例において、一般文法214はコマンドおよび制御語句
を含むことになる。
【0030】 ブロック310にて一般文法214は、ブロック300にて提供された発語に
対する照合対象単語もしくは語句に関して検索される。ブロック312にては、
一致が見られたか否かに依存して判定が為される。もし一致が見られなければ、
ブロック314にて聴音書取文法216が有効化される。好適実施例において聴
音書取文法216は各単語のリストを含むBNFファイルであり、各単語自体は
起源文脈も関連文脈も有さない。例えばパーソナルコンピュータに適用可能な一
実施例において、聴音書取文法216は一般的辞書に類似した一般的単語の比較
的に大きなリストを含んでいる。
【0031】 ブロック316にて上記聴音書取文法は、ブロック300にて提供された発語
の各単語に対する照合対象単語に関して検索される。判定ブロック318にて照
合対象単語が発見されなければ、ブロック320にてはディスプレイ104に視
覚的エラー・メッセージが選択的に表示され、または、スピーカ112により可
聴エラー・メッセージが選択的に再生される。而して上記プロセスは、ブロック
300にて音声プロセッサ200に対し別の発語が提供されるまで停止する。
【0032】 故に上記記述から理解され得る如く、音声プロセッサ200に対して発語が提
供されたとき、もし有効化された文脈固有文法ファイル212があれば、その文
脈固有文法ファイル212が先ず検索される。有効化された文脈固有文法ファイ
ル212内で一致が無ければ、一般文法214が有効化され且つ検索される。も
し一般文法214でも一致しなければ、聴音書取文法316が有効化され且つ検
索される。
【0033】 好適実施例において音声認識プロセッサ200が文脈固有文法212または一
般文法214のいずれかを検索しているとき、それは“コマンド/制御”モード
に在ると称される。このモードにおいて音声認識プロセッサ200は、発語全部
を全体として上記文法中の各エントリと比較する。これと対照的に、音声認識プ
ロセッサ200が上記聴音書取文法を検索しているとき、それは“聴音書取”モ
ードに在ると称される。このモードにおいて音声認識プロセッサ200は、聴音
書取文法216内の各エントリに対し、上記発語を一度に一単語ずつ比較する。
上記コマンド/制御モードにおいて発語全体に対する一致を検索することは、聴
音書取モードにおいて一度に一単語ずつ検索することよりも一般的に高速である
と期待される。
【0034】 更に、任意の個々の文脈固有文法212は一般文法214よりもサイズが小さ
く(すなわち合計の単語および語句が少なく)、一般文法214自体は聴音書取
文法216よりもサイズが小さいことも期待される。故に、有効化された任意の
文脈固有文法212を最初に検索すれば、少なくとも部分的な理由としてファイ
ル・サイズが小さい故に、一致があれば更に迅速に発見されると思われる。同様
に、聴音書取文法216の前に一般文法214を検索することにより、一致があ
れば更に迅速に発見されると思われる。
【0035】 また、文脈固有文法212および一般文法214の両者に対して適合的に付加
される本発明の機能に関して以下で更に説明される如く、これらの文法は最も一
般的な発語を含んでいる。その故に、聴音書取文法216におけるよりも文脈固
有文法212もしくは一般文法214における方が更に迅速に一致が発見される
ことが期待される。
【0036】 最後に、以下で更に説明される如く、有効化された文脈固有文法212におけ
る単語および語句はユーザにより発語される可能性が更に高いものである、と言
うのも、それらの単語および語句はユーザが最も最近に話した主題に相当に関連
する単語だからである。これにより、有効化された文脈固有文法212に従って
ユーザの各単語の意味が解釈され乍ら、ユーザは断片的な文を使用して更に会話
的な形式で話すことができる。
【0037】 本発明は上述のシーケンスで検索を行うことから、予測される全ての単語およ
び語句を含む単一の大きなリストで一度にひとつのエントリを検索するよりも更
に効率的な検索を行い得る。
【0038】 判定306に戻ると、文脈固有文法212内で一致が発見されたなら、図3A
に示された3つの可能的な次工程が在る。有効化された文脈固有文法212内の
各一致エントリに対し、音声認識プロセッサ200により行われる関連動作が在
り得る。ブロック322はひとつの動作がアプリケーション・インタフェース2
20に指示を行い、該アプリケーション・インタフェース220が別体のソフト
ウェア・アプリケーションもしくはエントリに関して一定の動作を行い得ること
を示している。例えばアプリケーション・インタフェース220は、Micro
softによる音声アプリケーション・プログラミング・インタフェース(SA
PI)規格を使用して外部アプリケーションと通信し得る。上記外部アプリケー
ションに対しては例えば、特定のインターネット・ウェブ・サイトURLにアク
セスすること、または、テキストを音声に変換して特定語句を話すこと、が指示
され得る。他の動作は、図4のNLPデータベース218に関して以下で更に論
じられる如く行われ得る。
【0039】 ブロック324は別の動作として、自然言語処理(NLP)データベース21
8におけるひとつの行(row)に直接的にアクセスすることにより、以下で更
に記述される各自然言語処理工程をバイパスし得ることを示している。ブロック
326は別の動作として、文脈固有文法306で発見された照合対象単語もしく
は語句に対し、有効化された文脈の単語もしくは語句を前方付属(prepen
d)し得ることを示している。例えば有効化された文脈が“映画(movies
)”であり且つ照合対象発語が“8時(8 o’clock)”であれば、単語
“映画”が語句“8時”に前方付属されて“8時の映画(movies at
8 o’clock)”という語句が形成される。
【0040】 同様に、もし一般文法214内に一致が発見されればフローは、ブロック32
2に進み其処でアプリケーション・インタフェース220に上記の動作を行うこ
とを指示し、または、ブロック324に進み其処でNLPデータベース内のひと
つの行が直接的にアクセスされる。但し一般文法214において一致が発見され
たときに文脈の前方付属は生じない、と言うのも、上述の如く一般文法214内
の各エントリはそれら自体が起源文脈を有さないからである。
【0041】 代替的に、ブロック301にては手動入力された単語が捕捉され、上記自然言
語プロセッサへと入力される。 最後に図3Aを参照すると、各単語は手動入力器106を介して手動で入力さ
れ得る。この場合に音声認識は不要であるが、入力された単語の自然言語処理は
依然として望ましい。故にフローは図3Bへと進む。
【0042】 図3Bのブロック328において、自然言語プロセッサ202は自然言語処理
分析の為に上記語句をフォーマットする。このフォーマットは、文字列フォーマ
ッタ206により達成されると共に、各単語間の二重空白を除去し、全ての文字
を小文字(もしくは大文字)にし、短縮を広げる(例えば、“it’s”を“i
t is”に変更する)などのテキスト処理を含み得る。このフォーマット工程
の目的は、語句を解析に対して準備することである。
【0043】 フローはブロック330へと続き、該ブロックにては、NLPデータベース2
18へのアクセスに備えて変数リプレーサ204により関連ワイルドカード機能
により一定の“単語変数(word−variable)”が置換される。本明
細書中で使用される“単語変数”とは、量、日付、時間、通貨などを表す単語も
しくは語句を指している。例えば一実施例において“8時にはどの映画が放映さ
れるか(what movies are playing at 8 o’c
lock)”という語句はブロック330にて“時間にはどの映画が放映される
か(what movies are playing at time)”と
変換されるが、この場合に“時間(time)”は任意の時間値を表すべく使用
されるワイルドカード機能である。別の場合の一実施例においては、“IBMの
株を100ドルで売る(sell IBM stock at 100 dol
lars)”という語句はブロック330にて“IBMの株をドルで売る(se
ll IBM stock at dollars)”と変換されるが、この場
合に“ドル(dollars)”は任意のドル値を表すべく使用されるワイルド
カード機能である。この工程は簡単なループにより達成され得るが、該ループは
“ドル”もしくは“時(o’clock)”などの単語であるキー・トークンに
関して語句を検索し、且つ、特定のワイルドカード機能により単語変数を置換す
るものである。置換が行われた語句内の箇所を追跡する為に配列が使用され得る
。これにより、NLPデータベース218が検索された後で一定の位置にて上記
語句へと元の単語変数を戻すべく再置換することが許容される。
【0044】 ブロック330にて単語変数を関連ワイルドカード機能により置換する目的は
、NLPデータベース218内に存在すべきエントリの個数を減少することであ
る。例えばNLPデータベース218は、8時(8 o’clock)、9時(
9 o’clock)、10時(10 o’clock)などの別体のエントリ
ではなく、“時間にはどの映画が放映されるか(what movies ar
e playing at time)”という語句のみを含む。NLPデータ
ベース218は以下で更に記述される。
【0045】 ブロック332にては、上記語句内の各代名詞が代名詞リプレーサ211によ
り適切な名称で置換される。例えば一実施例において、代名詞“私(I)”、“
私の(my)”もしくは“私のもの(mine)”は話し手の氏名で置換される
。この工程の目的は、ユーザがNLPデータベース218内にユーザ特有の事実
を記憶してアクセスするのを許容することである。例えば“誰が私の子供ですか
(who are my children)”という文は、“誰がDeanの
子供ですか(who are Dean’s children)”に変換され
、この場合に“Dean”は話し手の固有名称である。此処でも、この工程は簡
単なループにより達成され得るが、該ループは、代名詞に関して上記語句を検索
し、発見された代名詞を適切な固有名称に置換する。置換が行われた語句内の箇
所を追跡する為に配列が使用され得る。
【0046】 ブロック334にては語句内の個々の単語が単語ウェイタ208により、該語
句の全体的意味に対する“重要性”もしくは“有意性”に従い加重される。例え
ば一実施例においては、割当てられる3種の加重係数が在る。最低加重係数は、
“a”、“an”、“the”および他の品詞などの単語に割当てられる。最高
加重係数は、上記語句の意味に対して有意性を有すると思われる単語に対して与
えられる。例えばそれらの単語とは、NLPデータベース218内の全ての動詞
、名詞、形容詞および固有名称である。中間加重係数は、上記語句内の他の全て
の単語に与えられる。この加重の目的は、NLPデータベース218に対する更
に強力な検索を許容することである。
【0047】 図4には、一実施例におけるNLPデータベース218の選択列の例が示され
ている。NLPデータベース218は複数の列400〜410および複数の行4
12A〜412Nを備えている。列400において各エントリは、上記NLPデ
ータベースに対して“既知”の語句を表している。列402においては、列40
0における各エントリに対して必要な単語の個数が示される。列404において
は、列400における各エントリに対する関連文脈または下位文脈が示される。
列408および410においては、列400における各エントリに対し、一個以
上の関連動作が示される。尚、図4に示されたNLPデータベース218は本発
明を教示すべく簡素化された例に過ぎないことを銘記されたい。他の実施例は、
種々のエントリにより更に多くのもしくは更に少ない列を有し得る。
【0048】 図3Bに戻ると、ブロック336にてNLPデータベース218は、該NLP
データベース218の列400内のエントリが上記語句内の各単語(またはそれ
らの同義語)のいずれかを含むか否かということと、これらの単語の相対重みと
に基づき、上記語句に対する可能的一致に関して検索される。ブロック338に
ては、上記語句内における各単語の発生回数と、各単語の相対重みとに基づき、
可能的一致エントリの各々に対して確信値が生成される。データベースの加重単
語検索は当業界で公知であり、且つ、バージニア州、アーリントンのDT So
ftware, Inc.による製品“dtsearch”などの市販の検索エ
ンジンにより実施され得る。同様に、同義語を使用した検索は、当業界で公知で
あり、且つ、ニュージャージー、プリンストンのプリンストン大学の認識科学研
究所(Cognitive Science Laboratory)により開
発された“WordNet”の如き公開ツールなどを使用して達成され得る。上
記検索エンジンは、自然言語プロセッサ202の一体的部分とされ得る。
【0049】 判定340にて自然言語プロセッサ202は、可能的一致エントリのいずれか
が、一定の所定最小スレッショルドT以上である確信値を有するか否かを決定す
る。このスレッショルドTは、NLPデータベース218内の各エントリのいず
れかに対して上記語句が一致したか否かに関する判定が為される為の容認可能最
低確信値を表す。もしT以上の確信値を有する可能的一致エントリが無ければフ
ローはブロック342へと進み、選択的エラー・メッセージがユーザに対してデ
ィスプレイ104上で視覚的表示され、または、スピーカ112を介して音響的
に再生される。一実施例においてユーザに対して表示されるエラー・メッセージ
があれば、そのエラー・メッセージの形式は、最高確信NLPデータベース・エ
ントリ内で何個の“適合(hit)”(すなわち、上記語句の何個の照合対象単
語)が発見されたかに依存し得る。また、ゼロもしくは1個の適合であった場合
には、2個以上の適合だった場合とは異なる形式のエラー・メッセージが生成さ
れる。
【0050】 但しNLPデータベース218内において、当該エントリに対してT以上の確
信値が存在する少なくとも一個のエントリが在れば、フローはブロック344へ
と進み其処で上記語句からは“ノイズ(noise)”単語が廃棄される。“ノ
イズ”単語としては、上記語句内の他の単語と比較して該語句の全体的意味に関
してそれほど寄与しない単語が挙げられる。斯かる単語としては、冠詞、代名詞
、接続詞、および同様の性質の単語が挙げられる。“非ノイズ(non−noi
se)”単語は、上記語句の全体的意味に関して相当に寄与する単語が挙げられ
る。“非ノイズ”単語としては、動詞、名詞、形容詞、固有名称、および同様の
性質の単語が挙げられる。
【0051】 フローは図3Cに進みブロック346にては、最高確信一致エントリに関して
NLPデータベース218の列402から非ノイズ単語要件が読出される。例え
ば、もし最高確信照合対象語句が行412A内のエントリ(例えば、“時間には
どの映画が放映されるか(what movies are playing
at time)”)であれば、非ノイズ単語必要個数は3である。
【0052】 判定348にては、上記語句からの非ノイズ単語必要個数が、NLPデータベ
ース218から読出された最高確信エントリ内に実際に存在するか否かを決定す
るテストが行われる。このテストはブロック336において実施された適合形式
検索(relevance−style search)の精度の検証であり、
上記語句と容認可能に一致しなくてもエントリは最小スレッショルドTよりも大
きな確信値を生成する可能性が在ることは理解される。
【0053】 判定348で実施される上記テストの性質は、ブーリアン・テスタ210によ
り実施される論理的“AND”テストである。このテストは、上記語句(もしく
はその同義語)内の非ノイズ単語の各々が上記最高確信エントリ内に実際に存在
するか否かを決定するものである。もし上記最高確信エントリ内に実際に存在す
る十分な個数の必要単語が在れば、フローはブロック350へと進み、其処で自
然言語プロセッサ202はアプリケーション・インタフェース220に対して列
408もしくは410からの関連動作を行うことを指示する。付加的な動作列も
存在し得ることは理解されよう。
【0054】 例えば、最高確信エントリが行412A内のエントリであり、且つ、判定34
8のブーリアン・テストが、列400内のエントリ内の語句には実際に3個の非
ノイズ単語が在ることを決定したなら、列408における関連動作(例えば、映
画ウェブ・サイトにアクセスする)が行われる。上記NLPデータベースにおけ
る他の各エントリは他の関連動作を有する。例えば、最高確信エントリが行41
2Eにおけるエントリ(例えば、“いま何時(what time is it
)”)であれば関連動作は、自然言語プロセッサ202が(不図示の)テキスト
/音声アプリケーションに対し、スピーカ112を介してユーザに現在時刻を音
声発生することを指示することである。他の例として、もし最高確信エントリが
行412Nのエントリ(例えば、“ニュースを見せて下さい(show me
the news)”)であれば、第1の関連動作はインターネット上の所定の
ニュース・ウェブ・サイトにアクセスすることであり、且つ、第2の関連動作は
(不図示の)イメージ表示アプリケーションに対し、上記ニュースに関連するイ
メージを表示することを指示することであり得る。別のもしくは付加的な動作も
実施され得る。
【0055】 同様に、もし最高確信エントリが判定348で決定された如き上記語句からの
非ノイズ単語必要個数を含むならば、自然言語プロセッサ202は音声認識プロ
セッサ200に対し、列404の関連文脈に対して文脈固有文法212を有効化
することを命令する。故に行412Aに対しては、“映画(movies)”と
いう文脈に関する文脈固有文法212が有効化される。故に、図3Aのブロック
300にて音声認識プロセッサ200に対して次の発語が提供されたとき、音声
認識プロセッサ200は一般文法214を検索する前に“映画(movies)
”に対する有効化文脈固有文法212を検索する。前述の如く、適切な文脈固有
文法212を有効化すると高速で好結果な音声認識の可能性が高まると共に、会
話的な形式でコンピュータと対話するユーザの能力が強化される。
【0056】 但し判定348にて、NLPデータベース218から読出された最高確信エン
トリ内に上記語句からの非ノイズ単語必要個数が実際に存在しなければ、フロー
はブロック354に進み、其処でユーザはディスプレイ104もしくはスピーカ
112を介し、最高確信エントリが表されたか否かが問われる。例えばユーザが
“今日のIBM株の売りはいくらか(How much is IBM sto
ck selling for today)”と発語すると、NLPデータベ
ース218内の最高確信エントリは行412B内のエントリである。この場合、
適合率は高いが、必要単語(もしくはそれらの同義語)の個数は十分でない。故
にユーザはブロック354にて、ユーザが“1998年8月28日のIBM株の
値段はいくらか(what is the price of IBM sto
ck on August 28, 1998)”)を意味したか否かが問われ
る。
【0057】 ユーザは、肯定的にもしくは否定的に応答し得る。ユーザが肯定的に応答した
と判定356で決定されたなら、ブロック350にては最高確信エントリに関連
する動作が行われ、且つ、ブロック352にては関連する文脈固有文法212が
有効化される。
【0058】 但し判定356にてユーザが否定的に応答したならフローは図3Dへと進み、
其処で、上記最高確信エントリに関してNLPデータベース218の列404か
ら関連文脈が読出され、且つ、ブロック360にてユーザは文脈用対話型ダイア
ログを使用して情報が問われる。例えばユーザが“XICOR株の今日の値段は
いくらか(what is the price of XICOR stoc
k today)”と発語すると共にNLPデータベース218からの最高確信
エントリは行412B(例えば“日付のIBM株の値段はいくらか(what
is the price of IBM stock on date)”)
であったとすれば、ブロック354でユーザは、それがユーザの意図した処であ
るか否かが問われる。
【0059】 もしユーザが否定的に応答したなら、“株(stock)”という文脈がブロ
ック358にて列404から読出され、ディスプレイ104およびスピーカ11
2を介してユーザには株文脈に対する文脈用対話型ダイアログが呈示される。斯
かる文脈用対話型ダイアログは、XICOR株に対する名称および相場表示器記
号に関してユーザに問う段階を含み得る。ユーザは必要情報を話すことで応答し
得る。各可能的文脈に対しては、異なる文脈用対話型ダイアログが使用され得る
。例えば“気象(weather)”文脈用対話型ダイアログは、気象情報が所
望される場所(例えば市)の名称をユーザに問う段階を含み得る。また“ニュー
ス(news)”文脈用対話型ダイアログは、記事の種類、ニュース・ソース、
ニュース・サイトに対するインターネットURL、または、他の関連情報をユー
ザに問う段階を含み得る。
【0060】 上記文脈用対話型ダイアログが完了したなら、NLPデータベース218、一
般文法214および文脈固有文法212はブロック362にて新情報を含むべく
更新される。この様にして、ユーザは次回にてその情報を要求し、適切な一致が
発見され、且つ、更なる情報をユーザに問うこと無く適切な動作が行われる。故
に本発明は、ユーザにより発語された語句を認識すべく適合的に“学習”する。
【0061】 本発明の一実施例においては、NLPデータベース218、文脈固有文法21
2、一般文法214および聴音書取文法216のひとつ以上が、各エントリに関
連する(不図示の)タイムスタンプ値も含み得る。一致エントリが使用される毎
に、そのエントリに関連するタイムスタンプ値は更新される。定期的間隔にて、
または、ユーザにより開始されたとき、一定の日付および時刻より以前のタイム
スタンプ値を有する各エントリは夫々のデータベース/文法から削除される。こ
の様にして上記データベース/文法は古いもしくは期限経過エントリを“一掃”
することで効率的サイズに保持され得る。これは、誤った一致の回避も促進する
【0062】 本発明の一実施例において音声認識および自然言語処理は、文脈依存音声式イ
ンタフェースを有するワールド・ワイド・ウェブ(“WWW”もしくは“ウェブ
”)などのネットワーク・オブジェクトと対話すべく使用され得る。
【0063】 図5は好適なダイアログ定義ファイル(DDF)500を示すが、該ファイル
500は、テキストもしくはグラフィック・ファイル、または、好適実施例にて
はウェブ・ページなどであるインターネット・オブジェクトに対して上記音声認
識および自然言語処理を関連させる為に必要な情報を表している。最も簡単な実
施例においてダイアログ定義ファイル500はネットワーク・オブジェクト・テ
ーブル510から成るが、該DDFは図5に示された如く付加的な文脈固有文法
ファイル214および付加的な自然言語処理(NLP)データベース218も含
み得る。DDF500の好適実施例は、ネットワーク・オブジェクト・テーブル
510と、文脈固有文法ファイル214と、自然言語処理データベース218に
対するエントリを含むファイルとを含む。これらの構成要素は圧縮されると共に
、Lempel−Ziv圧縮などの当業界で公知の任意の方法によりDDFファ
イル500へと結合され得る。文脈固有文法ファイル214および自然言語処理
データベース218は、上述の各段落で説明した。ネットワーク・オブジェクト
・テーブル510は、リソースのアドレスをNLPデータベース218内の種々
の動作、文法もしくはエントリに対して関連付けるメモリ・ツリー、チェーンも
しくはテーブルなどのメモリ構造である。
【0064】 ネットワーク・オブジェクト・テーブル510の好適実施例は図6に示される
。図6はメモリ・テーブルを示すが、該メモリ・テーブルは次のものに対するエ
ントリ列を含み得る:ネットワーク・オブジェクト520、テキスト→音声(T
TS)フラグ522、テキスト音声524、文法使用フラグ526、文法追加フ
ラグ528、“はい/いいえ”フラグ、および“はい”動作532ならびに“い
いえ”動作534。上記テーブルにおける各行540A乃至540Eは、個々の
ネットワーク・オブジェクトに関する文法および音声を表している。本発明の好
適実施例はユニバーサル・リソース・ロケータ(URL)を介してネットワーク
・オブジェクト520を参照する。URLは、ワールド・ワイド・ウェブの一部
であるインターネット上の任意のリソースのアドレスを指定する方法の規格であ
る。この規格はインターネット・リソースの場所を記述するものとして当業界で
公知であることから、URLの詳細は本明細書中では論じない。URLのひとつ
の利点は、多数のネットワーク・オブジェクト・デバイスおよび通信プロトコル
のほかにも、ハイパーテキスト、グラフィック、データベースおよび他のファイ
ルなどの多様なネットワーク・オブジェクト・フォーマットで情報を指定し得る
ことである。
【0065】 テキスト音声524と結合されたときにテキスト→音声(TTS)フラグ52
2は、対応ネットワーク・オブジェクトが転送されたときにスピーカ112によ
り開始宣言が音声発生されるべきか否かを表す。例えば行540Aのネットワー
ク・オブジェクト列520内にリストされたウェブ・ページ(http://w
ww.conversationalsys.com)を転送するときにTTS
フラグ522がマークされ、スピーカ112によりテキスト音声524すなわち
“Conversational Systemsへようこそ(Hello,
welcome to Conversational Systems.)”
が音声発生されるべきことを表す。
【0066】 次の3個のフラグは、このネットワーク・オブジェクトに関連する各文法の用
法に関している。“文法使用”フラグ526または“文法追加”フラグ528を
肯定的にマークすると、表されたネットワーク・オブジェクトに関する文脈固有
文法ファイル214が存在することが示される。また、“文法使用”フラグ52
6をマークすると、既存の文脈固有文法ファイルが新たな文脈固有文法ファイル
214で置換され且つ既存ファイルは無効化されることが示される。“文法追加
”フラグ528は、既存の文脈固有文法ファイルと同時に新たな文脈固有文法フ
ァイルが有効化されるべきことを示す。
【0067】 最後に、残りの列のエントリは、“はい/いいえ”文法構造に関している。も
し“はい/いいえ”フラグ530がマークされたなら、標準的な“はい/いいえ
”文法が有効化される。標準的な“はい/いいえ”文法が有効化されたとき、コ
ンピュータに対して肯定的なコマンドを話すと、コンピュータは“はいなら行う
”エントリ532内に示されたコマンドを実行する。同様に、コンピュータに対
して否定的なコマンドを話すと、コンピュータは“いいえなら行う”エントリ5
34内に示されたコマンドを実行する。“はいなら行う”列532および“いい
えなら行う”列534内の各エントリは、コマンドと、NLPデータベース21
8内に記憶されたコマンドに対するポインタと、のいずれかとされ得る。例えば
行540Bに示された如く、“はい/いいえ”フラグがマークされる。コンピュ
ータに対して“はい”などの肯定的回答が与えられると、“はいなら行う”エン
トリ532内の対応コマンドが実行され;この特定の場合にエントリは数字“2
10”であり、これは上記NLPデータベース内の第210番目のコマンドへの
参照である。“いいえ”という答えならコンピュータは上記NLPデータベース
内の第211番目のコマンドを実行する。
【0068】 図7Aに行くと、ワールド・ワイド・ウェブをブラウズするコンピュータなど
のインターネットワークを行うコンピュータに対して音声および音響でコマンド
を提供する方法およびシステムが示されている。図7A乃至図7Cの方法は、図
3A乃至図3Dの方法と組合せて使用され得る。ブロック602にて、ワールド
・ワイド・ウェブ・ブラウザに対してはウェブ・サイトURL(ネットワーク・
オブジェクト)が提供される。上記ウェブ・ブラウザはインターネット上をナビ
ゲートすべく使用されるプログラムであり、当業界で公知である。ブロック60
2においてブラウザに対してURLを提供する段階は、ユーザがURLを手動タ
イプ入力するか、または、選択されたウェブ・サイトURLに対する“リンク”
をユーザに選択させる如く可及的に容易である。この段階はまた、NLPデータ
ベース218内の各エントリに関連付けられた動作に関して前述された発声コマ
ンドの結果でもあり得る。URLが与えられたならコンピュータはブロック60
4にて、上記URL内で指定されたウェブ・サイトのインターネット・アドレス
を決定し得るか否かを判定せねばならない。この決定プロセスは、当業界で公知
のプロセスである。もしコンピュータが上記インターネット・アドレスを決定し
得なければ、ブロック605にてはブラウザ画面内にエラー・メッセージが表示
され、システムはその初期開始状態600へと戻る。もし上記インターネット・
アドレスが決定されるなら、コンピュータはブロック606にてウェブ・ページ
に対する要求をウェブ・サイトへと送信する。
【0069】 ブロック608にては、上記ウェブ・サイトがウェブ・ページを送信するか否
かに依存して判定が為される。もし上記ウェブ・サイトが応答しなければ、また
は、ウェブ・ページの送信が不首尾となれば、ブロック605にてはブラウザ画
面内にエラー・メッセージが表示され、システムはその初期開始状態600へと
戻る。もし上記ウェブ・サイトがウェブ・ページを戻したなら、ブロック610
ではブラウザ画面内にそのウェブ・ページが表示される。
【0070】 判定ブロック612にてコンピュータ100は、上記ウェブ・サイトに対応す
るDDFファイル500が既に該コンピュータ100内に存在するか否かを決定
する。もし上記DDFファイルが存在すれば、フローは図7Cへと進み、存在し
なければフローは図7Bへと進む。
【0071】 図7Bに行くと、もしDDFファイル500が存在しなければ上記コンピュー
タは、DDFファイル500の場所がURLとしてウェブ・ページのハイパー・
テキスト・マークアップ言語(HTML)内にコード化されているか否かを吟味
する。(HTMLは当業界で公知であることから、該言語の詳細は本明細書中で
は論じない。)HTMLコード内へのDDFファイル場所のコード化は、 <meta DDF=“http://www.conversationa
lsys.com/ConverseIt.ddf”> などの様に初期HTMLメタ・タグ内にDDFファイル場所を列挙するか、ブラ
ウザによりサポートされるHTMLの変種へとスクリプト・タグを直接的に書き
込むことで行われる: <!−− <DDF=“http://www.conversationalsys
.com/ConverseIt.ddf”> −−> もしDDFファイル場所の情報がウェブ・ページ内にコード化されていれば、そ
の場所のインターネット・アドレスはブロック616にて決定され、ブロック6
26にてコンピュータはDDFファイル500の転送を要求する。
【0072】 代替的に、もしDDFファイル500の場所が上記ウェブ・ページ内にコード
化されていなければ、DDFファイルの場所が記憶され得る幾つかの代替的場所
が在る。DDFファイルの場所は、ルート・ディレクトリ内の一定のファイル箇
所などのウェブ・サイトにおいて、または、別のインターネット・サーバもしく
は図1の記憶媒体108などの異なる中央箇所において、事前定義箇所内に記憶
され得る。ブロック618および620はこれらの可能性に対してテストを行う
。ブロック618は、DDFファイルが上記ウェブ・サイトに配置されているか
否かを決定する。この工程にて上記コンピュータは、DDFファイル500の存
在に関して照会を行うクエリを上記ウェブ・サイトに送信する。もし上記ウェブ
・サイトにDDFファイル500が存在すれば、上記コンピュータはブロック6
26にてDDFファイル500の転送を要求する。もしDDFファイル500が
上記ウェブ・サイトに配置されていなければ、上記コンピュータはブロック62
0にて上記ウェブ・サイトに関するDDFファイルの存在に関して中央箇所に照
会する。もし上記DDFファイルが上記ウェブ・サイトに存在すれば、上記コン
ピュータはブロック626にて上記DDFファイルの転送を要求する。もしDD
Fファイル500が発見されなければ、ブロック622にては、ネットワーク・
オブジェクト・テーブル510、上記ウェブ・サイトに関連するNLPデータベ
ース218、および、以前に訪れた一切のウェブ・サイトに対する文脈固有文法
214、などの既存DDFファイルの既存構成要素が作動停止される。更にブロ
ック624にて、上記ウェブ・サイトは非音声起動ウェブ・サイトとして処理さ
れると共に、標準的文法ファイルのみが使用される。標準的文法ファイルは上記
システム上に存在する文法ファイルであるが、上記ネットワーク・オブジェクト
に関連する文脈固有文法ファイルと関連する一切の文法は除かれる。
【0073】 もしブロック626にてDDFファイル500が要求され乍らもその転送が不
首尾であれば、ブロック622では存在する一切のDDFファイル500の一切
の既存構成要素が作動停止され、且つ、ブロック624では上記ウェブ・サイト
が非音声起動ウェブ・サイトとして処理され且つ標準的文法ファイルのみが使用
される。
【0074】 もしブロック626にてDDFファイル500が要求されると共にその転送が
好結果であれば、そのDDFファイルはブロック630にて一切の先行DDFフ
ァイルに置き換わる。ブロック632にては、ネットワーク・オブジェクト・テ
ーブル510、文脈固有文法ファイル214およびNLPデータベース218な
どのDDFファイル500の一切の構成要素が抽出される。図2の機能要素を含
め図3A乃至図3Dに示された方法を実現する為に必要なソフトウェアを獲得す
る為に、同様の技術が使用され得る。
【0075】 フローは図7Cへと移動する。ブロック634にてネットワーク・オブジェク
ト・テーブル510は上記コンピュータによりメモリ内に読取られる。ブロック
636により決定された如く、もし上記ウェブ・ページURLが上記サイト・ネ
ットワーク・オブジェクト・テーブル510内に存在すれば、斯かるウェブ・ペ
ージURLは図6に示された如く上記テーブルの行540A乃至540Eにより
表される。もし上記ウェブ・ページに対応する行が存在しなければ、上記ウェブ
・ページに対する非音声相互作用が存在し、処理は終了する。
【0076】 ブロック636で決定された如くもし上記サイト・ネットワーク・オブジェク
ト・テーブル510内にウェブ・ページURLが存在すれば、ブロック638に
て上記コンピュータは、TTSフラグ522がマークされているか否かをチェッ
クすることにより上記ウェブ・ページにテキスト音声524が関連付けられるか
否かを決定する。もしテキスト音声524が在れば、それはブロック640にて
音声発生され、フローは継続する。もし判定ブロック642にて決定された如く
上記ウェブ・ページに関連付けられた文脈固有文法ファイルが在れば、それはブ
ロック644で有効化され、次にブロック646でNLPデータベース218が
有効化される。もし上記ウェブ・ページに文脈固有文法ファイルが関連付けられ
ていなければ、ブロック646にてNLPデータベース218のみが有効化され
る。上記NLPデータベースが有効化646されたなら、上記システムは上述の
如く図3A乃至図3Cの様に挙動する。
【0077】 要約すると、本発明はコンピュータの為のネットワーク用対話型ユーザ・イン
タフェースに対する方法およびシステムを提供する。ダイアログ定義ファイルを
介してインターネット・オブジェクトに連結された文脈固有文法を使用すること
により、本発明は音声認識時間を短縮すると共に、ユーザが会話的な形式でウェ
ブ・ページなどのインターネット・オブジェクトと対話する能力を高める。更に
、種々の文法およびNLPデータベースを適合更新することにより、本発明は対
話効率を更に高める。
【0078】 各好適実施例に関する上記記述は、当業者が本発明を実施もしくは使用し得る
様に提供されたものである。当業者であればこれらの実施例の種々の改変例は容
易に明らかであると共に、本明細書中で定義された包括的原理は発明能力を使用
せずとも他の実施例に適用され得る。故に本発明は本明細書中に示された各実施
例に限定されることは意図されず、本明細書中に開示された原理および新規特徴
に一致する最大範囲に従うものとする。
【図面の簡単な説明】
【図1】本発明と共に使用される好適なコンピュータ・システムの機能ブロ
ック図。
【図2】図1のコンピュータ・システムにおける本発明のCPU 102お
よび記憶媒体108の拡大機能ブロック図。
【図3A】コンピュータに対する対話型音声認識/自然言語処理を提供する
方法を示すフローチャート。
【図3B】コンピュータに対する対話型音声認識/自然言語処理を提供する
方法を示すフローチャート。
【図3C】コンピュータに対する対話型音声認識/自然言語処理を提供する
方法のフローチャート。
【図3D】コンピュータに対する対話型音声認識/自然言語処理を提供する
方法を示すフローチャート。
【図4】本発明の好適な自然言語処理(NLP)データベースの選択列を示
す図。
【図5】本発明に係る好適なデータベース定義ファイル(DDF)を示す図
【図6】本発明の好適なネットワーク・オブジェクト・テーブルの選択列を
示す図。
【図7A】ウェブ・ページなどのネットワーク・オブジェクトに対する対話
型音声認識/自然言語処理のリンクを示す、本発明の方法のフローチャート。
【図7B】ウェブ・ページなどのネットワーク・オブジェクトに対する対話
型音声認識/自然言語処理のリンクを示す、本発明の方法のフローチャート。
【図7C】ウェブ・ページなどのネットワーク・オブジェクトに対する対話
型音声認識/自然言語処理のリンクを示す、本発明の方法のフローチャート。
【図8】インターネットを介して他のコンピュータ、記憶媒体およびウェブ
・サイトに接続しているコンピュータ・システムを示す図。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,UG,ZW),E A(AM,AZ,BY,KG,KZ,MD,RU,TJ ,TM),AE,AL,AM,AT,AU,AZ,BA ,BB,BG,BR,BY,CA,CH,CN,CR, CU,CZ,DE,DK,DM,EE,ES,FI,G B,GD,GE,GH,GM,HR,HU,ID,IL ,IN,IS,JP,KE,KG,KP,KR,KZ, LC,LK,LR,LS,LT,LU,LV,MD,M G,MK,MN,MW,MX,NO,NZ,PL,PT ,RO,RU,SD,SE,SG,SI,SK,SL, TJ,TM,TR,TT,UA,UG,US,UZ,V N,YU,ZA,ZW 【要約の続き】 習”する。

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】ネットワーク・オブジェクトと関連付けられたネットワーク・
    オブジェクト・テーブルをネットワークを介して転送する工程と、 上記ネットワーク・オブジェクトに対する一致エントリに関して上記ネットワ
    ーク・オブジェクト・テーブルを検索する工程と、 上記ネットワーク・オブジェクト・テーブル内において上記一致エントリが発
    見されたなら上記一致エントリに関連付けられた動作を実施する工程と、 を含む、ネットワーク・オブジェクトとの音声対話の為にコンピュータを更新
    する方法。
  2. 【請求項2】前記ネットワーク・オブジェクト・テーブルはウェブ・サイト
    から読み出される、請求項1記載の方法。
  3. 【請求項3】前記ネットワーク・オブジェクト・テーブルは、複数のネット
    ワーク・オブジェクトに対して各ネットワーク・オブジェクト・テーブルを記憶
    する箇所から読み出される、請求項1記載の方法。
  4. 【請求項4】前記ネットワーク・オブジェクト・テーブルは、文脈固有文法
    も含むダイアログ定義ファイル内に含まれる、請求項1記載の方法。
  5. 【請求項5】前記ネットワーク・オブジェクト・テーブルは、自然言語プロ
    セッサ・データベースに対する各エントリも含むダイアログ定義ファイル内に含
    まれる、請求項1記載の方法。
  6. 【請求項6】前記ネットワーク・オブジェクト・テーブルは、文脈固有文法
    および自然言語プロセッサ・データベースに対する各エントリも含むダイアログ
    定義ファイル内に含まれる、請求項1記載の方法。
  7. 【請求項7】ネットワーク・オブジェクトと関連付けられたダイアログ定義
    ファイルであってネットワーク・オブジェクト・テーブルを含むダイアログ定義
    ファイルを転送するネットワーク・インタフェースと、 上記ネットワーク・オブジェクトに対する一致エントリに関して上記ネットワ
    ーク・オブジェクト・テーブルを検索するデータ・プロセッサと、 上記ネットワーク・オブジェクト・テーブル内において上記一致エントリが発
    見されたなら上記一致エントリに関連付けられた動作を実施するアプリケーショ
    ン・インタフェースと、 を含む、ネットワーク・オブジェクトとの音声対話の為にコンピュータを更新
    するシステム。
  8. 【請求項8】ネットワーク・オブジェクトと関連付けられたダイアログ定義
    ファイルであってネットワーク・オブジェクト・テーブルを含むダイアログ定義
    ファイルを発見する工程と、 上記ダイアログ定義ファイルを読み出す工程と、 上記ネットワーク・オブジェクトに対する一致エントリに関して上記ネットワ
    ーク・オブジェクト・テーブルを検索する工程と、 上記ネットワーク・オブジェクト・テーブル内において上記一致エントリが発
    見されたなら上記一致エントリに関連付けられた動作を実施する工程と、 を含む、ネットワーク・オブジェクトとの音声対話の為にコンピュータを更新
    する方法。
  9. 【請求項9】前記ダイアログ定義ファイルはウェブ・サイトから読み出され
    る、請求項8記載の方法。
  10. 【請求項10】前記ダイアログ定義ファイルは複数のネットワーク・オブジ
    ェクトに対するダイアログ定義ファイルを記憶する箇所から読み出される、請求
    項8記載の方法。
  11. 【請求項11】前記ダイアログ定義ファイルは記憶媒体から読み出される、
    請求項8記載の方法。
  12. 【請求項12】前記ダイアログ定義ファイルは文脈固有文法を含む、請求項
    8記載の方法。
  13. 【請求項13】前記ダイアログ定義ファイルは自然言語プロセッサ・データ
    ベースに対するエントリを含む、請求項8記載の方法。
  14. 【請求項14】前記ダイアログ定義ファイルは文脈固有文法と自然言語プロ
    セッサ・データベースに対するエントリとを含む、請求項8記載の方法。
JP2000569391A 1998-09-09 1999-09-08 音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース Pending JP2002524806A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US09/150,459 1998-09-09
US09/150,459 US6499013B1 (en) 1998-09-09 1998-09-09 Interactive user interface using speech recognition and natural language processing
US09/166,198 US6532444B1 (en) 1998-09-09 1998-10-05 Network interactive user interface using speech recognition and natural language processing
US09/166,198 1998-10-05
PCT/US1999/020447 WO2000014728A1 (en) 1998-09-09 1999-09-08 Network interactive user interface using speech recognition and natural language processing

Publications (1)

Publication Number Publication Date
JP2002524806A true JP2002524806A (ja) 2002-08-06

Family

ID=22534628

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000569390A Pending JP2002524776A (ja) 1998-09-09 1999-09-08 音声認識および自然言語処理を使用した対話型ユーザ・インタフェース
JP2000569391A Pending JP2002524806A (ja) 1998-09-09 1999-09-08 音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000569390A Pending JP2002524776A (ja) 1998-09-09 1999-09-08 音声認識および自然言語処理を使用した対話型ユーザ・インタフェース

Country Status (10)

Country Link
US (2) US6499013B1 (ja)
EP (2) EP1110206B1 (ja)
JP (2) JP2002524776A (ja)
CN (2) CN1153190C (ja)
AT (2) ATE286296T1 (ja)
AU (2) AU763059B2 (ja)
CA (2) CA2343150A1 (ja)
DE (2) DE69922971T2 (ja)
ES (2) ES2235520T3 (ja)
WO (2) WO2000014727A1 (ja)

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169750A (ja) * 2000-11-30 2002-06-14 Nec Corp ブラウザ搭載装置
JP2003131772A (ja) * 2001-05-04 2003-05-09 Microsoft Corp Webで使用可能な認識のためのマークアップ言語拡張部
JP2006246444A (ja) * 2005-02-28 2006-09-14 Microsoft Corp ユニファイド・メッセージングの状態変更の動的構成
US7711570B2 (en) 2001-10-21 2010-05-04 Microsoft Corporation Application abstraction with dialog purpose
US8160883B2 (en) 2004-01-10 2012-04-17 Microsoft Corporation Focus tracking in dialogs
US8224650B2 (en) 2001-10-21 2012-07-17 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting
US8521513B2 (en) 2010-03-12 2013-08-27 Microsoft Corporation Localization for interactive voice response systems
JP2014222516A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification

Families Citing this family (327)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775264B1 (en) * 1997-03-03 2004-08-10 Webley Systems, Inc. Computer, internet and telecommunications based network
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6434524B1 (en) * 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
US20020032564A1 (en) 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
EP1224569A4 (en) * 1999-05-28 2005-08-10 Sehda Inc PHRASE BASED DIALOGUE MODELING WITH SPECIAL APPLICATION FOR GENERATING RECOGNITION GRAMMARK FOR LANGUAGE-CONTROLLED USER INTERFACE
JP3702414B2 (ja) * 1999-08-11 2005-10-05 株式会社日立製作所 情報検索支援方法、コンピュータ読み取り可能な記憶媒体および情報検索装置
AU6630800A (en) 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US6862713B1 (en) * 1999-08-31 2005-03-01 International Business Machines Corporation Interactive process for recognition and evaluation of a partial search query and display of interactive results
DE19944325A1 (de) * 1999-09-15 2001-03-22 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Spracherkennung
EP1222655A1 (en) * 1999-10-19 2002-07-17 Sony Electronics Inc. Natural language interface control system
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US6665640B1 (en) 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US7516190B2 (en) * 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
US6721705B2 (en) * 2000-02-04 2004-04-13 Webley Systems, Inc. Robust voice browser system and voice activated device controller
CA2408584A1 (en) * 2000-04-06 2001-10-18 One Voice Technologies, Inc. Natural language and dialogue generation processing
DE60125597T2 (de) * 2000-08-31 2007-05-03 Hitachi, Ltd. Vorrichtung für die Dienstleistungsvermittlung
US7024348B1 (en) * 2000-09-28 2006-04-04 Unisys Corporation Dialogue flow interpreter development tool
US7660740B2 (en) * 2000-10-16 2010-02-09 Ebay Inc. Method and system for listing items globally and regionally, and customized listing according to currency or shipping area
KR20020032835A (ko) * 2000-10-27 2002-05-04 정우성 자연어 처리와 음성 인식 병합에 의거한 음성 언어 이해기술 및 그 비즈니스 모델
ATE300083T1 (de) * 2000-11-03 2005-08-15 Voicecom Solutions Gmbh Robuste spracherkennung mit datenbankorganisation
US7640163B2 (en) * 2000-12-01 2009-12-29 The Trustees Of Columbia University In The City Of New York Method and system for voice activating web pages
EP1346344A1 (en) * 2000-12-18 2003-09-24 Koninklijke Philips Electronics N.V. Store speech, select vocabulary to recognize word
US7027987B1 (en) 2001-02-07 2006-04-11 Google Inc. Voice interface for a search engine
US7103533B2 (en) * 2001-02-21 2006-09-05 International Business Machines Corporation Method for preserving contextual accuracy in an extendible speech recognition language model
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US7072837B2 (en) * 2001-03-16 2006-07-04 International Business Machines Corporation Method for processing initially recognized speech in a speech recognition session
WO2002086864A1 (en) * 2001-04-18 2002-10-31 Rutgers, The State University Of New Jersey System and method for adaptive language understanding by computers
US7203645B2 (en) * 2001-04-27 2007-04-10 Intel Corporation Speech recognition system loading different recognition engines for different applications
US7506022B2 (en) 2001-05-04 2009-03-17 Microsoft.Corporation Web enabled recognition architecture
US7409349B2 (en) 2001-05-04 2008-08-05 Microsoft Corporation Servers for web enabled speech recognition
US7519529B1 (en) 2001-06-29 2009-04-14 Microsoft Corporation System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service
US7409335B1 (en) 2001-06-29 2008-08-05 Microsoft Corporation Inferring informational goals and preferred level of detail of answers based on application being employed by the user
US20030009334A1 (en) * 2001-07-03 2003-01-09 International Business Machines Corporation Speech processing board for high volume speech processing applications
US20030037053A1 (en) * 2001-08-09 2003-02-20 Zhong-Hua Wang Method and apparatus for automatically updating stock and mutual fund grammars in speech recognition systems
US6985865B1 (en) * 2001-09-26 2006-01-10 Sprint Spectrum L.P. Method and system for enhanced response to voice commands in a voice command platform
US7752266B2 (en) * 2001-10-11 2010-07-06 Ebay Inc. System and method to facilitate translation of communications between entities over a network
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US6915246B2 (en) * 2001-12-17 2005-07-05 International Business Machines Corporation Employing speech recognition and capturing customer speech to improve customer service
US7058565B2 (en) * 2001-12-17 2006-06-06 International Business Machines Corporation Employing speech recognition and key words to improve customer service
KR20020023197A (ko) * 2001-12-27 2002-03-28 김연수 자연음 처리를 이용한 데이터 제공 방법과 이를 위한 시스템
US7203644B2 (en) * 2001-12-31 2007-04-10 Intel Corporation Automating tuning of speech recognition systems
AU2003205166A1 (en) * 2002-01-14 2003-07-30 Jerzy Lewak Identifier vocabulary data access method and system
DE10211777A1 (de) * 2002-03-14 2003-10-02 Philips Intellectual Property Erzeugung von Nachrichtentexten
US20030187658A1 (en) * 2002-03-29 2003-10-02 Jari Selin Method for text-to-speech service utilizing a uniform resource identifier
JP3967952B2 (ja) * 2002-04-16 2007-08-29 富士通株式会社 文法更新システム及び方法
DE10220521B4 (de) * 2002-05-08 2005-11-24 Sap Ag Verfahren und System zur Verarbeitung von Sprachdaten und Klassifizierung von Gesprächen
DE10220522B4 (de) * 2002-05-08 2005-11-17 Sap Ag Verfahren und System zur Verarbeitung von Sprachdaten mittels Spracherkennung und Frequenzanalyse
DE10220524B4 (de) * 2002-05-08 2006-08-10 Sap Ag Verfahren und System zur Verarbeitung von Sprachdaten und zur Erkennung einer Sprache
EP1363271A1 (de) * 2002-05-08 2003-11-19 Sap Ag Verfahren und System zur Verarbeitung und Speicherung von Sprachinformationen eines Dialogs
DE10220520A1 (de) * 2002-05-08 2003-11-20 Sap Ag Verfahren zur Erkennung von Sprachinformation
US20030216923A1 (en) * 2002-05-15 2003-11-20 Gilmore Jeffrey A. Dynamic content generation for voice messages
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7941348B2 (en) 2002-06-10 2011-05-10 Ebay Inc. Method and system for scheduling transaction listings at a network-based transaction facility
US8719041B2 (en) * 2002-06-10 2014-05-06 Ebay Inc. Method and system for customizing a network-based transaction facility seller application
US8078505B2 (en) 2002-06-10 2011-12-13 Ebay Inc. Method and system for automatically updating a seller application utilized in a network-based transaction facility
US20030229554A1 (en) * 2002-06-10 2003-12-11 Veres Robert Dean Method and system for composing transaction listing descriptions for use in a network-based transaction facility
EP1652173B1 (en) 2002-06-28 2015-12-30 Chemtron Research LLC Method and system for processing speech
US20040008828A1 (en) * 2002-07-09 2004-01-15 Scott Coles Dynamic information retrieval system utilizing voice recognition
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
US7363398B2 (en) * 2002-08-16 2008-04-22 The Board Of Trustees Of The Leland Stanford Junior University Intelligent total access system
US6907397B2 (en) * 2002-09-16 2005-06-14 Matsushita Electric Industrial Co., Ltd. System and method of media file access and retrieval using speech recognition
US20050180464A1 (en) * 2002-10-01 2005-08-18 Adondo Corporation Audio communication with a computer
US20060276230A1 (en) * 2002-10-01 2006-12-07 Mcconnell Christopher F System and method for wireless audio communication with a computer
US7197494B2 (en) * 2002-10-15 2007-03-27 Microsoft Corporation Method and architecture for consolidated database search for input recognition systems
EP2544101A1 (en) * 2002-11-28 2013-01-09 Nuance Communications Austria GmbH Method to assign word class information
US20040111259A1 (en) * 2002-12-10 2004-06-10 Miller Edward S. Speech recognition system having an application program interface
EP1450350A1 (en) * 2003-02-20 2004-08-25 Sony International (Europe) GmbH Method for Recognizing Speech with attributes
US7480619B1 (en) 2003-03-04 2009-01-20 The Board Of Trustees Of The Leland Stanford Junior University Integration manager and natural interaction processor
US6980949B2 (en) 2003-03-14 2005-12-27 Sonum Technologies, Inc. Natural language processor
US7729913B1 (en) * 2003-03-18 2010-06-01 A9.Com, Inc. Generation and selection of voice recognition grammars for conducting database searches
US7260535B2 (en) 2003-04-28 2007-08-21 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting for call controls
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8223944B2 (en) * 2003-05-05 2012-07-17 Interactions Corporation Conference call management system
AU2004237227B2 (en) * 2003-05-05 2011-07-14 Interactions Llc Apparatus and method for processing service interactions
US9710819B2 (en) * 2003-05-05 2017-07-18 Interactions Llc Real-time transcription system utilizing divided audio chunks
ATE381755T1 (de) * 2003-06-02 2008-01-15 Ibm Sprach-antwortsystem, sprach-antwortverfahren, sprach-server, sprach-datei- verarbeitungsverfahren, programm und aufzeichnungsmedium
EP1631899A4 (en) * 2003-06-06 2007-07-18 Univ Columbia SYSTEM AND METHOD FOR LANGUAGE ACTIVATION OF WEB SITES
US20040254790A1 (en) * 2003-06-13 2004-12-16 International Business Machines Corporation Method, system and recording medium for automatic speech recognition using a confidence measure driven scalable two-pass recognition strategy for large list grammars
US7742985B1 (en) 2003-06-26 2010-06-22 Paypal Inc. Multicurrency exchanges between participants of a network-based transaction facility
US20050027539A1 (en) * 2003-07-30 2005-02-03 Weber Dean C. Media center controller system and method
US7383172B1 (en) 2003-08-15 2008-06-03 Patrick William Jamieson Process and system for semantically recognizing, correcting, and suggesting domain specific speech
US8311835B2 (en) 2003-08-29 2012-11-13 Microsoft Corporation Assisted multi-modal dialogue
US9552354B1 (en) * 2003-09-05 2017-01-24 Spoken Traslation Inc. Method and apparatus for cross-lingual communication
US7376752B1 (en) 2003-10-28 2008-05-20 David Chudnovsky Method to resolve an incorrectly entered uniform resource locator (URL)
GB2409561A (en) * 2003-12-23 2005-06-29 Canon Kk A method of correcting errors in a speech recognition system
US7552055B2 (en) 2004-01-10 2009-06-23 Microsoft Corporation Dialog component re-use in recognition systems
US20080235018A1 (en) * 2004-01-20 2008-09-25 Koninklikke Philips Electronic,N.V. Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content
US7899671B2 (en) * 2004-02-05 2011-03-01 Avaya, Inc. Recognition results postprocessor for use in voice recognition systems
US7496500B2 (en) * 2004-03-01 2009-02-24 Microsoft Corporation Systems and methods that determine intent of data and respond to the data based on the intent
US9189568B2 (en) * 2004-04-23 2015-11-17 Ebay Inc. Method and system to display and search in a language independent manner
JP2005339237A (ja) * 2004-05-27 2005-12-08 Aruze Corp アプリケーション利用補助システム
WO2005122145A1 (en) * 2004-06-08 2005-12-22 Metaphor Solutions, Inc. Speech recognition dialog management
US7580837B2 (en) 2004-08-12 2009-08-25 At&T Intellectual Property I, L.P. System and method for targeted tuning module of a speech recognition system
US7925506B2 (en) * 2004-10-05 2011-04-12 Inago Corporation Speech recognition accuracy via concept to keyword mapping
US7242751B2 (en) 2004-12-06 2007-07-10 Sbc Knowledge Ventures, L.P. System and method for speech recognition-enabled automatic call routing
US7921091B2 (en) 2004-12-16 2011-04-05 At&T Intellectual Property Ii, L.P. System and method for providing a natural language interface to a database
ES2261053B1 (es) * 2004-12-29 2008-04-16 France Telecom España, S.A. Metodo para la utilizacion de lenguaje natural como interfaz para los terminales moviles.
US7751551B2 (en) 2005-01-10 2010-07-06 At&T Intellectual Property I, L.P. System and method for speech-enabled call routing
KR100718147B1 (ko) * 2005-02-01 2007-05-14 삼성전자주식회사 음성인식용 문법망 생성장치 및 방법과 이를 이용한 대화체음성인식장치 및 방법
US7593962B2 (en) * 2005-02-18 2009-09-22 American Tel-A-Systems, Inc. System and method for dynamically creating records
US7409344B2 (en) 2005-03-08 2008-08-05 Sap Aktiengesellschaft XML based architecture for controlling user interfaces with contextual voice commands
US7996219B2 (en) 2005-03-21 2011-08-09 At&T Intellectual Property Ii, L.P. Apparatus and method for model adaptation for spoken language understanding
US7657020B2 (en) 2005-06-03 2010-02-02 At&T Intellectual Property I, Lp Call routing system and method of using the same
JP4667138B2 (ja) * 2005-06-30 2011-04-06 キヤノン株式会社 音声認識方法及び音声認識装置
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7542904B2 (en) * 2005-08-19 2009-06-02 Cisco Technology, Inc. System and method for maintaining a speech-recognition grammar
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
WO2007027989A2 (en) 2005-08-31 2007-03-08 Voicebox Technologies, Inc. Dynamic speech sharpening
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US8229745B2 (en) * 2005-10-21 2012-07-24 Nuance Communications, Inc. Creating a mixed-initiative grammar from directed dialog grammars
US8315874B2 (en) * 2005-12-30 2012-11-20 Microsoft Corporation Voice user interface authoring tool
US8229733B2 (en) * 2006-02-09 2012-07-24 John Harney Method and apparatus for linguistic independent parsing in a natural language systems
US20070225970A1 (en) * 2006-03-21 2007-09-27 Kady Mark A Multi-context voice recognition system for long item list searches
JP4734155B2 (ja) * 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US7756708B2 (en) * 2006-04-03 2010-07-13 Google Inc. Automatic language model update
US8107610B2 (en) * 2006-06-06 2012-01-31 At&T Intellectual Property I, L.P. Callback processing of interactive voice response requests
DE102006029755A1 (de) * 2006-06-27 2008-01-03 Deutsche Telekom Ag Verfahren und Vorrichtung zur natürlichsprachlichen Erkennung einer Sprachäußerung
US8639782B2 (en) 2006-08-23 2014-01-28 Ebay, Inc. Method and system for sharing metadata between interfaces
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7742922B2 (en) * 2006-11-09 2010-06-22 Goller Michael D Speech interface for search engines
US8195461B2 (en) 2006-12-15 2012-06-05 Mitsubishi Electric Corporation Voice recognition system
US7809564B2 (en) * 2006-12-18 2010-10-05 International Business Machines Corporation Voice based keyword search algorithm
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101075435B (zh) * 2007-04-19 2011-05-18 深圳先进技术研究院 一种智能聊天系统及其实现方法
US20080273672A1 (en) * 2007-05-03 2008-11-06 Microsoft Corporation Automated attendant grammar tuning
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9154632B2 (en) * 2007-09-20 2015-10-06 Unify Gmbh & Co. Kg Method and communications arrangement for operating a communications connection
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010051591A1 (en) * 2008-11-06 2010-05-14 Digital Intermediary Pty Limited Context layered object engine
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110066438A1 (en) * 2009-09-15 2011-03-17 Apple Inc. Contextual voiceover
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US9502025B2 (en) 2009-11-10 2016-11-22 Voicebox Technologies Corporation System and method for providing a natural language content dedication service
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US20110189646A1 (en) * 2010-02-01 2011-08-04 Amos Benninga Pedagogical system method and apparatus
US8694313B2 (en) * 2010-05-19 2014-04-08 Google Inc. Disambiguation of contact information using historical data
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9245525B2 (en) 2011-01-05 2016-01-26 Interactions Llc Automated speech recognition proxy system for natural language understanding
US8484031B1 (en) 2011-01-05 2013-07-09 Interactions Corporation Automated speech recognition proxy system for natural language understanding
US8560321B1 (en) 2011-01-05 2013-10-15 Interactions Corportion Automated speech recognition system for natural language understanding
US9472185B1 (en) 2011-01-05 2016-10-18 Interactions Llc Automated recognition system for natural language understanding
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
WO2012135157A2 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Task driven user intents
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
EP2667268A1 (de) * 2012-05-24 2013-11-27 Siemens Aktiengesellschaft Verfahren zum Betrieb eines Automatisierungsgeräts
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
CN103678283B (zh) * 2012-08-30 2016-08-17 英业达科技有限公司 提供外语词组以辅助外语文章撰写的系统及其方法
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US10276157B2 (en) * 2012-10-01 2019-04-30 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9020809B1 (en) 2013-02-28 2015-04-28 Google Inc. Increasing semantic coverage with semantically irrelevant insertions
US9047271B1 (en) 2013-02-28 2015-06-02 Google Inc. Mining data for natural language system
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US8694305B1 (en) * 2013-03-15 2014-04-08 Ask Ziggy, Inc. Natural language processing (NLP) portal for third party applications
US8768687B1 (en) * 2013-04-29 2014-07-01 Google Inc. Machine translation of indirect speech
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9117452B1 (en) 2013-06-25 2015-08-25 Google Inc. Exceptions to action invocation from parsing rules
US9280970B1 (en) 2013-06-25 2016-03-08 Google Inc. Lattice semantic parsing
US9299339B1 (en) 2013-06-25 2016-03-29 Google Inc. Parsing rule augmentation based on query sequence and action co-occurrence
US9251202B1 (en) 2013-06-25 2016-02-02 Google Inc. Corpus specific queries for corpora from search query
US9984684B1 (en) 2013-06-25 2018-05-29 Google Llc Inducing command inputs from high precision and high recall data
US9330195B1 (en) 2013-06-25 2016-05-03 Google Inc. Inducing command inputs from property sequences
US9183196B1 (en) 2013-06-25 2015-11-10 Google Inc. Parsing annotator framework from external services
US9092505B1 (en) 2013-06-25 2015-07-28 Google Inc. Parsing rule generalization by n-gram span clustering
US9123336B1 (en) 2013-06-25 2015-09-01 Google Inc. Learning parsing rules and argument identification from crowdsourcing of proposed command inputs
US9177553B1 (en) 2013-06-25 2015-11-03 Google Inc. Identifying underserved command inputs
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
CN104346151B (zh) * 2013-07-30 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10109273B1 (en) * 2013-08-29 2018-10-23 Amazon Technologies, Inc. Efficient generation of personalized spoken language understanding models
US9507849B2 (en) * 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
WO2015116151A1 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Voice input command
CN109949815B (zh) * 2014-04-07 2024-06-07 三星电子株式会社 电子装置
US20150331853A1 (en) * 2014-05-15 2015-11-19 Marco Palmonari Automated multi-grammar language processing system to optimize request handling in contact centers
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10726831B2 (en) * 2014-05-20 2020-07-28 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US20150340024A1 (en) * 2014-05-23 2015-11-26 Google Inc. Language Modeling Using Entities
US9502031B2 (en) * 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9257120B1 (en) * 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
US11676608B2 (en) 2021-04-02 2023-06-13 Google Llc Speaker verification using co-location information
US11942095B2 (en) 2014-07-18 2024-03-26 Google Llc Speaker verification using co-location information
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
CN107003996A (zh) 2014-09-16 2017-08-01 声钰科技 语音商务
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
CN104360897B (zh) * 2014-10-29 2017-09-22 百度在线网络技术(北京)有限公司 对话处理方法和对话管理系统
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
CN105869632A (zh) * 2015-01-22 2016-08-17 北京三星通信技术研究有限公司 基于语音识别的文本修订方法和装置
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160379630A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Speech recognition services
US10515150B2 (en) 2015-07-14 2019-12-24 Genesys Telecommunications Laboratories, Inc. Data driven speech enabled self-help systems and methods of operating thereof
US10455088B2 (en) 2015-10-21 2019-10-22 Genesys Telecommunications Laboratories, Inc. Dialogue flow optimization and personalization
US10382623B2 (en) 2015-10-21 2019-08-13 Genesys Telecommunications Laboratories, Inc. Data-driven dialogue enabled self-help systems
US10843080B2 (en) * 2016-02-24 2020-11-24 Virginia Tech Intellectual Properties, Inc. Automated program synthesis from natural language for domain specific computing applications
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US10838992B2 (en) * 2016-08-17 2020-11-17 International Business Machines Corporation Content selection for usage within a policy
US20180052573A1 (en) * 2016-08-17 2018-02-22 Microsoft Technology Licensing, Llc Interaction with a file storage service through a messaging bot
GB201618479D0 (en) 2016-11-02 2016-12-14 Syngenta Participations Ag Adjuvants
NZ753616A (en) * 2016-11-02 2020-05-29 Greeneden Us Holdings Ii Llc System and method for parameterization of speech recognition grammar specification (srgs) grammars
US10482885B1 (en) * 2016-11-15 2019-11-19 Amazon Technologies, Inc. Speaker based anaphora resolution
US20180330725A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Intent based speech recognition priming
EP3496090A1 (en) * 2017-12-07 2019-06-12 Thomson Licensing Device and method for privacy-preserving vocal interaction
US11188706B2 (en) * 2018-01-18 2021-11-30 Christopher Anthony Silva System and method for regionalized resolution of a network path
CN108694939B (zh) * 2018-05-23 2020-11-03 广州视源电子科技股份有限公司 语音搜索优化方法、装置和系统
CN110728976B (zh) * 2018-06-30 2022-05-06 华为技术有限公司 语音识别的方法、装置及系统
CN108899030A (zh) * 2018-07-10 2018-11-27 深圳市茁壮网络股份有限公司 一种语音识别方法及装置
US10789943B1 (en) 2018-08-31 2020-09-29 Interactions Llc Proxy for selective use of human and artificial intelligence in a natural language understanding system
US11481558B2 (en) 2018-09-12 2022-10-25 Samsung Electroncis Co., Ltd. System and method for a scene builder
DE102018222156A1 (de) * 2018-12-18 2020-06-18 Volkswagen Aktiengesellschaft Verfahren, Anordnung und Verwendung zum Erzeugen einer Antwortausgabe in Reaktion auf eine Spracheingabeinformation
CN110223679A (zh) * 2019-06-14 2019-09-10 南京机电职业技术学院 一种语音识别输入装置
CN110265013A (zh) * 2019-06-20 2019-09-20 平安科技(深圳)有限公司 语音的识别方法及装置、计算机设备、存储介质
US11151981B2 (en) 2019-10-10 2021-10-19 International Business Machines Corporation Audio quality of speech in sound systems
CN112562679B (zh) * 2020-11-26 2024-06-14 浪潮金融信息技术有限公司 一种离线语音交互方法、装置及介质
EP4143674A1 (en) 2021-07-19 2023-03-08 Google LLC Bit vector-based content matching for third-party digital assistant actions

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783803A (en) 1985-11-12 1988-11-08 Dragon Systems, Inc. Speech recognition apparatus and method
US4887212A (en) 1986-10-29 1989-12-12 International Business Machines Corporation Parser for natural language text
US5127055A (en) * 1988-12-30 1992-06-30 Kurzweil Applied Intelligence, Inc. Speech recognition apparatus & method having dynamic reference pattern adaptation
JPH02301869A (ja) 1989-05-17 1990-12-13 Hitachi Ltd 自然言語処理システム保守支援方式
US5222187A (en) * 1989-12-29 1993-06-22 Texas Instruments Incorporated Grammar-based checksum constraints for high performance speech recognition circuit
JP3266246B2 (ja) * 1990-06-15 2002-03-18 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法
EP0543329B1 (en) * 1991-11-18 2002-02-06 Kabushiki Kaisha Toshiba Speech dialogue system for facilitating human-computer interaction
US5511213A (en) * 1992-05-08 1996-04-23 Correa; Nelson Associative memory processor architecture for the efficient execution of parsing algorithms for natural language processing and pattern recognition
US5293584A (en) * 1992-05-21 1994-03-08 International Business Machines Corporation Speech recognition system for natural language translation
US5699456A (en) * 1994-01-21 1997-12-16 Lucent Technologies Inc. Large vocabulary connected speech recognition system and method of language representation using evolutional grammar to represent context free grammars
JP2967688B2 (ja) * 1994-07-26 1999-10-25 日本電気株式会社 連続単語音声認識装置
US5799268A (en) * 1994-09-28 1998-08-25 Apple Computer, Inc. Method for extracting knowledge from online documentation and creating a glossary, index, help database or the like
US5715468A (en) * 1994-09-30 1998-02-03 Budzinski; Robert Lucius Memory system for storing and retrieving experience and knowledge with natural language
DE4440598C1 (de) * 1994-11-14 1996-05-23 Siemens Ag Durch gesprochene Worte steuerbares Hypertext-Navigationssystem, Hypertext-Dokument für dieses Navigationssystem und Verfahren zur Erzeugung eines derartigen Dokuments
JP2855409B2 (ja) 1994-11-17 1999-02-10 日本アイ・ビー・エム株式会社 自然言語処理方法及びシステム
US5758322A (en) * 1994-12-09 1998-05-26 International Voice Register, Inc. Method and apparatus for conducting point-of-sale transactions using voice recognition
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5890123A (en) * 1995-06-05 1999-03-30 Lucent Technologies, Inc. System and method for voice controlled video screen display
US5799276A (en) * 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
US5797123A (en) * 1996-10-01 1998-08-18 Lucent Technologies Inc. Method of key-phase detection and verification for flexible speech understanding
US6188985B1 (en) * 1997-01-06 2001-02-13 Texas Instruments Incorporated Wireless voice-activated device for control of a processor-based host system
US6456974B1 (en) * 1997-01-06 2002-09-24 Texas Instruments Incorporated System and method for adding speech recognition capabilities to java
WO1998035491A1 (en) * 1997-02-05 1998-08-13 British Telecommunications Public Limited Company Voice-data interface
US6138098A (en) * 1997-06-30 2000-10-24 Lernout & Hauspie Speech Products N.V. Command parsing and rewrite system
US5960384A (en) * 1997-09-03 1999-09-28 Brash; Douglas E. Method and device for parsing natural language sentences and other sequential symbolic expressions
US6094635A (en) * 1997-09-17 2000-07-25 Unisys Corporation System and method for speech enabled application
US5995918A (en) * 1997-09-17 1999-11-30 Unisys Corporation System and method for creating a language grammar using a spreadsheet or table interface
US6058166A (en) * 1997-10-06 2000-05-02 Unisys Corporation Enhanced multi-lingual prompt management in a voice messaging system with support for speech recognition
US6157705A (en) * 1997-12-05 2000-12-05 E*Trade Group, Inc. Voice control of a server
US6154722A (en) * 1997-12-18 2000-11-28 Apple Computer, Inc. Method and apparatus for a speech recognition system language model that integrates a finite state grammar probability and an N-gram probability
US6138100A (en) * 1998-04-14 2000-10-24 At&T Corp. Interface for a voice-activated connection system
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6178404B1 (en) * 1999-07-23 2001-01-23 Intervoice Limited Partnership System and method to facilitate speech enabled user interfaces by prompting with possible transaction phrases

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
JP2002169750A (ja) * 2000-11-30 2002-06-14 Nec Corp ブラウザ搭載装置
JP2003131772A (ja) * 2001-05-04 2003-05-09 Microsoft Corp Webで使用可能な認識のためのマークアップ言語拡張部
US8229753B2 (en) 2001-10-21 2012-07-24 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting
US7711570B2 (en) 2001-10-21 2010-05-04 Microsoft Corporation Application abstraction with dialog purpose
US8165883B2 (en) 2001-10-21 2012-04-24 Microsoft Corporation Application abstraction with dialog purpose
US8224650B2 (en) 2001-10-21 2012-07-17 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting
US8160883B2 (en) 2004-01-10 2012-04-17 Microsoft Corporation Focus tracking in dialogs
US8225232B2 (en) 2005-02-28 2012-07-17 Microsoft Corporation Dynamic configuration of unified messaging state changes
JP2006246444A (ja) * 2005-02-28 2006-09-14 Microsoft Corp ユニファイド・メッセージングの状態変更の動的構成
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
KR101775708B1 (ko) 2010-01-18 2017-09-06 애플 인크. 지능형 자동화 어시스턴트
JP2014222516A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US8521513B2 (en) 2010-03-12 2013-08-27 Microsoft Corporation Localization for interactive voice response systems
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Also Published As

Publication number Publication date
ATE287117T1 (de) 2005-01-15
US6532444B1 (en) 2003-03-11
WO2000014727A1 (en) 2000-03-16
CN1153190C (zh) 2004-06-09
WO2000014728A1 (en) 2000-03-16
ES2235508T3 (es) 2005-07-01
DE69923191D1 (de) 2005-02-17
CN1325528A (zh) 2001-12-05
EP1110206A1 (en) 2001-06-27
ES2235520T3 (es) 2005-07-01
CA2343150A1 (en) 2000-03-16
AU763059B2 (en) 2003-07-10
EP1110205A1 (en) 2001-06-27
DE69922971T2 (de) 2005-12-29
DE69922971D1 (de) 2005-02-03
DE69923191T2 (de) 2006-01-05
ATE286296T1 (de) 2005-01-15
JP2002524776A (ja) 2002-08-06
EP1110205B1 (en) 2005-01-12
CN1161747C (zh) 2004-08-11
CN1325527A (zh) 2001-12-05
AU6243999A (en) 2000-03-27
CA2343229A1 (en) 2000-03-16
EP1110206B1 (en) 2004-12-29
US6499013B1 (en) 2002-12-24
AU762282B2 (en) 2003-06-19
AU5813099A (en) 2000-03-27

Similar Documents

Publication Publication Date Title
JP2002524806A (ja) 音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース
US6434524B1 (en) Object interactive user interface using speech recognition and natural language processing
CN111710333B (zh) 用于生成语音转录的方法和系统
US7424427B2 (en) Systems and methods for classifying audio into broad phoneme classes
US6311182B1 (en) Voice activated web browser
US8380516B2 (en) Retrieval and presentation of network service results for mobile device using a multimodal browser
CA2280331C (en) Web-based platform for interactive voice response (ivr)
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
US7177795B1 (en) Methods and apparatus for semantic unit based automatic indexing and searching in data archive systems
CN1290076C (zh) 基于语音的不受语言限制的搜索系统和方法
JP4485694B2 (ja) 並列する認識エンジン
JP5330450B2 (ja) テキストフォーマッティング及びスピーチ認識のためのトピック特有のモデル
AU2001251354A1 (en) Natural language and dialogue generation processing
US20090112593A1 (en) System for recognizing speech for searching a database
WO2000045375A1 (en) Method and apparatus for voice annotation and retrieval of multimedia data
JP3476008B2 (ja) 音声情報の登録方法、認識文字列の特定方法、音声認識装置、音声情報の登録のためのソフトウエア・プロダクトを格納した記憶媒体、及び認識文字列の特定のためのソフトウエア・プロダクトを格納した記憶媒体
WO2007021587A2 (en) Systems and methods of supporting adaptive misrecognition in conversational speech
JPH07191687A (ja) 自然言語処理装置及びその方法
US6275803B1 (en) Updating a language model based on a function-word to total-word ratio
CN1441372A (zh) 以多媒体资料播放字义解释的系统与方法
JP2001510660A (ja) 音声データインターフェイス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070605