JP2018523143A - 音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持 - Google Patents

音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持 Download PDF

Info

Publication number
JP2018523143A
JP2018523143A JP2017550865A JP2017550865A JP2018523143A JP 2018523143 A JP2018523143 A JP 2018523143A JP 2017550865 A JP2017550865 A JP 2017550865A JP 2017550865 A JP2017550865 A JP 2017550865A JP 2018523143 A JP2018523143 A JP 2018523143A
Authority
JP
Japan
Prior art keywords
voice
offline
enabled
electronic device
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017550865A
Other languages
English (en)
Other versions
JP6553736B2 (ja
Inventor
サンスー・スン
ユリ・ガオ
プラサブ・ムルゲサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2018523143A publication Critical patent/JP2018523143A/ja
Application granted granted Critical
Publication of JP6553736B2 publication Critical patent/JP6553736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)

Abstract

選択的オフライン対応の音声アクションに関連するデータが、そのようなアクションが、デバイスがオフラインであり、オンライン接続性がリストアされた後にアクションが完了され得るため、ローカルに完了され得ないときは常に、音声対応電子デバイスにローカルに維持される。オンラインサービスおよび/または別の電子デバイスとの同期、および/またはオンラインサービスからの文脈依存データの取得が、オンライン接続性がリストアされた後に実行され、音声アクションがその後完了され得る。

Description

本発明は、音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持に関する。
音声ベースのユーザインターフェースは、コンピュータおよび他の電子デバイスの制御に益々使用されている。音声ベースのユーザインターフェースのある特別に有用なアプリケーションは、モバイル電話、腕時計、タブレットコンピュータ、ヘッドマウントデバイス、仮想または拡張現実デバイスなど、ポータブル電子デバイスに用いられる。別の有用なアプリケーションは、ナビゲーションおよびオーディオ能力を組み込む自動車用システムなどの車両電子システムに用いられる。そのようなアプリケーションは、より従来的なキーボードまたはタッチスクリーン入力のユーティリティを制限する非従来型のフォームファクタ、および/またはユーザが運転中や歩行中であるときなど、ユーザに別のタスクに注力したままを促すことが望ましい状況での使用によって一般に特徴づけられる。
音声ベースのユーザインターフェースは、簡潔で直接的な命令を理解できるだけの、初期の基本的なインターフェースから、自然な言語要求に応答し、文脈を理解し、堂々巡りの対話またはユーザとの会話を扱うことのできるより高機能なインターフェースに進化し続けている。多くの音声ベースのユーザインターフェースは、人間の音声のオーディオ記録をテキストに変換する初期の発話-テキスト（または音声-テキスト）変換、およびユーザの要求の意味を決定するためにテキストを分析するセマンティック分析の両方を組み込んでいる。ユーザの記録された音声の決定された意味に基づいて、検索の実行や、そうでなければコンピュータまたは他の電子デバイスの制御などのアクションが実行され得る。
例えば、プロセッサおよび/またはメモリリソースの観点で、音声ベースのユーザインターフェースのコンピューティングリソース要件はかなりのものであり、結果として、いくつかの従来の音声ベースのユーザインターフェースのアプローチは、比較的低いパワーのクライアントデバイスによって音声入力が受け取られて記録され、記録されたものがインターネットなどのネットワークを介して発話-テキスト変換およびセマンティック処理のためのオンラインサービスに送信され、適切な応答が、オンラインサービスによって生成され、クライアントデバイスに返されるというクライアント-サーバ機構を採用している。オンラインサービスは、クライアントデバイス内でローカルに実装され得るであろう機能より複雑な発話認証およびセマンティック分析機能の実装を可能にして、かなりのコンピューティングリソースを音声入力の処理に充てることができる。しかしながら、クライアント-サーバのアプローチは、音声入力を処理する際に、クライアントがオンラインである（すなわち、オンラインサービスと通信している）ことを必然的に要求する。特に、モバイルおよび自動車用のアプリケーションでは、途切れのないオンライン接続性がいつでもどこでも保証されないことがあり、クライアント-サーバの音声ベースのユーザインターフェースは、デバイスが「オフライン」であり、ゆえにオンラインサービスに接続していないときは常にクライアントデバイスで無効である。さらに、デバイスがオンラインサービスに接続しているときでさえ、クライアントデバイスとオンラインサービスとの間の双方向通信の必要を考えると、音声入力のオンラインでの処理に関連する遅延が、ユーザによって不必要に感じられるほどである場合がある。そうであるので、いくつかのデバイスは、音声入力を処理するためのオフラインまたはローカルな処理機能を組み込んでいる。
本明細書は概して、音声対応電子デバイスにおいて、デバイスがオフラインであり、オンライン接続性がリストアされてしまった後でアクションを完了されることが可能であるため、そのようなアクションがローカルで完了され得ないときは常に、本明細書では選択的オフライン対応の音声アクションと呼ばれる特定のタイプの音声アクションに関連するデータをローカルに維持する様々な実施形態を対象にする。選択的オフライン対応の音声アクションは、以降により詳細に議論されるが、ある場合では、音声対応電子デバイスがオンラインであるときに完了されることができ、他の場合では、オンラインサービスとの接続を使用してのみ完了することができるタイプの音声アクションであり、そのようなアクションに関連するデータの維持によって、オンラインサービスおよび/または別の電子デバイスとの同期、および/またはオンラインサービスからの文脈依存データの取得などの動作が、オンライン接続性がリストアされて、音声アクションがその後完了した後に実行されることを可能にする。
従って、いくつかの実施形態では、方法は、音声対応電子デバイスで音声入力を受け取るステップと、音声対応電子デバイスにおいて、音声入力の少なくとも一部を受け取ることに応答して、音声入力の少なくとも一部のローカルな処理を実行して、選択的オフライン対応の音声アクションの少なくとも一部をビルドするステップであって、選択的オフライン対応の音声アクションのタイプは、少なくとも1つの場合にオフラインで完了でき、少なくとも1つの他の場合にオンラインサービスへの接続を使用してのみ完了され得る、ステップと、ローカル処理の間および音声対応電子デバイスがオフラインのときに、選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定するステップと、選択的オフライン対応の音声アクションがオフラインで完了され得るという判定に応答して、ローカル処理を用いて選択的オフライン対応の音声アクションを完了するステップとを有することができる。さらに、選択的オフライン対応の音声アクションがオフラインで完了され得ないとの判定に応答して、該方法は、選択的オフライン対応の音声アクションのためのローカル処理によって生成されたデータをローカルに維持するステップと、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップとを含むことができる。
いくつかの実施形態では、音声対応電子デバイスが、ワイヤレスネットワークと通信するとき、オンラインサービスと通信するように構成されたモバイルデバイスを具備し、さらにいくつかの実施形態では、ローカル処理を実行するステップが、音声対応電子デバイスで音声入力を完全に受け取る前に、オフライン対応の音声アクションの少なくとも一部を動的にビルドし、ローカル処理の間および音声対応電子デバイスがオフラインのときに、選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定するステップが、音声対応電子デバイスで音声入力を完全に受け取る前に実行される。
さらに、いくつかの実施形態では、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、オンラインサービスから文脈依存データを取り出すステップと、文脈依存データを使用して選択的オフライン対応の音声アクションを完了するステップとを含む。さらにいくつかの実施形態では、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、文脈依存データのためにオンラインサービスにクエリを発行するステップを含み、オフライン対応音声アクションが、少なくとも1つの場所依存パラメータを含み、クエリが、音声対応電子デバイスの現在の場所を含み、文脈依存データが場所依存データを含む。いくつかの実施形態では、オフライン対応の音声アクションが、音声入力に基づいて解決できないままの少なくも1つのパラメータを含み、オンラインサービスから文脈依存データを取り出すステップが、オンラインサービスから少なくとも1つのパラメータの値を取り出すステップを含む。
また、いくつかの実施形態では、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、オンラインサービスに音声対応電子デバイスを同期するステップを含む。いくつかの実施形態では、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、音声対応電子デバイスのユーザに関連付けられた少なくとも1つの他の電子デバイスに、音声対応電子デバイスを同期するステップを含む。
さらに、いくつかの実施形態では、選択的オフライン対応の音声アクションのためのローカル処理によって生成されたデータをローカルに維持するステップが、選択的オフライン対応の音声アクションに関連付けられた診断データをローカルに維持するステップを含み、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、選択的オフライン対応の音声アクションに関連付けられた診断データをアップロードするステップを含む。
いくつかの実施形態ではまた、選択的オフライン対応の音声アクションがオフラインで完了され得ないとの判定に応答して、音声対応電子デバイス上で選択的オフライン対応の音声アクションのローカルな完了を実行するステップをさらに含み、音声対応電子デバイスがオンラインサービスに接続された後、ローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了するステップが、オンラインサービスを用いて選択的オフライン対応の音声アクションのリモート完了を実行するステップを含む。いくつかの実施形態ではまた、選択的オフライン対応の音声アクションがオフラインで完了され得ないとの判定に応答して、音声対応電子デバイスがオンラインサービスに接続された後に選択的オフライン対応の音声アクションが完了されることを音声対応電子デバイスのユーザに通知するステップをさらに含む。いくつかの実施形態ではさらに、選択的オフライン対応の音声アクションがオフラインで完了され得ないとの判定に応答して、音声対応電子デバイスがオンラインサービスに接続された後に選択的オフライン対応の音声アクションが完了されたことを音声対応電子デバイスのユーザに通知するステップをさらに含む。さらに、いくつかの実施形態では、選択的オフライン対応の音声アクションのタイプが、リマインダタイプ、通信タイプ、イベントタイプ、デバイス設定タイプ、媒体制御タイプ、およびナビゲーションタイプからなるグループから選択される。
さらに、いくつかの実施形態では、メモリと、メモリ内に格納された命令を実行するように動作可能な1つまたは複数のプロセッサとを具備する装置であって、命令が上記方法のいずれかを実行するように構成された装置を含んでよい。いくつかの実施形態では、上記方法のいずれかを実行するように、1つまたは複数のプロセッサによって実行可能なコンピュータ命令を格納する非一時的コンピュータ可読記憶媒体を含んでもよい。
上述した概念および以降により詳細に記載にする追加の概念のすべての組み合わせが本明細書に開示される主要事項の一部であることが理解されよう。例えば、本明細書の最後に示される特許請求の範囲に記載の主要事項のすべての組み合わせは、本明細書に開示される主要事項の一部であると考えられる。
コンピュータシステムの例示的なアーキテクチャを説明する図である。 例示的な分散化された音声入力処理環境のブロック図である。 図2の環境を使用して、音声入力を処理する例示的な方法を説明するフローチャートである。 図2の環境を使用して、音声入力を処理する例示的な方法を説明するフローチャートである。 図2の環境を使用して、音声入力を処理する別の例示的な方法を説明するフローチャートである。 図2に参照されるストリーミング音声-テキストモジュールによって実行される例示的なオフラインの音声-テキストルーチンのフローチャートである。 図2に参照されるセマンティックプロセッサモジュールによって実行される例示的な処理テキストトークンルーチンのフローチャートである。 図2に参照されるセマンティクプロセッサモジュールによって実行される例示的な入力ルーチンの受信端のフローチャートである。 図2に参照されるセマンティクプロセッサモジュールによって実行される例示的なペンディングアクション処理のフローチャートである。
以降で議論される実施形態では、選択的にオフライン対応の音声アクションに関連付けられたデータが、デバイスがオフラインであり、オンライン接続性がリストアされた後にアクションを完了できるため、そのようなアクションがローカルで完了され得ないときは常に、音声対応電子デバイス内にローカルに維持される。選択される実施形態についてのさらなる詳細は、以降に議論される。しかしながら、他の実施形態が考慮されてよく、本明細書に開示される実施形態は排他的ではない。
例示的なハードウェアおよびソフトウェアの実施形態
次に図面について、同様の番号は、複数の図面にわたって同様の部分を表し、図1は、例示的なコンピュータシステム10における電子的構成要素のブロック図である。システム10は、一般にバスサブシステム14を介して複数の周辺デバイスと通信する少なくとも1つのプロセッサ12を含む。これらの周辺デバイスは、例えば、メモリサブシステム18およびファイルストレージサブシステム20を含むストレージサブシステム16、ユーザインターフェース入力デバイス22、ユーザインターフェース出力デバイス24、およびネットワークインターフェースサブシステム26を含み得る。入出力デバイスにより、システム10とのユーザ対話が可能である。ネットワークインターフェースサブシステム26は、外部ネットワークへのインターフェースを提供するとともに、他のコンピュータシステムにおける対応するインタフェースデバイスに接続される。
いくつかの実施形態では、ユーザインターフェース入力デバイス22は、キーボードや、マウス、トラックボール、タッチパッド、またはグラフィックタブレットなどのポインティングディバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどのオーディオ入力デバイス、マイクロフォン、および/または他のタイプの入力デバイスを含み得る。一般に、「入力デバイス」という用語の使用は、コンピュータ10へまたは通信ネットワーク上へ情報を入力するための、すべての可能なタイプのデバイスおよび方法を含むことを意図する。
ユーザインターフェース出力デバイス24は、ディスプレイサブシステム、プリンタ、ファクシミリ、またはオーディオ出力デバイスなどの非ビジュアルディスプレイを含むことができる。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、プロジェクションデバイス、または視覚画像を生成するためのいくつかの他のメカニズムを含むことができる。ディスプレイサブシステムはまた、オーディオ出力デバイスなどの非ビジュアルディスプレイを提供できる。一般に、「出力デバイス」という用語の使用は、コンピュータシステム10からユーザまたは別のマシンまたはコンピュータシステムに情報を出力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。
ストレージサブシステム16は、本明細書に開示されるモジュールのいくつかまたはすべての機能を提供するプログラムおよびデータ構成を格納する。例えば、ストレージサブシステム16は、本明細書に開示される方法の選択された態様を実行するためのロジックを含むことができる。
これらのソフトウェアモジュールは、一般に、プロセッサ12単独で、またはプロセッサ12と他のプロセッサを組み合わせて実行される。ストレージサブシステム16で使用されるメモリサブシステム18は、プログラム実行中に命令およびデータを記憶するための主ランダムアクセスメモリ(RAM)28、および固定の命令が格納された読み取り専用メモリ(ROM)30を含む複数のメモリを含むことができる。ファイルストレージサブシステム20は、プログラムおよびデータファイルのための持続性のストレージを提供でき、ハードディスクドライブ、関連リムーバブル媒体を伴うフロッピー(登録商標)ディスクドライブ、CD-ROMドライブ、光学ドライブ、またはリムーバブル媒体カートリッジを含むことができる。ある実施形態の機能を実装するモジュールが、ストレージサブシステム16内の、またはプロセッサ12がアクセス可能な他のマシン内のファイルストレージサブシステム20によって格納され得る。
バスサブシステム14は、システム10の様々な構成要素およびサブシステムが意図されるように互いに通信できるメカニズムを提供する。バスサブシステム14は単一のバスとして概略的に示されているが、バスサブシステムの代替の実施形態では複数のバスが使用されてもよい。
システム10は、モバイルデバイス、ポータブル電子デバイス、組み込みデバイス、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルデバイス、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または任意の他のデータ処理システムまたはコンピューティングデバイスを含む様々なタイプのものであってよい。加えて、システム10によって実施される機能は、例えば、クライアント-サーバ、ピアツーピア、または他のネットワーク構成においてなど、1つまたは複数のネットワークを介して互いに相互に接続される複数のシステム間に分散されてよい。コンピュータおよびネットワークの常に変化する性質により、図1に示すシステム10の記載は、いくつかの実施形態を説明する目的の特定の例として意図されるに過ぎない。システム10の多くの他の構成は、図1に示されるコンピュータシステムより多くのまたはより少ない構成要素を有することが可能である。
以降で説明する実施形態は、本明細書に開示される機能の様々な組み合わせを実施する1つまたは複数の方法を含み得る。他の実施形態は、本明細書に記載の方法の1つまたは複数などの方法を実行するために、プロセッサによって実行可能な命令を格納する非一時的コンピュータ可読記憶媒体を含む。他の実施形態はまた、メモリと、本明細書に記載の方法の1つまたは複数などの方法を実行するために、メモリに格納された命令を実行するように動作可能な1つまたは複数のプロセッサとを含むことができる。
以降に記載される様々なプログラムコードは、特定の実施形態で実装されるアプリケーションに基づいて特定され得る。しかしながら、以下の任意の特定のプログラム命名法は、単に便宜的に使用されると理解されるべきである。さらに、コンピュータプログラムがルーチン、プロシージャ、メソッド、モジュール、およびオブジェクトなどに編成され得る無数の様式、および、プログラム機能が一般のコンピュータ内に常駐する様々なソフトウェアレイヤ間で割り当てられ得る様々な様式（例えば、オペレーティングシステム、ライブラリ、API、アプリケーション、アプレットなど）を考えると、いくつかの実施形態は、本明細書に記載のプログラム機能の特定の編成および割り当てに限定され得ないと理解されるべきである。
さらに、本明細書に記載の様々な動作が、任意のプログラムコードによって実行されるか、または任意のルーチン、ワークフロー、または同様のものにおいて実行されてよく、さらに、組み合され、分割され、再順序付けされ、省略され、逐次実行され、または並列に実行され、および/または他の技術によって補完されてよく、したがって、いくつかの実施形態は、本明細書に記載の動作の特定の順序に限定されないことが理解されるべきである。
分散化された音声入力処理環境
図2は、例えば、オンライン検索サービス54などのオンラインサービスと通信する音声対応デバイス52とともに使用するための、例示的な分散化された音声入力処理環境50を示す。以降で議論される実施形態では、例えば、音声対応デバイス52（音声対応電子デバイスとして本明細書では呼ばれることもある）は、セルラフォンまたはタブレットコンピュータなどのモバイルデバイスとして記載される。他の実施形態は、多種多様な他の音声対応デバイスを利用できるが、モバイルデバイスへの以降の参照は、単に以降の議論を簡潔にすることを目的とする。無数の他の種類の音声対応デバイスは、例えば、ラップトップコンピュータ、腕時計、ヘッドマウントデバイス、仮想または拡張現実デバイス、他のウェアラブルデバイス、オーディオ/ビデオシステム、ナビゲーションシステム、自動車用および他の車両用システムなどを含む、以降に記載の機能を使用できる。その上、そのような音声対応デバイスの多くは、リソース制約的であると考えられ、そのようなデバイスのメモリ容量および/または処理容量は、特に、オンラインサービス、または、事実上無制限のコンピューティングリソースを個々のタスクに提供できるクラウドベースのサービスの容量と比べると、技術的な、経済的な、または他の理由に基づいて制約され得る。そのようなデバイスのいくつかは、そのようなデバイスが、「オフライン」で動作でき、かつ、例えば、そのようなデバイスが通常の使用で時々一時的なネットワーク接続の停止を経験するかもしれないという予想に基づいて、少なくとも一部の時間にオンラインサービスに接続しないことがあるという範囲内で、オフラインデバイスと考えられ得る。
いくつかの実施形態では、オンライン検索サービス54は、例えば、複数のユーザからの大量の要求を扱うのに適したソフトウェアを実行するサーバファームまたは高性能なコンピュータのクラスタを使用してなど、クラウドインフラストラクチャを採用するクラウドベースのサービスとして実装され得る。説明される実施形態では、オンライン検索サービス54は、例えば、要求された情報を含むウェブサイトのリストを提供するために、要求された情報を見つけるために1つまたは複数のデータベースに問い合わせることができる。オンライン検索サービス54は、音声ベースの検索に限定されず、例えば、テキストベースの検索、画像ベースの検索など、他のタイプの検索も扱うことができる。他の実施形態では、オンラインシステムは、検索を扱うことが必須ではなく、アラームまたはリマインダを設定すること、リストを管理すること、電話、テキスト、電子メールなどを介して他のユーザと通信を開始すること、または、音声入力を介して開始され得る他のアクションを実行することなど、非検索アクションのために音声ベースの要求を扱うことに限定されてもよい。本開示の目的で、音声ベースの要求および音声入力の他の形態は、音声ベースのクエリが、検索を開始し、質問を提起し、命令を発行するなどを求めるか否かにかかわらず、音声ベースのクエリとして集合的に参照され得る。したがって、一般に、例えば、1つまたは複数の単語または語句を含む任意の音声入力は、説明される実施形態の文脈内で、音声ベースのクエリであると考えら得る。
図2の実施形態では、音声対応デバイス52によって受け取られた音声入力が、いくつかの実施形態では、検索アプリケーションであってもよい音声対応（または「app」）56によって処理される。他の実施形態では、音声入力は、音声対応デバイスのオペレーティングシステムまたはファームウェアの内部で扱われてもよい。示される実施形態におけるアプリケーション56は、音声アクションモジュール58、オンラインインターフェースモジュール60、およびレンダリング/同期モジュール62を含む。音声アクションモジュール58は、アプリケーションに向けた音声入力を受け取り、音声入力の分析および音声対応デバイス52のユーザのための1つまたは複数のアクションの実行を調整する。オンラインインターフェースモジュール60は、サービス54に音声入力を転送するとともにその応答を受け取ることを含め、オンライン検索サービス54とのインターフェースを提供する。レンダリング/同期モジュール62は、例えば、ビジュアルディスプレイ、発話オーディオ、または特定の音声対応デバイスに適した他のフィードバックインタフェースを介してなど、ユーザへのレスポンスのレンダリングを扱う。加えて、いくつかの実施形態では、モジュール62はまた、例えば、レスポンスまたはアクションがオンライン検索サービスにおいてユーザのために保持されたデータに影響を与えるか否か（例えば、音声入力が、クラウドベースのカレンダに保持されたアポイントメントの作成を要求する）など、オンライン検索サービス54との同期を扱う。
アプリケーション56は、例えば、ストリーミング音声-テキストモジュール64と、構文解析モジュール68、ダイアログマネージャモジュール70、およびアクションビルダモジュール72とを含むセマンティックプロセッサモジュール66とを含む、音声入力を扱うための、様々なミドルウェア、フレームワーク、オペレーティングシステム、および/またはファームウェアモジュールを利用する。
モジュール64は、例えば、デジタルオーディオデータの形式で、音声入力のオーディオ記録を受け取り、デジタルオーディオデータを1つまたは複数のテキストの単語または語句（本明細書ではトークンとも呼ばれる）に変換する。示される実施形態では、モジュール64は、ストリーミングモジュールでもあり、したがって、音声入力がトークンごとに、およびリアルタイム、またはほぼリアルタイムでテキストに変換され、その結果、トークンはユーザのスピーチと同時に、ゆえにユーザが完全な発話リクエストを表明する前に、モジュール64から出力されることができる。モジュール64は、1つまたは複数のローカルに格納されたオフライン音響および/または言語モデル74を利用し、言語におけるワードシーケンスとともに、オーディオ信号と言語における音声単位の間の関係を一緒にモデル化する。いくつかの実施形態では、単一モデル74が使用されてよく、一方、他の実施形態では、例えば、複数の言語、複数の話者などをサポートする複数モデルがサポートされてもよい。
モジュール64がスピーチをテキストに変換する一方で、モジュール66は、適切なレスポンスの目的で、または適切なレスポンスを考案するために、モジュール64によって出力されるテキストのセマンティックまたは意味を理解することを試みる。構文解析モジュール68は、例えば、テキストを特定のアクションにマッピングするとともに、例えば、そのようなアクションへの入力変数など、そのようなアクションの実行を強いる属性を特定するための1つまたは複数のオフライン文法モデル76を利用する。いくつかの実施形態では、単一モデル76が使用されてよく、一方、他の実施形態では、例えば、異なるアクションまたはアクション領域（すなわち、通信関連アクション、検索関連アクション、オーディオ/ビジュアル関連アクション、カレンダ関連アクション、デバイス制御関連アクションなどのコレクション）をサポートする複数モデルがサポートされてもよい。
例えば、オフライン文法モデル76は、どのような種類のリマインダを設定するかを指定するリマインダタイプパラメータ、リマインダに関連する1つまたは複数のアイテムを指定するアイテムパラメータ、およびリマインダをアクティブ化してユーザにリマインドする時間を指定する時間パラメータを有する「リマインダを設定してください」などのアクションをサポートしてもよい。構文解析モジュール68は、「私にリマインドしてください」「買うように」「パンを」「仕事の後に」などのトークンのシーケンスを受け取り、トークンのシーケンスを「ショッピングリマインダ」に設定されたリマインダタイプパラメータ、「パン」に設定されたアイテムパラメータ、および「午後5時」の時間パラメータとともにリマインダを設定するアクションにマッピングし、その日の午後5時に「パンを買う」ためのリマインダをユーザが受け取る。
構文解析モジュール68は、ユーザとのダイアログを管理するダイアログマネージャモジュール70と連携して動作してもよい。この文脈の範囲内で、ダイアログは2人の個人間の会話に類似した音声入力とレスポンスのセットを指す。従って、モジュール70は、ダイアログの「状態」を保持し、以前の音声入力においてユーザから取得される情報が後続の音声入力を扱うときに使用できるようにする。従って、例えば、ユーザが仮に「パンを買うように私にリマインドしてください」と言うと、レスポンスが生成され「OKです、いつリマインドしてほしいですか？」と言うであろう。その結果、「仕事の後に」という後続の音声入力が、リマインダを作成するために元の要求の後にまとめられる。
アクションビルダモジュール72は、構文解析モジュール68から構文解析されたテキストを受け取り、音声入力の解釈を表し、音声対応アプリケーション56のモジュール62によって処理される任意の関連パラメータとともにアクションを生成する。アクションビルダモジュール72は、構文解析されたテキストからアクションを作成するための様々なルールを組み込む1つまたは複数のオフラインアクションモデル78を利用してもよい。いくつかの実施形態では、例えば、アクションは、関数Fとして定義されてもよく、F(IT)＝Auであり、Tは入力解釈を表し、Uは出力アクションのタイプを表す。従って、Fは、例えば、f(it)=auなど互いにマッピングされた複数の入力ペア(T,U)を含み得、ここで、itはタイプｔの入力プロト変数、auはタイプuの出力モジュラ引数またはパラメータである。いくつかのパラメータが音声入力として直接受け取られてよく、一方、いくつかのパラメータは、例えば、ユーザの場所、人口統計学の情報に基づく、またはユーザに特定の他の情報に基づく他の方法で決定されてもよいことが理解されるであろう。例えば、ユーザが「食料品店でパンを買うことを私にリマインドしてください」と言うとすると、場所パラメータがユーザの現在の場所、職場と自宅の間のユーザの既知のルート、ユーザのいつもの食料品店などの追加情報なしでは、決定可能ではないことがある。
いくつかの実施形態では、モデル74、76、および78がより少ないモデルに組み合わせられる、または、モジュール64、68、70、および72の機能のように、さらなるモデルに分割されてもよいことが理解される。その上、モデル74〜78は、本明細書では、モデルが、音声対応デバイス52上にローカルに格納され、デバイス52がオンライン検索サービス54と通信しないとき利用可能なオフラインである限りにおいて、オフラインモデルとして参照される。
さらに、オンライン検索サービス54が、一般に、例えば、様々な音響/言語、文法および/またはアクションモデル82を利用する音声ベースクエリプロセッサ80を使用して、音声入力を扱うための補完機能を含む。いくつかの実施形態では、特に音声対応デバイス52がリソース制約デバイスであるとき、音声ベースクエリプロセッサ80およびそれによって使用されるモデル82が、音声対応デバイス52にローカルであるよりも、より複雑にかつよりコンピュータ的にリソース集約型の音声処理機能を実施してもよいことが理解される。しかしながら、他の実施形態では、補完オンライン機能は使用されなくてもよい。
いくつかの実施形態では、オンライン機能とオフライン機能の両方が、サポートされてよく、例えば、オンライン機能が、デバイスがオンラインサービスと通信中であるときはいつでも使用され、一方でオフライン機能が、接続性が存在しないときに使用される。他の実施形態では、異なるアクションおよびアクションドメインがオンライン機能とオフライン機能に割り当てられてよく、一方やはり他の実施形態では、オフライン機能が特定の音声入力を適切に扱うことに失敗した時だけオンライン機能が使用されてもよい。
図3には、例えば、音声入力を扱うための音声対応デバイス52によって実行され得る音声処理ルーチン100が示される。ルーチン100は、例えば、デジタルオーディオ信号の形態で、音声入力を受け取ることによってブロック102において開始する。この実施形態では、最初の試みとして、オンライン検索サービスに音声入力を転送する（ブロック104）。例えば、接続性の欠如またはオンライン検索サービスからレスポンスがないことにより成功しない場合、ブロック106は制御をブロック108に渡し、音声入力をテキストトークンに変換し（ブロック108、例えば図2のモジュール64を使用）、テキストトークンを構文解析して（ブロック110、例えば、図2のモジュール68を使用）、構文解析されたテキストからアクションをビルドする（ブロック112、例えば、図2のモジュール72を使用）。結果のアクションは、クライアントサイドのレンダリングおよび同期の実行に使用され（ブロック114、例えば、図2のモジュール62を使用）、音声入力の処理が完了する。
ブロック106に戻り、音声入力をオンライン検索サービスに転送する試みが成功した場合、ブロック106がブロック108〜112をバイパスし、制御をブロック114に渡し、クライアントサイドのレンダリングおよび同期を実行する。その後、音声入力の処理が完了する。他の実施形態では、例えば、音声入力がローカルで扱われ得るときに不必要なデータ通信を避けるために、上述したように、オフライン処理がオンライン処理の前に試みられてよいことが理解される。
音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持
音声対応電子デバイスは、音声ベースのユーザインターフェースを実施するためのオンライン機能およびオフライン機能上の異なる範囲を利用できる。いくつかのデバイスでは、例えば、オンラインサービスの使用を優先させて、音声入力を処理することに関連する多くの動作を実行するが、一つの理由としては、オンラインの音声ベースのクエリプロセッサが、一般に、比較的より大きい処理リソースを充てて、音声ベースのクエリを扱うことができるからである。オンラインサービスによって実行され得る機能の1つは、セマンティック処理であり、デジタルオーディオデータから生成されたテキスト要素（またはトークンとも呼ばれる）を処理して、音声ベースのクエリを介してユーザによって要求されているアクションを決定することを試みる。いくつかの例では、デジタルオーディオ信号は、オンラインサービスに提供されることさえ可能であり、その結果、セマンティック処理と音声-テキスト変換の両方がデバイスから遠隔で実行される。
そのようなデバイスとともに接続性の問題に対する可能性、ならびに接続性の問題が存在しないときでさえ体験し得る通常の遅延のため、いくつかの場合では、音声対応電子デバイス内に、音声-テキスト機能およびセマンティック処理機能の両方を含むローカルまたはオフライン処理機能を組み込むことが望ましいこともある。いくつかの例では、音声入力が、接続が存在するときはいつでもオンラインサービスに転送されてもよく、オンラインサービスの結果は、接続性が存在するときはいつでも使用されてもよく、主にバックアップの役割においてローカル処理をサービスさせて、ネットワーク接続性が存在しない場合のみ音声入力を扱う。いくつかの実施形態における音声対応電子デバイスは、音声入力から意味を導出することを試みる前に、完全な音声入力を受け取るまで待つのではなく複数のユーザが話すときに音声入力からアクションを動的にビルドし、その結果ユーザが完全に音声入力を話す前に少なくとも部分的にビルドされた音声アクションを生じるストリーミング機構を組み込むことができる。
以降に議論される実施形態では、音声対応電子デバイスにおける音声ベースのユーザインターフェースを実装するローカルまたはオフラインの機能は、オンライン接続性なしに処理できないある音声アクションの処理を延長する一方で、オンライン接続性なしに処理できるある音声アクションをローカルで扱うことを試みることによってオンラインサービスへの接続性と関係なく音声入力を扱う必要により、発生する問題に対処しようとすることができる。しかしながら、処理を延長することに関連して、そのようなアクションに関連するデータが、ローカルに維持されて、オンライン接続性が再確立されるときにそのようなアクションが自動的に完了されることができる。
特に、いくつかの実施形態では、本明細書では「選択的オフライン対応の音声アクション」と呼ぶ音声アクションの特定のカテゴリに関連するデータは、モバイルデバイスなどの音声対応電子デバイスがオフラインであり、接続性がそのデバイスのために再確立される際にそれらのアクションが自動的に完了されることが可能であるとき、ローカルに維持される。開示のコンテキスト内の「選択的オフライン対応の音声アクション」が、1つまたは複数の場合ではオフラインであるとともにオンライン接続性なしに、完了され得る音声アクションであると考えられ、一方で、1つまたは複数の他の例では、完了するためにオンラインサービスへの接続性が必要とされる。「選択的オフライン対応の音声アクション」という用語は、本明細書では、オンライン接続性を決して要求しない純粋なオフラインアクションと、常にオンライン接続性を必要とする純粋なオンラインアクションとから区別するために使用される。
選択的オフライン対応の音声アクションの例は、リマインドタイプアクション、通信タイプアクション、イベントタイプアクション、デバイス設定タイプアクション、媒体制御タイプアクション、ナビゲーションタイプアクション、などのアクションを含むがこれに限定されない。いくつかの実施形態におけるそのようなアクションは、例えば、アクションのための1つまたは複数のパラメータが、音声入力において提供されたデータおよび/または音声対応電子デバイス上でローカルに利用可能なデータに基づいて正確に解決できないなどの結果として、音声入力から生じる1つまたは複数の曖昧さに基づく選択的オフライン対応であってもよい。そのような場合、例えば、1つまたは複数のパラメータに関するデータ、および/または音声入力の曖昧さの解決に関するデータなど、文脈依存データがオンラインサービスから必要とされることがあり、そのようなアクションの完了はオンラインサービスへの1つまたは複数のクエリを必要とすることがある。いくつかの実施形態では、場所依存データがアクションに関連する1つまたは複数の場所依存パラメータのために取り出され得るように、クエリが音声対応電子デバイスの現在の場所を組み込むことができる。また、いくつかの実施形態では、クエリが、アクションに関連する少なくとも1つの未解決パラメータのための値を取り出し得る。
一例として、リマインダタイプアクションは、「明日の1時に私の母に電話するようにリマインダをセットしてください」という要求によるある場合にトリガされ、「ミルクを買うように私にリマインドしてください」という要求による別の場合でも同様である。前者の場合、この音声入力からリマインダを生成するのに必要なパラメータのすべてがオフラインかつどのオンライン支援もなく解決されてよく、リマインダの日時が、音声入力（デバイスに格納された本日の次の日の午後1時）から知られてよく、リマインダのテキストが音声入力（私の母に電話する）から直接生成されてもよく、電話の連絡番号がローカルデータ（ユーザと「母親」の関係をもつ個人のローカルに格納された連絡先）から生成されてもよい。
しかしながら、後者の場合、リマインダのテキストが音声入力（「ミルクを購入する」）から直接生成されてよいが、他のパラメータはすべての状況でローカルに確かめることができないことがある。例えば、いくつかの実施形態では、リクエストが、ユーザのデバイスが特定の場所から一定の距離内に位置するときはいつでも、ユーザに通知する場所ベースのリマインダとして処理されてもよい。しかしながら、該リマインダにセットされる場所は、決定されるためにオンライン支援を必要とし得る。例えば、場所は、例えば、デバイスの現在の場所の近く、ユーザの自宅の近く、デバイスの現在の場所とユーザの自宅の間の経路の近くなどの特定の食料品店の場所に設定されてよい。食料品店はまた、購入履歴またはユーザの他の人口統計情報、あるいはミルクについて現在セール中の食料品店に基づいて選択されてもよい。この情報の多くについて、オンラインデータおよび/または分析が使用されて場所を生成してもよく、結果的に音声対応電子デバイスが音声入力を受け取るとき現在オンラインでない場合に、要求された音声アクションの完了が完了できない。
いくつかの実施形態では、選択的オフライン対応の音声アクションは、データをオンラインサービスにアップロードする必要、および/またはオンラインサービスおよび/または1つまたは複数の他の音声対応電子デバイスに同期する必要に基づいて、選択的にオフライン対応であってもよい。例えば、オンラインまたはクラウドベースのカレンダサービスのためのイベントまたはリマインダの作成は、ローカルに作成されたイベントまたはリマインダの同期を含んでよく、その結果、いくつかの実施形態では、デバイスがオフラインのとき、イベントまたはリマインダの作成が、接続性が再確立されるまで十分に完了されるとみなされないことがある。
したがって、開示の文脈の範囲内では、アクションを「完了すること」は、音声入力を介してユーザによって要求されるそれらのステップおよび/または動作を実行することを指してもよい。アクションを完了することはまた、音声アクションオブジェクトの構築を完了すること、および音声アクションオブジェクトによって指定されるアクションを実行することを含んでよい。いくつかの実施形態では、アクションの完了は、単にローカルに発生してもよく（本明細書ではローカル完了と呼ぶ）、いくつかの場合、例えば、オンラインサービスにおいて、および/またはユーザが同じアカウントにリンクするいくつかのデバイスを有する場合など、ユーザの音声対応電子デバイスに関連する1つまたは複数の他のデバイスにおいて、アクションの完了は遠隔で発生してもよい（本明細書ではリモート完了と呼ぶ）。いくつかの場合、ローカル完了は、オンラインサービスと後で同期することによって同時に起こり得、例えば、リマインダまたはイベントがユーザのデバイス上でローカルに作成され、オンラインのカレンダアカウントに後で同期される。そのような場合、デバイス上のリマインダの作成は、後で同期が発生するにしてもアクションの完了を表すと考えられ得る。他の実施形態では、アクションを完了することが、音声アクションオブジェクトを完全にビルドすることと、さらなる対処のために音声対応電子デバイスにおける別のモジュールに完了した音声アクションオブジェクトを戻すこととを含むことができる。
図4を見ると、図4は図2の環境における選択的オフライン対応の音声アクションを処理することに使用するための音声処理ルーチン150の一つの例示的な実施形態を示す。この実施形態では、ブロック152において、音声入力の少なくとも一部（例えば、発話された質問または命令の少なくとも一部を表すデジタルオーディオ信号）が、音声対応電子デバイス（例えば、ワイヤレスネットワークを介してオンラインサービスに結合されたモバイルデバイス）によって受け取られる。音声入力の一部を受け取ることに応答して、音声入力の一部をオフラインまたはローカルに処理することが、音声対応電子デバイス上（例えば、モジュール64および66によって）で実行され、いくつかのまたはすべての音声入力に基づいて、音声アクションの少なくとも一部をビルドする。いくつかの実施形態では、オンライン処理は、オンラインサービスによって、例えば、デジタルオーディオデータ、またはローカル音声-テキスト処理によって生成されたテキストトークンをオンラインサービスに転送することによって並列処理のために開始されてもよい。
次に、ブロック156において、音声アクションが選択的オフライン対応の音声アクションであるかどうかについて判定され得る。いくつかの実施形態では、ブロック154はストリーミング機構を使用して音声アクションを動的にビルドすることを組み込むことができ、従って、ブロック156は、音声入力を完全に処理する前に実行されてよく、一方他の実施形態では、ブロック156は、音声入力のローカルな処理が完了するまで実行されなくともよいことが理解されよう。
上述のとおり、アクションが選択的オフライン対応か否かの判定が異なる方法でなされ得る。いくつかの実施形態では、例えば、そのような判定が、要求されたアクションのタイプに基づいてよい。他の実施形態では、そのような判定が、サブタイプに基づいて、そのようなアクションの1つまたは複数のパラメータに基づいて、あるいは別の方法によって行われてもよい。
アクションが選択的オフライン対応でない場合、ブロック156は制御をブロック158に渡し、アクションを完了するとともに、ルーチン150が完了する。例えば、アクションが、常にオフラインで完了され得る場合、アクションの完了は、デバイス上でアクションを完了するために必要な動作のリマインダを実行することを組み込むことができる。アクションが常にオンライン接続性を必要とする場合、アクションの完了は、オンラインサービスと通信することと、デバイス上でアクションを完了させるために必要な任意の他のローカルな動作を実行することとを組み込むことができる。
一方で、アクションが選択的オフライン対応であると判定される場合、ブロック156は制御をブロック160に渡し、音声対応電子デバイスが現在オフラインであるか否かを判定する。オフラインでなく、オンラインサービスへの接続性が存在する場合、アクションが選択的オフライン対応であるかどうかの問題は現実的な意味がなくなり、従って制御は、ブロック158に渡り、必要に応じてオンラインサービスにアクセスしてアクションを完了する。しかしながら、デバイスがオフラインの場合、ブロック160は制御をブロック162に渡し、選択的オフライン対応の音声アクションがオフラインで完了され得るかどうかを判定し、オフラインで完了され得る場合、制御をブロック158に渡し、必要に応じてアクションを完了する。
しかしながら、オフラインで完了され得ない場合、ブロック162は、制御をブロック164に渡し、デバイス上で音声アクションの完了を効果的に延長する。上述したとおり、選択的オフライン対応の音声アクションは、複数の方法、例えば、文脈依存データを取得する必要、オンラインサービスおよび/または別のデバイスと同期する必要などに基づいて、オフラインで完了することができないと判定され得る。結果的に、音声アクションがオフラインで完了され得る場合、ブロック162は制御をブロック158に渡し、必要に応じてアクションを完了する。
そのような状況は、ブロック164が実行されて、デバイスのオフライン状態に基づいて許可されるときに、音声アクションのリマインダをビルドする、例えば、デバイス上でローカルに解決され得る各パラメータに対するデータとともに、音声アクションオブジェクトをビルドする。オンラインサービスまたは他のデバイスとの同期がアクションの完了を妨げる動作のみであるという実施形態では、ブロック164は、完全な音声アクションオブジェクトをビルドすることさえでき、一度接続性がリストアされたときにリモート完了を単にオンラインサービスまたは別のデバイスによって実行されるままにして、効果的にローカル完了を実行することができる。
次に、ブロック166は、例えば、デバイス上にローカルにデータを格納することによって、ローカルに、音声アクションに関連するデータを維持する。いくつかの実施形態では、例えば、データが、それに関連するいくつかのまたはすべてのパラメータについてのデータを含め、音声アクションオブジェクトを含むことができる。ブロック168は、次にオンラインサービスへの接続、またはそうでなければリストアされるためのオンライン接続性を待つ。その後、ブロック170は、例えば、文脈依存データを取り出すことによって、音声アクションオブジェクトまたはその一部をオンラインサービスにアップロードすることによって、オンラインサービスまたは別のデバイスと同期することなどによって、オンラインサービスと通信し、ローカルに維持されたデータを使用して音声アクションを完了する。加えて、いくつかの実施形態では、追加のデータが、オンラインサービスに通信され得る。例えば、いくつかの実施形態では、選択的オフライン対応の音声アクションに関連する診断データは、ローカルに維持されるとともに、アクションを完了することに関連してオンラインサービスにアップロードされてもよい。ここで、音声対応電子デバイスがオンラインサービスに接続された後でローカルに維持されたデータを使用して選択的オフライン対応の音声アクションを完了することは、選択的オフライン対応の音声アクションに関連する診断データ、例えば、ナビゲーションログ、エラーログ、ユーザ体験向上データ、構文解析データ、音声-テキストデータなどのデータをアップロードすることを含む。ブロック170の完了時に、ルーチン150が完了する。
図5〜9を見ると、ストリーミング機構を使用した図2のデバイス50において音声入力を処理するための別の例示的実施形態が開示される。特に、音声アクションモジュール58、ストリーミング音声-テキストモジュール64、およびセマンティックプロセッサモジュール66によって実行可能な複数のルーチンが開示される。
例えば、図5は、音声入力の少なくとも一部を受け取ることに応答して、音声アクションモジュール58によって実行される例示的な音声入力処理ルーチン180を示す。ルーチン180は、オンライン処理を開始することによって、例えば、要求をオンラインサービス（例えば、オンライン検索サービス54の音声ベースのクエリプロセッサ80）に送り音声ユニットがデバイスから来たることを示すことによって、ブロック182にて開始する。オンライン接続性が存在しない場合、ブロック182はオンラインサービスが音声入力を通知する結果とならないことにご注意ください。
次に、ブロック184では、音声入力の第1の部分に関連するデジタルオーディオデータがオンラインサービス（接続されている場合）およびオフライン音声-テキストモジュール（ストリーミング音声-テキストモジュール64）の両方にストリーミングされる。ブロック186は、音声入力全体が処理されているかどうかを判定し、処理されていない場合、制御をブロック184に戻し、追加のデジタルオーディオデータをオンラインサービスおよびオフライン音声-テキストモジュールにストリーミングする。音声入力全体が処理されると、ルーチン180が完了する。
いくつかの実施形態では、オンライン処理が、オンラインサービスに音声入力の第1の部分についてのデジタルオーディオデータを送ることによって開始されてよく、それによってブロック182が省略され得ることが理解される。加えて、いくつかの実施形態では、デジタルオーディオデータがオンラインサービスおよびオフライン音声-テキストモジュールにストリーミングされる速さは異なり、いくつかの場合、デジタルオーディオデータは、音声入力が完全に受け取られるまで、オンラインサービスにストリームされなくてもよい。他の実施形態では、音声-テキスト変換が、デジタルオーディオデータをオンラインサービスにストリーミングするのではなく、音声-テキストモジュールによって出力されるテキストトークンがオンラインサービスにストリーミングされるように、ローカルに実行されてもよい。
次に、図6はストリーミング音声-テキストモジュール64によって実行される例示的なオフライン音声-テキストルーチン200を示す。上述したように、モジュール64は、音声アクションモジュール58から音声入力の一部を表すデジタルオーディオデータを受け取り、その結果、ルーチン200はモジュール58から音声入力を受け取ることを開始することによってブロック202において開始する。ブロック204は音声入力のデジタルオーディオデータにおいて認識されるテキストトークン（例えば、単語および/または語句）を生成および出力し、ブロック206は、例えば、さらなる音声入力のデジタルオーディオデータが未処理のままでないときに、音声入力全体が処理されたかどうかを判定する。さらなるデジタルオーディオデータが未処理のままであると、ブロック206は制御をブロック204に戻して、追加のテキストトークンを生成し、音声入力全体が処理されたときに、ブロック206は制御をブロック208に渡し、音声入力の終了を、例えば、セマンティックプロセッサモジュール66に報告する。他の実施形態では、音声入力の終了は、音声アクションモジュール58またはデバイスの他の機能によって、代わりに報告されてもよい。その後、ルーチン200は完了する。
次に、図7はストリーミング音声-テキストモジュール64からテキストトークンを受け取ることに応答して、セマンティックプロセッサモジュール66によって実行される例示的な処理テキストトークンルーチン210を示す。ルーチン210は、モジュール66が音声アクションを現在ビルドしているかどうかを判定することによって、ブロック212において開始する。ビルドしていない場合、制御はブロック214に渡り、新しいアクションオブジェクトを初期化する。新しいアクションオブジェクトがブロック214において初期化された後、またはブロック212が、アクションがすでに現在ビルドの処理中であると判定する場合、ブロック216は、アクションに関連するテキストトークンのセットにテキストトークンを加える。ブロック218がアクションのためにテキストトークンを構文解析し、ブロック220は、構文解析したテキストからアクションをビルドすることを試みる。上述のように、示された実施形態では、現在セマンティックプロセッサモジュールに利用可能である情報に基づいてアクションを漸進的におよび動的にビルドすることを試みるストリーミング機構が、採用されてよい。その結果、いくつかの実施形態ではブロック218および220が、追加のテキストトークンがセマンティックプロセッサモジュールに提供されるときに、アクションをビルド、修正、改良、訂正などすることができる。さらに、いくつかの実施形態では、ブロック218および220は、何のアクションが要求されているか判定し、アクションのための1つまたは複数のパラメータの値を決定し、ならびに、アクションを完了するためにいつ追加のデータが必要とされるか判定さえしてよい。例えば、アクションが場所に部分的に基づく場合、レストランの予約の要求の場合など、ブロック218および220は、デバイスの現在の場所に近いレストランのリストおよびそれらの利用可能性がアクションを完了するために必要であることを判定することができる。
次に、ブロック222は、任意のオンライン情報がアクションを完了するために必要であるかどうかを判定する（例えば、ブロック218および220においてアクションの上述の動的なビルドを行うことに基づいて）。必要でない場合、制御はブロック224に渡り、デバイス上でクライアントサイドのレンダリングを実行する。例えば、クライアントサイドのレンダリングは、処理されたテキストトークンから生じた部分的なビルドアクションへの更新、または特定のデバイスに適し得るような他のオーディオおよび/またはビジュアル更新に基づいて、以前に表示されたテキストを変更して、デバイスのディスプレイ上にユーザによって発話されたテキストを表示することを含み得る。その後、そのテキストトークンのためのルーチン210は、完了する。
ブロック222が追加のオンライン情報が必要であると判定する場合、制御は、代わりにブロック226に渡り、追加の情報を要求するために、オンラインサービスへクエリを送ることを試みる。その後、制御はブロック224に渡り、クライアントサイドのレンダリングを実行し、ルーチン210が完了する。
次に、図8は、入力の終了の指示を受け取ることに応答して（例えば、図6のブロック208において生成されるとき）セマンティックプロセッサモジュール66によって実行されてもよい入力の終了（end of input）を受け取るルーチン230の例を示す。ルーチン230は、セマンティックプロセッサが音声入力のためのすべてのテキストトークンを処理したことを示す、ルーチン210による処理が完了するためにすべてのテキストトークンを待つ（必要に応じて）ことによって、ブロック232において始まる。ブロック234は、その後、アクションが選択的オフライン対応の音声アクションであるかどうかを判定する。
アクションが選択的オフライン対応でない場合、ブロック234は、制御をブロック236に渡し、アクションを完了するともに、ルーチン230が完了する。一方で、アクションが選択的オフライン対応であると判定される場合、ブロック234はブロック238に制御を渡し、音声対応電子デバイスが現在オフラインであるかどうかを判定する。現在オフラインでなく、かつオンラインサービスへの接続性が存在する場合、アクションが選択的オフライン対応であるかどうかの問題は現実的な意味がなくなり、従って制御は、ブロック236に渡り、必要に応じてオンラインサービスにアクセスしてアクションを完了する。しかしながら、デバイスがオフラインの場合、ブロック238は制御をブロック240に渡し、選択的オフライン対応の音声アクションがオフラインで完了され得るかどうかを判定し、オフラインで完了され得る場合、制御をブロック236に渡し、必要に応じてアクションを完了する。
しかしながら、オフラインで完了され得ない場合、ブロック240は、デバイス上で音声アクションの完了を効果的に延長する。特に、ブロック242は、例えば、デバイス上にローカルにデータを格納することによって、ローカルに、音声アクションに関連するデータを維持する。いくつかの実施形態では、例えば、データが、それに関連するいくつかのまたはすべてのパラメータについてのデータを含む、音声アクションオブジェクトを含むことができる。ブロック244はその後、接続性が再確立されるときにアクションが完了されることを示すユーザへの通知を、例えば、いくつかの実施形態においてはカードを生成することによってレンダリングしてもよい。一例として、音声アクションがリマインダを作成するものである場合、「あなたが現在オフラインであり、ミルクを買うリマインダを作成するためのあなたの要求は、接続性がリストアされたときに実行される」などの通知が、デバイス50上に表示され得る。ブロック244が完了すると、ルーチン230が完了する。
次に、図9は、データがローカルに維持された任意のペンディング音声アクションを処理するためのセマンティックプロセッサモジュール66または音声対応電子デバイスの別のモジュールによって実行され得るペンディングアクション処理ルーチン250を示す。ルーチン250が、例えば、デバイス50がオンラインサービスへの接続を確立するときはいつでも、実行されてよく、その結果、ルーチン250は、任意のペンディングの選択的オンライン可能アクションが存在するかどうかを判定することによってブロック252において始まる。存在しない場合、ルーチン250は終了するが、任意のペンディングアクションが存在する場合、制御はブロック254に渡り、各ペンディングアクションを処理するためのFORループを開始する。
各そのようなアクションに対して、ブロック254は制御をブロック256に渡し、任意の文脈依存データが、アクションを完了するためにオンラインサービスから必要か否かを判定する。必要である場合、制御はブロック258に渡り、オンラインサービスに問い合わせて、要求された文脈依存データを受け取る。その後制御は、ブロック260に渡り、ローカルにアクションを完了（すなわち、ローカル完了を実行）するとともに、アクションが完了したことをユーザに（例えばカードを使用して）通知するようにクライアントサイドのレンダリングを実行する。必要とされない場合、ブロック258はバイパスされ、ブロック256は制御を直接ブロック260に渡す。例示的な通知は、「接続性がリストアされましたので、ミルクを買うというあなたのリマインダが今作成されました」であってもよい。
ブロック260は、その後、制御をブロック262に渡し、オンラインおよび/またはデバイス同期が必要かどうか、すなわち、リモート完了がオンラインサービスまたはユーザの他のデバイスによって実行されるべきかどうかを判定する。必要である場合、制御はブロック264に渡り、同期を実行する。制御はその後ブロック266に渡り、アクションに関連する診断データをアップロードする。必要でない場合、ブロック264がバイパスされ、ブロック262がブロック266に直接制御を渡す。
いくつかの実施形態において任意選択であるブロック266は、ナビゲーションログ、エラーログ、ユーザ体験向上データ、アクションオブジェクトおよびアクション関連クエリなどのアクション関連データ、トレーニングデータ、構文解析データ、音声-テキストデータなどのデータをアップロードしてよい。ブロック266が完了すると、制御はブロック254に戻り、追加のペンディングアクションを処理し、一度すべてのアクションが処理されると、ルーチン250が完了する。
複数の実施形態が本明細書に記載され説明されたが、機能を実行するため、および/または結果および/または本明細書に記載の1つまたは複数の利点を得るための様々な他の手段および/または構造が利用されてよく、そのような変形および/または変更の各々が、本明細書に記載の実施形態の範囲内であるとみなされる。より一般的に、本明細書に記載のすべてのパラメータ、大きさ、材料、および構成が、例であることを意味し、実際のパラメータ、大きさ、材料、および/または構成は、具体的なアプリケーション、または、教示が使用されるアプリケーションによるであろう。当業者は、日常的な実験を使用して、本明細書に記載の具体的な実施形態に多くの均等物を認めるか、または解明できるであろう。従って、前述の実施形態は単なる例示として提示され、添付の特許請求の範囲およびそれと均等の範囲内で、具体的に記載され請求される以外の実施形態が実施され得ることが理解されるべきである。本開示の実施形態は、本明細書に記載される個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、そのような特徴、システム、物品、材料、キット、および/または方法の2つ以上の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、および/または方法が互いに矛盾しない場合、本開示の範囲内に含まれる。
10 コンピュータシステム
12 プロセッサ
14 バスサブシステム
16 ストレージサブシステム
18 メモリサブシステム
20 ファイルストレージサブシステム
22 ユーザインターフェース入力デバイス
24 ユーザインターフェース出力デバイス
26 ネットワークインターフェースサブシステム
28 主ランダムアクセスメモリ
30 読み取り専用メモリ
52 音声対応デバイス
54 オンライン検索サービス
56 アプリケーション
58 音声アクションモジュール
60 オンラインインターフェースモジュール
62 レンダリング/同期モジュール
64 ストリーミング音声-テキストモジュール
66 セマンティックプロセッサモジュール
68 構文解析モジュール
70 ダイアログマネージャモジュール
72 アクションビルダモジュール
74 オフライン音響および/または言語モデル
76 オフライン文法モデル
78 オフラインアクションモデル
80 クエリプロセッサ
82 アクションモデル

Claims (20)

  1. 音声対応電子デバイスを用いて音声入力を受け取るステップと、
    前記音声対応電子デバイスにおいて、前記音声入力の少なくとも一部を受け取ることに応答して：
    前記音声入力の前記少なくとも一部のローカル処理を実行して、選択的オフライン対応の音声アクションの少なくとも一部をビルドするステップであって、前記選択的オフライン対応の音声アクションのタイプは、少なくとも1つの場合にオフラインで完了されることができ、少なくとも1つの他の場合にオンラインサービスへの接続を使用してのみ完了されることができる、ステップと、
    前記ローカル処理の間および前記音声対応電子デバイスがオフラインのときに、前記選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定するステップと、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得るという判定に応答して、前記ローカル処理を用いて前記選択的オフライン対応の音声アクションを完了するステップと、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して：
    前記選択的オフライン対応の音声アクションのための前記ローカル処理によって生成されたデータをローカルに維持するステップと、
    前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップと
    を含むことを特徴とする方法。
  2. 前記音声対応電子デバイスが、ワイヤレスネットワークと通信するとき、前記オンラインサービスと通信するように構成されたモバイルデバイスを具備することを特徴とする請求項1に記載の方法。
  3. 前記ローカル処理を実行することが、前記音声対応電子デバイスで前記音声入力を完全に受け取る前に、オフライン対応の音声アクションの前記少なくとも一部を動的にビルドし、前記ローカル処理の間および前記音声対応電子デバイスがオフラインのときに、前記選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定するステップが、前記音声対応電子デバイスで前記音声入力を完全に受け取る前に実行される、ことを特徴とする請求項1に記載の方法。
  4. 前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記オンラインサービスから文脈依存データを取り出すステップと、前記文脈依存データを使用して前記選択的オフライン対応の音声アクションを完了するステップとを含む、ことを特徴とする請求項1に記載の方法。
  5. 前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記文脈依存データのために前記オンラインサービスにクエリを発行するステップを含む、ことを特徴とする請求項4に記載の方法。
  6. オフライン対応の音声アクションが、少なくとも1つの場所依存のパラメータを含み、前記クエリが、前記音声対応電子デバイスの現在の場所を含み、前記文脈依存データが場所依存データを含む、ことを特徴とする請求項5に記載の方法。
  7. オフライン対応の音声アクションが前記音声入力に基づいて解決されないままの少なくとも1つのパラメータを含み、前記オンラインサービスから前記文脈依存データを取り出すステップが、前記オンラインサービスから前記少なくとも1つのパラメータのための値を取り出すステップを含む、ことを特徴とする請求項4に記載の方法。
  8. 前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記オンラインサービスに前記音声対応電子デバイスを同期するステップを含む、ことを特徴とする請求項1に記載の方法。
  9. 前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記音声対応電子デバイスのユーザに関連付けられた少なくとも1つの他の電子デバイスに、前記音声対応電子デバイスを同期するステップを含む、ことを特徴とする請求項1に記載の方法。
  10. 前記選択的オフライン対応の音声アクションのための前記ローカル処理によって生成されたデータをローカルに維持するステップが、前記選択的オフライン対応の音声アクションに関連付けられた診断データをローカルに維持するステップを含み、前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記選択的オフライン対応の音声アクションに関連付けられた前記診断データをアップロードするステップを含む、ことを特徴とする請求項1に記載の方法。
  11. 前記選択的オフライン対応の音声アクションがオフラインで完了できないと判定することに応答して、前記音声対応電子デバイス上で前記選択的オフライン対応の音声アクションのローカルな完了を実行するステップをさらに含み、前記音声対応電子デバイスがオンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップが、前記オンラインサービスを用いて前記選択的オフライン対応の音声アクションのリモート完了を実行するステップを含む、ことを特徴とする請求項1に記載の方法。
  12. 前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して、前記音声対応電子デバイスが前記オンラインサービスに接続された後に前記選択的オフライン対応の音声アクションが完了されることを前記音声対応電子デバイスのユーザに通知するステップをさらに含む、ことを特徴とする請求項1に記載の方法。
  13. 前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して、前記音声対応電子デバイスが前記オンラインサービスに接続された後に前記選択的オフライン対応の音声アクションが完了されたことを前記音声対応電子デバイスの前記ユーザに通知するステップをさらに含む、ことを特徴とする請求項12に記載の方法。
  14. 前記選択的オフライン対応の音声アクションの前記タイプが、リマインダタイプ、通信タイプ、イベントタイプ、デバイス設定タイプ、媒体制御タイプ、およびナビゲーションタイプからなるグループから選択される、ことを特徴とする請求項1に記載の方法。
  15. メモリと、前記メモリ内に格納された命令を実行するように動作可能な1つまたは複数のプロセッサとを具備する装置であって、
    音声対応電子デバイスを用いて音声入力を受け取り、
    前記音声対応電子デバイスにおいて、前記音声入力の少なくとも一部を受け取ることに応答して：
    前記音声入力の前記少なくとも一部のローカル処理を実行して、選択的オフライン対応の音声アクションの少なくとも一部をビルドし、前記選択的オフライン対応の音声アクションのタイプは、少なくとも1つの場合にオフラインで完了されることができ、少なくとも1つの他の場合にオンラインサービスへの接続を使用してのみ完了されることができ、
    前記ローカル処理の間および前記音声対応電子デバイスがオフラインのときに、前記選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定し、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得るという判定に応答して、前記ローカル処理を用いて前記選択的オフライン対応の音声アクションを完了し、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して：
    前記選択的オフライン対応の音声アクションのための前記ローカル処理によって生成されたデータをローカルに維持し、
    前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了する
    命令を含むことを特徴とする装置。
  16. 前記命令は、前記音声入力のデジタルオーディオ信号をテキストに変換するストリーミング音声-テキストモジュールを実施する第1の命令であって、前記第1の命令は、前記デジタルオーディオ信号から複数のテキストトークンを動的に生成する、第1の命令と、前記複数のテキストトークンの少なくとも一部から前記選択的オフライン対応の音声アクションの前記一部を動的にビルドするストリーミングセマンティクプロセッサを実施する第2の命令とを含む、ことを特徴とする請求項15に記載の装置。
  17. 前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了する前記命令が、前記オンラインサービスから文脈依存データを取り出し、前記文脈依存データを使用して前記選択的オフライン対応の音声アクションを完了する命令を含む、ことを特徴とする請求項15に記載の装置。
  18. 前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了する前記命令が、オンラインサービス、または前記音声対応電子デバイスのユーザに関連付けられた少なくとも1つの他の電子デバイスに、前記音声対応電子デバイスを同期する命令を含む、ことを特徴とする請求項15に記載の装置。
  19. 前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して、前記音声対応電子デバイス上で前記選択的オフライン対応の音声アクションのローカルな完了を実行する命令をさらに含み、前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了する前記命令が、前記オンラインサービスを用いた前記選択的オフライン対応の音声アクションのリモート完了を実行する命令を含む、ことを特徴とする請求項15に記載の装置。
  20. 音声対応電子デバイスを用いて音声入力を受け取るステップと、
    前記音声対応電子デバイスにおいて、前記音声入力の少なくとも一部を受け取ることに応答して：
    前記音声入力の前記少なくとも一部のローカル処理を実行して、選択的オフライン対応の音声アクションの少なくとも一部をビルドするステップであって、前記選択的オフライン対応の音声アクションのタイプは、少なくとも1つの場合にオフラインで完了されることができ、少なくとも1つの他の場合にオンラインサービスへの接続を使用してのみ完了されることができる、ステップと、
    前記ローカル処理の間および前記音声対応電子デバイスがオフラインのときに、前記選択的オフライン対応の音声アクションがオフラインで完了され得るか否かを判定するステップと、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得るという判定に応答して、前記ローカル処理を用いて前記選択的オフライン対応の音声アクションを完了するステップと、
    前記選択的オフライン対応の音声アクションがオフラインで完了され得ないと判定することに応答して：
    前記選択的オフライン対応の音声アクションのための前記ローカル処理によって生成されたデータをローカルに維持するステップと、
    前記音声対応電子デバイスが前記オンラインサービスに接続された後、前記ローカルに維持されたデータを使用して前記選択的オフライン対応の音声アクションを完了するステップを含む方法を実行する、1つまたは複数のプロセッサによって実行可能なコンピュータ命令を格納する非一時的コンピュータ可読記憶媒体。
JP2017550865A 2015-05-27 2016-05-20 音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持 Active JP6553736B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/723,279 US10083697B2 (en) 2015-05-27 2015-05-27 Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device
US14/723,279 2015-05-27
PCT/US2016/033658 WO2016191319A1 (en) 2015-05-27 2016-05-20 Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device

Publications (2)

Publication Number Publication Date
JP2018523143A true JP2018523143A (ja) 2018-08-16
JP6553736B2 JP6553736B2 (ja) 2019-07-31

Family

ID=56116557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550865A Active JP6553736B2 (ja) 2015-05-27 2016-05-20 音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持

Country Status (8)

Country Link
US (3) US10083697B2 (ja)
EP (2) EP3584789B1 (ja)
JP (1) JP6553736B2 (ja)
KR (1) KR102043365B1 (ja)
CN (2) CN112291203B (ja)
DE (1) DE112016002370T5 (ja)
GB (1) GB2553940A (ja)
WO (1) WO2016191319A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110238842A (zh) * 2019-04-30 2019-09-17 北京云迹科技有限公司 用于机器人的远程播放方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922894B2 (en) * 2016-06-06 2021-02-16 Biodigital, Inc. Methodology and system for mapping a virtual human body
US10095529B2 (en) * 2016-06-07 2018-10-09 Microsoft Technology Licensing, Llc Font download on application boot
US10726056B2 (en) * 2017-04-10 2020-07-28 Sap Se Speech-based database access
US10607606B2 (en) * 2017-06-19 2020-03-31 Lenovo (Singapore) Pte. Ltd. Systems and methods for execution of digital assistant
US11170762B2 (en) * 2018-01-04 2021-11-09 Google Llc Learning offline voice commands based on usage of online voice commands
CN112088361A (zh) * 2018-03-16 2020-12-15 索尼公司 信息处理装置、信息处理方法及程序
CN109919607A (zh) * 2018-11-23 2019-06-21 阿里巴巴集团控股有限公司 基于离线乘车码的换乘优惠方法及装置和电子设备
US11544706B2 (en) * 2019-04-26 2023-01-03 Discover Financial Services Multi-token provisioning, online purchase transaction processing, and card life cycle management systems and methods
KR20210061091A (ko) 2019-11-19 2021-05-27 삼성전자주식회사 인텔리전트 어시스턴스 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR102208387B1 (ko) * 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치
US11853381B2 (en) 2020-11-13 2023-12-26 Google Llc Hybrid fetching using a on-device cache
KR102602513B1 (ko) * 2021-05-28 2023-11-16 주식회사 피앤씨솔루션 오프라인 환경에서 음성 명령어 번역 기능을 갖는 증강현실 글라스 장치
CN115273818B (zh) * 2022-09-27 2022-12-13 小米汽车科技有限公司 语音处理方法、处理装置、处理设备、车辆和介质
CN115662430B (zh) * 2022-10-28 2024-03-29 阿波罗智联(北京)科技有限公司 输入数据解析方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259090A (ja) * 1993-03-09 1994-09-16 Nec Corp 音声対話システム
JP2004355629A (ja) * 2003-05-29 2004-12-16 Microsoft Corp 高度対話型インターフェースに対する理解同期意味オブジェクト
US20100088100A1 (en) * 2008-10-02 2010-04-08 Lindahl Aram M Electronic devices with voice command and contextual data processing capabilities
JP2011124629A (ja) * 2009-12-08 2011-06-23 Nec Corp スケジュール情報共有システム、スケジュール情報共有方法、通信端末、及びプログラム
JP2013021691A (ja) * 2011-07-06 2013-01-31 Samsung Electronics Co Ltd 通信システムにおけるユーザ端末の情報取得方法および装置
JP2013510341A (ja) * 2009-11-10 2013-03-21 ボイスボックス テクノロジーズ，インク． 自然言語音声サービス環境におけるハイブリッド処理のシステム及び方法
JP2013140269A (ja) * 2012-01-05 2013-07-18 Denso Corp 音声認識装置
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MC1154A1 (fr) 1976-08-04 1978-04-17 Ile De France Nouveaux 2,3-alkylene bis(oxy)benzamides substitues,leurs derives et leurs procedes de preparation
US5092919A (en) 1991-01-15 1992-03-03 Imperial Chemical Industries Plc Certain 2-(2'-methyl-3',4'-trisubstituted benzoyl)-1,3-cyclohexanediones
EP0938077B1 (en) 1992-12-31 2001-06-13 Apple Computer, Inc. A speech recognition system
US6092919A (en) 1995-08-01 2000-07-25 Guided Systems Technologies, Inc. System and method for adaptive control of uncertain nonlinear processes
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
US5857099A (en) 1996-09-27 1999-01-05 Allvoice Computing Plc Speech-to-text dictation system with audio message capability
US6856960B1 (en) * 1997-04-14 2005-02-15 At & T Corp. System and method for providing remote automatic speech recognition and text-to-speech services via a packet network
US8209184B1 (en) * 1997-04-14 2012-06-26 At&T Intellectual Property Ii, L.P. System and method of providing generated speech via a network
US6779030B1 (en) * 1997-10-06 2004-08-17 Worldcom, Inc. Intelligent network
US6215879B1 (en) 1997-11-19 2001-04-10 Philips Semiconductors, Inc. Method for introducing harmonics into an audio stream for improving three dimensional audio positioning
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
US6963759B1 (en) * 1999-10-05 2005-11-08 Fastmobile, Inc. Speech recognition technique based on local interrupt detection
US6442520B1 (en) 1999-11-08 2002-08-27 Agere Systems Guardian Corp. Method and apparatus for continuous speech recognition using a layered, self-adjusting decoded network
US6678415B1 (en) 2000-05-12 2004-01-13 Xerox Corporation Document image decoding using an integrated stochastic language model
US20020042707A1 (en) * 2000-06-19 2002-04-11 Gang Zhao Grammar-packaged parsing
US7464033B2 (en) 2000-07-31 2008-12-09 Texas Instruments Incorporated Decoding multiple HMM sets using a single sentence grammar
US6421607B1 (en) * 2000-09-22 2002-07-16 Motorola, Inc. System and method for distributed navigation service
US6751595B2 (en) * 2001-05-09 2004-06-15 Bellsouth Intellectual Property Corporation Multi-stage large vocabulary speech recognition system and method
DE10147341B4 (de) * 2001-09-26 2005-05-19 Voiceobjects Ag Verfahren und Vorrichtung zum Aufbau einer in einem Computersystem implementierten Dialogsteuerung aus Dialogobjekten sowie zugehöriges Computersystem zur Durchführung einer Dialogsteuerung
US20030120493A1 (en) 2001-12-21 2003-06-26 Gupta Sunil K. Method and system for updating and customizing recognition vocabulary
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7233786B1 (en) * 2002-08-06 2007-06-19 Captaris, Inc. Providing access to information of multiple types via coordination of distinct information services
US7197331B2 (en) * 2002-12-30 2007-03-27 Motorola, Inc. Method and apparatus for selective distributed speech recognition
US7729913B1 (en) * 2003-03-18 2010-06-01 A9.Com, Inc. Generation and selection of voice recognition grammars for conducting database searches
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7653191B1 (en) * 2003-06-26 2010-01-26 Microsoft Corporation Voice call routing by dynamic personal profile
US7392188B2 (en) * 2003-07-31 2008-06-24 Telefonaktiebolaget Lm Ericsson (Publ) System and method enabling acoustic barge-in
JP2005284880A (ja) * 2004-03-30 2005-10-13 Nec Corp 音声認識サービスシステム
EP2317508B1 (en) 2004-10-05 2012-06-27 Inago Corporation Grammar rule generation for speech recognition
KR100695127B1 (ko) * 2004-10-08 2007-03-14 삼성전자주식회사 다 단계 음성 인식 장치 및 방법
US20060129931A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Integrated client help viewer for internet-based and local help content
KR100718147B1 (ko) * 2005-02-01 2007-05-14 삼성전자주식회사 음성인식용 문법망 생성장치 및 방법과 이를 이용한 대화체음성인식장치 및 방법
US20060177011A1 (en) * 2005-02-07 2006-08-10 Jens Skakkebaek System and method for providing code on voicemail appliance
US7697509B2 (en) 2005-06-03 2010-04-13 Alcatel-Lucent Usa Inc. Dynamic E911 updating in a VoIP telephony system
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US11153425B2 (en) * 2005-09-01 2021-10-19 Xtone, Inc. System and method for providing interactive services
WO2007034478A2 (en) 2005-09-20 2007-03-29 Gadi Rechlis System and method for correcting speech
US7929941B2 (en) * 2005-12-16 2011-04-19 Alcatel-Lucent Usa Inc. System for providing emergency voice mail service
US7689420B2 (en) * 2006-04-06 2010-03-30 Microsoft Corporation Personalizing a context-free grammar using a dictation language model
US20070276651A1 (en) 2006-05-23 2007-11-29 Motorola, Inc. Grammar adaptation through cooperative client and server based speech recognition
US7664530B2 (en) * 2006-06-09 2010-02-16 AT&I Intellectual Property I, L.P Method and system for automated planning using geographical data
US20090030697A1 (en) 2007-03-07 2009-01-29 Cerra Joseph P Using contextual information for delivering results generated from a speech recognition facility using an unstructured language model
US8949130B2 (en) * 2007-03-07 2015-02-03 Vlingo Corporation Internal and external speech recognition use with a mobile communication facility
TWI375933B (en) * 2007-08-07 2012-11-01 Triforce Co Ltd Language learning method and system thereof
US9569806B2 (en) 2007-09-04 2017-02-14 Apple Inc. Dynamic presentation of location-specific information
US8166126B2 (en) * 2007-09-18 2012-04-24 Cassidian Communications, Inc. System and method for distributing notifications to a group of recipients
US20100172287A1 (en) * 2007-10-25 2010-07-08 Krieter Marcus Temporal network server connected devices with off-line ad hoc update and interaction capability
US8463424B2 (en) * 2007-11-07 2013-06-11 Research In Motion Limited System and method for displaying address information on a map
US8150689B2 (en) 2007-12-21 2012-04-03 Nvoq Incorporated Distributed dictation/transcription system
US9177551B2 (en) 2008-01-22 2015-11-03 At&T Intellectual Property I, L.P. System and method of providing speech processing in user interface
US8700310B2 (en) * 2008-02-05 2014-04-15 Madhavi Jayanthi Mobile device and server for facilitating GPS based services
WO2009123880A1 (en) * 2008-03-31 2009-10-08 Echostar Technologies Llc Systems, methods and apparatus for transmitting data over a voice channel of a wireless telephone network
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100153335A1 (en) * 2008-12-12 2010-06-17 Microsoft Corporation Synchronizing multiple classes with disparate schemas in the same collection
US8695058B2 (en) * 2009-05-20 2014-04-08 Mobile Iron, Inc. Selective management of mobile device data in an enterprise environment
CN101604204B (zh) 2009-07-09 2011-01-05 北京科技大学 智能情感机器人分布式认知系统
US8892439B2 (en) 2009-07-15 2014-11-18 Microsoft Corporation Combination and federation of local and remote speech recognition
US8391320B2 (en) 2009-07-28 2013-03-05 Avaya Inc. State-based management of messaging system jitter buffers
US9172803B2 (en) * 2009-08-23 2015-10-27 Aspect Software, Inc. System and method for integrating runtime usage statistics with developing environment
US10264029B2 (en) * 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
WO2011059997A1 (en) * 2009-11-10 2011-05-19 Voicebox Technologies, Inc. System and method for providing a natural language content dedication service
WO2011133824A1 (en) * 2010-04-21 2011-10-27 Michael Jerry Saylor Multimodal interactive voice response system
US8412163B2 (en) * 2010-04-29 2013-04-02 Microsoft Corporation Local voicemail for mobile devices
CN101938522A (zh) * 2010-08-31 2011-01-05 中华电信股份有限公司 语音微博客服务的方法
US8954291B2 (en) * 2010-09-30 2015-02-10 Fitbit, Inc. Alarm setting and interfacing with gesture contact interfacing controls
US8719368B2 (en) * 2010-10-07 2014-05-06 Facebook, Inc. Preferred contact channel for user communications
US8869307B2 (en) * 2010-11-19 2014-10-21 Mobile Iron, Inc. Mobile posture-based policy, remediation and access control for enterprise resources
US9183843B2 (en) 2011-01-07 2015-11-10 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US10049669B2 (en) 2011-01-07 2018-08-14 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
JP6317111B2 (ja) 2011-02-22 2018-04-25 スピーク・ウィズ・ミー・インコーポレイテッドＳｐｅａｋ Ｗｉｔｈ Ｍｅ，Ｉｎｃ． ハイブリッド型クライアントサーバ音声認識
US9202465B2 (en) 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
US9679561B2 (en) * 2011-03-28 2017-06-13 Nuance Communications, Inc. System and method for rapid customization of speech recognition models
CN102215233A (zh) 2011-06-07 2011-10-12 盛乐信息技术（上海）有限公司 信息系统客户端及信息发布与获取方法
GB2493413B (en) * 2011-07-25 2013-12-25 Ibm Maintaining and supplying speech models
US20130085753A1 (en) 2011-09-30 2013-04-04 Google Inc. Hybrid Client/Server Speech Recognition In A Mobile Device
US8972263B2 (en) 2011-11-18 2015-03-03 Soundhound, Inc. System and method for performing dual mode speech recognition
CN102496364A (zh) * 2011-11-30 2012-06-13 苏州奇可思信息科技有限公司 基于云端网络的交互式语音识别方法
US9620122B2 (en) 2011-12-08 2017-04-11 Lenovo (Singapore) Pte. Ltd Hybrid speech recognition
CN104094287A (zh) 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
EP2817938B1 (en) 2012-02-24 2019-04-03 Wyse Technology L.L.C. Information sharing using token received using visual tag
CN102694788B (zh) * 2012-03-07 2014-08-13 张春晓 一种服务器端提供客户端远程服务的方法和系统
US20130246392A1 (en) 2012-03-14 2013-09-19 Inago Inc. Conversational System and Method of Searching for Information
US10431235B2 (en) * 2012-05-31 2019-10-01 Elwha Llc Methods and systems for speech adaptation data
US20140036023A1 (en) * 2012-05-31 2014-02-06 Volio, Inc. Conversational video experience
WO2013185109A2 (en) * 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
EP2864982B1 (en) 2012-06-22 2018-10-17 Visteon Global Technologies, Inc. Multi-pass vehicle voice recognition systems and methods
US9053708B2 (en) 2012-07-18 2015-06-09 International Business Machines Corporation System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment
US20140039893A1 (en) 2012-07-31 2014-02-06 Sri International Personalized Voice-Driven User Interfaces for Remote Multi-User Services
US9497515B2 (en) 2012-08-16 2016-11-15 Nuance Communications, Inc. User interface for entertainment systems
US8799959B2 (en) 2012-08-16 2014-08-05 Hoi L. Young User interface for entertainment systems
US9106957B2 (en) 2012-08-16 2015-08-11 Nuance Communications, Inc. Method and apparatus for searching data sources for entertainment systems
US9384736B2 (en) * 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input
US9583100B2 (en) 2012-09-05 2017-02-28 GM Global Technology Operations LLC Centralized speech logger analysis
US9507329B2 (en) * 2012-09-21 2016-11-29 Apple Inc. Apparatus and methods for controlled switching of electronic access clients without requiring network access
KR20150063423A (ko) 2012-10-04 2015-06-09 뉘앙스 커뮤니케이션즈, 인코포레이티드 Asr을 위한 개선된 하이브리드 컨트롤러
CN104737226B (zh) 2012-10-16 2017-06-06 奥迪股份公司 机动车中的语音识别
WO2014065808A1 (en) * 2012-10-26 2014-05-01 Blackberry Limited Text and context recognition through images and video
US9093069B2 (en) * 2012-11-05 2015-07-28 Nuance Communications, Inc. Privacy-sensitive speech model creation via aggregation of multiple user models
US9190057B2 (en) * 2012-12-12 2015-11-17 Amazon Technologies, Inc. Speech model retrieval in distributed speech recognition systems
US9185227B2 (en) * 2012-12-14 2015-11-10 Kirusa, Inc. Sender driven call completion system
US8977555B2 (en) 2012-12-20 2015-03-10 Amazon Technologies, Inc. Identification of utterance subjects
US8494853B1 (en) 2013-01-04 2013-07-23 Google Inc. Methods and systems for providing speech recognition systems based on speech recordings logs
WO2014137341A1 (en) 2013-03-07 2014-09-12 Nuance Communications, Inc. Method for training an automatic speech recognition system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR102073102B1 (ko) * 2013-03-21 2020-02-04 삼성전자 주식회사 언어인식을 위한 언어모델 db, 언어인식장치와 언어인식방법, 및 언어인식시스템
US9430465B2 (en) 2013-05-13 2016-08-30 Facebook, Inc. Hybrid, offline/online speech translation system
US9449599B2 (en) 2013-05-30 2016-09-20 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
CN103400576B (zh) 2013-07-18 2015-11-25 百度在线网络技术（北京）有限公司 基于用户行为日志的语音模型更新方法及装置
DE102013215136A1 (de) 2013-08-01 2015-02-05 Dywidag-Systems International Gmbh Korrosionsgeschütztes Zugglied und plastisch verformbare Scheibe aus Korrosionsschutzmaterial für ein derartiges Zugglied
US9412362B2 (en) 2013-08-28 2016-08-09 Verint Systems Ltd. System and method for determining the compliance of agent scripts
US9904720B2 (en) * 2013-09-18 2018-02-27 Facebook, Inc. Generating offline content
JP2016531375A (ja) 2013-09-20 2016-10-06 アマゾン テクノロジーズ インコーポレイテッド ローカルとリモートのスピーチ処理
US9530416B2 (en) * 2013-10-28 2016-12-27 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
US9666188B2 (en) * 2013-10-29 2017-05-30 Nuance Communications, Inc. System and method of performing automatic speech recognition using local private data
US20150120296A1 (en) * 2013-10-29 2015-04-30 At&T Intellectual Property I, L.P. System and method for selecting network-based versus embedded speech processing
DE102013224581A1 (de) 2013-11-29 2015-06-03 Osram Opto Semiconductors Gmbh Optoelektronisches Bauelement und Verfahren zu seiner Herstellung
CN104751843A (zh) * 2013-12-25 2015-07-01 上海博泰悦臻网络技术服务有限公司 一种语音服务切换方法和系统
US20150186892A1 (en) * 2013-12-30 2015-07-02 Tencent Technology (Shenzhen) Company Limited Methods and systems for verifying a transaction
US8868409B1 (en) 2014-01-16 2014-10-21 Google Inc. Evaluating transcriptions with a semantic parser
US20150255068A1 (en) * 2014-03-10 2015-09-10 Microsoft Corporation Speaker recognition including proactive voice model retrieval and sharing features
US20150293509A1 (en) * 2014-04-15 2015-10-15 Ford Global Technologies, Llc In-vehicle home automation integration
US20150370787A1 (en) 2014-06-18 2015-12-24 Microsoft Corporation Session Context Modeling For Conversational Understanding Systems
US9462112B2 (en) * 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US20150371628A1 (en) 2014-06-23 2015-12-24 Harman International Industries, Inc. User-adapted speech recognition
US9548066B2 (en) 2014-08-11 2017-01-17 Amazon Technologies, Inc. Voice application architecture
CN104462262B (zh) * 2014-11-21 2017-10-31 北京奇虎科技有限公司 一种实现语音搜索的方法、装置和浏览器客户端
US9460713B1 (en) 2015-03-30 2016-10-04 Google Inc. Language model biasing modulation
US10114676B2 (en) 2015-05-05 2018-10-30 Microsoft Technology Licensing, Llc Building multimodal collaborative dialogs with task frames
US9922138B2 (en) 2015-05-27 2018-03-20 Google Llc Dynamically updatable offline grammar model for resource-constrained offline device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259090A (ja) * 1993-03-09 1994-09-16 Nec Corp 音声対話システム
JP2004355629A (ja) * 2003-05-29 2004-12-16 Microsoft Corp 高度対話型インターフェースに対する理解同期意味オブジェクト
US20100088100A1 (en) * 2008-10-02 2010-04-08 Lindahl Aram M Electronic devices with voice command and contextual data processing capabilities
JP2013510341A (ja) * 2009-11-10 2013-03-21 ボイスボックス テクノロジーズ，インク． 自然言語音声サービス環境におけるハイブリッド処理のシステム及び方法
JP2011124629A (ja) * 2009-12-08 2011-06-23 Nec Corp スケジュール情報共有システム、スケジュール情報共有方法、通信端末、及びプログラム
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
JP2013021691A (ja) * 2011-07-06 2013-01-31 Samsung Electronics Co Ltd 通信システムにおけるユーザ端末の情報取得方法および装置
JP2013140269A (ja) * 2012-01-05 2013-07-18 Denso Corp 音声認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110238842A (zh) * 2019-04-30 2019-09-17 北京云迹科技有限公司 用于机器人的远程播放方法及装置

Also Published As

Publication number Publication date
US20160351200A1 (en) 2016-12-01
US10083697B2 (en) 2018-09-25
EP3584789B1 (en) 2022-03-16
CN107430853A (zh) 2017-12-01
US20190387076A1 (en) 2019-12-19
CN107430853B (zh) 2020-11-03
US20180366129A1 (en) 2018-12-20
US10986214B2 (en) 2021-04-20
GB2553940A (en) 2018-03-21
WO2016191319A1 (en) 2016-12-01
EP3584789A1 (en) 2019-12-25
EP3262637A1 (en) 2018-01-03
JP6553736B2 (ja) 2019-07-31
KR20170125901A (ko) 2017-11-15
EP3262637B1 (en) 2019-08-28
CN112291203A (zh) 2021-01-29
US10334080B2 (en) 2019-06-25
CN112291203B (zh) 2023-04-18
DE112016002370T5 (de) 2018-02-15
KR102043365B1 (ko) 2019-11-11
GB201715766D0 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
JP6553736B2 (ja) 音声対応電子デバイスにおける選択的オフライン対応の音声アクションのためのデータのローカル維持
US11676606B2 (en) Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
EP3389044B1 (en) Management layer for multiple intelligent personal assistant services
EP3385946B1 (en) Dynamically updatable offline grammar model for resource-constrained offline device
EP3304546B1 (en) Selective aborting of online processing of voice inputs in a voice-enabled electronic device
JP2024019405A (ja) ２パスエンドツーエンド音声認識
US20240169989A1 (en) Multimodal responses
US11990124B2 (en) Language model prediction of API call invocations and verbal responses

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190704

R150 Certificate of patent or registration of utility model

Ref document number: 6553736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250