JP2022539675A

JP2022539675A - 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および／または登録

Info

Publication number: JP2022539675A
Application number: JP2021574854A
Authority: JP
Inventors: ユアン・ユアン; ビボ・シュ; ティエンユ・ワン; アヌラグ・ジャイン
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2019-10-15
Filing date: 2019-12-11
Publication date: 2022-09-13
Anticipated expiration: 2039-12-11
Also published as: EP3970139A1; US11948556B2; KR20220024557A; CN114207710A; JP7354301B2; US20210335342A1; JP2023169309A; US20240194190A1; WO2021076164A1

Abstract

最初に明示的に起動させなければならないことを伴わずに、自動アシスタントに応答アクションを実行させるために使用可能な新しい「ホットコマンド」を検出および/または登録する(または、作動させる)ための技法について本明細書で説明する。様々な実装形態では、自動アシスタントは、トリガイベントに応答して、限定聴取状態から完全音声認識状態に遷移され得る。完全音声認識状態にある間、自動アシスタントは、テキストコマンドを生成するためにユーザから話されたコマンドを受信し、それに対して音声認識処理を実行し得る。テキストコマンドは、テキストコマンドのコーパス内の頻度しきい値を満たすと決定され得る。結果として、テキストコマンドを示すデータは、ホットコマンドとして登録され得る。テキストコマンドに意味的に矛盾しない別のテキストコマンドの後続の発話は、明示的な起動を必要とせずに、自動アシスタントによる応答アクションの実行をトリガし得る。

Description

人間は、本明細書で「自動アシスタント」と呼ばれる(「チャットボット」、「対話型パーソナルアシスタント」、「インテリジェントパーソナルアシスタント」、「パーソナルボイスアシスタント」、「会話エージェント」、「仮想アシスタント」などとも呼ばれる)対話型ソフトウェアアプリケーションと人間対コンピュータダイアログに従事し得る。たとえば、人間(その人間が自動アシスタントと対話するとき、「ユーザ」と呼ばれることがある)は、テキストに変換され、次いで、処理および/またはタイプされた自由形式自然言語入力に変換される音声発話を含み得る自由形式自然言語入力を使用して、コマンド、クエリ、および/または要求を提供し得る。

多くの場合、自動アシスタントがユーザの要求を解釈してそれに応答し得る前に、自動アシスタントは、最初に、たとえば、しばしば「ホットワード」または「ウェイクワード」と呼ばれる、事前定義された口頭起動フレーズを使用して、「起動」されなければならない。したがって、多くの自動アシスタントは、自動アシスタントがホットワードの限定(または、有限または「デフォルト」)セットに対してマイクロフォンによってサンプリングされるオーディオデータを常に「聴取している」状態である、本明細書で「限定聴取状態」または「デフォルト聴取状態」と呼ばれることになる状態で動作する。ホットワードのデフォルトセット以外のオーディオデータ内でキャプチャされたいずれの発話も無視される。ホットワードのデフォルトセットのうちの1つまたは複数で自動アシスタントが起動されると、自動アシスタントは、自動アシスタントが起動後の少なくとも何らかの時間間隔にわたって、自動アシスタントがマイクロフォンによってサンプリングされたオーディオデータの音声対テキスト(「STT」)処理(「音声認識処理」とも呼ばれる)を行って、テキスト入力を生成し、次に、ユーザの意図を決定する(また、その意図を実現する)ために意味的に処理される、本明細書で「完全聴取状態」と呼ばれることになる状態で動作し得る。

デフォルト聴取状態で自動アシスタントを動作させることは、様々な利益をもたらす。「聴取される」ホットワードの数を限定することは、電力および/または計算リソースの節約を可能にする。たとえば、オンデバイス機械学習モデルは、1つまたは複数のホットワードがいつ検出されるかを示す出力を生成するようにトレーニングされ得る。そのようなモデルの実装は、最低限の計算リソースおよび/または電力のみを必要とし得、これは、リソース制約されることが多いアシスタントデバイスにとって特に有益である。これらの利益と共に、自動アシスタントを限定ホットワード聴取状態で動作させることは、様々な課題をやはり提示する。不注意による自動アシスタントの起動を回避するために、ホットワードは、一般に、日常の会話において発話されることがあまりないワードまたはフレーズ(たとえば、「ロングテール」ワードまたは「ロングテール」フレーズ)になるように選択される。しかしながら、何らかのアクションを実行するために自動アシスタントを起動させる前にロングテールホットワードを発話することをユーザに要求する、厄介であり得る様々なシナリオが存在する。

最初に明示的に起動させなければならないことを伴わずに、自動アシスタントに応答アクションを実行させるために使用可能な新しい「ホットコマンド」を検出および/または登録する(または、作動させる(commissioning))ための技法について本明細書で説明する。本明細書で使用する「ホットコマンド」は、話されたとき、自動アシスタントが、最初に明示的に起動され、自動アシスタントがいずれかのキャプチャされた発話に応答することを試みる完全聴取/応答状態に遷移することを必要とせずに、自動アシスタントが応答する1つまたは複数のワードまたはフレーズを指す。

いくつかの実装形態では、音声認識は、ディスプレイ、カメラ、および/または他のセンサーなど、他の構成要素を含んでよく、または含まなくてもよい、全体的にまたは少なくとも部分的に、スタンドアロン対話型スピーカ(speaker)などのクライアントデバイスにオンボードで実装され得る。いくつかのそのような実装形態では、自動アシスタントは、自動アシスタントが起動した直後以外の時点でキャプチャされた、話された発話に対して音声認識処理を実行し得る。これらの他の時点は、たとえば、ユーザがコンピューティングデバイスに近接して検出されるときはいつでも、ユーザ音声が検出され、テレビジョンまたはラジオなど、別の機械から発生していないと決定されるときはいつでも、などを含み得る。

言い換えれば、いくつかの実装形態では、本開示の選択された態様で構成された自動アシスタントを実装するコンピューティングデバイスは、上記で論じたように、自動アシスタントが明示的に起動された後で検出される発話に対してのみ音声認識処理を実行し得る、従来の自動アシスタントよりも多くの検出された発話に対して音声認識処理を実行し得る。この音声認識処理から生成されるテキスト断片は、これらのテキスト断片が自動アシスタントによる応答アクションをトリガすべきか、ホットコマンドとして登録されるべきか、または無視または廃棄されるべきかを決定するために、本明細書で説明する技法を使用して分析され得る。多くの実装形態では、テキスト断片は従来の自動アシスタントよりも検出される発話のより大きな部分に対して生成されるにもかかわらず、本明細書で説明する技法は、クライアントデバイス上で局所的に実行され、それにより、クラウドベースのシステムへのテキスト断片の送信を回避し得る。

いくつかの実装形態では、ホットコマンドは、様々な「ホットコマンド登録基準」に基づいてホットコマンドライブラリ内に選択的に登録され得る。1つのホットコマンド登録基準は、自動アシスタントの明示的な起動後に受信されたテキストコマンドがテキストコマンドのコーパス内の頻度しきい値を満たすことであり得る。このコーパスは、特定のユーザ(たとえば、話者)またはユーザの集団に関連付けられ得る。たとえば、特定のユーザが特定のコマンド「照明をオフにして」を発するために何らかのしきい値回数だけ自動アシスタントを起動させると仮定する。しきい値が満たされる前に、このコマンドが最初に明示的に起動されずに自動アシスタントによる応答アクションをトリガすることはできない。しかしながら、しきい値が満たされると(たとえば、ユーザが照明をオフにするために自動アシスタントを10回起動させると)、テキストコマンド「照明をオフにして」がホットコマンドライブラリ内に登録される。その後、最初に自動アシスタントを起動させずに、同じユーザによって同じコマンドが発せられるときはいつでも、自動アシスタントは、それでも、たとえば、同じ室内の照明をオフにすることによって、応答アクションを行う。

特に自動アシスタントが明示的に起動された後でのみ音声認識処理が実行される、いくつかの実装形態では、ホットコマンドライブラリ内へのテキストコマンドの登録は、今後に向けてテキストコマンドを検出するように、前述のオンデバイス機械学習モデルをさらにトレーニングさせることができる。自動アシスタントが他の時点でキャプチャされた他の発話に対して音声認識処理を(オンボードで)実行する他の実装形態では、各発話から生成されたテキスト断片がホットコマンドライブラリ内に記憶されたテキスト断片と比較され得る。たとえば、所与のテキスト断片が、ホットコマンドライブラリ内の記録に十分類似する場合、かつ/またはその記録に意味的に矛盾しない場合、マッチが生じ得る。

十分な類似性は、たとえば、テキスト断片と登録されたホットコマンドとの間に正確なマッチが存在する場合、もしくはテキスト断片と登録されたホットコマンドとの間の編集距離が何らかのしきい値を満たす(たとえば、何らかの編集距離未満である)場合、またはテキスト断片の埋込みがホットコマンドの埋込みの何らかのユークリッド距離内にあるときですら、見出され得る。いくつかの実装形態では、ホットコマンドライブラリは、前に登録されたテキストコマンドの埋込みのみを記憶し得る。たとえば、コマンドの対応するスロットが意味的に同様の値を受信し得る場合、2つのコマンド同士の間に意味的な無矛盾性が存在し得る。たとえば、「タイマーを10分に設定して」および「タイマーを1時間に設定して」は、意味的に矛盾しないが、これは、これらが共有するスロットが時間間隔であるためである。

他の実装形態では、話された発話から生成されたテキスト断片は、ホットコマンドライブラリ内の登録以外の(または、それに加えた)要因に基づいて、ホットコマンドと見なされ得る。たとえば、いくつかの実装形態では、音声認識処理は、複数のテキスト断片を生成するために(たとえば、自動アシスタントの明示的な起動を必要とせずに)複数の発話に対して実行され得る。一方、1つまたは複数の視覚センサーは、分析されるとき、各発話中の話者の視線を明らかにする視覚データを生成し得る。特定のテキスト断片をもたらした特定の発話を話す間、話者が、自動アシスタントが少なくとも部分的に実装されているコンピューティングデバイスを見ていたとき、その特定のテキスト断片はホットコマンドと見なされ得る。

たとえば、ホットコマンドライブラリ内に登録するためにまたは所与のテキスト断片が自動アシスタントに対するコマンドを意味したかどうかを決定するために考慮され得る別の信号は、1つまたは複数のスマートアプライアンスが、その発話がキャプチャされた直後にある人物によって動作させられたかどうかである。ユーザが「照明をオンにして」と言ったが、次いで、別のユーザがスイッチを動作させていくつかのスマート照明をオンにしたと仮定する。それは、コマンド「照明をオンにして」がホットコマンドとして登録または解釈されるべきでないことを示唆することになる。しかしながら、同じシナリオで、スマート照明はオンにされず、その後に沈黙が続くと仮定する。それは、コマンド「照明をオンにして」が、少なくともこの場合、ホットコマンドとして解釈されるべきであることを示唆し得、特にこのシナリオが複数回生じる場合、そのコマンドが今後に向けてホットコマンドとして登録されるべきである可能性をやはり増大させることができる。

いくつかの実装形態では、1つまたは複数のプロセッサによって実行される方法であって、プロセッサのうちの1つまたは複数を使用して、自動アシスタントを動作させるステップと、トリガイベントに応答して、自動アシスタントを限定聴取状態から完全音声認識状態に遷移させるステップと、完全音声認識状態にある間、自動アシスタントによって、ユーザから話されたコマンドを受信するステップと、テキストコマンドを生成するために、話されたコマンドに対する音声認識処理を実行するステップと、テキストコマンドがテキストコマンドのコーパス内の頻度しきい値を満たすと決定するステップと、その決定に応答して、テキストコマンドを示すデータをホットコマンドとして登録するステップであって、登録に続いて、テキストコマンドに意味的に矛盾しない別のテキストコマンドの発話が、自動アシスタントの明示的な起動を必要とせずに、自動アシスタントによる応答アクションの実行をトリガする、登録するステップとを含む、方法が提供される。

様々な実装形態では、トリガイベントは、マイクロフォンによってキャプチャされたオーディオデータ内の1つまたは複数のデフォルトホットワードの検出を含み得る。様々な実装形態では、テキストコマンドのコーパスは、ユーザによって生成されたテキストコマンドのコーパスを含み得る。様々な実装形態では、テキストコマンドのコーパスは、ユーザを含めて、ユーザの集団によって生成されたテキストコマンドのコーパスを含み得る。

様々な実装形態では、この方法は、機械学習モデルにわたって、出力を生成するための入力としてテキストコマンドを適用するステップをさらに含み得る。出力は、テキストコマンドが自動アシスタントに向けられた確率を示し得、登録はさらに、確率によるしきい値の満足に応答する。様々な実装形態では、この方法は、1つまたは複数のカメラによってキャプチャされた視覚データに基づいて、ユーザの視線が、その上で自動アシスタントが少なくとも部分的に実装されるコンピューティングデバイスに向けられていることを検出するステップをさらに含んでよく、登録は検出にさらに応答する。

様々な実装形態では、登録はさらに、話されたコマンド後の事前決定された時間間隔中、何の追加の発話も検出されないとの決定に応答し得る。様々な実装形態では、登録はさらに、話されたコマンド後の事前決定された時間間隔中、ある人物によって何の応答アクションも行われなかったとの決定に応答する。

様々な実装形態では、この方法は、登録に応答して、テキストコマンドを示すデータまたはテキストコマンド自体を、自動アシスタントを少なくとも部分的に実装するコンピューティングデバイスのローカルメモリ内にキャッシュするステップをさらに含み得る。様々な実装形態では、この方法は、テキストコマンドに応答する情報をキャッシュするために、テキストコマンドが明示的に起動されずに、キャッシュされたデータに基づいて、登録に続いてテキストコマンドをトリガするステップであって、トリガに続いて、キャッシュされた情報が、テキストコマンドがトリガされる代わりに、テキストコマンドの後続の起動に応答して出力される、トリガするステップをさらに含み得る。様々な実装形態では、キャッシュに続いて、テキストコマンドの起動は、テキストコマンドを示すデータをローカルエリアネットワーク(「LAN」)およびパーソナルエリアネットワーク(「PAN」)のうちの1つまたは両方を介してスマートアプライアンスに直接的に送信させることができる。様々な実装形態では、テキストコマンドを示すデータの受信は、スマートアプライアンスに応答アクションを実行させることができる。

様々な実装形態では、テキストコマンドを示すデータは、ユーザから受信された、話されたコマンド内で提供された1つまたは複数のパラメータに意味的に矛盾しない1つまたは複数の後続のパラメータを受信するための1つまたは複数のスロットを含むテンプレートを含み得る。

別の関連態様では、1つまたは複数のプロセッサを使用して実装される方法は、1つまたは複数のマイクロフォンにおいてキャプチャされたオーディオデータを受信するステップであって、オーディオデータが第1および第2の話された発話を含む、受信するステップと、第1および第2の話された発話に対応する第1および第2のテキスト断片を生成するためにオーディオデータに対して音声認識処理を実行するステップと、第1のテキスト断片が1つまたは複数のホットコマンド基準を満たすとの決定に応答して、第1のテキスト断片に基づいて応答アクションを実行するステップと、第2のテキスト断片が1つまたは複数のホットコマンド基準を満たすことに失敗するとの決定に応答して、別の応答アクションを実行せずに、第2のテキスト断片を廃棄または無視するステップとを含み得る。

様々な実装形態では、1つまたは複数のホットコマンド基準は、考慮中のテキスト断片のホットコマンドライブラリへの登録を含み得る。様々な実装形態では、ホットコマンドライブラリは、話されたとき、1つまたは複数のデフォルトホットワードの検出または自動アシスタントのアクティブ聴取状態への遷移を必要とせずに、自動アシスタントによる応答アクションの実行をトリガするテキスト断片を含み得る。

様々な実装形態では、この方法は、1つまたは複数のカメラによってキャプチャされた視覚データに基づいて、ユーザが第1の話された発話を提供している間にユーザの第1の視線を、かつユーザが第2の話された発話を提供している間にユーザの第2の視線を検出するステップをさらに含み得る。様々な実装形態では、1つまたは複数のホットコマンド基準は、視線がその上で自動アシスタントが少なくとも部分的に実装されるコンピューティングデバイスに向けられていることを含み得る。

加えて、いくつかの実装形態は、1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサを含み、ここで、1つまたは複数のプロセッサは、関連するメモリ内に記憶された命令を実行するように動作可能であり、ここで、命令は、前述の方法のうちのいずれかを実行させるように構成される。いくつかの実装形態は、前述の方法のうちのいずれかを実行するために1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶した、1つまたは複数の非一時的コンピュータ可読記憶媒体をやはり含む。

前述の概念および本明細書でさらに詳細に説明する追加の概念のすべての組合せは、本明細書で開示する主題の部分であることが企図されることを諒解されたい。たとえば、本開示の最後に出現する特許請求される主題のすべての組合せは、本明細書で開示する主題の部分であることが企図される。

本明細書で開示する実装形態が実装され得る一例示的な環境のブロック図である。様々な実装形態による、自動アシスタントを起動させるために発話がどのように処理され得るかの例を概略的に示す図である。様々な実装形態による、自動アシスタントを起動させるために発話がどのように処理され得るかの例を概略的に示す図である。様々な実装形態による、本開示の選択された態様で構成された自動アシスタントおよび/またはアシスタントデバイスによって実装され得る例示的な状態機械の段階を概略的に示す図である。様々な実装形態による、本開示の選択された態様で構成された自動アシスタントおよび/またはアシスタントデバイスによって実装され得る例示的な状態機械の段階を概略的に示す図である。様々な実装形態による、本開示の選択された態様で構成された自動アシスタントおよび/またはアシスタントデバイスによって実装され得る例示的な状態機械の段階を概略的に示す図である。ユーザと本開示の選択された態様で構成された自動アシスタントとの間の例示的な対話を示す図である。ユーザと本開示の選択された態様で構成された自動アシスタントとの間の例示的な対話を示す図である。ユーザと本開示の選択された態様で構成された自動アシスタントとの間のさらなる例示的な対話を示す図である。ユーザと本開示の選択された態様で構成された自動アシスタントとの間のさらなる例示的な対話を示す図である。本明細書で開示する実装形態による例示的な方法を示すフローチャートである。本明細書で開示する実装形態による一例示的な方法を示す流れ図である。コンピューティングデバイスの一例示的なアーキテクチャを示す図である。

次に図1を参照すると、本明細書で開示する技法が実装され得る一例示的な環境を示す。この例示的な環境は、1つまたは複数のクライアントコンピューティングデバイス106を含む。各クライアントデバイス106は、本明細書で自動アシスタントの「クライアント部分」と呼ばれることもある自動アシスタントクライアント108のそれぞれのインスタンスを実行し得る。本明細書で一括して自動アシスタントの「サーバ部分」と呼ばれることもある、1つまたは複数のクラウドベースの自動アシスタント構成要素119は、概して115に示す、1つまたは複数のローカルエリアおよび/または広域ネットワーク(たとえば、インターネット)を介してクライアントデバイス106に通信可能に結合された1つまたは複数のコンピューティングシステム(一括して、「クラウド」コンピューティングシステムと呼ばれる)上で実装され得る。

様々な実装形態では、自動アシスタントクライアント108のインスタンスは、1つまたは複数のクラウドベースの自動アシスタント構成要素119とのその対話によって、ユーザの観点から、それを用いてユーザが人間対コンピュータダイアログに従事し得る自動アシスタント120の論理インスタンスのように見えるものを形成し得る。そのような自動アシスタント120の1つのインスタンスが、図1において、破線で示されている。したがって、クライアントデバイス106上で実行している自動アシスタントクライアント108に関与する各ユーザは、事実上、自動アシスタント120のその独自の論理インスタンスに関与することを理解されたい。簡単かつ簡潔にするために、特定のユーザに「サービス」するとして本明細書で使用されるような「自動アシスタント」という用語は、ユーザおよび1つまたは複数のクラウドベースの自動アシスタント構成要素119(それらは複数の自動アシスタントクライアント108の間で共有され得る)が動作させるクライアントデバイス106上で実行する自動アシスタントクライアント108の組合せを指すことになる。いくつかの実装形態では、自動アシスタント120は、ユーザが自動アシスタント120のその特定のインスタンスによって実際に「サービスされて」いるかどうかにかかわらず、任意のユーザからの要求に応答し得ることをやはり理解されたい。

1つまたは複数のクライアントデバイス106は、たとえば、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、モバイルフォンコンピューティングデバイス、ユーザの車両のコンピューティングデバイス(たとえば、車載通信システム、車載エンターテイメントシステム、車載ナビゲーションシステム)、スタンドアロン対話型スピーカ(それは場合によっては、視覚センサーを含み得る)、スマートテレビジョン(または、自動アシスタント機能を備えたネットワーク接続されたドングルを備えた標準テレビジョン)などのスマートアプライアンス、および/またはコンピューティングデバイスを含むユーザのウェアラブル装置(たとえば、コンピューティングデバイスを有するユーザのウォッチ、コンピューティングデバイスを有するユーザの眼鏡、仮想現実コンピューティングデバイスまたは拡張現実コンピューティングデバイス)のうちの1つまたは複数を含み得る。追加および/または代替のクライアントコンピューティングデバイスが提供されてよい。スタンドアロン対話型スピーカ(または、「スマートスピーカ」)など、いくつかのクライアントデバイス106は、主にユーザと自動アシスタント120との間のダイアログを円滑にするように設計されたアシスタントデバイスの形をとってよい。いくつかのそのようなアシスタントデバイスは、タッチスクリーンディスプレイであってよく、またはそうでなくてもよい、接続されたディスプレイを備えたスタンドアロン対話型スピーカの形をとってよい。

いくつかの実装形態では、クライアントデバイス106は、1つまたは複数の視野を有する1つまたは複数の視覚センサー107を備え得るが、これは要求されない。視覚センサー107は、デジタルカメラ、受動型赤外線(「PIR」)センサー、立体カメラ、RGBdカメラ、など、様々な形をとってよい。1つまたは複数の視覚センサー107は、クライアントデバイス106が展開される環境の画像フレーム(静止画像またはビデオ)をキャプチャするために、たとえば、画像キャプチャモジュール111によって使用され得る。これらの画像フレームは、次いで、画像フレーム内に包含されたユーザ提供視覚キューを検出するために、たとえば、視覚キューモジュール112₁によって、分析され得る。これらの視覚キューは、手のジェスチャ、特定の基準点への視線、顔の表情、ユーザによる事前定義された動きなどを含み得るが、これらに限定されない。これらの検出された視覚キューは、自動アシスタント120を起動させる、かつ/または自動アシスタント120に様々なアクションを行わせるなど、様々な目的で使用され得る。

追加または代替として、いくつかの実装形態では、クライアントデバイス106は、1つまたは複数の近接度センサー105を含み得る。近接度センサーは、受動型赤外線(「PIR」)センサー、無線周波数識別(「RFID」)、別の付近の電子構成要素から発せられた信号(たとえば、付近のユーザのクライアントデバイスからのBluetooth信号、デバイスから発せられた高周波音または低周波音など)を受信する構成要素など、様々な形をとってよい。追加または代替として、視覚センサー107および/またはマイクロフォン109は、ユーザが近接していることを、たとえば、視覚的かつ/または可聴的に検出することによって、近接度センサーとして使用されてもよい。

本明細書でより詳細に説明するように、自動アシスタント120は、1つまたは複数のクライアントデバイス106のユーザインターフェース入力デバイスおよびユーザインターフェース出力デバイスを介して1つまたは複数のユーザとの人間対コンピュータダイアログセッションに従事する。いくつかの実装形態では、自動アシスタント120は、クライアントデバイス106のうちの1つの1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって提供されたユーザインターフェース入力に応答して、ユーザとの人間対コンピュータダイアログセッションに従事し得る。それらの実装形態のうちのいくつかにおいて、ユーザインターフェース入力は、明示的に自動アシスタント120を対象とする。たとえば、ユーザは、「OK、アシスタント」または「おい、アシスタント」など、事前決定された起動(「ホット」または「ウェイク」)フレーズを言葉で提供し(たとえば、タイプし、話し)て、自動アシスタント120にタイプされたテキストの積極的な聴取または監視を開始させることができる。追加または代替として、いくつかの実装形態では、自動アシスタント120は、単独で、または口頭起動フレーズと組み合わせて、1つまたは複数の検出された視覚キューに基づいて起動され得る。

いくつかの実装形態では、自動アシスタント120は、ユーザインターフェース入力が明示的に自動アシスタント120を対象としないときですら、そのユーザインターフェース入力に応答して、人間対コンピュータダイアログセッションに従事し得る。たとえば、自動アシスタント120は、ユーザインターフェース入力のコンテンツを調査し、ユーザインターフェース入力内に一定の用語が存在することに応答して、かつ/または他のキューに基づいて、ダイアログセッションに従事することができる。多くの実装形態では、自動アシスタント120は、音声認識を利用してユーザからの発話をテキストに変換し、それに応じて、たとえば、検索結果、一般情報を提供することによって、かつ/または1つまたは複数の応答アクション(たとえば、メディアを再生すること、ゲームを開始すること、食料を注文することなど)を取ることによって、テキストに応答し得る。いくつかの実装形態では、自動アシスタント120は、追加または代替として、発話をテキストに変換せずに、発話に応答し得る。たとえば、自動アシスタント120は、ボイス入力を、埋込みに、(ボイス入力内に存在する1つまたは複数のエンティティを示す)エンティティ表現に、かつ/または他の「非テキスト」表現に、変換し、そのような非テキスト表現に対して動作し得る。したがって、ボイス入力から変換されたテキストに基づいて動作するとして本明細書で説明する実装形態は、追加および/または代替として、直接的にボイス入力に対して、かつ/またはボイス入力の他の非テキスト表現に対して動作し得る。

クライアントコンピューティングデバイス106およびクラウドベースの自動アシスタント構成要素119を動作させるコンピューティングデバイスは各々、データおよびソフトウェアアプリケーションを記憶するための1つまたは複数のメモリ、データにアクセスし、アプリケーションを実行するための1つまたは複数のプロセッサ、およびネットワークを介した通信を円滑にする他の構成要素を含み得る。クライアントコンピューティングデバイス106によってかつ/または自動アシスタント120によって実行される動作は、複数のコンピュータシステムにわたって分散されてよい。自動アシスタント120は、たとえば、ネットワークを通して互いに結合された1つまたは複数の位置において1つまたは複数のコンピュータ上で実行するコンピュータプログラムとして実装され得る。

上述のように、様々な実装形態では、クライアントコンピューティングデバイス106は、自動アシスタントクライアント108、または自動アシスタント120の「クライアント部分」を動作させることができる。様々な実装形態では、自動アシスタントクライアント108は、音声キャプチャモジュール110、前述の画像キャプチャモジュール111、視覚キューモジュール112₁、および/または起動モジュール113を含み得る。他の実装形態では、音声キャプチャモジュール110、画像キャプチャモジュール111、視覚キューモジュール112、および/または起動モジュール113の1つまたは複数の態様は、たとえば、1つまたは複数のクラウドベースの自動アシスタント構成要素119によって、自動アシスタントクライアント108とは別個に実装され得る。たとえば、図1では、画像データ内の視覚キューを検出し得るクラウドベースの視覚キューモジュール112₂も存在する。

様々な実装形態では、ハードウェアおよびソフトウェアの何らかの組合せを使用して実装され得る音声キャプチャモジュール110は、マイクロフォン109または他の圧力センサーなどのハードウェアとインターフェースして、ユーザの発話のオーディオ記録をキャプチャし得る。いくつかの実装形態では、発話は、リングバッファなど、バッファ内のオーディオデータとして少なくとも一時的に記憶され得る。様々な目的に応じて、このオーディオ記録に対して、様々なタイプの処理が実行され得る。いくつかの実装形態では、ハードウェアまたはソフトウェアの何らかの組合せを使用して実装され得る画像キャプチャモジュール111は、視覚センサー107とインターフェースして、視覚センサー107の視野に対応する1つまたは複数の画像フレーム(たとえば、デジタル写真)をキャプチャするように構成され得る。

様々な実装形態では、視覚キューモジュール112₁(および/またはクラウドベースの視覚キューモジュール112₂)は、ハードウェアまたはソフトウェアの何らかの組合せを使用して実装され得、画像キャプチャモジュール111によって提供される1つまたは複数の画像フレームを分析して、1つまたは複数の画像フレーム内でかつ/または1つまたは複数の画像フレームにわたってキャプチャされた1つまたは複数の視覚キューを検出するように構成され得る。視覚キューモジュール112₁は、視覚キューを検出するために様々な技法を採用し得る。たとえば、視覚キューモジュール112₂は、画像フレーム内で検出されたユーザ提供視覚キューを示す出力を生成するようにトレーニングされた1つまたは複数の人工知能(または、機械学習)モデルを使用し得る。

音声キャプチャモジュール110は、前に述べたように、たとえば、マイクロフォン109を介して、ユーザの音声をキャプチャするように構成され得る。追加または代替として、いくつかの実装形態では、音声キャプチャモジュール110は、たとえば、音声対テキスト(「STT」)処理技法(本明細書で「音声認識処理」とも呼ばれる)を使用して、キャプチャされたオーディオをテキストおよび/または他の表現もしくは埋込みに変換するようにさらに構成され得る。図1に示すように、いくつかの実装形態では、音声キャプチャモジュール110は、以下で説明するクラウドベースのSTTモジュール117に加えて、またはその代わりに使用される、オンボードSTTモジュール117Aを含み得る。追加または代替として、いくつかの実装形態では、音声キャプチャモジュール110は、たとえば、1つまたは複数のボイス合成装置を使用して、テキストをコンピュータ合成音声に変換するためにテキスト対音声(「TTS」)処理を実行するように構成され得る。

しかしながら、場合によっては、クライアントデバイス106は計算リソース(たとえば、処理サイクル、メモリ、バッテリーなど)の点で比較的制約され得るため、クライアントデバイス106に対して局所的な音声キャプチャモジュール110は、有限数の異なる話されたフレーズ、具体的には、自動アシスタント120を起動させるフレーズをテキスト(または、低次元埋込み(lower dimensionality embeddings)など、他の形態)に変換するように構成され得る。他の音声入力は、クラウドベースの「TTS」モジュール116および/またはクラウドベースのSTTモジュール117を含み得るクラウドベースの自動アシスタント構成要素119に送信されてよい。

様々な実装形態では、起動モジュール113は、たとえば、音声キャプチャモジュール110および/または視覚キューモジュール112₁(それは、いくつかの実装形態では、単一のモジュール内で画像キャプチャモジュール111と組み合わされてよい)によって提供される出力に基づいて、自動アシスタント120を起動させるかどうかを決定するように構成され得る。たとえば、起動モジュール113は、ユーザの発話が自動アシスタント120との人間対コンピュータダイアログセッションを開始すべき起動フレーズとして適格かどうかを決定し得る。

いくつかの実装形態では、起動モジュール113は、単独で、または視覚キューモジュール112₁によって検出された1つまたは複数の視覚キューと連携して、オーディオ記録、またはオーディオ記録から抽出された特徴のベクトル(たとえば、埋込み)など、ユーザの発話を示すデータを分析し得る。いくつかの実装形態では、音声発話に応答して、自動アシスタント120を起動させるかどうかを決定するために起動モジュール113によって採用されるしきい値は、特定の視覚キューがやはり検出されるとき、減じられてよい。その結果、ユーザが適切な起動フレーズ「OK、アシスタント」とは異なるが、多少それと音声学的に同様の音声発話を提供するときですら、視覚キュー(たとえば、話し手による手の振り、話し手が視覚センサー107をまっすぐ凝視する、など)と併せて検出されるとき、その発話は、それでもなお、適切な起動として受け入れられることが可能である。

いくつかの実装形態では、発話および/または視覚キューが起動として適格かどうかを決定するために、たとえば、オンデバイスモデルデータベース114内に記憶された1つまたは複数のオンデバイス起動モデルが起動モジュール113によって使用され得る。そのようなオンデバイス起動モデルは、起動フレーズ/ジェスチャの変種を検出するようにトレーニングされ得る。たとえば、いくつかの実装形態では、オンデバイス起動モデル(たとえば、1つまたは複数のニューラルネットワーク)は、各々がユーザからの発話のオーディオ記録(または、抽出された特徴ベクトル)、ならびに1つまたは複数の画像フレームおよび/または検出された、発話と同時にキャプチャされた視覚キューを示すデータを含むトレーニング例を使用してトレーニングされ得る。いくつかのそのような実装形態では、オンデバイス起動モデル114は、キャプチャされた発話が自動アシスタント120をアウェイクさせることを意味する起動フレーズを構成する確率pの形で出力を生成し得る。

図1では、オンデバイスモデルデータベース114は、1つまたは複数のオンデバイス起動モデル114₁～114_Nを記憶し得る。いくつかの実装形態では、デフォルトオンデバイス起動モデル114₁は、前に述べたもの(たとえば、「OKアシスタント」、「やあ、アシスタント」など)など、1つまたは複数のデフォルト起動フレーズまたはホットワードをオーディオ記録またはそれを示す他のデータ内で検出するようにトレーニングされ得る。いくつかのそのような実装形態では、これらのモデルは、常に、音声キャプチャモジュール110によってキャプチャされたいずれのオーディオ記録も(少なくとも続く起動に対する何らかの時間期間にわたって)以下で説明するような自動アシスタント120の他の構成要素(たとえば、クライアントデバイス106上のまたは1つまたは複数のクラウドベースの自動アシスタント構成要素119による)を使用して処理され得る完全聴取状態に自動アシスタント120を遷移させるために利用可能かつ有効であり得る。

加えて、いくつかの実装形態では、オンデバイスモデルデータベース114は、1つまたは複数の追加の「コンテキスト起動モデル」114₂～114_Nを少なくとも一時的に記憶し得る。これらのコンテキスト起動モデル114₂～114_Nは、特定のコンテキストにおいて起動モジュール113によって使用され得る、かつ/または起動モジュール113にとって利用可能(たとえば、アクティブ化)であり得る。コンテキスト起動モデル114₂～114_Nは、たとえば、オーディオ記録またはそれを示す他のデータ内で、1つまたは複数のコンテキスト固有のホットワードを検出するようにトレーニングされ得る。いくつかの実装形態では、コンテキスト起動モデル114₂～114_Nは、たとえば、クラウドベースの自動アシスタント構成要素119の部分を形成するが、以下でより詳細に説明するように、クライアントデバイス106上で全体的にまたは部分的に実装されてもよい、図1のホットコマンドエンジン128から必要に応じて選択的にダウンロードされ得る。

様々な実装形態では、起動モジュール113がコンテキスト起動モデル114₂～114_Nを使用して様々な動的ホットワードを検出するとき、起動モジュール113は、自動アシスタント120を前に説明した完全聴取状態に遷移させることができる。追加または代替として、起動モジュール113は、自動アシスタント120を一般聴取状態に遷移させるか否かにかかわらず、1つまたは複数のコンテキスト固有の応答アクションが実行されるコンテキスト固有の状態に自動アシスタント120を遷移させることができる。多くの場合、自動アシスタント120のコンテキスト固有の状態への遷移をトリガしたオーディオデータは、クラウドに送信されなくてよい。代わりに、1つまたは複数のコンテキスト固有の応答アクションがクライアントデバイス106上で完全に実行されてよく、これは応答時間とクラウドに送信される情報量の両方を低減し得、これは、プライバシーの観点から有益であり得る。

いくつかの実装形態では、自動アシスタント120、およびより詳細には、音声キャプチャモジュール110は、自動アシスタント120の起動と同時以外の状況下で検出される発話に対してSTT処理を実行し得る。たとえば、いくつかの実装形態では、音声キャプチャモジュール110は、すべてのキャプチャされた発話に対して、特定のコンテキストでキャプチャされた発話に対して、など、STT処理を実行し得る。このSTT処理から生成されたテキストは、次いで、たとえば、自動アシスタント120を起動させるために、様々な応答アクションを実行するために、など、本明細書で説明する様々な構成要素によって分析され得る。

クラウドベースTTSモジュール116は、クラウドの実質的に無制限のリソースを活用して、テキストデータ(たとえば、自動アシスタント120によって形成された自然言語応答)をコンピュータ生成音声出力に変換するように構成され得る。いくつかの実装形態では、TTSモジュール116は、たとえば、1つまたは複数のスピーカを使用して直接的に出力されることになるコンピュータ生成音声出力をクライアントデバイス106に提供し得る。他の実装形態では、自動アシスタント120によって生成されたテキストデータ(たとえば、自然言語応答)は、音声キャプチャモジュール110に提供されてよく、音声キャプチャモジュール110は、次いで、テキストデータを、局所的に出力されるコンピュータ生成音声に変換し得る。

クラウドベースのSTTモジュール117は、クラウドの実質的に無制限のリソースを活用して、音声キャプチャモジュール110によってキャプチャされたオーディオデータをテキストに変換するように構成され得、テキストは、次いで、意図マッチャー(matcher)135に提供され得る。いくつかの実装形態では、クラウドベースのSTTモジュール117は、音声のオーディオ記録を1つまたは複数の音素に変換し、次いで、その1つまたは複数の音素をテキストに変換し得る。追加または代替として、いくつかの実装形態では、STTモジュール117は、状態復号グラフを採用し得る。いくつかの実装形態では、STTモジュール117は、ユーザの発話の複数の候補テキスト解釈を生成し得る。いくつかの実装形態では、STTモジュール117は、同時に検出された視覚キューが存在するかどうかに応じて、特定の候補テキスト解釈を他の候補テキスト解釈よりも高く重付けするかまたはバイアスし得る。

自動アシスタント120(また、具体的には、クラウドベースの自動アシスタント構成要素119)は、意図マッチャー135、前述のTTSモジュール116、前述のSTTモジュール117、および以下でより詳細に説明する他の構成要素を含み得る。いくつかの実装形態では、自動アシスタント120のモジュールのうちの1つまたは複数は、省かれてよく、組み合わされてよく、かつ/または自動アシスタント120とは別個である構成要素内で実装されてよい。いくつかの実装形態では、プライバシーを保護するために、自然言語プロセッサ122、TTSモジュール116、STTモジュール117など、自動アシスタント120の構成要素のうちの1つまたは複数は、少なくとも部分的にクライアントデバイス106上で(たとえば、クラウドを排除するために)実装され得る。

いくつかの実装形態では、自動アシスタント120は、自動アシスタント120との人間対コンピュータダイアログセッション中にクライアントデバイス106のうちの1つのユーザによって生成された様々な入力に応答して、応答コンテンツを生成する。自動アシスタント120は、ダイアログセッションの部分としてユーザに提示するために、(たとえば、ユーザのクライアントデバイスとは別個であるとき、1つまたは複数のネットワークを介して)応答コンテンツを提供し得る。たとえば、自動アシスタント120は、クライアントデバイス106を介して提供された自由形式自然言語入力に応答して、応答コンテンツを生成し得る。本明細書で使用されるように、自由形式入力は、ユーザによって形成され、ユーザによる選択のために提示されたオプションのグループに制約されない入力である。

本明細書で使用するように、「ダイアログセッション」は、ユーザと自動アシスタント120(また、場合によっては、他の人間の参加者)との間の1つまたは複数のメッセージの局所的自己完結型交換を含み得る。自動アシスタント120は、セッション同士の間の時間の経過、セッション同士の間のユーザコンテキスト(たとえば、位置、スケジュールされた会議の前/最中/後、など)の変化、ユーザと自動アシスタントとの間のダイアログ以外のユーザとクライアントデバイスとの間に介在する1つまたは複数の対話の検出(たとえば、ユーザがしばらくの間アプリケーションを切り替える、ユーザがスタンドアロンボイスアクティブ化製品から立ち去り、次いで、後でそれに戻る)、セッション同士の間のクライアントデバイスのロック/スリープ、自動アシスタント120の1つまたは複数のインスタンスとインターフェースするために使用されるクライアントデバイスの変更、など、様々な信号に基づいて、ユーザとの複数のダイアログセッションを区別し得る。

意図マッチャー135は、ユーザによって提供された入力(たとえば、音声発話、視覚キュー、など)に基づいて、かつ/またはセンサー信号、オンライン信号(たとえば、ウェブサービスから取得されたデータ)など、他の信号、などに基づいて、ユーザの意図を決定するように構成され得る。いくつかの実装形態では、意図マッチャー135は、自然言語プロセッサ122、および前述のクラウドベースの視覚キューモジュール112₂を含み得る。様々な実装形態では、クラウドベースの視覚キューモジュール112₂は自由に使えるリソースをより多く有し得るということを除いて、クラウドベースの視覚キューモジュール112₂は、視覚キューモジュール112₁と同様に動作し得る。具体的には、クラウドベースの視覚キューモジュール112₂は、ユーザの意図を決定するために、単独でまたは他の信号と組み合わせて、意図マッチャー135によって使用され得る視覚キューを検出し得る。

自然言語プロセッサ122は、クライアントデバイス106を介してユーザによって生成された自然言語入力を処理するように構成可能であり、自動アシスタント120の1つまたは複数の他の構成要素によって使用するための注釈付き出力(たとえば、テキスト形式の)を生成し得る。たとえば、自然言語プロセッサ122は、クライアントデバイス106の1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって生成された自由形式自然言語入力を処理し得る。生成される注釈付き出力は、自然言語入力の1つまたは複数の注釈、および自然言語入力の用語のうちの1つまたは複数(たとえば、すべて)を含む。

いくつかの実装形態では、自然言語プロセッサ122は、自然言語入力内の様々なタイプの文法的な情報を識別して注釈付けするように構成される。たとえば、自然言語プロセッサ122は、個々のワードを形態素に分離すること、および/または形態素を、たとえば、そのクラスで注釈付けすることを行うことができる形態学的モジュールを含み得る。自然言語プロセッサ122は、用語をその文法的な役割で注釈付けするように構成された音声タガーの一部分を含んでもよい。たとえば、音声タガーのその部分は、各用語を「名詞」、「動詞」、「形容詞」、「代名詞」など、音声のその部分でタグ付けし得る。また、たとえば、いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、自然言語入力内の用語同士の間の構文関係を決定するように構成された依存パーサ(図示せず)を含み得る。たとえば、依存パーサは、どの用語が他の用語を修正するか、文の主語および動詞、など(たとえば、パースツリー)を決定することができ、そのような依存性に注釈付けすることができる。

いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、人々に対する参照(たとえば、文学の登場人物、著名人、公人、などを含む)、組織、位置(現実および仮想)、など、1つまたは複数のセグメント内のエンティティ参照に注釈付けするように構成されたエンティティタガー(図示せず)を含み得る。いくつかの実装形態では、エンティティに関するデータは、知識グラフ(図示せず)など、1つまたは複数のデータベース内に記憶され得る。いくつかの実装形態では、知識グラフは、既知のエンティティ(また場合によっては、エンティティ属性)を表すノード、ならびにそれらのノードを接続し、エンティティ同士の間の関係を表すエッジを含み得る。たとえば、「バナナ」ノードは、(たとえば、子として)「果物」ノードに接続されてよく、「果物」ノードは、次に、(たとえば、子として)「生産品」および/または「食べ物」ノードに接続されてよい。別の例として、「Hypothetical Cafe」と呼ばれるレストランは、その住所、出される料理のタイプ、営業時間、連絡情報、などの属性をやはり含むノードによって表されてよい。「Hypothetical Cafe」ノードは、いくつかの実装形態では、「レストラン」ノード、「事業」ノード、レストランが位置する町および/または州を表すノード、など、エッジ(たとえば、子対親関係を表す)によって1つまたは複数の他のノードに接続され得る。

自然言語プロセッサ122のエンティティタガーは、(たとえば、人々などのエンティティクラスに対するすべての参照の識別を可能にするために)高いレベルの粒度および/または(たとえば、特定の人物などの特定のエンティティに対するすべての参照の識別を可能にするために)より低いレベルの粒度で、エンティティに対する参照に注釈付けし得る。エンティティタガーは、特定のエンティティを解決する(resolve)ために自然言語入力のコンテンツに依存し得、かつ/または特定のエンティティを解決するために知識グラフまたは他のエンティティデータベースと随意に通信し得る。

いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、1つまたは複数のコンテキストキュー(contextual cues)に基づいて、同じエンティティに対する参照をグループ化、または「クラスタ化」するように構成された共参照レゾルバ(coreference resolver)(図示せず)を含み得る。たとえば、共参照レゾルバを利用して、自然言語入力「私たちが最後にHypothetical Cafeで食事をしたとき、あそこがとても気に入りました」の中の「Hypothetical Cafe」に対する「あそこ」という用語を解決することができる。

いくつかの実装形態では、自然言語プロセッサ122の1つまたは複数の構成要素は、自然言語プロセッサ122の1つまたは複数の他の構成要素からの注釈に依存し得る。たとえば、いくつかの実装形態では、指名されたエンティティタガーは、特定のエンティティに対するすべての言及に注釈付けする際に共参照レゾルバおよび/または依存パーサからの注釈に依存し得る。また、たとえば、いくつかの実装形態では、共参照レゾルバは、同じエンティティに対する参照をクラスタ化する際に依存パーサからの注釈に依存し得る。いくつかの実装形態では、特定の自然言語入力を処理する際、自然言語プロセッサ122の1つまたは複数の構成要素は、関係する前の入力および/または特定の自然言語入力外の他の関係するデータを使用して、1つまたは複数の注釈を決定し得る。

意図マッチャー135は、様々な技法を使用して、たとえば、自然言語プロセッサ122からの出力(それは自然言語入力の注釈および用語を含み得る)に基づいて、かつ/または視覚キューモジュール(たとえば、112₁および/または112₂)からの出力に基づいて、ユーザの意図を決定し得る。いくつかの実装形態では、意図マッチャー135は、たとえば、文法同士の間の、視覚キュー同士の間の、かつ応答アクション(または、より一般的に、意図)同士の間の複数のマッピングを含む、1つまたは複数のデータベース(図示せず)に対するアクセスを有し得る。多くの場合、これらの文法は、経時的に選択および/または学習されてよく、ユーザの最も一般的な意図を表し得る。たとえば、1つ文法、「<アーティスト>を再生」は、その<アーティスト>による音楽をユーザが動作させるクライアントデバイス106上で再生させる応答アクションを起動させる意図にマッピングされ得る。別の文法、「[天気|予報]今日」は、「今日の天気はどう?」および「今日の予報は何?」などのユーザクエリにマッチ可能であり得る。

(代替として、場合によっては、本明細書で「テンプレート」と呼ばれることになる)文法に加えて、またはその代わりに、いくつかの実装形態では、意図マッチャー135は、単独で、または1つまたは複数の文法および/または視覚キューと組み合わせて、1つまたは複数のトレーニングされた機械学習モデルを採用し得る。これらのトレーニングされた機械学習モデルは、1つまたは複数のデータベース内に記憶されてもよく、たとえば、ユーザの発話および/または何らかの検出されたユーザ提供視覚キューを示すデータを低減された次元空間内に埋め込み、次いで、たとえば、ユークリッド距離、コサイン類似度、などの技法を使用して、どの他の埋込み(また、したがって、意図)が最も近接するかを決定することによって、意図を識別するようにトレーニングされ得る。

「<アーティスト>を再生する」の例示的な文法において見られるように、一部の文法は、スロット値(または、パラメータ)で満たされ得るスロット(たとえば、<アーティスト>)を有する。スロット値は、様々な方法で決定され得る。ユーザはしばしばスロット値を積極的に提供することになる。たとえば、文法「私に<トッピング>ピザを注文して」の場合、ユーザは「私にソーセージピザを注文して」というフレーズを話す可能性が高い場合があり、その場合、スロット<トッピング>は自動的に満たされる。追加または代替として、ユーザがスロット値を積極的に提供せずに、ユーザがスロット値で満たされることになるスロットを含む文法を起動させる場合、自動アシスタント120は、それらのスロット値をユーザから求めることができる(たとえば、「あなたのピザに何のタイプのクラストを希望しますか?」)。いくつかの実装形態では、スロットは、視覚キューモジュール112₁～112₂によって検出された視覚キューに基づいて、スロット値で満たすことができる。たとえば、ユーザは、クライアントデバイス106の視覚センサー107に3本の指を立てながら「私にこれだけの猫用ボウルを注文して」のようなことを発話し得る。または、ユーザは、特定の映画用のDVDケースを維持しながら「私にこのような映画をもっと見つけて」のようなことを発話し得る。

いくつかの実装形態では、自動アシスタント120は、ユーザと1つまたは複数の第三者コンピューティングサービス130(または、「第三者エージェント」もしくは「エージェント」)との間の媒介としてサービスし得る。これらの第三者コンピューティングサービス130は、入力を受信して、応答出力を提供する独立したソフトウェアプロセスであってよい。いくつかの第三者コンピューティングサービスは、たとえば、クラウドベースの自動アシスタント構成要素119を動作させるコンピューティングシステムとは別個のコンピューティングシステム上で動作してよく、またはしなくてもよい第三者アプリケーションの形をとってよい。意図マッチャー135によって識別され得る1つの種類のユーザ意図は、第三者コンピューティングサービス130に関与することである。たとえば、自動アシスタント120は、スマートデバイスを制御するためのサービスに対するアプリケーションプログラミングインターフェース(「API」)に対するアクセスを提供し得る。ユーザは、自動アシスタント120を起動させ、「暖房をつけたい」などのコマンドを提供し得る。意図マッチャー135は、このコマンドを文法にマッピングすることができ、これは、第三者サービスに関与し、それにより、ユーザの暖房をオンに切替えさせるように自動アシスタント120をトリガする。第三者サービス130は、暖房をオンにするためのコマンドを実現する(または「解決する」)ために満たされる必要があるスロットの最低限リストを自動アシスタント120に提供し得る。この例では、スロットは、暖房が設定されることになる温度、および暖房がオンにされる持続時間を含み得る。自動アシスタント120は、スロットに対するパラメータを求める自然言語出力を生成し、ユーザに(クライアントデバイス106)を介して提供し得る。

実現モジュール124は、意図マッチャー135によって出力された予測/推定された意図、ならびに(ユーザによって積極的に提供されるにせよ、ユーザから求められるにせよ)関連するスロット値を受信し、その意図を実現する(または、解決する)ように構成され得る。様々な実装形態では、ユーザの意図の実現(または「解決」)は、たとえば、実現モジュール124によって、様々な実現情報(「応答情報」または「解決情報」とも呼ばれる)を生成/取得させ得る。以下で説明することになるように、実現情報は、いくつかの実装形態では、実現情報に基づいて自然言語出力を生成し得る自然言語生成器(いくつかの図では「NLG」)126に提供され得る。

意図は様々な方法で実現され(または「解決され」)得るため、実現(または「解決」)情報は、様々な形をとってよい。ユーザが「「The Shining」の屋外ショットはどこで撮影されたの?」など、単なる情報を要求すると仮定する。ユーザの意図は、たとえば、意図マッチャー135によって、検索クエリであると決定され得る。意図および検索クエリのコンテンツは、図1に示すように、応答情報に関する文書および/または他のデータソース(たとえば、知識グラフ、など)のコーパスを検索するように構成された1つまたは複数の検索モジュール150と通信中であり得る実現モジュール124に提供され得る。実現モジュール124は、検索クエリを示すデータ(たとえば、クエリのテキスト、低減された次元埋込み、など)を検索モジュール150に提供し得る。検索モジュール150は、GPS座標など、応答情報、または「Timberline Lodge、Mt.Hood、Oregon」など、他のより明示的な情報を提供し得る。この応答情報は、実現モジュール124によって生成される実現情報の部分を形成し得る。

追加または代替として、実現モジュール124は、たとえば、意図マッチャー135から、ユーザの意図、およびユーザによって提供された、または他の手段(たとえば、ユーザのGPS座標、ユーザ選好、など)を使用して決定された、任意のスロット値を受信し、応答アクションをトリガするように構成され得る。応答アクションは、たとえば、物品/サービスを注文すること、タイマーを開始すること、リマインダーを設定すること、電話呼出しを開始すること、メディアを再生すること、スマートアプライアンスを動作させること、メッセージを送信すること、などを含み得る。いくつかのそのような実装形態では、実現情報は、実現に関連するスロット値、確認応答(それは場合によっては、事前決定された応答から選択され得る)、などを含み得る。

自然言語生成器126は、様々なソースから取得されたデータに基づいて、自然言語出力(たとえば、人間の音声を真似るように設計されたワード/フレーズ)を生成および/または選択するように構成され得る。いくつかの実装形態では、自然言語生成器126は、意図の実現に関連する実現情報を入力として受信し、その実現情報に基づいて、自然言語出力を生成するように構成され得る。追加または代替として、自然言語生成器126は、自然言語生成器126がユーザに対する自然言語出力を構成するために使用し得る、第三者アプリケーション(たとえば、要求されたスロット)など、他のソースから情報を受信し得る。

ホットコマンドエンジン128は、様々な信号に基づいて、ホットコマンドとしてテキストコマンドを、たとえば、データベース129に選択的に登録するように構成され得る。図1ではクラウドベースの自動アシスタント構成要素119の部分として示されているが、様々な実装形態では、ホットコマンドエンジン128および/またはデータベース129は、追加または代替として、1つまたは複数のクライアントデバイス106上で全体的にまたは部分的に実装され得る。同様に、いくつかの実装形態では、特定のユーザ、たとえば、クライアントデバイス106を制御するユーザに対して登録されたホットコマンドを含むデータベース129は、クライアントデバイス106上に全体的にまたは部分的に保持され得る。

様々な実装形態では、ホットコマンドエンジン128は、たとえば、STT117A/117によって生成されたテキストコマンドが、テキストコマンドのコーパス(たとえば、自動アシスタント120が起動された後に受信されたテキストコマンドのコーパス)内の頻度しきい値を満たすと決定するように構成され得る。たとえば、テキストコマンドは、過去のテキストコマンドのコーパス内に何らかの最小回数より多く出現し得るか、または何らかの最小しきい値にマッチするかまたはそれを超える何らかの頻度または割合で出現し得る。この決定に応答して、ホットコマンドエンジン128は、テキストコマンドを示すデータをデータベース129(および/またはクライアントデバイス106のローカルデータベース)内に登録し得る。テキストコマンドを示すこれらのデータは、逐語的にテキストコマンド自体、ホットコマンドから生成された埋込み、ホットコマンドから生成されたテンプレートまたは文法(以下で説明する)、などを含んでよく、または含まなくてもよい。ホットコマンドエンジン128による登録に続いて、テキストコマンドにマッチする、またはそれに意味的に矛盾しない、別のテキストコマンドの発話は、自動アシスタント120の明示的な起動を必要とせずに、自動アシスタント120による応答アクションの実行をトリガし得る。

いくつかの実装形態では、本明細書で説明する技法を使用してホットコマンドエンジン128によって登録されたホットコマンドは、1つまたは複数のスロットを含む文法または「テンプレート」として記憶され得る。場合によっては、これらのスロットは、これらのスロットが登録されているホットコマンドを生じさせた、話されたコマンド内で提供されたパラメータに意味的に矛盾しない後続のパラメータを受信し得るように、ワイルドカードまたは他の同様の機構によって表現され得る。2つの異なる値がスロット内で交換可能に使用可能であるとき、これらの値は「意味的に矛盾しない」。

たとえば、経時的に、ユーザが自動アシスタント120を起動した後、以下のコマンドを発すると仮定する:「タイマーを5分に設定して」、「タイマーを20分に設定して」、および「タイマーを一時間に設定して」。値「5分」、「20分」、および「一時間」は意味的に矛盾せず、これらはすべて時間間隔を指す。結果として、ユーザが今後に向けて意味的に矛盾しないコマンドを発する前に自動アシスタント120を起動させる必要がないように、「タイマーを<時間>に設定して」などのホットコマンドテンプレートが生成され登録され得る。

時間間隔以外の他の値も同様に互いに意味的に矛盾しない場合がある。たとえば、スマートアプライアンスを制御するコンテキストで、異なるスマート照明の識別情報(たとえば、「台所の照明1」、「リビングルームの照明4」、「部屋の照明」、「バックポーチの照明」)は、意味的に矛盾しない場合がある。同様に、同様のコマンドを使用して制御可能なアプライアンスは、意味的に矛盾しない場合がある。たとえば、テンプレート「<アプライアンス>を上げて」は、オーディオシステムの音量、サーモスタット温度、オーブン温度、空調装置、スマート照明の光強度、などを指すことがある。異なる人々も同様に、ホットコマンドのコンテキストで意味的に矛盾しない場合がある。たとえば、「<人物の名前>にメッセージを送信して」は、誰の名前がスロット内に挿入されるかに応じて、異なる人々にメッセージを送信するために使用され得る。

自動アシスタント120は、クライアントデバイス106において、かつ/または音声キャプチャモジュール110において利用可能な機能性に応じて、様々な方法で起動され得る。図2A～図2Bは、自動アシスタント120に応答アクションを実行させるために自動アシスタント120を起動させるための2つの例示的なパイプラインを概略的に示す。本開示の選択された態様は、パイプライン上でまたは図2A～図2Bに示すパイプラインと様々な特性を共有する他のパイプライン上でのいずれかで全体的にまたは部分的に実装され得る。

図2Aは、自動アシスタント120が音声認識処理を実行するために主にクラウドベースのSTTモジュール117に依存するパイプラインを示す。左から開始して、発話が、たとえば、記録されたオーディオデータとして、音声キャプチャモジュール110によってキャプチャされる。音声キャプチャモジュール110は、音素、イントネーション、ピッチ、調子など、様々なオーディオ特徴を記録されたオーディオデータから抽出する。起動モジュール113は、起動モデル114にわたって、キャプチャされた発話が自動アシスタント120を起動させることを意味した確率pを生成するための入力としてこれらの特徴を適用する。

240において、pがTを満たすことに失敗する場合、242において、発話は無視/廃棄され得る。しかしながら、240において、pが何らかのしきい値T(たとえば、p>0.75、p>0.65、p>0.9、など)を満たす場合、処理は、音声キャプチャモジュール110に戻ってよく、音声キャプチャモジュール110は、前に処理された発話の後に、前に、またはそれと混合して発せられた、話されたコマンドを含むオーディオデータをキャプチャ/バッファし得る。音声キャプチャモジュール110は、音声認識処理のために、このコマンドデータ(たとえば、生のオーディオデータ、埋込みなど)をSTTモジュール117(クラウドベースまたはオンボードクライアントデバイス106)に手渡すことができる。

STTモジュール117は、テキストコマンドを生成することができ、テキストコマンドは、次いで(たとえば、自然言語プロセッサ122を介して)上記で説明したようにコマンドを処理し得る意図マッチャー135に提供される。意図マッチャー135によって決定される意図は、実現モジュール124に提供され得る。実現モジュール124は、たとえば、1つまたは複数の応答アクションを実行することによって、前に説明したように意図を実現し得る。図2Aの下部において間隔によって示すように、自動アシスタント120が成功裏に起動され、話されたコマンドが音声キャプチャモジュール110によってキャプチャ/バッファされるまで、自動アシスタント120は、主にまたはもっぱらデフォルトホットワードまたは他の起動トリガ(たとえば、ホットキーの押下)に応答する「限定聴取状態」にあり得る。起動後、自動アシスタント120は、音声キャプチャモジュール110によってキャプチャされたいずれの発話に対してSTT処理を実行し、実現を試みることになる「完全聴取状態」にある。

図2Bは、STT処理が主にまたはもっぱらオンボードクライアントデバイス106で実装される代替パイプラインを示す。オンデバイスでSTT処理を実行することは、より少ないデータをクラウドに送信することによって、また具体的には、話されたコマンドの解釈に関連するレイテンシを低減することによって、プライバシーを保護するなど、様々な技術的利点を提示し得る。図2Bのパイプラインを使用して処理される、話されたコマンドは、多くの場合、図2Aのパイプラインを使用して発せられた、話されたコマンドよりもはるかに迅速に処理され得る。これは、以下で説明するように、登録されたホットコマンドおよび/または登録されたホットコマンドを示すデータが、たとえば、クライアントデバイス106のメモリ内に、局所的にキャッシュされる実装形態において特に当てはまる。

図2Bでは、発話は音声キャプチャモジュール110によってキャプチャされる。音声キャプチャモジュール110は、オーディオデータを生成して、STTモジュール117A(オンボードクライアントデバイス106)に提供する。STTモジュール117Aは、起動モジュール113および/またはホットコマンドエンジン128など、ダウンストリーム構成要素に提供されるテキストデータ(図2Bで「TXT」)を生成するために、音声認識処理を実行する。

どのダウンストリーム構成要素がSTTモジュール117Aからテキストデータを受信しても、その構成要素は、そのテキストを分析して、244において決定を行い得る。分析が、その発話が自動アシスタント120を起動させることを意味するデフォルトホットワードまたはフレーズであることを明らかにする場合、処理は音声キャプチャモジュール110に戻ってよく、音声キャプチャモジュール110は、(初期発話に続いてであっても、それに先行してであっても、またはそれと混合であってもよい)話されたコマンドを含む、バッファからの追加のオーディオデータを受信および/または提供し得る。処理は、次いで、前に説明したように、構成要素117、135、および124を通して処理され得る。

しかしながら、244において、代替として、テキストデータはホットコマンドを含むと決定され得る。その場合、追加のSTT処理は不要であり得る。代わりに、図2Bに示すように、ホットコマンドは、実現モジュール124を処理する意図を生成し得る意図マッチャー135に直接的に提供され得る。テキスト断片は、様々な要因に基づいて、ホットコマンドと見なされ得る。いくつかの実装形態では、テキストコマンドが、登録されたホットコマンドと同様である、たとえば、意味的に矛盾しない、場合、テキストコマンドは、ホットコマンドと見なされ得る。

追加または代替として、いくつかの実装形態では、トレーニングされた機械学習モデルにわたって、出力を生成するための入力としてテキストコマンドが適用され得る。出力は、テキストコマンドが自動アシスタント120に向けられた確率を示し得る。いくつかの実装形態では、機械学習モデルは、ユーザが自動アシスタント120を明示的に起動させた後、ユーザが発する自由形式のコマンド/クエリを使用してトレーニングされ得る。

追加または代替として、図2Bにおいて破線矢印で示すように、いくつかの実装形態では、登録されたホットコマンドを意図マッチャー135に送信するのではなく、登録されたホットコマンドは、たとえば、登録プロセスの部分としてクライアントデバイス106上にすでに局所的にキャッシュされている可能性がある。いくつかのそのような実装形態では、登録されたホットコマンドが、その後、話された発話内で検出される場合、応答アクションは、登録されたホットコマンドがクラウドベースの自動アシスタント構成要素119によって処理されることなく、キャッシュされた、登録されたホットコマンドに基づいて、トリガされ得る。

いくつかの実装形態では、検索結果など、テキストコマンドに応答する情報がキャッシュされ得る。キャッシュされた情報は、テキストコマンドがトリガされる代わりに、ホットコマンドの後続の起動に応答して出力され得る。たとえば、ユーザが頻繁に自動アシスタント120に「今日の天気はどう?」と聞くと仮定する。このクエリは、ホットコマンドとして登録され得る。いくつかのそのような実装形態では、このクエリは、たとえば、周期的に、ランダムに、毎朝など、適切な検索エンジンに自動的に提出され得る。ユーザが後で(たとえば、自動アシスタント120を最初に起動させなければならないことを伴わずに)「今日の天気はどう?」と聞くとき、応答データはすでにキャッシュされている場合があり、したがって、自動アシスタント120は、識別可能なレイテンシをわずかに伴ってまたはまったく伴わずに天気を出力し得る。

キャッシュされたホットコマンドは検索クエリに限定されない。いくつかの実装形態では、スマートアプライアンスを制御するためのホットコマンドは、たとえば、クラウドベースの自動アシスタント構成要素119との通信を回避するために、かつ/またはレイテンシを低減するために、(たとえば、登録プロセスの部分として)オンボードクライアントデバイス106にキャッシュされ得る。そのようなホットコマンドの後続の起動は、ホットコマンドを示すデータをスマートアプライアンスに直接的に送信させることができる。本明細書で使用する場合、データをスマートアプライアンスに「直接的に」送信することは、1つまたは複数の広域ネットワーク(「WAN」)を介してリモート構成要素(たとえば、119)とデータを交換せずに、ローカルエリアネットワーク(「LAN」)および/またはパーソナルエリアネットワーク(「PAN」)のうちの1つまたは両方を介してデータをスマートアプライアンスに送信することを指すことがある。

たとえば、スマート照明またはスマートロックなど、いくつかのスマートアプライアンスは、Bluetooth、メッシュネットワーク、などの技術を使用してブリッジ構成要素とワイヤレスに通信していることがある。ブリッジ構成要素は、Wi-Fiなど、1つまたは複数の他のタイプのワイヤレスネットワークを介して到達可能であり得る。言い換えれば、ブリッジ構成要素は、スマートアプライアンスが存在する第1のワイヤレス通信ネットワーク(たとえば、Bluetooth、メッシュ)とユーザが、一般に、クライアントデバイス106を動作させる第2のワイヤレス通信ネットワーク(たとえば、Wi-Fi)との間の「ブリッジ」として働く。

キャッシュされたホットコマンド(または、それを示すデータ)は、クラウドベースの自動アシスタント構成要素119と何のデータも交換せずに、クライアントデバイス106からブリッジ構成要素に、またはブリッジ構成要素が存在しない場合、スマートアプライアンス自体に、直接的に送信され得る。キャッシュされたホットコマンドを示すデータの受信は、スマートアプライアンスに応答アクションを実行させることができる。たとえば、コマンド「照明をオンにして」がホットコマンドとして登録されると仮定する。いくつかの実装形態では、この登録は、キャッシュされている照明に(または、それらの照明を制御するブリッジ構成要素に)実際に通信されるコマンドデータを含み得る。結果として、ホットコマンドが後で検出されるとき、そのキャッシュされたデータは、識別可能なレイテンシをわずかに伴ってまたはまったく伴わずにLAN/PANを介して照明/ブリッジ構成要素に即時に送信され得る。

図2Bのパイプラインを用いて、自動アシスタント120は、図2Aのパイプラインよりも頻繁にSTT処理を実行する。したがって、図2Aにあるような「限定聴取状態」を有するのではなく、図2Bで、自動アシスタント120は、244の意思決定に関して前に説明したように自動アシスタントがテキストコマンド/クエリに選択的に応答する、本明細書で「選択的応答状態」と呼ばれるものを有する。自動アシスタント120が、たとえば、デフォルトホットワードを用いて明示的に起動される場合、自動アシスタント120は、「完全応答状態」に遷移し得る。

選択的応答状態で、自動アシスタント120は、様々な要因に基づいてテキストコマンドに選択的に応答する。1つのそのような要因は、テキストコマンド(または、同様のテキストコマンド、もしくはマッチする文法/テンプレート)がホットコマンドとして前に登録されたかどうかである。別の要因は、話者の視線が、少なくともユーザの観点から、自動アシスタント120の少なくとも部分を実装するように見えるコンピューティングデバイスに向けられているかどうかである。他の要因も本明細書で企図される。図2Bの実装形態の完全応答状態で、自動アシスタント120は、自動アシスタント120が検出する何らかの発話を示すデータ(たとえば、STTテキスト出力)を追加の処理のためにクラウドベースの自動アシスタント構成要素119に送信し得る。

図3A～図3Cは、様々な実装形態による、自動アシスタント(たとえば、120)および/または本開示の選択された態様で構成されたアシスタントデバイス(たとえば、106)によって実装され得る例示的な状態機械の段階を概略的に示す。図3Aの左から開始して、自動アシスタント120は、図2Aの限定聴取状態または図2Bの選択的応答状態であってよい第1の状態を開始し得るかまたはデフォルト設定し得る。1つまたは複数のデフォルトホットワード(図3A～図3Cの「DIW」)を検出するとすぐ、自動アシスタント120は、図2Aの完全聴取状態または図2Bの完全応答状態に対応し得る第2の状態に遷移し得る。

第2の状態で、自動アシスタント120は、話された発話など、何らかの自由形式入力を待つことができる。自由形式の入力を検出するとすぐ、自動アシスタント120は、「コマンド登録分析」状態に少なくとも一時的に遷移し得る。コマンド登録分析状態で、自動アシスタント120は、たとえば、ホットコマンドエンジン128によって、様々な要因に基づいて、自動アシスタント120が第1の状態から第2の状態に遷移することを必要とせずに、自由形式の入力が将来使用可能であるホットコマンドとして登録されるべきであるかどうかを決定し得る。「一般処理」と連続して示されているが、いくつかの実装形態では、コマンド登録分析および一般処理は並行して実行され得、またはたとえば、コマンドが有効であり、かつ自動アシスタント120が応答することが可能であったことを確実にするために、コマンド登録分析が一般処理の後に実行され得る。

コマンド登録分析中に考慮される要因のうち最も重要な要因は、コマンド、または意味的に矛盾しないコマンドが受信される頻度である。たとえば、コマンド、または意味的に矛盾しないコマンドが受信される回数がしきい値と比較され得る。しきい値が満たされる場合、テキストコマンド、またはコマンドからアセンブルされたテンプレート/文法およびそのスロットは、自動アシスタント120が明示的に起動されることを必要とせずに、今後に向けて利用可能であるホットコマンドとして登録され得る。一方、自由形式の入力がホットコマンドとして登録されるかどうかにかかわらず、その入力は、応答アクションを実行するために(たとえば、意図マッチャー135および/または実現モジュール124による)一般処理の対象となり得る。

図3Bは、第1の登録されたホットコマンド(「EHC₁」)がコマンド登録分析の結果として登録された後の図3Aの状態機械を示す。ここで、自動アシスタント120が第1の状態にあるとき、自動アシスタント120は、前と同様、第2の状態に遷移され得る。しかしながら、自動アシスタント120は、第1の応答アクション(「応答アクション₁」)を実行するために第1の登録されたホットコマンドEHC₁に応答することもできる。破線矢印によって示すように、いくつかの実装形態では、第1の応答アクションが実行されると、自動アシスタント120は、たとえば、ユーザがどんなクエリを望もうと、ユーザが登録されたホットコマンドをフォローアップすることができるように、第2の状態に遷移し得る。この登録プロセスは、将来繰り返されてよい。たとえば、図3Cは、別の登録ホットコマンド(「EHC₂」)が登録された後の自動アシスタント120の状態機械を示す。

図4Aおよび図4Bは、本明細書で説明する実装形態に従って、クライアントコンピューティングデバイス406のマイクロフォンおよびスピーカ(スタンドアロン対話型スピーカとして示されているが、これは限定的であることを意味しない)を介してユーザ101と自動アシスタントのインスタンス(図4A～図4Bに示さず)との間の人間対コンピュータダイアログセッションがどのように生じ得るかの一例を示す。自動アシスタント120の1つまたは複数の態様は、コンピューティングデバイス406上でおよび/またはコンピューティングデバイス406とネットワーク通信している1つまたは複数のコンピューティングデバイス上で実装され得る。

図4Aで、ユーザ101は、デフォルトホットフレーズ「おい、アシスタント」を使用して自動アシスタント120を起動させる。これは、自動アシスタント120を図3A～図3Cの第1の状態から第2の状態に遷移させることができる。次いで、ユーザ101は「タイマーを5分に設定して」と言う。このフレーズは、コマンド登録分析と図3A～図3Cの一般処理の両方に従って処理され得る。この例の場合、ユーザ101(および/または、実装形態に応じて、他のユーザ)が、このコマンド、または意味的に矛盾しないコマンド(たとえば、「タイマーを10分に設定して」)を何らかの最小ホットコマンド登録しきい値を満たす何らかの回数、発したと仮定する。

自動アシスタント120は、最初にタイマーを設定し、「OK。今…タイマー開始」と言うことによって応答し得る。しかしながら、コマンド(および/または、意味的に矛盾しないコマンド)はホットコマンド登録基準(たとえば、前に述べた最小ホットコマンド登録しきい値)を満たすため、自動アシスタント120は、コマンド、またはより一般に、コマンドから生成されたテンプレートまたは文法およびそのスロットを登録されたホットコマンドとして登録する。そうするとすぐに、自動アシスタントは、「あなたはこのコマンドを頻繁に発しているので、このコマンドを発する前にあなたがこれ以上私をウェイクアップしなくてよいように、私の設定を変更しました…タイマーをX分に設定して、と言うだけで結構です」とユーザ101に通知する。結果として、図4Bに示すように、ユーザ101は、後で単にコマンド「タイマーを6分に設定して」と発話し、自動アシスタント120は、最初に明示的に起動されずに、タイマーを開始することになる。

使用の頻度に加えて、またはその代わりに、いくつかの実装形態では、コマンドがホットコマンドとして解釈されるべきかどうか、かつ/またはコマンドを今後に向けてホットコマンドとして登録するかどうかを決定するために、他の要因および/または信号が使用され得る。追加または代替として、いくつかの実装形態では、次から次へと繰り返されるコマンドの発話は、コマンドをホットコマンドとして解釈および/または登録させることができる。直観的に、ユーザが「照明を赤にして」などと言い、待ち、次いで、同じことを1回または複数の回繰り返す場合、それは、自動アシスタント120が照明を赤にするのをユーザが待っていることを示唆する。

図5A～図5Bは、ユーザの発話が自動アシスタント120を対象とすることを意味したかどうかを決定するためにユーザ101の視線が使用される一例を示す。この場合も、ユーザ101は、少なくとも部分的にクライアントデバイス506C上で動作する自動アシスタント120に関与する。クライアントデバイス506Cは、ユーザの視線の方向を決定するために分析され得る視覚データを生成する視覚センサー507Cを含む。2つの他のクライアントデバイス、すなわち、ラップトップ506Aおよびスマートテレビジョン506Bも存在し、それぞれの視覚センサー507Aおよび507Bを含む。

図5Aでは、ユーザ101は、最初に自動アシスタント120を起動させずに、「照明をオンにして」と言う。ユーザの視線の方向を決定するために、視覚センサー507A～Cのうちの1つまたは複数によって生成された視覚データが、たとえば、視線検出アルゴリズムを使用して分析され得る。ユーザ101がクライアントデバイス506A～Cのうちのいずれかの方向を見ている場合(図5Aで破線矢印によって示される)、それは、コマンドが自動アシスタント120によって応答されるべきかどうかを決定するために、単独でまたは他の信号と組み合わせて使用される信号であり得る。図5Aの場合、自動アシスタント120は、「OK。3つの照明をオンにします」と応答する。

それを、第1のユーザ101Aが別のユーザ101Bに「照明をオンにして」と言う図5Bと対比させる。破線矢印によって示すように、第1のユーザ101Aの視線は第2のユーザ101Bに向けられている。これは、またしても、それらのそれぞれの視覚センサー507A～Cのうちの1つまたは複数によってキャプチャされた視覚データを使用して、クライアントデバイス506A～Cのうちの1つまたは複数によって集められた視覚データに基づいて、検出され得る。結果として、第2のユーザ101Bが照明をオンにするよう指示されているとの仮定に基づいて、自動アシスタント120は何のアクションも行わない。

いくつかの実装形態では、話者の視線の方向は、たとえば、話者が位置する場所(たとえば、いずれの視覚センサー507の視野の外)により、利用可能でないかまたは確認可能でない場合がある。または、話者の視線の方向を決定するために、視覚センサーなど、十分なハードウェアリソースが存在しない場合がある。しかしながら、マイクロフォンまたは近接度センサーなど、他のセンサーからの信号は、複数の人物がそのエリア内に共存しているかどうかを決定するために分析され得る。図5Bにあるように、複数の人物が存在する場合、それは、それらの人々のうちの一人が潜在的にそれらの人々のうちのもう一人に言うことを自動アシスタント120に向けられたコマンドと解釈することと比較考慮(weigh against)し得る。

いくつかの実装形態では、ユーザ101の発話から生成されたテキストデータは、前述の機械学習モデルにわたって、コマンドが自動アシスタント120に向けられた確率を生成するための入力として適用され得る。その確率は、単独では決定的(dispositive)でないことがあり、結局、「照明をオンにして」は、その部屋の別の人物が従う可能性があるコマンドであるが、その上で自動アシスタント120が実行されると少なくとも認知され得るクライアントデバイスをターゲットにするユーザ101の視線と組み合わせて、組み合わされた信号は、自動アシスタント120による応答をトリガするには十分であり得る。追加または代替として、ユーザの視線の方向を検出するのではなく、いくつかの実装形態では、ユーザ101が一人であるかどうかが決定され得る。回答がyesである場合、そのユーザの視線の方向を検出しなくても、ユーザ101が自動アシスタント120に呼びかけていると推論し得る。

図6は、本明細書で開示する実装形態による一例示的な方法600を示す流れ図である。便宜上、流れ図の動作は、それらの動作を実行するシステムを参照して説明される。このシステムは、自動アシスタント120の1つまたは複数の構成要素など、様々なコンピュータシステムの様々な構成要素を含み得る。さらに、方法600の動作は特定の順序で示されているが、これは限定的であることを意味しない。1つまたは複数の動作は、再順序付けされてよく、省かれてよく、または追加されてもよい。

ブロック602において、システムは、106、406、または506A～Cなど、少なくとも部分的に1つまたは複数のクライアントデバイス上で自動アシスタント120を動作させることができる。ブロック604において、システムは、1つまたは複数のトリガイベントを監視し得る。たとえば、システムは、自動アシスタント120を起動させることを意味する1つまたは複数のデフォルトホットワードに対する、1つまたは複数のマイクロフォンにおいてキャプチャされたオーディオデータを監視し得る。上述のように、いくつかの実装形態では、これは、1つまたは複数の起動モデル114にわたって、入力としてオーディオデータの特徴を抽出し適用することを必要とし得る。他の実装形態では、システムは、発話をキャプチャするオーディオデータに対して音声認識処理(本明細書でSTT処理とも呼ばれる)を実行し得る。得られた、生成されたテキスト断片は、その断片がホットワードを含んでいたかどうかを決定するために分析され得る。いくつかの実装形態では、1つまたは複数のハードキーまたはソフトキーを押下する、視覚センサーの前でジェスチャを行う、自動アシスタント120がアクセス可能なモバイルフォンを保持しながら特定のジェスチャまたは動きを行う、など、デフォルトホットワードの検出以外のイベントは、自動アシスタント120を起動させることができる。

ブロック606において、1つまたは複数のトリガイベントが検出されない場合、方法600は、ブロック604に戻ってよい。しかしながら、ブロック606における回答がyesである場合、ブロック608において、システムは、自動アシスタント120を、限定聴取状態(図2A)または選択的応答状態(図2B)など、第1の状態から、完全音声認識状態(図2A)または完全応答状態(図2B)など、第2の状態に遷移させることができる。

第2の状態にある間、ブロック610において、システムは、たとえば、音声キャプチャモジュール110によって、オーディオデータとしてキャプチャされ得る、話されたコマンドをユーザから受信し得る。ブロック612において、システムは、たとえば、クラウドベースのSTTモジュール117またはローカルSTTモジュール117Aによって、テキストコマンドを生成するために、ブロック610において受信された、話されたコマンドから生成されたオーディオデータに対して音声認識処理を実行し得る。

ブロック614において、システムは、たとえば、ホットコマンドエンジン128によって、テキストコマンドがテキストコマンドのコーパス内の頻度しきい値を満たすかどうかを決定し得る(図3A～図3Cのコマンド登録分析)。様々な実装形態では、テキストコマンドのコーパスは、話しているユーザによって生成されたテキストコマンドのコーパス、またはそのユーザを含めて、ユーザの集団によって生成されたテキストコマンドのコーパスであってよい。いくつかの実装形態では、テキストコマンドに関連するカウントは、ブロック616において、頻度しきい値と比較され得る。このカウントは、以下で説明するように、様々な方法で決定され得る。

ブロック616において、しきい値が満たされる場合、ブロック618において、システムは、テキストコマンドを示すデータをホットコマンドとして登録し得る。ブロック618における、マッチする、または意味的に矛盾しない(たとえば、テンプレート/文法にマッチする)別のテキストコマンドの発話の登録に続いて、テキストコマンドは、自動アシスタント120の明示的な起動を必要とせずに、自動アシスタント120による応答アクションの実行をトリガし得る。

いくつかの実装形態では、ホットコマンドを登録させた同じユーザのみが、次いで、ホットコマンドを使用して、起動させずに、自動アシスタント120によるアクションをトリガし得る。このユーザは、たとえば、話者認識処理、顔認識処理(たとえば、1つまたは複数のカメラが存在するとき)、など、を使用して、複数の対話セッションにわたって識別され得る。他の実装形態では、ホットコマンドが登録されると、そのホットコマンドは、他の登録ユーザ(たとえば、家族の一員)、またはユーザ全体など、そのホットコマンドを登録させたユーザ以外によって使用され得る。

いくつかの実装形態では、オプションのブロック620において、システムは、テキストコマンド自体など、テキストコマンドを示すデータを少なくとも部分的に自動アシスタント120を実装する1つまたは複数のクライアントデバイス106のローカルメモリ内にキャッシュし得る。これは、将来、同様のコマンドに応答する際に、自動アシスタント120のレイテンシに関する様々な利点を提供し得る。たとえば、いくつかの実装形態では、テキストコマンドは、テキストコマンドに応答する情報をキャッシュするために、テキストコマンドをある人物によって明示的に起動させることなく、自動的に(たとえば、周期的に)トリガされ得る。これは、テキストコマンドが自動アシスタント120に「外の天気はどう?」または「今日の私の予定は?」などのクエリに対する情報応答を出力させる場合、特に役立ち得る。周期的に再キャッシュされた情報は、テキストコマンドが、話者の要求を解決するために、たとえば、クラウドベースの自動アシスタント構成要素119においてリモートで処理される代わりに、テキストコマンドの後続の起動に応答して、直接的に自動アシスタント120によって出力され得る。

いくつかの実装形態では、スマートアプライアンスを制御する、登録されたホットコマンド(または、それを示すデータ)は、これらのスマートアプライアンスを将来制御するように自動アシスタント120に指示するときのレイテンシを改善するためにキャッシュされ得る。そのようなキャッシュされたテキストコマンドの起動は、テキストコマンド、またはプロプリエタリスマートアプライアンスを制御するように構成されたプロプリエタリ命令など、テキストコマンドを示すデータを、LANおよびPANのうちの1つまたは両方を介して、スマートアプライアンスに直接的に送信させることができる。前に述べたように、テキストコマンドまたはそれを示すデータの受信は、スマートアプライアンスに応答アクションを実行させることができる。これはすべて、たとえば、クラウドベースの自動アシスタント構成要素119においてテキストコマンドをリモートと処理せずに生じ得る。

ブロック618(または、オプションのブロック620)の後、方法600は、次いで、ブロック622に進むことができ、この時点で、自動アシスタント120は応答アクションを実行し得る。ブロック616における回答がnoであった場合、方法600は、ブロック618～620をスキップして、ブロック622に直接的に進むことができる。いくつかの実装形態では、この時点で、コマンドに関連するカウントは増分され得る。いくつかの実装形態では、特定のテキストコマンドのカウントは、コマンドが誰かに発話されるたびに、または事前定義された(たとえば、家族の一員として、ユーザの登録された)グループのメンバーである誰かによって、増分され得る。いくつかの実装形態では、特定のテキストコマンドのカウントは、クライアントデバイスの協調エコシステム(たとえば、スマートスピーカ、スマートフォン、タブレット、家庭に含まれたアシスタントデバイス)にわたって累積され得る。たとえば、一人または複数のユーザは、自動アシスタント120に関連するアカウントを有してよく、これらのユーザは、そのようなエコシステムのいずれかのクライアントデバイス上でこれらのアカウントにアクセスし得る。これらの累積カウントがブロック616の頻度しきい値を満たすとき、これらの特定のテキストコマンドは、エコシステムに対するホットコマンドとして選択的に登録され得る。これは、ホットコマンドを、家庭内、家族の一員が運転する車両内、家族の一員が携帯するモバイルフォン上など、エコシステムのクライアントデバイスが展開される環境において広く効果的に利用可能にし得る。

同様に、いくつかの実装形態では、テキストコマンド(または、そこから生成されるテンプレート/文法)がホットコマンドとして登録されるとき、これらは、個々のユーザベースで、複数のユーザベースで(たとえば、家族の構成員および/またはクライアントデバイスの特定のエコシステムに登録したユーザに利用可能に)登録され得るか、または集団にわたって普及させるためにすら登録され得る。ホットコマンドが個々のユーザベースで登録されるいくつかの実装形態では、ユーザが登録されたホットコマンドを発話するとき、自動アシスタント120は、最初に、話者の識別情報を確認すること、および/または話者を登録されたユーザプロファイルとマッチさせることを試行し得る。たとえば、自動アシスタント120は、話者認識処理(または、ボイスマッチング)、顔認識処理(視覚センサーが利用可能である場合)を実行して、話者の識別情報を決定するか、または話者を登録された音声プロファイルと少なくともマッチさせることができる。話者が認識されない場合、いくつかの実装形態では、自動アシスタント120は、登録されたホットコマンドを無視し得る。他方で、話者が認識される場合、話された発話は、自動アシスタント120が応答アクションを行うべきかどうかを決定するために本明細書で説明する技法を使用して分析され得る。

上述のように、いくつかの実装形態では、ホットコマンドは、複数のユーザ、たとえば、家族の構成員またはクライアントデバイス(たとえば、クライアントデバイスおよび家庭内のネットワーク接続されたアプライアンス)の定義されたエコシステムに登録されたユーザに対して登録される。いくつかのそのような実装形態では、それらの登録されたユーザのいずれも、登録されたホットコマンドをエコシステムのクライアントデバイスに発話することが可能であり得る。話者が、たとえば、ボイスマッチングまたは顔認識を使用して、登録されたユーザプロファイルが登録された(またはより一般に、事前定義されたプロファイルがない場合ですら、自動アシスタント120にコマンドを発話することが可能にされる誰かとして登録された)ユーザプロファイルにマッチされ得る限り、自動アシスタント120は、最初に起動されずに、応答アクションを行うことができる。

図6では、テキストコマンドは、ブロック614の頻度しきい値が満たされるかどうかに基づいて、ホットコマンドとして選択的に登録される。しかしながら、これは、限定的であることを意味しない。他の実装形態では、テキストコマンドがホットコマンドとして登録されるべきかどうか、かつ／またはテキストコマンドが実際に自動アシスタント120に呼びかけているかどうかを決定するために、追加または代替の信号および/または技法が使用され得る。

たとえば、いくつかの実装形態では、テキストコマンドは、たとえば、起動モジュール113によって、機械学習モデルわたって、出力を生成するための入力として適用され得る。出力は、テキストコマンドが自動アシスタントに向けられた確率を示し得る。いくつかのそのような実装形態では、ブロック616の登録は、機械学習モデル出力がしきい値を満たすことによって伝達される確率にさらに応じる。追加または代替として、いくつかの実装形態では、ブロック616の条件付き登録は、図5Aに示したように、1つまたは複数のカメラによってキャプチャされた視覚データに基づいて、ユーザの視線が、その上で自動アシスタントが少なくとも部分的に実装されるコンピューティングデバイスに向けられていることを検出することをさらに条件とし得る。

さらに他の実装形態では、ブロック616の条件付き登録は、話されたコマンドの後の所定の時間間隔中、何の追加の発話も検出されないとの決定をさらに条件とし得る。話者がコマンドを発し、その後にたとえば、5秒から10秒の沈黙が続くと仮定する。それは、話者が一人であり、さもなければ、それまでに別の人間の会話参加者が応答したであろう、したがって、彼らが自動アシスタント120に呼びかけているはずであることを示唆し得る。または、一時的な沈黙は、その部屋に存在する誰か他の人物が、話者が自動アシスタント120に呼びかけていたことに気づき、したがって、彼らが沈黙状態に留まることを示唆し得る。

追加または代替として、いくつかの実装形態では、ブロック616の条件付き登録は、話されたコマンドの後の所定の時間間隔中、ある人物によって何の応答アクションも行われなかったとの決定をさらに条件とする。話者が「照明をオンにして」と言ったが、別の人物が物理スイッチを迅速に動作させて照明をオンにすると仮定する。これは、話者が、自動アシスタント120ではなく他の人物に呼びかけており、したがって、フレーズ「照明をオンにして」は、少なくともこの時点で、ホットコマンドとして登録するには適していない可能性があることを示唆する。他方で、話者がコマンドを発し、何らかの所定の時間間隔(たとえば、5秒、10秒)にわたって何も起こらない場合、それは、話者が実際に自動アシスタント120に呼びかけており、したがってテキストコマンド「照明をオンにして」はホットコマンドとして登録されるべきであることを示唆する。

図7は、STT/音声認識処理が完全聴取状態(図2A)または完全応答状態(図2B)外でキャプチャされた発話に対して実行される、図2Bに示したような実装形態を含めて、様々な実装形態による、本開示の選択された態様を実践するための例示的な方法700を示す。便宜上、フローチャートの動作は、これらの動作を実行するシステムを参照して説明される。このシステムは、様々なコンピュータシステムの様々な構成要素を含み得る。その上、方法700の動作は、特定の順序で示されているが、これは限定的であることを意味しない。1つまたは複数の動作は、再順序付けされてよく、省かれてよく、または追加されてもよい。

ブロック702において、システムは、1つまたは複数のマイクロフォンにおいてキャプチャされたオーディオデータを受信し得る。オーディオデータは、第1および第2の話された発話など、経時的にキャプチャされた複数の話された発話を含み得る。ブロック704において、システムは、第1および第2の話された発話に対応する第1および第2のテキスト断片を生成するためにオーディオデータに対して音声認識処理(すなわち、STT処理)を実行し得る。

ブロック706において、システムは、第1のテキスト断片が1つまたは複数のホットコマンド基準を満たすと決定し得る。これらの「ホットコマンド基準」は、本明細書で説明する「ホットコマンド登録基準」と同様であり得る。たとえば、ホットコマンド基準は、話しているとき、話者の視線がアシスタントデバイスに向けられているかどうか、他の誰が話者と共存しているかどうか、話し中、話者がコンピューティングデバイスではなく別の人物を見つめているかどうか、ある人物による何らかの所定の時間間隔の沈黙および/または無アクションが発話に続くかどうか、自動アシスタント120が完全聴取(図2A)状態または完全応答(図2B)状態にある間、テキスト断片が何らかのしきい値回数発話されたかどうか、などを含み得るが、これらに限定されない。

ブロック708において、システムは、第2のテキスト断片が1つまたは複数のホットコマンド基準を満たすことに失敗すると決定し得る。ブロック710において、ブロック706の決定に応答して、システムは、第1のテキスト断片に基づいて、応答アクションを実行し得る。ブロック712において、ブロック708の決定に応答して、システムは、別の応答アクションを実行せずに、第2のテキスト断片を廃棄または無視し得る。

本明細書で論じたいくつかの実装形態がユーザに関する個人情報(たとえば、他の電子通信から抽出されたユーザデータ、ユーザのソーシャルネットワークに関する情報、ユーザの位置、ユーザの時間、ユーザの生体情報、ならびに、ユーザのアクションおよび人口統計情報、ユーザ同士の間の関係、など)を収集または使用することができる状況(situation)において、情報が収集されるかどうか、個人情報が記憶されるかどうか、個人情報が使用されるかどうか、およびユーザに関する情報がどのように収集され、記憶され、また使用されるかを制御するための1つまたは複数の機会がユーザに提供される。すなわち、本明細書で論じたシステムおよび方法は、そうするための明示的な認可を関連するユーザから受信した時点でのみ、ユーザ個人情報を収集、記憶、および/または使用する。

たとえば、プログラムまたは特徴が、ユーザ、またはそのプログラムもしくは特徴に関連する他のユーザに関するユーザ情報を収集するかどうかに対する制御がその特定のユーザに提供される。その個人情報が収集されることになる各ユーザには、そのユーザに関連する情報収集に対する制御を可能にするための、情報が収集されるかどうか、および情報のどの部分が収集されるべきかに関する許可または認可を提供するための、1つまたは複数のオプションが提示される。たとえば、通信ネットワークを介して1つまたは複数のそのような制御オプションがユーザに提供され得る。加えて、一定のデータは、個人的に識別可能な情報が除去されるように、そのデータが記憶されるか使用される前に1つまたは複数の方法で扱われ得る。一例として、ユーザの識別情報は、個人的に識別可能な情報を決定することができないように扱われ得る。別の例として、ユーザの特定の位置を決定することができないように、ユーザの地理的位置はより大きな領域に一般化され得る。

図8は、本明細書で説明する技法の1つまたは複数の態様を実行するために随意に利用され得る一例示的なコンピューティングデバイス810のブロック図である。いくつかの実装形態では、クライアントコンピューティングデバイス、ユーザ制御リソースエンジン134、および/または他の構成要素のうちの1つまたは複数は、例示的なコンピューティングデバイス810の1つまたは複数の構成要素を備え得る。

コンピューティングデバイス810は、一般に、バスサブシステム812を介していくつかの周辺機器と通信する少なくとも1つのプロセッサ814を含む。これらの周辺デバイスは、たとえば、メモリサブシステム825およびファイル記憶サブシステム826、ユーザインターフェース出力デバイス820、ユーザインターフェース入力デバイス822、ならびにネットワークインターフェースサブシステム816を含む、記憶サブシステム824を含み得る。入力デバイスおよび出力デバイスは、ユーザがコンピューティングデバイス810と対話することを可能にする。ネットワークインターフェースサブシステム816は、外部ネットワークに対するインターフェースを提供し、他のコンピューティングデバイス内の対応するインターフェースデバイスに結合される。

ユーザインターフェース入力デバイス822は、キーボード、マウス、トラックボール、タッチパッド、またはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイ内に組み込まれたタッチスクリーン、ボイス認識システムなどのオーディオ入力デバイス、マイクロフォン、および/または他のタイプの入力デバイスを含み得る。概して、「入力デバイス」という用語の使用は、情報をコンピューティングデバイス810内にまたは通信ネットワーク上に入力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。

ユーザインターフェース出力デバイス820は、ディスプレイサブシステム、プリンター、ファックス機、またはオーディオ出力デバイスなどの非視覚ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムは、オーディオ出力デバイスを介してなど、非視覚ディスプレイを提供することもできる。概して、「出力デバイス」という用語の使用は、情報をコンピューティングデバイス810からユーザに、または別の機械もしくはコンピューティングデバイスに出力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。

記憶サブシステム824は、本明細書で説明するモジュールのうちのいくつかまたはすべての機能性を提供するプログラミング構成およびデータ構成を記憶する。たとえば、記憶サブシステム824は、図6および図7の方法の選択された態様を実行するための、ならびに図1に示した様々な構成要素を実装するための論理を含み得る。

これらのソフトウェアモジュールは、概して、単独でまたは他のプロセッサと組み合わせて、プロセッサ814によって実行される。記憶サブシステム824内で使用されるメモリ825は、プログラム実行中に命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)830、および固定命令が記憶される読取り専用メモリ(ROM)832を含めて、いくつかのメモリを含み得る。ファイル記憶サブシステム826は、プログラムファイルおよびデータファイルに対して永続記憶装置を提供することができ、ハードディスクドライブ、関連するリムーバブルメディアと併せてフロッピーディスクドライブ、CD-ROMドライブ、光ドライブ、またはリムーバブルメディアカートリッジを含み得る。いくつかの実装形態の機能性を実装するモジュールは、記憶サブシステム824内、またはプロセッサ814によってアクセス可能な他の機械内にファイル記憶サブシステム826によって記憶され得る。

バスサブシステム812は、コンピューティングデバイス810の様々な構成要素およびサブシステムに意図されるように互いと通信させるための機構を提供する。バスサブシステム812は、単一のバスとして概略的に示されているが、バスサブシステムの代替実装形態は、複数のバスを使用し得る。

コンピューティングデバイス810は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または任意の他のデータ処理システムまたはコンピューティングデバイスを含めて、様々なタイプのものであってよい。コンピュータおよびネットワークの常に変化する性質により、図8に示すコンピューティングデバイス810の記述は、いくつかの実装形態を示すための特定の一例としてのみ意図される。図8に示すコンピューティングデバイスよりも多数または少数の構成要素を有するコンピューティングデバイス810の多くの他の構成が可能である。

いくつかの実装形態について本明細書で説明し示したが、本明細書で説明した、機能を実行するため、および/または結果および/または利点のうちの1つまたは複数を取得するために、様々な他の手段および/または構造が利用されてよく、そのような変種および/または修正の各々は、本明細書で説明した実装形態の範囲内と見なされる。より一般的に、本明細書で説明したすべてのパラメータ、寸法、材料、および構成は、例示的であること、かつ実際のパラメータ、寸法、材料、および/または構成は、この/これらの教示が使用される特定の1つまたは複数の応用例に依存することになること、を意味する。当業者は、習慣的な実験を単に使用して、本明細書で説明した特定の実装形態に対する多くの均等物を認識し、それを確認することができるであろう。したがって、前述の実装形態は、単なる例として提示され、添付の特許請求の範囲およびその均等物の範囲内で、実装形態は、具体的に説明され特許請求される以外で実践され得ることを理解されたい。本開示の実装形態は、本明細書で説明した、個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法のいずれの組合せも、そのような特徴、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。

101 ユーザ
101A 第1のユーザ
101B 別のユーザ、第2のユーザ
105 近接度センサー
106 クライアントコンピューティングデバイス、クライアントデバイス、クラウドベースまたはオンボードクライアントデバイス
107 視覚センサー、カメラ
108 自動アシスタントクライアント
109 マイクロフォン
110 音声キャプチャモジュール
111 画像キャプチャモジュール
112 視覚キューモジュール
112₁ 視覚キューモジュール
112₂ クラウドベースの視覚キューモジュール、視覚キューモジュール
113 起動モジュール
114 オンデバイスモデルデータベース、オンデバイス起動モデル
114₁ デフォルトオンデバイス起動モデル
114₂～114_N コンテキスト起動モデル
116 クラウドベースのテキスト対音声(「TTS」)モジュール
117 クラウドベースのSTTモジュール、STTモジュール、構成要素
117A オンボードSTTモジュール、STT、STTモジュール
119 クラウドベースの自動アシスタント構成要素
120 自動アシスタント
122 自然言語プロセッサ
124 実現モジュール、構成要素
126 自然言語生成器
128 ホットコマンドエンジン、動的ホットワードエンジン
129 データベース
130 第三者コンピューティングサービス、第三者サービス
134 ユーザ制御リソースエンジン
135 意図マッチャー、構成要素
150 検索モジュール
406 クライアントデバイス
506A ラップトップ、クライアントデバイス
506B スマートテレビジョン、クライアントデバイス
506C クライアントデバイス、クライアントデバイス
507 視覚センサー
507A 視覚センサー
507B 視覚センサー
507C 視覚センサー
600 方法
700 方法
810 コンピューティングデバイス
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 記憶サブシステム
825 メモリサブシステム、メモリ
826 ファイル記憶サブシステム
830 メインランダムアクセスメモリ(RAM)
832 読取り専用メモリ(ROM)

Claims

1つまたは複数のプロセッサを使用して実装される方法であって、
前記プロセッサのうちの1つまたは複数を使用して、自動アシスタントを動作させるステップと、
トリガイベントに応答して、前記自動アシスタントを限定聴取状態から完全音声認識状態に遷移させるステップと、
前記完全音声認識状態にある間、前記自動アシスタントによって、ユーザから話されたコマンドを受信するステップと、
テキストコマンドを生成するために、前記話されたコマンドに対して音声認識処理を実行するステップと、
前記テキストコマンドがテキストコマンドのコーパス内の頻度しきい値を満たすと決定するステップと、
前記決定に応答して、前記テキストコマンドを示すデータをホットコマンドとして登録するステップであって、前記登録に続いて、前記テキストコマンドに意味的に矛盾しない別のテキストコマンドの発話が、前記自動アシスタントの明示的な起動を必要とせずに、前記自動アシスタントによる応答アクションの実行をトリガする、登録するステップと
を含む、方法。

前記トリガイベントが、マイクロフォンによってキャプチャされたオーディオデータ内の1つまたは複数のデフォルトホットワードの検出を含む、請求項1に記載の方法。

テキストコマンドの前記コーパスが、前記ユーザによって生成されたテキストコマンドのコーパスを含む、請求項1に記載の方法。

テキストコマンドの前記コーパスが、前記ユーザを含めて、ユーザの集団によって生成されたテキストコマンドのコーパスを含む、請求項1に記載の方法。

出力を生成するために、機械学習モデルにわたって、入力として前記テキストコマンドを適用するステップであって、前記出力が、前記テキストコマンドが前記自動アシスタントに向けられた確率を示し、前記登録が、前記確率によるしきい値の満足にさらに応答する、適用するステップをさらに含む、請求項1に記載の方法。

1つまたは複数のカメラによってキャプチャされた視覚データに基づいて、前記ユーザの視線が、その上で前記自動アシスタントが少なくとも部分的に実装されるコンピューティングデバイスに向けられていることを検出するステップをさらに含み、前記登録が、前記検出にさらに応答する、請求項1に記載の方法。

前記登録するステップが、前記話されたコマンドの後の所定の時間間隔中、何の追加の発話も検出されていないとの決定にさらに応答する、請求項1に記載の方法。

前記登録するステップが、前記話されたコマンドの後の所定の時間間隔中、ある人物によって何の応答アクションも行われなかったとの決定にさらに応答する、請求項1に記載の方法。

前記登録するステップに応じて、前記テキストコマンドを示すデータまたは前記テキストコマンド自体を、前記自動アシスタントを少なくとも部分的に実装するコンピューティングデバイスのローカルメモリ内にキャッシュするステップをさらに含む、請求項1に記載の方法。

前記テキストコマンドに応答する情報をキャッシュするために、前記テキストコマンドが明示的に起動されずに、前記キャッシュされたデータに基づいて、前記登録するステップに続いて前記テキストコマンドをトリガするステップをさらに含み、前記トリガするステップに続いて、前記キャッシュされた情報が、前記テキストコマンドがトリガされる代わりに、前記テキストコマンドの後続の起動に応じて出力される、請求項9に記載の方法。

前記キャッシュするステップに続いて、前記テキストコマンドの起動が、前記テキストコマンドを示す前記データをローカルエリアネットワーク(「LAN」)およびパーソナルエリアネットワーク(「PAN」)のうちの1つまたは両方を介してスマートアプライアンスに直接的に送信させ、前記テキストコマンドを示す前記データの受信が、前記スマートアプライアンスに応答アクションを実行させる、請求項9に記載の方法。

前記テキストコマンドを示す前記データが、前記ユーザから受信される前記話されたコマンド内で提供される1つまたは複数のパラメータに意味的に矛盾しない1つまたは複数の後続のパラメータを受信するための1つまたは複数のスロットを含むテンプレートを含む、請求項1に記載の方法。

1つまたは複数のプロセッサと、命令を記憶したメモリとを備えたシステムであって、前記命令が、前記1つまたは複数のプロセッサによる前記命令の実行に応答して、前記1つまたは複数のプロセッサに自動アシスタントを実行させ、前記自動アシスタントが、
1つまたは複数のマイクロフォンにおいてキャプチャされたオーディオデータを受信することであって、前記オーディオデータが第1および第2の話された発話を含む、受信することと、
前記第1および第2の話された発話に対応する第1および第2のテキスト断片を生成するために前記オーディオデータに対して音声認識処理を実行することと、
前記第1のテキスト断片が1つまたは複数のホットコマンド基準を満たすとの決定に応答して、前記第1のテキスト断片に基づいて応答アクションを実行することと、
前記第2のテキスト断片が前記1つまたは複数のホットコマンド基準を満たすことに失敗するとの決定に応答して、別の応答アクションを実行せずに、前記第2のテキスト断片を廃棄または無視することと
を行うためである、システム。

前記1つまたは複数のホットコマンド基準が、検討中のテキスト断片のホットコマンドライブラリ内への登録を含み、前記ホットコマンドライブラリが、話されたとき、1つまたは複数のデフォルトホットワードの検出または前記自動アシスタントのアクティブ聴取状態への遷移を必要とせずに、前記自動アシスタントによる応答アクションの実行をトリガするテキスト断片を含む、請求項13に記載のシステム。

1つまたは複数のカメラによってキャプチャされた視覚データに基づいて、ユーザが前記第1の話された発話を提供している間に前記ユーザの第1の視線を、かつ前記ユーザが前記第2の話された発話を提供している間に前記ユーザの第2の視線を検出するための命令をさらに備える、請求項13に記載のシステム。

前記1つまたは複数のホットコマンド基準が、視線がその上で前記自動アシスタントが少なくとも部分的に実装されるコンピューティングデバイスに向けられていることを含む、請求項15に記載のシステム。

命令を備えた、少なくとも1つの非一時的コンピュータ可読媒体であって、前記命令が、1つまたは複数のプロセッサによる前記命令の実行に応答して、前記1つまたは複数のプロセッサに、
前記プロセッサのうちの1つまたは複数を使用して、自動アシスタントを動作させる動作と、
トリガイベントに応答して、前記自動アシスタントを限定聴取状態から完全音声認識状態に遷移させる動作と、
前記完全音声認識状態にある間、前記自動アシスタントによって、ユーザから話されたコマンドを受信する動作と、
テキストコマンドを生成するために、前記話されたコマンドに対して音声認識処理を実行する動作と、
前記テキストコマンドがテキストコマンドのコーパス内の頻度しきい値を満たすと決定する動作と、
前記決定に応答して、前記テキストコマンドを示すデータをホットコマンドとして登録する動作であって、前記登録するステップに続いて、前記テキストコマンドに意味的に矛盾しない別のテキストコマンドの発話が、前記自動アシスタントの明示的な起動を必要とせずに、前記自動アシスタントによる応答アクションの実行をトリガする、登録する動作と
を実行させる、少なくとも1つの非一時的コンピュータ可読媒体。

前記トリガイベントが、マイクロフォンによってキャプチャされたオーディオデータ内の1つまたは複数のデフォルトホットワードの検出を含む、請求項17に記載の少なくとも1つの非一時的コンピュータ可読媒体。

テキストコマンドの前記コーパスが、前記ユーザによって生成されたテキストコマンドのコーパスを含む、請求項17に記載の少なくとも1つの非一時的コンピュータ可読媒体。

テキストコマンドの前記コーパスが、前記ユーザを含めて、ユーザの集団によって生成されたテキストコマンドのコーパスを含む、請求項17に記載の少なくとも1つの非一時的コンピュータ可読媒体。